算力效率」共找到 1912 篇相关文章

算法论文8

打破视觉Token的算力诅咒,RedundancyLens如何为多模态大模型推理减负

多模态大模型的 Decoder - only 架构处理视觉 Token 有计算冗余。合合信息团队提出无需额外训练的动态计算削减方法,在不影响性能前提下降低推理成本,适用于多场景。

PaperAgent
开源动态8

不增加人手,项目效率飙升45%,OpenAI公开了一套AI实战经验

OpenAI公开基于大语言模型和专属Skill包的开源仓库维护方法论,将重复工作自动化,使项目代码合并吞吐量飙升45%。该方法由AGENTS.md、Skill包和GitHub Actions构成,还涉及任务分配、验证策略等。

AIGC开放社区
推荐文章8

百度端侧大模型安全建设实践:在算力与保障之间找到平衡

在 QCon 全球软件开发大会上,百度李志伟分享端侧大模型安全建设实践。介绍其发展趋势、优势与应用场景,指出面临隐私、内容等安全挑战,阐述云端与端侧安全方案,通过案例展示优化效果,展望未来安全建设方向。

InfoQ
算法论文8

何恺明组三位本科生领衔!持续聚焦Flow模型,突破归一化流生成效率瓶颈

何恺明团队新作聚焦Flow模型,提出双向归一化流(BiFlow)框架,解耦前向与逆向过程,打破传统归一化流生成模型效率低下问题。三位一作是本科生,实验显示其速度和质量表现出色。

量子位
推荐文章8

小红书 FinOps 实践:云成本优化与资源效率提升之道

在 InfoQ 举办的 QCon 全球软件开发大会上,小红书梁啟成分享云成本优化实践。介绍了小红书用云情况,分析成本优化面临的问题,阐述成本洞察和优化的探索,如内外账分离、CPU 和 GPU 资源提效等,还展望了 AI for FinOps 实践。

InfoQ
算法论文8

基于文本AI的终结?Agent协作可直接「复制思维」,Token效率暴涨

在 Agentic AI 时代,多智能体系统让 AI 从单打独斗变为团队协作。普林斯顿大学等机构研究者提出多智能体推理框架 LatentMAS,将协作从 token 空间转移到潜在空间,实验显示其性能、效率大幅提升。

机器之心
新闻资讯7

不只是卖服务器,中兴通讯想做AI时代的基础设施商

中兴通讯将战略升级为“连接 + 算力”双轮驱动,2025 年算力业务营收大增,营收结构转变。在 2026 生态合作伙伴大会发布 Co - Claw AI 一体机等新品,启动“和合生态行动”,致力于做 AI 时代价值贡献者。

量子位
推荐文章8

LLM省钱大测评!48块GH200,首个百亿级参数量实证

EfficientLLM项目聚焦LLM效率,提出三轴分类法和六大指标,实验覆盖多方面。研究表明效率优化需权衡,最优策略因任务和模型规模而异,且相关技术可迁移到跨模态模型,成果将开源。

新智元
算法论文8

Dense、MoE之外第三条Scaling路径:交大提出JTok模块,省1/3算力

上海交通大学与小红书Hi Lab联合团队提出JTok/JTok - M模块,作为插件挂载在Transformer层,几乎不增算力和显存开销却显著提升性能。该模块构建新scaling路径,在多任务测试中全面提分,为大模型发展提供新方向。

机器之心
推荐文章7

破局大模型推理困局!华为张君详解昇腾“融合算力”的优化秘籍

华为高级开发工程师张君在AICon大会演讲,围绕大模型推理优化,从模型、框架、算子层展开,结合案例阐述技术方案。分析大模型推理现状挑战,介绍加速技术,分享昇腾硬件算子优化实践及通算融合算子优化方法。

InfoQ