「计算架构」共找到 2375 篇相关文章
低延迟、高吞吐,LLM优化与高效推理引擎综述
LLM计算成本高,用户要低延迟,企业要高吞吐。工程师开发优化技术,如动态批处理、KV缓存、模型量化。论文对比25款推理引擎,还探讨了多模态支持、手机端推理、新型架构支持等进化方向。
告别「解码器饥饿」!中国科学院NeurIPS推SpaceServe,高并发克星
中国科学院计算技术研究所入选NeurIPS 2025的论文提出SpaceServe架构,将LLM推理P/D分离扩展至多模态场景,通过EPD三阶解耦与「空分复用」,解决MLLM推理行头阻塞难题,在Qwen2 - VL系列模型实测中表现出色。
英伟达改卖Token?黄仁勋GTC后发声:token就是AI新通货,值钱的不是算力,是“每度电的智商”
英伟达黄仁勋在采访中强调其是加速计算公司,非单纯 GPU 公司。他认为 AI 竞赛从拼算力变拼产出,token 是新通货,还阐述了 AI 瓶颈、架构发展、推理编程、CPU 角色等观点。
极简主义的胜利:清华团队用最简单的强化学习配方刷新1.5B模型纪录
清华、伊利诺伊大学和上海AI实验室团队提出JustRL架构,仅用单阶段训练和固定超参数,在1.5B模型上刷新性能纪录,计算量仅为复杂方法50%,挑战了复杂技术堆叠现状。
黄仁勋:芯片公司的时代已经结束了,现在是 AI 工厂的时代
Lex Fridman 采访黄仁勋,黄仁勋谈对 AI 行业理解,认为 AI 是工业产品,NVIDIA 像建 AI 工厂。还提及算力是智能扩展关键,计算从检索转向生成,Token 细分市场,以及公司组织、架构、开源等多方面观点。
3A大作!阿里ROLL团队从基建->算法->机理,推动RL4LLM全栈协同优化
阿里巴巴ROLL团队联合高校推出「3A」协同优化框架,推动「强化学习用于大语言模型(RL4LLM)」迈向新范式。Async架构提升GPU利用率,AsyPPO降低计算资源消耗,Attention机制提升训练效率与可解释性。
d-Matrix用3D堆叠技术终结"内存墙",AI推理迎来光速时代
2025年9月Hot Chips上,d - Matrix展示3D堆叠数字内存计算技术,直击AI“内存墙”难题。其产品Corsair带宽强大,新Pavehawk架构更有性能跃升,为AI推理开辟新赛道,虽面临挑战但前景可期。
HBM Roadmap和HBM4的关键特性
文章介绍 KAIST TERALAB 公布的 HBM 技术,涵盖 HBM 路线图和 HBM4 特性。HBM 路线图展示从容量升级到计算存储融合的进化,HBM4 在电气规格、封装冷却、架构等方面有突破,AI 工具也用于研发。
前端同事看走眼了,这个“游戏网页”其实全是AI写的!
Kimi K2.5上新,集视觉理解、代码生成等能力于一体,提供四种使用模式,其中Agent集群模式提效显著。实测显示其网页生成、动效理解能力出色,下一代K3模型或用新架构KDA降低计算成本。
Manus 数月憋大招, 100 个 Agent 并发只为选双鞋?肖弘放话:第一阶段就得先做超贵的 AI!
中国人工智能初创公司 Manus 推出新功能“Wide Research”,可让用户借助多个 AI Agent 同时处理大规模任务。该功能不走“深度研究”路径,架构经优化,计算能力扩展 100 倍,但效果待察。Manus 撤出中国市场,欲借此求差异。