「推理加速技术」共找到 4891 篇相关文章
MetaShuffling：Meta的Fused MoE kernel工程方案，更激进的Kernel优化和尽量避免Padding
文章介绍Meta的Fused MoE kernel工程方案MetaShuffling，可高效部署Llama 4模型。它处理MoE推理挑战，介绍多种token选择路由方案，阐述运行时设计、不同并行化方式及优化思路，还展示性能测试与Trace分析。
Agent 的 Token 账单怎么省？
AI 行业从生成式能力向 Agent 行动力跃迁，核心矛盾转向推理成本可控性。随着企业将 Agent 编入自动化流水线，Token 消耗受关注，业界开始聚焦以「降本」为核心的技术路线。
The Batch: 943｜液体和气体如何运动
传统数值方法模拟复杂物理系统慢且贵，基于机器学习的模拟通常只适用于特定系统。研究人员构建通用 transformer 模型 Walrus，可模拟流体运动，开源且在多方面表现出色，有望加速多领域模拟工作。
逐项解读黄仁勋GTC演讲：Vera Rubin、token王、英伟达“龙虾”、太空计算和雪宝｜甲子光年
美国当地时间3月16日，英伟达创始人黄仁勋在GTC 2026演讲，发布五项重要技术，包括下一代AI计算平台Vera Rubin等。他想让英伟达成AI基础设施公司，强调token成本，认为AI工厂是工业基础设施。
马斯克Grok 4正式发布：世界最大AI超级计算机就训练了这？
Grok 4公开基准测试有进步，但在高级推理测试表现差，视觉理解仍是短板。性能提升多靠整合符号工具，无重大技术创新，‘幻觉’问题没实质进展，xAI官方对道德对齐信心不足。
老黄力推的 Physical AI，有人用开源框架打通了硬件的最后一道关
巨头加速布局Physical AI，全球AI云平台涂鸦智能用TuyaOpen开源框架破局，为开发者提供入场券。它可拆技术墙、通生态孤岛、跨商业化黑洞，还让开发者打造多样AI硬件，助力商业化。
仅靠5000+样本，全新强化学习范式让30B轻松击败671B的DeepSeek V3
传统强化学习在创意写作领域举步维艰，蚂蚁技术研究院联合浙江大学开源全新强化学习范式Rubicon，构建10000+条「评分标尺」，拓展应用至主观任务领域，其30B模型用5000样本超越671B的DeepSeek V3。
刚刚，商汤内部两万字复盘曝光：多模态通往AGI核心路线首次公开
商汤科技联合创始人林达华撰写万字长文，剖析将「多模态通用智能」视为技术战略核心引擎的原因，探索组织及战略层面的思考。文章回顾商汤多模态之路，探讨多模态通向AGI的原因、构建路径等关键问题。
黄仁勋做客美国第一播客：每天都在担心英伟达倒闭
英伟达CEO黄仁勋做客美国第一播客Joe Rogan，畅谈AI底层逻辑与技术演进，还分享英伟达创业历程。他指出AI已从检索转向推理，数据中心成“AI工厂”，并坦言每天担心公司倒闭。
作为软件架构师使用 AI 的经验
Avraham Poupko 在 OOP 大会分享软件架构师用 AI 经验，认为软件架构师不会被 AI 取代，AI 适合探索权衡、提炼语言，但缺乏情境推理和情感智能，人类在这方面更有优势。