「推理计算」共找到 2566 篇相关文章
奥特曼：假如给我一千倍算力，我会这样做
奥特曼在最新访谈展望下一代模型，认为完美AI是有超人推理能力等的微型模型。理想AGI能自主发现新科学，使全球科学发现提速。他还回应算力假设，为企业指明投入资源方向。
MetaShuffling：Meta的Fused MoE kernel工程方案，更激进的Kernel优化和尽量避免Padding
文章介绍Meta的Fused MoE kernel工程方案MetaShuffling，可高效部署Llama 4模型。它处理MoE推理挑战，介绍多种token选择路由方案，阐述运行时设计、不同并行化方式及优化思路，还展示性能测试与Trace分析。
Thinking Machines再发文：模块化流形让训练更稳定
Mira Murati团队分享神经网络训练推理新研究，提出“模块化流形”让训练更稳定。将权重约束在Stiefel流形，设计Manifold Muon优化器，实验显示效果好，但计算开销和理论问题待解决，代码已开源。
外卖公司也能搞AI？
昨天凌晨美团悄悄开源560B参数的MoE大模型LongCat-Flash-Chat，引发国外网友疑惑。该模型推理速度超100 tokens/秒，基准测试表现出色，多项设计解决实际问题，贴合美团业务需求。
迎接范式革命：最新、最全的大模型Latent Space综述，NUS、复旦、清华等联合出品
大模型核心计算正从显式空间转向潜在空间，现有文献缺乏统一视角。NUS、复旦等机构的综述《The Latent Space》从五大视角构建框架，阐述潜在空间基础、演进、机制、能力，指出挑战与未来方向。
Transformer终结者！谷歌DeepMind全新MoR架构问世，新一代魔王来了
KAIST、谷歌DeepMind等机构发布的MoR架构，推理速度翻倍、内存减半，重塑LLM性能边界，碾压传统Transformer。它融合参数共享与按需计算，有路由和KV缓存策略，实验显示其性能优越、可扩展性好。
美团开源新模型，多项能力实测第一
美团发布5600亿参数的LongCat - Flash模型，有创新动态计算机制和高效训练推理架构。它在多项测评中领先，尤其在代理工具使用测试表现出色，还以宽松许可开源，降低使用门槛。
重复一下提示词，Gemini准确率竟从21%飙升至97%！
Google Research团队研究发现，重复提示词可让Gemini准确率从21.33%升至97.33%。该策略能提升主流大模型非推理任务表现，在多模型多基准测试中优势明显，且不增加延迟。
横扫八大数学竞赛：清华微软联合提出STAR-PólyaMath，Apex基准超GPT-5.5 13.5%
清华大学与微软亚洲研究院团队提出推理多智能体系统 STAR - PólyaMath，构建探索 - 推理 - 验证框架，解决大模型长程数学推理瓶颈，在八大数学竞赛基准获最优成绩，还可泛化到其他推理场景。
让YOLO飞起来：从CPU到GPU的配置指南
文章指出默认安装的YOLO用CPU计算，处理大量图像或实时检测任务效率低。详细介绍将YOLO从CPU模式切换到GPU模式的步骤，对比性能，还给出常见问题解决办法，能显著提升运行效率。