「并行推理加速」共找到 2686 篇相关文章
扒一扒Meta全新大模型Muse Spark里藏着的PDR技术
Meta发布闭源大模型Muse Spark及‘沉思模式’，背后藏PDR推理技术。该技术通过‘并行起草+精炼’突破性能瓶颈，对比传统长CoT范式优势明显，在AIME竞赛题目测试中准确率显著提升。
北大校友、OpenAI前安全副总裁Lilian Weng关于模型的新思考：Why We Think
北大校友Lilian Weng更新博客《Why We Think》，回顾利用测试时计算研究进展，探讨激励模型思考方式，介绍思维链、并行采样、序列修订等策略，还提及强化学习、外部工具使用及未来研究方向。
横扫八大数学竞赛：清华微软联合提出STAR-PólyaMath，Apex基准超GPT-5.5 13.5%
清华大学与微软亚洲研究院团队提出推理多智能体系统 STAR - PólyaMath，构建探索 - 推理 - 验证框架，解决大模型长程数学推理瓶颈，在八大数学竞赛基准获最优成绩，还可泛化到其他推理场景。
每秒生成超30帧视频，支持实时交互！自回归视频生成新框架刷新生成效率
微软研究院与北大联合发布Next - Frame Diffusion (NFD)新框架，通过帧内并行采样、帧间自回归等方式，让视频生成在保持高质量的同时，效率大幅提升，还采用多项技术进一步优化。
比自回归更灵活、比离散扩散更通用，首个纯Discrete Flow Matching多模态巨兽降临
近年来多模态大模型多采用自回归架构，推理缺乏灵活性。香港大学和华为诺亚方舟实验室研究团队提出FUDOKI，基于全新非掩码离散流匹配架构，能并行去噪、动态修正，为多模态模型开辟新路径。
DeepSeek悄悄开源LPLB：用线性规划解决MoE负载不均
昨天，DeepSeek 在 GitHub 上线新代码库 LPLB 解决 MoE 负载不均。它利用线性规划算法优化专家并行工作负载分配，能处理动态波动，但也存在忽略非线性成本等局限，对 MoE 架构训练加速有参考价值。
AI鸿沟正在拉大！OpenAI报告揭示：不用AI的企业将被淘汰
12月8日OpenAI发布2025年报告，基于百万级企业客户数据，揭示企业AI使用量爆发式增长，重塑全球商业流与组织架构。不同行业、地域加速渗透，同时企业和员工间AI鸿沟也在拉大。
谷歌TurboQuant会绕过“内存墙”？这个判断有点过了｜甲子光年
谷歌发布的TurboQuant论文引发市场震动，其算法可将大语言模型推理的KV缓存大幅压缩并加速。但将其视为绕过‘内存墙’判断过度，它提升单位字节信息密度，改变边际需求曲线，代表范式转移。
强化学习的两个「大坑」，终于被两篇ICLR论文给解决了
现有强化学习算法基于理想化交互模式，难应对真实环境。Mila 实验室两篇 ICLR 2025 论文提出实时强化学习框架，分别解决推理延迟和动作缺失问题，还可结合使用，对关键领域意义重大。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
InfoQ《极客有约》X AICon 直播邀请华为、蚂蚁集团等专家探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代冲突处理、推理部署成本优化、开源项目挑战及 GPU 虚拟化趋势等内容。