「低延迟推理」共找到 2933 篇相关文章
超越GPT-4o！华人团队新框架让Qwen跨领域推理提升10%，刷新12项基准测试
加拿大滑铁卢大学与TikTok新加坡的华人团队提出全新训练框架General - Reasoner，让Qwen系列大模型跨领域推理准确率提升近10%，在多项基准测试中超越GPT - 4o。该框架有全领域推理数据集和生成式答案验证器两大创新。
仅保留35% Token，性能反超原模型！快手可灵等用视觉信息引导音频压缩，推理时间直降42%
Omni - LLM计算浪费严重，快手可灵等团队提出OmniSIFT框架。它利用音视频非对称依赖关系，通过时空联合剪枝压缩视频、视觉引导筛选音频Token，大幅减少Token数量，提升性能和推理效率。
马斯克xAI自研推理芯片曝光！代号X1、台积电3纳米工艺、明年就量产
马斯克的xAI被曝自研推理芯片X1，用台积电3纳米工艺，2026年三季度量产。此前xAI就为自研芯片招兵买马，还将在西雅图设办事处。此外，特斯拉也在推进自研推理芯片。
用更一致的轨迹、更少的解码步数「驯服」掩码扩散语言模型，扩散语言模型的推理性能和效率大幅提升
扩散大语言模型发展迅猛，或成下一代大语言模型基础范式有力竞争者。复旦大学等团队发布论文，提出高效解码策略与强化学习训练组合，解决MDLM解码和训练问题，提升推理性能与效率。
AST | 西交大牛笑天、陈刚等：基于多尺度网格融合技术的复杂三维构型流场时空智能推理方法
文章针对复杂三维外形的强非线性非定常流场推理难题，提出MSGF数据预处理方法与DTECAU - 3D模型联合框架。MSGF解决数据提取难题，DTECAU - 3D解决传统U - net问题，经测试验证该框架效果良好。
ICLR 2026 Oral｜大模型总爱「想太多」？ DECS从源头消除冗余思考，实现推理token减半且性能不降反升
以DeepSeek - R1等为代表的大型推理模型存在过度思考问题，造成大量冗余计算。复旦大学等团队在ICLR 2026 Oral论文中揭示‘长度惩罚’局限性，提出DECS框架，在多基准测试中实现推理长度减半且性能提升。
NeurIPS 2025 | 中科大、港中深、通义千问联合发布CoRT：仅30个样本教会大模型高效推理，token消耗降低50%
大型推理模型在精确数学计算上存在问题，如认知冲突、行为低效、数据稀缺。中科大、港中深、通义千问联合推出CoRT框架，用创新数据合成与多阶段训练，提升模型推理能力和效率，成果已开源。
一场文心大模型的「AI马拉松」
2025 年模型能力至关重要，百度在基础模型研发持续投入。百度 AI Day 上，吴甜解读文心新模型技术，文心 X1 Turbo 推理强、成本低。百度技术体系完备，未来看好多模态与智能体，降成本促应用生态发展。
警惕！大模型成本倒挂：你正在为模型的多余「思考」买单
一项来自多所高校和微软研究院的研究揭示AI模型价格倒挂现象，低定价模型可能产生更高实际开销。研究聚焦8个前沿推理模型和9个主流数据集，指出推理token是成本倒挂主因，且实际开销难以预测。
腾讯LLM团队：对下一个 Token 预测的深入剖析，多样性 or 精准度？
最新研究证实RL能增强LLM推理，但成效受限预训练token分布。腾讯LLM部把交叉熵重写成单步策略梯度，用超参压熵，为RL打造‘低熵高信号’起点，经实验验证低熵模型优势明显。