「低延迟推理」共找到 2941 篇相关文章
必须得让AI明白，有些不该碰的东西别碰（doge）
近期类o3模型在视觉推理任务表现优异，但陷入‘盲目用工具’状态。港中文MMLab等团队提出AdaTooler-V模型，具备自适应工具使用能力，还引入指标、算法，构建数据集，在多基准测评中优势明显。
DeepSeek-V3.2正式版发布，将开源模型的能力推向极致
DeepSeek-V3.2正式版开源，包含标准版和Special版。它采用稀疏注意力机制，降低计算复杂度。后训练阶段有多项算法改进，支撑高难度推理。还融合思考与工具使用，合成训练数据，在智能体评测表现优异。
ACL 2025 | GALLa：给代码大模型装上“透视眼”，看懂程序的“骨架”！
蚂蚁集团与上海交大合作的 GALLa 研究被 ACL 2025 主会录用。它利用图神经网络将代码图结构信息注入大模型，在 7 个模型和 5 个任务上提升性能，推理与普通 LLM 一致，不增成本。
dLLM的「Free Lunch」！浙大&蚂蚁利用中间结果显著提升扩散语言模型
近年来，扩散大语言模型（dLLM）成为文本生成新势力，生成效率高。但现有解码策略忽视中间迭代信息，研究团队观察到「先对后错」现象，提出 TCV 和 TCR 方法，显著提升模型在推理任务表现。
“美国大豆包”Gemini翻身：输出速度碾压同行、智能水平重回第一梯队
过去 Gemini 被吐槽，如今 Google 推出 Gemini 3.8 Flash，六周内第三款 Flash、四个月内第四次更新。新模型成绩佳，输出快，成本低，智能体评测进步大，从经济型选项成生产主力，但实际表现待检验。
刚刚，GPT-5.4 发布，百万上下文、最强全能模型
OpenAI发布GPT - 5.4，集推理、编程等能力于一体，支持百万级上下文窗口。有三个版本，功能全面升级，如支持中途打断、电脑操作、视觉能力提升等，还更省token、少幻觉，安全机制完善，价格有调整。
AI点外卖哪家强，美团LongCat团队做了个全面评测
美团LongCat团队发布贴近生活场景的大模型智能体评测基准VitaBench，以三大高频生活场景为载体，构建含66个工具的评测环境。评测显示现有智能体与应用需求差距大，该基准已全面开源。
如何将 AI 代码采纳率从30%提升到80%？
文章指出AI编码采纳率低，原因在于信息不对称、任务粒度过大等。提出通过规范化文档体系和Issue管理规范解决前两个问题，还介绍了未来扩展方向及多种开发实践技巧，最后分享项目实战效果。
半量工具，双倍效能：ARPO革新大模型强化学习
大语言模型在多轮工具调用场景有挑战，传统强化学习算法有探索效率低和资源消耗大问题。本文提出ARPO，通过量化token熵分布变化设计自适应探索机制，降低工具调用成本且提升多轮推理性能。
开源播客TTS神器！高效TTS模型：Muyan-TTS，0.33秒生成1秒音频，零样本语音合成！
介绍新发布的开源TTS模型Muyan - TTS，它专为播客场景设计，以超低延迟实现零样本语音合成，预训练大量播客数据，支持长内容连贯生成，还介绍了使用步骤、适用场景等。