「工具链式推理」共找到 3771 篇相关文章
The Batch: 899 | 更划算的推理
研究人员提出 Delethink 强化学习方法,训练大模型定期截断推理 token 至固定最大数量,以限制处理长思维链成本。经测试该模型在多方面超基线,且缓解计算成本限制,为长上下文推理提供路径。
如何重现 DeepSeek 推理性能突破
DeepSeek-V3 是热门开源大模型,采用大规模 MoE 架构,优化推理性能是工程难点。阿里团队在 RTP - LLM 完成优化,对齐其推理系统性能,分享关键技术、不足与思考,还提及对 Qwen3 模型的优化策略。
10% KV Cache实现无损数学推理!这个开源方法解决推理大模型「记忆过载」难题
推理大模型推理时易现冗余问题,R-KV开源方法登场,显存降90%、吞吐提6.6倍、准确率达100%。它通过实时对token排序解决冗余,还经多步骤压缩KV缓存,性能测试表现出色,适用多场景。
The Batch: 863 |推理提高了碳排放
新研究量化推理模型时代提供更优答案的环境成本,研究人员估算14个开源权重的大模型碳排放,发现推理与排放存在权衡关系,还指出战略性部署可降低排放。
最强AI编程工具Claude Code,五个使用Tips
作者认为Claude Code是最强AI编程工具,因Anthropic对其针对性强化训练且不计上下文消耗。国内介绍少因自媒体水平差。作者分享五个使用Tips,如/init初始化、Plan Mode规划等。
新的基础设施即代码工具“formae”瞄准了 Terraform
平台工程实验室于2025年10月22日推出开源基础设施即代码平台formae,试图解决现有工具的根本性限制。它有两种操作模式,能自动发现和编码现有基础设施,使用PKL语言,还面临成熟工具竞争。
The Batch: 939 |在推理阶段学习长上下文
大型语言模型处理长上下文时通常准确性降低、速度变慢,研究人员提出TTT - E2E方法,通过推理时训练模型将上下文压缩到transformer权重中,还展示了其运作方式、测试结果等。
告别「盲目自信」,CCD:扩散语言模型推理新SOTA
华为小艺香港团队等研究人员提出上下文一致性解码算法(CCD)。它解决传统DLM推理“短视”和采样预算固化问题,在开源DLMs上实现3.48倍加速和3.9%性能提升,适配多种解码设定。
DeepMind发布SIMA 2!打通「感知-推理-行动-反思」闭环
DeepMind推出的SIMA 2,可让智能体在虚拟环境中边聊天边进行复杂多模态推理。它整合Gemini能力,从指令执行者变为互动伙伴,有强大迁移泛化与自我提升能力,是迈向AGI重要一步,但也面临一些挑战。
LLM的快速、慢速与工具增强思维模式综述
大型语言模型在不同任务中对推理策略需求差异大,策略选择不当会影响效率与可靠性。本文提出双重知识边界框架,梳理LLMs推理模式,将策略选择形式化,还分析了决策因素及策略选择机制。