搜索：推理能力评测

「推理能力评测」共找到 5034 篇相关文章

7个月翻一番！AI agent能力飙升，METR报告揭示指数级进化规律

非营利研究机构METR报告显示，Agent能力每7个月翻一番，这在9项基准测试中得到验证，任务涉及编程、数学等领域，大模型正迈向高度自动化，且Agent性能提升快，未来处理复杂任务能力或更强。

现有 MLLM 依赖文本处理视觉信息，会造成信息丢失。剑桥、伦敦大学学院、谷歌团队提出视觉规划范式，以强化学习框架 VPRL 提升模型规划能力，实验显示其性能优于文本规划。

文章围绕清华团队提出的 WorldArena 评测框架展开。它针对具身世界模型，对过去沿用视频生成的评测逻辑重新审视，从视觉质量和功能性任务两维度评估，推动世界模型从‘生成世界’迈向‘使用世界’。

谷歌发布TurboQuant算法，将缓存压到3 - bit，内存占用降为1/6，推理速度提升8倍。该算法冲击存储巨头，引发股价下跌，虽目前未改变采购量，但改写推理成本，且从论文到落地的路在缩短。

OpenAI即将发布的模型Astra，在内部评测中获ExploitBench满分，还发现两个零日漏洞。它能力远超上一代GPT - 5.6 Sol且更听话。不过为安全考虑，OpenAI部署监控，还放慢其研究速度。

本期 OpenAI 播客嘉宾，CFO Sarah Friar 和投资人 Vinod Khosla 探讨 AI 应用。指出多数人使用 AI 能力有限，2026 年是弥合“能力鸿沟”开端。还提及算力与营收相关，OpenAI 在企业端已领先，创业公司也有机会。

上海人工智能实验室等联合提出DiffThinker模型，利用扩散模型构建全新视觉推理范式。它在视觉中心任务上表现优异，准确率碾压GPT - 5等模型，还能与MLLM协同推理实现1 + 1 > 2的效果。

近年来，推理阶段的成本等因素制约大模型规模化应用。腾讯混元升级的 AngelSlim 围绕 Eagle3 投机采样训练范式构建系统化实现，支持多模态场景，最高可实现 1.9× 推理加速，还具备多亮点。

大型推理模型存在「过度思考」问题，训练混合推理模型易出现奖励欺骗。南大等团队提出 TNT 方法，利用思考模式解答部分为问题动态设非思考模式 token 上限，解决奖励欺骗，实现准确率与效率双赢。

作者分享搭建小平台实现全自动化评测与系统优化的实践，包括创建评测任务、集、报告等，通过钉钉文档、绘报等案例展示操作，还能自动优化系统，不过需系统UI规范、AI Coding含量高。