「测试评估集」共找到 2678 篇相关文章
Shopify 经验贴：如何搞出一个生产级别可用的 AI Agent 系统？
Shopify 以 AI 助手 Sidekick 为例，分享从简单工具调用系统演变为复杂 AI Agent 平台的经验，包括架构设计、评估方法和训练技术等方面，还给出构建生产级别可用的 AI Agent 系统的四条核心建议。
细粒度视觉推理链引入数学领域，准确率暴涨32%，港中文MMLab打破多模态数学推理瓶颈
香港中文大学MMLab团队发布MINT - CoT视觉推理方案，解决多模态数学推理难题。它引入特殊Interleave Token，构建专属数据集，采用三阶段训练策略，实验效果全面超越现有方法。
卷疯了！2.2k Star通用型、开源Agent平替Manus、GenSpark AI
2025 年是 Agent 之年，文中介绍了 Manus、GenSpark AI 两款闭源代理，还重点阐述开源的 II - Agent，它功能丰富，架构设计合理，在 GAIA 基准测试评估，性能可平替前两者。
正确答案 ≠ 正确推理，CoT 或成大模型推理能力停滞的「罪魁祸首」？
研究指出当前大模型推理能力评估多关注答案准确性，忽视推理步骤。通过对前沿模型测试发现，2023 - 2024 年大模型推理能力提升停滞，进步靠提示工程，自底向上策略最有效。
AI智能体也有「蜘蛛感应」，防御延时骤降至8.3%
传统Agent防御机制易致延时积累，研究者联合推出Spider - Sense智能体防御框架，利用两大核心技术将防御延时从200% + 降至8.3%，在主流数据集和新基准测试中表现优异。
0%完成率！Claude、GPT、Gemini 全灭，SWE-Bench作者新作把AI圈干沉默了
SWE - Bench创建者推出新benchmark ProgramBench，测试AI从零构建软件系统能力。结果一线模型完成率0%，暴露AI擅长局部代码生成，缺全局系统规划能力，引发对其评估方式的讨论。
MiniMax 上市后的第一个开源：给 Coding Agent 立个规矩
2026 年初 MiniMax 成功上市港股，市值达 1100 亿港币。其上市后首个开源项目 OctoCodingBench 聚焦 Coding Agent 评估，解决规则复杂时 Agent 合规问题，为其立规矩，有重要社区价值。
这个框架让大模型省下50%内存，合并专家不如直接删掉？
Cerebras Research提出REAP框架，通过专家剪枝和合并技术压缩SMoE模型，能让模型‘瘦身’并保持性能，可省50%内存，但社区测试有不同结果，且存在调度开销等问题。
你的「龙虾」真记得你吗？剑桥发布长期个性化记忆基准ATM-Bench
剑桥大学团队开源面向AI个人助理的长期记忆基准测试ATM - Bench，评估AI面对真实生活数据时能否「记住你」。实验结果不佳，专用和通用智能体系统准确率低，凸显长期个性化记忆问答难题。
北大、字节、中科院自动化研究所等提出图像并行生成新范式
北大、字节等团队发现多模态模型先思考后作画会降低图像语义保真度，因自回归架构有误差传播问题。为此提出并行多模态扩散框架MMaDA - Parallel，构建ParaBench基准，多项优化后在测试中击败Bagel。