「评估基准」共找到 1426 篇相关文章
打破资源瓶颈！华南理工&北航等推出SEA框架：低资源下实现超强多模态安全对齐
本文介绍北航彭浩团队的 SEA 框架，针对多模态大模型低资源安全对齐难题，用合成嵌入替代真实数据，突破资源瓶颈。还构建 VA - SafetyBench 评估安全风险，实验验证了 SEA 低资源、高泛化优势。
33%！Claude、GPT、Gemini 在真实网站上集体翻车，ClawBench 把 AI agent 打回原形
ClawBench让AI在144个真实网站执行153个日常任务，结果惨烈，如Claude Sonnet 4.6每三任务翻车两个，GPT - 5.4仅完成10个。它还揭示AI在真实环境的问题，为评估模型提供标尺。
牛津、NUS提出下一代世界模型方向：心智世界模型来了
牛津大学和新加坡国立大学研究团队提出心智世界建模（MWM）通用框架，将心智变量纳入世界状态。还实现基准系统 MENTIS 验证其有效性，实验表明 MWM 对预测人类决策必要，瓶颈是状态转移模拟能力不足。
GPT-5.1 突然发布，用户实测：更像 4o，情商大幅提升
OpenAI 向部分付费用户推送 GPT - 5.1，有即时思考和深度思考两种模式，系统自动匹配。它有八种人格预设，改进不仅在语气，还提升记忆编织等能力，像是补救 GPT - 5 失败，还扩展安全评估。
刷新SOTA高出19.05分！英伟达开源OmniVinci全模态理解模型，只用1/6的数据，实现全方位超越
英伟达研究团队发布OmniVinci研究，该全模态理解大语言模型用六分之一训练数据，在全模态理解基准测试成绩超现有顶尖模型19.05分。它靠创新架构和数据策略实现效率与性能双突破。
LLM总是把简单任务复杂化，Karpathy无语：有些任务无需那么多思考
随着推理大模型和思维链普及，大模型有了‘深度思考’能力，但现在有些偏科，简单任务也复杂化。AI大牛Andrej Karpathy发长文指出该现象，认为是基准测试优化所致，大模型发展不能只追求分数。
“交互式Scaling”：增加Agent与环境交互的深度和频率来提升性能
在AI发展中，商业研究Agent是“黑箱”，开源研究Agent性能有差距。MiroMind团队推出MiroThinker v1.0，提出“交互扩展”提升性能，在多基准测试表现出色，也指出了当前版本的局限。
大模型训练新突破！“不对称”训练让AI学会自我反思，推理零开销
字节团队提出全新语言模型训练方法PCL，首次打破训练与推理对称约束，实现‘训练-推理不对称’。在训练时让模型反思评估结果，推理时仅输出答案，零额外开销，显著提升模型能力。
刷新复杂Agent推理记录！阿里通义开源网络智能体超越DeepSeek R1，Grok-3
互联网信息检索中，复杂问题让普通开源模型力不从心。阿里通义实验室提出WebSailor方案，通过SailorFog - QA数据集和DUPO算法等创新，提升模型能力，在多基准测试中超越诸多开闭源模型。
R1时代，RAG-Retrieval技术总结与展望~
RAG - Retrieval提供全链路RAG检索模型微调、推理及蒸馏代码，支持多模型、多loss和训练方式。还发布模型技术报告，设计评估框架，未来探索RL在检索领域应用。