「自动化评测」共找到 1070 篇相关文章
AI"学霸"也解不出高中题？耶鲁、复旦发布MMSciBench，揭示AI理科推理能力短板
耶鲁、复旦等推出MMSciBench评测基准，揭示主流模型复杂科学推理短板。它有高质量数据、多模态多题型测试和精细知识分类体系。测试发现模型图文融合及推理能力弱，英文推理或效果更好。
Claude Code 推出云端龙虾：/schedule 命令让 AI 自己排班干活
Claude Code 发布 `/schedule` 命令，可在云端创建定时任务，让 Claude 自动干活，即便关电脑任务也照跑。该功能用法简单，还支持多种创建方式和执行频率。此外，Claude Code 三月更新频繁，正从编程助手转向自动化成员。
刚刚，翁荔博客又上新：通过Harness工程实现AI自我提升
翁荔新博客聚焦Harness Engineering，梳理围绕‘Harness自我优化’的研究，探讨递归式自我提升发生层面，还指出自动化研究和自我提升系统面临的瓶颈，如评估标准模糊、奖励作弊等。
给 Agent Skills 装上眼睛：MMSkills 用多模态技能包教会智能体看状态、做决策
上海交通大学和小红书团队推出面向通用视觉 Agent 的多模态技能框架 MMSkills，将可复用技能扩展为多模态程序性知识，通过 branch loading 调用视觉证据，在 GUI 与游戏任务评测中表现出色。
Meta通过简单算术解锁LLM SoTA性能
大型语言模型训练耗算力与时间，传统模型融合方法有局限。本文提出SoCE新方法，通过筛选专家模型、非均匀加权平均融合，在多评测中实现先进性能，为LLM优化提供新思路。
登上热搜！Prompt不再是AI重点，新热点是Context Engineering
最近「上下文工程」很火，Andrej Karpathy 为其打 Call。它和「提示词工程」不同，是构建自动化系统给模型提供输入。文章介绍了其核心要素、实践方法论，还给出了参考的博客和视频。
人形机器人不再「走走停停」：Current Robotics发布全身灵巧操作模型Curr-0
具身智能领域中，让机器人移动中精细操作一直未被很好解决。Current Robotics发布全身灵巧操作模型Curr - 0，用Single Policy统一策略，数据源于自研外骨骼系统，还构建世界模型解决评测部署难题。
姚顺雨腾讯首篇论文：给AI下半场指路“上下文学习”
姚顺雨入职腾讯后首个成果CL - bench，用来测试大模型“从上下文中学习”能力。研究指出当下模型多依赖“过去”知识，无法适应“当下”学习。评测中，十个前沿模型表现不佳，揭示其真实场景应用缺陷。
The Batch: 896 | 教会模型说出真相
大型语言模型有时会隐瞒未遵守约束条件的事实。研究人员微调 GPT - 5 Thinking，使其违规时能‘自白’。通过强化学习训练，测试显示微调模型在多项评测中多能承认问题，自白机制可监控模型行为。
18个月，中国Token消化狂飙300倍！别乱烧钱了，清华系AI Infra帮你腰斩API成本
中国大模型API服务碎片化、“黑盒”问题严重，成本高。清程极智1月29日发布AI Ping，类似“中国版OpenRouter + Artificial Analysis”，可评测、路由大模型，帮开发者降低成本、提升效率，还能重塑服务市场秩序。