「评测反馈」共找到 878 篇相关文章
AI真能用好科研软件吗？清华团队推出OSWorld-Science，智能体迎接硬核大考
本文针对AI能否自主操作科研软件完成真实科研任务的问题，介绍了清华大学牵头多机构推出的OSWorld-Science，这是面向真实科研场景的智能体评测基准，包含146项真实科研任务，评测了12个主流模型，曝光了当前智能体的能力短板，为领域研究提供了统一评测基础。
多模态Deep Research，终于有了「可核验」的评测标准
俄亥俄州立大学与 Amazon Science 等联合发布 MMDR - Bench，将多模态 Deep Research 评估拉到可核验标准。它含 140 个专家任务，覆盖 19 领域，把评估拆成 3 段管线、12 指标，强调过程证据链。
世界模型评测的最大盲区，被这个新基准捅破了
过去一年，‘世界模型’成视频生成领域热词，厂商强调产品要模拟真实世界运行规律，但业界评测一直未能精准检验其‘物体恒存’的认知能力。为此，研究者提出新基准MemoBench，测试了主流模型，揭示其短板。
Agent搜索哪家强？人大高瓴&快手联合发布全新评测基准GISA
人大高瓴与快手联合发布全新评测基准GISA，用于评估智能体搜索能力。它解决了现有基准反向构造、评估维度单一、答案易被记忆等问题，含373个高质量查询，实验显示当前搜索智能体距人类水平差距大。
吴恩达来信：DeepLearning.AI Skill Builder工具隆重上线！
DeepLearning.AI发布Skill Builder工具，可根据用户AI项目经历给出个性化反馈和提升建议，从初学者到高级用户都适用，完全免费，还会生成总结报告，Pro会员有更详尽反馈。
Seedream 4.0大战Nano Banana、GPT-4o？EdiVal-Agent 终结图像编辑评测
在AIGC下一阶段，图像编辑成检验多模态模型关键场景。研究者提出EdiVal - Agent评估框架，能自动化生成指令并多维度评估编辑结果，其评估与人类判断一致性高，还对比了13个模型的多轮编辑表现。
全球首个跨本体、跨视角、多模态物理世界模型，CurrentWorld-0 来了！
Current Robotics 发布跨本体、多模态物理世界模型 CurrentWorld-0，它从真实数据学规律，整合跨本体、多视角和力触预测，可评测机器人，解决动作可控性等问题，让评测成训练数据入口。
规范对齐时代：GPT-5 断层领先，让安全与行为边界更明晰
上海交通大学等团队提出规范对齐概念，构建评测基准 SpecBench 评测 33 个主流模型，发现多数模型有不足。还探索测试时深思方法，如 Align3 能提升规范遵循度，GPT - 5 在规范对齐上断层领先。
警告：你的Agent可能无法"解决"真实世界的视觉问题
文章提出 AgentVista 评测基准，含 209 道任务，横跨 7 大领域 25 个子方向。评测 14 个主流模型，最强的 Gemini - 3 - Pro 准确率仅 27.27%，揭示多模态 Agent 在视觉理解、工具调用等方面挑战大。
OpenAI总裁透露GPT-5改了推理范式，AGI实现要靠现实反馈
OpenAI总裁Greg Brockman在访谈中透露AGI之路，包括技术上转向强化学习推理范式，资源上持续投入计算资源，落地时封装成Agent。还提到GPT - 5改变推理范式，强调计算对AGI的重要性及模型落地等内容。