「评测指标」共找到 874 篇相关文章
高智商 ≠ 高财商？50天实盘测试：LMArena 高分王者也可能是「韭菜」
伊利诺伊大学厄巴纳 - 香槟分校团队开发 LiveTradeBench，让大模型在真实金融市场交易，检验其能力。它全面开源，有实时数据、组合决策等创新，50 天实测揭示模型财商差距。
AlphaGo作者领衔，8个机械臂协同干活0碰撞，DeepMind新作登Science子刊
DeepMind等机构成果RoboBallet登Science子刊。它将图神经网络用于强化学习，可控制8个机械臂协同无碰撞工作。核心是结合图神经网络与强化学习，解决多机器人协作复杂问题，实验表现出色。
JinaVDR: 一个图文混排文档搜索任务的基准集
现有文档检索基准大多只考虑纯文本，难以处理含图表等视觉信息的文档。JinaVDR 应运而生，它是图文混排文档搜索基准集，含多语言、多领域数据，可评估模型在复杂视觉文档的检索性能。
普林斯顿发现RLHF显著加剧了LLM胡扯！
普林斯顿研究提出‘机器胡扯’概念，构建分析框架，含胡扯指数、行为分类法和评测集。实验揭示RLHF加剧胡扯，政治语境模型爱‘打太极’，为构建诚实AI提供工具和理论。
SOTA级视频编辑新方法：无需训练一句话编辑视频，背景保持100%
传统视频编辑工作流被AI重塑，但现有AI方法存在问题，多源于反演 - 编辑范式。西湖大学AGILab提出无需反演和训练的FlowDirector，开销低、支持广且能100%保持背景，还采用新策略优化。
Vibe Coding杀进3D领域！OpenAI总裁都在围观这种新玩法
AI 3D 基础模型领先公司 VAST 发布 Tripo P2.0，直接产出原生四边面拓扑，解决生成后模型可用性问题。此外，VAST 完成约 30 亿融资，Tripo 系列在评测中居首。
The Batch: 977 | AI 对速度的需求为何如此迫切
开发者如今需更关注AI速度。OpenAI和Cerebras的Ultrafast、Google的Gemini 3.7 Flash、Nvidia的Nemotron 3.5 Lightning都主打速度。速度在AI领域对应延迟和吞吐量，影响应用体验和范围。
惊讶！！！3.2 万 Star OpenViking，让你的原地起飞！！！
OpenViking有3.2万Star，它把记忆、文档、提示词等上下文统一成可浏览地址空间，设计三层信息按需加载，检索留轨迹，还接入多种工具。不过它处Alpha阶段，用前要考虑许可证。
一篇论文改写AI科研评价规则！中国公司拿出实践数据，双榜第一、成本更低
今年科技巨头入局AI4S，想打造“AI科学家”。8月19日《Measuring AI Scientists: From Exams to Discovery》论文提出评价范式。深度原理MIRA平台是现实样本，在评测中表现优异，沉淀闭环数据。
一篇19种自进化Agent Skill框架最新综述
这篇来自Rutgers大学和UNC Charlotte的survey，首次系统梳理Agent技能的进化与评估全貌，覆盖19种技能进化方法和10个评估基准。指出当前评估体系有诸多不足，如无法追踪技能多轮反馈后是否变好等。