「SDE评测体系」共找到 1165 篇相关文章
复旦等推出「第一人称视听基准」，补齐多模态模型「听觉拼图」
多模态大模型在真实世界会“失聪”，现有第一人称视频问答/理解基准长期偏“视觉中心”。复旦等团队推出首个系统评测第一人称声音理解能力的基准EgoSound，能让模型听懂世界，评测显示当前模型与人类差距大。
SeePhys Pro：重新审视多模态物理推理中的视觉理解与训练收益
来自中山大学等的研究者提出SeePhys Pro，是面向多模态物理推理的细粒度评测与训练诊断框架。发布了benchmark、训练集等，测评显示当前模型在信息模态转变时不稳定，为模型评测和训练研究提供基础。
马斯克转发字节Seed&哥大商学院新基准：大模型搞金融，连查个股价都能出错
字节跳动Seed团队与哥大商学院推出开源金融搜索与推理基准测试FinSearchComp，含635个问题。评测显示大模型处理金融任务有差距，凸显金融AI能力评估重要性，还揭示了关键能力差距。
Qwen-AgentWorld：一个语言世界模型，模拟七大Agentic领域
今天正式发布 Qwen-AgentWorld，它是首个原生语言世界模型，能在七大领域模拟智能体交互环境。同步发布 AgentWorldBench 评测基准。Qwen-AgentWorld 经三阶段训练，在评测中表现出色，还探索两种范式增强通用智能体能力。
一场火，让公众对动力电池安全的信任“倒退十年”｜甲子光年
理想MEGA起火事故引发公众对新能源车动力电池安全的讨论。该车搭载麒麟电池，材料体系为三元锂。从技术角度分析，可能与电池材料体系、三元锂电池正极材料摩尔比及被忽视的气凝胶防护措施有关。
OpenAI为龙虾紧急收购了一家23人公司
OpenAI前脚挖来龙虾之父，后脚收购专注AI安全与评测的初创公司Promptfoo。该公司开源评测框架流行，有30多万开发者用户。收购后将补齐OpenAI在‘龙虾安全’方面关键一环，且继续保持开源。
代码Agent的苦涩教训！首次拆解上下文检索，直指自动化软件瓶颈
ContextBench首次从「过程」评测代码智能体，揭示当前模型多读少用、被关键词误导等深层问题。它基于真实问题修复任务，由专家标注「黄金上下文」，用多指标评估。研究显示，复杂架构未必效果好，模型重召回轻精确等。
为什么 Agent Memory需要 AML：看 AML “变量控制”的工程设计
传统 Agent 记忆评测有水分，近日放榜的 Agent Memory Leaderboard (AML) 通过严格控制变量构建盲测管线。文章从技术架构深拆其工程细节，还分析了首期榜单，指出其重构评估变量的价值。
AI 正当时，实践正落地：2025 AICon 深圳站圆满收官
8月22 - 23日，2025 AICon深圳站圆满落幕，超800位从业者参与。大会汇聚多企业专家，围绕多热点探讨。极客邦霍太稳指出AI从模型比拼到落地实践。多位嘉宾分享经验，如阿里云蒋林泉、快手周国睿等。还有多场硬核分享及开发者展区。
0%通过率！Code神话泡沫！LiveCodeBench Pro发布！
国际算法奥赛金牌得主团队测试20个顶级大模型，在584道编程赛题上，高难度题目AI通过率为0%。论文发布LiveCodeBench Pro评测方法，揭示AI编程能力神话泡沫，指出其问题并给出提升方向。