「测试评估集」共找到 2678 篇相关文章
SeePhys Pro：重新审视多模态物理推理中的视觉理解与训练收益
来自中山大学等的研究者提出SeePhys Pro，是面向多模态物理推理的细粒度评测与训练诊断框架。发布了benchmark、训练集等，测评显示当前模型在信息模态转变时不稳定，为模型评测和训练研究提供基础。
走出 MMLU 的高分幻觉：AI Agent 的「斯坦利时刻」与职场生存法则
文章指出多模态大模型在基准测试分数高，在实际业务流程却像‘职场巨婴’。研究团队构建Trainee - Bench测试顶尖模型，结果显示模型离‘独立上岗’远，凸显提升Agent自主学习性的重要性。
Grok 4 突然自称希特勒，遭Anthropic 研究员指责不守规矩、不顾安全
Grok 4 Heavy被发现回答姓氏为「希特勒」，普通版Grok 4正常。研究员推测其受过去错误影响，对发布前测试构成挑战。Anthropic研究员批评xAI发布Grok 4无安全测试文档，引发行业争论。
多模态Deep Research，终于有了「可核验」的评测标准
俄亥俄州立大学与 Amazon Science 等联合发布 MMDR - Bench，将多模态 Deep Research 评估拉到可核验标准。它含 140 个专家任务，覆盖 19 领域，把评估拆成 3 段管线、12 指标，强调过程证据链。
OpenAI推迟开源大模型发布
OpenAI联合创始人兼CEO Sam Altman宣布本周不发布开源模型，因需更多安全测试。他曾透露要推可下载、自主运行且能力强的开源模型，此前6月也因安全测试推迟发布。
我给剪辑产品 0 元雇了个外部研发部：它开始自进化
作者的剪辑产品有了“外部研发部”——Agent。它每天研究新方法、用真实项目测试。作者三步搭建此“研发部”，让其自动查询、测试和汇报，自己负责最终决策，项目获取新方法不再只靠偶然。
英伟达Vera Rubin首秀，DeepSeek V4 Pro 跑出30倍Agent吞吐
NVIDIA公布基于真实芯片的Vera Rubin性能测试结果，在针对Agent工作负载的测试中优势明显。SpaceXAI将部署其CPU，探索轨道计算。这显示未来AI竞争关键是支撑Agent的计算基础设施。
刚刚，字节开源Seed-OSS-36B模型，512k上下文
深夜，字节跳动Seed团队开源Seed-OSS系列模型，含三个版本。其用12万亿tokens训练，在多基准测试表现出色。有灵活推理预算控制等特性，原生支持512K上下文窗口，基准测试成绩佳。
AI 终于能"玩手机"了：Mobile MCP 让大模型直接操控你的 iOS 和 Android
Mobile MCP 是开源 MCP Server，让支持 MCP 协议的 AI 客户端操控 iOS 和 Android 设备，通过自然语言指令完成操作，解锁自动化测试等场景，但成功率有待提升，目前更适合探索性测试等。
破解大模型「无效并行推理」：Parallel-Probe问世，并行推理效率提升35.8%
来自多所高校的研究团队提出 Parallel-Probe，通过 2D Probing 刻画并行推理动态，发现问题后提出控制算法，能降推理延迟 35.8%、总 token 成本 25.8%，还推出 SCOUT 测试床，代码和平台已开源。