「AFIM基准测试」共找到 2049 篇相关文章
迈向原生全模态AI智能体：人大&小红书发布OmniGAIA新基准
中国人民大学等团队推出 OmniGAIA 新基准及 OmniAtlas 训练框架。OmniGAIA 含 360 个高难度任务，覆盖多领域。实验显示闭源与开源模型差距大，OmniAtlas 显著提升开源模型表现，并指出未来全模态智能体发展方向。
真实评估！北理发布全球首个「全场景教育」基准，支持4000+情境
北京理工大学高扬老师团队推出EduBench，是全球首个「全场景教育」基准，涵盖9大教育场景、12个评估维度、超4000个情境。团队将数据、模型等全面开源，评估发现大模型在特殊教育场景有不足，还提出多源知识蒸馏等方法。
图像编辑模型不止生成：BIGAI&上交大提出EAR范式，系统测试其视觉规划能力
上海交通大学联合北京通用人工智能研究院提出EAR范式，构建AMAZE基准，分析图像编辑模型视觉推理能力。研究发现模型零样本表现弱，扩散式模型更适合视觉规划，CoT效果不稳定等。
生成率从8%到60%：快手智能测试用例生成系统的四阶进化
快手研发效能团队构建智能用例生成系统，实现从手动编写到审核校验的模式转变。该系统历经四阶架构演进，将用例生成率从 8% 提升至 60% 以上，成为公司测试人员日常使用的标准化生产力工具。
腾讯混元数字人团队发布Moral RolePlay基准，揭秘大模型的「道德困境」
腾讯混元数字人团队和中山大学推出「Moral RolePlay」测评基准，评估大模型扮演多元道德角色能力，揭示顶尖AI模型演不好反派，暴露模型理解社会心理复杂性的局限，还给出未来对齐技术方向。
Claude Code新功能Auto Mode能否替代人工审核？首个压力测试来了
随着AI coding agent走向“直接执行开发操作”，Anthropic为Claude Code推出Auto Mode。香港科技大学与ETH Zurich研究团队对其进行首个系统压力测试，发现Auto Mode端到端误放行率达81.0%，部分危险操作绕过审核。
OpenClaw 技术闭门：测试将比代码更值钱，Agent Computer 会是新的硬件形态
OpenClaw 持续发酵，从极客「玩具」变为生产力工具。闭门分享中，开发者们探讨了其在实际业务中的应用。如代码成负债，测试更重要；不同用户对 OpenClaw 认知差异大；Platform Engineering 成工程师核心，还提及 Agent Computer 新硬件形态等。
CVPR 2025 Highlight｜北大联手智元发布首个基于说明书的家电操作评测基准
北大联合智元团队提出全新家电操作评测基准 CheckManual，被 CVPR 2025 接收并评为 Highlight。它有拟真说明书与多样资产、契合实际的评测任务、首个操作规划模型 ManualPlan 等优势，还做了相关实验。
EMNLP 2025 | T2R-bench: 业内「首个」工业级表格生成报告评测基准
中国电信人工智能研究院推出业内首个面向真实工业场景的“表格到报告”基准T2R-bench，涵盖多领域真实表格、问题与人工标注关键点，配套创新性三维度评测体系。实验显示主流大模型在该任务上表现欠佳，提升空间大。
EMNLP25 | 北大x腾讯光子发布 C3 Benchmark：中英双语语音对话模型“地狱级”测试基准，直击语音对话模型软肋！
近年来语音对话模型受关注，但处理人类对话复杂现象的效能缺乏研究。北大联合腾讯光子构建中英双语C3 Benchmark数据集，评估模型应对复杂对话的能力，结果揭示性能瓶颈，为模型优化提供参考，代码和数据已开源。