「实验评测」共找到 1860 篇相关文章
单卡跑出集群效率！Hugging Face TRL 与 RapidFire AI 的超并行革命
Hugging Face宣布其核心微调库TRL集成RapidFire AI，重构大模型后训练阶段工作流。RapidFire引入超并行实验引擎，提升实验验证速度，解决算力受限团队的调参难题，带来效能质变。
ICLR 2026｜多模态大模型真的理解情绪吗？MME-Emotion给出了系统答案
多模态大模型迅速发展，但能否理解人类情绪存疑，且缺乏系统性评测框架。香港中文大学和阿里通义实验室团队提出 MME - Emotion 评测基准，评测 20 个主流模型，发现模型情感智能不足，为后续研究提供参考。
开启Benchmark的Harness时代：15家学术机构联合发布HarnessEval
8月13日，DeepSeek开源Agent Harness dsh引发行业对“Harness”的关注。近日，MirroS联合多机构发布HarnessEval，将其概念引入评测系统。它使评测从Metric到Harness，形成可执行评测系统，已落地于交互式世界模型。
AAAI 2026｜视频大语言模型到底可不可信？23款主流模型全面测评来了
合肥工业大学与清华大学团队推出视频大语言模型综合可信度评测基准 Trust-videoLLMs，对 23 款模型从五维度 30 项任务评测，揭示性能格局，指出模型现存问题，还开源评测框架等。
OpenAI启动新实验，46万学生参与
硅谷巨头正秘密培养首批「AI原生代」，OpenAI等推动下，CSU欲成美国最大AI赋能大学，花费1690万美元采购OpenAI的Edu服务，引发是培养人才还是制造顺从AI机器的讨论。
自构建智能体：一项 LangChain4j 实验
作者将LangChain4j文档交代码助手，让其参照构建智能体，设计多智能体系统编写、测试和调试代码。实验展示了LangChain4j优势，还对比监督者和工作流两种智能体实现模式，揭示速度与自主性权衡关系。
多模态Deep Research，终于有了「可核验」的评测标准
俄亥俄州立大学与 Amazon Science 等联合发布 MMDR - Bench，将多模态 Deep Research 评估拉到可核验标准。它含 140 个专家任务，覆盖 19 领域，把评估拆成 3 段管线、12 指标，强调过程证据链。
NVIDIA团队让编程Agent接管真实机器人实验，成功率达99%
NVIDIA GEAR 实验室负责人介绍 ENPIRE 项目，首次在机器人硬件实现自动化研究。让 8 个 Codex Agent 驱动闭环，完成高精度任务，成功率 99%。项目计划开源，还提出 MRU 与 MTU 指标。
世界模型评测的最大盲区，被这个新基准捅破了
过去一年，‘世界模型’成视频生成领域热词，厂商强调产品要模拟真实世界运行规律，但业界评测一直未能精准检验其‘物体恒存’的认知能力。为此，研究者提出新基准MemoBench，测试了主流模型，揭示其短板。
11位顶尖数学家发了篇没结果的论文，陶哲轩推荐都关注一下
11位顶尖数学家发起First Proof实验，设计10道研究级数学问题，检验AI独立解决问题的能力。陶哲轩认为实验有趣，当前AI一次性提示难解题，截止期限前成果值得关注。