「测试评估集」共找到 2678 篇相关文章
邱锡鹏老师团队发布VehicleWorld：让智能汽车真“智能”
邱锡鹏老师团队发布论文，构建高度仿真的智能座舱虚拟环境VehicleWorld，并提出基于状态的函数调用（SFC）方法。实验显示，SFC大幅提升任务执行准确率和效率，还构建了Vehicle Benchmark进行评估。
免剪辑直出！AI生成多角色同框对话视频，动态路由精准绑定音频
Bind-Your-Avatar基于扩散Transformer框架，通过细粒度嵌入路由将语音与角色绑定，实现精准音画同步，还引入数据集MTCC和基准测试，实验显示其在身份保真和音画同步上优于现有方法。
从「记忆解题」到「深度推理」：港科大推出首个本科数学动态评测基准 UGMathBench
港科大团队发表在 ICLR 2025 的研究 UGMathBench，是首个本科数学动态评测体系。它涵盖 16 个学科领域，通过变量扰动创建多版本试题，引入创新指标评估模型推理能力，测试结果揭示了当前模型短板。
直播预约 | 强化学习训练能否不依赖外部知识优化模型的弱点？
论文提出 SwS 框架，针对强化学习场景，利用模型自我感知弱点驱动自动化问题生成，合成针对性训练数据。还对其进行多项扩展，在多个基准测试集和模型上验证有效，性能提升显著。
斯坦福临床医疗AI横评，DeepSeek把谷歌OpenAI都秒了
斯坦福最新大模型医疗任务评测，构建含35个基准测试的MedHELM综合评估框架。结果显示，DeepSeek R1以66%胜率领先，o3 - mini等模型也各有表现，还分析了成本效益。
刚刚，大模型棋王诞生！40轮血战，OpenAI o3豪夺第一，人类大师地位不保？
国际象棋积分赛成果出炉，OpenAI o3以人类等效Elo 1685分夺冠，Grok 4和Gemini 2.5 Pro紧随其后。Kaggle发布国际象棋文本排行榜，评估模型战略推理等能力，还推出相关数据集，虽有局限但意义重大。
ICML 2025 Spotlight | 谁导致了多智能体系统的失败？首个「自动化失败归因」研究出炉
ICML 2025 Spotlight 论文提出「自动化失败归因」新方向，应对多智能体系统失败难诊断问题。构建「Who&When」基准数据集，设计三种初步方法并评估，虽现有方法表现有限，但此研究意义重大，有望助力打造更可靠系统。
告别「一条路走到黑」：通过自我纠错，打造更聪明的Search Agent
为解决知识实时性和推理复杂性挑战，搜索智能体（Search Agent）应运而生，但缺乏自我纠错能力。腾讯联合清华提出 ReSeek 框架，引入动态自我修正机制，还构建 FictionalHot 数据集评估，实验效果良好。
27、42、73，DeepSeek这些大模型竟都喜欢这些数！为什么？
技术作家发现GPT - 4o、Claude等模型猜数偏好42、73，Andrej Karpathy测试中模型多选27。网友猜测原因，如数据集、人类偏见等，也有论文分析此现象，多与数据分布有关。
音频全能王炸！小米MiMo-Audio开源，力压Gemini/GPT-4o！
小米团队开源通用音频大模型MiMo-Audio，集多种功能于一身，支持7国语言零样本克隆和中英混合合成。首包延迟低，效果自然稳定。在多个基准测试中表现优于Gemini-2.5-Flash和GPT-4o-Audio。