「多选题评测」共找到 4656 篇相关文章
别再用单选评测骗自己了！Amazon新论文揭示了大模型在多选题中的3种系统性偏差
Amazon新论文揭示大模型做多选题有3种系统性偏差，如选择、数量、猜测偏差。还推出SATA - Bench评测，给出10个测量指标，提出Choice Funnel解码策略，能提升小模型多选题正确率。
大模型能否为不同硬件平台生成高性能内核？南大、浙大提出跨平台内核生成评测框架MultiKernelBench
深度学习计算依赖底层内核，当前多由开发者手工编写。南大、浙大推出开源评测框架MultiKernelBench，打破现有评测基准局限，构建模块化评测体系，多模型实测，还指出LLM短板并明确未来方向。
让 AI 组队干活，最强模型也只完成约一半任务：AgentWorld 如何评测 Agent 协作能力？
单个AI Agent能力不断提升，但多智能体协作能力缺乏系统评测。本文介绍新推出的AgentWorld评测基准，结合长时程任务、角色不对称与黑盒交互，评测多智能体协作能力，给出主流大模型的协作表现数据。
评测也很酷，Data Agent 自动化评测的三层框架与实战
在大模型技术飞速发展下，评估应用效果成难题。字节跳动尹小明分享自动化评测技术，提出三层评测框架，还介绍 Text - to - SQL 及深度研究评测改进，以及评估平台建设，最后展望自动化评测未来方向。
DeepEval：LLM 应用评测不再玄学，让大模型评测像写单元测试一样简单
在大模型应用开发中，科学、自动化评测 LLM 输出质量是难题，人工评测效率低。DeepEval 是 Confident AI 团队开源的 LLM 评测框架，能用极简代码让评测像写 pytest 一样自然，内置多种评测指标，支持批量评测等。
自动化评测的九九归一——评测agent
本文提出统一评测Agent架构，实现评测全链路自动化。它能学习标注标准，完成自动标注等工作。还介绍架构、解耦方法、模型优化及训练方案，解决多模态幻觉等问题，提升机审率，节省标注成本。
告别多奖励跷跷板：Flow-OPD将多教师OPD带入图像生成
中国科学技术大学等机构团队提出Flow - OPD，这是首个将OPD引入流匹配模型的统一多任务后训练框架。它解决了流匹配模型后训练对齐中多任务的梯度冲突等问题，效果良好，未来有多个拓展方向。
具身智能迈入下半场，RoboMemArena全面评测机器人记忆系统
香港科技大学（广州）等多机构打造具身智能评测基准 RoboMemArena，突破传统局限，构建综合评测体系，配套真机测评。它提供多模态标注，任务长程多样，开源资源易用，PrediMem 在其上表现出色。
DMLR 2026 | RPI Shaowu Pan（潘韶武）团队 Nithin Somasekharan等：CFDLLMBench——首个面向计算流体力学的大语言模型综合基准评测
文章介绍针对CFD领域的综合LLM评测基准CFDLLMBench，构建三层递进挑战体系。实验揭示主流LLM在‘知道’与‘做到’间有差距，多智能体框架可提升成功率，代码与数据集已开源。
如何定义“人味儿”？——HeartBench评测体系建设实践
在大模型竞争格局生变，情感智能评测缺失的背景下，作者团队发布聚焦AI拟人化的中文评测体系HeartBench，介绍其设计、评估方式、迭代过程等，还沉淀了评测体系构建方法论及专家标注管理思考。