「基准构建」共找到 2646 篇相关文章
邱锡鹏老师团队发布VehicleWorld：让智能汽车真“智能”
邱锡鹏老师团队发布论文，构建高度仿真的智能座舱虚拟环境VehicleWorld，并提出基于状态的函数调用（SFC）方法。实验显示，SFC大幅提升任务执行准确率和效率，还构建了Vehicle Benchmark进行评估。
腾讯混元数字人团队发布Moral RolePlay基准，揭秘大模型的「道德困境」
腾讯混元数字人团队和中山大学推出「Moral RolePlay」测评基准，评估大模型扮演多元道德角色能力，揭示顶尖AI模型演不好反派，暴露模型理解社会心理复杂性的局限，还给出未来对齐技术方向。
大模型转行土木工程！首个「打灰人」评估基准：检验读、改工程图纸能力
首个工程自动化任务评估基准DrafterBench，可测试大模型在土木工程图纸修改任务中的表现。它模拟真实工程命令，考察模型四方面能力。评测发现主流大模型有一定能力，但未达工程一线要求。
准确率提升至 90%，阿里商旅基于 AgentScope 构建多智能体差旅助手最佳实践
阿里商旅依托阿里巴巴生态，旗下AliGo差旅助手可实现业务闭环。早期单智能体模式有瓶颈，后基于AgentScope构建多智能体系统，从技术选型、架构设计等多方面优化，事项收集准确率提至90%+，还解决诸多问题并获奖。
构建一个 Agent 只要三分钟，但为什么大多数企业的 Agent 还停留在 Demo 阶段？
文章以 Google Cloud 开发者大会演示引出问题：构建 Agent 仅需几分钟，为何多数企业的 Agent 还停留在 Demo 阶段？指出这背后是治理、运行时等一连串工程挑战的叠加，还介绍了 Google Cloud 相关解决方案。
如何选择最佳多模态大模型压缩方案？哈工大、度小满开源EFFIVLM-BENCH基准测试框架
金融科技智能化转型中，LVLM部署受算力瓶颈制约。哈工大与度小满联合开源EFFIVLM - BENCH基准测试框架，能为多模态大模型压缩方案出具‘体检报告’，还揭示LVLM加速复杂性，推动技术发展。
陈天桥旗下AI公司MiroMind打造全球顶尖预测型大模型，性能登顶行业基准
全球首个动态实时LLM智能体未来预测基准FutureX推出，陈天桥旗下MiroMind团队连续两周蝉联冠军。其模型采用记忆驱动机制，为预测与决策设计，还展现了在多领域的预测能力，且将开放相关框架和模型。
ICML 2025 Spotlight | 多模态大模型暴露短板？EMMA基准深度揭秘多模态推理能力
最新研究推出 EMMA 基准测试，揭示顶尖多模态大语言模型在深度视觉与文本融合的复杂多模态推理上显著不足。该研究已被 ICML 2025 接收，代码数据开源。实验表明，现有模型与人类专家差距大，视觉推理是核心瓶颈。
红杉中国推出 Agent 基准测试「xbench」，双轨评估体系，关注 AI 真实场景的效用
红杉中国开放AI和Agent基准测试工具「xbench」，采用双轨评估体系，构建多维度测评数据集。首期发布两个核心评估集并排名，提出垂类Agent评测方法论。该工具旨在解决现有评估问题，关注AI真实场景效用。
CVPR 2025 Highlight｜北大联手智元发布首个基于说明书的家电操作评测基准
北大联合智元团队提出全新家电操作评测基准 CheckManual，被 CVPR 2025 接收并评为 Highlight。它有拟真说明书与多样资产、契合实际的评测任务、首个操作规划模型 ManualPlan 等优势，还做了相关实验。