「测试评估集」共找到 2678 篇相关文章
DoorDash 如何打造了一款不完全依赖大型语言模型（LLM）的 AI 购物助手
DoorDash 分享对话式 AI 助手 Ask DoorDash 的架构，它借助 LLM、AI 代理等构建系统。测试显示其提升了结账转化率等指标，还构建自动评估框架改进质量衡量，架构分离协调与业务功能。
教多模态大模型学会“反思”和“复盘”，上交&上海AI Lab重磅发布MM-HELIX&AHPO，破解多模态复杂推理难题
上海交通大学和上海人工智能实验室研究团队带来MM - HELIX，这是完整生态体系，赋予AI长链反思性推理能力。其含基准测试、数据集、优化算法，搭载相关技术的模型表现优异，部分成果已开源。
骂得越狠，ChatGPT回答越准！PSU研究实锤，狂飙84%准确率
宾夕法尼亚州立大学团队研究发现，对ChatGPT越粗鲁，它回答越准。实验用含50个基础问题的数据集，改写为五种礼貌等级共250个prompt测试，非常粗鲁时准确率达84.8%，非常礼貌为80.8%。
75%预训练数据都能删！Jeff Dean新作：全自动筛除低质量数据
Google DeepMind团队开发的DataRater可全自动评估数据质量，用元学习筛选有价值数据，提升模型训练效率。它能减少计算量、提高性能，在低质量数据集效果佳，还能跨模型规模泛化。
重磅！OpenAI深夜发布ChatGPT Agent：AI打工人正式上线「附发布会全程视频」
OpenAI推出ChatGPT Agent，它整合Operator远程浏览器和Deep Research能力，Pro、Plus和Team用户可激活。能完成复杂任务，有强大工具集，性能在多基准测试超人类，但OpenAI因能力增强启动最高安全保障。
刷新复杂Agent推理记录！阿里通义开源网络智能体超越DeepSeek R1，Grok-3
互联网信息检索中，复杂问题让普通开源模型力不从心。阿里通义实验室提出WebSailor方案，通过SailorFog - QA数据集和DUPO算法等创新，提升模型能力，在多基准测试中超越诸多开闭源模型。
DeepSeek-OCR是「长文本理解」未来方向？中科院新基准VTCBench给出答案
DeepSeek - OCR的VTC技术可实现高压缩率，降低长文本处理成本。但视觉语言模型能否理解压缩信息存疑，中科院等推出VTCBench评估，测试模型认知极限，还推出VTCBench - Wild检测鲁棒性。
复旦提出自适应Reasoning方法ARM，“能屈能伸”
复旦提出自适应Reasoning方法ARM，解决LLM‘过思考’问题。ARM内置四种解题策略和三种决策模式，还搭配Ada - GRPO算法，在23个数据集测试中表现出色，省token、提速度且准确率高。
解放军总医院联合南大、吉大等机构，共同提出首个「脊柱诊疗大模型」SpineGPT
解放军总医院联合多机构研发首个脊柱诊疗大模型 SpineGPT。研究指出通用 LVLM 有‘认知鸿沟’，团队构建 SpineMed 生态系统，含 SpineMed - 450K 数据集与 SpineBench 评估基准，SpineGPT 表现超越开源模型。
The Batch：834 | 更一致的人物与风格
德国 Black Forest Labs 的 FLUX.1 Kontext 系列文本生成图像模型，可可控编辑图像。有 max、pro 和 dev 版本，功能含角色一致性和图像编辑，在测试中表现优，公司计划公开专有评估基准。