「评测指标」共找到 875 篇相关文章
剑桥揭开大模型翻车黑箱！别再怪它不懂推理，是行动出错了
剑桥大学等机构研究指出，大模型执行长时任务易翻车，问题不在推理而在执行能力。研究人员评估多个指标，发现单步准确率提升可让任务长度指数增长，还研究了自条件化等影响及模型规模的作用。
“AI版LeCun”自己讲解论文，自我进化智能体框架生成精美演讲视频
加州大学研究者提出自我进化的学术演讲智能体框架EvoPresent，它由四个智能体协作，核心美学模型PresAesth模拟人类审美判断。团队构建评测体系，实验显示其在内容与视觉设计上提升显著，让AI兼顾逻辑与美感。
开源仅一周，鹅厂文生图大模型强势登顶，击败谷歌Nano-Banana
腾讯混元团队开源的原生多模态生图模型混元图像 3.0，开源仅一周就在国际权威评测榜单 LMArena 上超越谷歌 Nano - Banana 等，位列文生图综合和开源榜单第一。实测表现出色，技术上也有诸多创新。
这次，LLM黑盒被LLM打开了~
随着大语言模型（LLM）能力提升，其内部机制更不透明。概念描述新范式用另一个 LLM 自动生成自然语言解释。介绍了描述对象、生成方法、评估指标，还提及社区关注方向，指出结合多种手段才能把解释变知识。
AI原生产品不等于全部功能AI化，保留传统功能让用户体验更完整 | 对话小卡健康
AI健康管理赛道竞争激烈，产品各有差异。量子位智库访谈小卡健康产品负责人李雅，探讨AI如何赋能、产品功能拓展、数据指标关注、智能设备联动、开发问题及运营推广等，展示其差异化策略和发展思考。
先验+后验加持，大模型能否 hold 住推理预测的现实「溢出」？
多数大模型评估基准依赖固定数据集，难测真实推理实力。字节跳动等推出的 FutureX 动态评测基准，将重点移至动态预测能力。实验显示不同模型在不同任务表现有别，大模型在现实场景运用仍待优化。
AI里最大的Bug，却也是人类文明最伟大的起点。
OpenAI论文指出AI产生幻觉是因其训练方式奖励瞎蒙行为。以考试为例，AI在信息不足时猜测是最优策略。还从统计学解释根源，指出解决幻觉需改变评估指标，也引发对人类想象力起源的思考。
设计师大解放！清华发布「建筑平面图」自动生成模型 | ACL'25
清华大学吕帅团队提出FloorPlan-LLaMa模型，采用自回归生成架构与RLHF机制，解决传统平面图自动生成模型‘指标优秀但实际不可用’痛点，提升生成式平面图设计质量与实用价值。该论文被ACL录用获领域主席奖。
字节开源图像生成“六边形战士”，一个模型搞定人物/主体/风格保持
字节UXO团队设计并开源统一框架USO，解决图像生成多指标一致性问题。它能统一看似孤立任务，实现单任务和组合任务的SOTA，弥补了主体保持和风格迁移短板，性能领先，还采用新范式及算法。
3B模型性能小钢炮，“AI下半场应该训练+验证两条腿跑步”丨上海AI Lab&澳门大学
上海AI Lab和澳门大学联合发布通用答案验证模型CompassVerifier与评测集VerifierBench，填补Verifier领域循环迭代体系空白。AI下半场评估比训练更重要，当前验证方法有困境，新模型验证精度高且能用于强化学习。