搜索：评测实践 - AI Reading Hub

「评测实践」共找到 1137 篇相关文章

OpenAI谈：大模型为什么会有幻觉？如何避免？

OpenAI论文探讨大模型幻觉问题，指出评测缺陷，像多数AI模型评测非对即错，模型为得分会瞎猜。还从预训练和后训练阶段剖析根源，提议改造评测，引入置信度阈值和错误惩罚机制。

在 InfoQ 举办的 QCon 全球软件开发大会上，小红书梁啟成分享云成本优化实践。介绍了小红书用云情况，分析成本优化面临的问题，阐述成本洞察和优化的探索，如内外账分离、CPU 和 GPU 资源提效等，还展望了 AI for FinOps 实践。

作者分享从产品设计到算法落地全流程实践，指出当前做skill两种方式的问题，介绍面向Harness设计的技能工厂，包括生产模式、生态适配、迭代方向，还提及AI coding实践及各工具作用。

本文作者王树新分享团队级AI研发范式演进与实践。指出AI Coding存在自由发挥、效率降低、关键信息丢失问题，分析出码率提升却未提效的原因，引入SDD与Harness解决问题，并介绍全流程自动化实践。

文章分享了服务 AI 公司时在 Agent 场景下数据库架构的实践与思考。介绍 Agent 工作负载特征，通过三个案例说明数据库面临的挑战及解法，还提到新需求催生开源项目 mem9，并给出实践教训，指出 AI 时代数据基建重要性。

淘宝推荐信息流业务被“需求多、技术栈杂、协作慢”困扰，上线周期长。WaterFlow这一AI驱动的端到端开发实践，让部分需求两天内上线，产品经理也能参与。文章揭秘其落地及协作模式改变，还展示了实践效果。

过去一年大模型写代码能力提升，人们思考其能否参与软件工程核心流程。现有评测基准有缺失，SwingArena填补空白，将博弈引入评测，设计检索增强流水线，其开源后或成评估AI编程能力新工具。

多模态大模型迅速发展，但能否理解人类情绪存疑，且缺乏系统性评测框架。香港中文大学和阿里通义实验室团队提出 MME - Emotion 评测基准，评测 20 个主流模型，发现模型情感智能不足，为后续研究提供参考。

8月13日，DeepSeek开源Agent Harness dsh引发行业对“Harness”的关注。近日，MirroS联合多机构发布HarnessEval，将其概念引入评测系统。它使评测从Metric到Harness，形成可执行评测系统，已落地于交互式世界模型。

合肥工业大学与清华大学团队推出视频大语言模型综合可信度评测基准 Trust-videoLLMs，对 23 款模型从五维度 30 项任务评测，揭示性能格局，指出模型现存问题，还开源评测框架等。