「结构化评估」共找到 1779 篇相关文章
5大维度、4类模态：LLM/Agent数据分析技术全景图
文章分享《LLM/Agent-as-Data-Analyst: A Survey》，上交大、清华、微软等将「LLM/Agent 当数据分析师」技术拆成 5 大设计维度与 4 类数据模态，给出 100+ 代表性方法等，还介绍不同数据类型的分析技术。
阿里云 Tair 基于 3FS 工程化落地 KVCache：企业级部署、高可用运维与性能调优实践
本文介绍阿里云 Tair KVCache 团队与服务器研发存储软硬件结合团队对 3FS 的工程化升级实践。从性能、产品、运维维度优化，为高性能 KVCache 在企业级 AI 场景落地提供范式，还提及未来 3FS 产品化及服务器硬件升级方向。
多模态Deep Research，终于有了「可核验」的评测标准
俄亥俄州立大学与 Amazon Science 等联合发布 MMDR - Bench，将多模态 Deep Research 评估拉到可核验标准。它含 140 个专家任务，覆盖 19 领域，把评估拆成 3 段管线、12 指标，强调过程证据链。
Notion、Stripe 都在用的 Agent 监控，Braintrust 会是 AI-native 的 Datadog 吗？
当 Agent 迈向产品化，开发者面临观测、评估和优化黑箱系统的挑战。Braintrust 由 Ankur Goyal 于 2023 年创立，重塑 Observability，提供 Eval 和 Ship 模块，获多家头部公司青睐与投资。文章从多方面剖析其能否成 Agent 时代‘新 Datadog’。
VaseVQA：考古领域实现专家级，诊断+补弱RL框架
在文化遗产与人工智能交叉领域，研究人员提出把大型多模态模型放于‘诊断—补弱—精细化评估’闭环训练，配套结构化评测基准，让模型在文化遗产领域接近专家级能力。介绍了技术步骤、数据基准及关键发现等。
企业落地 NL2SQL，需要的是 AI-ready data 和 小模型
当NL2SQL从Demo走向生产，关键是‘更干净的数据底座 + 更小的专用模型 + 更可控的工程化流程’。文章指出先数据后模型，小模型足够用且落地成本低，评估要换维度，还介绍了工程化路径等内容。
APP 是功能的软件化，Skill 是经验的软件化
文章指出移动互联网时代人类把需求装进 APP，Agent 时代则把经验装进 Skill。当前多数人未充分使用 AI，微信接入 Openclaw推动大众拥抱 AI。Skill 是新旧世界耦合点，还具备进化能力，可形成复利。
CVPR2025 | 多模态LLM评测Tutorial
多模态大语言模型（MLLMs）研究热门，有效评估成关注焦点。CVPR2025将举办多模态LLM评测Tutorial，梳理评估基准，探讨评估方法，聚焦‘幻觉现象’，团队经验丰富，覆盖多板块内容。
OpenAI、Anthropic、DeepMind联手发文：现有LLM安全防御不堪一击
OpenAI、Anthropic、Google DeepMind 联手发文，研究语言模型安全防御评估。指出现有防御评估有缺陷，提出通用自适应攻击框架，成功绕过 12 种防御机制，多数攻击成功率超 90%。
OpenAI解释LLM为什么会有幻觉
OpenAI和佐治亚理工联合论文《Why Language Models Hallucinate》深入探讨LLM幻觉根源，指出预训练阶段统计本质和评估体系激励扭曲是主因，还提出改革评估体系引入显式置信度目标的解决方案。