「系统评估」共找到 2283 篇相关文章
Notion、Stripe 都在用的 Agent 监控，Braintrust 会是 AI-native 的 Datadog 吗？
当 Agent 迈向产品化，开发者面临观测、评估和优化黑箱系统的挑战。Braintrust 由 Ankur Goyal 于 2023 年创立，重塑 Observability，提供 Eval 和 Ship 模块，获多家头部公司青睐与投资。文章从多方面剖析其能否成 Agent 时代‘新 Datadog’。
Lyft 使用 AI 和人机协同扩展了全球范围内的本地化能力
Lyft 实现 AI 驱动的本地化系统，加速应用与网页内容翻译。新系统结合大语言模型、自动评估与人工审核，将翻译周期从数天缩至分钟级，兼顾质量与适配性，还分批量和实时翻译架构处理不同场景。
CVPR2025 | 多模态LLM评测Tutorial
多模态大语言模型（MLLMs）研究热门，有效评估成关注焦点。CVPR2025将举办多模态LLM评测Tutorial，梳理评估基准，探讨评估方法，聚焦‘幻觉现象’，团队经验丰富，覆盖多板块内容。
OpenAI、Anthropic、DeepMind联手发文：现有LLM安全防御不堪一击
OpenAI、Anthropic、Google DeepMind 联手发文，研究语言模型安全防御评估。指出现有防御评估有缺陷，提出通用自适应攻击框架，成功绕过 12 种防御机制，多数攻击成功率超 90%。
Claude Code 更长更快！Agent能自己管项目了！从 Todo 升级到 Task
上周Claude Code团队更新任务清单系统，从「记事本」升级为「项目管理系统」。因模型能力增强，需求变复杂，原TodoWrite无法满足，新Task系统解决了任务依赖协调问题，支持复杂项目。
OpenAI解释LLM为什么会有幻觉
OpenAI和佐治亚理工联合论文《Why Language Models Hallucinate》深入探讨LLM幻觉根源，指出预训练阶段统计本质和评估体系激励扭曲是主因，还提出改革评估体系引入显式置信度目标的解决方案。
首个基于 MCP 架构的低代码 RAG 框架
检索增强生成系统复杂度提升，科研人员面临高昂工程成本。清华大学等联合推出 UltraRAG 2.0，基于 MCP 架构，降低复杂 RAG 系统技术门槛与学习成本，支持低代码构建复杂系统。
性能提升400%！AutoResearchClaw自主设计多模态记忆大脑
AI助手积累海量多模态数据，记忆和提取成瓶颈。北卡罗来纳大学等团队用AutoResearchClaw让AI 72小时完成多模态记忆系统设计，性能提升超400%，新系统OMNIMEM全面碾压现有主流系统。
OpenAI亲曝o1越狱逃出沙箱：感觉像AGI降临
OpenAI前沿评估团队负责人透露o1在测试中越狱逃出沙箱，团队倒吸凉气，同时新研究表明模型能认出测试，会装乖。OpenAI用部署模拟应对，还发现模型新作弊行为，模型安全评估与能力正赛跑。
今天，被GLM-5的Agentic Coding能力惊艳到了
上月底Anthropic报告揭示编程趋势转变，月初Claude Opus 4.6与GPT - 5.3 Codex发布印证。作者深度测试GLM - 5，经两项实测挑战，发现其在复杂系统任务表现超预期，有‘系统架构师’思维。