「防御评估」共找到 804 篇相关文章
正确答案 ≠ 正确推理，CoT 或成大模型推理能力停滞的「罪魁祸首」？
研究指出当前大模型推理能力评估多关注答案准确性，忽视推理步骤。通过对前沿模型测试发现，2023 - 2024 年大模型推理能力提升停滞，进步靠提示工程，自底向上策略最有效。
Anthropic 提出透明度框架以保障前沿 AI 发展
Anthropic提出新透明度框架，针对大型AI公司，实施安全开发框架评估并减轻潜在风险，要求公开披露SDFs和系统卡片，小型公司豁免，还设执行合规条款，旨在平衡安全与创新。
Google | 溯源分析RAG系统错误，提出选择性生成框架，让RAG问答准确率提升10%
Google对RAG系统错误深入分析，引入‘充分上下文’概念，指出幻觉或因上下文不足。构建评估器，提出选择性生成框架，结合多信号决策，实验显示可让RAG问答准确率最高提升10%。
德勤2026技术趋势报告：五大力量正驱动技术和商业进化
德勤《2026技术趋势》报告揭示技术从实验走向商业应用。涵盖物理AI进化、智能体落地、企业重构计算、技术组织架构转变、安全防御等趋势，还提及八大技术演进信号。
「AI 100」榜单启动招募，AI产品“年会”不能停丨量子位智库
2025年国内AI产品关键词频现，各有代表性产品。量子位智库2025年度「AI 100」榜单开启招募，分三大板块，用定量与定性结合评估体系，还公开AI产品知识库。
92% 工程师都在用 AI 后，Uber 开始给 AI “限额”了
Uber的‘零增长技术栈’解耦容量与业务需求，优化Go运行时性能。还将生成式AI集成开发，92%工程师在用，但成本压力大。为此，Uber限额每位开发者，审查代码效果，完善评估指标。
80%代码由Claude合并，Anthropic内部人员点破Agent真相：「Close the Loop」
Anthropic团队研究产品经理Theo演讲指出，Claude已深入其工程流程，超80%代码由它合并。模型角色转变，能力提升，失败率下降。开发者应升级研发战术，如刷新评估基准、精简“脚手架”、闭环设计。
翁荔最新博客：我们可能高估了模型，却严重低估了那层“脚手架”
前OpenAI安全研究副总裁翁荔在新博客聚焦AI领域Harness Engineering。她认为Harness是决定模型在现实任务中走多稳、多远的‘脚手架’，并梳理其演进路线，也指出研究面临评估、安全等瓶颈。
Claude Mythos Preview来了！强大又危险，Anthropic还专门组了个研究团
今日凌晨，Anthropic发布Claude Mythos Preview新模型及AI网络安全项目Project Glasswing。该模型虽性能卓越，但有安全风险，Anthropic暂不全面开放。Project Glasswing汇聚众多巨头，获巨额资金支持，旨在构建AI防御联盟。
Shopify 经验贴：如何搞出一个生产级别可用的 AI Agent 系统？
Shopify 以 AI 助手 Sidekick 为例，分享从简单工具调用系统演变为复杂 AI Agent 平台的经验，包括架构设计、评估方法和训练技术等方面，还给出构建生产级别可用的 AI Agent 系统的四条核心建议。