「评估工程」共找到 1392 篇相关文章
翁荔最新博客：我们可能高估了模型，却严重低估了那层“脚手架”
前OpenAI安全研究副总裁翁荔在新博客聚焦AI领域Harness Engineering。她认为Harness是决定模型在现实任务中走多稳、多远的‘脚手架’，并梳理其演进路线，也指出研究面临评估、安全等瓶颈。
Shopify 经验贴：如何搞出一个生产级别可用的 AI Agent 系统？
Shopify 以 AI 助手 Sidekick 为例，分享从简单工具调用系统演变为复杂 AI Agent 平台的经验，包括架构设计、评估方法和训练技术等方面，还给出构建生产级别可用的 AI Agent 系统的四条核心建议。
微调已死！「共识机制」实现提示词自我进化，性能飙升
人工智能领域正从「模型微调」向「上下文工程」转变。西湖大学MAPLE实验室齐国君教授团队提出基于「共识机制」的提示词组进化算法C - Evolve，能突破单一提示词性能局限，提升系统整体性能。
Manus：3大核心策略，破解AI Agent上下文膨胀难题
当AI Agent调用工具结果大量涌入上下文窗口，LLM性能会下滑。Manus联合创始人拆解其上下文工程逻辑，给出‘减少、卸载、隔离’三大策略及模型选择等方法，还提炼出6条实践启示。
MemOS：一种用于 AI 应用的记忆操作系统
大型语言模型缺乏记忆管理系统，限制其发展。MemTensor与高校联合开源MemOS，它将记忆视为可管理资源，有三层架构，系统化三种记忆类型。评估显示其在推理、检索、加速等方面表现优异。
Anthropic 重新定义智能体终局： Bash Is All Agent Need！
Anthropic工程师Thariq Shihipar提出，最强大的Agent工具是Bash和文件系统，基于Unix思想构建Agent会超传统API工具。还介绍了上下文工程、Agent Loop本质等内容，认为这或是Agent终极形态。
会解题不等于懂人心，腾讯混元提出Sentient Agent，提高高阶社交认知能力
过去评判LLM像考核‘做题家’，但会解题不等于懂人心。腾讯团队提出SAGE框架，用会闹情绪的agent评委评估模型高阶社交认知能力。实验显示不同模型表现差异大，未来需懂人心的AI。
鹅厂员工怎么看Agent自动持续进化？
落地一个Agent容易，但让其自动持续优化很难。文章分享了9位鹅厂同事对“Agent如何自动持续进化”的看法，如建立评估体系、记录真实任务反馈、结合强化学习等。
没KPI反而爆了？Cursor大神一人敲出核心功能！CEO上手7天不宕机，AI编程玩法全变了
昨日，Cursor的CEO基于GPT - 5.2构建了超300万行代码的浏览器，具备基础可用性。同时，Cursor工程负责人在访谈中分享了编码Agent发展、Cursor使用方式、未来方向等多方面内容，还揭秘团队工作模式。
多模态模型挑战北京杭州地铁图！o3成绩显著，但跟人类有差距
近年来，多模态大模型在多种场景取得进展，但能否‘看懂图’存疑。西湖大学等团队提出评测基准ReasonMap，评估模型在地铁图理解中的能力，发现主流模型有瓶颈，闭源模型虽优但仍逊于人类。