「系统评估」共找到 2283 篇相关文章
ACL 2026 | OPeRA Dataset: LLM真的能模仿人类行为了吗？首次系统评估LLM的人类行为模拟能力
美国东北大学等机构研究者提出OPeRA数据集，采集真实用户在线购物行为，支持系统评测LLM个体化行为预测能力。实验显示当前主流LLM在模拟人类行为上表现有限，揭示其能力边界。
彻底说清 Human-in-the-Loop：企业级 Agent 系统的关键挑战与LangGraph解法【上】
文章围绕企业级Agent系统中Human-in-the-Loop（HITL）展开，介绍其必要性、常见模式，以LangGraph为框架解读关键挑战与实践，涵盖核心机制、原理解析，还阐述HITL下工具调用的两种管控模式。
Sam Altman：我承认我之前错了，AI 超级系统才是 OpenAI 真正想要的
OpenAI 动作不断，创始人 Sam Altman 在访谈中表示，其目标是构建 AI 超级系统，非「超级 App」。还谈及业务思考，如产品战略、Agent 发展、基建合作，以及 Sora 盈利、版权等问题。
智元首发SOP系统：打破离线训练瓶颈，让具身智能在“干中学”
2025年VLA让机器人有通用性，但真实部署存问题。智元机器人具身研究中心提出SOP在线后训练系统，融合在线学习等，使机器人在真实环境持续进化，实验显示其能提升性能、效率，突破VLA瓶颈。
从 AI 创业角度看 GEO：如何引流、效果评估，以及创业机会在哪里？
文章从AI创业角度剖析GEO，介绍其原理、内容优化策略、实操建议、效果评估搭建、代表产品等，指出GEO与SEO不同，虽有争议但值得做，还探讨了相比SEO的更多想象空间。
10万字Claude系统提示词泄露！我用DeeSeek 将它翻译成了中文版
Claude完整系统提示在GitHub泄露，虽真假未确认，但值得分享供参考。作者用DeepSeek将其翻译成中文版，该提示涵盖模型行为、工具使用等多方面，设计精妙全面，是AI交互设计“百科全书”，对提示词工程师极具学习价值。
全国首部AI智能体应用评估标准，现公开征集起草单位和个人！
2025年成AI智能体元年，国务院提出到2030年智能体等应用普及率超90%目标。但企业部署智能体面临‘效能黑箱’。智合标准中心发起《企业级AI智能体应用效能评估规范》团体标准起草，现征集起草单位和个人。
还在为AI数据发愁？张文涛和鄂维南院士团队推出Data-centric AI系统
近年来大模型发展由科技公司主导，其数据资源不公开，学术界构建优化数据难。张文涛和鄂维南院士团队推出DataFlow系统，可实现数据治理，有算子和流水线，支持文本模态，多模态版待推出。
Specula在67个开源系统中找到382个深层bug，数月形式化验证缩短到几小时
截至2026年8月19日，Specula已在67个开源系统找出382个bug。它让coding agent自动生成TLA + 模型和正确性不变量，运行检查并复现问题，将数月的形式化验证缩短到几小时，降低了形式化方法使用门槛。
实战指南：从零构建 MCP 架构下的 Agentic RAG 系统，无第三方MCP Server
五一期间作者用MCP架构从零实现Agentic RAG系统，分享MCP与Agentic RAG融合思考、架构设计，介绍MCP服务端和客户端实现，还做了端到端效果演示，指出架构优势及待优化处。