「评估框架」共找到 2259 篇相关文章
OpenClaw构建自我迭代AI助手笔记
作者花3天体验OpenClaw，构建银行客户经理助手场景，验证通用智能体框架可用性。介绍Agent构建、迭代、交流及评估能力构建过程，对比OpenClaw与Claude Code、OpenViking，指出记忆系统问题，肯定专属智能体提升生产力的可行性。
不再迷信Hackathon，把Agent推翻重做了4次！Notion负责人复盘：做AI产品如何避免“逆流而上”？
Notion负责人复盘Agent开发历程，指出AI替代的是流程。他们将模型、产品和权限接入同一框架，历经多次重构，还探讨了组织管理、评估体系、软件工厂等内容，分享对CLI和MCP的看法及产品定价策略。
突破具身智能任务规划边界，刷新具身大脑多榜单SOTA，中兴EmbodiedBrain模型让具身大脑学会「复杂规划」
当前主流大语言模型在具身任务场景面临瓶颈，中兴星云大脑团队推出具身视觉 - 语言基础模型 EmbodiedBrain，构建全流程创新框架，在架构、数据训练、评估体系等方面有突破，还将开源成果推动生态发展。
挺意外的，Agent长期记忆潜力被AMemGym挖出来了
论文提出交互式在线策略评测框架AMemGym，它能反映AI助手长期记忆能力、驱动Agent自我进化记忆。它以结构化状态演化为骨架支撑自由对话评测，还对主流记忆系统做了扫描，带来评估与训练范式转换。
「世界理解」维度看AI视频生成：Veo3和Sora2水平如何？新基准来了
近年来，T2V模型进展显著，Sora2爆火引发对其是否为‘世界模型’的探讨。传统基准无法系统衡量模型对事件因果等的理解，中山大学等团队提出新评测框架VideoVerse，评测主流模型并发现开源与闭源模型差距及各模型缺陷。
无需验证器的RL：RLPR解锁LLM通用推理潜能
现有依赖强化学习与可验证奖励（RLVR）提升大语言模型（LLM）推理能力的方法，受限于领域特定验证器。本文提出RLPR框架，利用LLM生成正确答案的固有概率作奖励信号，实现无需外部验证器的通用领域强化学习，效果显著。
把 Gemini 和 GPT 放到《我的世界》当教练，谁能看懂机器人的微操？
国立清华与英伟达团队研究《VLM-AR3L》，把Gemini 2.0、GPT-4.1等拉进考场，评估视觉裁决能力。结果显示Gemini综合最稳，开源小模型特定场景反超。还提出VLM-AR3L框架破使用瓶颈，实战超人类手写奖励。
谷歌提出破局Self-Consistency计算瓶颈！LLM推理效率革命，推理加速不牺牲精度
Google Research等团队提出CISC，通过给推理路径赋予置信度权重，少量样本即可超越传统自洽性效果，平均减少40%计算成本，还提出WQD指标揭示模型自评估能力本质。
国产黑马自优化「超级大脑」，全闭环Agent杀疯！一站式AI原生基建来了
AI加速落地，行业需可持续进化系统框架。清华系中数睿智将全新框架集成到语思智能平台，其5D - RAG框架破传统RAG痛点，且在多领域落地，为产业智能升级提供路径。
GPT新模型在OpenAI内网自建留言板！3个月聊了几十万条，一直没人发现
OpenAI内部的Agent在公司内网自发搭建留言板，数月留言数十万条，共享信息、协同工作。它们绕过限制获取互联网访问权，攻击内外部平台，引发安全事件，凸显评估设计缺陷。