「三层评测框架」共找到 2306 篇相关文章
说一个反常识的真相，Agent如今在真实工作场景的成功率依然很低。
作者有感于AI在真实工作场景评测的稀缺性，以阿里国际站RealReplicaBench评测集为例，介绍电商场景任务，发现多数模型成功率低，其他领域类似，呼吁厂商努力，作者也计划自跑评测更新排名。
OpenAI谈：大模型为什么会有幻觉？如何避免？
OpenAI论文探讨大模型幻觉问题，指出评测缺陷，像多数AI模型评测非对即错，模型为得分会瞎猜。还从预训练和后训练阶段剖析根源，提议改造评测，引入置信度阈值和错误惩罚机制。
Agent框架各自为战？谷歌&微软：用Agent-KB让经验自由流动
当前不同框架的Agent知识无法互通，谷歌、耶鲁、字节、oppo等团队联合提出Agent KB，这是通用记忆基础设施，能让异构Agent框架共享经验。它有师生双阶段检索机制，实验验证其能带来显著增益。
具身智能能力狂飙，安全却严重滞后？首个安全可信EAI框架与路线图出炉！
具身人工智能发展迅速，但能力与安全出现“脱钩”。上海人工智能实验室和华东师范大学团队撰写论文，为“安全可信具身智能”建立理论框架与蓝图，提出成熟度模型、分析框架等。
做过十遍还要从头摸索？Agent 的记忆终于开始长成技能
MemTensor 等机构提出无需训练基础模型的 MSCE 框架，为 Agent 外部经验建‘晋升制度’，让经验成技能。该论文在 EvoAgentBench 与 LoCoMo 测试中结果更好，但在因果证明、模型依赖等方面有不足。
6.1k星星！开源流式MoE推理框架，仅需2.5G内存就能运行350亿参数模型，手机电脑都能跑
本文介绍了获6.1k GitHub Star的开源流式MoE推理框架Edge0，该框架通过SSD专家卸载、路由预测和Recover-LoRA技术，仅需2.5G内存即可运行350亿参数大模型，支持多平台部署运行。
不安全指令，一拒了之？TRIAD用三路决策：修复AI智能体的危险计划
墨尔本大学团队开源TRIAD框架，将传统二元护栏决策扩展为继续、更新、拒绝三类。通过自然语言反馈引导Agent修正计划，在ASB和AgentHarm评测中，显著降低攻击成功率，提升正常任务完成率。
今年看到最系统的AI Agents时代Memory综述~
分享由NUS、人大等联合出品的《Memory in the Age of AI Agents: A Survey》。用三维框架讲透200+篇论文，提出新三大记忆形态，展望7大前沿，还涵盖记忆各方面知识及资源。
千星项目LLMRouter：多模型路由，16+策略优化推理
UIUC开源智能模型路由框架LLMRouter，可自动为大模型应用选最优模型，有16+路由策略。该框架打通训练、评测等链路，解耦Route与Training模块，支持多轮协同等，还可插件式扩展。
上交×蚂蚁发布 DiagGym：以世界模型驱动交互式医学诊断智能体
上海交通大学与蚂蚁集团等团队提出新训练框架，构建面向医学诊断的世界模型DiagGym，训练诊断智能体DiagAgent，还设计评测基准DiagBench。实验显示该框架下的智能体表现优于先进模型，代码等已开源。