「评估指标」共找到 945 篇相关文章
MemOS：一种用于 AI 应用的记忆操作系统
大型语言模型缺乏记忆管理系统，限制其发展。MemTensor与高校联合开源MemOS，它将记忆视为可管理资源，有三层架构，系统化三种记忆类型。评估显示其在推理、检索、加速等方面表现优异。
会解题不等于懂人心，腾讯混元提出Sentient Agent，提高高阶社交认知能力
过去评判LLM像考核‘做题家’，但会解题不等于懂人心。腾讯团队提出SAGE框架，用会闹情绪的agent评委评估模型高阶社交认知能力。实验显示不同模型表现差异大，未来需懂人心的AI。
鹅厂员工怎么看Agent自动持续进化？
落地一个Agent容易，但让其自动持续优化很难。文章分享了9位鹅厂同事对“Agent如何自动持续进化”的看法，如建立评估体系、记录真实任务反馈、结合强化学习等。
Anthropic让9个Claude Agent花5天做出比人类强4倍的对齐成果
Anthropic发表Automated Weak - to - Strong Researcher，用9个并行的Claude Opus Agent组成自动化研究团队，5天就把PGR从人类的0.23提升到0.97，成本约$18,000，证明AI自动化研究可行。
北大、字节、中科院自动化研究所等提出图像并行生成新范式
北大、字节等团队发现多模态模型先思考后作画会降低图像语义保真度，因自回归架构有误差传播问题。为此提出并行多模态扩散框架MMaDA - Parallel，构建ParaBench基准，多项优化后在测试中击败Bagel。
多模态模型挑战北京杭州地铁图！o3成绩显著，但跟人类有差距
近年来，多模态大模型在多种场景取得进展，但能否‘看懂图’存疑。西湖大学等团队提出评测基准ReasonMap，评估模型在地铁图理解中的能力，发现主流模型有瓶颈，闭源模型虽优但仍逊于人类。
前荣耀AI实验室主任带队：用“超级大脑”接管农场，24小时不打烊
浙江丘沃智能的AlphaFarm系统开启无人农场新范式，由前荣耀AI实验室主任汤泳等“AI极客”打造。该系统能自主决策执行、实时监控，有四大黑科技，经评估在农业垂直领域领先。
让大模型指哪打哪的Multi-Agent路由新范式
随着MCP生态兴起，一个Assistant背后可能挂数百工具/子Agent，传统检索方式有成本高、埋没工具等问题。作者提出Tool-to-Agent Retrieval新范式，实验显示指标全面提升，证明工具细节能补足语义。
Ollama升级模型调度系统：内存管理更精准，多GPU性能提升
Ollama升级模型调度系统，精确测量运行模型所需内存，带来内存崩溃减少、GPU利用率提高等改进。Gemma3、Mistral - small3.2等模型性能提升，更多模型正迁移，还在开发iGPU支持，评估NPU支持。
模型不是企业的护城河，那什么才是？
文章指出企业AI进入深水区后，真正的竞争是将AI变成企业自己的智能引擎。衔远科技创始人周伯文提出泛化基础上的深度专业化是企业竞争力来源。衔远发布EnterpriseClawBench，揭示企业需私有化评估和可持续进化能力。