搜索：记忆评测基准

「记忆评测基准」共找到 1796 篇相关文章

突破泛化瓶颈：阿里云智能运维 Agent 评测体系实践

大模型 Agent 在智能运维场景落地常遇泛化难题。阿里云李也博士介绍利用评测集验证和提升智能运维算法泛化性的实践，阐述评测集重要性、构建方法，还展示其在提升智能运维 Agent 能力上的成效。

昨天Claude被曝要有永久记忆，今天开发者就用Smart Forking扩展让其拥有「可继承的长期记忆」。实测成功率100%，与官方知识库理念不同，Claude Code也破圈引发轰动。

FACTS 基准测试套件由 FACTS 团队与 Kaggle 联合开发，基于原 FACTS Grounding Benchmark 增加三个新基准，可从四个维度评估大模型事实性。初步结果显示进展与挑战并存，多模态成难题。

Anthropic发工程博客指出，AI编程评测排行榜上排名前列的模型分差小，而运行环境硬件配置能让分数波动6个百分点。同一模型在不同沙箱策略下分数不同，资源配置影响评测结果，排行榜分数差距或因硬件。

文章介绍智能客服发展，从传统机器人客服到基于AI原生的智能客服。重点探讨对话效果评测，搭建运营Agent平台，实现服务闭环。还提及评测落地方法、难题及解决措施，最后阐述AI在服务链路提效和分析转人工原因的作用。

文章围绕《动手写AI Agent》的会话与记忆展开，指出LLM无状态、无会话持久化会让对话记录丢失。介绍了解决方案，如把对话存到磁盘及构建长期记忆，阐述设计决策并提到文件系统存储方案。

Google在NeurlPS2025大会推出结合RNN与Transformer的全新架构Titans，能扩展到超200万个token上下文。背后涉及Titans和MIRAS两篇论文，共同推进测试时记忆概念，实验显示新架构性能出色。

多所顶级学术机构联合发布百页综述《Memory in the Age of AI Agents: A Survey》，为‘Agent Memory’梳理技术路径。提出三角框架，辨析与其他概念差异，还探讨记忆形式、功能、运转机制，展望未来发展方向。

北大团队发布多模态、高难度化学基准SUPERChem，构建评估大语言模型化学推理能力新体系。测试显示，GPT - 5准确率仅38.5%，与低年级本科生相当，且模型在高阶推理有短板，该基准为模型优化指明方向。

YC总裁Garry Tan开源GBrain，这是经实战检验的AI记忆中枢。它有真实数据规模、混合搜索架构等特点，核心工作流含实体检测等。技术选型有考量，还提供体验方式和技能包文档。