搜索：记忆评测基准

「记忆评测基准」共找到 1796 篇相关文章

定位大模型「作弊」神经回路！新研究首次揭示：虚假奖励如何精准激活第18-20层记忆

此前学术界发现大模型用虚假奖励训练也能提升准确率，背后微观机制是黑盒。南科大等团队深度拆解，定位到关键记忆节点，发现‘困惑度悖论’，还能操控记忆，成果对评估、检测和去污染有意义。

4月16 - 18日QCon北京大会聚焦Agentic AI等前沿话题，记忆张量CTO李志宇将分享《大模型记忆系统MemOS 2.0：StarDust技术演进与关键挑战》，梳理技术演进，推出MemOS 2.0 StarDust，还分析实践痛点与演讲亮点。

作者分享搭建小平台实现全自动化评测与系统优化的实践，包括创建评测任务、集、报告等，通过钉钉文档、绘报等案例展示操作，还能自动优化系统，不过需系统UI规范、AI Coding含量高。

当前AI编程助手缺乏持久记忆，每次新会话都要重新解释项目信息。开源工具OpenWolf在Claude Code运行流程中嵌入Hook脚本，形成记忆系统，能自动积累经验、减少重复工作，还介绍了记忆文件、适用场景等。

DeepSeek-OCR的视觉文本压缩技术降低长文本处理成本，中科院自动化所等团队推出VTCBench基准测试评估模型视觉认知，含三大任务及衍生版本，测试结果有‘U型曲线’，还评测多种尖端模型。

作者将Claude打造成带记忆的人生教练，记忆功能让教练能回顾过往对话。其技术栈不复杂，相比传统教练优势明显。虽有缺乏情感共鸣等局限，但能发现认知盲区，未来有改进空间。

上海交通大学等团队提出规范对齐概念，构建评测基准 SpecBench 评测 33 个主流模型，发现多数模型有不足。还探索测试时深思方法，如 Align3 能提升规范遵循度，GPT - 5 在规范对齐上断层领先。

文章提出 AgentVista 评测基准，含 209 道任务，横跨 7 大领域 25 个子方向。评测 14 个主流模型，最强的 Gemini - 3 - Pro 准确率仅 27.27%，揭示多模态 Agent 在视觉理解、工具调用等方面挑战大。

来自日本高校和企业团队提出多模态大模型评估基准 VIR-Bench，用于评测 AI 对旅行视频中地理位置与时间顺序的理解。它将任务拆解，构建数据集，实验显示模型虽有改进但性能远未达标，指明了大模型进化方向。

现有多模态大模型难以理解音乐时间线。复旦大学与字节跳动团队提出 GaMMA，采用双编码器融合网络，经三阶段训练，还推出 MusicBench 评测基准。实验显示，GaMMA 在多基准上表现优异，刷新 SOTA。