「记忆评测基准」共找到 1796 篇相关文章
DeepSeek-OCR是「长文本理解」未来方向?中科院新基准VTCBench给出答案
DeepSeek - OCR的VTC技术可实现高压缩率,降低长文本处理成本。但视觉语言模型能否理解压缩信息存疑,中科院等推出VTCBench评估,测试模型认知极限,还推出VTCBench - Wild检测鲁棒性。
BrowseComp等评测集第一,秘塔推出「深度研究」,已开启免费公开访问
世界变化快,AI领域新概念不断。秘塔在上线“浅度研究”五个月后,将其升级为“深度研究”。该模块最初由OpenAI推出,秘塔版可免费公开访问,准确率优,还让研究过程可见。
北大发布学术搜索评测ScholarSearch:难倒一众DeepResearch的“开卷考试”
北京大学DS - Lab发布ScholarSearch,这是评估大语言模型学术检索能力的数据集,含223道高难度题目。评估显示现有模型表现欠佳,纯推理模型准确率低,有搜索功能的模型虽有提升但仍不足。
模型遗忘不代表记忆抹除!首次系统发现「可逆性遗忘」背后规律
研究人员发现大语言模型遗忘并非简单信息删除,可能藏于内部。他们构建表示空间诊断工具,区分可逆与不可逆遗忘,揭示真正遗忘是结构抹除。还在多种方法、数据集和模型上实证,得出系列结论。
OpenAI新幻觉论文惹争议!GPT-5拉胯是测试基准有问题??
OpenAI新论文《语言模型为何会产生幻觉?》提出,模型有幻觉是因标准训练和评估流程倾向奖励“猜对”。GPT - 5不爱猜测,在榜单表现不佳,网友质疑论文是为GPT - 5挽尊,论文引发网友多方向讨论。
ACL'25 | CIGEval:一种基于多模态大模型的可控生图评测智能体
阿里国际AI团队提出CIGEval,这是基于多模态大模型驱动的图像生成评估智能体框架。它集成多功能工具箱,通过任务拆解与工具调度提升评估准确性与可解释性,已在ComfyUI - Copilot上线。
把 UI 生成接进流水线:基于半监督评测体系的 UI 自动化生产实践
本文来自蚂蚁集团黄兆嵩在 QCon 2026 的演讲,探讨生成式 UI 技术重塑生产方式。提出系列工程实践,包括高质量生成、LUI 场景应用及质量监控迭代,让前端生产自动运转、用户体验随需而变。
Claude Code 生成 13 种编程语言代码基准测试:动态语言更快更省成本
Ruby 代码提交者远藤裕介评估 Claude Code 用 13 种编程语言生成代码的效率。经 600 多次测试,动态语言更快、更省成本且更稳定,静态类型语言慢且成本高。实验有局限,也引发质疑与回应。
检索做大,生成做轻:CMU团队系统评测RAG的语料与模型权衡
CMU团队在最新ECIR接收论文中,系统评估RAG语料规模与生成模型规模替代关系。实验表明,语料扩容可让小模型追上大模型,提升主要来自证据覆盖。研究为RAG系统提供更具性价比提升路径。
经验记忆黑科技:LightSearcher让AI工具调用减39.6%、推理快48.6%
现有的 RL 驱动的深度思考大模型系统面临准确率与效率的「跷跷板」困境,北邮百家 AI 团队提出 LightSearcher 框架,解决了这一痛点,在保持准确率的同时,显著提升了工具调用效率。