「评测机制」共找到 1466 篇相关文章
高效智能体的「幕后推手」是谁？一篇综述带你从记忆×工具学习×规划看透
随着大模型能力提升，业界关注智能体落地，而高效性是决定能否上线的‘硬’问题。论文梳理‘高效智能体’综述，从记忆、工具学习、规划三机制出发，还谈及基准评测、挑战与展望。
Mamba 架构实现推理性能超 Gemma3-27B！推理模型开始迈入「无注意力」时代
PromptCoT - Mamba是首个具解码显存常量等特性且推理能力强的模型。当前推理大模型中注意力机制有局限，PromptCoT - Mamba实现无注意力推理，在多评测集超Transformer等模型，为无注意力推理生态奠基。
红杉中国xbench全球首发，AI智能体真实战力揭榜！
红杉中国推出全新AI基准测试工具xbench及相关论文，采用双轨评估体系和长青评估机制，首期发布两个核心评估集并综合排名，还提出垂类评测方法论。它能追踪模型能力与实际场景价值，解决现有评估难题。
为防AI刷题，Nature等顶刊最新封面被做成数据集，考验模型科学推理能力|上海交通大学
上海交通大学王德泉教授课题组提出MAC基准，用顶级期刊最新封面构建测试集，评测多模态大模型能力。研究设计两种含“语义陷阱”的测试任务，发现顶尖模型有局限，还提出DAD方法提升表现，采用双重动态机制。
9B“小”模型干了票“大”的：性能超8倍参数模型，拿下23项SOTA | 智谱开源
智谱发布并开源仅9B大小的模型GLM-4.1V-9B-Thinking，在28项评测中拿下23个SOTA，成10B级别最佳VLM模型。它引入思维链推理机制，通过课程采样强化学习提升能力，还获10亿投资。
基于Memory Bank的Cursor长会话记忆内存库理论研究与实践
文章围绕Memory Bank展开，介绍其为解决大模型长会话记忆瓶颈而设计的机制，包括存储、检索、更新模块。阐述其在编程和知识库建设的应用，还评测了Codelf等工具，指出Memory Bank是AI迈向智能的重要一步。
说一个反常识的真相，Agent如今在真实工作场景的成功率依然很低。
作者有感于AI在真实工作场景评测的稀缺性，以阿里国际站RealReplicaBench评测集为例，介绍电商场景任务，发现多数模型成功率低，其他领域类似，呼吁厂商努力，作者也计划自跑评测更新排名。
ICML2025 | 揭示MLLM的图文联动推理能力
当前多模态大语言模型（MLLMs）在图文深度融合推理能力上面临挑战，现有评测基准无法真正检验该能力。EMMA基准应运而生，它从四大领域精选题目，采用双重过滤机制和细粒度标注体系，评测发现MLLMs存在多模态推理危机。
ICLR 2026 oral | AI代码真能进生产环境？SwingArena：从「写对代码Commit」到「通过CI审查」
过去一年大模型写代码能力提升，人们思考其能否参与软件工程核心流程。现有评测基准有缺失，SwingArena填补空白，将博弈引入评测，设计检索增强流水线，其开源后或成评估AI编程能力新工具。
开启Benchmark的Harness时代：15家学术机构联合发布HarnessEval
8月13日，DeepSeek开源Agent Harness dsh引发行业对“Harness”的关注。近日，MirroS联合多机构发布HarnessEval，将其概念引入评测系统。它使评测从Metric到Harness，形成可执行评测系统，已落地于交互式世界模型。