「LLM评估」共找到 1596 篇相关文章
全球顶尖大模型一夜惨遭血洗！最难测试人类拿满分，AI第一名得0.2%分
全球最难AGI测试ARC - AGI - 3上线，人类满分通关，最强模型Opus 4.6仅得0.2%。测试从静态题变为互动游戏，评分看效率。前沿大模型得分低，非LLM方案表现更好，AI缺乏元认知能力。
CVPR'26 | 以机器人为中心的ToM推理框架，从心智推理到决策行动
吉林大学、台湾大学和微软亚洲研究院联合提出MindPower Benchmark，构建以机器人为中心的ToM推理框架，统一建模环境感知、心智推理等，还构建数据集和评估指标。引入Mind - Reward强化优化，提升ToM决策与动作生成性能。
清华新框架让大模型学会「精读略读」！实现12倍端到端加速，基准评分翻倍
清华等团队提出全新框架RAM，受人类阅读认知启发，将“精读+略读”混合策略引入上下文压缩，突破现有方法效率瓶颈，在多任务上表现出色，实现12倍端到端加速，为长上下文LLM部署提供新范式。
Relink：为GraphRAG动态构建证据图
大语言模型在开放域问答中有‘幻觉’问题，GraphRAG结合LLM与知识图谱缓解此问题，但现有方法有缺陷。作者提出‘推理并构建’新范式和Relink框架，实验显示其性能领先，对RAG系统设计有启示。
DeepSeek又拿第一！首创「因果流」视觉推理，超越Gemini
DeepSeek开源DeepSeek - OCR2，引入DeepEncoder V2视觉编码器，打破传统模型扫描限制，模仿人类视觉「因果流」逻辑。它解决了传统VLM忽略图像语义结构问题，在多项测试中表现出色，还验证了「LLM作为视觉编码器」可行性。
拿着做数学题的 PRM 来评判 Agent 调用工具，基本是行不通的！
目前评估体系多为结果导向，在工具调用上缺乏像样的PRM基准。Arizona State University和Intuit AI Research研究者推出ToolPRMBench，指出用做数学题的PRM评判Agent调用工具行不通，还介绍了其构建方法、训练范式和实验结果。
Qwen负责人转发2025宝藏论文，年底重读「视觉领域GPT时刻」
2025年末，Qwen大模型技术负责人林俊旸转发谷歌DeepMind入选ICCV 2025的论文，指出视觉领域“GPT时刻”要来了。研究用实验数据证明，视频模型正跳出任务专属局限，实现一个模型完成多视觉任务，推理过程还能被CoF“演”出来。
智能体的记忆管理机制及其潜在风险 | 直播预约
大语言模型（LLM）智能体兴起，记忆机制是核心。本次报告将探讨记忆管理对其性能的影响及潜在风险，展示缓解关键挑战的策略，介绍新攻击范式，揭示安全漏洞，强调需重新审视与建模。
GPT-5准确率不足40%！北大发布多模态、高难度化学基准SUPERChem
北大团队发布多模态、高难度化学基准SUPERChem，构建评估大语言模型化学推理能力新体系。测试显示，GPT - 5准确率仅38.5%，与低年级本科生相当，且模型在高阶推理有短板，该基准为模型优化指明方向。
谷歌发布智能体Scaling Law：180组实验打破传统炼金术
谷歌新论文通过180组实验找到智能体的Scaling Law（定量扩展原则），在四个基准测试评估，推导预测模型，实验结果颠覆直觉，还量化阻碍因素，发现不同模型协作性格，为智能体部署决策提供支撑。