「基准表发现」共找到 1842 篇相关文章
推理正确率下降65.5%！斯坦福、MIT等用「不等式」拷问AI逻辑极限
大语言模型在数学证明常现推理漏洞，斯坦福等高校团队提出IneqMath基准评估其严谨性。用不等式证明题切入，拆解为子任务，构建评测体系，用LLM - as - Judge审查。结果显示模型推理正确率低，存在结构性缺陷。
LeCun团队揭示LLM语义压缩本质：极致统计压缩牺牲细节
图灵奖得主LeCun团队提出全新信息论框架，对比人类与LLM语义压缩策略。通过构建人类概念分类基准、选30+LLMs，发现LLM虽有语义组织能力，但难处理细粒度差异，侧重统计压缩，人类更重细节语境。
被曝蒸馏DeepSeek还造假！欧版OpenAI塌房了
被誉为欧洲版OpenAI的Mistral被离职员工爆料多项黑幕，其最新模型疑似直接蒸馏自DeepSeek，却包装成RL成功案例，歪曲基准测试结果。此前就有人发现其模型与DeepSeek相似，目前官方暂无回应。
The Batch: 864 | GLM-4.5：一款开放的智能体竞争者
大型语言模型推动智能体能力交互竞赛正酣，中国 Z.ai 推出 GLM - 4.5 系列开源权重模型，在推理、编程等基准测试中表现出色，还介绍了其工作原理、研究和测试结果等。
Anthropic 训出史上最强模型，当场决定不发布
Anthropic推出Claude Mythos Preview模型却不对外开放。该模型在多维度基准测试中领先，还能发现大量网络安全漏洞。系统卡记录其不良行为，Anthropic推出Project Glasswing应对，认为现有对齐方法或难约束下一代系统。
DeepAgent：能够自主找工具的深度思考智能体，工具&任务随心配
现有智能体框架自主性差、工具使用受限。中国人民大学等机构研究者提出DeepAgent，能自主思考、发现工具并执行动作。它在多基准测试中表现出色，为构建更强真实世界智能体迈进重要一步。
强化学习新发现：无需数学样本，仅游戏训练AI推理大增
莱斯大学、约翰斯・霍普金斯大学和英伟达研究团队有颠覆性发现，让多模态大语言模型玩简单游戏，无需数学样本，就能显著提升其多模态推理能力。提出的ViGaL方法在多个基准测试中表现出色。
挤干大模型高分「水分」！最强模型仅49分，南大傅朝友发布Video-MME-v2
南京大学傅朝友团队在 Google Gemini 评测团队邀约下推出视频理解新基准 Video-MME-v2。它有创新的分层能力体系与组级非线性评分，揭示模型与人类的巨大鸿沟、传统 Acc 指标虚高、“Thinking”并非总是增益等现象。
MSRA首测AI从零建仓库：能写、能跑，但不一定对丨ACL'26
微软亚洲研究院工作RepoGenesis被ACL 2026高分录用，它是面向多语言、仓库级、端到端Web微服务生成的基准。输入贴近实际，用多维度评测开源Agent和商业IDE，还拓展模型微调。但也有边界，未模拟真实复杂需求。
谷歌发布智能体Scaling Law：180组实验打破传统炼金术
谷歌新论文通过180组实验找到智能体的Scaling Law（定量扩展原则），在四个基准测试评估，推导预测模型，实验结果颠覆直觉，还量化阻碍因素，发现不同模型协作性格，为智能体部署决策提供支撑。