「基准评测」共找到 1324 篇相关文章
1.93bit版DeepSeek-R1编程超过Claude 4 Sonnet，不用GPU也能运行
1.93bit量化后的DeepSeek - R1（0528）编程能力超Claude 4 Sonnet，在aider榜单获60分。Unsloth工作室制作9个量化版本，小版本不用GPU也能跑。R1 - 0528在游戏评测中表现也佳。
红杉中国xbench全球首发，AI智能体真实战力揭榜！
红杉中国推出全新AI基准测试工具xbench及相关论文，采用双轨评估体系和长青评估机制，首期发布两个核心评估集并综合排名，还提出垂类评测方法论。它能追踪模型能力与实际场景价值，解决现有评估难题。
上交×蚂蚁发布 DiagGym：以世界模型驱动交互式医学诊断智能体
上海交通大学与蚂蚁集团等团队提出新训练框架，构建面向医学诊断的世界模型DiagGym，训练诊断智能体DiagAgent，还设计评测基准DiagBench。实验显示该框架下的智能体表现优于先进模型，代码等已开源。
数学编码超越O3-high，英伟达版「DeepSeek R1二代」推理模型开源~
Nvidia开源OpenReasoning-Nemotron系列模型合集，采用Qwen2.5架构，基于500万条轨迹训练。评测输出长度最高64K token，多版本刷新SOTA。其‘heavy’模式有独特能力，32B版在数学与编程基准超越O3（High）。
GPT-5.2 发布：做表格、写 PPT、敲代码 | 打工人的生产力利器
GPT - 5.2发布，在GDPval评测等众多基准测试中刷新行业水平。GPT - 5.2 Thinking适合真实场景与专业工作，在知识型任务、编码、长上下文处理、视觉理解、工具调用等方面表现出色，部分功能需付费使用。
都说记忆是Agent标配，但MemSyco发现漏算了一件事
厦门大学与吉林大学的最新研究指出，随着大模型Agent具备长期记忆，虽成为“长期协作者”，但也出现Memory-Induced Sycophancy问题。为此提出MemSyco - Bench评测基准，经实验得出多项发现，指出Agent Memory关键瓶颈转变。
8B 端侧写作智能体 AgentCPM-Report 开源，DeepResearch 终于本地化
1月20日，8B端侧写作智能体AgentCPM - Report开源。它以端侧模型为核心，实现本地化部署与SOTA性能双重突破，亮点在于极致效能、本地安全保障，在多评测基准表现出色，部署便捷，两大创新支撑其优秀性能。
刚刚，智谱开源了他们的最强多模态模型，GLM-4.5v。
智谱接连开源GLM - 4.5和GLM - 4.5V，后者为多模态模型，总参数106B，在42个评测基准中41个达到SOTA。经测试，它视觉推理强、速度快，还有视频理解等功能，API定价良心，体现持续开放精神。
推理正确率下降65.5%！斯坦福、MIT等用「不等式」拷问AI逻辑极限
大语言模型在数学证明常现推理漏洞，斯坦福等高校团队提出IneqMath基准评估其严谨性。用不等式证明题切入，拆解为子任务，构建评测体系，用LLM - as - Judge审查。结果显示模型推理正确率低，存在结构性缺陷。
ICML 2025 | 无需训练，即时对齐大模型偏好
上海人工智能实验室提出TPO方案，可让大模型在推理时快速对齐人类偏好，无需更新模型权重。TPO类似文本形式的梯度下降，在多个基准数据集评测中表现出色，还提供“宽深结合”推理拓展策略。