「基准表发现」共找到 1883 篇相关文章
全球首个历史基准！普林复旦打造AI历史助手，AI破圈人文学科
普林斯顿大学AI实验室与复旦大学历史学系联手推出全球首个历史领域评测基准HistBench及AI助手HistAgent。HistBench含414道题，能检验AI深度认知能力；HistAgent集成多种工具，在测试中表现优异。
Claude Opus 4.7发布！这是你在别的公众号看不到的五个发现
Anthropic发布Claude Opus 4.7，编码和视觉能力提升，但长上下文能力下降。其231页的System Card藏着不少有趣发现，如Opus 4.7非最强模型、Claude知道被测试、模型审查自身评估等。
Claude Code一周份额，一天就烧完一半？有人逆向工程发现了7个bug
Claude Code在快速更新中问题频发，如思考深度大幅下降，还存在7个叠加的bug，浪费用户token配额。开发者给出应对建议，新版本增加账单透明度和缓存过期提醒，该工具正面临信任危机。
高潮从第几秒开始？GaMMA 让多模态大模型真正「听懂」音乐时间线
现有多模态大模型难以理解音乐时间线。复旦大学与字节跳动团队提出 GaMMA，采用双编码器融合网络，经三阶段训练，还推出 MusicBench 评测基准。实验显示，GaMMA 在多基准上表现优异，刷新 SOTA。
Agent全自动搭建代码运行环境，实时更新解决评测过拟合/数据污染问题｜微软
长期以来主流代码修复评测基准SWE - bench问题多，制约AI模型能力展现。微软发布SWE - bench - Live，引入新Issue，实现环境自动化构建与更新，打破传统局限，还揭示传统基准过拟合问题。
AgentAuditor: 让智能体安全评估器的精确度达到人类水平
LLM智能体进化为“行动派”，但自主权带来安全问题。现有评估基准缺乏有效精准评估器，研究者推出AgentAuditor框架及ASSEBench基准，让LLM评估器精确度达人类水平，为构建可靠智能体提供工具。
DeepSeek比你更懂反思！谷歌重磅发现，智能的本质竟是一场社会化对话
谷歌等机构研究发现，像DeepSeek - R1等推理模型思考复杂问题时，内部模拟多角色辩论赛，形成思维社会机制，让AI准确率提升，证明智能本质或是内化社会互动，还为调优AI提供新方法。
红杉中国推出 Agent 基准测试「xbench」，双轨评估体系，关注 AI 真实场景的效用
红杉中国开放AI和Agent基准测试工具「xbench」，采用双轨评估体系，构建多维度测评数据集。首期发布两个核心评估集并排名，提出垂类Agent评测方法论。该工具旨在解决现有评估问题，关注AI真实场景效用。
专业医生远不如AI模型？OpenAI推出医疗开源测试基准HealthBench，o3表现最强
OpenAI推出医疗开源测试基准HealthBench，由262位多国医生合作打造，含5000段真实健康对话。评估显示o3综合表现最佳，顶尖AI处理任务能力超无辅助医生，HealthBench更真实专业有区分度，但也有局限。
从「记忆解题」到「深度推理」：港科大推出首个本科数学动态评测基准 UGMathBench
港科大团队发表在 ICLR 2025 的研究 UGMathBench，是首个本科数学动态评测体系。它涵盖 16 个学科领域，通过变量扰动创建多版本试题，引入创新指标评估模型推理能力，测试结果揭示了当前模型短板。