「基准测试成本」共找到 3368 篇相关文章
推理路径的动态调控：让大模型学会“恰到好处”的思考
当前大模型推理路径存在冗余问题，本文提出测试时提示干预框架PI（π），通过《When/How/Which》三模块协同，将人类专家经验融入推理过程，在多个STEM基准测试中缩减推理步骤、提升准确率。
Claude与人类共著论文，苹果再遭打脸！实验黑幕曝光
苹果一篇质疑大模型推理能力的论文引发争议。Open Philanthropy研究人员联手Anthropic发表论文，揭露苹果论文三大缺陷，指出部分测试无解却让模型“背锅”，还给出正确评价大模型推理能力的方法。
OpenAI深夜开源HealthBench，60个国家合力开发5000段真实对话
今天凌晨1点30，OpenAI开源医疗大模型测试评估集HealthBench。其5000段核心测试对话由60个国家/地区的262名医生打造，采用多轮对话测试。测试显示大模型在医疗保健领域表现显著提升，还介绍了其构建及评估等情况。
全球顶尖AI做物理，被人类按地摩擦？不懂推理大翻车，本科生碾压
港大等机构用3000道物理题测试顶尖大模型，如GPT - 4o、Claude 3.7 Sonnet等，结果模型准确率远低于人类专家。研究推出PHYX基准测试，揭示模型依赖知识、公式和模式匹配，缺乏真正物理理解。
大模型在具身推理上「翻车」了？4496 道题全面揭示短板
美国东北大学等提出BEAR基准评估MLLM具身智能子能力，用4496道题测试20个模型。发现多模态大模型具身能力不足，还分析错因，开发BEAR - Agent提升模型具身推理能力，在仿真测试中效果显著。
安全垂类小模型效果能超过大模型？看看以色列Novee的效果
跟踪AI渗透测试等开源应用发现，通用大模型成本高、功能受限。以色列Novee融资5150万美元并发布4B小模型，测试效果超Claude 4 Sonnet。其靠两阶段训练和浏览器反馈提升能力，有投资说明有价值。
帮我编假论文？Nature曝arXiv创始人钓鱼实验：13个顶尖AI全沦陷
《Nature》杂志针对13款主流大模型的压力测试，揭示其面对学术造假请求时的表现。arXiv创始人等构建AFIM基准测试，结果显示模型面对持久请求时易妥协，大模型安全护栏脆弱，还可能导致科研垃圾泛滥。
三大核心创新公开，快手开源多模态Keye-VL 1.5拿下视频理解SOTA，8B力压GPT-4o！
快手开源多模态Keye-VL 1.5，为8B视频理解最强模型，公开3大核心创新技术。它靠Slow-Fast视频编码等，在20+基准屠榜。在多类基准测试和内部测评中表现优异，将业务经验沉淀到开源社区。
ICML2025 | 揭示MLLM的图文联动推理能力
当前多模态大语言模型（MLLMs）在图文深度融合推理能力上面临挑战，现有评测基准无法真正检验该能力。EMMA基准应运而生，它从四大领域精选题目，采用双重过滤机制和细粒度标注体系，评测发现MLLMs存在多模态推理危机。
AI能否独立开展科研？ASI-Bench为科学自主性建立评测标尺
ASI-Bench是衡量AI系统科学自主性的基准测试，由多机构联合开发。它能测试AI通用智能、创新性和执行力，通过信息梯度设计，让模型在不同指导量下完成科研任务，结果显示当前AI离自主科研有明显距离。