「综合测评」共找到 223 篇相关文章
登顶多模态推理榜MMMU！UCSD新方法超越GPT-5、Gemini
加州大学圣地亚哥分校团队开发的DreamPRM-1.5在MMMU测评榜夺冠，超越GPT-5、Gemini 2.5 Pro Deep-Think。它细化加权粒度到样本，有Instance Table和Instance Net架构，采用双层优化与生成式奖励模型。
The Batch: 852 | 加州重新制定人工智能监管框架
加州人工智能前沿模型联合政策工作组发布《加州前沿人工智能政策报告》，为立法者提供监管尖端AI模型的政策原则。报告聚焦前沿模型监管，提出综合多源证据、鼓励信息披露等结论，还探讨了美国AI监管现状。
CVPR2025视频生成统一评估架构，上交x斯坦福联合提出让MLLM像人类一样打分
Video-Bench视频评估框架由上海交通大学、斯坦福大学等团队提出，能让MLLM像人一样评估视频。它构建双维度评估框架，引入链式查询和少样本评分技术，突破现有评估方法限制，更全面智能地评分。
新版DeepSeek R1你得这样用，太爽啦~
前几天DeepSeek R1悄悄更新，作者测评发现，起初用复杂提示词，它比Claude4有明显差距；换成一句话提示词，生成效果质的飞跃，代码能力大幅提升接近Claude4，写作小提升，数学能力提升不大。
必须得让AI明白，有些不该碰的东西别碰（doge）
近期类o3模型在视觉推理任务表现优异，但陷入‘盲目用工具’状态。港中文MMLab等团队提出AdaTooler-V模型，具备自适应工具使用能力，还引入指标、算法，构建数据集，在多基准测评中优势明显。
半年复盘，AI迎来预训练后的新瓶颈。
2025年上半年AI领域发展加速，编码和多模态能力提升。但模型在综合能力上遇到第二轮瓶颈，编码能力强时通用认知能力‘拉胯’，或与RL阶段使用编程数据有关，红杉新基准或推动模型均衡发展。
这样更公平：用jina-reranker-m0为多模态文档打分重排
文章指出多模态搜索领域给文档综合评分难，因文本与图像评分缺乏可比性。2025年4月发布的jina - reranker - m0可解决此问题，其两阶段检索流程能显著提升召回率，对多模态AI系统设计有启发。
红杉中国推出 Agent 基准测试「xbench」，双轨评估体系，关注 AI 真实场景的效用
红杉中国开放AI和Agent基准测试工具「xbench」，采用双轨评估体系，构建多维度测评数据集。首期发布两个核心评估集并排名，提出垂类Agent评测方法论。该工具旨在解决现有评估问题，关注AI真实场景效用。
颜水成领衔，给AI分段位！超100款多模态模型，无人达到L5
十所顶尖高校联合发布General - Level评估框架和General - Bench基准数据集，用五级分类制明确多模态通才模型能力标准。评估超100款模型，发现多数在L2 - L3，无L5模型，揭示当前模型不足。
参数砍到 1B，这个小钢炮拿下多模态第一
面壁智能发布并开源参数量仅 1.3B 的 MiniCPM-V 4.6，虽小但多模态综合能力在 1B 级别中夺冠。它推理快，效率高，靠两大架构创新实现，还为开发者提供完整工具链。