「基准测试集」共找到 2462 篇相关文章
多模态大模型，真的「懂」世界吗？——揭秘 MLLM 的核心知识缺陷
ICML 2025高分论文揭示MLLM核心认知盲区。研究发现主流MLLM缺乏核心认知能力，且不能靠规模扩展自然习得。作者构建测评体系CoreCognition，提出干预测试方法Concept Hacking，还给出关键发现与启示。
Meta出走华人创业团队，种子轮800万美元，要打造视觉AI记忆大脑
由前Meta顶尖科学家创立的Memories.ai获800万美元种子轮融资。其大视觉记忆模型LVMM解决AI‘记忆缺失’问题，在多领域刷新SOTA基准，应用潜力大，还开放API及网页应用。
5Y View｜欢迎来到评测时代
强化学习推动AI突破，模型将刷爆既有评测，AI实验室面临评测饥荒。构建评测与RL环境是利用人类时间的高效方式，不同领域有不同验证方式，Mercor已率先拓展RL数据边界。
用AI，写代码只会更慢！但一定更「快乐」
METR研究实测发现，GPT等AI编程工具让顶尖程序员写代码平均慢19%，效率不升反降。开发者本预计提效24%，体验后仍觉快20%。研究还分析变慢原因，提醒勿高估AI编程能力。
实测Gemini图片转视频新功能，终于蹲到经典梗图后续了（doge）
Gemini接入带声音的图片转视频功能，作者实测该功能。用开盒指令测试，生成速度较快；还尝试给梗图加后续，发现生成精确内容需详细提示词，且不能生成具体真人形象内容。
重磅发现！大模型的「aha moment」不是装腔作势，内部信息量暴增数倍！
中国人民大学等联合团队研究发现，大模型推理有“信息脉冲”，特定步骤互信息值飙升形成“互信息峰值”，对应“思考词汇”。基于此提出无需额外训练提升推理性能的方法，代码已开源。
没有LeCun，Meta挖角OpenAI、Google整装再战，OpenAI调薪应对
Meta作为大模型开源领军全面落后，扎克伯格重开炉灶，成立Meta super intelligence Labs，高薪挖角OpenAI、Google等，集齐其核心骨干。OpenAI面临挖角，将重新调整薪酬稳住阵营，凸显AI时代人才重要性。
告别单一大模型依赖！北航等机构发布综述：大语言模型集成（LLM Ensemble）
北航等机构发布的论文系统性回顾了LLM Ensemble领域进展，介绍分类法、相关问题、方法、基准、应用和未来方向。LLM Ensemble指推理阶段综合利用多模型优势，现有推理前、中、后三大集成范式。
一文探析多分类指标Accuracy/Precision/Recall/F1-score
文章探讨机器学习分类模型评价指标，指出Accuracy在不平衡数据集有缺陷，需引入Precision、Recall和F1 - score。分开解析二分类和多分类模型指标，还给出不同场景下指标侧重建议。
更多thinking≠更好结果，精准thinking可砍掉一半长度
当前大模型如GPT - 4、DeepSeek推理又长又啰嗦，论文发现其在简单题目上过度推理。作者提出‘无效思考’概念，还给出解决原则，用LC - R1方法训练，效果显著，揭示精准思考才是王道。