「基准集」共找到 1340 篇相关文章
谷歌发布智能体Scaling Law：180组实验打破传统炼金术
谷歌新论文通过180组实验找到智能体的Scaling Law（定量扩展原则），在四个基准测试评估，推导预测模型，实验结果颠覆直觉，还量化阻碍因素，发现不同模型协作性格，为智能体部署决策提供支撑。
一个能思考、会记忆的AI导演诞生了！新加坡管理大学，香港中文大学等实现故事化视频生成
新加坡管理大学等提出开源全能多智能体框架UniVA，可统一视频理解、分割等能力，按指令生成完整故事视频。还引入UniVA - Bench基准测试套件，实验显示其在多任务中表现出色，代表视频智能生成重要进步。
大模型是否对问题难度有预判？最新研究揭示 LLM 内部的“难度感知机制”
近期论文《Probing the Difficulty Perception Mechanism of Large Language Models》系统性解答大模型能否感知问题难度等问题。研究基于数据集在主流 LLM 上训练轻量线性探针，定位负责难度感知的注意力头，还发现不同模型表现有差异。
大模型追逐星辰大海，GPT和Gemini国际天文奥赛夺金
新论文以国际天文学和天体物理学奥林匹克竞赛 (IOAA) 为基准测试，证明 GPT - 5 和 Gemini 2.5 Pro 能在天文奥赛获金牌。研究还分析不同模型表现、与人类成绩对比及错误类型，强调需全面评估模型科研潜力。
重生之在《我的世界》做山姆·奥特曼：网友在线手搓ChatGPT
一老哥在《我的世界》上手搓出有500万个参数的ChatGPT，经英语对话训练，能在像素世界小电脑上对话，用红石电路和存储单元搭建，未用指令集，网友还在游戏里开发出诸多东西。
刚刚，智谱开源了他们的最强多模态模型，GLM-4.5v。
智谱接连开源GLM - 4.5和GLM - 4.5V，后者为多模态模型，总参数106B，在42个评测基准中41个达到SOTA。经测试，它视觉推理强、速度快，还有视频理解等功能，API定价良心，体现持续开放精神。
让OpenAI只领先5天，百川发布推理新模型，掀翻医疗垂域开源天花板
百川智能发布医疗推理大模型Baichuan - M2 - 32B，在OpenAI的Healthbench评测集上超越刚发布5天的gpt - oss - 120b，领先多数前沿模型，支持RTX4090单卡部署，还首创患者模拟器和Verifier系统。
多模态后训练反常识：长思维链SFT和RL的协同困境
华为与香港科大研究发现，多模态视觉语言模型中，长思维链SFT与RL组合难协同增益。研究引入难度分类方法构建数据集，分析各方法表现及组合策略困境，还给出实验发现与未来研究方向。
Agent KB：经验池让Agents互相学习！GAIA新开源SOTA，Pass@1性能最高提升6.66
来自多家机构团队发布 Agent KB 框架，构建经验池实现 AI Agent 经验共享。在 GAIA 基准测试中表现出色，提升多模型 Pass@1 性能，还在软件工程领域展现价值。其设计精妙，经消融、检索策略等实验验证有效。
7B模型“情商”比肩GPT-4o，腾讯突破开放域RL难题，得分直翻5倍
腾讯混元AI数字人团队提出RLVER框架，解决开放域RL在真实交互中的‘情商’优化困境。经其训练的Qwen2.5 - 7B模型在情感对话基准得分跃升，比肩顶级商用模型，团队还有诸多启发性发现。