「基准构建」共找到 2659 篇相关文章
大模型玩不好数独？！Transformer作者初创公司公布排行榜：o3 Mini High“变异数独”正确率仅2.9%
Transformer作者初创公司Sakana AI公布AI解决数独能力排行榜，用全新基准Sudoku - Bench考验大模型创造性推理能力。结果显示大模型总体正确率仅15%，9×9数独中高性能模型o3 Mini High正确率2.9%。
性能碾压GPT-4.1-mini！Mistral开源Devstral，还能在笔记本上跑
法国AI初创公司Mistral与All Hands AI合作，发布全新开源语言模型Devstral，有240亿参数，所需算力低，可本地部署。它能解决真实GitHub问题，在SWE基准测试中表现优于多个模型，还能通过API访问。
颜水成领衔，给AI分段位！超100款多模态模型，无人达到L5
十所顶尖高校联合发布General - Level评估框架和General - Bench基准数据集，用五级分类制明确多模态通才模型能力标准。评估超100款模型，发现多数在L2 - L3，无L5模型，揭示当前模型不足。
无需训练！让VLM同时具备「视觉」与「推理」能力，数学题得分暴涨30%
当前视觉语言模型（VLM）像‘视力好但数学差的学生’，论文指出问题根源是数据不足和能力分布不均。提出‘模型合并’方案，实验显示在数学基准测试中表现亮眼，还通过实验揭示层间能力分布。
超越DeepSeek-R1，英伟达开源新王登顶！14万H100小时训练细节全曝光
英伟达Llama - Nemotron系列模型超越DeepSeek - R1且全部开源。论文揭秘其训练关键，如用合成数据监督微调与强化学习等。还介绍构建阶段、架构设计等，评估显示该系列模型在多任务表现出色。
Ilya的首个模型来了！
掌握内幕的草莓哥爆料，Ilya正构建以TTT为核心的小型推理引擎。他预见传统大模型的死穴，SSI将TTT概念落地，其引擎在数据效率等方面优势明显。SSI获投资，本月或发新模型。
Fable5仅做对3.5%！大模型会看图，但还没有主动视觉
本文介绍了专门测量「主动观察」能力的视觉推理基准 ActiveVision，评测显示无外部工具时，大模型与人类准确率有近 9 倍差距，用工具后虽提升但仍远不如人类，还说明了其出题与避免取巧的方式。
CSDI峰会开启：Agentic AI 落地应用的黄金期，智能系统重塑生产力
2026年AI从大模型迈向智能体，技术底座爬坡，应用层将爆发。Agentic AI降低构建门槛，行业渗透惊人，未来智能体将重塑生产力，竞争焦点转向生态协同。2026 CSDI峰会10月16 - 18日在深圳召开，共探其应用。
3B小模型，编程得分比肩Opus 4.5，神秘模型引发热议，原是国产
最近，3B小模型VibeThinker - 3B在X上火了，它在编程等推理任务上比肩前沿大模型，体积却小很多。它是国产模型，来自新浪微博团队，在各项基准测试表现出色，不过在通用知识领域表现欠佳。
从数学思维到AI睡眠，于大川在千亿赛道的第二次“白魔法”创业｜甲子光年
于大川曾创办豌豆思维，“双减”后他“半退休”。如今他重启创业，创立豌豆智能，想用AI改善人类睡眠。该公司已获君联资本天使轮融资，于大川分享了创业思路、产品模式、团队组建等内容。