「编程基准」共找到 1890 篇相关文章
大模型玩不好数独？！Transformer作者初创公司公布排行榜：o3 Mini High“变异数独”正确率仅2.9%
Transformer作者初创公司Sakana AI公布AI解决数独能力排行榜，用全新基准Sudoku - Bench考验大模型创造性推理能力。结果显示大模型总体正确率仅15%，9×9数独中高性能模型o3 Mini High正确率2.9%。
红杉中国xbench全球首发，AI智能体真实战力揭榜！
红杉中国推出全新AI基准测试工具xbench及相关论文，采用双轨评估体系和长青评估机制，首期发布两个核心评估集并综合排名，还提出垂类评测方法论。它能追踪模型能力与实际场景价值，解决现有评估难题。
性能碾压GPT-4.1-mini！Mistral开源Devstral，还能在笔记本上跑
法国AI初创公司Mistral与All Hands AI合作，发布全新开源语言模型Devstral，有240亿参数，所需算力低，可本地部署。它能解决真实GitHub问题，在SWE基准测试中表现优于多个模型，还能通过API访问。
颜水成领衔，给AI分段位！超100款多模态模型，无人达到L5
十所顶尖高校联合发布General - Level评估框架和General - Bench基准数据集，用五级分类制明确多模态通才模型能力标准。评估超100款模型，发现多数在L2 - L3，无L5模型，揭示当前模型不足。
无需训练！让VLM同时具备「视觉」与「推理」能力，数学题得分暴涨30%
当前视觉语言模型（VLM）像‘视力好但数学差的学生’，论文指出问题根源是数据不足和能力分布不均。提出‘模型合并’方案，实验显示在数学基准测试中表现亮眼，还通过实验揭示层间能力分布。
DeepSeek Harness背后的“心脏”：Cordis 到底是什么
文章介绍Cordis框架，它原服务第三方QQ机器人，现是DeepSeek Harness心脏。阐述其设计初衷、核心机制，如插件、上下文等概念，还提及在DSH中的应用，展示了插件槽位和生态，最后介绍相关论文和该框架的生态情况。
Fable5仅做对3.5%！大模型会看图，但还没有主动视觉
本文介绍了专门测量「主动观察」能力的视觉推理基准 ActiveVision，评测显示无外部工具时，大模型与人类准确率有近 9 倍差距，用工具后虽提升但仍远不如人类，还说明了其出题与避免取巧的方式。
AI给你的总是平庸答案?5.8万星插件证明:问题不在模型,在你
GitHub上5.8万星的`taste-skill`仓库，无模型代码，仅用文本规则让AI编程工具输出更有品味。揭示AI默认给平庸答案是概率采样结果，还给出反中位数三问及AI时代变贵的是判断力。
外行瞎写的Vibe Coding，都能并入Agent 工程了：最吓人的是，我们“摆烂”有正当理由了
本文编译了软件专家 Simon Willison 在播客的访谈内容。他指出 Vibe Coding 与 Agent 工程正走向融合，AI 写代码渐趋可靠，人类审查成开发瓶颈，还探讨了 AI 对编程的影响、算力成本博弈等问题。
挑战扩散自回归统治！字节提出视觉生成第三种路线，让模型像人类一样边画边改
五一期间字节商业化技术团队研发出新一代视觉生成模型，其底层架构是全新的第三条路——生成精炼网络GRN。它能让AI像人一样边画边改，解决了现有模型的问题，在多项基准测试中刷新SOTA记录。