「编程基准测试」共找到 2946 篇相关文章
跨越技术与法律的壁垒：AI赋能知识产权领域任务全能评测基准IPBench发布
本推文介绍arXiv论文《IPBench: Benchmarking the Knowledge of Large Language Models in Intellectual Property》。论文提出IPBench评估基准，构建含20个任务、10374个双语数据点的基准，评估17个主流模型，揭示现有模型在IP任务中局限。
11.4K Star！基于 AI 大神 Karpathy 的编程经验开源的 Claude Code 技能插件。
AI写代码常遇盲目假设、过度设计、乱改代码等问题。开发者把AI大神Andrej Karpathy经验总结成Claude Code插件andrej - karpathy - skills，设定四大原则，还介绍使用、验证及自定义方法。
谷歌王炸开源编程 Agent：Gemini 2.5 Pro 塞进命令行，每天1000 次免费调用，重新定义 CLI 开发体验
谷歌正式开源 AI 编程智能体 Gemini CLI，它是全能终端 Copilot，免费且开源，免费额度高，不止编程，还原生集成。能满足开发者在 CLI 中对集成式 AI 辅助的需求，带来全新开发体验。
AI编程冲刺“DeepSeek时刻”：00后团队用国产模型一键直出复杂应用，效果超越Claude Code
云端Agent有新进展，重新定义AI编程范式。Vinsoo上新Beta 3.0版本，仅用国产大模型就超越一众流行AI编程产品。它解决了4个核心技术问题，还带来三重云端AI Agent新体验，其研发团队由00后主导。
突破全模态AI理解边界：引入上下文强化学习，赋能全模态模型“意图”推理新高度
在多模态大语言模型应用多元的当下，对模型理解人类意图需求迫切。阿里巴巴通义实验室团队推出HumanOmniV2，解决现有推理路径问题，其相关代码等开源，在多基准数据集成果突破性领先。
走出 MMLU 的高分幻觉：AI Agent 的「斯坦利时刻」与职场生存法则
文章指出多模态大模型在基准测试分数高，在实际业务流程却像‘职场巨婴’。研究团队构建Trainee - Bench测试顶尖模型，结果显示模型离‘独立上岗’远，凸显提升Agent自主学习性的重要性。
ICLR 2026 | LongHorizonUI：让 GUI 智能体不再"半途而废"——面向长链路任务的统一鲁棒自动化框架
近年来，基于多模态大语言模型的GUI智能体在自动化操作上虽有进展，但任务步数超10 - 15步时成功率断崖下跌。研究人员提出LongHorizonUI框架，构建LongGUIBench评测基准，推动GUI自动化在复杂场景落地。
马斯克Grok 4正式发布：世界最大AI超级计算机就训练了这？
Grok 4公开基准测试有进步，但在高级推理测试表现差，视觉理解仍是短板。性能提升多靠整合符号工具，无重大技术创新，‘幻觉’问题没实质进展，xAI官方对道德对齐信心不足。
推理路径的动态调控：让大模型学会“恰到好处”的思考
当前大模型推理路径存在冗余问题，本文提出测试时提示干预框架PI（π），通过《When/How/Which》三模块协同，将人类专家经验融入推理过程，在多个STEM基准测试中缩减推理步骤、提升准确率。
Claude与人类共著论文，苹果再遭打脸！实验黑幕曝光
苹果一篇质疑大模型推理能力的论文引发争议。Open Philanthropy研究人员联手Anthropic发表论文，揭露苹果论文三大缺陷，指出部分测试无解却让模型“背锅”，还给出正确评价大模型推理能力的方法。