「基准数据集」共找到 3297 篇相关文章
Anthropic更新了Skill Creator，评测框架上线
Anthropic更新Skill Creator，上线评测框架。该框架无需写代码，能处理两类技能测试需求，可测试和改进技能，有捕获质量回归等用途。还增加基准模式、多Agent支持等，能让技能触发更可靠，更新已在Claude.ai等可用。
小红书发布 SWE-Bench Mobile：当 AI Agent 面对亿级用户 App 代码库，最高通过率仅12%？
小红书联合多科研机构发布 SWE-Bench Mobile，它是首个还原‘端到端’开发流程的基准，以小红书 App 实际任务为核心。评测显示，AI Agent 在移动端开发能力上限低，架构设计比模型本身重要，简单提示策略效果更好。
Qwen负责人转发2025宝藏论文，年底重读「视觉领域GPT时刻」
2025年末，Qwen大模型技术负责人林俊旸转发谷歌DeepMind入选ICCV 2025的论文，指出视觉领域“GPT时刻”要来了。研究用实验数据证明，视频模型正跳出任务专属局限，实现一个模型完成多视觉任务，推理过程还能被CoF“演”出来。
苹果提出原生多模态Scaling Law！早融合+MoE，性能飙升秘密武器
如今打造强大多模态模型是AI重要目标，常用方法有局限。法国索邦大学、苹果研究人员开展原生多模态Scaling Laws研究，对比早融合与后融合，探讨多种因素对模型性能影响，发现早融合、多模态MoE优势，为后续研究指明方向。
2025-04-努力不是做好事情最重要的因素
作者分享个人生活、工作等多方面情况，提及播客发布，认为努力非工作做好的关键因素，深入探讨Agent在业务应用中的问题，还谈及视频更新、投资经历等，最后表示要审视目标、精简事务。
编程新王Composer 2.5来了，逼近Opus 4.7！成本仅为1/10
Cursor推出全新AI编程模型Composer 2.5，在部分编程基准测试上接近Claude 4.7 Opus和GPT - 5.5，运行效率最高提升10倍，成本仅为竞品一小部分。其采用定向文本反馈RL等机制，还与SpaceXAI合作冲击百万H100集群算力。
全网炸了！骨折傅盛直播翻车：龙虾3分钟救场，10万人看懵了
春节滑雪受伤后，猎豹移动CEO傅盛躺在床上用语音和截图，基于OpenClaw框架14天养出一支8个Agent的AI团队，产出惊人数据。龙虾三万24小时建站，成本和时间优势明显。直播中三万还解决网站访问问题，揭示Agent核心壁垒是Skill积累。
多模态大语言模型的核心技术架构与训练方法的进化
文章深入剖析多模态大语言模型核心技术架构与训练方法的进化，涵盖建模范式、视觉编码器、语言骨干网络、模态对齐、生成范式及训练方法等方面，介绍其演进路径与代表模型，还提及国内模型创新及开源模型OpenVLA。
Google 悄悄升级了 Deep Think，ARC-AGI-2 直接干到 84.6%
Google DeepMind 升级了 Gemini 3 的专用推理模式 Deep Think，跑分屠榜。ARC - AGI - 2 拿下 84.6%，在多个基准测试中表现优异。它不仅是解题机器，还能解决真实科学工程问题，已向部分用户推送，科研人员和开发者可通过 API 使用。
为什么AI总是"记错"你？我们造了一个"合成人生"来测试
现有AI记忆评测只记'事'不记'人'，存在数据源窄、不重理解、注入成本高的问题。QuantaAlpha联合高校团队提出CloneMem基准测试，用'数字痕迹'评估AI Clone长期记忆能力，实验有反直觉结论并给出设计启示。