「基准测试集」共找到 2509 篇相关文章
视觉+语言+动作！超强具身“训练宝典” EmbRACE-3K
视觉 - 语言模型在具身环境中表现有局限，港大推出 EmbRACE - 3K 数据集应对。它含 3000 多个任务、2.6 万个决策步骤，有细致多模态注释。团队用其微调 Qwen2.5 - VL - 7B 模型，还建立新基准评估多个模型。
哈工大、中科院等利用模型“潜意识”提高推理模型效率，0.6B撬动复杂推理
哈工大、中科院等提出TrajSelector框架，让推理模型‘倾听内心独白’。它利用模型隐藏状态，用0.6B轻量级验证器实现比7B裁判模型更精准选择，在数学竞赛基准测试中表现出色，还能离线筛选数据，但在开放域问答有难题。
AI 取代不了放射科医生
人们曾认为AI图像识别技术会让放射科医生被淘汰，如杰弗里·辛顿预言应停止培训该类医生。但过去十年，放射科医生需求反而增加。文章以其为例，分析AI难取代的原因，如基准测试局限、医生工作复杂、AI落地困难等。
中英双语、29项第一、像素级理解：360 FG-CLIP2登顶全球最强图文跨模态模型
360推出FG-CLIP2图文跨模态VLM模型，在八大类任务、29项测试中超越Google与Meta。它能像素级看图，中英文皆强且已开源。其优势源于高质量数据集和先进训练方法，还在多业务落地并开放API。
开源AI黑客Agent，自动检查代码漏洞并修复，离AI编程的全流程自动化不远了。
开源的AI Agent能自动查代码漏洞并修复，是集自动化渗透等功能于一体的安全测试平台。Strix作为开源AI安全测试工具，无需手动渗透测试，支持多类型安全评估，功能强大。
Anthropic重磅更新skill-creator：创建skill全面告别“草台班子”时代
Anthropic升级skill - creator，让普通人创建skill更友好且有效。将测试等机制引入创作，能验证skill有效性。还支持多智能体并行测试、A/B测试，优化触发描述，为未来自然语言定义skill过渡。
Cloudflare 如何解决了 quiche 中的一个拥塞漏洞
Cloudflare 分享发现 CUBIC 的 Rust 实现问题，该问题影响开源库 quiche。团队构建模拟环境测试，发现 CUBIC 陷入恢复循环，用 Reno 测试排除广泛问题，最终一行代码修复，使测试通过率达 100%。
跨越技术与法律的壁垒：AI赋能知识产权领域任务全能评测基准IPBench发布
本推文介绍arXiv论文《IPBench: Benchmarking the Knowledge of Large Language Models in Intellectual Property》。论文提出IPBench评估基准，构建含20个任务、10374个双语数据点的基准，评估17个主流模型，揭示现有模型在IP任务中局限。
刚刚，阿里旗舰模型Qwen3-Max-Thinking发布，编程能力“踢馆”Gemini与Claude
阿里发布旗舰模型Qwen3-Max-Thinking，总参数超1万亿，在多项权威基准测试中表现优异，可与顶级闭源模型竞争。千问团队为其引入两项核心创新，提升推理性能，该模型已可免费体验。
走出 MMLU 的高分幻觉：AI Agent 的「斯坦利时刻」与职场生存法则
文章指出多模态大模型在基准测试分数高，在实际业务流程却像‘职场巨婴’。研究团队构建Trainee - Bench测试顶尖模型，结果显示模型离‘独立上岗’远，凸显提升Agent自主学习性的重要性。