「自动化评测」共找到 1070 篇相关文章
RL救不了泛化性！揭示LLM数学Reasoning的深层瓶颈
大型语言模型在数学竞赛级任务依赖机械化推理，现有评测集有缺陷。UC Berkeley团队提出OMEGA基准量化其数学泛化能力，实验揭示复杂度引发性能崩塌等问题，指出LLM创新组合难，给出改进方向。
孙凝晖院士：集成芯片带来三大科学问题
随着摩尔定律发展放缓，集成芯片与芯粒技术对高性能芯片设计制造愈发重要。孙凝晖院士在2025年度晶上系统生态大会指出，集成芯片是提升性能新路径，但芯粒集成度提升带来三大科学问题。
YC AI 创业营 Day 2：纳德拉、吴恩达、Cursor CEO 都来了
YC AI创业营第二天，微软CEO纳德拉、吴恩达等七位重磅嘉宾围绕AI技术、创业等话题分享观点，如不要将AI拟人化，智能体将成新一代计算机等，还给出产品开发、创业等方面建议。
60%情况下，主流大模型没理解风险只是装懂！别被模型的“安全答案”骗了
研究发现超60%案例中主流推理模型生成合规答案却未真正理解风险，存在系统性漏洞。淘天集团团队引入“表面安全对齐”术语，推出Benchmark研究该现象，还介绍了数据集生成流程及评测指标。
AI也能当情感大师？腾讯发布最新AI社交智能榜单，最新版GPT-4o拿下第一
腾讯混元AI数字人团队打造SAGE自动化评估框架，可评价AI“共情力”与能否成“知心伴侣”。研究团队用其对18个主流模型测评，GPT - 4o表现最佳，还通过多实验分析模型特性。
EMNLP 2026高分论文MathDebugger：当合成数据涌入训练集，如何为数学题做体检？
随着合成数据增多，模型需判断数学数据题目能否被信任。北大DCAI团队提出MathDebugger质检BenchMark，覆盖问答两端，评测主流LLM和PRM。还探究能否判断正误、分类错误、修复数据，证明错误标签可作监督信号。
能让DeepSeek自进化的Harness！LlamaFactory作者开源新工具：0.2元自动造Agent
LlamaFactory作者郑耀威团队开源的PenguinHarness，是全球首个支持多Agent自进化的Harness，能自动构建、评测和改进Agent。它成本低、速度快，适配众多模型，还有严格契约保障安全。已在生产场景应用，效果显著。
Qwen3-VL-Seg 深度解读：当多模态大模型学会"像素级精准手术"，仅用0.4%参数碾压8B模型
文章深度解读阿里通义实验室发布的Qwen3-VL-Seg，它解决开放世界指代分割问题，用仅17M参数（占基础模型0.4%）在4B规模超越8B模型。介绍其原理、架构、数据、实验结果，还给出实战代码。
杀疯了！单卡4090跑通全量微调，面壁1B级多模态性能怪兽硬刚大厂
面壁智能推出MiniCPM-V 4.6，参数约1B，性能和推理效率出色。它在多模态任务综合能力、推理速度上领先竞品，靠ViT架构改造和4倍/16倍混合视觉Token压缩实现创新，有工业验证，对开发者和普通用户意义大。
分享2篇最新Harness论文，一篇谷歌，一篇微软
在LLM Agent迅速发展的当下，如何为其设计合适的Harness成关键问题。本文分享微软M⋆和谷歌AutoHarness两篇论文，分别从记忆系统和动作约束维度提出自动化的Harness进化方法，并介绍了实验结果。