「评测标准」共找到 946 篇相关文章
RL救不了泛化性！揭示LLM数学Reasoning的深层瓶颈
大型语言模型在数学竞赛级任务依赖机械化推理，现有评测集有缺陷。UC Berkeley团队提出OMEGA基准量化其数学泛化能力，实验揭示复杂度引发性能崩塌等问题，指出LLM创新组合难，给出改进方向。
60%情况下，主流大模型没理解风险只是装懂！别被模型的“安全答案”骗了
研究发现超60%案例中主流推理模型生成合规答案却未真正理解风险，存在系统性漏洞。淘天集团团队引入“表面安全对齐”术语，推出Benchmark研究该现象，还介绍了数据集生成流程及评测指标。
不盲目跟风：消息代理选型实战指南
消息系统在分布式架构中至关重要，消息代理选型常缺系统方法。文章剖析 Apache Kafka 与亚马逊 SQS 特性，对比它们在命令、ECST、事件通知三种消息模式下的适配性，为选型提供参考。
EMNLP 2026高分论文MathDebugger：当合成数据涌入训练集，如何为数学题做体检？
随着合成数据增多，模型需判断数学数据题目能否被信任。北大DCAI团队提出MathDebugger质检BenchMark，覆盖问答两端，评测主流LLM和PRM。还探究能否判断正误、分类错误、修复数据，证明错误标签可作监督信号。
突发！OpenAI紧急暂停GPT-6训练
OpenAI奥特曼官宣暂停下一代旗舰模型强化学习训练两周，原因是确保安全等标准跟上能力水平。触发因素有Hugging Face事故和Astra达安全红线，后续将让AI监管AI，加固三道安全防线。
AI不是比人聪明，是输得起！菲尔兹奖得主点破OpenAI十项成果
OpenAI发布内部版模型Astra的十项成果，引发数学界震动。菲尔兹奖得主Timothy Gowers分析其成果，指出AI优势在‘输得起’，还探讨找例方法、模型短板，给出训练建议与衡量跨越门槛的标准。
能让DeepSeek自进化的Harness！LlamaFactory作者开源新工具：0.2元自动造Agent
LlamaFactory作者郑耀威团队开源的PenguinHarness，是全球首个支持多Agent自进化的Harness，能自动构建、评测和改进Agent。它成本低、速度快，适配众多模型，还有严格契约保障安全。已在生产场景应用，效果显著。
Qwen3-VL-Seg 深度解读：当多模态大模型学会"像素级精准手术"，仅用0.4%参数碾压8B模型
文章深度解读阿里通义实验室发布的Qwen3-VL-Seg，它解决开放世界指代分割问题，用仅17M参数（占基础模型0.4%）在4B规模超越8B模型。介绍其原理、架构、数据、实验结果，还给出实战代码。
杀疯了！单卡4090跑通全量微调，面壁1B级多模态性能怪兽硬刚大厂
面壁智能推出MiniCPM-V 4.6，参数约1B，性能和推理效率出色。它在多模态任务综合能力、推理速度上领先竞品，靠ViT架构改造和4倍/16倍混合视觉Token压缩实现创新，有工业验证，对开发者和普通用户意义大。
访谈｜Codex 团队如何用自己的产品构建产品——整个 Spec 只有 10 个要点
OpenAI Codex 团队产品规格文档极简，仅 10 个要点。团队运作如‘海盗船’，规划只做近期和远期，不做中期。Codex App 诞生源于模型能力提升，团队以 power user 为导向设计产品，还谈到 PM 角色转变和招聘标准。