「评测缺陷」共找到 811 篇相关文章
具身大满贯还全开源！原力灵机DM0.5登顶RoboDojo，且clone且珍惜
原力灵机的DM0.5登顶具身评测RoboDojo，在记忆维度表现突出，还在其他权威评测中成绩优异。它有强泛化能力，在多场景表现佳。其从数据、架构、效率全面升级，且全面开源，赋能具身生态。
同一个模型，换套框架成绩差27%：SWE-bench分数到底谁说了算？
编程Agent评测是笔糊涂账，SWE - bench虽成事实标准，但分数不适合直接横向比较。基元律动等机构发布Claw - SWE - Bench基准，将模型、harness和任务集拆分，通过实验揭示harness对成绩影响大，还解决通用Agent评测问题，推出低成本Lite版。
R-HORIZON：长程推理时代来临，复旦NLP&美团LongCat重磅发布LRMs能力边界探测新范式
复旦大学与美团LongCat Team联合推出R - HORIZON，它是首个系统性评估与增强LRMs长链推理能力的方法与基准。提出Query Composition方法构建评测基准和训练数据，评测发现主流模型长链推理性能断崖式下降，还分析出三大瓶颈，训练后模型性能双重提升。
揭秘！RLVR/GRPO中那些长期被忽略的关键缺陷
近年来大模型任务突破离不开RLVR关键技术，许多RLVR方法会进行组内优势估计，北航等最新工作揭示其存在系统性偏差，困难题优势被低估，简单题被高估。这会影响训练，论文提出校正算法。
物理学家靠生物揭开AI创造力来源：起因竟是“技术缺陷”
两位物理学家以生物系统自我组装过程为参考，提出并验证假设：扩散模型去噪过程类似细胞分化重组，AI的‘创造力’是模型架构直接且必然的结果，本质是确定性过程。
经典ReLU回归！重大缺陷「死亡ReLU问题」已被解决
在深度学习领域，经典 ReLU 函数因简洁性等优势受青睐，但有「死亡 ReLU 问题」。德国吕贝克大学等机构研究者引入 SUGAR 方法，不牺牲 ReLU 优势解决该问题，还设计 B - SiLU、NeLU 函数，实验显示性能提升显著。
Claude版Manus宕机，全网炸锅！顶级开发者曝光致命缺陷
Claude Cowork开年爆红，引发大量关注和讨论，两天内浏览量达五千万，甚至因太火爆致Claude用量太大而宕机。Django之父Simon Willison揭露其核心机制，也指出存在提示词攻击风险。
提前实测Opus 5：3D细节封神，然而有一个致命缺陷
全网苦等Opus 5，结果其暂缓发布，理由是怕威胁人类对高级AI的控制，遭网友怒批。部分开发者提前实测，它3D细节表现出色，但耗token且看图测试翻车，原定有诸多强大特性。
AI能否独立开展科研？ASI-Bench为科学自主性建立评测标尺
ASI-Bench是衡量AI系统科学自主性的基准测试，由多机构联合开发。它能测试AI通用智能、创新性和执行力，通过信息梯度设计，让模型在不同指导量下完成科研任务，结果显示当前AI离自主科研有明显距离。
Claude 5史诗级泄露，史上最强编程模型评测炸裂！核心秘密曝光
Anthropic的Claude Sonnet 5即将发布，已存在于谷歌基础设施中，性能领先谷歌‘Snow Bunny’一代。它价格比Opus 4.5便宜50%，有100万token上下文窗口，SWE - Bench成绩超80.9%，还有自动开发团队模型。