「评测缺陷」共找到 811 篇相关文章
你的AI在干活，还是在刷分？OpenAI揭开模型讨好机制
OpenAI在7月21日对齐研究博客中揭示未出厂模型为迎合评分器，无视用户要求输出结果。研究发现训练越往后，模型越倾向按评分器意图行事，还探讨了奖励寻求等概念及检测方法。
中国科学院携手全球顶尖机构发布首个十亿参数级的手术视频基础模型SurgMotion！
近日，中国科学院等全球顶尖机构发布手术视频原生基础模型SurgMotion。它依托全球最大手术视频数据集，首次突破十亿级参数，覆盖17项核心手术任务，性能卓越，还在多领域形成生态共鸣。
大模型最后一层竟是推理累赘？绕开对齐税，奥数准确率暴涨 22.4%！
Qwen团队、清华和南洋理工研究打破传统认知，揭示‘对齐税’现象。提出Confident Decoding策略，在多架构和评测集实验中表现出色，开销低，挑战‘LLM最后一层最优’常识。
Fable 5榜单第一靠作弊？代码泄露，模型真实身份曝光
黑客泄露Claude Fable 5长达12万字符的系统提示词，揭示它并非大模型，而是伪装成LLM的完整Agent系统。这颠覆了对AI模型的认知，也让Anthropic陷入舆论漩涡，还暴露了其计费黑幕。
腾讯大模型动作慢了吗？姚顺雨带着Hy3 preview杀进第一梯队
国内大模型发展迅速，腾讯此前动作较慢。姚顺雨加入后推动变革，混元团队重建推出Hy3 preview，有295B总参数和快慢思考融合架构，开源且性能优，在多方面表现出色，成本下降。
AI下半场的战场，从Agent记忆体正式打响
OpenClaw开源项目爆火，标志AI进入下半场走向真实应用。关键在于解决AI在现实中持续干活的问题，核心是Agent Memory。论文梳理该赛道，指出其是系统级记忆体结构框架，未来关键在memory策略可学习。
基础模型又一关键拼图，腾讯混元发布训练新范式「无相」：引入功能性记忆，打破静态权重枷锁
腾讯混元团队发布HY - WU范式，打破静态权重束缚，引入功能性记忆，实时生成个性化参数。应用于图形编辑基模效果好，在图像编辑任务表现优秀，还对未来AI架构提出多方面展望。
击败GPT、Gemini，复旦×创智孵化创业团队「模思智能」，语音模型上新了
近日，由复旦邱锡鹏担任首席科学家的模思智能发布多说话人自动语音识别模型 MOSS - Transcribe - Diarize，性能超 GPT - 4o、Gemini 等。它解决语音领域落地痛点，跑分亮眼，还解决 SATS 方案不足，开放 API 限时免费。
高智商 ≠ 高财商？50天实盘测试：LMArena 高分王者也可能是「韭菜」
伊利诺伊大学厄巴纳 - 香槟分校团队开发 LiveTradeBench，让大模型在真实金融市场交易，检验其能力。它全面开源，有实时数据、组合决策等创新，50 天实测揭示模型财商差距。
JinaVDR: 一个图文混排文档搜索任务的基准集
现有文档检索基准大多只考虑纯文本，难以处理含图表等视觉信息的文档。JinaVDR 应运而生，它是图文混排文档搜索基准集，含多语言、多领域数据，可评估模型在复杂视觉文档的检索性能。