「蒸馏陷阱」共找到 166 篇相关文章
均值至上假繁荣！北大新作专挑难题，逼出AI模型真本事
当强化学习成大模型后训练核心工具，主流方法陷入「均值优化陷阱」，推理能力停滞。北大团队提出RiskPO，将风险规避理念融入优化目标，用MVaR+捆绑策略双管齐下，三大任务表现优异。
KDD 2025 Best Paper Runner-Up | EI-BERT：超紧凑语言模型压缩框架
香港城市大学王茂林等提出 EI - BERT 框架，解决移动设备部署 NLU 模型难题。通过硬令牌剪枝、交叉蒸馏、模块化量化，实现 99.5% 压缩率。在多任务中表现出色，已在支付宝大规模应用。
开源即屠榜！UniME多模态框架登顶MMEB全球训练榜，刷新多项SOTA纪录
格灵深瞳等团队联合发布通用多模态嵌入新框架UniME，刷新MMEB训练榜纪录。它是两阶段框架，经文本判别知识蒸馏和困难负样本增强指令微调，在多任务达SOTA，项目已开源。
刚刚，DeepSeek陈德里与两个AI，合写了一篇论文
DeepSeek研究员陈德里与DeepSeek-V4-Pro、GPT - Image2合写论文《From Copilots to Colleagues: A Survey of Autonomous Research Agents》。文章是兴趣驱动的尝试，分析自主科研智能体，提出自主等级分类、架构模式分析及未解难题。
DeepMind 创始人 Hassabis 语出惊人：百万 token 只是在贴胶带，AGI 在 2030 年
DeepMind创始人Hassabis在访谈中评估AGI进展，认为当前范式是最终架构一部分，但持续学习等问题待解决，预计2030年左右实现AGI，还探讨了Agent、蒸馏等多方面内容，并给创业者建议。
卷赢OpenAI也没用！Salesforce用100万次对话揭秘：AI Agent最大的坑，根本不是技术！
Salesforce处理超100万次AI Agent与客户对话后复盘，指出行业追求“全自动化”是陷阱。AI Agent不仅要融合非结构化和结构化数据，还需提升人工介入率，遵循“同理心优先”原则。
前沿模型被曝年度重大漏洞：加密思维链可被轻松提取，GPT，Claude，Gemini 无一幸免
一篇 116 页论文揭示前沿模型思维链重大安全漏洞，Anthropic、OpenAI、Google 的 API 因架构问题，模型隐藏推理过程可通过两次 API 调用被大规模提取，还会带来多种安全威胁。
别再无脑开高推理！Opus 5高配会擅自重构代码乱加戏
有人用FrontierCode编程基准测试Opus 5推理档位，发现性能顶峰在medium档，高档位推理预算多余，会让模型反复校验、偏离需求，在代码场景还会擅自重构代码。Anthropic也建议调低推理档位。
汉字防AI作弊！甩英文、拉丁文十几条街
中科院等联合发布 Chronicles-OCR 基准测试，让 20 多个主流视觉大语言模型识别汉字演变史。结果显示，模型在古文字识别上表现糟糕，还存在靠认材质作弊情况，暴露了 AI 理解汉字的局限。
倒反天罡！Gemini Flash表现超越Pro，“帕累托前沿已经反转了”
Gemini 3 Flash在SWE - Bench Verified测试中分数超Pro，速度和性价比也更优。谷歌解释是因Flash有未用于Pro的优化技术。开发者认为应停止‘旗舰版迷信’，强化学习让小模型也能实现‘降维打击’。