「级联蒸馏」共找到 138 篇相关文章
KDD 2025 Best Paper Runner-Up | EI-BERT：超紧凑语言模型压缩框架
香港城市大学王茂林等提出 EI - BERT 框架，解决移动设备部署 NLU 模型难题。通过硬令牌剪枝、交叉蒸馏、模块化量化，实现 99.5% 压缩率。在多任务中表现出色，已在支付宝大规模应用。
开源即屠榜！UniME多模态框架登顶MMEB全球训练榜，刷新多项SOTA纪录
格灵深瞳等团队联合发布通用多模态嵌入新框架UniME，刷新MMEB训练榜纪录。它是两阶段框架，经文本判别知识蒸馏和困难负样本增强指令微调，在多任务达SOTA，项目已开源。
DeepMind 创始人 Hassabis 语出惊人：百万 token 只是在贴胶带，AGI 在 2030 年
DeepMind创始人Hassabis在访谈中评估AGI进展，认为当前范式是最终架构一部分，但持续学习等问题待解决，预计2030年左右实现AGI，还探讨了Agent、蒸馏等多方面内容，并给创业者建议。
前沿模型被曝年度重大漏洞：加密思维链可被轻松提取，GPT，Claude，Gemini 无一幸免
一篇 116 页论文揭示前沿模型思维链重大安全漏洞，Anthropic、OpenAI、Google 的 API 因架构问题，模型隐藏推理过程可通过两次 API 调用被大规模提取，还会带来多种安全威胁。
倒反天罡！Gemini Flash表现超越Pro，“帕累托前沿已经反转了”
Gemini 3 Flash在SWE - Bench Verified测试中分数超Pro，速度和性价比也更优。谷歌解释是因Flash有未用于Pro的优化技术。开发者认为应停止‘旗舰版迷信’，强化学习让小模型也能实现‘降维打击’。
MV导演诞生！上海巨人网络用让AI听懂音乐并掌镜拍摄MV
上海巨人网络AI实验室提出YingVideo - MV框架，结合音乐语义分析、镜头规划与视频生成模型，解决传统音频驱动视频生成难题。它分两步生成视频，以MV导演模块统筹，还解决长视频连贯性等问题，性能优于同类模型。
清华上交满分论文证明：强化学习并不能让大模型更会思考！
清华和上交在NeurIPS 2025的研究《Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?》获满分。研究聚焦RLVR，发现强化学习不能让大模型更会思考，推理能力上限仍由基础模型决定。
少说‘Wait’，多做题：NoWait重塑大模型推理路径
现代大模型在复杂推理时爱用自我反思词，触发冗余验证循环，拖慢速度、增加算力消耗。NoWait方法零训练成本，通过抓关键词、扩展变体、实时屏蔽，让模型跳过废话，在多任务中表现出色，且颠覆对推理的认知。
Scaling Law 仍然成立，企业搜广推怎么做才能少踩“坑”？
InfoQ《极客有约》X AICon 直播邀请京东颜林等探讨生成式推荐落地洞察。指出搜广推场景 scaling law 成立且在上升，还分享大模型对搜广推的改变、架构成长方式，及平衡成本等方面的经验。
社区供稿 | 开源多模态大模型新突破，书生·万象3.5发布，通用能力、推理能力与部署效率全面升级
2025年8月26日上海AI实验室开源发布书生·万象InternVL3.5，通过创新技术实现推理、部署和通用能力全面升级。它有多种尺寸模型，多项性能领先，还加强了智能体核心能力，应用场景广泛。