「模型蒸馏」共找到 7839 篇相关文章
告别死记硬背！SkillRL自动提炼Skills持续进化
大型语言模型智能体常孤立运行，难从经验学习。SKILLRL受人类技能启发，提出有效经验迁移需抽象。它通过经验驱动的技能蒸馏、分层技能库和递归技能进化机制，在多实验中表现出色。
单向VLM变双向！人大斯坦福等提出MoCa框架：双向多模态编码器
人大、斯坦福等机构提出MoCa框架，将单向视觉语言模型转化为双向多模态嵌入模型。它通过持续预训练和异构对比微调，解决传统模型局限，在多模态基准测试中表现优异，尤其小规模模型性能突出。
ICML 2026｜告别「单线程」思维，智能体进化出了原生的并行推理大脑
北京通用人工智能研究院语言交互实验室提出原生并行推理器NPR，它有「自蒸馏 + 并行强化学习」三阶段训练范式，配套并行推理引擎，让并行推理成模型原生认知能力，还介绍了其具体实现、实验结论等。
倒反天罡！Gemini Flash表现超越Pro，“帕累托前沿已经反转了”
Gemini 3 Flash在SWE - Bench Verified测试中分数超Pro，速度和性价比也更优。谷歌解释是因Flash有未用于Pro的优化技术。开发者认为应停止‘旗舰版迷信’，强化学习让小模型也能实现‘降维打击’。
Skills驱动推理新范式，清华&北大：Token立省59%，准确率不降反升
当前推理模型虽准确率高，但生成“思考过程”会使推理成本和延迟上升。奇元科技、清华、北大等提出TRS框架，将历史推理轨迹蒸馏成技能卡片，在推理时检索注入，实现更少Token、更高准确率。
只要强化学习1/10成本！翁荔的Thinking Machines盯上了Qwen的黑科技
新智元报道，翁荔的Thinking Machines研究同策略蒸馏策略，能以1/10强化学习成本，结合同策略训练优势与密集奖励信号。该策略受DAGGER启发，扩展Qwen3团队工作，可在Tinker复现，还能用于个性化和持续学习。
与Gemini Diffusion共振！首个扩散式「发散思维链」来了
西湖大学齐国君教授团队提出扩散式「发散思维链」，这是面向扩散语言模型的新型推理范式。它与传统思维链不同，能非线性生成，已应用于两种模型，增强后的模型在相关任务上超越现有模型。
ACM MM 2025 | 小红书AIGC团队提出风格迁移加速算法STD
小红书AIGC团队提出风格迁移加速算法STD。现有一致性模型在风格化任务有缺陷，文章提出从部分噪声状态出发的训练框架STD，设计轨迹状态库减轻计算负担，引入非对称对抗损失增强风格一致性，实验显示其效果优。
Meta「分割一切」进入3D时代！图像分割结果直出3D，有遮挡也能复原
Meta MSL实验室发布三维重建模型SAM 3D，其家族的两个新模型能将2D图像转为3D重建模型，性能优异。同时，此前投稿ICLR 2026的SAM 3也亮相，可克服传统模型局限，在多项任务中刷新SOTA。
MoE推理「王炸」组合：昇腾×盘古让推理性能狂飙6-8倍
在通往AGI进程中，MoE模型成大模型推理提效关键。华为推出Pangu Pro MoE 72B模型，经多方面优化，推理性能提升6 - 8倍。还采用多种策略和算法，在昇腾不同平台展现卓越性能，为大模型落地提供支撑。