「稀疏蒸馏」共找到 216 篇相关文章
ICLR 2026 Oral｜中科院团队提出新框架「SparseRL」，深度强化学习可自动生成高性能CUDA代码
中科院计算所团队提出 SparseRL 框架，将深度强化学习引入稀疏 CUDA 代码生成任务。实验显示，在 SpMV 任务上编译成功率提升 20%，执行速度提升 30%。该成果已入选 ICLR 2026 Oral。
无需训练，即插即用，2倍GPU端到端推理加速——视频扩散模型加速方法DraftAttention
高质量视频生成任务中，扩散模型成主流，但DiT模型注意力机制计算量大，成推理瓶颈。现有加速法效果不佳，为此美国东北大学等团队提出DraftAttention，可2倍加速推理且不损画质。
MiniCPM 4.0来了！220倍极速狂飙，端侧模型的比赛，结束了
面壁智能联合清华发布MiniCPM 4.0，极限场景220倍加速。它是首个原生稀疏模型，有三级火箭推理加速体系，性能强，适配全平台，应用广泛，或成端侧AI分水岭。
拉 DeepSeek 和通义“组队”斗 OpenAI？小扎首届 AI 大会变“大型商战现场”，和微软 CEO 疯狂互曝！
4月30日凌晨Meta举办首届AI开发者大会LlamaCon，推出面向消费者的Meta AI聊天机器人和面向开发者的Llama API，欲扩大开源Llama模型应用范围、挑战OpenAI。扎克伯格还与微软CEO纳德拉就开源闭源生态、AI生产力等展开讨论。
九章云极问鼎陶哲轩数学挑战赛！让强化学习成为AI4S新基建
本文报道九章云极言表实验室在陶哲轩发起的数学蒸馏挑战赛第二阶段拿下全部赛道满分，解决28个未解决开放数学问题，介绍了其可验证AI+强化学习的AI4S布局。
LLM后训练太烧钱？清华&腾讯有了破解法门：关键是得会Rollout
大模型强化学习后训练中，rollout预算易成瓶颈，且并非所有rollout都有用。清华和腾讯研究者提出TRACE框架，将Agent轨迹视为树，分配预算给易产生“成功/失败对比”的节点，实验显示其效果良好。
Agent学会自己「长」Skill了！从失败里长出经验，比人类写的更好用｜ICML 2026
ICML 2026接收论文提出EvolveR，让Agent从自身成败轨迹自动蒸馏“经验”，经闭环生命周期形成“认知Skill”，维护经验库，用强化学习让其学会“使用经验”，在多跳问答表现优。
ERNIE 5.0：走向原生统一的万亿参数多模态基础模型
过去多模态模型‘拼接式’方案存在理解与生成割裂问题，ERNIE 5.0 借此提出，用统一自回归框架做多模态理解与生成，在架构、训练与系统层面有创新，评测中各模态能力表现出色。
DeepSeek-V4蓄势待发！梁文锋署名论文或开启第二个DeepSeek时刻
据报道，DeepSeek将于2月发布新一代旗舰模型DeepSeek V4，其编程能力或超Claude和GPT系列。最新论文提出Engram条件记忆机制，分离死记硬背与逻辑推理，揭示新稀疏性分配定律。
Mistral 3发布，14B多模态小模型表现优异
Mistral AI第三代模型发布，含三个小型密集模型和稀疏混合专家模型Mistral Large 3，全用Apache 2.0许可。有多项技术亮点，Ollama等支持部署微调，还给出实用配置建议。