「分布匹配蒸馏」共找到 318 篇相关文章
Codex自我蒸馏玩法火了！OpenAI员工亲授：复制粘贴就能让AI消灭重复劳动
OpenAI员工Vaibhav Srivastav爆出Codex「自我蒸馏」秘籍，复制提示词就能让它找出重复工作并打包。提示词从初版迭代到2.0版，覆盖更多场景且能直接创建项目。此外还介绍了Codex新功能及Vaibhav的其他玩法。
斯坦福与Adobe新研究，模仿蒸馏技术轻松让200亿参数图像生成高质量大模型
斯坦福大学和Adobe研究院联手，用pi - Flow技术让200亿参数文本到图像大模型4步内生成高质量、高多样性图片。此前少步生成有质量和多样性问题，他们推出GMFlow和pi - Flow解决难题，LakonLab是其背后工程支撑。
ICLR 2026 | 当视频难以被表征：UCSD、HKUST等机构联合提出FlowRVS，用生成式流匹配重构视觉感知范式
计算机视觉领域传统表征方法在视频处理上力不从心，SGIT AI Lab等机构团队提出FlowRVS，跳出传统桎梏，用生成式流匹配重构视觉感知范式，实现SOTA提升，还展现诸多优势，证明Flow Matching理论普适性。
又一推理新范式：将LLM自身视作「改进操作符」，突破长思维链极限
Meta等机构研究者将LLM视为「思维」改进操作符，探究并行 - 蒸馏 - 精炼（PDR）推理方法。实验显示，PDR在数学任务中提升准确率，还训练8B模型让推理方法更适配，减少训练与部署的不匹配。
Meta提出World-T³：全新世界模型，单卡可跑20.6 FPS实时生成！
Meta 等机构提出相机可控视频世界模型 World-T³，通过测试时训练让模型在漫游掉头时记住走过的场景，在单张 B200 显卡上实现 20.6 FPS 实时生成。
2026开年关键词：Self-Distillation，大模型真正走向「持续学习」
2026年刚开场，Self - Distillation成大模型领域高频词汇。传统强教师依赖范式难适配大模型持续进化，MIT等顶尖机构发布三项成果，用不同方法实现自蒸馏，推动模型持续学习。
零样本刷新三项基准：ZeroDiff++让AI边考试边学习 | TPAMI'26
本文介绍发表于IEEE TPAMI 2026的ZeroDiff++模型，是ICLR 2025 ZeroDiff的扩展工作，针对生成式零样本学习的虚假语义关联、分布脱节问题提出新框架，在三项主流基准刷新成绩
用Diffusion构建「AI虚拟细胞」，14项指标霸榜！Mila唐建团队破解单细胞「破坏性」测序难题
Mila唐建团队发表PerturbDiff，跳出前人认知盲区，将“细胞群体的概率分布”视为随机变量。它引入数学工具建模，让MMD内生于体系，在多项基准测试霸榜，还提供应对数据稀缺的思路。
The Batch: 891 | 用于科学发现的人工智能
Adji Bousso Dieng展望2026年，希望AI从‘提升效率的工具’变为‘推动科学发现的催化剂’。当前深度学习主导范式是‘插值’，难以应对数据分布‘尾部’，应转向能驾驭分布尾部的技术，把多样性作为核心目标。
破解「个性化学习」长尾难题，巧用神经坍缩理论 | ICML 2025
当前个性化学习方法基于数据高质量且类别平衡的假设，但现实教育数据呈不均衡分布。华东师范大学和浙江大学团队在ICML2025提出NCAL方法，将神经坍缩理论引入该领域，解决教育数据长尾分布问题。