搜索：一致性蒸馏训练

「一致性蒸馏训练」共找到 2334 篇相关文章

腾讯AngelSlim升级，首个集LLM、VLM及语音多模态为一体的投机采样训练框架，推理速度飙升1.8倍

随着大模型应用成本与延迟问题凸显，腾讯混元升级 AngelSlim 训练框架，将投机采样技术拓展至全模态场景。它以 Eagle3 架构让推理速度最高飙升 1.9 倍，还具全模态训练、面向部署等亮点，有开源代码。

视频生成进入大规模时代，但计算成本高，自注意力复杂度O(n²)跑不动。研究团队提出LINVIDEO后训练框架，无需数据和重新预训练，实现视频扩散模型线性化替换，保持生成质量，加速推理并降低成本。

小红书AIGC团队提出风格迁移加速算法STD。现有一致性模型在风格化任务有缺陷，文章提出从部分噪声状态出发的训练框架STD，设计轨迹状态库减轻计算负担，引入非对称对抗损失增强风格一致性，实验显示其效果优。

文章围绕deepseek V4技术报告展开，指出当前大模型训练不充分，介绍了算法层面如混合注意力机制、模型结构优化、优化器等，工程层面如细粒度专家并行、算子内核开发等，以及后训练的范式转变和领域专家网络蒸馏等内容。

研究人员开发自动生成编码助手训练数据的流程。斯坦福等高校及阿里团队提出 SWE - smith 方法，从 128 个 Python 仓库入手合成漏洞、验证并生成修复样本，成果免费开放，有望改进 AI 辅助编程模型。

OpenAI奥特曼官宣暂停下一代旗舰模型强化学习训练两周，原因是确保安全等标准跟上能力水平。触发因素有Hugging Face事故和Astra达安全红线，后续将让AI监管AI，加固三道安全防线。

大型语言模型应用引发担忧，传统微调方法有短板，免训练对齐（TF Alignment）应运而生。本文是首篇系统综述TF对齐技术的论文，提出三阶段分类框架，实验显示TF方法优势明显，还指明未来研究方向。

Meta发布新开放AI模型Muse Glimmer底层参数，未来几周将开放Muse Spark 1.2模型权重。扎克伯格力挺开源，称要为数十亿人提供免费强大AI，还为模型蒸馏辩护。Meta此举有现实压力，也想创造算力需求。

来自阿里巴巴通义实验室的研究员推出WebDancer，这是一个原生信息检索的Agentic Model，能自主浏览网页、思考和决策。它基于ReAct框架，经多阶段训练，在信息检索基准测试中表现出色，为解决复杂检索问题提供新思路。

据外媒报道，Meta限制员工在AI模型构建中用Claude Code和Codex，因担心涉及模型蒸馏，且随着AI使用成本上升，Meta想让更多开发工作迁至MetaCode，这揭开了AI Coding时代新问题。