「微调加速」共找到 883 篇相关文章
超越对数似然：模型能力连续体下的监督微调新范式
论文挑战监督微调（SFT）用负对数似然（NLL）作训练目标的默认设定，提出基于概率的目标家族，引入“模型能力连续体”概念，分析不同目标在不同模型能力下的表现，为模型后训练提供新优化方向。
英伟达、港大等发布创新KV缓存，实现扩散模型无训练加速
多数开源扩散语言模型推理效率不如自回归模型，英伟达、港大、麻省理工研究人员联合提出Fast - dLLM。它用近似KV缓存机制减少冗余计算，还提出基于置信度的平行解码策略，测试显示能加速且保持生成质量。
奥特曼马斯克豪言：我们已进入奇点！AGI加速窗口已至
新智元报道，奥特曼和马斯克都认为奇点已至，当下处于AGI加速窗口。OpenAI曾靠资源猛追让Codex逆袭。但AI发展也引发担忧，如人类能否保持理智、安全对齐进展不明等。
五倍推理加速，激发自回归潜能，苹果新工作让LLM预测未来
近年来自回归训练方法成语言模型主流范式，但推理阶段计算开销大。苹果研究人员开发框架，让预训练自回归大模型多 token 预测，代码和数学任务推理加速达 5.35 倍，一般任务约 2.5 倍。
告别卡脖子，华为黑科技破局！昇腾推理加速1.6倍打破LLM降智魔咒
大模型参数规模大，推理部署难。华为诺亚提出Pangu Light框架，结合算法创新与国产昇腾平台，通过跨层注意力剪枝等技术，解决剪枝后模型失稳问题，实现高压缩率、推理加速与高精度。
视频生成太慢？英伟达、谢赛宁等发布TMD框架，实现70倍加速
大规模视频扩散模型采样效率低，应用受限。英伟达联合谢赛宁等提出TMD框架，将大型视频扩散模型蒸馏为少步生成器。实验显示，TMD能实现超70倍加速，质量损失小，用户也更偏好其生成的视频。
ACM MM 2025 | 小红书AIGC团队提出风格迁移加速算法STD
小红书AIGC团队提出风格迁移加速算法STD。现有一致性模型在风格化任务有缺陷，文章提出从部分噪声状态出发的训练框架STD，设计轨迹状态库减轻计算负担，引入非对称对抗损失增强风格一致性，实验显示其效果优。
√N并行+84倍计算加速！英伟达港大全新图像注意力：空间结构都保留
英伟达、港大等研究人员提出新型视觉注意力机制GSPN，通过线性扫描和稳定性 - 上下文条件处理图像空间结构，降低计算复杂度至√N量级，在多视觉任务达先进水平，生成16K图像加速超84倍。
无损加速视觉语言模型推理！轻松剪掉视觉冗余Token｜腾讯AI Lab
多图像、长视频让大型视觉语言模型推理成本暴涨，成算力瓶颈。腾讯AI Lab联合CMU提出VScan，通过两阶段视觉token筛选机制，在几乎不损性能的前提下实现推理加速，且已在GitHub开源。
扩散语言模型九倍推理加速！上海交大：KV Cache并非自回归模型的专属技巧
上海交通大学EPIC Lab团队提出免训练推理缓存机制dLLM - Cache，复用特征降低计算量。它即插即用，通用于主流dLLM架构，在多个基准测试中实现数倍推理加速，且不降低生成质量。