「微调加速」共找到 883 篇相关文章
英伟达MoE新开源：一行import，微调加速3.7倍
英伟达开源NeMo AutoModel，基于Hugging Face Transformers v5，不改代码API，添一行import就能更快速微调MoE模型。实验显示，它能提升3.4 - 3.7倍训练吞吐，减少29% - 32% GPU显存占用。
什么时候不该微调：比“怎么微调”更重要的一件事
文章指出微调失败常因一开始就不该调。强调微调解决行为问题而非能力问题，还列举了不该微调的五种场景，如知识接入问题、Prompt没写好等，建议先验证思路，明确目标再行动。
40倍推理加速！复旦&微软：用「非线性流」拟合复杂轨迹，2步生成媲美原画
ArcFlow是复旦与微软提出的图像生成加速方案，引入非线性流拟合复杂轨迹。它在仅2步推理下保持画质，实现约40倍推理加速和4倍训练收敛加速，微调极少参数，在多模型验证效果出色。
无需训练，即插即用，2倍GPU端到端推理加速——视频扩散模型加速方法DraftAttention
高质量视频生成任务中，扩散模型成主流，但DiT模型注意力机制计算量大，成推理瓶颈。现有加速法效果不佳，为此美国东北大学等团队提出DraftAttention，可2倍加速推理且不损画质。
开源模型竟被用于窃取下游微调数据？清华团队揭秘开源微调范式新型隐藏安全风险
清华、墨尔本大学团队研究指出，基于开源模型微调专有模型存在新型隐藏安全风险，开源模型发布者可埋后门窃取下游微调数据，新风险难检测、危害大，目前攻防方法待改进。
综述238篇遥感微调！清华院士团队指出9大方向 | CVMJ
在大数据和大模型推动下，遥感微调技术从全参数微调发展到混合微调。清华等团队在CVMJ期刊梳理技术脉络，涵盖适配器、提示等微调方法，还指出9个潜在研究方向，助力遥感技术应用。
告别微调时代：拖拽式LLMs实现12000倍加速适配，输入描述，秒级定制LLM，效果、速度全面超越
传统高效微调技术成大规模部署瓶颈，论文提出Drag-and-Drop LLMs (DnD)，仅需输入目标任务未标注提示，即可秒级生成适配的LoRA权重，实现LLM秒级免训练适配，效率、性能和泛化性上均有突破。
32k微调处理百万Token：21倍的推理加速，10倍的峰值显存节省，实现恒定内存消耗
现有大模型处理超长文档易内存爆炸、计算崩溃。阿里巴巴未来生活实验室推出CoMeT架构，有双轨并行记忆系统，能恒定内存、线性时间处理文本，在基准测试超主流方法，实现21倍推理加速和10倍显存节省。
极客说｜Unsloth 的全微调之路：从 Adapter 到 Full Fine-tuning
大语言模型参数多，微调难。Unsloth 原靠支持 Adapter 微调出名，现支持全参数微调，单卡就能搞定大规模模型训练。文章介绍其进化历程、关键技术、工程部署、使用优势及最佳实践。
0.01%参数就能接近全量微调！低数据微调极致省参方案来了 | ACL'26
瑞典隆德大学与Google DeepMind团队研究大模型微调省参方案。发现低数据场景下，微调Value投影中的b(v)比b(q)或b(k)性能更好。该研究已被ACL 2026接收，集成进Hugging Face - PEFT库。