「混合微调」共找到 508 篇相关文章
VLA 推理新范式！一致性模型 CEED-VLA 实现四倍加速！
近年来，VLA模型成机器人领域重要研究方向，但推理速度受限。本文提出一致性蒸馏训练、混合标签监督机制及提前退出解码策略，在多基线模型上实现超4倍推理加速，实验验证其高效通用。
kimi K3超大杯升级背后的技术内幕
文章介绍开源模型 K3 架构设计思路。主要探讨 MoE 和 MLA 部分，在 MoE 方面提出 SiTU、Norm、QB 改进；在注意力机制选择 MLA，与 KDA 混合缓解部分问题，还谈及 DSV4、NoPE 相关特点。
RL 是新的 Fine-Tuning
今年 9 月，Thinking Machines 研究使 LoRA 重获重视。OpenPipe 创始人 Kyle Corbitt 访谈指出，多数场景微调 ROI 低，RL 将融入 agent 生命周期成主流，但 RL 落地难在环境搭建，World Model 或为关键。
AI模型守法率提升11%，港科大首次用法案构建安全benchmark
香港科技大学KnowComp实验室从法律合规视角研究LLM安全，提出「安全合规」新范式。基于法律条文构建benchmark，用GRPO微调Qwen3 - 8B得推理模型，在新benchmark测试中性能提升显著。
BLIP3-o统一图像生成与理解，多模态融合趋势显现
BLIP3 - o致力于统一图像理解和生成，提升生成质量与效率。它融合自回归和扩散模型，采用CLIP + Flow Matching架构等。经训练，在图像理解和生成任务表现佳，指令微调效果显著。
通用的dLLM开发框架，让BERT掌握扩散式对话
扩散式语言模型（DLM）因缺乏易用框架和训练成本高受限。伯克利与UIUC团队基于dLLM框架，让BERT学会对话，证明‘离散扩散 + 轻量级指令微调’可赋予BERT强生成能力，还开源全流程代码。
大模型解数学题是真懂还是 “死记硬背”？｜首个反例驱动的数学推理基准揭穿 “刷题式假象”！
随着大语言模型在数学领域应用渐广，其是否真具备数学推理能力成焦点。清华等团队提出反例推理评测基准COUNTERMATH，测试20+主流模型，结果不佳，而小样本微调能显著提升模型能力。
CAG又回来了，这次它带着RAG！
文章对比CAG和RAG，指出CAG虽解决RAG部分痛点，但有根本限制，对海量变化知识库，RAG不可替代。Aurimas将二者结合做「动态混合层」效果好，还给出实施架构和关键点。
ICML'25 | 告别手动SFT！一句话得到你的专属大模型LoRA
传统微调方法开销大、部署难，Text-to-LoRA (T2L) 框架应运而生。它基于自然语言指令对 Transformer 模型即时适配，有三种架构变体，采用两种训练方法，实验显示其在多维度表现有效。
BLIP3-o统一图像生成与理解，多模态融合趋势显现
BLIP3 - o致力于统一图像理解和生成、提升生成质量和效率。它融合自回归与扩散模型，采用CLIP + Flow Matching架构等技术亮点。经训练，在图像理解和生成任务表现出色，指令微调效果显著。