「自蒸馏微调」共找到 1405 篇相关文章
大模型微调评测入门：看懂这些指标，才知道模型好不好
文章指出大模型微调中很多新手重“调”轻“评”，评测是决定模型落地的关键。介绍分类和生成任务评测指标，给出实操步骤，还说明如何综合判断模型好坏，最后展望评测技术朝自动化等方向发展。
视觉生成的另一条路：Infinity 自回归架构的原理与实践
本文整理自字节跳动韩剑在AICon 2025北京站的分享，以Infinity为例介绍自回归视觉生成原理，对比其与扩散模型，展示Infinity升级方案成果，它在高分辨率文本到图像任务能与扩散模型竞争。
Qwen3.5实战教程：从0到1掌握本地部署与微调
阿里通义千问团队发布Qwen3.5系列小模型，打破“大模型=高成本”惯例。本文全面剖析该系列模型，涵盖核心特性、本地部署实战、模型微调实战，还给出技术细节与问题解决办法。
扩散模型+自进化：这篇论文让Deep Researcher错误率直降70%
论文提出测试时扩散深度研究代理（TTD-DR），将报告生成建模为扩散过程，有组件自进化机制和动态闭环设计。实验显示其在多领域研究任务超现有方案，为AI研究助手落地提供新范式。
刚刚，Thinking Machines Lab博客提出在策略蒸馏，Qwen被cue 38次
Thinking Machines Lab发布《在策略蒸馏》博客，提出在策略蒸馏可结合强化学习纠错与SFT奖励密度，成本低且能让小模型有强大性能。该成果受Qwen团队启发，大量用Qwen3模型。还对比了不同训练方法。
MIT发布自适应语言模型！新任务，自生成远超「GPT-4.1合成训练数据」
麻省理工学院提出自适应语言模型框架SEAL，让大模型生成微调数据和更新指令适应新任务。实验显示，其生成的合成数据微调效果超GPT - 4.1，在少样本学习和知识整合任务表现优异。
RLinf上新πRL：在线强化学习微调π0和π0.5
近年来，基于流匹配的VLA模型成机器人领域前沿技术，但训练依赖大量人类演示数据。清华等机构联合推出在线强化学习微调框架πRL，提出两种微调方案，在测试平台验证了有效性，目前代码等已开源。
单卡即可微调大模型！内存占用仅1/8，性能依然拉满 | ICML 2025
基础大模型应用于下游任务时微调成本高，低秩适应（LoRA）方法虽降低成本，但性能不及全量微调。华中科技大学和香港中文大学团队提出GOAT框架，在25个多领域任务验证效果好，内存占用仅1/8。
秋招超强助攻：零基础1小时上手GPT微调！全流程教程免费开源
新一年秋招季，岗位对AI能力要求提升。OpenAI发布新开源大模型GPT - OSS，博主Lorentz Yeung开源本地部署和微调训练GPT - OSS的教程，助零基础者上手，还介绍环境搭建、代码和训练前后效果对比。
舍弃自回归，离散扩散语言模型如何演化？NUS综述解构技术图谱与应用前沿
本文介绍新加坡国立大学xML团队的论文，梳理离散扩散方向研究图谱，对比自回归局限与离散扩散优势，阐述数理基础、模型生态、训练与推理技术，还提及应用及未来方向，显示其对自回归范式的替代潜力。