「监督微调」共找到 401 篇相关文章
大模型微调知识与实践分享
文章详细介绍大型语言模型（LLM）微调知识与实践，包括模型结构、参数量等知识，以及Prompt工程、数据构造、LoRA微调等技术点。还给出微调实践流程，介绍相关平台和框架，如星云、TuningFactory等。
解决特斯拉「监督稀疏」难题，DriveVLA-W0用世界模型放大自动驾驶Data Scaling Law
自动驾驶领域VLA大模型面临‘监督稀疏’难题，特斯拉公布此挑战。DriveVLA - W0研究提出用世界模型解决，将‘预测未来图像’作自监督训练任务，还提出轻量级架构降低推理延迟。
Thinking Machines又发高质量博客：力推LoRA，不输全量微调
Thinking Machines 博客力推 LoRA 并与全量微调对比。研究发现小数据量任务中 LoRA 与全量微调效果接近，大数据量稍吃力，强化学习中低秩 LoRA 也能接近全量微调。还揭示了 LoRA 关键要素、超参数规律等。
微调已死？Agentic上下文工程登场，无需微调实现模型进化
斯坦福大学等团队提出 Agentic Context Engineering 技术，让语言模型无需微调自我提升。它将上下文视为作战手册，引入三种协作角色与三项创新，实验显示其在两类任务上表现优异，成本和延迟显著下降。
NUS LV Lab新作｜FeRA：基于「频域能量」动态路由，打破扩散模型微调的静态瓶颈
在大模型时代，参数高效微调（PEFT）已成为迁移大规模扩散模型至下游任务的标准范式。但现有微调方法多采用「静态」策略，忽略扩散生成过程内在规律。新加坡国立大学LV Lab等机构提出FeRA框架，通过频域能量动态路由，实现高效微调。
项目在GitHub上已获得约3600+star,探秘 ChatDoctor：LLaMA 微调后的 AI 医生，真能在线问诊？
现代医疗资源不均、问诊效率低，ChatDoctor应运而生。它基于LLaMA微调，有医学对话微调等亮点，技术优势多，适用于在线问诊等场景，与同类对比优势明显，开源助力医疗对话模型发展。
别再乱调图像塔了！浙大 IJCAI 论文揭露 VLM 非对称性真相，给 CLIP 微调「踩刹车」
浙大陈静远教授课题组等提出自适应非对称适配器，放弃对图像分支硬性微调，引入预测置信度自动给视觉塔‘踩刹车’。经实验总结出微调三大核心洞察，在多个数据集测试中表现优异。
监督学习也能从错误中学习反思？！清华英伟达联合提出隐式负向策略爆炸提升数学能力
清华大学与英伟达、斯坦福联合提出监督学习方案NFT，在RFT算法基础上构造“隐式负向模型”利用负向数据训练。该策略弥合监督与强化学习差距，其损失函数梯度和GRPO在On - Policy条件下等价。
Murati翁荔陈丹琦公司发布首个产品，让大模型微调门槛暴降，要重新发明一个OpenAI
Thinking Machines Lab发布首个产品Thinker，让模型微调像改Python代码一样简单。它是用于微调语言模型的灵活API，降低了大模型微调门槛，受到业界关注。此外，该公司还尝试重新发明OpenAI，而OpenAI正打造社交模式。
为什么自监督永远学不到语义？
《Visual Language Hypothesis》论文用纤维丛理论审视视觉表征学习，指出只做连续变换难触达语义。分析现有无监督学习不足，提出“Expand - and - Snap”机制，还通过实验验证，提供审视AI架构新视角。