「参数微调」共找到 958 篇相关文章
Distilabel DeepSeek-R1 模型蒸馏教程
文章介绍结合distilabel与QLoRA技术定制专属大模型的路径。先用distilabel框架利用DeepSeek - R1生成医疗指令数据集，再用QLoRA技术微调Qwen3 - 4B模型，还给出实战路线图和代码示例。
微软深夜发布SambaY架构，Phi-4min加速10倍推理
微软基于Phi-4-mini版本，针对特定推理任务微调出Phi-4-mini-Flash-Reasoning 3B模型，将其扩展到200064 tokens。采用新型SambaY架构，支持64K token上下文长度，运行快10倍，有诸多优点。
Sutton、OpenAI 联创押注的持续学习，有中国团队带着模型进场了
7 月，TML 发布 Inkling 模型，Mind Lab 发布 Macaron V1，二者均针对持续学习场景。持续学习走「参数空间的迭代」路线，让模型用得越多越好用。硅谷已有不少新尝试，产业链正在形成。
极客大神构建了LLM架构画廊，AI大神Karpathy点赞
极客大神Sebastian Raschka构建LLM Architecture Gallery，将复杂模型结构化繁为简，引发技术圈讨论，AI大神Karpathy点赞。画廊高度视觉化、互动性强，展示模型架构图及核心参数，源数据开源。
拒绝Reward Hacking！港科联合快手可灵提出高效强化学习后训练扩散模型新范式
使用强化学习微调扩散模型时，常面临Reward Hacking和KL正则化阻碍探索收敛的问题。港科等团队提出GARDO框架，通过门控自适应正则化和多样性感知优化，解决痛点且全面开源。
腾讯开源Stand-In！轻量级身份保留视频生成新突破
生成符合指定身份的高保真视频挑战大，现有方法依赖大参数且兼容性不足。腾讯开源轻量级、即插即用的Stand - In框架，在身份保留文本生成视频任务中性能先进，兼容性强，有广阔应用潜力。
没想到，最Open的开源新模型，来自小红书
向来低调的小红书昨日开源首个自研大模型 dots.llm1，它是中等规模的 MoE 模型，在较小激活量下性能良好。其开源力度堪称行业最大，还介绍了数据处理、训练优化等多方面技术细节。
GLM-5深夜登场，这是国产开源模型首次逼平Claude Opus 4.5。
GLM - 5深夜发布且开源，参数量从355B扩展到744B，跑分仅次于顶级模型，开源排第1。能力逼近Claude Opus 4.5，BrowseComp基准得分超普通GPT - 5.2。价格便宜，是国内可用且性价比高的大模型。
斯坦福×英伟达发布AI推理新范式，刷新了多领域SOTA
斯坦福与英伟达联合发布论文 TTT - Discover，提出新范式，不追求通用，在推理阶段针对特定难题修改模型参数。它战绩辉煌，但成本高、是偏科生且需打分器，其出现是技术与哲学的突破。
号称1200万token上下文的模型来了，数据亮眼但疑点重重
当地时间5月5日，Subquadratic公司推出模型SubQ，称是LLM智能重大突破，有1200万token上下文。数据亮眼，如在1M token场景比FlashAttention快52倍等，但也引发质疑，有人推测是对开源模型微调，官方未公布详细模型卡。