「参数微调」共找到 930 篇相关文章
单向VLM变双向！人大斯坦福等提出MoCa框架：双向多模态编码器
人大、斯坦福等机构提出MoCa框架，将单向视觉语言模型转化为双向多模态嵌入模型。它通过持续预训练和异构对比微调，解决传统模型局限，在多模态基准测试中表现优异，尤其小规模模型性能突出。
准确率92.7%逼近Claude 3.5、成本降低86%，开源代码定位新神器LocAgent来了
OpenHands 等团队发布 LocAgent，这是用于代码定位的图索引 LLM Agent 框架，准确率达 92.7%。它把代码库解析成图，提供工具接口，经实验效果出色，开源微调模型降本增效，还能提升问题解决率。
Distilabel DeepSeek-R1 模型蒸馏教程
文章介绍结合distilabel与QLoRA技术定制专属大模型的路径。先用distilabel框架利用DeepSeek - R1生成医疗指令数据集，再用QLoRA技术微调Qwen3 - 4B模型，还给出实战路线图和代码示例。
微软深夜发布SambaY架构，Phi-4min加速10倍推理
微软基于Phi-4-mini版本，针对特定推理任务微调出Phi-4-mini-Flash-Reasoning 3B模型，将其扩展到200064 tokens。采用新型SambaY架构，支持64K token上下文长度，运行快10倍，有诸多优点。
Sutton、OpenAI 联创押注的持续学习，有中国团队带着模型进场了
7 月，TML 发布 Inkling 模型，Mind Lab 发布 Macaron V1，二者均针对持续学习场景。持续学习走「参数空间的迭代」路线，让模型用得越多越好用。硅谷已有不少新尝试，产业链正在形成。
极客大神构建了LLM架构画廊，AI大神Karpathy点赞
极客大神Sebastian Raschka构建LLM Architecture Gallery，将复杂模型结构化繁为简，引发技术圈讨论，AI大神Karpathy点赞。画廊高度视觉化、互动性强，展示模型架构图及核心参数，源数据开源。
拒绝Reward Hacking！港科联合快手可灵提出高效强化学习后训练扩散模型新范式
使用强化学习微调扩散模型时，常面临Reward Hacking和KL正则化阻碍探索收敛的问题。港科等团队提出GARDO框架，通过门控自适应正则化和多样性感知优化，解决痛点且全面开源。
腾讯开源Stand-In！轻量级身份保留视频生成新突破
生成符合指定身份的高保真视频挑战大，现有方法依赖大参数且兼容性不足。腾讯开源轻量级、即插即用的Stand - In框架，在身份保留文本生成视频任务中性能先进，兼容性强，有广阔应用潜力。
没想到，最Open的开源新模型，来自小红书
向来低调的小红书昨日开源首个自研大模型 dots.llm1，它是中等规模的 MoE 模型，在较小激活量下性能良好。其开源力度堪称行业最大，还介绍了数据处理、训练优化等多方面技术细节。
GLM-5深夜登场，这是国产开源模型首次逼平Claude Opus 4.5。
GLM - 5深夜发布且开源，参数量从355B扩展到744B，跑分仅次于顶级模型，开源排第1。能力逼近Claude Opus 4.5，BrowseComp基准得分超普通GPT - 5.2。价格便宜，是国内可用且性价比高的大模型。