搜索：参数高效微调

「参数高效微调」共找到 1419 篇相关文章

北大团队提出 SHINE：将任意文本转化为大模型 LoRA，仅需一次前向传播！

北大团队提出全新超网络架构 SHINE，仅需一次前向传播就能将任意文本转化为大模型 LoRA 参数，支持多轮对话。该方法实用潜力大、架构创新高效，训练流程成熟，推理快速，为大模型持续学习提供新思路。

由浙江省卫生健康信息中心等联合研发的开源医疗语言模型AntAngelMed发布。它基于Ling - flash - 2.0，100B总参数仅激活6.1B达约40B密集模型性能，在多个权威医疗基准测评中居前列，采用三阶段训练流程，高效MoE架构。

蚂蚁百灵大模型团队开源 MoE 大模型 Ling-flash-2.0，其以轻量级配置展现卓越性能，在推理速度、任务性能、部署成本间找到新平衡，为大模型‘参数膨胀’提供新路径，还在多领域应用表现出色。

弗吉尼亚理工大学研究团队提出 LensLLM 框架，基于 PAC - 贝叶斯泛化界限揭示 LLM 微调性能“双相演进”，可精准预测微调性能、大幅降低计算成本，为 LLM 选型提供新工具。

弗吉尼亚理工大学研究人员推出选型框架LensLLM，可预测微调后性能走势，解释大模型微调“玄学现象”。它基于全新PAC - Bayes泛化界限推导，降低成本近90%，被ICML 2025收录。

22岁初创CEO Kye Gomez以第一性原理推导出Claude Mythos核心架构，开源OpenMythos项目。该架构采用循环深度Transformer，不堆参数，循环思考16次推理，结合MoE层，参数效率翻倍。

文章指出越依赖AI，越要考虑‘主权AI’问题。对个体而言，实现主权AI核心是掌握自身数据等，能随时换底层模型，还介绍积累的四类资产、微调顺序及现实路径。

大模型训练正从‘作坊炼丹’进化为‘工业微调’。OpenAI前CTO创立的Thinking Machines Lab推出Tinker，潞晨云微调SDK兼容其范式，实现算法设计与基础设施解耦，降低成本，提升人效，适用于多场景。

Pinterest工程师开发“最小重要查询参数集”（MIQPS）URL标准化系统，用于优化大规模数据采集管道内容去重。它取代传统方法，用数据驱动判断参数重要性，还采用早期退出逻辑等提高效率。

今天凌晨，Hugging Face开源顶级小参数模型SmolLM3，参数30亿，性能超同类。它有128k上下文窗口，支持6种语言、双推理模式。架构细节等全开放，联合创始人强烈推荐，称是3B领域SOTA。