「参数高效微调」共找到 1419 篇相关文章
大模型刷数学题竟有害？CMU评估20+模型指出训练陷阱
CMU团队评估20多个大模型，发现只有强化学习（RL）训练的模型能将数学推理技能广泛迁移到其他任务，监督微调（SFT）训练的模型迁移有限甚至无迁移。研究还探索差异原因，表明RL微调更具优势。
告别微调！斯坦福提出Agentic上下文工程
当前微调大语言模型成本高、不灵活，‘上下文适应’方法有短板。斯坦福大学等提出ACE框架，将上下文变为动态‘战术手册’，解决现有问题。论文通过实验验证其在性能、成本和效率上优势，为大模型发展指明新方向。
Thinking Machines 发布 Tinker API，实现灵活的模型微调
Thinking Machines公司发布Tinker API用于开放权重语言模型微调，可减少开发者基础设施开销。支持多种模型架构，集成LoRA，还发布开源存储库。虽有竞品，但Tinker侧重暴露低级原语，尚处封闭测试。
Thinking Machines 发布 Tinker，重新定义 LLM 微调的边界
Thinking Machines 发布工具 Tinker，它是灵活的语言模型微调 API，采用‘责任分工’模式，让研究者专注算法创新，不用被运维细节拖累。此模式获 Karpathy 赞赏，目前 Tinker 开始内测，理念受欢迎。
比996更高效！夫妻合伙人不「下班」，狂赚$4700万
AI初创公司Serval的CEO Jake Stauch和COO Tatiana Birgisson这对夫妻创业成功获4700万美元融资。他们将工作与生活高度融合，工作高效且家庭温情，证明工作与生活深度整合模式的价值。
参数砍到 1B，这个小钢炮拿下多模态第一
面壁智能发布并开源参数量仅 1.3B 的 MiniCPM-V 4.6，虽小但多模态综合能力在 1B 级别中夺冠。它推理快，效率高，靠两大架构创新实现，还为开发者提供完整工具链。
回归C++: 在GGUF上构建高效的向量模型
Jina AI分享将纯解码器向量模型适配到GGUF格式及在llama.cpp工具链的优化经验。经处理得到特定任务v4模型，还生成量化版本并上传。介绍使用方法、注意事项，经测试推荐IQ3_S或IQ3_M版配合定制工具。
月之亮剑：万亿参数，造就国内首个 Agentic Model？
月之暗面发布全球首个万亿参数且直接开源的 Agentic Model Kimi - K2，它将 AI 下半场与经验时代理论融合。在测评中表现出色，Kimi 还通过创新方法完成预训练和后训练，并将成果开源，给中国开发者更多自主权。
0.005%参数量超越SOTA！提升模型能力无需庞大奖励模型
上海交通大学等校联合团队提出轻量级奖励模型SWIFT，利用大模型隐藏状态线性特征，仅训练极小线性层，在推理任务中超越主流奖励模型，实现计算效率与准确率双提升，且在多领域表现出色。
用SFT打出RL的效果？微软联合提出高效后训练算法
大模型后训练阶段，SFT 和 RL 各有优劣。微软等联合提出新工作，量化 SFT 和 RL 在数据层面的差距，提出 IDFT 和 Hinted Decoding 等高效后训练技术，实验显示新方法泛化超 SFT、效率超 RL。