LoRA微调」共找到 303 篇相关文章

算法论文8

告别微调时代:拖拽式LLMs实现12000倍加速适配,输入描述,秒级定制LLM,效果、速度全面超越

传统高效微调技术成大规模部署瓶颈,论文提出Drag-and-Drop LLMs (DnD),仅需输入目标任务未标注提示,即可秒级生成适配的LoRA权重,实现LLM秒级免训练适配,效率、性能和泛化性上均有突破。

深度学习自然语言处理
算法论文8

同时监督和强化的单阶段大模型微调,告别“先背书再刷题”,推理泛化双提升|中科院&美团等

中国科学院自动化研究所联合美团提出单阶段监督 - 强化微调方法 SRFT,结合监督微调与强化微调,解决传统两阶段方法的不足,在多任务中提升推理和泛化能力。

量子位
新闻资讯7

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降,要重新发明一个OpenAI

Thinking Machines Lab发布首个产品Thinker,让模型微调像改Python代码一样简单。它是用于微调语言模型的灵活API,降低了大模型微调门槛,受到业界关注。此外,该公司还尝试重新发明OpenAI,而OpenAI正打造社交模式。

量子位
算法论文8

充分激发模态协作,MokA量身打造MLLM微调新范式

当下多模态大模型微调多「照搬」单模态微调策略,忽视模态差异。中国人民大学和上海人工智能实验室团队提出 MokA 方法,兼顾单模态与跨模态建模,在多基座、多场景实验中显著提升性能。

机器之心
算法论文8

ICML 2025 | CoTo:让LoRA训练「渐入佳境」,模型融合、剪枝样样精通

来自多机构研究者提出CoTo渐进式训练策略,解决LoRA训练难题。该策略在训练早期随机失活部分适配器,后期提高激活概率,提升模型融合、剪枝能力,还能增强单任务性能与训练效率,已被ICML 2025接收。

机器之心
推荐文章8

大模型微调评测入门:看懂这些指标,才知道模型好不好

文章指出大模型微调中很多新手重“调”轻“评”,评测是决定模型落地的关键。介绍分类和生成任务评测指标,给出实操步骤,还说明如何综合判断模型好坏,最后展望评测技术朝自动化等方向发展。

机器学习AI算法工程
开源动态8

RLinf上新πRL:在线强化学习微调π0和π0.5

近年来,基于流匹配的VLA模型成机器人领域前沿技术,但训练依赖大量人类演示数据。清华等机构联合推出在线强化学习微调框架πRL,提出两种微调方案,在测试平台验证了有效性,目前代码等已开源。

机器之心
开源动态8

秋招超强助攻:零基础1小时上手GPT微调!全流程教程免费开源

新一年秋招季,岗位对AI能力要求提升。OpenAI发布新开源大模型GPT - OSS,博主Lorentz Yeung开源本地部署和微调训练GPT - OSS的教程,助零基础者上手,还介绍环境搭建、代码和训练前后效果对比。

新智元
产品应用8

8块钱跑通一次强化学习全流程,潞晨云重塑微调赛道:1名算法工程师=1支Infra团队

大模型下半场,后训练特别是强化学习成核心战场。潞晨云微调SDK上线,它是国内首个全面开放、且兼容Tinker范式的Serverless微调平台,为强化学习提供低成本解法,在易用性和成本上有优势。

量子位
算法论文8

EMNLP 2025 Oral|检索增强 + 两阶段微调:剑桥提出有害内容检测大模型RA-HMD,性能SOTA

多模态有害信息检测是网络内容安全治理的重难点,多模态模型在有害内容检测上有瓶颈。剑桥大学团队提出RA - HMD框架,通过两阶段微调与结构增强,结合检索增强,提升检测性能,被EMNLP 2025接收。

深度学习自然语言处理