「少样本训练」共找到 2461 篇相关文章
不靠海量数据，如何精准喂养大模型？上交Data Whisperer：免训练数据选择法，10%数据逼近全量效果
上海交通大学等团队提出 Data Whisperer，首个免训练的注意力驱动数据选择框架。它利用模型自身能力打分挑数据，无需训练与人工标注，用 10% 数据让微调效果逼近全量数据，在多方面领先传统方法。
当SFT遇上RL：基于样本学习阶段的动态策略优化机制
在大模型推理能力增强研究中，SFT和RL两种后训练范式难有效融合。研究团队提出DYPO动态策略优化方法，先判断样本学习阶段再匹配优化路径，在多场景实验中表现出色，不过有实验边界。
消费级显卡跑大模型训练门槛再降：Qwen3-1.7B强化学习只需5GB显存
消费级显卡跑大模型训练门槛再降，Unsloth AI的FP8精度强化学习方案让Qwen3 - 1.7B的GRPO训练只需5GB显存且性能无损。该方案与TorchAO合作，有推理优势，还在内存优化等方面表现出色。
Gemini 3预训练负责人警告：模型战已从算法转向工程化！合成数据成代际跃迁核心，谷歌碾压OpenAI、Meta的秘密武器曝光
2025年底大模型“年终决战”，Gemini 3强势突围。其预训练负责人Sebastian Borgeaud指出，谷歌转向“做系统”，AI进入“数据有限”阶段，合成数据等构成未来进化路径，还分享了预训练热点与挑战。
Identity-GRPO：阿里开源多人物定制化视频生成的后训练优化算法
阿里团队提出Identity - GRPO算法解决多人物视频生成身份一致性问题。构建约15000个标注样本数据集，基于Qwen2.5VL设计奖励模型，多项策略增强训练稳定性，实验验证性能提升显著。
开源即屠榜！UniME多模态框架登顶MMEB全球训练榜，刷新多项SOTA纪录
格灵深瞳等团队联合发布通用多模态嵌入新框架UniME，刷新MMEB训练榜纪录。它是两阶段框架，经文本判别知识蒸馏和困难负样本增强指令微调，在多任务达SOTA，项目已开源。
英伟达&MIT等推出Long-RL，长视频训练速度翻倍
英伟达联合MIT等推出Long - RL，它是面向长序列推理和多模态强化学习的全栈训练框架，能提升RL训练数据长度上限，让训练速度翻倍。其核心MR - SP并行框架可降低训练耗时和显存，LongVILA - R1是其明星应用。
奖励模型终于迎来预训练新时代！上海AI Lab、复旦POLAR，开启Scaling新范式
在大语言模型后训练阶段，奖励模型设计与训练是关键瓶颈。上海AI Lab、复旦推出预训练奖励模型POLAR，采用策略判别学习新范式，适配强化微调，性能和泛化能力强，为LLM后训练带来新可能。
杨植麟回复：Kimi K2训练用的H800！但“只花了460万美元”嘛…
月之暗面团队回应Kimi K2 Thinking训练成本，透露用英伟达H800，GPU少但利用充分。该模型凭实力与低成本引迁移潮，还引发对闭源巨头估值反思。技术上有优化创新，团队还公开答疑。
Meta发布Omnilingual ASR：支持1600+语言的开源语音识别系统
Meta发布全新自动语音识别系统Omnilingual ASR，支持超1600种语言，核心创新是零样本和少样本学习能力，降低小语种语音识别门槛。项目提供不同规模模型，安装调用简单，目前仅支持40秒内音频，数据集和项目均开源。