「自监督训练」共找到 3143 篇相关文章
阿里开源长文本深度思考模型！渐进式强化学习破解长文本训练难题，登HuggingFace热榜
阿里开源长文本深度思考模型QwenLong - L1，登上HuggingFace热门论文第二。它解决了长文本强化学习训练难题，通过渐进式上下文扩展训练，在多基准测试中表现出色，还探讨了SFT和RL作用。
RL后训练步入超节点时代！华为黑科技榨干算力，一张卡干俩活
在大模型竞赛白热化当下，强化学习后训练成突破LLM性能天花板核心路径，但算力浪费和集群效率低是难题。华为团队祭出两大黑科技破局，在超节点实现训推共卡，资源利用率翻倍，还提升训练速度。
GRPO训练不再「自嗨」！快手可灵 x 中山大学推出「GRPO卫兵」，显著缓解视觉生成过优化
GRPO在视觉生成流模型后训练阶段有显著提升，但clip机制存在系统性偏差，易使模型陷入过度优化。中山大学、快手可灵等团队提出GRPO - Guard，能降低过度优化风险，在多种任务中表现良好。
Lumina-mGPT 2.0：自回归模型华丽复兴，媲美顶尖扩散模型
上海人工智能实验室等团队提出Lumina - mGPT 2.0自回归模型，统一多种图像任务。它采用独立训练架构、统一多任务处理框架和高效推理策略，实验表现优异，后续将优化采样时间并扩展至多模态理解。
华为推出软工代码智能体SWE-Lego，解锁SFT训练极致性能
华为研究团队推出仅基于监督微调（SFT）的软件工程代码智能体SWE-Lego，无需复杂RL流程，在SWE-bench Verified基准中表现出色，项目已开源。它有数据、训练和测试时扩展三大创新。
消费级显卡跑大模型训练门槛再降：Qwen3-1.7B强化学习只需5GB显存
消费级显卡跑大模型训练门槛再降，Unsloth AI的FP8精度强化学习方案让Qwen3 - 1.7B的GRPO训练只需5GB显存且性能无损。该方案与TorchAO合作，有推理优势，还在内存优化等方面表现出色。
Gemini 3预训练负责人警告：模型战已从算法转向工程化！合成数据成代际跃迁核心，谷歌碾压OpenAI、Meta的秘密武器曝光
2025年底大模型“年终决战”，Gemini 3强势突围。其预训练负责人Sebastian Borgeaud指出，谷歌转向“做系统”，AI进入“数据有限”阶段，合成数据等构成未来进化路径，还分享了预训练热点与挑战。
EMNLP 2026 | 通过分解生成与动态自反馈，构建工具调用合成数据
本文是被EMNLP 2026主会录用的算法论文，针对现有工具调用合成数据「先生成再筛选」的缺陷，提出分阶段分解加动态自反馈的ToolLoop方法，有效提升合成数据质量，实验效果优于现有方案。
连续自回归的dots.tts：小红书开源语音合成模型「基座」
语音合成赛道发展如早期大语言模型，路线未收敛。小红书与上海交通大学合作开源的 dots.tts，是 20 亿参数、全连续、端到端自回归 TTS 基础模型，有准确度高、可扩展等特点，还开源了代码。
Self-Forcing++：让自回归视频生成模型突破 4 分钟时长极限
加州大学洛杉矶分校与字节Seed等团队联合完成Self-Forcing++，让自回归视频生成模型突破4分钟时长极限。它解决传统模型架构缺陷，经三步技术实现稳定超长视频生成，实验超基线，但仍有长时记忆缺失等问题。