「持续预训练」共找到 2559 篇相关文章
把RoPE扔掉，AI更能看懂长上下文！Transformer作者团队开源大模型预训练新方法
Transformer架构核心作者之一Llion Jones团队开源新技术DroPE，可丢弃位置嵌入扩展上下文，解决RoPE长序列处理缺陷，在多模型实验中表现卓越。该团队来自Sakana AI，此前还有相关研究成果。
揭秘千卡 GPU 集群如何高效训练多模态大模型：vivo AI 团队实战经验分享｜AICon
在 InfoQ 举办的 AICon 大会上，vivo AI 架构师王兆雄分享多模态大模型训练经验。介绍了 LLaVA 和 DiT 模型训练挑战，从数据处理、模型计算等方面提出优化策略，还展望 AI Infra 未来发展方向。
阿里开源长文本深度思考模型！渐进式强化学习破解长文本训练难题，登HuggingFace热榜
阿里开源长文本深度思考模型QwenLong - L1，登上HuggingFace热门论文第二。它解决了长文本强化学习训练难题，通过渐进式上下文扩展训练，在多基准测试中表现出色，还探讨了SFT和RL作用。
RL后训练步入超节点时代！华为黑科技榨干算力，一张卡干俩活
在大模型竞赛白热化当下，强化学习后训练成突破LLM性能天花板核心路径，但算力浪费和集群效率低是难题。华为团队祭出两大黑科技破局，在超节点实现训推共卡，资源利用率翻倍，还提升训练速度。
李飞飞首个多模态世界模型 Atlas 正式发布：从零开始预训练，几张图就能构建世界
李飞飞创办的 World Labs 发布多模态世界模型 Atlas，可原生处理多类型数据，有世界生成、重建和模拟等能力。还介绍其研发历程、技术特点，以及 World Labs 收购、融资等情况。
不靠海量数据，如何精准喂养大模型？上交Data Whisperer：免训练数据选择法，10%数据逼近全量效果
上海交通大学等团队提出 Data Whisperer，首个免训练的注意力驱动数据选择框架。它利用模型自身能力打分挑数据，无需训练与人工标注，用 10% 数据让微调效果逼近全量数据，在多方面领先传统方法。
蚂蚁多模态统一框架Ming-Omni：能看懂世界、会说话、还能画画
文章介绍蚂蚁多模态统一框架Ming - Omni，它可统一处理图像、文本等多模态数据。该框架解决了多模态训练中模态表示差异、收敛速度不一致等问题，采用分阶段预训练，能用于图像、音频生成及多模态交互。
消费级显卡跑大模型训练门槛再降：Qwen3-1.7B强化学习只需5GB显存
消费级显卡跑大模型训练门槛再降，Unsloth AI的FP8精度强化学习方案让Qwen3 - 1.7B的GRPO训练只需5GB显存且性能无损。该方案与TorchAO合作，有推理优势，还在内存优化等方面表现出色。
SceneSplat: 基于3DGS的场景理解和视觉语言预训练，让3D高斯「听懂人话」的一跃
文章引入 SceneSplat，首个在 3DGS 上原生运行的端到端大规模 3D 室内场景理解方法，提出自监督学习方案，构建发布 SceneSplat - 7K 数据集，在多个实验中达 SOTA 效果。
英伟达&MIT等推出Long-RL，长视频训练速度翻倍
英伟达联合MIT等推出Long - RL，它是面向长序列推理和多模态强化学习的全栈训练框架，能提升RL训练数据长度上限，让训练速度翻倍。其核心MR - SP并行框架可降低训练耗时和显存，LongVILA - R1是其明星应用。