「简单持续预训练」共找到 2890 篇相关文章
蚂蚁专用模型超越o3！仅用2K训练样本刷新医疗AI榜单纪录
蚂蚁集团联合团队发布《MedResearcher-R1: Expert-Level Medical Deep Researcher》报告，其医学AI智能体MedResearcher-R1用2100条训练样本在医疗基准测试反超通用大模型，靠数据、工具、训练方法三大创新实现突破。
揭秘千卡 GPU 集群如何高效训练多模态大模型：vivo AI 团队实战经验分享｜AICon
在 InfoQ 举办的 AICon 大会上，vivo AI 架构师王兆雄分享多模态大模型训练经验。介绍了 LLaVA 和 DiT 模型训练挑战，从数据处理、模型计算等方面提出优化策略，还展望 AI Infra 未来发展方向。
阿里开源长文本深度思考模型！渐进式强化学习破解长文本训练难题，登HuggingFace热榜
阿里开源长文本深度思考模型QwenLong - L1，登上HuggingFace热门论文第二。它解决了长文本强化学习训练难题，通过渐进式上下文扩展训练，在多基准测试中表现出色，还探讨了SFT和RL作用。
RL后训练步入超节点时代！华为黑科技榨干算力，一张卡干俩活
在大模型竞赛白热化当下，强化学习后训练成突破LLM性能天花板核心路径，但算力浪费和集群效率低是难题。华为团队祭出两大黑科技破局，在超节点实现训推共卡，资源利用率翻倍，还提升训练速度。
不靠海量数据，如何精准喂养大模型？上交Data Whisperer：免训练数据选择法，10%数据逼近全量效果
上海交通大学等团队提出 Data Whisperer，首个免训练的注意力驱动数据选择框架。它利用模型自身能力打分挑数据，无需训练与人工标注，用 10% 数据让微调效果逼近全量数据，在多方面领先传统方法。
何恺明新作：给扩散模型加正则化，无需预训练无需数据增强，超简单实现性能提升
何恺明最新论文研究扩散模型与表征学习的联系，提出Dispersive Loss正则化方法。它无需正样本对，有高通用性、低计算开销等优势，在多模型测试中提升了生成质量，在其他任务也有潜力。
英伟达&MIT等推出Long-RL，长视频训练速度翻倍
英伟达联合MIT等推出Long - RL，它是面向长序列推理和多模态强化学习的全栈训练框架，能提升RL训练数据长度上限，让训练速度翻倍。其核心MR - SP并行框架可降低训练耗时和显存，LongVILA - R1是其明星应用。
CapRL：用强化学习突破Image Captioning训练瓶颈，3B模型性能媲美72B
上海人工智能实验室联合团队发布 CapRL，首个将 DeepSeek - R1 强化学习策略用于 Image Captioning。CapRL - 3B 模型在图像描述任务媲美 Qwen2.5 - VL - 72B，已开源，团队持续迭代优化。
SFT远不如RL？永不过时的剃刀原则打开「终身学习」大模型训练的大门
现代AI系统学习新任务时会灾难性遗忘旧知识，限制其持续学习能力。麻省理工学院研究者对比SFT和RL后发现，相同性能下RL更不易遗忘，提出遗忘定律，解释了RL优势源于其on - policy特性。
Generalist之后，罗剑岚团队推出LWD，也要变革具身智能训练范式
智元机器人与上海创智学院联合发布全新具身智能训练范式 LWD，可让机器人在真实世界部署中持续自主改进。它打破传统 AI 静态模式，构建数据飞轮，在四大维度创新，经测试表现出色，或成具身智能转折点。