「弹性预训练」共找到 2214 篇相关文章
不靠海量数据，如何精准喂养大模型？上交Data Whisperer：免训练数据选择法，10%数据逼近全量效果
上海交通大学等团队提出 Data Whisperer，首个免训练的注意力驱动数据选择框架。它利用模型自身能力打分挑数据，无需训练与人工标注，用 10% 数据让微调效果逼近全量数据，在多方面领先传统方法。
蚂蚁多模态统一框架Ming-Omni：能看懂世界、会说话、还能画画
文章介绍蚂蚁多模态统一框架Ming - Omni，它可统一处理图像、文本等多模态数据。该框架解决了多模态训练中模态表示差异、收敛速度不一致等问题，采用分阶段预训练，能用于图像、音频生成及多模态交互。
消费级显卡跑大模型训练门槛再降：Qwen3-1.7B强化学习只需5GB显存
消费级显卡跑大模型训练门槛再降，Unsloth AI的FP8精度强化学习方案让Qwen3 - 1.7B的GRPO训练只需5GB显存且性能无损。该方案与TorchAO合作，有推理优势，还在内存优化等方面表现出色。
SceneSplat: 基于3DGS的场景理解和视觉语言预训练，让3D高斯「听懂人话」的一跃
文章引入 SceneSplat，首个在 3DGS 上原生运行的端到端大规模 3D 室内场景理解方法，提出自监督学习方案，构建发布 SceneSplat - 7K 数据集，在多个实验中达 SOTA 效果。
英伟达&MIT等推出Long-RL，长视频训练速度翻倍
英伟达联合MIT等推出Long - RL，它是面向长序列推理和多模态强化学习的全栈训练框架，能提升RL训练数据长度上限，让训练速度翻倍。其核心MR - SP并行框架可降低训练耗时和显存，LongVILA - R1是其明星应用。
人才黑洞！UC伯克利系主任都加入A社了
UC伯克利EECS系主任Jelani Nelson暂离大学，加盟Anthropic预训练团队。他算法课播放量超2100万，研究聚焦大规模数据高效处理，这正是A社所需，此前他还在谷歌兼职。
训练大模型玩《反恐精英》：自带外挂一枪爆头，堪比职业玩家
动视暴雪、斯坦福大学和英伟达等研究人员基于职业玩家游戏数据和Transformer架构，开发游戏大模型MLMOVE。在《反恐精英：全球攻势》测试中，它表现出色，性能超现有机器人，还具提前预判移动等创新。
Ilya罕见发声：大模型「大力出奇迹」到头了
Ilya大神在近2万字采访中称，AI正从「规模时代」走向「科研时代」，主流「预训练 + Scaling」路线遇瓶颈。他还探讨了AI泛化、安全对齐、预训练范式等热门话题，给出独特见解。
Ilya交卷！黄仁勋砸50亿押注SSI，首个模型疑本周发布
Ilya Sutskever创立的SSI或本周发布首个重磅模型，引发圈内关注。英伟达砸50亿美元合作，提升其算力。该模型基于测试时训练架构，能边学边进化，或终结大模型“预训练时代”。
刷新世界记录！40B模型+20万亿token，散户组团挑战算力霸权
Nous Research推出Psyche网络，用区块链汇聚全球计算资源，启动40B参数大语言模型Consilience预训练，达20万亿token创纪录。还解决带宽瓶颈等问题，让AI训练去中心化，推动创新与民主化。