「视频预训练」共找到 3030 篇相关文章
蚂蚁多模态统一框架Ming-Omni：能看懂世界、会说话、还能画画
文章介绍蚂蚁多模态统一框架Ming - Omni，它可统一处理图像、文本等多模态数据。该框架解决了多模态训练中模态表示差异、收敛速度不一致等问题，采用分阶段预训练，能用于图像、音频生成及多模态交互。
V-RAE：把「看懂视频」的能力带入生成，重新思考视频模型的潜空间
近日，新加坡国立大学 Minghui Guo 与牛津大学 Shengqiong Wu、Hao Fei 在论文中提出视频表征自编码器 V-RAE。它以冻结的视觉基础模型为编码器压缩视频特征，还引入轻量级模块聚合信息。经实验验证，其在视频生成和预测上性能出色。
消费级显卡跑大模型训练门槛再降：Qwen3-1.7B强化学习只需5GB显存
消费级显卡跑大模型训练门槛再降，Unsloth AI的FP8精度强化学习方案让Qwen3 - 1.7B的GRPO训练只需5GB显存且性能无损。该方案与TorchAO合作，有推理优势，还在内存优化等方面表现出色。
SceneSplat: 基于3DGS的场景理解和视觉语言预训练，让3D高斯「听懂人话」的一跃
文章引入 SceneSplat，首个在 3DGS 上原生运行的端到端大规模 3D 室内场景理解方法，提出自监督学习方案，构建发布 SceneSplat - 7K 数据集，在多个实验中达 SOTA 效果。
开源音视频同步SOTA基座：极简的单流架构，2秒出片
AI视频生成迈入音视频同步新纪元，闭源巨头已展实力，而上海创智学院与Sand.ai联合发布的开源音视频生成基础模型daVinci - MagiHuman，以极简单流架构，2秒就能在1张H100显卡上生成精准音视频同步画面。
训练世界模型，开始从人类的肌肉和脑子里偷师了
具身智能数据竞争进入新阶段，第一视角视频虽缓解数据量问题，但未记录人行动的原因及大脑身体实时修正。FaceMind提出Ego - NeuroLoop数据范式，配套NeuroMatrix和NeuroBooster，将训练数据从“行为库”推向“闭环库”。
阿里开源14B电影级视频模型！实测来了：免费可玩，单次生成时长可达分钟级
昨夜阿里发布14B视频模型Wan2.2 - S2V，仅需一张图片和一段音频，就能生成电影级数字人视频。该模型发布即开源，可在通义万相官网免费体验，单次生成时长可达分钟级。
人才黑洞！UC伯克利系主任都加入A社了
UC伯克利EECS系主任Jelani Nelson暂离大学，加盟Anthropic预训练团队。他算法课播放量超2100万，研究聚焦大规模数据高效处理，这正是A社所需，此前他还在谷歌兼职。
让AI生成视频「又长又快」：Rolling Forcing实现分钟级实时生成
南洋理工大学与腾讯ARC实验室联合研究，由博士生刘坤昊等完成，提出Rolling Forcing方法，通过滚动窗口联合降噪等创新设计，突破实时长视频生成瓶颈，实现分钟级实时生成，还支持交互控制，但仍有优化方向。
训练大模型玩《反恐精英》：自带外挂一枪爆头，堪比职业玩家
动视暴雪、斯坦福大学和英伟达等研究人员基于职业玩家游戏数据和Transformer架构，开发游戏大模型MLMOVE。在《反恐精英：全球攻势》测试中，它表现出色，性能超现有机器人，还具提前预判移动等创新。