搜索：视频预训练模型

「视频预训练模型」共找到 8427 篇相关文章

刚刚，美团推出 136 亿参数视频生成模型

美团推出 136 亿参数视频生成基础模型 LongCat-Video，采用 MIT 开源协议。该模型覆盖文本、图像生成视频及视频续写三类任务，能生成分钟级长视频。效率高，评测数据表现佳，安装和运行简便，引网友惊叹。

本文是从零训练 YOLOv8 模型的完整实录，介绍了 YOLOv8 特点，以“识别猫”为例，详述训练步骤，指出训练难点，还推荐学习资源与工具，鼓励前端程序员尝试做 AI 模型训练。

VeRL-Omni是面向多模态生成模型的通用RL后训练框架，覆盖多种架构。它有高效多模态rollout、灵活奖励引擎等特性，支持多种硬件，团队还验证了不同训练方式，后续将扩展模型与算法支持。

12月16日，阿里发布通义万相2.6系列模型，5款新模型同时上线，覆盖图像到视频多环节。它是国内首个支持角色扮演的视频模型，功能比Sora2全，已上线阿里云百炼和万相官网。

统一多模态模型在视觉理解和生成能力上不平衡，常理解强但生成弱。本文提出重建对齐（RecA）自监督后训练方法，不改动架构，用未标注图像训练，在多模型实验中提升性能，部分达SOTA。

多模态大模型在多领域需求增长，但千卡级 GPU 训练挑战大。vivo AI 架构师王兆雄在大会演讲，结合 LLaVA 和 DiT 模型实践，解析优化策略，分享提升训练效率与稳定性的经验，还展望了 AI Infra 未来。

快手开源能看懂视频并跨模态推理的大模型Keye-VL 1.5，其有时序定位、描述和推理能力，跑分领先。采用三段式架构和Slow-Fast编码策略，经四阶段预训练和多阶段后处理，团队成果多，推动多模态技术落地。

UMD、USC、MIT研究团队发现视频生成模型会把首帧当作‘概念记忆体’，将视觉实体存于首帧并在后续复用。基于此提出轻量方法FFGo，用少量例子让模型实现SOTA级视频定制。

长视频理解是多模态大模型关键能力，当前开源模型有短板。智源研究院联合发布 Video-XL-2，多维度优化长视频理解能力，还设计效率优化策略，在主流评测基准表现出色，有广泛应用潜力。

香港城市大学等团队发布图像 - 视频生成模型Pusa V1.0，在基础大模型上引入VTA机制，用3860对视频 - 文字数据、约500美元微调，在I2V超越Wan - I2V - 14B实现SOTA，还解锁零样本任务能力。