「视频训练」共找到 2975 篇相关文章
告别“音画割裂”与“人物崩坏”！AutoMV：首个听懂歌词、卡准节拍的开源全曲级MV生成Agent
现有AI视频生成模型做全曲MV有时长限制、音画割裂和一致性差等问题。AutoMV作为开源多智能体系统，模拟人类影视制作流程，能生成长达数分钟、叙事连贯且音画同步的完整MV。
AI能否「圣地巡礼」？多模态大模型全新评估基准VIR-Bench来了
来自日本高校和企业团队提出多模态大模型评估基准 VIR-Bench，用于评测 AI 对旅行视频中地理位置与时间顺序的理解。它将任务拆解，构建数据集，实验显示模型虽有改进但性能远未达标，指明了大模型进化方向。
NVIDIA重磅开源！OmniVinci 仅 9B 模型就拿下多模态冠军！
英伟达推出全模态大语言模型 OmniVinci，架构有三大创新。OmniVinci - 9B 模型表现亮眼，多测试中大幅超 Qwen2.5 - Omni，且训练量仅为其六分之一。其架构经多阶段流程实现全模态理解，还支持多种功能。
相机参数秒变图片！新模型打通理解生成壁垒，支持任意视角图像创作
S-Lab等机构研究员提出Puffin统一多模态模型，它能整合理解相机参数与按参数生成对应视角图片的能力。通过“用相机思考”和400万组数据训练，解决此前模型问题，还构建相关数据集和评测基准，性能出色。
jina-embeddings-v5-omni 发布！全模态向量小模型
Jina AI发布`jina-embeddings-v5-omni`，将`v5-text`能力拓展到多模态。`v5-omni-small`参数量小却追平LCO - 7B，在多模态评测中表现优异，但视频是短板。其采用‘冻结 + 投影’架构，训练快、省显存。
英伟达新架构引爆全模态大模型革命，9B模型开源下载即破万
英伟达推出全模态大模型OmniVinci并开源，其90亿参数规模性能超同级别甚至更高级别模型，训练数据效率是对手6倍，能精准解析视频和音频，在多模态应用场景中表现卓越，下载量破万。
空间智能爆发只需24个月？群核科技首席科学家唐睿预言：具身智能才是AGI终极形态 | 万有引力
群核科技首席科学家唐睿在访谈中表示，空间智能是具身智能基础设施，可解决其数据不足痛点。破数据瓶颈靠普及感知硬件，2D、视频与3D生成走向融合，空间智能爆点24个月内或随硬件突破到来。
拳打可灵，脚踢 Veo 3，谁是物理世界的「懂王」？
多模态视频生成大模型是复杂系统工程，多为巨头游戏。MiniMax的Hailuo 02发布，ELO得分超谷歌Veo 3和快手Kling 2.0。它能呈现复杂运动，处理物理关系，提升训练推理效率，成本低，后续还将更新。
“导演梦”不再遥远：Captain Cinema 让你用短片制作出电影
约翰·霍普金斯大学与字节Seed团队推出自动生成短片的Captain Cinema系统。它以剧情文字为输入，先规划关键帧，再补全画面动态合成短片。采用特殊训练法和模型，虽有局限，但为电影自动生成迈关键一步。
国内第一视角数据最早押注者，北大卢宗青：隐空间才是具身的路
北大卢宗青是国内第一视角数据最早押注者和隐空间路线推进者。他认为人类视频是具身智能唯一可规模化的数据路径，创立BeingBeyond走隐空间世界动作模型路线，成本低、推理快，还发布全球首个隐式触觉世界动作模型Being - H0.8。