「多模态视频生成」共找到 3291 篇相关文章
无限长、零掉帧！StableAvatar口型同步全新技术
当前音频驱动头像视频生成扩散模型合成长视频时难兼顾音频同步与身份一致，瓶颈在音频建模。复旦大学提出StableAvatar，首个端到端视频扩散Transformer，能无限时长生成，还介绍原理与演示效果。
即时编程与设计，软件按需生成：Google生成式UI将重塑人机交互体验
Google Research团队发布生成式UI研究，打破Markdown文字墙模式，能将用户需求实时转化为完整应用程序。系统通过多组件协作，构建不同风格界面，在多领域有应用案例，虽有挑战但前景好。
多模态大模型别盲目刷题！诊断-生成-强化闭环，找准盲点 | ICML'26
多模态大模型训练常采用‘题海战术’，存在能力诊断不精准、视觉内容缺乏扩展等问题。北大和山大团队提出DPE框架，通过‘诊断-生成-强化’闭环提升模型能力，实验效果显著，还强调训练应具备诊断能力。
6个Agent组团Vibe Gaming：自己生成、试玩、修Bug
过去大模型生成的游戏虽代码能跑，但常陷入“可玩性黑洞”。Spellcaster让多个专用Agent协同处理，形成“生成—运行—检查—修复”循环。目前能快速生成多种游戏原型，未来将用世界模型直接生成画面。
AI 大牛刘威创业公司完成 5000 万美元融资，12 月将发布新模型
当地时间11月5日，刘威创立的Video Rebirth完成5000万美元种子轮融资，用于打造视频生成模型。公司计划12月发布Bach模型及AI视频生成平台，将与OpenAI Sora竞争，虽对手强大，但刘威认为小团队有机会。
理解、生成、编辑一次搞定：Skywork UniPic 2.0的统一多模态解法｜甲子光年
电商团队常面临创作流程繁琐问题，当前行业需统一架构。昆仑万维发布Skywork UniPic 2.0，整合理解、生成、编辑功能。它参数小性能优，还构建奖励模型，配合其他模型构建体系，具成本等优势。
斩获7.4K标星！NotebookLM的终极开源平替，私有化多模态播客一键生成！
Google的Notebook LM虽能上传资料一键生成播客总结，但有数据隐私等问题。近期GitHub上的Open Notebook获7.4K标星，它复制并超越前者功能，强调数据主权，有多项亮点且部署灵活。
世界模型一口气输出小时级视频不跑偏，开源了
Alaya Lab等联合推出的Alaya - EVOKE能生成小时级视频，解决常见问题。它把记忆搬到模型外，改造教师模型，经多轮技术操作，实验成绩佳，给出清晰训练方案，也指出项目边界。
硬刚Sora2，万相2.6轻松定制角色、控制分镜，普通人也能当导演
2025 年视频生成领域发展迅猛，OpenAI 的 Sora 2 带来新玩法，商业落地加速，但普通用户体验门槛高。12 月 16 日阿里发布万相 2.6 系列模型，功能全面升级，实测效果惊人，标志 AI 视频生成迈向精准可控新阶段。
多模态大模型持续学习系列研究，综述+Benchmark+方法+Codebase一网打尽！
近年来，生成式AI和多模态大模型进展显著，但在动态环境下实现持续学习是挑战。中科院自动化所联合香港院AI中心系统性研究，提出综述、方法、Benchmark和Codebase，为相关人员提供全面支持。