「全身动作同步」共找到 456 篇相关文章
模仿学习新范式！Chain-of-Action：轨迹自回归实现动作推理
具身智能领域尚未迎来「GPT时刻」，现有模仿学习范式有缺陷。字节跳动与阿德莱德大学研究者提出「动作链」（CoA）策略，通过轨迹自回归建模解决累计误差，提升泛化性，实验效果显著。
OVI：统一的音视频生成模型，声音与画面同步诞生
音视频生成领域以往多阶段架构易致音画不同步等问题。耶鲁大学团队提出 OVI 统一范式，采用双塔 DiT 架构与分块式跨模态融合机制，实现音画同步生成，不过目前有计算开销大、音频有局限等问题。
人形机器人不再「走走停停」：Current Robotics发布全身灵巧操作模型Curr-0
具身智能领域中，让机器人移动中精细操作一直未被很好解决。Current Robotics发布全身灵巧操作模型Curr - 0，用Single Policy统一策略，数据源于自研外骨骼系统，还构建世界模型解决评测部署难题。
目标更重要？国内公司超越Generalist，进化到动作中心世界模型
具身智能圈被Generalist CEO长文刷屏，其称目标比工具标签重要。但国内极佳世界未停于概念争辩，开源“以动作为中心的世界模型”GigaWorld - Policy，重构具身智能底层逻辑，在多方面表现出色。
字节推出X-Streamer，实时口型同步与长程记忆数字人框架
字节推出端到端多模态人类世界建模框架X - Streamer，能从单张人像构建可无限流式生成的数字人，实现音素级口型同步和长程记忆。其核心是“思考者–行动者”双Transformer架构，在两张A100 GPU上可实时运行。
蚂蚁发布全球首个视频-动作世界模型，开源即刷新世界纪录
从Sora惊艳亮相到谷歌开放Genie 3线上体验，世界模型从概念走向交互世界。蚂蚁旗下蚂蚁灵波开源全球首个视频 - 动作世界模型LingBot - VA，可驱动机器人完成复杂操作，解决长时漂移等问题，还提出工程化解法。
对话 IDEA 张磊：「不以动作为输入条件，就不叫世界模型」
本文是对IDEA研究院张磊的深度访谈。张磊在计算机视觉领域成就斐然，他指出具身智能落地需攻克成功率、泛化性等挑战，大脑比本体更关键。还阐述了世界模型概念及应用，定义其应具备动作依赖等内容。
从文本到3D动画：AnimaX重新定义3D动作合成方式
北航与清华推出3D动画框架AnimaX，结合视频扩散模型运动先验与骨骼动画可控性，让任意骨架3D角色自然动起来。其核心方法灵活控制动作，虽有局限，但为3D动画创作打开新局面。
OpenAI Sora 2 登场！同步推出APP，Altman称这是创意领域的「ChatGPT 时刻」
OpenAI官宣新一代AI视频模型Sora 2，在物理准确性、逼真度等方面刷新SOTA，实现「音画同步」。Altman称其为创意领域的「ChatGPT时刻」。还推出Sora App，有新玩法，且在安全治理上布下「安全网」。
实测惊艳全球的Veo3！音画同步无敌，贵是有原因的
谷歌开发者大会推出的Veo3模型，具备强大文本和图像转视频能力，首次实现视频与音频同步生成。实测中，它生成的视频音画效果惊艳，但也有翻车情况，谷歌还给出提示词编写指南。