「视频 - 音频联合生成」共找到 2045 篇相关文章
清华-腾讯联手：音频 - 视觉多模态任务统一框架
Crab是人大、清华和腾讯合作论文提出的模型，目标是高效一统多模态场景理解任务。它解决了音频 - 视觉理解模型任务干扰、合作显式化不足等难点，通过构建数据集、设计结构和统一架构实现多任务合作。
FutureHouse 联合创始人：AI Scientist 不是“全自动化科研”
FutureHouse 由 Google 前 CEO 资助创立，今年 5 月推出四个 AI 科研 agent，6 月宣布 AI 系统 Robin 发现新药。联合创始人 Andrew White 表示，AI Scientist 并非‘全自动化科研’，生物比化学更具‘平台化’潜力，团队聚焦科研自动化。
从多模态大模型中「拆」出音频向量模型
Google 发布原生多模态向量模型 Gemini Embedding 2，推动 Omni Embedding 发展。Jina AI 团队分享从多模态大模型中「拆」出音频向量模型的经验，介绍架构、训练数据，对比四种做法，还提及评测、应用场景及结论。
Sora 关停背后：为啥它没跑成“视频版 ChatGPT”？
OpenAI Sora 宣布关停，其评论区评价两极分化。它没跑成“视频版 ChatGPT”，问题在于使用频率、成本结构和产品形态。关停或与 OpenAI 筹备 IPO 有关，未来 Sora 团队将推进相关研究。
Talking-Critic奖励模型带来更自然的音频驱动肖像
近期音频驱动肖像动画技术发展快，但现有方法存在嘴型声音不对、动作不自然等问题。阿里提出Talking - Critic奖励模型，构建Talking - NSQ数据集，还提出TLPO优化框架，提升多维度表现，实验超现有SOTA方法。
免剪辑直出！AI生成多角色同框对话视频，动态路由精准绑定音频
Bind-Your-Avatar基于扩散Transformer框架，通过细粒度嵌入路由将语音与角色绑定，实现精准音画同步，还引入数据集MTCC和基准测试，实验显示其在身份保真和音画同步上优于现有方法。
全网实测Gemini Omni！一句话改视频，草图变大片
谷歌在Google I/O大会推出Gemini Omni，它结合推理与生成能力，在多方面有重大飞跃，能生成逼真视频等。它打破命名体系，训练目标不同，有涌现能力，谷歌还为其设置限制。
Nature子刊 Scientific Data | 九家单位联合打造！AeroFlowData
现有湍流数据库多聚焦中低雷诺数基础湍流问题，难应对复杂工程高雷诺数湍流挑战。西北工业大学联合八家机构建全球共享的高雷诺数湍流数据库AeroFlowData，结合多技术获取数据，收录近40类模型、超500种工况，数据近100TB。
Figure机器人分拣快递新视频曝光，网友：太像人类
Figure 02机器人开启打工模式，创始人放出其分拣快递新视频，它动作流畅像人类，由端到端通用控制模型Helix自主驱动。此前它还在宝马生产线连续20小时轮班作业，Figure与OpenAI分道扬镳后推出Helix。
Sora关停背后：为啥它没跑成“视频版ChatGPT”？
OpenAI Sora 宣布关停，评论区评价两极分化。其未成为“视频版 ChatGPT”，主要因踩中生成式 AI 最难的三件事：使用频率、成本结构和产品形态。关停或与 OpenAI 筹备 IPO 有关，未来 Sora 团队将推进世界模拟研究。