搜索：实时视频生成

「实时视频生成」共找到 2866 篇相关文章

仅看视频就能copy人类动作，宇树G1分分钟掌握100+，UC伯克利提出机器人训练新方式

UC伯克利团队研发出名为VideoMimic的新系统，能将视频动作迁移到真实机器人。它已让宇树G1模仿100多段人类动作，还能适应各种地形。其工作流程含视频转仿真、仿真训练策略、策略迁移到实体机器人。

Hi3DEval团队推出面向3D内容生成的全新层次化自动评测体系Hi3DEval，设计对象级、部件级与材质主题三层评测协议，在HuggingFace发布首期3D生成榜单，涵盖30个主流与前沿模型。

腾讯混元3D团队推出业界首个高质量原生3D组件生成模型Hunyuan3D - Part。现有3D生成算法有局限，该模型提出新范式，含P3 - SAM和X - Part，在多数据集评估中超越现有工作，还给出体验地址和论文地址。

Mini - Omni - Reasoner将推理能力引入大型语音模型，开创“边说边思考”范式，实现实时语音推理与交互。推出Spoken - Math - Problems - 3M数据集，经四阶段生成流程构建。训练采用分阶段策略，性能超基础模型。

蚂蚁正式开源 LingBot-Map，这是基于几何上下文 Transformer 的纯自回归流式 3D 重建基础模型。它能在恒定内存下实现超万帧长视频实时三维重建，处理速度约 20 FPS，在多基准测试中超越现有流式方法。

上月，GPT - 4o图像生成功能爆火。Sander Dielman在博客中探讨生成模型利用潜在空间提高效率和质量，将潜在变量比作「数据精髓」，深入对比多种模型，还介绍训练方法、损失函数等，兼具理论深度与直观洞察。

字节推出端到端多模态人类世界建模框架X - Streamer，能从单张人像构建可无限流式生成的数字人，实现音素级口型同步和长程记忆。其核心是“思考者–行动者”双Transformer架构，在两张A100 GPU上可实时运行。

新加坡国立大学 Show Lab 团队主导研究，提出 Paper2Video 基准及评价指标，还推出 PaperTalker 多智体框架实现学术视频自动化生产，实验显示其在多方面表现佳，效果接近人工水平。

清华大学朱军教授团队与NVIDIA Deep Imagination研究组联合提出分数正则化连续时间一致性模型（rCM），将连续时间一致性蒸馏扩展至大模型，解决现有方法瓶颈，提升推理速度兼顾质量与多样性。

传统video dubbing技术有局限，新兴模型也有问题。美团视觉智能部研发的InfiniteTalk引入‘稀疏帧video dubbing’，实现口型、表情、肢体与音频自然对齐，解决长视频生成难题，技术已开源。