搜索：中文音视频一体化

「中文音视频一体化」共找到 1159 篇相关文章

TransDiff--最简洁的AR Transformer + Diffusion图像生成方法

文章分享图像生成新方法TransDiff，它结合AR Transformer与Diffusion，提出MRAR范式。通过Q&A解答其使用Transformer原因、小Diffusion Deocder效果等问题，还指出它有连续帧生成潜力，将用于视频生成。

谷歌去年发布世界模型Genie 3，支持实时生成可交互视频内容，因成本高未开放。现美国18岁以上Ultra用户可试玩，其操控延迟低、画面清晰、物理交互真实，还介绍了操作流程等。

在电商和数字营销领域，现有框架呈现效果不佳。字节推出DreamActor - H1框架，基于扩散变换器，集成Seaweed - 7B模型，能生成高保真人机交互视频，有效果突破但也存在局限。

在多模态大模型后训练浪潮中，现有方法多以文本为中心。MMLab@南洋理工大学提出Visual Jigsaw，将拼图任务用于后训练，让模型不依赖标注强化视觉感知与理解，在图片、视频和3D模态验证有效。

以往空间音频模型受限于采集条件和标注成本，清华和密西根大学团队在CVPR 2025给出新路径，利用相机自运动作监督信号，让模型从互联网视频学三维空间音频感知，成果入选会议Highlight。

多模态大模型迅速发展，但能否理解人类情绪存疑，且缺乏系统性评测框架。香港中文大学和阿里通义实验室团队提出 MME - Emotion 评测基准，评测 20 个主流模型，发现模型情感智能不足，为后续研究提供参考。

中国科学院计算技术研究所等机构研究人员提出 HumanLift 技术，基于单张参考图像重建高斯网数字人全身。该技术融合三维视频扩散模型和人脸增强，仅需单张人体图片就能重建高逼真三维数字人。

随着扩散大语言模型成为热门，但其推理时存在预设固定长度的限制。香港中文大学 MMLab 等提出 DAEDAL，赋予模型根据问题自主调整回答长度的能力，在性能和计算效率上有提升。

作者分享开源的AI短剧生成工具，它能根据剧本完成智能分镜、生成视频片段等一条龙服务，采用全局种子+风格继承改善人物和场景一致性，有分镜编辑器可手动调控，适合多种人群。

港大开源的DeepTutor是AI个性化学习助手，利用多智能体协作等技术，有文档问答、难题解析等四大核心功能，能构建专属知识库，提供全流程辅导，为学、练、研打造一体化平台。