搜索：音视频实时交互模型

「音视频实时交互模型」共找到 1736 篇相关文章

完全离线！开源实时语音识别神器，本地实时语音转文字，秒级延迟+说话人识别！

实时语音转文字和说话人识别需求渐长，但传统工具多依赖云端，有隐私与延迟问题。GitHub上的开源项目WhisperLiveKit是本地化语音识别方案，速度快、延迟低、支持说话人识别，适合会议等场景。

AI视频初创公司Video Rebirth完成5000万美元融资，由刘威博士创立，致力于打造“视频原生的世界模型”。融资用于视频模型迭代等，解决行业痛点，其核心创新机制让模型表现突出。

AI视频生成中，依赖抽象语义控制的创作因缺乏统一条件表征而困难。字节与港中文团队提出Video - As - Prompt框架，引入‘视频参考’范式，实现抽象语义下可控视频生成范式统一，代码和数据集已开源。

文章教大家制作火爆的AI视频，介绍爆款分析、创意拓展、提示词生成等方法。用NotebookLM分析视频，Gemini拓展创意，还给出提示词模板。借助Veo3降低成本，最后完成视频生成、合并及后处理。

周杰伦抖音首条1400多万点赞的AI视频，将其人生节点与专辑串联，有史诗叙事感。文章介绍用AI视频首尾帧功能制作视频的方法，还举例岳云鹏、《甄嬛传》、科比等，称AI能倒转时空。

阿里巴巴未来生活实验室团队解决多模态大模型视频推理难题，推出ReWatch数据集和ReWatch - R1模型。数据集克服现有训练数据痛点，模型用SFT + RL范式及创新奖励机制，实验成绩SOTA。

北邮、北大等团队提出 AV-NAS，在多模态视频哈希领域引入 NAS，构建含 Transformer 与 Mamba 的统一搜索空间。该方法能自动发现最优跨模态融合机制，揭示音频时序建模中“CNN + FFN”结构更优，代码已开源。

自回归视频生成模型存在训推不一致导致的误差累积问题，使生成视频越往后越易出现时序漂移和画面崩坏。HiAR团队推出HiAR，通过共享噪声水平减少误差传递，还解决了动作僵化问题，实现分钟级无退化生成。

美团推出 136 亿参数视频生成基础模型 LongCat-Video，采用 MIT 开源协议。该模型覆盖文本、图像生成视频及视频续写三类任务，能生成分钟级长视频。效率高，评测数据表现佳，安装和运行简便，引网友惊叹。

现有视频生成模型在多主体定制中难保持身份一致与自然交互，上交和腾讯提出PolyVivid框架解决此问题。它在多方面优于现有方法，还介绍技术原理、演示效果，证明其在多领域有实用价值。