「音频生成」共找到 2274 篇相关文章
小米AI语音新框架：人人都能当声音导演
小米大模型应用团队提出Midasheng - audio - generate与Xiaomi Any2Speech两大音频生成框架。前者可实现全场景声音重建，后者让AI学会理解声学空间与叙事逻辑，改变了语音合成应用场景与思路。
一个能思考、会记忆的AI导演诞生了！新加坡管理大学，香港中文大学等实现故事化视频生成
新加坡管理大学等提出开源全能多智能体框架UniVA，可统一视频理解、分割等能力，按指令生成完整故事视频。还引入UniVA - Bench基准测试套件，实验显示其在多任务中表现出色，代表视频智能生成重要进步。
顶级视频模型半衰期只有 30 天，但生成式媒体 infra 公司的收入却在一年增长了 60 倍
文章聚焦生成式媒体 infra 公司 fal.ai，其借统一 API 和云端平台让开发者高效调用多模态模型。深入分析其成功因素，如早期押注生成式视频、优化算力和成本、构建生态等，还探讨用户使用模式与行业发展趋势。
第一个用物理做计算原语的大规模生成模型Un-0来了，或将AI能耗降低1000倍？
Unconventional AI 发布首个以物理为计算原语的大规模生成模型 Un-0，由‘模拟耦合振子系统’驱动。其目标是降低 AI 能耗，在 ImageNet 64×64 上 FID 达 6.74，质量接近部分主流传统图像生成方法刚发布时水平。
告别「面瘫」配音，InfiniteTalk开启从口型同步到全身表达新范式
传统video dubbing技术有局限，新兴模型也有问题。美团视觉智能部研发的InfiniteTalk引入‘稀疏帧video dubbing’，实现口型、表情、肢体与音频自然对齐，解决长视频生成难题，技术已开源。
6秒造一个「视频博主」，Pika让一切图片开口说话
8月11日，Pika推出“音频驱动表演模型”，允许用户上传音频结合静态图片生成高度同步视频，角色口型、表情、动作自然，平均6秒出720p高清视频，目前仅限iOS端且需邀请码。
1.9K Star 微软开源TTS王炸！90分钟超长语音合成，4人对话自然切换！
在文本转语音（TTS）领域，生成长篇、多说话人的高质量音频一直是技术挑战。微软最新开源的VibeVoice TTS模型，可一次生成90分钟连续语音，支持4个不同说话人，还具备高效处理长序列等亮点特性。
1.5B参数！支持本地实时语音转录
Liquid AI发布首个端到端音频基础模型LFM2 - Audio - 1.5B，参数1.5B，能在本地设备处理高质量端到端音频任务。它是统一多模态模型，支持两种生成策略，多种应用场景，虽仅支持英文但性能出色。
分割一切、3D重建一切还不够，Meta开源SAM Audio分割一切声音
Meta 深夜放出音频分割模型 SAM Audio，可通过多模态提示分离任意声音。其核心 PE - AV 推动性能领先，还发布评测模型、基准等，整合进新平台，虽有局限但为音频 AI 带来新可能。
谷歌Gemini Diffusion：1500 token/秒，快如闪电！
谷歌DeepMind在I/O 2025上推出实验性模型Gemini Diffusion，将扩散技术用于文本生成。它每秒能生成约1500个token，比Gemini 2.0 Flash - Lite快5倍，具备高响应速度、文本连贯性等优势。