「音频建模」共找到 382 篇相关文章
MV导演诞生！上海巨人网络用让AI听懂音乐并掌镜拍摄MV
上海巨人网络AI实验室提出YingVideo - MV框架，结合音乐语义分析、镜头规划与视频生成模型，解决传统音频驱动视频生成难题。它分两步生成视频，以MV导演模块统筹，还解决长视频连贯性等问题，性能优于同类模型。
英伟达新架构引爆全模态大模型革命，9B模型开源下载即破万
英伟达推出全模态大模型OmniVinci并开源，其90亿参数规模性能超同级别甚至更高级别模型，训练数据效率是对手6倍，能精准解析视频和音频，在多模态应用场景中表现卓越，下载量破万。
2 亿美元 ARR，AI 语音赛道最会赚钱的公司，ElevenLabs 如何做到快速增长？
AI音频独角兽ElevenLabs估值66亿美元，从“小公司”成长为独角兽。其CEO回顾创业历程，分享心得，如结合研发与产品、融资绑定产品动态、靠三点优势不被OpenAI取代等，还谈及人才、融资、业务等方面策略。
SimpAgent (ICCV2025 Highlight)：上下⽂简化重塑GUI智能体，更少计算，更强性能
在多模态大模型加持下，纯视觉GUI智能体成通用操作智能体重要方向，但面临元素与历史上下文问题。哈工深和华为提出SimpAgent，从上下文简化建模入手，实现更快更强性能，工作被ICCV 2025录用。
奖励模型预训练新范式POLAR：突破强化学习短板，有望打通RL链路扩展“最后一环”
强化学习中奖励模型设计与训练是瓶颈，上海人工智能实验室提出奖励建模新范式POLAR。它摆脱传统“绝对偏好”限制，契合强化微调框架，通过对比学习训练，实验证明其性能和泛化性佳，有望打通RL链路扩展最后一环。
Meta发布40页报告，具身智能的下一步是「心智世界模型」：能听，能看，能理解，会共情
Meta发布40页报告，首次将对人心智状态的推断概念化为心智世界模型，与物理世界模型实现“双轨建模”。还指出要结合系统A和B让AI自主学习，心智世界模型在多智能体协作潜力大。
“多模态方法无法实现AGI”
文章指出一些人认为多模态方法能实现AGI，但作者觉得此策略会失败。真正的AGI要理解物理世界，而LLMs只是记忆规则。此外，规模最大化方法用于AGI有数据稀缺问题，多模态建模也存在诸多问题。
让世界模型推理效率提升70倍：上海AI Lab用“恒算力”破解长时记忆与交互瓶颈
上海AI Lab联合多家机构开源Yume1.5，针对视频生成构建可交互“世界模型”的核心难题，提出时空信道联合建模（TSCM），实现近似恒定计算成本的全局记忆访问，展示了世界模型工程化落地的可行路径。
北大卢宗青团队新作：超 70% 实机成功率，支持语言指令的功能性抓取系统
现有抓取研究多在稳定性层面，而功能性抓取更接近真实世界的智能。北大卢宗青团队提出DemoFunGrasp方法，对功能性抓取重新建模，在仿真与真实场景均超70%成功率，还引入视觉语言模型让机器人理解语言指令。
1.9K Star 微软开源TTS王炸！90分钟超长语音合成，4人对话自然切换！
在文本转语音（TTS）领域，生成长篇、多说话人的高质量音频一直是技术挑战。微软最新开源的VibeVoice TTS模型，可一次生成90分钟连续语音，支持4个不同说话人，还具备高效处理长序列等亮点特性。