搜索：多模态语音理解大模型

「多模态语音理解大模型」共找到 1763 篇相关文章

开源播客TTS神器！高效TTS模型：Muyan-TTS，0.33秒生成1秒音频，零样本语音合成！

介绍新发布的开源TTS模型Muyan - TTS，它专为播客场景设计，以超低延迟实现零样本语音合成，预训练大量播客数据，支持长内容连贯生成，还介绍了使用步骤、适用场景等。

清华等多校及字节跳动研究者全面调研语音分离领域，撰写综述论文，分析200余篇代表性论文。从问题定义、学习范式、模型架构等多维度展开，还探讨评估指标、数据集等，指出未来挑战与探索方向。

12月快手旗下可灵发布全球首个统一多模态视频大模型Kling O1，标志AI视频进入“全流程语义控制时代”。它将多种视频创作能力统一，有全能引擎等五大亮点，性能对比优势明显，让AI视频生成更可控。

近年来，T2V模型进展显著，Sora2爆火引发对其是否为‘世界模型’的探讨。传统基准无法系统衡量模型对事件因果等的理解，中山大学等团队提出新评测框架VideoVerse，评测主流模型并发现开源与闭源模型差距及各模型缺陷。

NVIDIA研究员Jim Fan称AI正经历第二次预训练范式转移。颜水成团队Muddit模型从视觉先验出发，用离散扩散框架统一文生图、图生文和VQA，挑战多模态“语言中心论”，在多任务表现出色。

研究发现超60%案例中主流推理模型生成合规答案却未真正理解风险，存在系统性漏洞。淘天集团团队引入“表面安全对齐”术语，推出Benchmark研究该现象，还介绍了数据集生成流程及评测指标。

7月26日，上海AI实验室在WAIC 2025上发布并开源科学多模态大模型Intern-S1。它融合多学科知识，首创跨模态科学解析引擎，在多学科任务上超越顶尖闭源模型，还支撑构建了多智能体系统。

智源研究院悟界·RoboBrain Orca Team发布技术报告Orca，探索模型是否理解世界状态变化。Orca尝试在统一世界潜空间学习状态与规律，受海外关注。它先学世界表征，有独特学习方式，经实验验证效果良好。

华中科技大学与百度联合提出VEGA - 3D，释放视频生成模型隐式3D知识。它将视频生成模型作‘潜在世界模拟器’，用自适应门控融合机制，提升场景理解等任务表现，无需额外3D标注数据。

来自多机构研究人员构建PhyX基准测试，评估多模态模型物理推理能力。测试显示，即便表现最佳的GPT - o4 mini准确率仅45.8%，远不及人类的75.6%，且模型在多方面存在结构性缺陷。