「空间音频」共找到 627 篇相关文章
SkyReels-Audio让嘴型和音频完美匹配不再难
音频驱动的动态人脸生成研究较少，昆仑万维提出SkyReels - Audio框架，基于预训练视频扩散变换器构建，支持无限长度视频生成与编辑，采用混合课程学习等策略，保障视频视觉保真度和时间一致性。
从检测到通用感知：构建空间智能的基础
本文整理自张磊在AICon 2025北京的分享，分析语言与视觉原生模型架构区别，介绍基于Transformer的物体检测算法及开集检测技术进展，如Grounding DINO和DINO - X，还探讨其在多领域的应用和潜力。
“心内推理”：一种动态多模态潜在空间推理范式 | 直播预约
当前多模态大模型推理效率低、稳定性不足。本次分享将介绍DMLR，它无需额外训练，仅在推理阶段生效，通过在潜空间优化潜在思考token、引入关键视觉信息，实现高效稳定的多模态推理。
阿里搞了个全能解析器，文档、图片、音频、视频一锅端
阿里巴巴开源 Logics-Parsing-Omni，用一个模型统一处理文档、图片、音频、视频四种模态，输出结构化 JSON 数据。它采用三级渐进解析框架，两阶段训练策略，在自建基准上多项指标超越 Gemini - 3 - Pro。
商汤科技与南洋理工大开源空间智能多模态SOTA模型
商汤科技与南洋理工大学构建800万量级三维空间数据集，训练出开源SOTA多模态基础模型SenseNova - SI系列。该系列模型在多个权威测试中表现出色，部分超越GPT - 5，还展现出泛化等能力，且能赋能具身智能。
谢赛宁×李飞飞×LeCun首次联手！寒武纪-S「空间超感知」AI震撼登场
Yann LeCun、李飞飞和谢赛宁联手发布论文「Cambrian - S：迈向视频中的空间超感知」。他们认为LLM虽能力强，但无法像人类一样感知世界，为此构建Cambrian - S系列模型，开源相关数据和模型，还开发了新原型。
LTX-2开源：首个能同时生成视频和音频的模型
LTX-2开源，它是Lightricks团队开发的首个开源多模态基础模型，能联合生成音频和视频。采用非对称双流扩散变换器架构，用深度多语言文本编码器，速度比许多纯视频开源模型快，让模型理解声画关联。
空间智能终极挑战MMSI-Video-Bench来了，顶级大模型全军覆没
上海人工智能实验室 InternRobotics 团队推出空间智能视频基准 MMSI-Video-Bench，对主流多模态大模型进行评测。该基准题型全面、问题具挑战性，视频数据多样，能针对性测评。结果显示模型与人类差距显著，明确了能力瓶颈。
Claude两个新模型实测流出！空间推理封神，算力直接榨干了
Claude两款新模型“棉花糖”和“甜瓜”实测流出，在3D强化学习和建筑空间布局上性能强大，还能直接理解并生成复杂3D坐标和空间关系。它们对算力吞噬疯狂，引发对其身份的猜测。
UniSteer用机械臂「拼豆」：让人类指导进入VLA噪声空间强化学习
视觉 - 语言 - 动作模型（VLA）是机器人操作重要基础模型，但复杂任务成功率低，真机强化学习成本高。微软等机构研究者提出 UniSteer，将人类纠正转换成噪声监督，在多任务测试中提升了成功率。