「多模态融合」共找到 1381 篇相关文章
OVI：统一的音视频生成模型，声音与画面同步诞生
音视频生成领域以往多阶段架构易致音画不同步等问题。耶鲁大学团队提出 OVI 统一范式，采用双塔 DiT 架构与分块式跨模态融合机制，实现音画同步生成，不过目前有计算开销大、音频有局限等问题。
AI真的能读懂人心吗？阿里通义最新研究成果揭示答案
文章聚焦多模态推理问题，如全局上下文理解不足和推理捷径问题。介绍阿里通义HumanOmniV2改进方案，涵盖全局上下文理解等方面，还详述冷启动、两阶段强化学习训练方案及数据集下载和训练方法。
大象秒变挖掘机！三维变形新突破，无需额外训练 | CVPR'26
南京大学与北京大学提出MorphAny3D，无需额外训练即可让三维生成模型实现跨类别平滑变形。它通过创新注意力机制融合源与目标特征，精准控制结构与时序，效果远超传统方法，代码已开源。
实测全新 SkyReels ：AI 创作，终于连成了一体
当前AI生成技术虽强，但视频创作仍门槛高、流程琐碎。昆仑万维推出全新SkyReels，是多模态创作系统，AI科技评论实测其画布、Agent等功能实用，它依托统一框架，核心竞争力在实现“统一性”。
AI发现医生看不见的隐藏心脏病风险，近90%准确率远超人类专家｜Nature子刊
登上《Nature》子刊的研究显示，约翰霍普金斯大学团队开发的多模态AI模型MAARS，用深度学习处理原始MRI图像，实现对心源性猝死风险高精度预测，准确率达89%，还能辅助制定个性化医疗方案。
真正能用好AI的企业是怎么做的？（附企业级AI落地实战手册）
数字化深入，非结构化文档成企业难题。合合信息发布白皮书，提出复杂文本智能五大核心能力标准，用11个行业标杆案例展示多模态文本智能技术应用，提供可复制落地范本。
抖音SAIL团队联合港中文MMLab推出SAIL-Embedding：打通「视、文、音」的全模态嵌入
字节跳动抖音SAIL团队联合港中文MMLab提出SAIL - Embedding，专为大规模推荐场景设计，实现视、文、音统一表征，解决传统多模态模型局限，在抖音业务场景效果显著，相关技术报告已公开。
比Transformer更强的架构来了？浙大新作Translution，一统卷积和自注意力
随着大模型发展遇瓶颈，浙大等校学者提出神经网络基础操作Translution，实现自注意力与卷积的融合统一，构建更普适神经计算机制。它性能超Self - attention，为新一代神经网络发展开辟新方向。
“扁平+拓扑”双索引，85页PDF"秒级"推理，MMRag幻觉率骤降76%
文章聚焦多模态长文档视觉问答，介绍现有LVLM - based和RAG - based技术路线及困境。提出MMRAG - DocQA方案，引入‘分层索引 + 多粒度检索’，设计双索引建模相关性与依赖，用互补策略实现证据互补。
RDSAI-CLI - 用AI重塑数据库终端CLI体验
阿里云RDS团队在发布「RDS AI助手」后，推出智能终端工具RDSAI-CLI。它融合大语言模型能力，将数据库命令行操作升级为意图式交互。该工具已开源，有基础与高级功能，未来还会持续优化。