「模态代沟」共找到 170 篇相关文章
治好多模态近视和走神！上海大学去偏干预显著提升模型性能
多模态大模型存在“近视”和“走神”问题，总是过度关注图像底部而忽略核心内容。上海大学与南开大学研究团队用两条数学公式去偏干预，无需增加计算成本，却能显著提升主流模型视觉理解能力。
从VLA到RoboOmni，全模态具身新范式让机器人察言观色、听懂话外音
复旦大学等联合推出全模态端到端操作大模型RoboOmni，统一多模态，实现动作与语音协同控制。它重新定义机器人交互范式，让机器人具备“察言观色”能力，还构建了OmniAction数据集，实验表现全面领先。
Meta新突破！跨模态生成告别噪声：流匹配实现任意模态无缝流转
Meta与约翰霍普金斯大学联合推出CrossFlow框架，实现跨模态生成新突破。它基于流匹配提出新范式，无需依赖噪声分布等，在多任务上媲美或超最优算法，训练成本低、速度快，还能适配多任务。
创业一年后，李飞飞推出首款可商用世界模型 Marble，任意模态都可生成 3D 世界
李飞飞创业公司 World Labs 推出可商用世界模型 Marble，支持多模态输入，生成的 3D 世界更丰富细致。李飞飞认为空间智能是 AI 下一个前沿，当前 AI 在这方面能力不足，而 Marble 正推动其发展。
Qwen开源版Banana来了！原生支持ControlNet
Qwen推出新图像编辑模型Qwen - Image - Edit - 2509，支持多图融合、增强单图一致性，原生支持ControlNet。还开源端到端全模态模型Qwen3 - omni，性能优异，功能丰富。
中科院甩出多模态“核弹”！类GPT-4o多模态模型开源！支持语言-视觉-语音任意组合交互！
中国科学院计算技术研究所（ICTNLP）开源类GPT - 4o多模态模型Stream - Omni，支持文本、视觉和语音任意组合交互，核心是高效模态对齐技术，少量多模态数据即可训练，有多种使用场景。
迎接「万物皆可RAG」时代：最新综述展示50多种多模态组合的巨大待探索空间
大模型常采用RAG技术，多模态崛起使RAG向MM - RAG发展。目前MM - RAG研究初级，华中科技大学等研究者发布综述，覆盖所有模态组合，剖析工作流，提供构建系统的一站式指南。
卡帕西没做完的，开源社区48小时搞定了！完全体知识库，token省70倍
Karpathy分享的个人知识库爆火，48小时后开源社区推出Graphify工具。它零配置、全模态、本地跑，能自动构建知识图谱，省71.5倍token，还全平台适配，降低了上手门槛。
超越OpenAI、拿下全球双料第一，“AI吴彦祖”背后大模型SOTA了！
国产大模型MiniMax发布Speech - 02，拿下两项全球权威语音基准测评第一，是榜单前十唯一国产玩家。它超拟人、个性化、多样，技术创新，且在多行业落地，全模态布局领先。
原来Veo 3早有苗头！人大联合值得买科技在CVPR 2025提出全新「图像到有声视频」生成框架
中国人民大学与值得买科技团队在CVPR 2025提出JointDiT框架，可从静态图像生成同步音视频。此研究定义图像到有声视频生成新任务，解决音视频融合难题，实验显示其效果优，还将拓展至四模态建模。