「模态代沟」共找到 167 篇相关文章
Meta新突破！跨模态生成告别噪声：流匹配实现任意模态无缝流转
Meta与约翰霍普金斯大学联合推出CrossFlow框架，实现跨模态生成新突破。它基于流匹配提出新范式，无需依赖噪声分布等，在多任务上媲美或超最优算法，训练成本低、速度快，还能适配多任务。
创业一年后，李飞飞推出首款可商用世界模型 Marble，任意模态都可生成 3D 世界
李飞飞创业公司 World Labs 推出可商用世界模型 Marble，支持多模态输入，生成的 3D 世界更丰富细致。李飞飞认为空间智能是 AI 下一个前沿，当前 AI 在这方面能力不足，而 Marble 正推动其发展。
Qwen开源版Banana来了！原生支持ControlNet
Qwen推出新图像编辑模型Qwen - Image - Edit - 2509，支持多图融合、增强单图一致性，原生支持ControlNet。还开源端到端全模态模型Qwen3 - omni，性能优异，功能丰富。
中科院甩出多模态“核弹”！类GPT-4o多模态模型开源！支持语言-视觉-语音任意组合交互！
中国科学院计算技术研究所（ICTNLP）开源类GPT - 4o多模态模型Stream - Omni，支持文本、视觉和语音任意组合交互，核心是高效模态对齐技术，少量多模态数据即可训练，有多种使用场景。
迎接「万物皆可RAG」时代：最新综述展示50多种多模态组合的巨大待探索空间
大模型常采用RAG技术，多模态崛起使RAG向MM - RAG发展。目前MM - RAG研究初级，华中科技大学等研究者发布综述，覆盖所有模态组合，剖析工作流，提供构建系统的一站式指南。
卡帕西没做完的，开源社区48小时搞定了！完全体知识库，token省70倍
Karpathy分享的个人知识库爆火，48小时后开源社区推出Graphify工具。它零配置、全模态、本地跑，能自动构建知识图谱，省71.5倍token，还全平台适配，降低了上手门槛。
超越OpenAI、拿下全球双料第一，“AI吴彦祖”背后大模型SOTA了！
国产大模型MiniMax发布Speech - 02，拿下两项全球权威语音基准测评第一，是榜单前十唯一国产玩家。它超拟人、个性化、多样，技术创新，且在多行业落地，全模态布局领先。
原来Veo 3早有苗头！人大联合值得买科技在CVPR 2025提出全新「图像到有声视频」生成框架
中国人民大学与值得买科技团队在CVPR 2025提出JointDiT框架，可从静态图像生成同步音视频。此研究定义图像到有声视频生成新任务，解决音视频融合难题，实验显示其效果优，还将拓展至四模态建模。
Current Robotics 发布 Curr-0：以 Single Policy 实现全身灵巧操作
Current Robotics发布Curr - 0，解决人形机器人移动与操作分离困境。它用Single Policy统一训练，基于HumanEx采集数据，还构建多物理模态交互世界模型，是全栈具身智能基础设施成果。
这帮清华的，造了一个让龙虾“安全着陆”的新物种
在OpenClaw热潮中，隐私保护缺位成企业和开发者难题。无问芯穹推出InfiniClaw Box，独创‘三段式’架构，适配全模态信源，解决数据安全与模型能力兼顾问题，还与多家企业合作拓展应用边界。