「全模态统一建模」共找到 815 篇相关文章
X-SAM：从「分割一切」到「任意分割」：统一图像分割多模态大模型，在20+个图像分割数据集上均达SoTA
中山大学、鹏城实验室、美团联合提出X - SAM，统一图像分割多模态大模型。它将分割范式扩展，设计通用输入输出，采用端到端架构和三阶段训练策略，在超20个数据集达最优，为图像分割研究开辟新方向。
Agentic RL训练：它不是单一 RL 算 法，而是一整套环境建模、学习信号、异步数据流、策略优化和基础设施的协同系统
文章指出Agentic RL训练不是单一算法，而是协同系统。它与传统RL不同，有四个训练变化。理解它要围绕三个不变量，还从环境建模等八个方面阐述，强调其竞争在于环境、信号、分布与系统的协同闭环。
CJA | 中国航天气动院冯亦葳、许亮等：符号回归启发的可压缩流场结构智能识别：基于局部对流特征分布的统一理论框架
目前流场结构识别方法有局限，传统经验法依赖阈值，深度学习法可解释性与泛化能力不足。本研究从流体控制方程出发，用符号回归建立统一流场结构分类框架，能准确识别复杂流动结构。
原来Veo 3早有苗头！人大联合值得买科技在CVPR 2025提出全新「图像到有声视频」生成框架
中国人民大学与值得买科技团队在CVPR 2025提出JointDiT框架，可从静态图像生成同步音视频。此研究定义图像到有声视频生成新任务，解决音视频融合难题，实验显示其效果优，还将拓展至四模态建模。
产业级 Agent 如何破局？百度吴健民：通用模型难“通吃”，垂直场景才是出路
InfoQ 采访百度吴健民探讨产业级 Agent 破局点。他指出 Agentic 模型训练卡点在真实环境复刻；通用模型难“通吃”，垂直场景定制模型是关键；多模态未实现统一建模，分开优化效果更好。
Current Robotics 发布 Curr-0：以 Single Policy 实现全身灵巧操作
Current Robotics发布Curr - 0，解决人形机器人移动与操作分离困境。它用Single Policy统一训练，基于HumanEx采集数据，还构建多物理模态交互世界模型，是全栈具身智能基础设施成果。
ACL 2026｜清华新作ControlAudio：声音何时响、说啥话？都能按剧本可控生成！
现有文生音频技术在精细化控制方面有挑战，清华团队提出ControlAudio方法。它通过数据构造、渐进式训练和引导采样，在统一框架下实现时间与语音内容联合建模，在多项任务上表现优于现有方法。
SIGIR 2025 | 视频检索新范式！北邮、北大等联合提出AV-NAS：首个音视频哈希搜索架构，让Mamba与Transformer自动“组队”
北邮、北大等团队提出 AV-NAS，在多模态视频哈希领域引入 NAS，构建含 Transformer 与 Mamba 的统一搜索空间。该方法能自动发现最优跨模态融合机制，揭示音频时序建模中“CNN + FFN”结构更优，代码已开源。
NTU S-Lab 团队探索可动 3D 新方向：结构、关节、纹理一次到位
南洋理工大学 S-Lab 团队发布研究，提出统一建模框架，能从单张图像生成可动三维对象，在几何精度、外观一致性与运动合理性上显著提升，解决了现有方法的难题，为相关领域发展奠定基础。
600万奖池尘埃落定，有人靠DeepSeek网页版拿下冠军
TAAC × KDD Cup 2026大赛落幕，600万奖池揭晓归属。大赛吸引52国13913名选手，竞争激烈。冠军团队分别用DeepSeek网页版等工具，在赛题“统一建模”难题上各展方案，其成果或助广告外的LLM研究。