「跨模态建模」共找到 304 篇相关文章
牛津、NUS提出下一代世界模型方向：心智世界模型来了
牛津大学和新加坡国立大学研究团队提出心智世界建模（MWM）通用框架，将心智变量纳入世界状态。还实现基准系统 MENTIS 验证其有效性，实验表明 MWM 对预测人类决策必要，瓶颈是状态转移模拟能力不足。
通义实验室大火的 WebAgent 续作：全开源模型方案超过GPT4.1 , 收获开源SOTA
WebAgent续作《WebShaper: Agentically Data Synthesizing via Information-Seeking Formalization》提出对information-seeking任务形式化建模，设计训练数据合成方法，全开源模型方案在GAIA评测获SOTA表现，还补足了训练数据不足问题。
亚马逊“盲眼”机器人30秒跑酷首秀惊艳！华人学者领衔
亚马逊机器人团队FAR发布人形机器人研究成果OmniRetarget，它能让强化学习策略在复杂环境学技能并零样本迁移。该成果通过交互网格建模关系，经实验验证优势明显，背后团队由华人学者领衔。
耶鲁等团队联合发布首个虚拟细胞Agent，可自动设计出先进的模型
耶鲁等团队发布首个多智能体系统CellForge，可自动化设计虚拟细胞模型。它能输出模型架构和代码，有跨模态能力，性能超多个领域代表性模型，可降低科研门槛，加速药物研发。
用Diffusion构建「AI虚拟细胞」，14项指标霸榜！Mila唐建团队破解单细胞「破坏性」测序难题
Mila唐建团队发表PerturbDiff，跳出前人认知盲区，将“细胞群体的概率分布”视为随机变量。它引入数学工具建模，让MMD内生于体系，在多项基准测试霸榜，还提供应对数据稀缺的思路。
关于多模态大模型Token压缩技术进展，看这一篇就够了
多模态大模型跨模态融合带来高计算成本，催生MLLM Token Compression研究。北大等机构人员基于压缩位置对方法系统归类，讨论特定场景压缩机制选择，还探讨了挑战与前景方向。
港大联合字节跳动提出JoVA: 一种基于联合自注意力的视频-音频联合生成模型
香港大学联合字节跳动提出视频 - 音频联合生成框架 JoVA，支持音视频 Token 跨模态交互，引入嘴部区域特定损失解决口型同步问题。实验显示，它用约 190 万条数据就达先进水平。
Opus5.5代码直出视频刷屏！审美暴打GPT
本文报道Claude Opus 5.5突袭上线后，网友大量实测，用它纯代码生成视频、3D建模、UI、可交互游戏等内容，该模型性能提升价格下降，表现优于GPT等竞品，引发科技圈刷屏热议。
商汤SenseNova U1深度拆解，原生统一架构终结缝合时代
文章深度拆解商汤科技开源的新一代模型「日日新 SenseNova U1」，介绍其基于 NEO - Unify 原生统一架构，在数据、训练与推理深度协同，多维度测试成绩亮眼，代表多模态从拼接走向原生建模新方向。
Marvis 实测：6 个 AI“牛马”扎根桌面之后
作者实测腾讯 Marvis，它能实现终端调度、多 Agent 协同、跨模态任务链执行等。虽在编码、审美等方面有不足，但定位安全实用，适合普通用户，体现 AI 助手从对话工具向执行系统转变。