「跨模态一体化建模」共找到 362 篇相关文章
扩散语言模型深度思考
作者探讨扩散语言模型（dllm），认为其建模方式或冲击AR。团队在AAAI报告介绍多项工作，还整理当前diffusion问题及观点，如推理架构、词表、优化范式等，并附项目网站和agent demo。
破除水军机器人！北航团队发布全新对抗性框架SIAMD：用“结构信息”破译机器人伪装｜IEEE TPAMI
本文介绍北航彭浩团队发表在TPAMI 2025的文章，提出对抗性框架SIAMD检测机器人。它将用户账户与消息交互组织为异质结构，用结构熵建模。实验显示，其在有效性、泛化性等方面优于基线模型。
一周斩获8k星！港大开源AI学习助手，学练研全流程覆盖，教师也要失业了？
港大开源的DeepTutor是AI个性化学习助手，利用多智能体协作等技术，有文档问答、难题解析等四大核心功能，能构建专属知识库，提供全流程辅导，为学、练、研打造一体化平台。
牛津、NUS提出下一代世界模型方向：心智世界模型来了
牛津大学和新加坡国立大学研究团队提出心智世界建模（MWM）通用框架，将心智变量纳入世界状态。还实现基准系统 MENTIS 验证其有效性，实验表明 MWM 对预测人类决策必要，瓶颈是状态转移模拟能力不足。
通义实验室大火的 WebAgent 续作：全开源模型方案超过GPT4.1 , 收获开源SOTA
WebAgent续作《WebShaper: Agentically Data Synthesizing via Information-Seeking Formalization》提出对information-seeking任务形式化建模，设计训练数据合成方法，全开源模型方案在GAIA评测获SOTA表现，还补足了训练数据不足问题。
亚马逊“盲眼”机器人30秒跑酷首秀惊艳！华人学者领衔
亚马逊机器人团队FAR发布人形机器人研究成果OmniRetarget，它能让强化学习策略在复杂环境学技能并零样本迁移。该成果通过交互网格建模关系，经实验验证优势明显，背后团队由华人学者领衔。
耶鲁等团队联合发布首个虚拟细胞Agent，可自动设计出先进的模型
耶鲁等团队发布首个多智能体系统CellForge，可自动化设计虚拟细胞模型。它能输出模型架构和代码，有跨模态能力，性能超多个领域代表性模型，可降低科研门槛，加速药物研发。
用Diffusion构建「AI虚拟细胞」，14项指标霸榜！Mila唐建团队破解单细胞「破坏性」测序难题
Mila唐建团队发表PerturbDiff，跳出前人认知盲区，将“细胞群体的概率分布”视为随机变量。它引入数学工具建模，让MMD内生于体系，在多项基准测试霸榜，还提供应对数据稀缺的思路。
关于多模态大模型Token压缩技术进展，看这一篇就够了
多模态大模型跨模态融合带来高计算成本，催生MLLM Token Compression研究。北大等机构人员基于压缩位置对方法系统归类，讨论特定场景压缩机制选择，还探讨了挑战与前景方向。
港大联合字节跳动提出JoVA: 一种基于联合自注意力的视频-音频联合生成模型
香港大学联合字节跳动提出视频 - 音频联合生成框架 JoVA，支持音视频 Token 跨模态交互，引入嘴部区域特定损失解决口型同步问题。实验显示，它用约 190 万条数据就达先进水平。