搜索：多模态扩散Transformer

「多模态扩散Transformer」共找到 1352 篇相关文章

首次实现第一视角视频与人体动作同步生成！新框架攻克视角-动作对齐两大技术壁垒

新加坡国立大学等联合发布EgoTwin，首次实现第一视角视频与人体动作联合生成，攻克视角 - 动作对齐与因果耦合瓶颈。它基于扩散模型，通过三大创新设计解决核心难题，实验性能超基线，为多领域应用提供落地基座。

宇树旗下多款机器人被曝存在严重无线安全漏洞，攻击者可借此实现最高权限控制，被攻陷的机器人还会自动扩散感染。发现者此前与宇树多次沟通无果后公开漏洞利用工具链，宇树回应已着手修复。

继π0后，具身智能基座模型WALL - OSS正式开源，多项指标超越π0。它是通用多模态具身模型，具良好推理和泛化能力。背后自变量机器人刚完成近10亿A + 轮融资，开源将降低具身智能门槛。

字节Seed提出M3 - Agent，这是首个融合实时视听输入、类人记忆构建与自主推理的多模态智能体。它模仿人类记忆机制，解决长视频理解痛点，已被CVPR 2025收录并开源代码，为通用人工智能奠定基础。

AI浏览器是面向大众的AI Agent，能满足智能搜索与总结、自动化任务、多模态交互等需求。目前赛道竞争激烈，作者认为Perplexity Comet是最佳产品，能处理网页内容、自动化操作，AI浏览器有望成首个杀手级AI应用。

在多模态大模型加持下，纯视觉GUI智能体成通用操作智能体重要方向，但面临元素与历史上下文问题。哈工深和华为提出SimpAgent，从上下文简化建模入手，实现更快更强性能，工作被ICCV 2025录用。

多模态视频生成大模型是复杂系统工程，多为巨头游戏。MiniMax的Hailuo 02发布，ELO得分超谷歌Veo 3和快手Kling 2.0。它能呈现复杂运动，处理物理关系，提升训练推理效率，成本低，后续还将更新。

开源君介绍超火的开源项目`chatgpt-on-wechat`（CoW），它结合大模型与社交、办公平台，可定制优化。能接入多平台，支持多模型，处理多模态消息，有丰富插件，还能记忆会话、定制知识库。给出安装步骤。

ICML 2025新研究揭示，在使用RoPE的现代Transformer模型里，注意力机制Q和K表示有集中极大值，V表示无此模式。研究通过实验明确极大值与上下文知识理解的联系，对模型设计、优化和量化有重要启示。

ICML 2025新研究揭示，在使用旋转位置编码 (RoPE) 的现代Transformer模型中，注意力机制的查询 (Q) 和键 (K) 表示存在集中极大值，而值 (V) 表示无此模式。研究通过实验揭示其与上下文知识理解的关键联系。