「多模态扩散Transformer」共找到 1349 篇相关文章
免剪辑直出！AI生成多角色同框对话视频，动态路由精准绑定音频
Bind-Your-Avatar基于扩散Transformer框架，通过细粒度嵌入路由将语音与角色绑定，实现精准音画同步，还引入数据集MTCC和基准测试，实验显示其在身份保真和音画同步上优于现有方法。
1.5B参数！支持本地实时语音转录
Liquid AI发布首个端到端音频基础模型LFM2 - Audio - 1.5B，参数1.5B，能在本地设备处理高质量端到端音频任务。它是统一多模态模型，支持两种生成策略，多种应用场景，虽仅支持英文但性能出色。
大模型能“原地”改参数了！字节Seed&北大新论文：测试时推理无需加层重训练
字节Seed和北大研究团队提出In - Place TTT方案，让大模型能“原地改参数”。它复用Transformer的MLP模块，解决现有TTT架构不兼容、计算效率低和优化目标不匹配问题，实验证明可提升模型长文本任务表现。
763亿港元，大模型公司最大规模IPO！MiniMax登陆港交所，开盘前大涨50%
MiniMax正式在港交所主板挂牌上市，股票代码“00100”。此次全球发售约3358万股，募资约55.4亿港元。市场认购热烈，早盘一度涨幅超50%，市值突破763亿港元。其技术多模态齐发，组织高效，为行业提供新样本。
Multi-Agent记忆系统MIRIX：比RAG性能飙升35%，存储减少99.9%
现有AI Agent记忆方案有局限，MIRIX作为模块化多智能体记忆系统应运而生。它由六种记忆类型和多智能体框架组成，支持多种检索功能。在多模态和单模态测试中表现优异，为记忆增强型LLM智能体设新标准。
重新定义检索！一款真正“跨模态”的 RAG 模型来了！用音频搜视频、文本找音乐！
传统RAG有速度慢、细节丢失等问题。Vidore开源的ColQwen - Omni 3B多模态RAG模型，支持跨模态检索，能直接处理音视频原始数据，保留细节，检索速度快，还具备轻量高效等特性，适用于多场景。
谢赛宁团队新作：不用提示词精准实现3D画面控制
谢赛宁团队新发布的Blender Fusion框架，结合图形工具 (Blender) 与扩散模型，让视觉合成不再仅依赖文本提示，实现精准画面控制。其核心是对现有技术高效组合，还透露两项训练技巧提升泛化性。
低延迟、高吞吐，LLM优化与高效推理引擎综述
LLM计算成本高，用户要低延迟，企业要高吞吐。工程师开发优化技术，如动态批处理、KV缓存、模型量化。论文对比25款推理引擎，还探讨了多模态支持、手机端推理、新型架构支持等进化方向。
DeepSeek出品，必是精品！DeepSeek-OCR 2发布：让LLM像人一样读懂复杂文档，效果超Gemini 3 Pro
DeepSeek推出DeepSeek-OCR 2，提出“视觉因果流”，以全新视觉编码器赋予模型因果推理能力。它在文档解析基准表现超Gemini 3 Pro，代码和模型权重已开源，为2D推理和原生多模态探索铺路。
惊艳！GitHub 开发者一键接入！4.2k star 项目 Champ，用一张照片秒变动画
Champ项目致力于从一张静态人物图生成人体动画，将3D参数化人体模型引入扩散模型。它解决了传统动画效果不真实等痛点，有诸多核心功能，技术优势明显，在多领域有高应用价值。