「多模态扩散Transformer」共找到 1349 篇相关文章
Tokenization谢幕？H-Net登场：Mamba作者新作正面硬刚Transformer
「Mamba」作者之一Albert Gu在新Paper提出新技术，实现动态分块机制，嵌入H - Net可替代传统流水线。在多方面实验中，H - Net性能优于基于BPE token的Transformer模型。
Transformer传奇作者加入OpenAI！谷歌27亿美元也没留住
Transformer核心作者Noam Shazeer宣布加入OpenAI，他曾因谷歌拒绝发布聊天机器人出走创业，2024年谷歌花27亿美元请回，如今再次离开。他贡献巨大，引发AI界争抢。
2025年深度学习趋势：从Transformer架构到无处不在的边缘计算
2025年深度学习成科技顶流，市场规模飙升。其发展受算力、数据、算法推动，应用于多领域。核心趋势包括Transformer架构发展、低代码开发等，同时也面临伦理、人才短缺等挑战。
Transformer危！谷歌MoR架构发布：内存减半推理速度还翻倍
谷歌推出全新底层架构Mixture-of-Recursions（MoR），推理速度提高2倍、KV内存减半，首次在单一框架实现多任务处理与动态分配计算资源，研究人员通过实验验证其性能超Transformer。
复旦等推出「第一人称视听基准」，补齐多模态模型「听觉拼图」
多模态大模型在真实世界会“失聪”，现有第一人称视频问答/理解基准长期偏“视觉中心”。复旦等团队推出首个系统评测第一人称声音理解能力的基准EgoSound，能让模型听懂世界，评测显示当前模型与人类差距大。
BLIP3-o统一图像生成与理解，多模态融合趋势显现
BLIP3 - o致力于统一图像理解和生成，提升生成质量与效率。它融合自回归和扩散模型，采用CLIP + Flow Matching架构等。经训练，在图像理解和生成任务表现佳，指令微调效果显著。
多模态大模型持续学习系列研究，综述+Benchmark+方法+Codebase一网打尽！
近年来，生成式AI和多模态大模型进展显著，但在动态环境下实现持续学习是挑战。中科院自动化所联合香港院AI中心系统性研究，提出综述、方法、Benchmark和Codebase，为相关人员提供全面支持。
世界首个「实时、无限」扩散视频生成模型，Karpathy投资站台
Decart发布世界首个「实时、无限」扩散视频模型MirageLSD，输入视频流能快速转化画面，前特斯拉AI总监Karpathy投资。它在时长和延迟上有突破，也有需改进之处。
BLIP3-o统一图像生成与理解，多模态融合趋势显现
BLIP3 - o致力于统一图像理解和生成、提升生成质量和效率。它融合自回归与扩散模型，采用CLIP + Flow Matching架构等技术亮点。经训练，在图像理解和生成任务表现出色，指令微调效果显著。
清华联手千问重塑归一化范式，让 Transformer 回归「深度」学习
Pre - Norm和Post - Norm是Transformer架构中稳定信号流的关键范式，但面临权衡取舍。近日，清华黄高团队联合千问团队提出SiameseNorm，构建参数共享的平行通路，实现稳定训练并提升性能。