搜索：多模态扩散Transformer

「多模态扩散Transformer」共找到 1348 篇相关文章

谷歌Dreamer大神离职！「辛顿门徒」自曝错过Transformer

谷歌世界模型大牛Danijar Hafner宣布离任，他自2016年起在谷歌相关团队工作近十年，曾获辛顿指导，主导开发Dreamer系列。他还自曝曾错过Transformer，当时未在意其优势。

过去三年扩散模型席卷图像生成领域，但可解释性研究是‘黑箱’，且现有尝试常致性能下降。香港中文大学与上海人工智能实验室团队提出TIDE框架，可解释且不降质，还带来新图像编辑方式。

Transformer发明者Ashish Vaswani认为OpenAI等闭源厂商被商业化冲昏头脑，没心思做基础研究。他All in基础研究，坚持开源路线，想打造西方世界的DeepSeek。其团队论文提出颠覆性观点，或降低训练成本。

未来迈向AGI需多模态AI系统。南大等联合发表综述，涵盖754篇文献。分析传统路线痛点，介绍统一多模态模型定义、技术路线、训练方法等，还提及应用场景及未来方向。

俄亥俄州立大学与 Amazon Science 等联合发布 MMDR - Bench，将多模态 Deep Research 评估拉到可核验标准。它含 140 个专家任务，覆盖 19 领域，把评估拆成 3 段管线、12 指标，强调过程证据链。

人大、清华和腾讯合作发布Crab论文，目标是实现多模态场景理解任务的高效一统。它针对音频 - 视觉理解模型难点提出解决方案，构建数据集、设计LoRA结构、统一架构，训练分预训练和指令调整两阶段。

OpenAI下一代Astra采用「循环深度」推理方法，思考Token减少但性能提升，不过其思考过程难监控。此前业界已对「循环Transformer」有研究，该架构适合数学编程任务，Astra实力获验证，GPT - 6或即将发布。

谷歌DeepMind论文指出，Transformer架构不擅长追踪状态，思维链只是给结构性缺陷打补丁，成本高。论文主张用循环架构替代或补充纯前馈结构，还提出多个研究方向，认为下一代模型需构建‘流动的现实表示’。

字节会师何恺明，开源连续扩散语言模型Cola DLM，释出论文、代码等。该模型跳出离散token束缚，把生成过程交给连续空间，在实验中展现出稳定scaling趋势，其动机是表征而非diffusion。

北京邮电大学团队在顶级期刊IEEE TPAMI发布综述，探讨文生图扩散模型可控生成技术，将核心问题概括为如何注入新型条件信号并稳定控制，从任务和方法层面梳理技术，还提及应用场景与未来方向。