搜索：扩散Transformer架构

「扩散Transformer架构」共找到 2140 篇相关文章

DeepSeek-OCR 2 架构创新性能暴涨 3.73%

DeepSeek-OCR 2核心技术突破集中于DeepEncoder V2架构创新与端到端优化。如视觉Tokenizer低参高效压缩Token，LLM式视觉编码器用双流注意力驱动因果建模等，还采用三级训练流水线提升效率。

2025年12月19 - 20日，摩尔线程首届MUSA开发者大会将在北京举行。大会聚焦国产算力，主论坛将发布新一代GPU架构，还有20+技术专场和1000㎡科技嘉年华，官网已开放报名。

智能体时代推理计算需求成瓶颈，线性注意力可降复杂度但表达有限。月之暗面开源 Kimi Linear 新架构，结合线性与全注意力，性能和硬件效率出色，引发对线性与全注意力发展方向的思考。

随着大模型发展遇瓶颈，浙大等校学者提出神经网络基础操作Translution，实现自注意力与卷积的融合统一，构建更普适神经计算机制。它性能超Self - attention，为新一代神经网络发展开辟新方向。

谷歌世界模型大牛Danijar Hafner宣布离任，他自2016年起在谷歌相关团队工作近十年，曾获辛顿指导，主导开发Dreamer系列。他还自曝曾错过Transformer，当时未在意其优势。

过去三年扩散模型席卷图像生成领域，但可解释性研究是‘黑箱’，且现有尝试常致性能下降。香港中文大学与上海人工智能实验室团队提出TIDE框架，可解释且不降质，还带来新图像编辑方式。

检索增强生成系统复杂度提升，科研人员面临高昂工程成本。清华大学等联合推出 UltraRAG 2.0，基于 MCP 架构，降低复杂 RAG 系统技术门槛与学习成本，支持低代码构建复杂系统。

Transformer发明者Ashish Vaswani认为OpenAI等闭源厂商被商业化冲昏头脑，没心思做基础研究。他All in基础研究，坚持开源路线，想打造西方世界的DeepSeek。其团队论文提出颠覆性观点，或降低训练成本。

Subquadratic公司提出SubQ模型，核心是SSA亚二次稀疏注意力机制。该机制改变注意力计算分配，让模型真正读长文档。SubQ是首个有1200万token上下文窗口的前沿模型，成本低、速度快，有望革新大模型扩展路径。

字节会师何恺明，开源连续扩散语言模型Cola DLM，释出论文、代码等。该模型跳出离散token束缚，把生成过程交给连续空间，在实验中展现出稳定scaling趋势，其动机是表征而非diffusion。