搜索：扩散Transformer架构

「扩散Transformer架构」共找到 2139 篇相关文章

Transformer已死？DeepMind正在押注另一条AGI路线

谷歌团队借鉴人类联想记忆，提出嵌套学习，解决AI「灾难性遗忘」问题。强调优化器与架构协同进化，构建联想记忆系统。HOPE架构在多任务表现出色，或开启AI从被动训练到主动进化大门。

文章探讨企业数据中心采用ARM架构面临的难题。如现有x86架构主导，切换有兼容性问题；ARM硬件选择有限、性能不足；云服务功能难对等；软件支持和许可证问题也阻碍其应用。

文章介绍了AI工程架构本质，阐述Garry Tan倡导的智能体工程三原则，分析架构分层，包括Fat Skills、Fat Code和Thin Harness层，还通过案例展示技能文件进化特性，提及社区讨论、边界迁移和工程纪律价值。

宇树发布武BOT技术论文，王兴兴署名，同步开源OmniXtreme架构。该架构通过双阶段框架，打破学习和物理可执行性瓶颈，在高保真度与可扩展性间权衡，经测试在真实硬件上表现出色。

Google I/O 2025 开发者大会上，Gemini Diffusion 引发关注，它是采用扩散模型的语言模型。此前已有团队探索扩散式 LLM，如斯坦福、上海 AI 实验室等。蚂蚁集团和人大推出 LLaDA，后发展出多模态模型，国内团队跻身前列。

扩散式语言模型（DLM）因缺乏易用框架和训练成本高受限。伯克利与UIUC团队基于dLLM框架，让BERT学会对话，证明‘离散扩散 + 轻量级指令微调’可赋予BERT强生成能力，还开源全流程代码。

Mamba作者Albert Gu在博客中探讨状态空间模型（SSM）和Transformer权衡，抛出‘Tokens是胡扯’观点，揭露Transformer深层缺陷，如分词问题、处理噪声能力弱等，还分析两类模型特点及结合优势。

沃尔玛开发者 Ankur Ranjan 与 Sai Vineel Thamishetty 长期关注 Apache Kafka 与流处理系统。文章指出 Kafka 架构现局限，介绍下一代开源项目 AutoMQ 借助云原生设计，解决其成本、扩展性与运维痛点，为实时数据流架构提供新视角。

Moonshot AI在Hugging Face发布Kimi Linear技术报告，该48B参数模型采用混合线性注意力架构，称超越传统全注意力机制。官方数据体现其优势，模型已开源，社区反应不一，MiniMax则回归全注意力架构。

西湖大学齐国君教授团队提出扩散式「发散思维链」，这是面向扩散语言模型的新型推理范式。它与传统思维链不同，能非线性生成，已应用于两种模型，增强后的模型在相关任务上超越现有模型。