「非Transformer架构」共找到 2511 篇相关文章
中学生就能看懂：从零开始理解LLM内部原理【十三】｜GPT 架构如何工作 ？
本文是对GPT架构工作原理的解读。介绍了GPT与Transformer的关系，阐述其从输入文本到预测下一词概率的流水线，详述训练和推理流程，还提及GPT架构进化的混合专家（MoE）模型。
Meta没做的，英伟达做了！全新架构吞吐量狂飙6倍，20万亿Token训练
英伟达发布全新架构9B模型NVIDIA Nemotron Nano 2，以Mamba - Transformer混合架构实现推理吞吐量最高提升6倍，对标Qwen3 - 8B并在多任务中表现持平或更优，还开源模型及大部分预训练数据。
Claude Mythos核心架构开源！22岁天才一人破解，融合DeepSeek思路
22岁初创CEO Kye Gomez以第一性原理推导出Claude Mythos核心架构，开源OpenMythos项目。该架构采用循环深度Transformer，不堆参数，循环思考16次推理，结合MoE层，参数效率翻倍。
Anthropic 研究员：强化学习将推动 Transformer 实现 AGI
在 AI Agenda Live 纽约活动上，Anthropic 强化学习团队技术负责人 Sholto Douglas 称，无需新架构突破，强化学习能让 Transformer 达人类专家级别表现，接近 AGI。但定义「好表现」是难题，Anthropic 或投 10 亿美元提升模型企业应用表现。
Transformer论文作者之一Noam Shazeer宣布离开Google，加入OpenAI
6月18日，Google DeepMind工程副总裁、Gemini模型联合负责人Noam Shazeer宣布离开Google加入OpenAI。他是Transformer架构提出者之一，技术实力强。Google曾花27亿美元请他回归，仍没留住。
NeurIPS 2025 | 蚂蚁CGM：图融合架构重塑代码大模型，探索非 Agent 新范式
在NeurIPS 2025上，蚂蚁将展示Code Graph Model (CGM)。它把代码库图结构集成到开源LLM，开启新范式，在代码库级任务上以非Agent方案登顶开放权重模型榜首，解决了复杂软件工程的Agent依赖难题。
Transformer祖传设计遭暴击，COLM顶会三篇论文发难
COLM 2026上，三篇论文对Transformer关键技术发难。《Cracks in the Foundation》指出长上下文架构选择影响大；《Lost in Backpropagation》揭示输出投影层信息损耗严重；《When Fewer Layers Break More Chains》表明层剪枝影响长链推理。
清华联手千问重塑归一化范式，让 Transformer 回归「深度」学习
Pre - Norm和Post - Norm是Transformer架构中稳定信号流的关键范式，但面临权衡取舍。近日，清华黄高团队联合千问团队提出SiameseNorm，构建参数共享的平行通路，实现稳定训练并提升性能。
告别Transformer，重塑机器学习范式：上海交大首个「类人脑」大模型诞生
上海交通大学团队发布首个「类人脑」大模型 BriLLM，脱离传统 Transformer 架构限制。它基于 SiFu 学习机制，有可解释性、能无限处理上下文等优势，还支持多模态融合，已获交大重点项目资助。
重构线性视觉Transformer，精度与效率双平衡 | CVPR'25
南洋理工、北航与合工大联合提出CARE Transformer，以非对称解耦建模局部与全局，降低计算开销、提升特征表达。实验显示其在移动端低延迟高精度，打破“效率与精度不可兼得”困局。