「Transformer层」共找到 535 篇相关文章
老牌Transformer杀手在ICLR悄然更新：Mamba-3三大改进趋近设计完全体
Transformer架构仍是AI主流，Mamba作为挑战者影响力大。Mamba-3在ICLR 2026盲审，有梯形离散化、复数化状态空间模型、多输入多输出状态空间模型三大改进，实证表现佳，适合多场景。
Transformer死角，只需500步后训练，循环模型突破256k长度泛化极限
线性循环模型能处理极长序列，是相比Transformer的关键优势，但过去循环模型性能不足且难以泛化。CMU等研究者证明，通过简单训练干预，循环模型500步后训练可突破256k长度泛化极限。
13人干翻Transformer！新架构SSA算力暴减千倍，成本仅Opus 5%
一款基于SSA架构的AI模型SubQ横空出世，其上下文高达1200万Token，计算量比Transformer暴减1000倍，成本不到Claude Opus的5%。打造它的Subquadratic公司仅13人，产品发布后引发AI社区不同反应。
mem0推出王炸mcp工具OpenMemory，打造用户私有、跨应用的共享记忆层
mem0项目推出OpenMemory MCP，这是专为兼容MCP的AI客户端设计的私有记忆层，能解决跨AI工具的Context共享问题。它强调隐私和本地控制，功能实用，获用户积极反馈。
「说 Harness 会被淘汰的，肯定没做过工程」，Kimi 前 CLI 负责人戳破了 AI 圈最大的误解
AI编程圈两极分化，围绕底层Harness是否消失争议不断。前Kimi CLI负责人stdrc提出反常识观点，认为模型越强Harness越厚，复杂度从“能力层”转移到“协作层”，还以Kimi CLI实践及Raft创业为例阐述。
POF | 上海理工大学梁梓浩、朱兵等：使用大语言模型进行气泡湍流实验数据处理
本文提出结合大语言模型（Time - LLM）与Transformer模型的复合框架处理气泡两相流热膜测量信号干扰。先由Time - LLM识别气泡干扰信号，再用Transformer模型修复。实验证明该方法高效、轻量且物理自洽。
Mamba-3惊现AI顶会ICLR 2026！CMU知名华人教授一作首代工作AI圈爆红
Transformer有力挑战者Mamba的最新版本Mamba-3进入ICLR 2026盲审。它有三大改进，在长文本处理、实时推理和成本优化有优势。此外，FBAM也从不同角度探索Transformer下一代框架。
3 天上了两个 SOTA 模型，视频 Agent 们接得过来吗？
7月31日MiniMax H3和字节跳动Seedance 2.5同日发布，3天后H3开源，8月7日Seedance 2.5开放api。模型变强使产品层要做的事更多，视频Agent需解决生产问题，竞争走向模型层之上。
原来Scaling Law还能被优化？Meta这招省token又提效
2017年《Attention Is All You Need》提出的Transformer是主流语言模型基础范式。Meta新论文提出旋转不变型三线性注意力机制，证明其表现能改变Scaling Law系数，还证实2 - simplicial Transformer在有限token预算下更优。
写在 Claude Design 发布之后：如果明天巨头做掉了你的核心功能，你该怎么办？
Anthropic 发布 Claude Design，可从提示词生成设计稿等，让 Figma 市值蒸发。这引发对 AI 应用层产品的思考，当基础模型厂商收回能力，靠能力缺口的产品将失重，应用层需从工作流、数据等找机会。