「Transformer层」共找到 535 篇相关文章
Axiom Math 对谈 SGLang：模型的下一步是可验证，结果层才是真正的护城河
在AGI Playground 2026圆桌论坛，Axiom Math联合创始人等探讨AI核心问题。提到AI进入生产环境，可验证或成瓶颈，还从长任务智能体、推理基建等多方面深入交流，如模型验证、基建优化等。
把RoPE扔掉，AI更能看懂长上下文！Transformer作者团队开源大模型预训练新方法
Transformer架构核心作者之一Llion Jones团队开源新技术DroPE，可丢弃位置嵌入扩展上下文，解决RoPE长序列处理缺陷，在多模型实验中表现卓越。该团队来自Sakana AI，此前还有相关研究成果。
刚刚，Cursor被扒底裤！Claude Code套壳实锤，500亿估值全靠Ctrl+H？
知名开发者逆向分析发现，Cursor 3.0实锤套壳Claude Code，将其包装成「自主研发」。Cursor官方称是A/B测试，但证据显示更像正式集成。此事折射出AI应用层困境，应用层玩家只能在「外围战场」厮杀。
ICCV 2025 | FDAM：告别模糊视界，源自电路理论的即插即用方法让视觉Transformer重获高清细节
针对视觉 Transformer（ViT）‘低通滤波’特性致细节丢失问题，北京理工大学等团队提出即插即用的 FDAM 模块。它受电路理论启发，能提升模型在分割、检测等任务性能，取得 SOTA 效果，有巨大应用潜力。
业务逻辑的“坍塌”：当应用层只剩下胶水代码，在 AI Agent 时代，我们该构建什么
作者梳理从“怀疑AI”到“理解并驾驭AI”的心路，探讨LLM不确定性、AI开发概念，手搓Agent示例介绍开发关键点，分析LangChain价值，思考混合架构，还从性能视角看LLM，回顾其关键跃迁。
大模型玩不好数独？！Transformer作者初创公司公布排行榜：o3 Mini High“变异数独”正确率仅2.9%
Transformer作者初创公司Sakana AI公布AI解决数独能力排行榜，用全新基准Sudoku - Bench考验大模型创造性推理能力。结果显示大模型总体正确率仅15%，9×9数独中高性能模型o3 Mini High正确率2.9%。
7B小模型超越DeepSeek-R1：模仿人类教师，弱模型也能教出强推理LLM | Transformer作者团队
Transformer作者之一创立的Sakana AI带来新方法，让教师模型像人类教师一样做启发式教学，根据已知解决方案输出解释。用此方法训练的7B小模型在传授推理技能上比671B的DeepSeek - R1更有效。
Anthropic顶级Claude模型被逆向开源，这几个模块借鉴了DeepSeek
22岁开发者逆向开源Anthropic的Claude Mythos Preview模型架构，名为OpenMythos。其核心模块借鉴DeepSeek，采用带混合专家路由机制的循环Transformer，有独特设计和稳定机制，重新框定扩展性争论。
Claude Mythos核心架构开源！22岁天才一人破解，融合DeepSeek思路
22岁初创CEO Kye Gomez以第一性原理推导出Claude Mythos核心架构，开源OpenMythos项目。该架构采用循环深度Transformer，不堆参数，循环思考16次推理，结合MoE层，参数效率翻倍。
The Batch: 881 | 一千万 token 的输入上下文
Google的Ali Behrouz等人设计“记忆模块”集成到类transformer架构ATLAS，能处理一千万token输入。它替代注意力层，训练后在长上下文任务中表现佳，但小模型，大规模表现未知。