搜索：transformer架构

「transformer架构」共找到 1954 篇相关文章

一文读懂：数据中心“拥抱”ARM架构，为何如此艰难？

文章探讨企业数据中心采用ARM架构面临的难题。如现有x86架构主导，切换有兼容性问题；ARM硬件选择有限、性能不足；云服务功能难对等；软件支持和许可证问题也阻碍其应用。

文章介绍了AI工程架构本质，阐述Garry Tan倡导的智能体工程三原则，分析架构分层，包括Fat Skills、Fat Code和Thin Harness层，还通过案例展示技能文件进化特性，提及社区讨论、边界迁移和工程纪律价值。

宇树发布武BOT技术论文，王兴兴署名，同步开源OmniXtreme架构。该架构通过双阶段框架，打破学习和物理可执行性瓶颈，在高保真度与可扩展性间权衡，经测试在真实硬件上表现出色。

Mamba作者Albert Gu在博客中探讨状态空间模型（SSM）和Transformer权衡，抛出‘Tokens是胡扯’观点，揭露Transformer深层缺陷，如分词问题、处理噪声能力弱等，还分析两类模型特点及结合优势。

沃尔玛开发者 Ankur Ranjan 与 Sai Vineel Thamishetty 长期关注 Apache Kafka 与流处理系统。文章指出 Kafka 架构现局限，介绍下一代开源项目 AutoMQ 借助云原生设计，解决其成本、扩展性与运维痛点，为实时数据流架构提供新视角。

Moonshot AI在Hugging Face发布Kimi Linear技术报告，该48B参数模型采用混合线性注意力架构，称超越传统全注意力机制。官方数据体现其优势，模型已开源，社区反应不一，MiniMax则回归全注意力架构。

Transformer已满8岁，其开创性论文《Attention Is All You Need》被引超18万次，掀起生成式AI革命。它催生诸多前沿产品，让人类跨入生成式AI时代，虽起初未受关注，但如今影响深远，谷歌态度也在改变。

网易云音乐前CTO曹偲推出AI Coding产品Toco AI，旨在将确定性和工程性带入AI Coding。他认为架构决定软件开发上下限，代码会逐渐黑盒化，业务架构更重要且难被AI取代，产品可助力软件开发。

文章对比了DeepSeek-V3、Kimi K2等八种现代LLM架构。介绍各模型独特技术，如DeepSeek V3的多头潜在注意力和混合专家技术，OLMo 2的后归一化策略，Gemma 3的滑动窗口注意力等，探讨架构改进与突破。

近日，开发者复现1970年代技术环境，用PDP - 11汇编语言实现Transformer并训练成功，项目叫ATTN - 11。在低资源下实现功能闭环引热议，大家思考Transformer到底需要什么。