「循环架构」共找到 1968 篇相关文章
DeepMind：Transformer存在拓扑缺陷，思维链治标不治本
谷歌DeepMind论文指出，Transformer架构不擅长追踪状态，思维链只是给结构性缺陷打补丁，成本高。论文主张用循环架构替代或补充纯前馈结构，还提出多个研究方向，认为下一代模型需构建‘流动的现实表示’。
Hybrid Model Support：阿里云 Tair 联合 SGLang对 Mamba-Transformer 等混合架构模型的支持方案
文章介绍阿里云 Tair KVCache 团队与SGLang社区在推理框架上支持混合架构模型的工程化实践。分析混合架构崛起原因、面临挑战，阐述内存管理、关键技术优化方案，验证性能，并指出未来演进方向。
不堆参数堆架构，这个8B开源模型把图像理解和生成统一了
商汤开源全新架构的理解生成统一模型SenseNova-U1，虽小尺寸版仅8B参数，却能复刻GPT - Image - 2的不少绝活，在多项指标上登顶开源模型榜首，推理速度逼近主流商用闭源模型。它具备连续性图文创作等能力，底层是NEO - unify架构。
全新GPU高速互联设计，为大模型训练降本增效！北大/阶跃/曦智提出新一代高带宽域架构
随着大模型参数规模扩大，分布式训练成关键路径，高带宽域设计对提升训练效率至关重要。现有HBD架构在可扩展性、成本和容错能力等方面有局限，北大、阶跃、曦智团队提出InfiniteHBD架构解决问题。
LangChain官方实测：多智能体架构怎么选？
构建AI Agent时，单智能体应对复杂场景易“变笨”且难维护。LangChain官方评测主流多智能体架构，在复杂零售场景实验，对比单智能体、Swarm、Supervisor架构的性能、成本，还给出优化Supervisor架构的方法。
高通Nuvia架构介绍
本文详细介绍高通Nuvia架构。Nuvia由经验丰富芯片设计师创立，后被高通收购，旨在强化自研技术、拓展市场。Oryon CPU架构是其成果，虽面临法律争议，但设计独特，多方面表现出色，还具备安全功能和较高性能。
Transformer死角，只需500步后训练，循环模型突破256k长度泛化极限
线性循环模型能处理极长序列，是相比Transformer的关键优势，但过去循环模型性能不足且难以泛化。CMU等研究者证明，通过简单训练干预，循环模型500步后训练可突破256k长度泛化极限。
SGLang × RoleBasedGroup（RBG）：打通大模型推理PD分离架构规模化落地的“最后一公里”
PD分离架构对大模型推理部署意义重大，SGLang支持该架构且性能佳。但从测试到生产落地难，存在部署、资源、可靠性等问题。SGLang开源RBG项目，结合二者为PD分离架构生产化落地提供方案。
不跟英伟达走老路，这家GPU公司的技术架构藏着哪些关键解？
在国产GPU上市黄金窗口期，天数智芯上市后首场发布会引发广泛讨论。其公布架构路线图，2027年前追赶英伟达，之后转向创新架构设计。还提出回归计算本质、提供高质量算力两条架构判断，并展示边端算力产品及应用。
Agent架构搭建 ≠ 堆Skills
现在很多Agent架构以大量Skills为基础，但这种做法大概率会翻车。Skills机制让模型自行判断是否使用及何时使用技能，其判断不可靠，随着技能数量增多，系统可靠性变差，设计上需平衡灵活性与可控性。