搜索：并行循环Transformer

「并行循环Transformer」共找到 626 篇相关文章

深入理解OpenClaw技术架构与实现原理（上）

文章深入解析OpenClaw技术架构与原理，它以Gateway为核心，是高度灵活的个人AI助手系统，改变了软件开发范式。涵盖统一控制平面、推理循环、定时任务等多模块。如Gateway负责消息路由等，推理循环控制运行逻辑。

作者Simon Willison认为现在‘Agent’有了大家认可的定义，即一个AI Agent是为实现目标循环调用工具的大语言模型。还分析了此前难统一定义的情况、‘工具循环实现目标’含义，指出不同人群对‘Agent’理解有偏差。

大语言模型处理长文本时，自回归生成受限于显存带宽。为减少KV缓存开销，业界尝试多种方法，但MLA有缺陷。宾夕法尼亚州立大学等研究人员提出MLRA，拆分KV缓存为四个并行分支，降低显存占用，实现4路张量并行，性能更优。

文章介绍CUDA cooperative groups，它让开发者创建和管理能同步通信的线程组，为GPU并行算法编程提供更灵活高效方式。文中讨论并行归约算法及用cooperative groups的实现，还对比不同归约求和方法及性能。

文章介绍Claude Code是出色的AI智能体，比Cursor等好用。它设计简单，提示词和工具弥补模型缺点。作者基于使用经验，给出打造类似智能体的要点，包括控制循环、提示词、工具和可引导性等方面。

本文深度解析腾讯混元最新发布的 SEAT 自适应并行扩展推理框架。它让大模型 CoT 升级，应对复杂推理任务。该框架通过多轮并行推理和语义熵导航，解决大模型深度思考的局限，且适配多种大模型，性价比高。

面壁智能发布行业首个大规模训练的稀疏 - 线性注意力混合架构 SALA 及文本模型 MiniCPM - SALA。该架构降低推理开销与显存占用，MiniCPM - SALA 在长文本处理及推理上表现出色，还发起大奖赛探索性能极限。

谷歌团队借鉴人类联想记忆，提出嵌套学习，解决AI「灾难性遗忘」问题。强调优化器与架构协同进化，构建联想记忆系统。HOPE架构在多任务表现出色，或开启AI从被动训练到主动进化大门。

在NeurIPS 2025上，NYU&OpenAI就Human - AI Alignment发布Tutorial。指出当前对齐像打地鼠，根源是将其当成静态、单向的，提出HAA框架，强调多元目标、人类全链路话语权及社会 - 技术系统量化监督。

前几天，DeepSeek - R1论文更新，披露诸多细节。重点是推理模型在低温/贪心解码下易循环，根源是学得不对，如风险规避式复读、时序相关错误复读，还给出解决方案。