「自回归架构」共找到 2864 篇相关文章
Transformer创新架构SALA:上下文更长,推理更快
面壁智能发布行业首个大规模训练的稀疏 - 线性注意力混合架构 SALA 及文本模型 MiniCPM - SALA。该架构降低推理开销与显存占用,MiniCPM - SALA 在长文本处理及推理上表现出色,还发起大奖赛探索性能极限。
为什么算力追赶这么难?前谷歌架构师现场黑板推演底层架构,看懂芯片底层逻辑里被忽视的“空间博弈”
前谷歌架构师、MatX CEO Reiner Pope在访谈中从基础逻辑门讲起,推导芯片架构,指出芯片大部分成本花在搬运数据上,还探讨乘加运算、脉动阵列等原理,以及时钟周期、FPGA与ASIC差异等内容。
谷歌Dreamer大神离职!「辛顿门徒」自曝错过Transformer
谷歌世界模型大牛Danijar Hafner宣布离任,他自2016年起在谷歌相关团队工作近十年,曾获辛顿指导,主导开发Dreamer系列。他还自曝曾错过Transformer,当时未在意其优势。
“OpenClaw 类”自进化智能体代表项目介绍
文章指出传统 Agent 存在记忆短暂、能力固定的瓶颈,介绍了 OpenClaw 生态中“自进化”的不同形态,还列举了 Nanobot、AutoResearchClaw 等多个代表性项目,阐述其特点和应用场景,最后抽象出自进化智能体的共同要素和工程模式。
刚刚,DeepSeek扔出大杀器,梁文锋署名!暴力优化AI架构
2026新年第一天,DeepSeek发表梁文锋署名新论文,提出「mHC(流形约束超连接)」架构。它仅增约6.7%训练时间开销,就能让27B参数模型性能显著提升,还可能淘汰ResNet结构。
Java 世界的 MCP:将架构策略应用于 LLM 集成
文章指出大语言模型成企业架构组件,但当前集成脆弱。MCP 引入标准化方法,Java MCP SDK 能将其与企业架构融合。文中探讨 MCP 及其 SDK,分析其设计、应用、权衡等,还给出企业运营助手案例。
一篇自进化Agents技术最新综述:迈向人工超级智能
LLMs有局限性,研究者关注自进化Agents系统,其范式转变为人工超级智能铺路。文章回顾自进化智能体研究进展,围绕‘什么要进化’‘何时进化’‘如何进化’展开,提供理论和实践指导。
统一架构新思考,北大团队UniWorld-V1统一大模型
北大袁粒课题组提出统一大模型架构UniWorld-V1。通过对GPT - 4o - Image实验,发现其依赖语义编码器提取视觉特征,据此设计架构,在多基准测试表现优异,开源代码等促进研究。
DeepSeek、GPT、Qwen,所有大模型架构图都有,Karpathy:宝藏画廊!
大模型赛道热闹,架构创新多,理解困难且缺清晰架构图。AI 研究者 Sebastian Raschka 绘制主流大模型结构,整理成在线图谱「LLM Architecture Gallery」,方便研究者查阅对比。
Agent能自己“复盘”和“进化”,这个开源框架牛了!
文章介绍了自进化AI,其核心是执行、评估、进化的反馈循环,能自动修改Prompt和工作流。还讲解了SEW、TextGrad等优化器原理,并以SEW为例展示逻辑,最后推荐开源框架EvoAgentX。