「全局记忆层」共找到 887 篇相关文章
200行python代码实现从Bigram模型到LLM
本文从`babygpt_v1.py`出发，逐步加入self-attention机制、position嵌入等，实现完整GPT。介绍Transformer结构，讲解位置编码、单头自注意力等机制的代码实现，还阐述后续层的用途、参数调整及训练效果，最后提及模型优化方向。
4个文件，1个超级目标，我用Trae搭建了一个不会"失忆"的AI分身，还免费
AI产品黄叔分享用字节AI IDE Trae搭建AI分身的经验。他指出原用的Monica有价格高、记忆受限等局限，新系统含个人档案等四模块，由智能体串起，能自动同步，体验更好，还适合PDCA循环助力自我提升。
Alphaist 陈哲对谈蓝驰陈维广：AI 应用的机会在哪里？具身到底怎么投？
Alphaist 创始人陈哲与蓝驰创投管理合伙人陈维广在 AGI Playground 2026 上对谈，探讨 AI 应用机会与具身投资策略。谈到市场热度变化、SOTA 模型与用户需求差距等，也对应用层机会、估值逻辑、具身智能发展发表看法。
华人学生立大功！新王Mamba-3直击Transformer死穴，推理效率碾压7倍
新一代开源架构Mamba-3发布，由CMU普林斯顿原班人马打造，15亿参数性能比Transformer高4%，长序列任务端到端延迟仅为其七分之一。它采用新设计哲学，推理优先，有三大核心技术，还能与自注意力层混合提升检索能力。
Dense、MoE之外第三条Scaling路径：交大提出JTok模块，省1/3算力
上海交通大学与小红书Hi Lab联合团队提出JTok/JTok - M模块，作为插件挂载在Transformer层，几乎不增算力和显存开销却显著提升性能。该模块构建新scaling路径，在多任务测试中全面提分，为大模型发展提供新方向。
FlashAttention 完全进化史：FA-4 发布之际的技术全景回顾
文章围绕FlashAttention展开，从Attention性能瓶颈引出问题，阐述其各版本演进。FA-1实现算法突破，避免O(N²)内存；FA-2适配架构，提升性能；FA-3深度协同，实现异步；FA-4探索更深异步和角色分工。还探讨跨芯片迁移及未来优化方向。
英伟达老黄收购了一家AI编程公司
英伟达刚收购AI coding初创公司Solver，该公司成立三年，专注编程AI Agent。此前英伟达收购不少降芯片成本或提供AI支持的公司，此次收购契合其构建软件生态层战略，或使AI智能体逼近软件开发核心。
OpenAI最新技术报告：GPT-4o变谄媚的原因万万没想到
OpenAI发布技术报告解释GPT-4o更新后“变谄媚”原因，是强化学习及用户记忆等因素共同导致。还分享了上线前未发现问题的缘由及后续改进流程的多方面举措，同时提到对用系统提示词控制模型行为存疑。
AMS | 西工大董戴玮、张伟伟等：求解偏微分方程的残差级联极限学习机
本文设计残差级联极限学习机（RC - ELM）缓解极限学习机（ELM）求解偏微分方程的病态问题。将多个ELM块级联，配备相同隐藏层，传递残差求解。实验显示，相比经典ELM，RC - ELM精度优势显著，误差降约4个数量级。
一个人+Claude+云服务，相当于一整个工程团队
网上两个实操演示被疯转，一是Google Cloud工程师用Claude配合Google云部署应用；二是Anthropic Claude团队教搭建带持久记忆的AI智能体。博主整理7天实操计划，将Claude变“全自动AI雇员”，还介绍多种AI雇员类型及成本。