「编排层」共找到 424 篇相关文章
200行python代码实现从Bigram模型到LLM
本文从`babygpt_v1.py`出发,逐步加入self-attention机制、position嵌入等,实现完整GPT。介绍Transformer结构,讲解位置编码、单头自注意力等机制的代码实现,还阐述后续层的用途、参数调整及训练效果,最后提及模型优化方向。
Alphaist 陈哲对谈蓝驰陈维广:AI 应用的机会在哪里?具身到底怎么投?
Alphaist 创始人陈哲与蓝驰创投管理合伙人陈维广在 AGI Playground 2026 上对谈,探讨 AI 应用机会与具身投资策略。谈到市场热度变化、SOTA 模型与用户需求差距等,也对应用层机会、估值逻辑、具身智能发展发表看法。
华人学生立大功!新王Mamba-3直击Transformer死穴,推理效率碾压7倍
新一代开源架构Mamba-3发布,由CMU普林斯顿原班人马打造,15亿参数性能比Transformer高4%,长序列任务端到端延迟仅为其七分之一。它采用新设计哲学,推理优先,有三大核心技术,还能与自注意力层混合提升检索能力。
Dense、MoE之外第三条Scaling路径:交大提出JTok模块,省1/3算力
上海交通大学与小红书Hi Lab联合团队提出JTok/JTok - M模块,作为插件挂载在Transformer层,几乎不增算力和显存开销却显著提升性能。该模块构建新scaling路径,在多任务测试中全面提分,为大模型发展提供新方向。
FlashAttention 完全进化史:FA-4 发布之际的技术全景回顾
文章围绕FlashAttention展开,从Attention性能瓶颈引出问题,阐述其各版本演进。FA-1实现算法突破,避免O(N²)内存;FA-2适配架构,提升性能;FA-3深度协同,实现异步;FA-4探索更深异步和角色分工。还探讨跨芯片迁移及未来优化方向。
评论送书 | 一文读懂多Agent系统演进趋势
文章指出多Agent系统成大模型应用重要方向。分析大模型交互的上下文瓶颈,如语义膨胀、信息密度不均等;阐述Agent间协同结构演化,包括松耦合编排、语义协同等;还说明传统Prompt工程局限及通信与上下文协议的作用。
英伟达老黄收购了一家AI编程公司
英伟达刚收购AI coding初创公司Solver,该公司成立三年,专注编程AI Agent。此前英伟达收购不少降芯片成本或提供AI支持的公司,此次收购契合其构建软件生态层战略,或使AI智能体逼近软件开发核心。
AMS | 西工大董戴玮、张伟伟等:求解偏微分方程的残差级联极限学习机
本文设计残差级联极限学习机(RC - ELM)缓解极限学习机(ELM)求解偏微分方程的病态问题。将多个ELM块级联,配备相同隐藏层,传递残差求解。实验显示,相比经典ELM,RC - ELM精度优势显著,误差降约4个数量级。
基于大模型的领域场景开发:从单智能体到多智能体的React框架设计与实现
作者团队经历从提示词工程到流程编排模式各阶段,现设计架构升级,选用层级指挥模式的React框架,实现单智能体对工具调用的反思规划,后续还将迭代实现多智能体协作,同时提及技术选型、系统架构等内容。
Agent 原生开发时代到来,Google Cloud Next 26 给开发者带来了什么
Google Cloud Next 26 大会热度高涨,反映行业对 Agent 原生时代的关注。Google Cloud 展示了云产业从 Cloud Native 到 Agent Native 的三层同步转换,还推出一系列 Agent 开发和管理套件,解决开发者关键问题。此外,大会亮点 A2UI 解决交互层 Agent 化。