「独立图层」共找到 775 篇相关文章
DiT在数学和形式上是错的？谢赛宁回应：不要在脑子里做科学
X上有博主称DiT存在架构缺陷，其FID过早稳定，可能无法继续从数据中学习。还批判了DiT的设计，如使用后层归一化和adaLN - zero。DiT作者谢赛宁回应，强调做研究要基于实验，也指出DiT现存一些问题。
他救了OpenAI、年赚过亿、三家明星CTO，却自曝跟不上AI发展了！硅谷大佬告诫：不是马斯克，就别碰大模型
Bret Taylor履历丰富，曾助力OpenAI解决危机。他认为AI市场将分化为前沿基础模型、AI工具层和应用型AI三个板块，不建议普通创业者做基础模型，看好应用型AI中Agent生态。还分享创业、编程等多方面见解。
200行python代码实现从Bigram模型到LLM
本文从`babygpt_v1.py`出发，逐步加入self-attention机制、position嵌入等，实现完整GPT。介绍Transformer结构，讲解位置编码、单头自注意力等机制的代码实现，还阐述后续层的用途、参数调整及训练效果，最后提及模型优化方向。
Alphaist 陈哲对谈蓝驰陈维广：AI 应用的机会在哪里？具身到底怎么投？
Alphaist 创始人陈哲与蓝驰创投管理合伙人陈维广在 AGI Playground 2026 上对谈，探讨 AI 应用机会与具身投资策略。谈到市场热度变化、SOTA 模型与用户需求差距等，也对应用层机会、估值逻辑、具身智能发展发表看法。
ACL 2026 | Spatial-Agent：地图Agent全新概念转换范式
论文 'Spatial-Agent' 提出地理空间问答应建模为 'concept transformation'，引入 GeoFlow Graph 中间表示。它从自然语言问题构建图结构，再映射到工具调用。实验显示其对地图任务有帮助，还指出构建地图类 agent 需稳定数据源等。
华人学生立大功！新王Mamba-3直击Transformer死穴，推理效率碾压7倍
新一代开源架构Mamba-3发布，由CMU普林斯顿原班人马打造，15亿参数性能比Transformer高4%，长序列任务端到端延迟仅为其七分之一。它采用新设计哲学，推理优先，有三大核心技术，还能与自注意力层混合提升检索能力。
Dense、MoE之外第三条Scaling路径：交大提出JTok模块，省1/3算力
上海交通大学与小红书Hi Lab联合团队提出JTok/JTok - M模块，作为插件挂载在Transformer层，几乎不增算力和显存开销却显著提升性能。该模块构建新scaling路径，在多任务测试中全面提分，为大模型发展提供新方向。
谷歌做了个论文专用版nano banana！顶会级Figure直出
科研人画论文插图耗时久、要求高，现有大模型搞不定。北大与Google Cloud AI Research团队推出PaperBanana，能按论文方法画顶会级Figure，不仅能从零生成，还能润色丑图，通过多智能体协作实现科研表达自动规范化。
劈柴哥和哈萨比斯亲自站台！谷歌世界模型Project Genie刷屏，幕后团队揭秘60秒不是极限，内存是巨大约束
谷歌发布世界模型原型 Project Genie，用一句话或图就能生成可玩交互的实时虚拟世界，由劈柴哥和哈萨比斯站台。它基于 Genie 3、Nano Banana Pro 和 Gemini 构建，解决了世界模型长期以来的短板，目前处于实验阶段。
FlashAttention 完全进化史：FA-4 发布之际的技术全景回顾
文章围绕FlashAttention展开，从Attention性能瓶颈引出问题，阐述其各版本演进。FA-1实现算法突破，避免O(N²)内存；FA-2适配架构，提升性能；FA-3深度协同，实现异步；FA-4探索更深异步和角色分工。还探讨跨芯片迁移及未来优化方向。