「层贡献度」共找到 738 篇相关文章
DiT在数学和形式上是错的？谢赛宁回应：不要在脑子里做科学
X上有博主称DiT存在架构缺陷，其FID过早稳定，可能无法继续从数据中学习。还批判了DiT的设计，如使用后层归一化和adaLN - zero。DiT作者谢赛宁回应，强调做研究要基于实验，也指出DiT现存一些问题。
他救了OpenAI、年赚过亿、三家明星CTO，却自曝跟不上AI发展了！硅谷大佬告诫：不是马斯克，就别碰大模型
Bret Taylor履历丰富，曾助力OpenAI解决危机。他认为AI市场将分化为前沿基础模型、AI工具层和应用型AI三个板块，不建议普通创业者做基础模型，看好应用型AI中Agent生态。还分享创业、编程等多方面见解。
AI哪怕答案正确，逻辑链却惨不忍睹，奥数级不等式证明成功率不到50%｜ 斯坦福&伯克利&MIT
斯坦福、伯克利、MIT等联合研究，系统评估29个大模型在奥数级不等式证明任务的能力。研究发现，模型答案正确多靠猜，推理漏洞多，参数大、思考久也不能提升推理严谨度，但自我反思和定理线索策略有改善效果。
200行python代码实现从Bigram模型到LLM
本文从`babygpt_v1.py`出发，逐步加入self-attention机制、position嵌入等，实现完整GPT。介绍Transformer结构，讲解位置编码、单头自注意力等机制的代码实现，还阐述后续层的用途、参数调整及训练效果，最后提及模型优化方向。
Alphaist 陈哲对谈蓝驰陈维广：AI 应用的机会在哪里？具身到底怎么投？
Alphaist 创始人陈哲与蓝驰创投管理合伙人陈维广在 AGI Playground 2026 上对谈，探讨 AI 应用机会与具身投资策略。谈到市场热度变化、SOTA 模型与用户需求差距等，也对应用层机会、估值逻辑、具身智能发展发表看法。
给机器人打工了一天，我们体验上了AI时代最魔幻的工作。
本文讲述作者公司小伙伴达达体验给具身智能做数据采集工作的经历。具身智能数据获取难，催生数据采集员岗位。达达面试顺利，工作时先觉新奇，后感手腕酸，日薪200 - 250元，凸显AI进步背后普通人的贡献。
华人学生立大功！新王Mamba-3直击Transformer死穴，推理效率碾压7倍
新一代开源架构Mamba-3发布，由CMU普林斯顿原班人马打造，15亿参数性能比Transformer高4%，长序列任务端到端延迟仅为其七分之一。它采用新设计哲学，推理优先，有三大核心技术，还能与自注意力层混合提升检索能力。
Dense、MoE之外第三条Scaling路径：交大提出JTok模块，省1/3算力
上海交通大学与小红书Hi Lab联合团队提出JTok/JTok - M模块，作为插件挂载在Transformer层，几乎不增算力和显存开销却显著提升性能。该模块构建新scaling路径，在多任务测试中全面提分，为大模型发展提供新方向。
FlashAttention 完全进化史：FA-4 发布之际的技术全景回顾
文章围绕FlashAttention展开，从Attention性能瓶颈引出问题，阐述其各版本演进。FA-1实现算法突破，避免O(N²)内存；FA-2适配架构，提升性能；FA-3深度协同，实现异步；FA-4探索更深异步和角色分工。还探讨跨芯片迁移及未来优化方向。
藏师傅 Kimi K2 Thinking 首测！教你用 Kimi 编程全家桶
本文首发测评藏师傅 Kimi K2 Thinking，介绍 Kimi 编程全家桶。K2 Thinking 有 Agent 化等多方面升级，还推出 Kimi CLI 工具与 KFC 套餐。作者展示全家桶使用方法并多维度测试，肯定其表现，赞 Kimi 战略清醒务实有远见。