「分层稀疏注意力」共找到 442 篇相关文章
1052篇文献！上海AI Lab发布科学LLM综述：从数据基础到Agent前沿
上海AI Lab主导，25家研究机构共同梳理270+训练集、190+评测集，提出科学数据分层框架与智能体闭环科研新范式。还介绍了模型演进、数据情况、评估基准等，指出数据缺陷并展望走向科学家智能体的三步。
告别Transformer！北大、北邮、华为开源纯卷积DiC：3x3卷积实现SOTA性能，比DiT快5倍！
北大、北邮和华为研究提出纯卷积扩散模型 DiC，抛弃自注意力机制回归 3x3 卷积。它性能超 DiT，推理速度快 5 倍，证明精心设计的卷积网络在生成任务中也能表现卓越。
硬核拆解大模型，从 DeepSeek-V3 到 Kimi K2 ，一文看懂 LLM 主流架构
本文详细列举 8 个主流大语言模型，硬核拆解架构设计与革新思路，介绍架构演进趋势。如 DeepSeek-V3 的 MLA 与 MoE 技术，OLMo 2 的归一化策略，Gemma 3 的滑动窗口注意力机制等。
3 个月达成 5 亿平台播放量，Wispr Flow 分享如何做好红人营销
Wispr Flow是语音输入法中出圈且具代表性的产品，增长快、付费强、使用频。其靠红人营销3个月在两平台获超5亿播放量。19岁实习生分享经验，涵盖招人、判断品味、分层管理等方面。
优必选「拆墙」：具身智能行业等了三年的「安卓时刻」来了吗？
4月23日，优必选在FAIR plus 2026机器人全产业链接会期间发布开发者专属社区「Thinker Cosmos」。该平台能连接场景需求与开发者，解决行业痛点，以分层服务构建生态，还提及聚焦家庭场景刚需点。
《动手写AI Agent》上下文工程：比 Prompt Engineering 更重要的事
文章围绕AI Agent的上下文工程展开，指出其比Prompt Engineering更重要。介绍了上下文工程的分层组织，包括角色定义、通用规则、项目状态和用户指令，还提及项目感知、.ling.md文件及完整System Prompt的组装。
SSM+扩散模型，竟造出一种全新的「视频世界模型」
在AI热词不断涌现的时代，斯坦福大学等机构研究将长上下文、状态空间模型、扩散模型等结合，创造全新「视频世界模型」。它用状态空间模型实现长期记忆，还设置局部注意力机制，训练和推理表现出色。
OpenAI 迈出关键一步：LLM 黑盒不再是盲盒
OpenAI开源新研究成果，提出全新范式，训练权重稀疏的Transformer模型以提取人类可理解的电路。该方法分三步，关键结果显示稀疏模型优势多，但也存在训练成本高、规模有限等局限，还给出两条未来路线。
紫东太初开源视觉神经增强方法，即插即用终结多模态幻觉 | ACL 2025
中科院自动化所等团队提出VHR方案，通过“视觉神经增强”机制放大模型视觉关键注意力头输出，降低幻觉现象。此前主流方法多作用于最终输出阶段，VHR深入干预内部机制，还介绍了SSL语义引导方法。
不愧是中国机器人，乒乓打得太6了
清华姚班本科生苏智团队在论文中提出结合模型规划与强化学习的分层框架，让宇树G1机器人实现亚秒级反应下的稳定连续对打，在真实实验中击球和回球率高，还能连打106拍。