「稀疏注意力架构」共找到 2033 篇相关文章
汪军对话 Rich Sutton：大模型在一定程度上分散了我们对智能理解的注意力
在RL China 2025开幕式上，汪军与图灵奖得主Richard Sutton对话。Richard认为大模型缺乏目标和奖励，分散对智能理解的注意力。他强调RL核心是从经验学习，智能原则含梯度下降等，建议将目标解读为“奖励”。
你要做旁观者，还是定义者？中关村两院全球寻找「AI时代架构师」
中关村两院（北京中关村学院与中关村人工智能研究院）一体两院、融合发展，现全球招募AI时代架构师，包括领军人才、青年科学家、应届博士/博后等，介绍了招聘方向及优厚待遇，还将召开人才闭门交流会。
奥特曼宣判Transformer死刑！ AGI两年内降临，下一代架构已在路上
奥特曼在访谈中表示未来将有全新底层架构取代Transformer，还称AGI两年内降临，编程智能体是下一个引爆点。他回忆OpenAI草创期，还给出诸多判断，“后Transformer”竞赛也已打响。
√N并行+84倍计算加速！英伟达港大全新图像注意力：空间结构都保留
英伟达、港大等研究人员提出新型视觉注意力机制GSPN，通过线性扫描和稳定性 - 上下文条件处理图像空间结构，降低计算复杂度至√N量级，在多视觉任务达先进水平，生成16K图像加速超84倍。
13人干翻Transformer！新架构SSA算力暴减千倍，成本仅Opus 5%
一款基于SSA架构的AI模型SubQ横空出世，其上下文高达1200万Token，计算量比Transformer暴减1000倍，成本不到Claude Opus的5%。打造它的Subquadratic公司仅13人，产品发布后引发AI社区不同反应。
首创双NPU架构一鸣惊人！联发科天玑9500重磅加码主动式AI体验
联发科天玑9500首创超性能+超能效双NPU架构，让AI始终在线，融入用户操作。其输出性能、上下文窗口等有显著提升，还解决了模型加载慢等问题，与多厂商合作推动端侧AI落地。
「国产GPU第一股」首秀！新架构下周揭秘，全栈底座不藏了
2025年12月19 - 20日，摩尔线程首届MUSA开发者大会将在北京举行。届时会揭晓新一代GPU架构与路线图，设20+技术专场，还有1000㎡科技嘉年华，展示全栈能力与生态进展。
架构师困境：选择已被验证的道路，还是自行开辟一条新路？
开发软件时，团队要做产品功能和架构决策，面临选已验证路径还是自辟新路的困境。使用平台和框架虽能加快开发，但有副作用。团队需通过实验判断何时扩展或替换平台。
开启端侧长文本时代！面壁全新架构，让小钢炮最快提升220倍
2025智源大会上，面壁智能发布MiniCPM 4.0模型，实现行业首个系统级上下文稀疏语言模型创新。它在端侧推理任务上表现出色，降低缓存需求，提高运行效能，还进行多维度架构创新，是AI领域探索高效率语言模型的里程碑。
ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键
ICML 2025新研究揭示，在使用RoPE的现代Transformer模型里，注意力机制Q和K表示有集中极大值，V表示无此模式。研究通过实验明确极大值与上下文知识理解的联系，对模型设计、优化和量化有重要启示。