「分层稀疏注意力」共找到 442 篇相关文章
拒绝重复造轮子！抽象 80% 工作场景，打造可复用的"AI 助手工厂”
文章指出，为解决重复开发AI助手的效率问题，智空间团队将高频需求抽象为可复用技术方案，打造“AI助手生产线”。介绍四大高频场景本质、共性挑战及对应方案，还阐述分层架构、解决方案、prompt架构等，最终落地“助手工厂”产品。
20美元，撕开人类思维鸿沟！宾大教授警告AI隐形阶层战
宾大教授Ethan Mollick指出，AI已成新社会基础设施，正制造人类内部分层。从免费到20美元、200美元，不同付费层级对应不同使用模式和能力，思维差异才是关键，未来需培养与AI协作的直觉。
ICCV 2025｜训练太复杂？对图片语义、布局要求太高？图像morphing终于一步到位
图像处理中‘图像morphing’常见又有创意，但以往技术有训练复杂等问题。南洋理工大学等团队提出FreeMorph方法，无需训练实现图像变形，通过改进注意力机制解决特征丢失和过渡不连贯问题，实验效果佳。
独家 | 华为天才少年楼燚航离职创业，要做 200B 以上的「具身大脑」
前华为“天才少年”楼燚航离职创立引力蓝移，定位构建具身大脑。其采用分层架构，认为具身智能Scaling拐点已至，规划了数据来源和模型参数规模。正与汇川合作，按24个月规划推进，面临产品验证挑战。
谷歌Gemini 3.2偷跑上线！2200行代码一镜到底，Claude/GPT坐不住了
发布会未开，谷歌Gemini 3.2 Flash网页端静默上线，编码实力强悍，代码量大幅提升。其核心技术是蒸馏与稀疏化，推理成本大降。Gemini App集成第三方应用，谷歌I/O大会多款产品将曝光，此次发布对谷歌至关重要。
LeCun亲自出镜打脸质疑者！憋了20年的AI世界模型，终于爆发了
LeCun亲自出镜介绍V-JEPA 2新进展，目标是开发改变AI与物理世界交互的世界模型。V-JEPA 2基于视频训练，有两阶段训练细节，能用于机器人规划，Meta还发布三个基准测试，后续将研究分层和多模态JEPA模型。
8种LLM架构设计大比拼：从 DeepSeek-V3 到 Kimi K2，究竟有啥不同
文章对比了8种LLM架构设计，如DeepSeek-V3、OLMo 2等。介绍各模型关键技术，像DeepSeek-V3的多头潜在注意力和混合专家架构，还分析不同设计对性能、效率的影响，助读者了解LLM架构差异。
除了prompting外，不动参数，如何改变模型行为？
文章指出传统提示工程控制大模型生成行为有缺陷，提出Steering Target Atoms (STA)方法。它用稀疏自编码器分解LLM高维表示，定位“原子知识组件”精准控行为，实验效果超现有技术，还能控制推理长度。
大模型如何"不训练"也能学习？——上下文学习的隐式权重更新机制
大型语言模型能通过上下文学习（ICL）在推理时即时学习新任务，无需修改模型参数。本文首次证明自注意力层与MLP层组合能隐式将上下文信息转为MLP层低秩权重更新，解释了ICL原理，为构建AI系统开辟新路径。
当ChatGPT也开始逐渐成为微信的模样。
OpenAI Blog提出目标是帮用户更好使用注意力，衡量标准是用户是否解决问题后离开，这与张小龙提出的微信“用完即走”理念相似。微信曾在流量时代坚持此理念，如今也面临桥与巢的矛盾。