「分层稀疏注意力」共找到 442 篇相关文章
广电绝地反击！揭秘多彩新媒「不烧钱」的AI生存法则
传统广电行业面临生存危机，多彩新媒依托1100万IPTV用户，规划‘技术筑基－场景落地－生态协同’转型路径。战略聚焦三核心，技术结合外部能力分层搭建体系，场景围绕三维度落地，生态强调内外联动。
CVPR 2025 Highlight | 提升自回归模型样例学习能力，Few-shot图像编辑新范式开源
当前图像编辑模型在处理新概念时泛化能力不足，为解决此难题，Meta等研究者提出自回归模型InstaManip，创新性提出分组自注意力机制和关系正则化策略，在few - shot图像编辑任务上取得优异效果。
中国19岁常青藤少年重塑AI记忆，斩获各大榜单全球第一，点亮AI联想科技树
M-Flow记忆引擎引发海外开发者社区热议，GitHub star破千，在三大公开benchmark评测中夺冠。它由19岁团队心流元素开发，采用Cone Graph分层结构，实现Graph RAG新范式，更注重联想，而非单纯搜索。
499上门装龙虾的人，开始赚299卸载龙虾的钱了
OpenClaw（龙虾）付费部署火爆后，卸载业务也成大型产业链，遍布多平台。因安全隐患多、烧Token等问题，不少人选择卸载。商家服务分层、价格灵活，甚至还有人盯上教小朋友学龙虾的生意。
FairyGen：AI 把孩子的画“动”起来，个性化教育和动画创作
FairyGen 能将孩子画作变成卡通短片，通过多模态大语言模型构思分镜脚本，采用分层建模处理前景人物动作与背景动态。其生成流程分四阶段，但也存在前景角色重建不准、背景生成不稳定等问题。
卡帕西点赞Transformer内置计算机！每秒3万Token吞吐，拿下世界最难数独
当前大模型推理顶尖但精确计算不足，Percepta团队在Transformer权重里内嵌可执行程序，通过2维注意力头设计提升推理效率，能在普通CPU上实现每秒3万+Token的流式输出，还精确求解了世界最难数独。
RAG外部检索是多余的，英伟达最新成果颠覆认知
英伟达INTRA论文指出RAG架构中检索器和生成器在不同表示空间工作，存在retriever - generator mismatch问题。INTRA让模型用注意力查询检索自身编码表示，训练量小，在多跳QA上超越多种检索基线。
单GPU搞定高清长视频生成，效率×10！引入Mamba机制突破DiT瓶颈 | 普林斯顿&Meta
普林斯顿大学和Meta联合推出新框架LinGen，以MATE线性复杂度块取代传统自注意力，使单张GPU能在分钟级生成高质量视频。它在视频质量上优于DiT，减少FLOPs和延迟，与先进模型相当。
原来Scaling Law还能被优化？Meta这招省token又提效
2017年《Attention Is All You Need》提出的Transformer是主流语言模型基础范式。Meta新论文提出旋转不变型三线性注意力机制，证明其表现能改变Scaling Law系数，还证实2 - simplicial Transformer在有限token预算下更优。
突破一亿Token极限：EverMind提出MSA架构，实现大模型高效端到端长时记忆
机器之心发布文章介绍，大模型长期记忆能力受限于上下文长度。《MSA: Memory Sparse Attention for Efficient End-to-End Memory Model Scaling to 100M Tokens》提出MSA架构，突破扩展性、精度和效率的不可能三角，实现100M长度的大模型长时记忆框架。