「分块注意力残差」共找到 244 篇相关文章
CVPR 2025 Highlight | 提升自回归模型样例学习能力，Few-shot图像编辑新范式开源
当前图像编辑模型在处理新概念时泛化能力不足，为解决此难题，Meta等研究者提出自回归模型InstaManip，创新性提出分组自注意力机制和关系正则化策略，在few - shot图像编辑任务上取得优异效果。
卡帕西点赞Transformer内置计算机！每秒3万Token吞吐，拿下世界最难数独
当前大模型推理顶尖但精确计算不足，Percepta团队在Transformer权重里内嵌可执行程序，通过2维注意力头设计提升推理效率，能在普通CPU上实现每秒3万+Token的流式输出，还精确求解了世界最难数独。
RAG外部检索是多余的，英伟达最新成果颠覆认知
英伟达INTRA论文指出RAG架构中检索器和生成器在不同表示空间工作，存在retriever - generator mismatch问题。INTRA让模型用注意力查询检索自身编码表示，训练量小，在多跳QA上超越多种检索基线。
单GPU搞定高清长视频生成，效率×10！引入Mamba机制突破DiT瓶颈 | 普林斯顿&Meta
普林斯顿大学和Meta联合推出新框架LinGen，以MATE线性复杂度块取代传统自注意力，使单张GPU能在分钟级生成高质量视频。它在视频质量上优于DiT，减少FLOPs和延迟，与先进模型相当。
原来Scaling Law还能被优化？Meta这招省token又提效
2017年《Attention Is All You Need》提出的Transformer是主流语言模型基础范式。Meta新论文提出旋转不变型三线性注意力机制，证明其表现能改变Scaling Law系数，还证实2 - simplicial Transformer在有限token预算下更优。
RAG效果不佳？先别急着微调模型，这几个关键节点才是优化重点
文章深入探讨RAG技术实现与优化，指出其在AI应用开发中常被当黑盒，从文档分块、索引增强、编码、混合检索到重排序等关键环节解析，强调结合场景调优以提升召回与精确率。
大模型是否对问题难度有预判？最新研究揭示 LLM 内部的“难度感知机制”
近期论文《Probing the Difficulty Perception Mechanism of Large Language Models》系统性解答大模型能否感知问题难度等问题。研究基于数据集在主流 LLM 上训练轻量线性探针，定位负责难度感知的注意力头，还发现不同模型表现有差异。
高效大规模创新3D重建模型iLRM
多数基于Transformer架构的模型处理多视图输入有可扩展性问题，成均馆大学、延世大学研究人员提出创新3D重建模型iLRM。它通过迭代细化机制生成3D高斯表示，有独特架构设计和高效注意力机制。
万亿参数狂欢！一文刷爆2025年七大顶流大模型架构
文章深入剖析2025年顶级开源模型的创新技术，介绍了DeepSeek V3/R1、Kimi 2、Qwen3等七大顶流大模型架构，揭示滑动窗口注意力、MoE和NoPE如何重塑效率与性能。
ICCV 2025｜训练太复杂？对图片语义、布局要求太高？图像morphing终于一步到位
图像处理中‘图像morphing’常见又有创意，但以往技术有训练复杂等问题。南洋理工大学等团队提出FreeMorph方法，无需训练实现图像变形，通过改进注意力机制解决特征丢失和过渡不连贯问题，实验效果佳。