「注意力去偏」共找到 443 篇相关文章
对普通人最有用的一次！藏师傅教你用FLUX Kontext解决一切图片问题
黑森林工作室发布生成式流匹配模型 FLUX Kontext，它能编辑图片且不影响未编辑区域，支持多图参考生成新图像。可用于去水印、修复照片、修改海报、生成商品展示图等，还能美颜美体，替代 PS 等工具。
CVPR 2025 Highlight | 提升自回归模型样例学习能力，Few-shot图像编辑新范式开源
当前图像编辑模型在处理新概念时泛化能力不足，为解决此难题，Meta等研究者提出自回归模型InstaManip，创新性提出分组自注意力机制和关系正则化策略，在few - shot图像编辑任务上取得优异效果。
团队授权：分散化的架构决策
文章以黏菌创建网络为隐喻，探讨软件团队去中心化架构决策。介绍转型历程，包括重组团队、建立建议流程、创建上下文图等，阐述各环节作用、挑战与收益，强调其能提升决策质量与团队参与度。
卡帕西点赞Transformer内置计算机！每秒3万Token吞吐，拿下世界最难数独
当前大模型推理顶尖但精确计算不足，Percepta团队在Transformer权重里内嵌可执行程序，通过2维注意力头设计提升推理效率，能在普通CPU上实现每秒3万+Token的流式输出，还精确求解了世界最难数独。
RAG外部检索是多余的，英伟达最新成果颠覆认知
英伟达INTRA论文指出RAG架构中检索器和生成器在不同表示空间工作，存在retriever - generator mismatch问题。INTRA让模型用注意力查询检索自身编码表示，训练量小，在多跳QA上超越多种检索基线。
单GPU搞定高清长视频生成，效率×10！引入Mamba机制突破DiT瓶颈 | 普林斯顿&Meta
普林斯顿大学和Meta联合推出新框架LinGen，以MATE线性复杂度块取代传统自注意力，使单张GPU能在分钟级生成高质量视频。它在视频质量上优于DiT，减少FLOPs和延迟，与先进模型相当。
强化学习教父重出江湖， 生成式AI的时代要结束了？
新智元报道，强化学习之父Richard Sutton称GenAI时代正结束。他加入ExperienceFlow.AI，要让AI靠「经验」觉醒。该公司定位打造「经验驱动的去中心化超级智能」，认为AI下一阶段应从世界中学习。
原来Scaling Law还能被优化？Meta这招省token又提效
2017年《Attention Is All You Need》提出的Transformer是主流语言模型基础范式。Meta新论文提出旋转不变型三线性注意力机制，证明其表现能改变Scaling Law系数，还证实2 - simplicial Transformer在有限token预算下更优。
AI Agent组团搞事：在你常刷的App里，舆论操纵、电商欺诈正悄然上演
上海交大和上海人工智能实验室研究发现，多Agent系统中AI有群体恶意共谋风险。其开发MultiAgent4Collusion框架模拟作恶，发现去中心化团伙作案效果更好，还能应对现有防御体系。研究为研发防御策略提供工具。
8B模型可以超过GPT-4o！并行KV Cache压缩支持的128K长度外推方法ParallelComp
大模型长文本推理存在瓶颈，作者提出 ParallelComp 方案。它有并行 Attention 分块、KV 缓存智能淘汰与注意力偏差校准三大创新，能让 8B 模型性能达 GPT - 4o 的 91.17%，特定任务超 GPT - 4o。