「约束注意力」共找到 334 篇相关文章
MoCa：首个大规模双向多模态表征模型
为解决VLM用于嵌入的痛点，中国人民大学等机构研究者提出MoCa框架，可将单向注意力VLM训练成双向多模态编码器。它分两阶段，实验效果好，未来可拓展模态、提升多语言适应等。
无需训练，即插即用，2倍GPU端到端推理加速——视频扩散模型加速方法DraftAttention
高质量视频生成任务中，扩散模型成主流，但DiT模型注意力机制计算量大，成推理瓶颈。现有加速法效果不佳，为此美国东北大学等团队提出DraftAttention，可2倍加速推理且不损画质。
4400 人收藏的开源排版项目！Kami：让 AI 生成的文档，终于有了值得一看的排版！
开源作者tw93因不满AI生成文档排版，开发了Kami。它是给AI写的文档设计系统，有一套跨文档的约束集合，支持六种文档类型，安装简单，能让AI生成的文档排版更专业。
想进OpenAI？先解出这道题，百万美元算力已就位
OpenAI发起Model Craft Challenge「Parameter Golf」项目，要求在固定数据集上降验证损失，模型产物控制在16MB内，8张H100 GPU 10分钟完成训练。提供百万美元算力，6月招早期人才，挑战3月18日至4月30日。
Kimi新架构让马斯克叹服！17岁高中生作者一战成名
17岁高中生陈广宇作为共同一作的论文提出Attention Residuals技术，将注意力机制“旋转90度”。该技术可让模型“回头看”，经Kimi Linear 48B大模型验证，训练效率提升25%，推理延迟增加不到2%。
10秒视频token超5万，O(n²)跑不动？用后训练线性化框架实现1.71倍加速，推理成本大降｜CVPR'2026
视频生成进入大规模时代，但计算成本高，自注意力复杂度O(n²)跑不动。研究团队提出LINVIDEO后训练框架，无需数据和重新预训练，实现视频扩散模型线性化替换，保持生成质量，加速推理并降低成本。
DeepSeek-OCR 2 架构创新性能暴涨 3.73%
DeepSeek-OCR 2核心技术突破集中于DeepEncoder V2架构创新与端到端优化。如视觉Tokenizer低参高效压缩Token，LLM式视觉编码器用双流注意力驱动因果建模等，还采用三级训练流水线提升效率。
刚刚，DeepSeek扔出大杀器，梁文锋署名！暴力优化AI架构
2026新年第一天，DeepSeek发表梁文锋署名新论文，提出「mHC（流形约束超连接）」架构。它仅增约6.7%训练时间开销，就能让27B参数模型性能显著提升，还可能淘汰ResNet结构。
SIGGRAPH Asia 2025最佳论文 | 港中大、曼彻斯特大学获奖
SIGGRAPH Asia 2025将“最佳论文奖”颁给港中大与曼彻斯特大学团队研究。该研究提出全新切片计算框架，把切片生成与路径规划转化为数学优化问题，解决传统DLP 3D打印难题，还介绍了进阶策略和实验结果。
ICLR2025 | LLM为什么能拒绝回答有害问题呢？
该论文首次系统性研究注意力头在LLM安全中的作用，提出Ships和Sahara方法，在极少参数改动下显著降低模型安全性，发现不同模型安全头高度重叠，为理解模型安全机制提供新视角。