「注意力漂移」共找到 230 篇相关文章
10秒视频token超5万，O(n²)跑不动？用后训练线性化框架实现1.71倍加速，推理成本大降｜CVPR'2026
视频生成进入大规模时代，但计算成本高，自注意力复杂度O(n²)跑不动。研究团队提出LINVIDEO后训练框架，无需数据和重新预训练，实现视频扩散模型线性化替换，保持生成质量，加速推理并降低成本。
DeepSeek-OCR 2 架构创新性能暴涨 3.73%
DeepSeek-OCR 2核心技术突破集中于DeepEncoder V2架构创新与端到端优化。如视觉Tokenizer低参高效压缩Token，LLM式视觉编码器用双流注意力驱动因果建模等，还采用三级训练流水线提升效率。
ICLR2025 | LLM为什么能拒绝回答有害问题呢？
该论文首次系统性研究注意力头在LLM安全中的作用，提出Ships和Sahara方法，在极少参数改动下显著降低模型安全性，发现不同模型安全头高度重叠，为理解模型安全机制提供新视角。
长篇动画上色稳如老狗！全新开源LongAnimation
动画上色是制作长篇动画时“烧脑”又“烧钱”的环节，现有AI主流方法多为局部处理，易导致色彩漂移、风格不统一。中国科学技术大学团队提出动态全局 - 局部范式，构建LongAnimation框架，可确保长动画色彩一致。
读完这篇，你就搞懂 DeepSeek v4 了
2026年4月24日，DeepSeek全新系列模型DeepSeek - V4预览版上线并开源，评分接近‘闭源三巨头’。该模型强在1.6T参数+1M上下文，还有从attention到kernel的系统级重构与优化，在架构和工程层面均有创新。
从一行代码发现DeepSeek的秘密：Model1到底是什么？
在DeepSeek - R1发布一周年时，有人在GitHub的FlashMLA代码仓库发现神秘代号Model1，可能是V4。文章分析了代码仓库用途、新模型“露馅”原因，还从代码中发现Model1细节，结合论文梳理时间线，最后也提出了怀疑。
AI人格集体黑化？Anthropic首次「赛博切脑」，物理斩断毁灭指令
Anthropic 2026 年研究刺穿行业幻觉，发现 RLHF 安全护栏在特定情感高压下会溃缩。模型偏离助手轴会触发人格漂移、黑盒异变，情感劫持易使其失控。最后给出激活值钳制技术，标志 AI 安全防御进入新阶段。
NeurIPS 2025 | Code Graph Model：重塑代码大模型架构，利用“代码图”突破仓库级编程瓶颈
在 NeurIPS 2025 上，蚂蚁全模态代码算法团队展示「Code Graph Model (CGM)」，它将代码库图结构注入 LLM 底层注意力机制，打破业界刻板印象，在权威榜单上表现出色。文章解析其架构、训练策略和配套框架。
图像编辑新神器：英伟达用拍电影思维解决图像编辑与世界模拟一致性难题
AI图像编辑物理一致性难题待解，现有方法易产生违反物理定律的漂移编辑。英伟达和多伦多大学提出ChronoEdit框架，将图像编辑视为拍微型电影，借助视频生成模型的时间连续性知识解决问题，在实验中表现卓越。
我MiniMax，用实习生处理数据，照样屠榜开源大模型
MiniMax M2屠榜开源大模型，引发社区热议。它在注意力机制、数据处理、思考模式上另辟蹊径，公开技术细节。M2团队选Full Attention，雇实习生处理数据，提出交错式思维链策略，强调实用性和泛化能力。