「全注意力残差」共找到 2026 篇相关文章
5B参数+4060Ti，10秒出图，全流程开源可复现！补齐统一多模态生成编辑的开源版图，让高质量图像生成真正变得更轻量、更普及
近日，多机构联合发布统一多模态生成编辑模型DeepGen 1.0，仅5B参数，集成五大能力，4060ti 16G上10秒出图，多项指标超大4倍工业级模型。团队开源全流程代码与数据，可从零复现。
马斯克惊叹！DeepSeek和Kimi先后出手，捅破了Transformer的「潜规则」！
文章介绍了DeepSeek和Kimi在残差连接上的突破。DeepSeek让连接权重可学习，用数学约束保证稳定性；Kimi将注意力机制用于层间连接，解决了更根本的问题，性能提升显著。
全新开源视频换装框架MagicTryOn
现有视频虚拟试穿（VVT）方法在时空一致性和服装内容保留方面有挑战，浙大提出全新开源视频换装框架MagicTryOn，利用全自注意力机制统一时空建模，设计服装保留策略，还引入掩码感知损失。
高性能全闪并行文件系统的设计和实践
焱融科技 CTO 张文涛在 QCon 大会分享‘高性能全闪并行文件系统的设计和实践’，介绍了焱融全闪文件存储架构和 YRCloudFile 技术细节，分享其解决 AI 训练存储难题的方案。
第二代InfLLM开源，同尺寸快三倍！零参数，可训练稀疏注意力
新智元报道，清华、OpenBMB和哈工大提出零额外参数、训练高效的原生稀疏注意力框架InfLLM-V2，仅用5B长文本词元就能完成训练，相比稠密注意力机制有显著加速，性能接近传统稠密模型。
重塑注意力机制：GTA登场，KV缓存缩减70%、计算量削减62.5%
GTA由多所高校联合研发，提出大模型框架，解决传统多头注意力机制弊端。通过分组共享注意力矩阵和压缩潜在值表示，削减计算量、缩减KV缓存，实验验证其性能优、效率高，虽有局限但前景好。
AI安全上，开源仍胜闭源，Meta、UCB防御LLM提示词注入攻击
Meta和UCB开源安全大语言模型Meta - SecAlign - 70B，其对提示词注入攻击鲁棒性超闭源方案，还具更好的agentic ability。介绍了提示词注入攻击背景、防御方法，该模型打破闭源垄断，开源代码助力安全AI建设。
AMS | 西工大董戴玮、张伟伟等：求解偏微分方程的残差级联极限学习机
本文设计残差级联极限学习机（RC - ELM）缓解极限学习机（ELM）求解偏微分方程的病态问题。将多个ELM块级联，配备相同隐藏层，传递残差求解。实验显示，相比经典ELM，RC - ELM精度优势显著，误差降约4个数量级。
小米模型实现声音理解新SOTA！数据吞吐效率暴增20倍，推理速度快4倍 | 全量开源
小米全量开源MiDashengLM - 7B模型，它基于Xiaomi Dasheng和Qwen2.5 - Omni - 7B Thinker，实现声音理解新SOTA。性能领先，推理效率高，革新训练范式，全栈开源，将赋能多场景。
具身数据才是最大「金矿」，数据云商城来了：全球首个、百亿级、全模态、高自由度
帕西尼联合京东云等打造的全球首个百亿级全模态具身智能数据云商城开放。该平台解决具身智能泛化瓶颈，提供全模态数据，有端到端服务，数据质量高、体量大，还能加速具身智能进化，赋能多行业。