「全注意力残差」共找到 2099 篇相关文章
第二代InfLLM开源，同尺寸快三倍！零参数，可训练稀疏注意力
新智元报道，清华、OpenBMB和哈工大提出零额外参数、训练高效的原生稀疏注意力框架InfLLM-V2，仅用5B长文本词元就能完成训练，相比稠密注意力机制有显著加速，性能接近传统稠密模型。
重塑注意力机制：GTA登场，KV缓存缩减70%、计算量削减62.5%
GTA由多所高校联合研发，提出大模型框架，解决传统多头注意力机制弊端。通过分组共享注意力矩阵和压缩潜在值表示，削减计算量、缩减KV缓存，实验验证其性能优、效率高，虽有局限但前景好。
AI安全上，开源仍胜闭源，Meta、UCB防御LLM提示词注入攻击
Meta和UCB开源安全大语言模型Meta - SecAlign - 70B，其对提示词注入攻击鲁棒性超闭源方案，还具更好的agentic ability。介绍了提示词注入攻击背景、防御方法，该模型打破闭源垄断，开源代码助力安全AI建设。
AMS | 西工大董戴玮、张伟伟等：求解偏微分方程的残差级联极限学习机
本文设计残差级联极限学习机（RC - ELM）缓解极限学习机（ELM）求解偏微分方程的病态问题。将多个ELM块级联，配备相同隐藏层，传递残差求解。实验显示，相比经典ELM，RC - ELM精度优势显著，误差降约4个数量级。
小米模型实现声音理解新SOTA！数据吞吐效率暴增20倍，推理速度快4倍 | 全量开源
小米全量开源MiDashengLM - 7B模型，它基于Xiaomi Dasheng和Qwen2.5 - Omni - 7B Thinker，实现声音理解新SOTA。性能领先，推理效率高，革新训练范式，全栈开源，将赋能多场景。
具身数据才是最大「金矿」，数据云商城来了：全球首个、百亿级、全模态、高自由度
帕西尼联合京东云等打造的全球首个百亿级全模态具身智能数据云商城开放。该平台解决具身智能泛化瓶颈，提供全模态数据，有端到端服务，数据质量高、体量大，还能加速具身智能进化，赋能多行业。
爆火的 DeepSeek Harness，全网最全小白接入教程！
DeepSeek Harness 在 GitHub 上线不到三天 Star 数破 10 万。文章给出小白接入教程，介绍三种部署思路，包括手动安装、用 Agent 一键安装、一键安装桌面版，还给出其与多个框架的测评对比。
Coze 开源 ：全整理
字节跳动开源AI Agent开发平台Coze，含核心产品Coze Studio和Coze Loop。前者可零代码或低代码编排AI Agent；后者是运维中心，解决全链路挑战。采用Apache 2.0协议，安装门槛低，意在构建生态闭环。
3万员工+亲儿子全卖！甲骨文血色梭哈，全押OpenAI
为给OpenAI凑3000亿美金算力投名状，甲骨文裁员3万、卖医疗巨头Cerner抵债。其陷入信用危机，还改结算规则转嫁风险，订单交付迟，OpenAI或转单。甲骨文这场豪赌输赢未知。
刚刚，中国语音AI连拿多项全球第一！
本文报道阶跃星辰推出StepAudio 3全系列五款音频大模型，覆盖听、说、理解、交互、创作全语音链路，拿下三项第三方评测全球第一，分析了语音AI行业从单点竞赛转向全栈体系竞争的新趋势。