「全注意力残差」共找到 2099 篇相关文章
基于闪电注意力机制，创新高效开源大模型
传统Transformer架构处理长文本和复杂推理任务有效率瓶颈，多数领先模型仍依赖传统注意力设计。MiniMax开源基于闪电注意力机制的专家混合模型Minimax，从架构、创新模块、训练框架等多方面优化，表现突出。
腾讯 CodeBuddy IDE 如何成为一个“全栈高级工程师”？
腾讯 CodeBuddy IDE 海外版开启内测，国内版预计 8 月上线。它定位‘下一代 AI 全栈高级工程师’，内置 4 个智能体，助力全链路研发。腾讯内部超 43% 代码由 AI 生成，编码时长缩短 40%。
MiniMax Agent 再进化！正式走向商业级全栈开发
MiniMax Agent 升级成‘全栈开发师’，建立完整交付标准，构建技术生态。它能完成多任务，配置顺滑，可处理前端问题。还在 MCP 生态、支付集成等方面革新，从工具迈向数字化商业引擎。
美团开源全模态，比肩顶级闭源模型，开源新SOTA
美团LongCat团队发布5600亿参数开源全模态模型LongCat - Flash - Omni，它有端到端全模态架构，能实现毫秒级实时音频 - 视觉交互。该模型训练采用渐进式策略，工程上有高效技术支撑，在多基准测试表现出色。
从人工到AI驱动：天猫测试全流程自动化变革实践
AI时代，天猫技术质量同学探索AI在测试全流程提效的落地方案，将传统测试工作链拆解为五阶段，目标是实现全流程自动化等。介绍了测试体系变革、所需关键能力、技术架构及落地收获与未来趋势。
时空压缩！剑桥大学提出注意力机制MTLA：推理加速5倍，显存减至1/8
在大语言模型发展中，Transformer自注意力机制有计算复杂度问题且KV缓存成推理瓶颈。剑桥大学提出MTLA，结合时空压缩策略，提升推理效率，在多任务中表现出色，代码已开源。
DeepSeek-V3.2-Exp：用稀疏注意力打破长文本效率瓶颈
在NLP领域，处理长文本时传统注意力机制效率低。DeepSeek团队推出DeepSeek-V3.2-Exp模型，引入稀疏注意力机制，在保持性能同时提高长文本处理效率，降低计算复杂度，在多基准测试中表现良好。
360安全云架构全解，AI智能体如何开启「主驾」新时代？
AI发展加速，网络安全危机加剧。360安全云在ISC.AI 2025大会发布新产品，提出“安全即服务”理念，打造AI驱动的四层架构，发布三大类智能体，为企业提供全生命周期价值交付的安全服务。
线性注意力回归！Kimi新模型引爆，MiniMax却悄悄换回传统架构
LLM领域线性注意力机制正在回归，工程实践主要由国产模型推进。早期线性注意力因牺牲精度未获主流认可，今年下半年多个国产模型采用其变体，MiniMax却又换回传统架构，Kimi新模型带来新解法。
国内最年轻AI教授创业：要让世界模型走向全身全模态
本文报道1998年生的国内最年轻AI教授杨朔创立破晓智能，联合天珑移动发布全身全模态数据采集系统SeePhys Hub，填补现有具身智能数据采集的信息缺口，目标研发全模态世界模型。