「Kimi Delta 注意力」共找到 367 篇相关文章
5Y News｜Kimi发布并开源 K2.5 模型，带来全新视觉理解、代码和Agent集群能力
2025年1月27日，月之暗面发布并开源Kimi K2.5模型，它是迄今最智能全能的模型，在多任务有出色表现。支持多模态输入，具备新能力，还推出Kimi Code工具，集群能力也开启Beta测试。
Kimi K2.6背后的Agent Database：Agent-native 时代的数据 Infra 竞争，跟过去 30 年有何不同
TiDB Cloud 成 Kimi K2.6 供应商，为其 Agent 建站服务提供支持。Kimi K2.6 由 Agent 完成在线应用构建，与其他 AI 建站应用不同，它全托管且用户无需技术背景。该合作解决了成本和基础设施难题，展现了 Agent-native 时代数据 Infra 竞争的新特点。
省下1.25倍算力！Kimi这篇论文，可能改写所有大模型的训练方式
大模型层数增多时，残差连接存在PreNorm稀释问题，导致后面层贡献被稀释。Kimi论文提出Attention Residuals方案，还给出工程解法Block AttnRes，实验显示能省算力且提升效果。
硬核拆解大模型，从 DeepSeek-V3 到 Kimi K2 ，一文看懂 LLM 主流架构
本文详细列举 8 个主流大语言模型，硬核拆解架构设计与革新思路，介绍架构演进趋势。如 DeepSeek-V3 的 MLA 与 MoE 技术，OLMo 2 的归一化策略，Gemma 3 的滑动窗口注意力机制等。
必看！Sebastian Raschka新博客盘点了所有主要注意力机制
著名AI技术作家Sebastian Raschka发布博客《现代LLM中注意力变体的可视化指南》，回顾近年开发并用于开放权重架构的注意力变体，包括多头、分组查询、多头潜在等注意力机制，还分析各机制特点、应用场景及优劣势。
基于闪电注意力机制，创新高效开源大模型
传统Transformer架构处理长文本和复杂推理任务有效率瓶颈，多数领先模型仍依赖传统注意力设计。MiniMax开源基于闪电注意力机制的专家混合模型Minimax，从架构、创新模块、训练框架等多方面优化，表现突出。
火速吃瓜：Kimi K2.6设计能力超越Claude Design
Claude Design刚冲击设计行业，就被中国的Kimi K2.6反超。Kimi K2.6设计能力强，价格比Claude Design便宜7倍，且“设计”只是副业。Anthropic拉软件大佬组联盟反击，胜负待察。
时空压缩！剑桥大学提出注意力机制MTLA：推理加速5倍，显存减至1/8
在大语言模型发展中，Transformer自注意力机制有计算复杂度问题且KV缓存成推理瓶颈。剑桥大学提出MTLA，结合时空压缩策略，提升推理效率，在多任务中表现出色，代码已开源。
DeepSeek-V3.2-Exp：用稀疏注意力打破长文本效率瓶颈
在NLP领域，处理长文本时传统注意力机制效率低。DeepSeek团队推出DeepSeek-V3.2-Exp模型，引入稀疏注意力机制，在保持性能同时提高长文本处理效率，降低计算复杂度，在多基准测试中表现良好。
老黄开年演讲「含华量」爆表！直接拿DeepSeek、Kimi验货下一代芯片
2026 CES科技盛宴上，老黄PPT燃爆AI圈，DeepSeek与Kimi位列C位。老黄用它们验货下一代芯片，实测显示性能提升显著。中国开源AI表现惊艳，在国际评测中成绩优异，正推动AI应用全面爆发。