Kimi Delta Attention」共找到 232 篇相关文章

开源动态7

最强开源Agent!Kimi K2接入Claude Code,爽翻~【喂饭级教程+实测】

上周五Kimi开源最新旗舰模型K2,它是1000B参数MoE大模型,专为Agent场景优化,API已上线且兼容多API。文章给出Kimi - K2接入Claude Code的喂饭级教程及实测,实测显示组合表现有亮点也有不足。

开源星探
推荐文章7

「说 Harness 会被淘汰的,肯定没做过工程」,Kimi 前 CLI 负责人戳破了 AI 圈最大的误解

AI编程圈两极分化,围绕底层Harness是否消失争议不断。前Kimi CLI负责人stdrc提出反常识观点,认为模型越强Harness越厚,复杂度从“能力层”转移到“协作层”,还以Kimi CLI实践及Raft创业为例阐述。

AI科技评论
开源动态8

5Y News|Kimi发布并开源 K2.5 模型,带来全新视觉理解、代码和Agent集群能力

2025年1月27日,月之暗面发布并开源Kimi K2.5模型,它是迄今最智能全能的模型,在多任务有出色表现。支持多模态输入,具备新能力,还推出Kimi Code工具,集群能力也开启Beta测试。

五源资本 5Y Capital
产品应用7

Kimi K2.6背后的Agent Database:Agent-native 时代的数据 Infra 竞争,跟过去 30 年有何不同

TiDB Cloud 成 Kimi K2.6 供应商,为其 Agent 建站服务提供支持。Kimi K2.6 由 Agent 完成在线应用构建,与其他 AI 建站应用不同,它全托管且用户无需技术背景。该合作解决了成本和基础设施难题,展现了 Agent-native 时代数据 Infra 竞争的新特点。

InfoQ
算法论文8

多模态大模型中Attention机制暗藏「骗局」,需用一个公式修正丨上大×南开

上海大学曾丹团队研究发现,主流VLM中attention受位置偏置和padding区域异常高attention影响,直接用其进行视觉token剪枝会丢失关键信息。团队用公式对attention去偏,集成到多种剪枝方法,提升了模型性能。

量子位
开源动态7

梳理SGLang中DP Attention及其Padding问题

作者梳理SGLang中DP Attention及其Padding问题。介绍DP Attention背景、流程,指出padding分max和sum模式,旧版sum padding浪费计算、影响cuda graph使用,v0.4.10后有优化,max padding仍待完善。

GiantPandaLLM
推荐文章7

[Triton编程][基础]vLLM Triton Merge Attention States Kernel详解

文章详细介绍vLLM中Triton Merge Attention States Kernel的实现,与PyTorch原生实现对比,该Triton kernel最高可实现3 - 5倍以上算子加速。内容涵盖Merge Attention States概念、PyTorch实现、Triton基础算子、分析及性能评估等。

GiantPandaLLM
算法论文8

拒绝计算“一视同仁”!Elastic Attention:让大模型学会“看人下菜碟”

现代大语言模型用全注意力机制计算复杂度高,现有混合注意力策略是静态的。为此提出Elastic Attention,引入轻量级Attention Router,具备动态路由等亮点,在主流模型测试中效果好。

深度学习自然语言处理
新闻资讯7

火速吃瓜:Kimi K2.6设计能力超越Claude Design

Claude Design刚冲击设计行业,就被中国的Kimi K2.6反超。Kimi K2.6设计能力强,价格比Claude Design便宜7倍,且“设计”只是副业。Anthropic拉软件大佬组联盟反击,胜负待察。

量子位
新闻资讯8

老黄开年演讲「含华量」爆表!直接拿DeepSeek、Kimi验货下一代芯片

2026 CES科技盛宴上,老黄PPT燃爆AI圈,DeepSeek与Kimi位列C位。老黄用它们验货下一代芯片,实测显示性能提升显著。中国开源AI表现惊艳,在国际评测中成绩优异,正推动AI应用全面爆发。

新智元