Kimi Delta 注意力」共找到 367 篇相关文章

算法论文8

欲取代transformer的SSA(次平方稀疏注意力)解读

文章解读了欲取代Transformer的SSA(次平方稀疏注意力)算法。它支持12M tokens上下文,比fastAttention快52倍,训练和推理更快。SSA改变了注意力扩展特性,有计算和内存线性扩展等特性,经三阶段训练可可靠利用长上下文。

Agent的潜意识
产品应用7

Agent Infra 实践复盘:Kimi 如何搭建 Agent 背后的 Database 服务

PingCAP 联合创始人黄东旭复盘 TiDB Cloud 为 Kimi Agent 提供服务的细节。指出 Agent infra 面向大众用户,要最小化 Agent 使用工具的摩擦,实现低成本。Kimi 与 TiDB 合作是范例,展现 Agent 基建的新趋势。

Founder Park
新闻资讯7

Kimi新模型数学反超DeepSeek!北大校友刘征瀛等领衔

Kimi新定理证明模型超越DeepSeek,基于Qwen2.5 - 72B打造,采用Kimi k1.5强化学习训练流程。有两大技术创新,还有精简版本,官方有Demo。双方此前比赛就打得有来有回。

量子位
新闻资讯7

Cursor滑跪开源技术报告:Kimi基模这样微调能干翻Claude

Cursor放出Composer 2技术报告力证‘自研’,基于Kimi K2.5经持续预训练和异步强化学习,测试表现好。同时,杨植麟分享Kimi团队最新思考,认为大模型要规模化,断言大模型训练进入第三阶段。

量子位
开源动态8

AGI 新技术路线:下一代稀疏注意力机制 Monte Carlo Attention 开源

超对称技术公司在新版基座模型 BigBang - Proton 中使用的 Monte Carlo 注意力开源。它基于二进制块编码技术,用块间代表交流机制实现线性复杂度,兼具多种注意力机制优点,可满足宇宙尺度建模的上下文长度需求。

AI科技大本营
新闻资讯7

黄仁勋人生首条推文力挺开源,“Kimi恐慌”成为风暴眼

当地时间7月24日,英伟达创始人黄仁勋发首条推特分享联名信力挺开放权重AI。此事与新开源模型Kimi K3引发的‘Kimi恐慌’相关,‘开源vs闭源’路线之争因此推向高潮。同时,围绕模型蒸馏是否侵权争议不断。

DeepTech深科技
开源动态8

Kimi新模型拿下代码开源SOTA,仅仅72B,发布即开源

深夜,Kimi发布新开源代码模型Kimi - Dev,在SWE - bench Verified上以60.4%成绩获开源SOTA。参数量72B,编程水平强。采用MIT协议,权重和代码已发布。官方透露了部分关键技术,更多细节待后续报告。

量子位
产品应用7

人手一个数据库,Kimi背后这套AI基建到底有多能扛?

Kimi K2.6的Agent模式可帮用户搭建全套齐备的网站,但工程算力挑战大。传统数据库难以承接其需求,Kimi后端选TiDB Cloud,做了三个关键决策。这不是孤立事件,反映行业趋势,TiDB还为Agent补齐运行时基础设施。

量子位
开源动态7

最强开源Agent!Kimi K2接入Claude Code,爽翻~【喂饭级教程+实测】

上周五Kimi开源最新旗舰模型K2,它是1000B参数MoE大模型,专为Agent场景优化,API已上线且兼容多API。文章给出Kimi - K2接入Claude Code的喂饭级教程及实测,实测显示组合表现有亮点也有不足。

开源星探
推荐文章7

「说 Harness 会被淘汰的,肯定没做过工程」,Kimi 前 CLI 负责人戳破了 AI 圈最大的误解

AI编程圈两极分化,围绕底层Harness是否消失争议不断。前Kimi CLI负责人stdrc提出反常识观点,认为模型越强Harness越厚,复杂度从“能力层”转移到“协作层”,还以Kimi CLI实践及Raft创业为例阐述。

AI科技评论