搜索：Kimi Delta 注意力

「Kimi Delta 注意力」共找到 377 篇相关文章

谷歌TPU跑Kimi比英伟达GPU快57%！用的还是DeepSeek推理框架

本文报道由vLLM原班人马创立的Inferact公司，联合谷歌优化后，16块谷歌TPU v7跑Kimi K3速度比同数量英伟达GB200快57%，相关代码已开源，详解了背后的技术优化思路。

Kimi K2 Thinking发布并开源，主打“模型即Agent”，能边思考边用工具，连续工具调用200 - 300次。在多评测基准超GPT - 5等闭源模型，代码权重遵循MIT协议，可在官网和应用实测。

在大语言模型发展中，长文本建模挑战大。蚂蚁研究团队提出注意力机制GCA，可端到端学习检索相关片段，实现超长序列处理与泛化，其Triton kernel实现已开源，论文被ICML 2025接收。

Kimi K2.6发布并开源，代码和Agent能力提升。作者测试发现，它在部署Claude Code源码、网站生成、多智能体任务等方面表现出色，审美提升，思维活跃，还能复刻文档风格，开源释放了前沿编程能力。

Moonshot AI发布Kimi K2.5技术报告，该模型将文本和视觉打通，有并行执行的智能体集群系统。它采用Joint Training，提出“Zero-Vision SFT”，用MoonViT - 3D处理图像和视频，开源后受欢迎，展示通用智能体可能。

开源AI基础设施公司Prime Intellect研究表明，借助多智能体Harness，让开源模型负责监控和实现，可让‘AI开发AI’更便宜、效果更好。实验中，Kimi K3搭配Harness逼近Opus 5。

昨晚，月之暗面发布并开源 Kimi K2 大模型，同步上线更新 API，价格 16 元/百万 token 输出。它超过多个开源和闭源模型成新 SOTA，展示出领先能力，还介绍训练关键技术，或成模型智能进化关键。

月之暗面团队回应Kimi K2 Thinking训练成本，透露用英伟达H800，GPU少但利用充分。该模型凭实力与低成本引迁移潮，还引发对闭源巨头估值反思。技术上有优化创新，团队还公开答疑。

Kimi 上线 K2.5 模型，前端审美佳，接近 Gemini 3，增强多模态识别，支持视频。测试显示它能按要求生成漂亮网页，还可通过反馈迭代。它对设计师和普通人帮助大，且 Agent 模式任务完成率高。

本文聚焦多模态大模型，提出基于 OCR 任务量化注意力头视觉偏好的方法，发现仅不到 5%“视觉头”主导视觉理解。还提出 SparseMM 策略优化 KV - Cache 资源分配，经多基准评测，性能和效率表现优。