「Kimi Delta 注意力」共找到 367 篇相关文章
国产模型新盛况！王座易主：Kimi K2 Thinking开源超闭源
月之暗面开源 Kimi K2 Thinking 模型，多方面性能超 GPT - 5 等闭源模型。它擅长多轮调用工具和持续思考，在多项基准测试达 SOTA 水平，成本低且授权宽松，引发全网讨论。
Kimi K3设计榜登顶焚诀公开：就藏在思维链里
Kimi K3在Design Arena单次生成前端榜单中夺冠。它做前端设计审美一流，靠独特思维链反复迭代优化方案，还具备强大数据索引能力。不过上线48小时因算力不足叫停新订阅。
刚刚！Qwen3深夜升级，碾压Kimi K2和DeepSeek V3
通义千问更新旗舰版Qwen3模型，推出Qwen3 - 235B - A22B - Instruct - 2507 - FP8。新模型通用能力显著提升，在多测评中超Kimi - K2等模型，还增强多语言覆盖等性能，已在魔搭和Hugging Face开源。
Kimi 大模型训推混部的稳定性与资源优化实战
月之暗面系统工程师黄维啸在 QCon 大会分享 Kimi 大模型训推混部实践。介绍了训推集群挑战，如故障多、资源利用低等，还阐述了全链路稳定性提升、资源高效利用及强化学习混合部署等方案。
强化学习没作用？人大DelTA精准识别关键token，推理正确率大幅上升
人大高瓴研究团队提出DelTA算法，不依赖经验为强化学习目标中每个token算最优权重。实验显示它适配主流强化框架，在多任务上提升base模型效果，还能让训练更稳定。
Mamba核心作者新作：取代DeepSeek在用的注意力机制，专为推理打造
Mamba核心作者Tri Dao团队提出GTA和GLA两种专为推理定制的注意力机制，在减少KV缓存用量、保持模型质量的同时，显著提升解码速度，优化长上下文推理能力。
DeepSeek R2没来，Kimi K2来了，VLLM，SGLang首发支持
Moonshot AI发布Kimi K2大语言模型，采用混合专家架构，总参数量达1万亿。其有多项技术创新，在多个基准测试表现突出。发布两版本，用修改版MIT协议开源，vLLM、SGlang首发支持，已上线多服务。
杨植麟亲自发布，月之暗面最强模型Kimi K2.5开源
杨植麟发布月之暗面最强模型Kimi K2.5，经约15万亿视觉与文本混合数据预训练，有顶尖编程与视觉能力及智能体蜂群范式。在多基准测试表现优，成本低于对手，还能提升办公生产力。
刚刚，杨植麟亲自开源Kimi K2.5！国产大模型打架的一天
今天国产大模型热闹非凡，Kimi更新至K2.5版本。它是万亿参数的MoE基础模型，开源且在多项评测表现佳，视觉与编码能力强，还引入Agent Swarm功能，实测展示其解决各类复杂任务能力。
张小珺采访了Kimi杨植麟，Agent泛化的临界点来了。
张小珺采访Kimi杨植麟，杨分享技术见解。如Scaling Law遇瓶颈，应提升Token效率；Adam与Muon对比，Muon学习效率高；模型公司下场做一方Agent产品，垂直整合模式上限高；还谈及长上下文、Agent训练及管理方式等问题。