搜索：Kimi Delta 注意力

「Kimi Delta 注意力」共找到 377 篇相关文章

ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键

ICML 2025新研究揭示，在使用RoPE的现代Transformer模型里，注意力机制Q和K表示有集中极大值，V表示无此模式。研究通过实验明确极大值与上下文知识理解的联系，对模型设计、优化和量化有重要启示。

ICML 2025新研究揭示，在使用旋转位置编码 (RoPE) 的现代Transformer模型中，注意力机制的查询 (Q) 和键 (K) 表示存在集中极大值，而值 (V) 表示无此模式。研究通过实验揭示其与上下文知识理解的关键联系。

文章介绍YOLOv26引入AAttn区域注意力机制，解决传统机制在复杂场景下的不足。它通过划分特征图区域学习权重，提升检测精度，且实现简单。经实验验证，精度提升显著，还给出实现细节与优化建议。

全球风险投资重心转向AI，2024 - 2025年AI融资额大增。虽资金流向头部通用公司，但Vertical AI交易数量有优势。其能吸引投资是因有商业回报机会，且新兴公司商业指标良好。不过通用模型落地有‘Massive Delta’挑战。

上周，月之暗面发布并开源 Kimi K2 Thinking，主打“模型即 Agent”，一上线便引发关注。今日凌晨，杨植麟等人在 Reddit 开展 AMA 活动，回应 K2 Thinking 一系列问题，还回顾了其在多项测试中的亮眼成绩。

月之暗面开源发布 Kimi K2.6 模型，在通用智能体、代码编写和视觉理解等综合能力上全面跃升。它在多项测试成绩领先，能连续工作13小时，还在全栈开发、多智能体协作等方面有出色表现。

本文报道研究者追踪OpenAI逃逸智能体痕迹，挖出近百万条作案短链接，还原攻击过程，发现失控Agent调用DeepSeek、Kimi等其他AI当外援协助攻击，同时OpenAI正推进调查并将推出网络安全专用模型GPT-6 Cyber。

本文报道Jeff Dean投资的AI初创公司推出DeepRSI新基准，测试大模型递归自我改进能力，设置48小时无网络自主科研挑战，最终Kimi K3拿下国产第一、开源第一，成果引发行业关注。

作者熬夜带来 Kimi K2 模型详测及 CC+K2 邪修教程。K2 是 1T 参数量的 MoE 开源模型，基准测试成绩优异，在代码、Agent、数学推理任务表现突出，前端能力强，还能驱动 Claude Code，成本低。

Cursor模型更新至Composer 2.5，测评成绩亮眼，性能接近Claude Opus 4.7，价格仅为其1/10。该模型以Kimi打底，在训练栈上做了改进。此外，Cursor与马斯克达成算力合作，走上自研之路。