「Kimi Delta Attention」共找到 233 篇相关文章
kimi K3超大杯升级背后的技术内幕
文章介绍开源模型 K3 架构设计思路。主要探讨 MoE 和 MLA 部分，在 MoE 方面提出 SiTU、Norm、QB 改进；在注意力机制选择 MLA，与 KDA 混合缓解部分问题，还谈及 DSV4、NoPE 相关特点。
Sand.ai重磅更新MagiAttention，正在定义分布式Attention性能新标杆
2025年4月，Sand.ai开源MagiAttention v1.0.0。如今发布v1.1.0，适配Blackwell新架构，构建原生Group Collective原语，经系统级协同优化，在多模型训练中得到实证，展现卓越性能。
AGI 新技术路线：下一代稀疏注意力机制 Monte Carlo Attention 开源
超对称技术公司在新版基座模型 BigBang - Proton 中使用的 Monte Carlo 注意力开源。它基于二进制块编码技术，用块间代表交流机制实现线性复杂度，兼具多种注意力机制优点，可满足宇宙尺度建模的上下文长度需求。
AGI新技术路线：下一代稀疏注意力机制Monte Carlo Attention开源
超对称技术公司开源了 Monte Carlo 注意力机制，用于新版基座模型 BigBang - Proton。它在二进制块编码技术上，用块间代表交流机制实现线性复杂度，解决了传统方法的缺点，可实现理论上无限的上下文长度，对现有预训练技术和硬件设计影响深远。
LLM也会emo，Claude玻璃心、Gemini社恐，Kimi/GLM/ DeepSeek如何？
华东师大和复旦大学研究8大模型家族是否有“情感链”。实验覆盖8大家族20+模型，发现各家族有独特“人设”，如Claude像“文艺青年”。还揭示模型在不同情境下的情绪变化及影响，给出实用建议。
谷歌约战，DeepSeek、Kimi都要上，首届大模型对抗赛明天开战
太平洋时间8月5 - 7日，8款前沿AI模型将在Kaggle Game Arena展开为期3天的国际象棋比赛，参赛方都是AI界顶流。谷歌称现有基准测试难跟上模型发展，这场比赛是探索新评估方法。赛制为单败淘汰制。
超760万元奖金悬赏，谁能徒手重构 DeepSeek 与 Kimi 的性能底层？
在大模型工程化需求下，AMD 联手 GPU MODE 发起 2026 线上黑客松：AMD E2E Model Speedrun 全球挑战赛，豪掷 110 万美元。大赛分预选赛和决赛，各设丰厚奖励，目前预选赛已进入倒计时。
国产开源LLM迎来大爆发的一周：Kimi、腾讯、快手、美团、面壁智能
国产开源大模型迎来爆发，快手、月之暗面、美团、面壁智能、腾讯等接连发布新模型，如快手Keye-VL - 1.5 - 8B刷新视频理解SOTA，美团LongCat - Flash - Chat推理快成本低等。
Attention Sink产生的起点？清华&美团首次揭秘MoE LLM中的超级专家机制
清华和美团研究聚焦MoE LLM，首次发现超级专家子集。通过多模型实证分析，揭示其分布规律、重要性及对注意力机制的影响，开发识别工具，为模型压缩提供新方向。
一段 signature，不仅撬开了 Opus 的隐藏推理，还让 Kimi、GLM 露出了"熟悉感"
研究者发现，将 Opus 等强模型返回的加密推理块交给同家族弱模型，弱模型可能转写出隐藏内容。如用 Haiku 读取 Opus 的加密信息。此外，公开的 Agent 轨迹存在隐私泄露风险，部分开源模型易受 Opus 风格影响。