「Kimi Delta 注意力」共找到 368 篇相关文章
110万美元悬赏!AMD发起全球战书:谁能打破DeepSeek与Kimi的推理速度极限?
AMD与GPU MODE联合发起2026线上黑客松,向全球发榜。挑战赛设110万美元奖池,分预选赛和决赛,要对核心GPU算子打磨、挑战明星模型,代码须可合并,给出了赛程安排及参赛方式。
杨植麟带 Kimi 团队深夜回应:关于 K2 Thinking 爆火后的一切争议
上周,月之暗面发布并开源 Kimi K2 Thinking,主打“模型即 Agent”,引发广泛关注。今日凌晨,杨植麟等团队成员在 Reddit 开展 AMA 活动,回应 K2 Thinking 相关问题,如 KDA 机制应用、训练成本、速度与准确性平衡等。
万字长文!大模型(LLM)推理优化技术总结(非常详细)
文章聚焦大模型推理优化技术,介绍推理过程分预填充与解码阶段,还阐述模型并行、注意力机制优化、模型优化及服务技术等,如多查询注意力减少内存,FlashAttention 优化计算顺序。
AI失忆术!只需3个注意力头,就能让大模型忘记「狗会叫」
Meta和纽约大学团队发布论文《From Concepts to Components》,提出SAMD和SAMI方法。前者定位模型概念注意力模块,后者微调强度。能让模型‘失忆’,还可增强推理、控制安全,为AI研究开新方向。
爆冷!首届大模型争霸,Grok 4下出「神之一手」?DeepSeek、Kimi惨遭淘汰
谷歌Kaggle举办首届全球AI象棋争霸赛,八款顶级语言模型正面对抗。首战8进4淘汰战中,Gemini 2.5 Pro、o4 - mini、Grok 4、o3晋级,Claude 4 Opus、DeepSeek R1、Gemini 2.5 Flash和Kimi K2出局。比赛考验AI整体理解能力。
用短视频成本生成长视频,字节Seed新注意力机制让计算量降低85%
字节Seed与斯坦福等机构推出新模型,其新注意力机制MoC能让长视频生成计算量降低85%,质量不减且保持连贯性。团队将视频生成定义为上下文检索任务,提出MoC机制并阐述实现方法。
代码检索新王登基!CodeFuse | 开源C2LLM,用“注意力池化”刷新MTEB-Code榜单
蚂蚁集团与上海交通大学推出C2LLM系列模型,基于注意力创新池化机制解决代码表征痛点,登顶MTEB - Code榜单。作为CodeFuse Embedding开源家族成员,将全套回馈社区,为代码大模型研发提供基线。
Agent 基建不是设计出来的,是被 Kimi K3 和一堆应用公司卷出来的
文章以 Kimi K3 模型及相关 agent 产品为例,讲述 TiDB 作为基建服务商,满足 AI 团队需求形成 Agent Stack。还指出 Agent 时代基建难题、数据库使用变化,以及创业团队做 Agent 业务的三个判断。
从deepseek v4的受限流线型超链接mHC谈架构优化
文章围绕DeepSeek v4的受限流线型超链接mHC探讨架构优化。指出过去十年深度学习重扩展层内计算,忽视层间通信。介绍多种层间通信改进方法,提出用检索替代累加,还提及深度注意力机制及混合深度注意力的成果。
Cursor 1.5T新模型放弃Kimi基座!600亿美元股票换Cursor,马斯克第一刀砍向微软GitHub
SpaceX官宣收购Cursor,后者获600亿美元股票。Cursor在Compile大会发布1.5T新模型和Origin平台。新模型规模大、从零训练、算力提升;Origin是面向智能体的Git平台,将与GitHub竞争。