Kimi Delta 注意力」共找到 368 篇相关文章

开源动态7

110万美元悬赏!AMD发起全球战书:谁能打破DeepSeek与Kimi的推理速度极限?

AMD与GPU MODE联合发起2026线上黑客松,向全球发榜。挑战赛设110万美元奖池,分预选赛和决赛,要对核心GPU算子打磨、挑战明星模型,代码须可合并,给出了赛程安排及参赛方式。

AI科技大本营
开源动态8

杨植麟带 Kimi 团队深夜回应:关于 K2 Thinking 爆火后的一切争议

上周,月之暗面发布并开源 Kimi K2 Thinking,主打“模型即 Agent”,引发广泛关注。今日凌晨,杨植麟等团队成员在 Reddit 开展 AMA 活动,回应 K2 Thinking 相关问题,如 KDA 机制应用、训练成本、速度与准确性平衡等。

AI前线
推荐文章8

万字长文!大模型(LLM)推理优化技术总结(非常详细)

文章聚焦大模型推理优化技术,介绍推理过程分预填充与解码阶段,还阐述模型并行、注意力机制优化、模型优化及服务技术等,如多查询注意力减少内存,FlashAttention 优化计算顺序。

AINLPer
算法论文8

AI失忆术!只需3个注意力头,就能让大模型忘记「狗会叫」

Meta和纽约大学团队发布论文《From Concepts to Components》,提出SAMD和SAMI方法。前者定位模型概念注意力模块,后者微调强度。能让模型‘失忆’,还可增强推理、控制安全,为AI研究开新方向。

新智元
新闻资讯7

爆冷!首届大模型争霸,Grok 4下出「神之一手」?DeepSeek、Kimi惨遭淘汰

谷歌Kaggle举办首届全球AI象棋争霸赛,八款顶级语言模型正面对抗。首战8进4淘汰战中,Gemini 2.5 Pro、o4 - mini、Grok 4、o3晋级,Claude 4 Opus、DeepSeek R1、Gemini 2.5 Flash和Kimi K2出局。比赛考验AI整体理解能力。

新智元
开源动态8

用短视频成本生成长视频,字节Seed新注意力机制让计算量降低85%

字节Seed与斯坦福等机构推出新模型,其新注意力机制MoC能让长视频生成计算量降低85%,质量不减且保持连贯性。团队将视频生成定义为上下文检索任务,提出MoC机制并阐述实现方法。

量子位
开源动态8

代码检索新王登基!CodeFuse | 开源C2LLM,用“注意力池化”刷新MTEB-Code榜单

蚂蚁集团与上海交通大学推出C2LLM系列模型,基于注意力创新池化机制解决代码表征痛点,登顶MTEB - Code榜单。作为CodeFuse Embedding开源家族成员,将全套回馈社区,为代码大模型研发提供基线。

AINLPer
开源动态7

Agent 基建不是设计出来的,是被 Kimi K3 和一堆应用公司卷出来的

文章以 Kimi K3 模型及相关 agent 产品为例,讲述 TiDB 作为基建服务商,满足 AI 团队需求形成 Agent Stack。还指出 Agent 时代基建难题、数据库使用变化,以及创业团队做 Agent 业务的三个判断。

Founder Park
算法论文7

从deepseek v4的受限流线型超链接mHC谈架构优化

文章围绕DeepSeek v4的受限流线型超链接mHC探讨架构优化。指出过去十年深度学习重扩展层内计算,忽视层间通信。介绍多种层间通信改进方法,提出用检索替代累加,还提及深度注意力机制及混合深度注意力的成果。

Agent的潜意识
7

Cursor 1.5T新模型放弃Kimi基座!600亿美元股票换Cursor,马斯克第一刀砍向微软GitHub

SpaceX官宣收购Cursor,后者获600亿美元股票。Cursor在Compile大会发布1.5T新模型和Origin平台。新模型规模大、从零训练、算力提升;Origin是面向智能体的Git平台,将与GitHub竞争。

InfoQ