搜索：Kimi Delta 注意力

「Kimi Delta 注意力」共找到 367 篇相关文章

Kimi K2基于DeepSeek V3构建

从Hugging Face模型配置文件可知，月之暗面未设计全新模型结构，而是选Deepseek V3作基座模型，用自身高质量数据、独特方法做大量‘微调’和‘后训练’。

自Qwen3-Next发布，GDN成Qwen主力注意力层，随模型规模扩大开销增大。现开源FlashQLA算子库，融合优化GDN Chunked Prefill前反向算子，在NVIDIA Hopper上多场景加速，提升预训练和端侧推理效率。

周末美团开源LongCat - Flash大模型，参数量560B，推理速度达100 token/s，成本低，在Agent工具调用表现超Kimi - K2。它有Zero - Computation Experts和ScMoE创新，不过市场表现未获太多认可。

香港科技大学（广州）与地平线团队提出VGGT4D，通过分析VGGT内部机制，利用注意力层运动线索，提出无需训练框架，在动态物体分割等任务表现优异，为低成本4D重建提供新思路。

亚马逊云科技CEO在re:Invent 2025上10分钟发25个新品，2小时近40个。围绕AI Agent，从算力到模型、平台、应用全面布局，还引入中国Kimi和MiniMax，构建全栈壁垒，助力企业用好AI。

谷歌未来AI路线图曝光，Gemini全模态是重点，模型向智能体转变，推理能力将扩展。谷歌还需突破现有注意力机制限制实现无限上下文。此外，文中盘点了OpenAI、DeepSeek等大厂AI年中表现。

GitHub代码确认GLM - 5架构细节，它采用DeepSeek - V3/V3.2架构，含稀疏注意力和多Token预测，参数量745B。OpenRouter上神秘「Pony Alpha」被指是其测试版，受消息影响智谱AI港股两日涨60%。

两个月前Peter Steinberger搭建的项目，最初叫WhatsApp Relay，现获超10万GitHub星标、单周200万访问者。1月29日正式更名为OpenClaw，它是开源AI助手平台，此次发布新渠道、支持新模型等。

香港大学与英伟达联合推出广义空间传播网络（GSPN）。它采用二维线性传播与“稳定性 - 上下文条件”，将计算量降低，保留图像空间连贯性。在多视觉任务刷新性能纪录，如高分辨率生成加速超84倍。

Anthropic官宣Claude Fable 5全球上线，公布安全测试结果，8款模型包括中国的Kimi K2.7。北美公司也用行动认可中国模型，Kimi在多方面表现出色，其商业模式类似Anthropic，未来潜力大。