「Kimi Delta 注意力」共找到 377 篇相关文章
用短视频成本生成长视频，字节Seed新注意力机制让计算量降低85%
字节Seed与斯坦福等机构推出新模型，其新注意力机制MoC能让长视频生成计算量降低85%，质量不减且保持连贯性。团队将视频生成定义为上下文检索任务，提出MoC机制并阐述实现方法。
代码检索新王登基！CodeFuse ｜ 开源C2LLM，用“注意力池化”刷新MTEB-Code榜单
蚂蚁集团与上海交通大学推出C2LLM系列模型，基于注意力创新池化机制解决代码表征痛点，登顶MTEB - Code榜单。作为CodeFuse Embedding开源家族成员，将全套回馈社区，为代码大模型研发提供基线。
Agent 基建不是设计出来的，是被 Kimi K3 和一堆应用公司卷出来的
文章以 Kimi K3 模型及相关 agent 产品为例，讲述 TiDB 作为基建服务商，满足 AI 团队需求形成 Agent Stack。还指出 Agent 时代基建难题、数据库使用变化，以及创业团队做 Agent 业务的三个判断。
从deepseek v4的受限流线型超链接mHC谈架构优化
文章围绕DeepSeek v4的受限流线型超链接mHC探讨架构优化。指出过去十年深度学习重扩展层内计算，忽视层间通信。介绍多种层间通信改进方法，提出用检索替代累加，还提及深度注意力机制及混合深度注意力的成果。
Cursor 1.5T新模型放弃Kimi基座！600亿美元股票换Cursor，马斯克第一刀砍向微软GitHub
SpaceX官宣收购Cursor，后者获600亿美元股票。Cursor在Compile大会发布1.5T新模型和Origin平台。新模型规模大、从零训练、算力提升；Origin是面向智能体的Git平台，将与GitHub竞争。
AST | 西工大崔榕峰、张伟伟等：基于物理约束与双并行注意力UNet++的高保真度三维机翼流场重构研究
本文针对三维机翼流场重构难题，提出DPAtt - UNet++框架，融合几何隐式编码、多尺度注意力与物理规律约束。实验表明，其重构精度高，预测速度较CFD提升2 - 3个数量级，为飞行器气动分析提供新路径。
AST | 西工大崔榕峰、张伟伟等：基于物理约束与双并行注意力UNet++的高保真度三维机翼流场重构研究
传统高保真CFD模拟计算资源消耗大，现有深度学习方法处理三维流场重建面临挑战。本文提出物理约束双并行注意力UNet++框架，实验表明其在流场重构精度上较传统U - Net提升约10%，预测速度提升2 - 3个数量级。
Cursor 套壳、Cloudflare 上架、老黄邀请，中国模型杀进了硅谷的 AI 供应链
3月19日，Cursor发布新模型Composer 2，后被发现底层基于中国Kimi开源模型K2.5微调。此外，Cloudflare将K2.5上架到边缘计算平台，成本降77%；黄仁勋邀Kimi创始人演讲；马斯克两度点赞Kimi。
拒绝计算“一视同仁”！Elastic Attention：让大模型学会“看人下菜碟”
现代大语言模型用全注意力机制计算复杂度高，现有混合注意力策略是静态的。为此提出Elastic Attention，引入轻量级Attention Router，具备动态路由等亮点，在主流模型测试中效果好。
2025 年最全面的 LLM 架构技术解析【长文】
Sebastian Raschka更新「大型LLM架构对比」长文，解析2025年LLM架构发展。介绍了如DeepSeek V3、OLMo 2、Gemma 3等模型架构特点，像DeepSeek V3用MLA和MoE提升效率，还探讨线性注意力复兴等趋势。