「Kimi Delta 注意力」共找到 377 篇相关文章
Kimi新架构让马斯克叹服！17岁高中生作者一战成名
17岁高中生陈广宇作为共同一作的论文提出Attention Residuals技术，将注意力机制“旋转90度”。该技术可让模型“回头看”，经Kimi Linear 48B大模型验证，训练效率提升25%，推理延迟增加不到2%。
8种LLM架构设计大比拼：从 DeepSeek-V3 到 Kimi K2，究竟有啥不同
文章对比了8种LLM架构设计，如DeepSeek-V3、OLMo 2等。介绍各模型关键技术，像DeepSeek-V3的多头潜在注意力和混合专家架构，还分析不同设计对性能、效率的影响，助读者了解LLM架构差异。
Kimi K2.5登顶开源第一！15T数据训练秘籍公开，杨植麟剧透K3
Kimi K2.5登上Hugging Face热榜榜首，下载超5.3万。它主打Agent能力，成绩超GPT - 5.2等闭源模型，性价比高。官方技术报告公开其用15T数据训练，还搭载Agent Swarm架构，团队还剧透了Kimi K3。
Kimi K2里找到了DeepSeek V3架构
Kimi新模型K2热度高，在多benchmark上达SOTA，网友好评多。Kimi工程师透露K2开源原因，还谈及Kimi发展策略。实测显示K2在前端制作、工具调用、创意写作上表现出色。此外，OpenAI开源模型推迟，引发猜测。
全网爆火的Kimi-k2驱动Claude Code亲测可食用版本来了「附详细配置」
Claude Code好用但贵，Kimi-k2表现不错且API价格便宜。月之暗面团队为Kimi K2提供与Anthropic兼容的API端点，文章给出在Claude Code使用Kimi K2的亲测配置方法。
杨植麟被梁文锋叫醒了！Kimi新模型发布即开源，1T参数全线SOTA
172天后，Kimi推出全新Kimi K2基础大模型回应DeepSeek冲击。它为MoE架构，1T参数，激活参数32B，在多任务上领先，发布即开源，还分享技术细节，实测有亮点也待优化，展现回归之势。
杨植麟预告，Kimi K3要来了
月之暗面团队海外AMA透露Kimi K3相关信息。K3或采用KDA架构，有低成本优势；通过开源解决信任问题；将推出不同规格模型；产品打磨注重写作、视觉能力及NSFW内容探索。Kimi性价比模式或改写行业规则。
实测Kimi全新Agent模型「OK Computer」，很OK
Kimi发布全新Agent模型「OK Computer」，依托Kimi K2，能搭网站、做PPT、处理大量数据。实测显示它在设计、生成、分析类任务表现不错，设计无需找素材，分析无需想角度，生成还能推荐风格。
融资35亿后，Kimi神秘模型现身竞技场
大模型竞技场上，神秘模型Kiwi - do现身，自报来自月之暗面Kimi。网友推测它可能是K2 - VL，其通过VPCT测试或改变多模态Agent格局。2025年末Kimi获35亿融资，将用于K3模型研发。
显存暴降92%！哈工大为线性注意力开辟了新道路
哈尔滨工业大学等团队发现线性注意力性能不足根源是查询范数丢失等。基于此提出NaLaFormer，在ImageNet - 1K准确率最高提7.5%，超分任务峰值内存降92.3%，为线性注意力发展开辟新道路。