「稀疏注意力优化」共找到 1447 篇相关文章
DeepSeek-OCR 2 架构创新性能暴涨 3.73%
DeepSeek-OCR 2核心技术突破集中于DeepEncoder V2架构创新与端到端优化。如视觉Tokenizer低参高效压缩Token，LLM式视觉编码器用双流注意力驱动因果建模等，还采用三级训练流水线提升效率。
kimi K3超大杯升级背后的技术内幕
文章介绍开源模型 K3 架构设计思路。主要探讨 MoE 和 MLA 部分，在 MoE 方面提出 SiTU、Norm、QB 改进；在注意力机制选择 MLA，与 KDA 混合缓解部分问题，还谈及 DSV4、NoPE 相关特点。
硬核拆解大模型，从 DeepSeek-V3 到 Kimi K2 ，一文看懂 LLM 主流架构
本文详细列举 8 个主流大语言模型，硬核拆解架构设计与革新思路，介绍架构演进趋势。如 DeepSeek-V3 的 MLA 与 MoE 技术，OLMo 2 的归一化策略，Gemma 3 的滑动窗口注意力机制等。
Kimi K2技术报告正式发布：“保姆级”深度解析，一文读懂万亿参数智能体的所有秘密
Kimi K2技术报告发布，Moonshot团队用万亿+参数稀疏MoE架构等打造接近Claude - Opus的通用大模型。围绕训练稳定性等改进，有预训练、架构设计等多方面创新，为智能体领域提供可行路径。
8种LLM架构设计大比拼：从 DeepSeek-V3 到 Kimi K2，究竟有啥不同
文章对比了8种LLM架构设计，如DeepSeek-V3、OLMo 2等。介绍各模型关键技术，像DeepSeek-V3的多头潜在注意力和混合专家架构，还分析不同设计对性能、效率的影响，助读者了解LLM架构差异。
比肩Claude Opus：阶跃星辰最强模型Step 3.5 Flash发布
阶跃星辰发布最强模型 Step 3.5 Flash，参数强大，性能与前沿顶级大模型并驾齐驱。其架构平衡算力与智力，有独特注意力布局；基础设施保障训练稳定；强化学习激发智能体潜能；评测数据显示战斗力强，未来还将持续优化。
万亿参数狂欢！一文刷爆2025年七大顶流大模型架构
文章深入剖析2025年顶级开源模型的创新技术，介绍了DeepSeek V3/R1、Kimi 2、Qwen3等七大顶流大模型架构，揭示滑动窗口注意力、MoE和NoPE如何重塑效率与性能。
这些大神在Meta的论文看一篇少一篇了
田渊栋团队剖析可验证奖励强化学习（RLVR）训练动态，戳破参数更新稀疏误区，提出三门理论说明其参数更新定位机制，还为RL训练算法设计提供指导，指出SFT时代参数高效微调方法在RLVR中迁移效果差。
面壁MiniCPM4端侧模型发布：长文本推理 5 倍提速，0.5B 模型拿下新SOTA
2025智源大会，面壁发布MiniCPM4.0端侧模型，含8B稀疏闪电版与0.5B款。其采用InfLLM架构，实现长文本推理5倍提速、最高220倍加速，还在性能、部署等方面优化，适配多芯片与框架。
如何重现 DeepSeek 推理性能突破
DeepSeek-V3 是热门开源大模型，采用大规模 MoE 架构，优化推理性能是工程难点。阿里团队在 RTP - LLM 完成优化，对齐其推理系统性能，分享关键技术、不足与思考，还提及对 Qwen3 模型的优化策略。