「Ultra - Sparse MoE架构」共找到 183 篇相关文章
库克清空弹夹！2nm，韬定律，最强AI电脑
库克退休前火力全开，苹果发布首款2nm制程芯片M6和最强M系芯片M5 Ultra，塞进新款Mac。M6让Mac mini AI性能暴涨，M5 Ultra性能强悍，能跑大模型。但因内存短缺，高内存版限购且供货晚，价格也涨了。
英伟达开源全新大模型：黄仁勋不想只「卖铲子」
2025年底英伟达宣布开源全新模型家族Nemotron 3，含Nano、Super和Ultra。它融合Mamba、Transformer和MoE技术，有诸多创新。这不仅是产品更新，更是战略突袭，标志着英伟达想构建AI闭环开放生态。
从BM25到Multi-Vector：6种Embedding演进路线
文章介绍从BM25到Multi - Vector的6种Embedding演进路线，涵盖Sparse、Dense等类型，分析其痛点、效果、案例及选型建议，还给出不同场景的方案选择和步骤。
梁文锋署名！DeepSeek再发炸裂论文：提出“条件记忆”新范式，彻底打破GPU推理显存墙
来自DeepSeek的新论文提出“条件记忆（Conditional Memory）”新范式，推出Engram模块，实现可扩展知识查找。研究揭示U形缩放定律，构建的Engram模型性能超越纯MoE基线，还打破了GPU显存瓶颈。
梁圣一涨价，马斯克的订阅突然成了地球上最划算的。
DeepSeek官发涨价第三天，峰谷定价且整体涨幅大，实际体感比价格表夸张，Opencode go也涨价降额度。而马斯克的Supergrok heavy成全球性价比之王，买它送Cursor ultra，还附赠多项权益。
kimi K3超大杯升级背后的技术内幕
文章介绍开源模型 K3 架构设计思路。主要探讨 MoE 和 MLA 部分，在 MoE 方面提出 SiTU、Norm、QB 改进；在注意力机制选择 MLA，与 KDA 混合缓解部分问题，还谈及 DSV4、NoPE 相关特点。
梁文锋署名新论文，DeepSeek V4架构首曝？直击Transformer致命缺陷
新智元报道，梁文锋署名的DeepSeek新论文提出全新Engram模块，解决Transformer记忆难题。论文联手北大提出与MoE互补的“条件记忆”稀疏轴，通过Engram模块实现近似O(1)的确定性知识查找，或成稀疏LLM主流路线，下一代V4可能集成该方法。
2025 年最全面的 LLM 架构技术解析【长文】
Sebastian Raschka更新「大型LLM架构对比」长文，解析2025年LLM架构发展。介绍了如DeepSeek V3、OLMo 2、Gemma 3等模型架构特点，像DeepSeek V3用MLA和MoE提升效率，还探讨线性注意力复兴等趋势。
英特尔CES奇袭老黄大本营！英伟达显卡刚涨价，最强酷睿量产出货
英特尔第三代酷睿Ultra处理器正式开卖，基于Intel 18A制程，有RibbonFET和PowerVia两大黑科技。移动端有酷睿Ultra X9和X7，图形处理、多线程性能提升，续航达27小时，边缘处理器与PC同步发布。
万亿参数狂欢！一文刷爆2025年七大顶流大模型架构
文章深入剖析2025年顶级开源模型的创新技术，介绍了DeepSeek V3/R1、Kimi 2、Qwen3等七大顶流大模型架构，揭示滑动窗口注意力、MoE和NoPE如何重塑效率与性能。