「高稀疏度MoE结构」共找到 712 篇相关文章
架构彻底重构！DeepSeek新模型代码曝光，要来的V4让国内外都坐不住了？
DeepSeek官方GitHub代码库曝光代号“MODEL1”新模型线索，或为V4内部代号。代码显示其有重大架构变更，能并行处理稀疏与稠密计算，适配英伟达新架构。此前R1发布推动中国AI开源生态发展，新模型备受期待。
FlashAttention 完全进化史：FA-4 发布之际的技术全景回顾
文章围绕FlashAttention展开，从Attention性能瓶颈引出问题，阐述其各版本演进。FA-1实现算法突破，避免O(N²)内存；FA-2适配架构，提升性能；FA-3深度协同，实现异步；FA-4探索更深异步和角色分工。还探讨跨芯片迁移及未来优化方向。
让NCCL性能起飞的symmetric memory是啥黑科技？— part2
本文是NCCL 2.27新特性系列的第二部分，主要分析symmetric primitives的实现机制，介绍其提供的接口，如获得symmetric ptr、barrier、send、recv、llEpoch控制等接口，还解析了底层结构内存布局、各接口工作机制及LL Buffer划分机制等。
斯坦福提出新的RL范式，让3B模型的Agent超越Claude、GPT-4
斯坦福提出新的RL范式，让小模型Qwen2.5 - 3B经训练后性能超越Claude - 3.5 - Sonnet等大模型。论文解决了RL在代理环境中可变时长动作优化偏差和稀疏奖励两大挑战，为AI代理发展指明方向。
最强开源Agent！Kimi K2接入Claude Code，爽翻～【喂饭级教程+实测】
上周五Kimi开源最新旗舰模型K2，它是1000B参数MoE大模型，专为Agent场景优化，API已上线且兼容多API。文章给出Kimi - K2接入Claude Code的喂饭级教程及实测，实测显示组合表现有亮点也有不足。
SceneGen: 单图像驱动的多资产3D 场景生成
上海交通大学提出SceneGen框架，可从单张场景图像及其对应目标掩码中，同时生成带有几何结构与纹理的多个3D资产。它一次前向传播即可完成生成，在效率与稳健性上优于现有方法，虽有局限但应用潜力大。
从Rax+DX到React，一次跨端组件重写的AI提效探索
本文基于M站首页重构项目，讲述借助AI编程工具Cursor和结构化Prompt，完成从Rax到React的组件迁移、DX到React的跨端重写，实现业务逻辑优化与工程规范落地，还分析了AI提效的优劣并总结迁移范式。
小红书开源大模型dots.llm1，初次出手，小有惊艳！国外网友们又炸了……
小红书hi lab团队公布首个开源大模型dots.llm1，这是142B参数的MoE模型，仅14B激活参数就能与Qwen2.5 - 72B打平。它开源力度大，训练效率高，数据处理精细，训练稳定，获国外网友高度关注。
三季度，光刻之王“满血复活”，台积电成“AI印钞机”
日前，荷兰光刻机巨头ASML发布三季报，净销售额等数据亮眼，其预计四季度业绩更优，但2026年在华销售额或下降。同时，AI浪潮重塑芯片投资结构，ASML投资Mistral AI。台积电Q3营收、利润暴增，也面临依赖北美市场等问题。
开启端侧长文本时代！面壁全新架构，让小钢炮最快提升220倍
2025智源大会上，面壁智能发布MiniCPM 4.0模型，实现行业首个系统级上下文稀疏语言模型创新。它在端侧推理任务上表现出色，降低缓存需求，提高运行效能，还进行多维度架构创新，是AI领域探索高效率语言模型的里程碑。