「LLaDA MoE v2」共找到 661 篇相关文章
为什么这篇谷歌论文被称为「Attention is all you need」V2
谷歌新论文《嵌套学习：深度学习架构的幻象》引发关注，被称为「Attention is all you need」V2。它指出主流优化器是关联记忆系统，提出嵌套学习范式，构建HOPE架构，为AI设计带来新思考框架。
LightLLM中DeepSeek V3/R1 Two MicroBatch Overlap 实现解析
文章围绕LightLLM中DeepSeek V3/R1的Two MicroBatch Overlap实现展开。介绍了该技术原理，通过拆分推理过程、精心设计执行顺序实现计算与通信重叠。还阐述了数据结构设计、预处理、核心执行流程，以及优化策略和配置启用方式。
从deepseek v4的受限流线型超链接mHC谈架构优化
文章围绕DeepSeek v4的受限流线型超链接mHC探讨架构优化。指出过去十年深度学习重扩展层内计算，忽视层间通信。介绍多种层间通信改进方法，提出用检索替代累加，还提及深度注意力机制及混合深度注意力的成果。
Mythos架构被22岁小伙“逆推”开源了！MoE和注意力借鉴DeepSeek
22岁小伙Kye Gomez将Claude Mythos架构整合开源成OpenMythos，实现带MoE路由的循环深度Transformer（RDT）。该架构仅用一半参数，就能获与传统模型同等效果，吸引学界关注。
刚刚，DeepSeek首曝V3降成本秘诀！软硬协同突破Scaling天花板
DeepSeek最新论文从硬件架构和模型设计双重视角，探讨如何相互配合实现低成本大规模训练和推理，分析硬件特性对架构选择的影响，研究两者相互依赖关系，还为未来协同设计提出建议。
DeepSeek V4没做的，MiniCPM-o 4.5给做「全」了~
上周 DeepSeek V4 发布，遗憾不是多模态。今天 MiniCPM-o 4.5 补上短板，凭 9B 参数实现端到端全双工全模态大模型，自 2026 年 2 月发布后 Hugging Face 下载量超 25 万。还推出多项成果，性能表现出色。
Cloudflare 如何将 Quicksilver 迁移到多级缓存并处理数十亿个请求
Cloudflare 工程团队分享将全局键值存储 Quicksilver 过渡到分层缓存架构的故事。从 V1 到 V2 迁移，采用多级缓存策略，解决存储、一致性等问题，提升性能，多数请求可在短时间内响应。
DeepSeek 推出快速模式和专家模式
DeepSeek web 端灰度测试快速模式和专家模式，快速模式用于日常会话，专家模式适合复杂任务，但不支持文件上传，上下文仅 128k。目前两模式能力与 v3.2 没差别，或为 v4 做准备。
NVIDIA技术沙龙 《大规模EP优化：PD分离MoE并行方式》课程笔记
本文是NVIDIA技术沙龙课程笔记，介绍大规模EP优化的PD分离MoE并行方式。涵盖PD分离、大规模专家并行等五项关键技术创新，还对比多模型架构，展示推理服务架构性能特点与优化策略，以及各技术工作流程和效果。
确认！DeepSeek多模态AI已经开测
DeepSeek研究员陈小康、陈德里确认其V4视觉模式开始灰度测试。更新后出现识图模式，具备真实图像理解能力。陈小康是多模态研究组负责人，陈德里负责语言模型等核心方向，V4可谓满血归来。