「MoE Group GEMM」共找到 170 篇相关文章
华为曝光两大黑科技！打破推理延迟魔咒，大模型从此「秒回」
华为通过FusionSpec和OptiQuant两大技术创新，对MoE模型进行推理优化。FusionSpec依托昇腾特点，将投机推理框架耗时降至1ms；OptiQuant支持灵活量化，为大模型推理提供高性价比。
LLM长文本内卷，谁是真英雄？告别跑分玄学，我们需要一把“公道秤”
OpenNLG Group做了统一长上下文评估框架LOOM - Scope，兼容主流benchmark、model和长上下文加速方法。该框架围绕BENCHMARK、DEPLOYMENT和EVALUATOR三大核心模块，还提出LOOM - Bench应对评估成本制约。
AI开源狂飙，OpenAI们慌了！GenAI大洗牌，2025趋势深度解读
2025年，ChatGPT仍领跑，但DeepSeek、Qwen等开源模型加速追赶。独立机构报告总结六大趋势，涵盖技术突破与市场格局演变，如推理模型实用化、MoE架构普及等，开源势力挑战闭源巨头。
9位顶级研究员连讲3晚，华为盘古大模型底层研究大揭秘
华为诺亚方舟实验室成果颇丰，4月开发千亿级通用语言大模型Pangu Ultra，5月推出稀疏大语言模型Pangu Ultra MoE。5月28 - 30日，机器之心联合举办分享会，9位研究员揭秘量化、剪枝等关键技术突破。
如何在24GB显存里，塞下一个万亿参数的巨兽？KTransformers入选顶会SOSP
清华大学与趋境科技联合研发的KTransformers系统，可让消费级显卡跑万亿级参数模型，其论文入选SOSP 2025。该系统解决MoE模型本地部署难题，技术创新多，还与SGLang合作，提升硬件利用率。
FlashInfer集成TensorRT-LLM cubin kernel技术分析
文章以MoE模块为例，分析FlashInfer集成TensorRT-LLM的技术。探讨如何不依赖源码用其优化内核、动态加载管理CUBIN文件，介绍集成架构、源码集成技术、CUBIN动态加载系统等内容。
Agent当上群主后，群聊变成办事大厅了
文心APP内测“多人、多Agent”群聊功能，像微型“办事处”，能替人办事、支招，效率高。百度文心团队提出Group - MAS攻克技术难关，此功能是全栈技术验证，还将有新玩法。
英伟达开源全新大模型：黄仁勋不想只「卖铲子」
2025年底英伟达宣布开源全新模型家族Nemotron 3，含Nano、Super和Ultra。它融合Mamba、Transformer和MoE技术，有诸多创新。这不仅是产品更新，更是战略突袭，标志着英伟达想构建AI闭环开放生态。
RTP-LLM 在相关性大模型中的推理优化最佳实践
淘宝搜索场景引入大参数LLM模型，面临系统性能挑战。本文分享基于RTP - LLM框架的优化实践，如大BatchSize调度、批次内前缀复用、MoE Kernel动态调优等，还提及未来优化方向。
OpenAI 开源模型泄露：六大技术细节
OpenAI 可能发布的开源大模型细节泄露，包含两款模型，1200 亿参数 MoE 模型和 200 亿参数稠密模型，专注文本处理。还涉及训练技术、激活函数、上下文窗口、注意力机制及底层架构等方面的技术细节。