「MoE算子」共找到 208 篇相关文章
李沐:我带着新模型回来了!
李沐团队的 Higgs Realtime Duplex 以 160毫秒窗口同时听说和调用工具,基于 45B MoE;目前开放候补名单,即将上线。
SC26 顶会论文:八卦炉 2—— 让万卡集群学会临场应变
清华大学翟季冬团队发布训练系统「八卦炉 2」,在 12288 张海光 DCU 跑万亿参数 MoE,总吞吐达 2.012 EFLOPS。
世界模型双冠王诞生!国产世界模型力压谷歌、英伟达等持续领跑
近日,Manifold AI 研发的世界模型 Worldscape 0.2 在 WorldArena 榜单夺冠,此前 WorldScape 0.1 也登顶 WorldScore。该模型参数规模小,进化靠 MoE 架构,展现国产世界模型实力。
Claude Mythos核心架构开源!22岁天才一人破解,融合DeepSeek思路
22岁初创CEO Kye Gomez以第一性原理推导出Claude Mythos核心架构,开源OpenMythos项目。该架构采用循环深度Transformer,不堆参数,循环思考16次推理,结合MoE层,参数效率翻倍。
MUSA获得SGLang主线支持!5月10日北京,AI Meetup等你来
5月10日北京将举办「SGLang × MUSA」技术沙龙。契机是摩尔线程MUSA后端加入SGLang官方支持体系,代码合入主线,开发者可原生调用摩尔线程GPU。还将探讨框架适配、算子编译等议题。
华为曝光两大黑科技!打破推理延迟魔咒,大模型从此「秒回」
华为通过FusionSpec和OptiQuant两大技术创新,对MoE模型进行推理优化。FusionSpec依托昇腾特点,将投机推理框架耗时降至1ms;OptiQuant支持灵活量化,为大模型推理提供高性价比。
PD 分离推理的加速大招,百度智能云网络基础设施和通信组件的优化实践
为适应PD分离式推理部署架构,百度智能云从物理网络、网络流量、通信组件和算子层面优化,提升上层推理服务性能,展现了网络、组件与业务特征融合的重要性。
江波龙在骁龙8上跑通30B模型,存储的角色变了|甲子光年
本文报道江波龙携手高通,在2026骁龙峰会上基于第六代骁龙8超级至尊版移动平台,跑通端侧30B-MoE大模型本地推理,探讨存储行业转型AI技术周期的产业逻辑。
AI开源狂飙,OpenAI们慌了!GenAI大洗牌,2025趋势深度解读
2025年,ChatGPT仍领跑,但DeepSeek、Qwen等开源模型加速追赶。独立机构报告总结六大趋势,涵盖技术突破与市场格局演变,如推理模型实用化、MoE架构普及等,开源势力挑战闭源巨头。
vLLM PIECEWISE CUDA Graph 技术学习笔记
文章围绕vLLM PIECEWISE CUDA Graph技术展开,介绍了vLLM Compilation架构、分片编译技术、算子融合、集合通信融合、编译缓存、装饰器系统等内容,PIECEWISE技术让vLLM在prefill阶段性能提升。