「LoRA - MoE」共找到 175 篇相关文章
世界模型双冠王诞生！国产世界模型力压谷歌、英伟达等持续领跑
近日，Manifold AI 研发的世界模型 Worldscape 0.2 在 WorldArena 榜单夺冠，此前 WorldScape 0.1 也登顶 WorldScore。该模型参数规模小，进化靠 MoE 架构，展现国产世界模型实力。
Claude Mythos核心架构开源！22岁天才一人破解，融合DeepSeek思路
22岁初创CEO Kye Gomez以第一性原理推导出Claude Mythos核心架构，开源OpenMythos项目。该架构采用循环深度Transformer，不堆参数，循环思考16次推理，结合MoE层，参数效率翻倍。
华为曝光两大黑科技！打破推理延迟魔咒，大模型从此「秒回」
华为通过FusionSpec和OptiQuant两大技术创新，对MoE模型进行推理优化。FusionSpec依托昇腾特点，将投机推理框架耗时降至1ms；OptiQuant支持灵活量化，为大模型推理提供高性价比。
AI开源狂飙，OpenAI们慌了！GenAI大洗牌，2025趋势深度解读
2025年，ChatGPT仍领跑，但DeepSeek、Qwen等开源模型加速追赶。独立机构报告总结六大趋势，涵盖技术突破与市场格局演变，如推理模型实用化、MoE架构普及等，开源势力挑战闭源巨头。
9位顶级研究员连讲3晚，华为盘古大模型底层研究大揭秘
华为诺亚方舟实验室成果颇丰，4月开发千亿级通用语言大模型Pangu Ultra，5月推出稀疏大语言模型Pangu Ultra MoE。5月28 - 30日，机器之心联合举办分享会，9位研究员揭秘量化、剪枝等关键技术突破。
SGLang-Diffusion: 两个月进展
自2025年11月初发布，SGLang - Diffusion获广泛关注。过去两月持续优化，速度提升1.5倍。介绍新模型支持、LoRA支持等进展，还展示性能测试结果，阐述关键改进及未来规划。
如何在24GB显存里，塞下一个万亿参数的巨兽？KTransformers入选顶会SOSP
清华大学与趋境科技联合研发的KTransformers系统，可让消费级显卡跑万亿级参数模型，其论文入选SOSP 2025。该系统解决MoE模型本地部署难题，技术创新多，还与SGLang合作，提升硬件利用率。
Omni-Effects：首个统一多特效生成框架
Omni-Effects是面向多样化定制视觉特效生成的统一框架，结合纯提示词驱动与空间感知提示，可精确控制特效位置。构建Omni - VFX数据集验证其有效性，在复杂场景有高鲁棒性。
FlashInfer集成TensorRT-LLM cubin kernel技术分析
文章以MoE模块为例，分析FlashInfer集成TensorRT-LLM的技术。探讨如何不依赖源码用其优化内核、动态加载管理CUBIN文件，介绍集成架构、源码集成技术、CUBIN动态加载系统等内容。
他们让万亿参数RL学会了「省着跑」，顺便砍掉九成算力
2025年，强化学习成大模型进化主战场，但万亿参数模型跑RL成本高。Mind Lab团队实现1T参数模型LoRA高效RL训练，GPU消耗降90%，技术开源。此外还有Memory Diffusion记忆机制等成果。