搜索：零开销逐层权重卸载

「零开销逐层权重卸载」共找到 295 篇相关文章

Transformer 中的专家混合模型 (MoE)

文章介绍Transformer中专家混合模型（MoE），它能解决稠密模型扩展瓶颈。阐述其优势，如计算高效、适合并行等，还介绍在transformers库中支持稀疏架构的演进，包括权重加载重构、专家执行后端、专家并行及训练方案。

大语言模型处理长文本时，自回归生成受限于显存带宽。为减少KV缓存开销，业界尝试多种方法，但MLA有缺陷。宾夕法尼亚州立大学等研究人员提出MLRA，拆分KV缓存为四个并行分支，降低显存占用，实现4路张量并行，性能更优。

当前大模型推理顶尖但精确计算不足，Percepta团队在Transformer权重里内嵌可执行程序，通过2维注意力头设计提升推理效率，能在普通CPU上实现每秒3万+Token的流式输出，还精确求解了世界最难数独。

小米MiMo-V2.5系列模型正式开源，权重全量开放。该系列含四大模型，综合实力对标国际顶尖水准。MiMo-V2.5 Pro能力出色，如4小时无中断完成“macOS”系统，且Token效率高省成本。小米还推出开发者扶持计划。

Z.ai将旗舰开源权重大语言模型升级为GLM - 5.1，可在单个任务自主运行八小时。它专为编程和智能体任务设计，有推理等特性，在多榜单表现佳，但推理和数学能力落后闭源模型，价格有提升。

上海交通大学与小红书Hi Lab联合团队提出JTok/JTok - M模块，作为插件挂载在Transformer层，几乎不增算力和显存开销却显著提升性能。该模块构建新scaling路径，在多任务测试中全面提分，为大模型发展提供新方向。

近日，抖音内容技术团队开源ContentV，这是面向视频生成任务的高效训练方案。用256块NPU约4周训成8B参数模型，在多评估维度效果与主流方案相近，还探索了有限算力下训练路径，现推理代码与权重已开放。

北京时间8月17日，企业微信更新，将能力域从7个扩到12个，参考文档扩到94份。介绍了其能操作的业务品类，分析文档权重体现的产品意图，阐述三个设计细节，指出想象空间、机会及坑，强调此次更新比首次更重要。

Meta FAIR推出32B参数的代码世界模型（CWM），旨在探索世界模型如何改变代码生成和推理，code和mode已开源。在SWE - bench验证中表现优，能与更大规模或闭权重的LLM竞争，还介绍了训练、数据集等情况。

2025年8月OpenAI释出gpt-oss-20b与gpt-oss-120b两个开源权重模型。文章梳理了从GPT - 2到gpt - oss的技术演进，拆解关键创新点，对比了与Qwen3的差异，介绍训练推理细节、实测体验及与GPT - 5跑分对比情况。