开源动态9
开源Edge0：2.5G跑350亿大模型
开源AI项目落地
AI 摘要
开源项目Edge0：通过流式MoE架构和按需读取技术，仅2.5G内存就能跑350亿参数大模型，支持手机电脑多平台，低内存设备也能玩大模型了。
阅读原文 · 开源AI项目落地
6.1k星星！开源流式MoE推理框架，仅需2.5G内存就能运行350亿参数模型，手机电脑都能跑
本文介绍了获6.1k GitHub Star的开源流式MoE推理框架Edge0，该框架通过SSD专家卸载、路由预测和Recover-LoRA技术，仅需2.5G内存即可运行350亿参数大模型，支持多平台部署运行。
关注公众号
扫码关注
第一时间收到每日精选
相关文章
开源动态8
DeepSeek开源DeepInfer推理框架
大模型开源此前多开放权重和模型代码，此次DeepSeek将开源推进到推理服务层，公开DeepInfer推理框架及配套组件，开放大模型推理服务核心工程实现，为开发者提供学习参考。
AIGC开放社区
开源动态9
DeepSeek推理利润率高达80%
本文拆解DeepSeek大模型推理框架的底层超大规模集群调度设计，公布其单集群日吞吐155万亿Token，低价API下仍保持80%高毛利率，详解多项极致优化方案。
AI寒武纪
开源动态9
iPhone断网可跑35B国产开源大模型
本文介绍面壁智能和OpenBMB最新开源的端侧多模态大模型MiniCPM-V 4.7，其35B-A3B版本总参数35B，推理仅激活3B，仅需3G内存即可在iPhone等手机断网流畅运行，性能领先同类模型，详解了其优化技术与行业价值
量子位
算法论文9
ACL两篇技能论文杀疯了
本文整理六大2026顶会共460篇高引机器学习论文，详细介绍ACL下两篇聚焦技能拆解复用的高引论文，给出效果数据与论文链接，开放论文合集获取。
PaperAgent