产品应用7

Ollama升级调度系统，多模型性能飞升

AI工程化2025-09-24

AI 摘要

Ollama升级模型调度系统，精确测内存需求。Gemma3、Mistral - small3.2等模型性能显著提升，更多模型将迁移。团队还在开发iGPU支持，评估NPU支持。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

金煜阳：大模型推理加速全链路方案揭秘

本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战，如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法，还介绍开源推理引擎赤兔在国产芯片的实践成果。

最近，Clawdbot爆火，OpenClaw仓库Stars涨至13万，但运行它消耗大，很多人用Ollama拉取本地模型。不过，Ollama只支持部分生态，国产芯片用户面临挑战。2026年2月2日开源的玄武CLI可解此难题。

2月2日清昴智能发布玄武CLI开源版本，可理解为“国产版Ollama”。它能抹平硬件架构差异，让国产卡大模型部署零门槛。解决了国产算力在软件生态层面的痛点，提供统一稳定的部署与调用体验。

NVIDIA 开源 Live VLM WebUI，可让用户在本地用摄像头实时测试视觉语言模型。它基于 WebRTC 技术，能将摄像头视频流实时传输给模型，分析结果叠加在画面上，支持多后端、多平台及多种模型。