「本地部署」共找到 944 篇相关文章
龙虾部署不求人，还附5个OpenClaw必备技能
OpenClaw火爆带来新商业模式，新手5分钟可上手，官方推荐一行命令安装。文章介绍其5个实用技能，包括Tavily Search、n8n Workflow Automation等，还给出办公、科研党使用方案。
让本地大模型不再重复推理的缓存技巧
本地跑大模型时，同样问题换说法问，模型又要重新推理。`constraint-cache`这个Python库可解决此问题，它将语义相似查询规范化为统一缓存键，实现近乎即时的重复查询响应，还避免了随机性响应问题。
SGLang 推理引擎的技术要点与部署实践｜AICon 北京站前瞻
SGLang 是开源推理引擎，截至 2025 年 6 月，在 GitHub 获近 15K Stars，月均下载超 10 万次，被多家行业巨头采纳。InfoQ 专访其核心开发者尹良升，他分享技术、挑战等，6 月 27 - 28 日他将在 AICon 演讲。
还是你们会玩，2.9k Star OpenBiliClaw
OpenBiliClaw把浏览器扩展等拼成内容发现Agent，将内容推荐主导权交回用户。它汇总显式授权来源信号找内容，形成本地画像。介绍其架构层级、核心闭环，也提醒“本地优先”仍需做隐私检查。
告别天价API账单！开源Chatterbox语音服务器上线，隐私与效率双赢！
第三方语音合成API成本高、有隐私风险，直接部署开源模型配置复杂。开源的Chatterbox-TTS-Server基于Chatterbox TTS模型，有Web界面、声音克隆等功能，支持GPU和Docker，可解决部署难题。
SOP：具身智能在线进化新范式，为大规模真实世界部署而生
智元机器人具身研究中心提出SOP在线后训练系统，将VLA后训练重构为“在线、集群、并行”，可即插即用后训练算法。它有高效探索、缓解偏移等优势，实验显示能提升性能、效率，突破VLA瓶颈。
Loop Engineering 实战：实现从日志扫描到预发部署的全自主闭环
文章分享 Loop Engineering 实战经验，指出传统维护循环存在看不见、记不住、没闭环问题。介绍了从 Prompt 到 Loop 的四代 AI 工程化范式，阐述 Loop 原理、组件及落地实践，还提及范式迁移和踩坑教训。
刚刚，OpenClaw登顶GitHub软件星标历史第一！已超越Linux
仅两月，本地AI框架OpenClaw击败Linux，登顶GitHub星标第一。它是开源本地运行的AI Agent框架，能接入通讯工具，虽引发安全危机和限制，却热度不减，反映开源社区趋势变化。
隐私优先的本地匿名化小模型：在数据离开设备前保护个人信息
最强 AI 模型在云端，安全数据在本地，这一矛盾困扰着想用 AI 处理敏感信息的人。Freysa 团队提出解法，不重写提示，只替换敏感信息，用小模型实现精准匿名化，有实用价值。
vLLM 正式支持 PaddleOCR-VL
11月4日，vLLM项目宣布正式支持PaddleOCR-VL模型。该模型专注文档解析，参数量仅0.9B。合作降低部署门槛，推理效率更高，官方还给出部署指南和配置建议，流程快速完成可作榜样。