「本地自部署」共找到 2009 篇相关文章

推荐文章7

将 Pod 作为 worker 而非智能体:在 Kubernetes 上重新思考 AI 智能体的部署单元

在CNCF博客文章中,Lin Sun介绍kagent项目工作,认为Pod可能是智能体执行单元,却不适合作为部署、身份标识或生命周期单元。探讨了两种智能体部署方法及利弊,还提及新部署模式影响。

InfoQ
推荐文章7

为什么 DeepSeek 大规模部署很便宜,本地很贵

文章探讨了DeepSeek-V3大规模服务便宜但本地运行贵的原因。指出推理服务存在吞吐量和延迟的权衡,受批处理大小影响。还分析了不同模型需大批次的原因,如专家混合模型、大型管道模型等。

AI前线
产品应用8

nndeploy:一款基于可视化工作流的AI部署工具

nndeploy是简单易用且高性能的AI部署框架,可将推理优化转化为可视化工作流,无需前端技术栈。它还提供端侧完整AI部署方案,有多端推理等功能,介绍了使用方法与技术原理。

GiantPandaLLM
开源动态8

AI 本地跑?Google 新开源模型上线,本地量化后占用不到 200MB 内存,支持百余语言

Google DeepMind推出开源嵌入模型EmbeddingGemma,专为本地设备高效运行设计。它用Matryoshka方法和量化感知训练,提升效率。在MTEB测试中成绩佳,支持百余种语言,内存占用少,已集成多种工具。

InfoQ
产品应用7

MCP进阶:一键批量搞定MCP工具部署

在AI应用复杂当下,传统MCP工具集成有痛点。文章提出基于阿里云计算巢的一站式方案,可多MCP工具批量部署,首创双通道调用能力,还介绍部署、使用、增减工具及问题排查等内容。

阿里云开发者
新闻资讯8

智元邓泰华宣布:具身智能行业进入「部署态」

2026年4月17日,智元创始人邓泰华在APC2026合作伙伴大会提出,具身智能赛道存在XYZ发展曲线,2026年是从开发态迈入部署态元年。还介绍智元发展、发布方案等,具身行业下半场将是部署落地竞赛。

AI科技评论
开源动态7

Agent 下半场:真正能自进化的 Agent 应该是什么样的?

当下 Work Agent 难以稳定完成复杂长程任务,且经验无法沉淀。EvoMap 提出自组织蜂群架构,通过 AutoResearch 落地验证,探索 AI4AI 方向,构建记忆和连接的三层产品结构,推动 Agent 网络自进化。

特工宇宙
开源动态7

闲置手机装OpenClaw:三个不走寻常路的OpenClaw端侧部署项目

文章介绍了三个不走寻常路的OpenClaw端侧部署项目,如在25美元手机、5美元芯片运行OpenClaw,还有安卓手机变AI主机。展示新思路,也指出端侧部署有局限,云+端协同才是最佳。

AI工程化
推荐文章8

翁荔新博客提出「自进化先从Harness开始」,DeepSeek崔添翼转发附议

前OpenAI安全副总裁翁荔新博客探讨AI自进化,提出从Harness开始的现实路径。DeepSeek崔添翼转发附议,认为Harness方向自进化很可能出成果。翁荔梳理研究,展示优化递进趋势,也指出实现递归自我改进存在的瓶颈。

量子位
开源动态8

8.8K Star!真正的本地实时 Whisper 开源神器,彻底干翻云端 STT!

做实时语音转文字系统,上云端 API 贵且隐私难保障,本地跑 Whisper 延迟高。WhisperLiveKit 是专为本地流式语音识别优化的全栈方案,解决了 Whisper 痛点,有极速处理等功能,适用多类项目。

开源星探