「端侧部署」共找到 779 篇相关文章
将 Pod 作为 worker 而非智能体:在 Kubernetes 上重新思考 AI 智能体的部署单元
在CNCF博客文章中,Lin Sun介绍kagent项目工作,认为Pod可能是智能体执行单元,却不适合作为部署、身份标识或生命周期单元。探讨了两种智能体部署方法及利弊,还提及新部署模式影响。
小米小爱同学:资源受限下,实现端侧大模型的高性能推理
InfoQ对话小米小爱同学端侧AI负责人杨永杰,了解其团队在资源受限的端侧设备实现大模型高性能推理的策略。目前端侧大模型商业化落地慢,团队提前布局,自研框架,实现超180 tokens/s推理速度,还分享未来突破方向。
端侧AI加速到来,个人隐私如何保护?
Deepseek推动端侧AI加速落地,苹果、谷歌等企业纷纷布局。不过,端侧AI在发展中面临融合不佳、数据安全等问题。阿里研究院傅宏宇提出保障数据安全的建议,监管层也出台相关法规。
MCP进阶:一键批量搞定MCP工具部署
在AI应用复杂当下,传统MCP工具集成有痛点。文章提出基于阿里云计算巢的一站式方案,可多MCP工具批量部署,首创双通道调用能力,还介绍部署、使用、增减工具及问题排查等内容。
智元邓泰华宣布:具身智能行业进入「部署态」
2026年4月17日,智元创始人邓泰华在APC2026合作伙伴大会提出,具身智能赛道存在XYZ发展曲线,2026年是从开发态迈入部署态元年。还介绍智元发展、发布方案等,具身行业下半场将是部署落地竞赛。
一夜告别Token账单!端侧AGI真来了
2026年5月19日联想举办新品发布会,全球首发基于此芯Agentic SoC P1的联想AI主机P7与mini。P7小巧低功耗,算力强,有「一机双模」设计;mini更亲民。此芯P1构建端侧AGI算力矩阵,助力端侧AGI成现实。
百度端侧大模型安全建设实践:在算力与保障之间找到平衡
在 QCon 全球软件开发大会上,百度李志伟分享端侧大模型安全建设实践。介绍其发展趋势、优势与应用场景,指出面临隐私、内容等安全挑战,阐述云端与端侧安全方案,通过案例展示优化效果,展望未来安全建设方向。
全国首部AI大模型私有化部署标准,公开征集起草单位和个人!
近期AI领域政策频出,企业对人工智能应用需求攀升,倾向私有化部署,但面临诸多问题。由智合标准中心组织起草的《人工智能大模型私有化部署技术实施与评价指南》团体标准立项,现征集起草单位和个人。
卡帕西都整破防了:AI Coding没门槛,可部署环节真嗯啊的难
AI Coding界明星卡帕西公开吐槽,代码不再是AI编程瓶颈,部署才是。他以自己开发「菜单图片生成器」的经历为例,指出部署环节问题频发。他认为应让AI调用和配置,还推荐了Stripe Projects等优化产品。
3B激活参数!商汤绝影Sage登顶PinchBench,端侧第一
商汤绝影Sage端侧大模型在PinchBench评测中,以94%任务完成率超越Claude、GPT - 5.4等主流大模型。它激活参数仅3B,算力需求低,还具备多项实用场景能力,靠SCOUT和ERL两项自研技术提升性能。