「端侧部署」共找到 800 篇相关文章

产品应用7

首个国产OpenClaw硬件产品即将发布,插电脑上就能用,使用成本降低20倍。

OpenClaw带火了Agent,但行业后续要解决落地问题,如控成本、降门槛等。Violoop团队实力强、融资快,4月将预售。其产品云端与端侧结合,通过原生接入、端侧处理等解决落地难题,成本降20倍以上。

开源AI项目落地
产品应用7

昇腾910B大模型实测:开源框架能不能打?真相全放这了

文章对昇腾 910B 大模型进行实测,对比 vLLM Ascend 与 MindIE 在实际推理场景中的性能差异。通过 GPUStack 平台测试多种模型,结果显示两者在不同部署场景各有优势,vLLM 适合单卡小模型,MindIE 适合大模型多卡部署。

探索AGI
产品应用7

Unsloth让大模型跑在手机上!

Unsloth放出教程,可将其微调模型部署到Pixel 8和iPhone 15 Pro。用ExecuTorch技术优化,Qwen2 - 0.5B在旗舰机上表现流畅。教程介绍量化感知训练控制精度损失,还给出iOS和Android部署步骤及注意事项。

AI工程化
新闻资讯7

Next.js 真有那么好用吗?Netlify 谈他们遇到的六个现实问题

Netlify 部署大量 Next.js 网站时遇到诸多挑战。如无适配器支持、无生产级无服务器部署文档、存在未文档化行为、未基于开放 Web 标准、缺乏路线图可见性和发布可预测性等,并提出应对办法与展望。

InfoQ
7

多家芯片公司业绩飙涨,这个赛道彻底火了?

近期多家A股芯片公司Q3财报亮眼,受益于端侧AI推进。端侧AI优势多,吸引科技巨头布局,但落地有挑战。技术进步使大模型轻量化,手机与AI眼镜较热。其发展面临应用、技术、生态等问题,也有隐私保护方案。

芯师爷
产品应用8

LLM 技术在有道词典笔上的应用实践

本文围绕LLM技术在有道词典笔的应用展开。先分析端侧大模型落地挑战,如算力、功耗等。介绍有道词典笔等硬件及应用,对比端侧与云侧AI优劣。还阐述模型落地模式、算法优化及“子曰3数学模型”开源情况。

InfoQ
推荐文章7

为什么 DeepSeek 大规模部署很便宜,本地很贵

文章探讨了DeepSeek-V3大规模服务便宜但本地运行贵的原因。指出推理服务存在吞吐量和延迟的权衡,受批处理大小影响。还分析了不同模型需大批次的原因,如专家混合模型、大型管道模型等。

AI前线
开源动态7

一键部署,100+安全工具,一句话就能打靶!

网络系统复杂,传统渗透测试繁琐低效。开源项目CyberStrikeAI基于Golang开发,集成100+安全工具,通过自然语言对话让安全测试变简单,在GitHub获2.6K+ Star,优势显著。

开源先锋
开源动态8

图像、视频一模搞定!字节全能原生多模态本地可部署

字节开源原生多模态模型Lance,仅3B激活参数,40G显存就能跑,已登顶huggingface趋势榜。它能进行图像与视频的理解、生成、编辑等操作,在多个基准测试中表现优异,多项性能居首。

AIGC开放社区
产品应用7

OpenClaw 2026.3.8更新:安全认证及部署回滚能力提升

OpenClaw发布2026.3.8版本更新,聚焦安全性与bug修复。关键更新有ACP来源验证,让代理确认指令来源;更新前自动创建配置快照,可回滚设置。还修复了Telegram重复回复等问题。

AI工程化