「端侧部署」共找到 800 篇相关文章
首个国产OpenClaw硬件产品即将发布,插电脑上就能用,使用成本降低20倍。
OpenClaw带火了Agent,但行业后续要解决落地问题,如控成本、降门槛等。Violoop团队实力强、融资快,4月将预售。其产品云端与端侧结合,通过原生接入、端侧处理等解决落地难题,成本降20倍以上。
昇腾910B大模型实测:开源框架能不能打?真相全放这了
文章对昇腾 910B 大模型进行实测,对比 vLLM Ascend 与 MindIE 在实际推理场景中的性能差异。通过 GPUStack 平台测试多种模型,结果显示两者在不同部署场景各有优势,vLLM 适合单卡小模型,MindIE 适合大模型多卡部署。
Unsloth让大模型跑在手机上!
Unsloth放出教程,可将其微调模型部署到Pixel 8和iPhone 15 Pro。用ExecuTorch技术优化,Qwen2 - 0.5B在旗舰机上表现流畅。教程介绍量化感知训练控制精度损失,还给出iOS和Android部署步骤及注意事项。
Next.js 真有那么好用吗?Netlify 谈他们遇到的六个现实问题
Netlify 部署大量 Next.js 网站时遇到诸多挑战。如无适配器支持、无生产级无服务器部署文档、存在未文档化行为、未基于开放 Web 标准、缺乏路线图可见性和发布可预测性等,并提出应对办法与展望。
多家芯片公司业绩飙涨,这个赛道彻底火了?
近期多家A股芯片公司Q3财报亮眼,受益于端侧AI推进。端侧AI优势多,吸引科技巨头布局,但落地有挑战。技术进步使大模型轻量化,手机与AI眼镜较热。其发展面临应用、技术、生态等问题,也有隐私保护方案。
LLM 技术在有道词典笔上的应用实践
本文围绕LLM技术在有道词典笔的应用展开。先分析端侧大模型落地挑战,如算力、功耗等。介绍有道词典笔等硬件及应用,对比端侧与云侧AI优劣。还阐述模型落地模式、算法优化及“子曰3数学模型”开源情况。
为什么 DeepSeek 大规模部署很便宜,本地很贵
文章探讨了DeepSeek-V3大规模服务便宜但本地运行贵的原因。指出推理服务存在吞吐量和延迟的权衡,受批处理大小影响。还分析了不同模型需大批次的原因,如专家混合模型、大型管道模型等。
一键部署,100+安全工具,一句话就能打靶!
网络系统复杂,传统渗透测试繁琐低效。开源项目CyberStrikeAI基于Golang开发,集成100+安全工具,通过自然语言对话让安全测试变简单,在GitHub获2.6K+ Star,优势显著。
图像、视频一模搞定!字节全能原生多模态本地可部署
字节开源原生多模态模型Lance,仅3B激活参数,40G显存就能跑,已登顶huggingface趋势榜。它能进行图像与视频的理解、生成、编辑等操作,在多个基准测试中表现优异,多项性能居首。
OpenClaw 2026.3.8更新:安全认证及部署回滚能力提升
OpenClaw发布2026.3.8版本更新,聚焦安全性与bug修复。关键更新有ACP来源验证,让代理确认指令来源;更新前自动创建配置快照,可回滚设置。还修复了Telegram重复回复等问题。