「端侧部署」共找到 780 篇相关文章
华为昇腾推理对决:开源vLLM vs 官方MindIE,数据说话「Qwen与DeepSeek推理实测」
文章围绕华为昇腾推理,对比开源vLLM与官方MindIE。借助GPUStack平台测试Qwen与DeepSeek模型,分析不同场景性能。指出vLLM和MindIE各有优势,还强调构建国产AI推理生态需多要素,鼓励开源协作。
终于不用羡慕老外了!美团竟然做出了类似V0&Bolt的AI编程神器
美团推出零代码应用生成工具NoCode,类似V0&Bolt。它功能强大,能生成复杂网页应用,支持提示词生成、自动优化、快速部署等,还自带数据库服务,免费且无需邀请,为国内Vibe Coding带来曙光。
华为中科大联创大模型低比特量化算法,1‰数据实现昇腾无损压缩7倍
华为诺亚方舟实验室联合中科大提出CBQ后训练量化方案,仅用0.1%训练数据实现大模型7倍压缩,保留99%精度。该成果登ICLR 2025 Spotlight,已加入昇腾ModelSlim工具包。
人工智能驱动的科研新范式及学科应用研究
文章指出AI驱动的科研新范式通过数据、算力、算法深度耦合嵌入科研全过程,引发多方面变革。总结其特征与演化方向,分析学科应用要求与成功案例,还提出我国推动AI科研应用的启示与建议。
97年金融男带8只「电商龙虾」全球开店!2个月后同行慌了
阿里版「电商龙虾」Accio Work打通国际站,一个工作台可全包选品、发品等七个岗位的活。它结合多维度数据助力选品,还能进行广告诊断、店铺运营等,在不同商家案例中成效显著。
具身智能中的 VLA 技术及其应用
文章围绕具身智能中 VLA 技术展开,介绍其现状、挑战、架构、数据方案及部署等内容。指出 VLA 虽推动具身智能发展,但面临数据、模型结构等挑战,还探讨了不同架构优劣及未来探索方向。
无问芯穹曾书霖谈 AI 2.0 时代的大模型推理:从模型到硬件的协同优化
本文整理自无问芯穹总经理曾书霖博士在 2025 年 QCon 全球软件开发大会演讲。他介绍软硬件协同优化提升智能系统能效成果,结合华为昇腾集群实践,探讨 AI 推理系统演进趋势,还从云、端维度分享大模型推理实践与挑战。
499上门装龙虾的人,开始赚299卸载龙虾的钱了
OpenClaw(龙虾)付费部署火爆后,卸载业务也成大型产业链,遍布多平台。因安全隐患多、烧Token等问题,不少人选择卸载。商家服务分层、价格灵活,甚至还有人盯上教小朋友学龙虾的生意。
星标超 29 万,OpenClaw 两天两次大更!适配GPT 5.4,告别“抽卡式 Prompt”
GitHub星标超28万的AI Agent开源项目OpenClaw,在周六与周日迎来两轮重量级更新,集中在模型能力、Agent架构、工程部署及安全机制四个方向。2026奇点智能技术大会将邀专家探讨其产业实践价值。
让大模型上车:理想汽车硬件协同设计算出最佳边缘模型
长三角洲AI实验室、中科院、理想汽车等找到大语言模型硬件协同设计寻优之路,在相同延迟下降低端侧模型困惑度,压缩模型架构挑选时间。研究揭示缩放定律,打造硬件感知建模框架,找到精度与延迟最优解。