「端侧运行」共找到 671 篇相关文章
让大模型“跑”在手机里：vivo蓝心端侧部署创新揭秘，性能功耗双优！
在AICon2025上海站，vivo AI研究院工程师章苏迟分享蓝心大模型端侧部署方案。介绍端侧大模型优势及应用场景，阐述内存、性能、功耗等指标优化方法，还提及多业务场景应对策略与安全合规措施。
配置驱动的动态Agent架构网络：实现高效编排、动态更新与智能治理
本文提出配置驱动的独立运行时 Agent 架构，解决低代码/平台化 Agent 方案企业级落地难题。介绍其核心架构、注册中心、配置定义等，还提及 Agent Studio、执行引擎等，阐述运行部署、协作、治理，提供通用可落地范式。
中科大校友，谷歌量子处理器总监 Yu Chen 揭秘Willow量子芯片背后的“秘诀”
谷歌量子AI团队宣布“Willow”量子芯片运行“量子回声”算法，实现可验证量子优势。中科大校友、谷歌量子处理器总监Yu Chen揭秘其“秘诀”，芯片关键性能指标高，让算法运行速度提升13000倍，谷歌正迈向量子计算路线图“里程碑3”。
终于！OpenAI 开源了2款模型：gpt-oss-120b 和 gpt-oss-20b
OpenAI 发布 gpt-oss-120b 和 gpt-oss-20b 开源模型，性能出色，如 120b 版本媲美 o4-mini，20b 版本能在笔记本甚至手机运行。采用 Apache 2.0 许可证，有多种特性与运行方式，还经安全分析。
免费开源、可本地部署的AI私人助理Clawdbot，保姆级搭建教程来了
本文提供免费开源、可本地部署的AI私人助理Clawdbot的搭建教程。它能在多平台运行、连接工具和技能。教程涵盖创建虚拟机、安装Node.js和Clawdbot、设置连接等步骤，还介绍技能扩展和VPS运行方案。
从 Apple M5 到 DGX Spark ，Local AI 时代的到来还有多久？
近期，黄仁勋将桌面级AI超算DGX Spark交付给马斯克引发热议。同时，Apple Silicon等芯片下放端侧推理能力，本地运行时和端侧模型供给加速成熟。但本地算力等问题仍制约消费终端Local AI大众化落地。
多家芯片公司业绩飙涨，这个赛道彻底火了？
近期多家A股芯片公司Q3财报亮眼，受益于端侧AI推进。端侧AI优势多，吸引科技巨头布局，但落地有挑战。技术进步使大模型轻量化，手机与AI眼镜较热。其发展面临应用、技术、生态等问题，也有隐私保护方案。
LM Studio宣布支持在Mac上跑Qwen3-Next 80B模型
LM Studio宣布支持基于MLX框架在Mac上运行阿里Qwen3-Next 80B模型。该模型虽总参数量达800亿，但每次推理仅激活30亿。第三方评测显示其4bit量化运行效果好，不过实现GGUF格式支持尚需时间。
LLM 技术在有道词典笔上的应用实践
本文围绕LLM技术在有道词典笔的应用展开。先分析端侧大模型落地挑战，如算力、功耗等。介绍有道词典笔等硬件及应用，对比端侧与云侧AI优劣。还阐述模型落地模式、算法优化及“子曰3数学模型”开源情况。
大规模替换数据库序列，保障百余个服务平稳运行
Coupang从关系型数据库迁移到NoSQL时，为解决序列替换问题，自研了专用解决方案。该方案采用双层缓存与滑动窗口预填充机制，以DynamoDB为数据源，让百余个服务无需重写代码完成迁移，性能和成本表现佳。