「端侧方案」共找到 953 篇相关文章
面壁MiniCPM4端侧模型发布:长文本推理 5 倍提速,0.5B 模型拿下新SOTA
2025智源大会,面壁发布MiniCPM4.0端侧模型,含8B稀疏闪电版与0.5B款。其采用InfLLM架构,实现长文本推理5倍提速、最高220倍加速,还在性能、部署等方面优化,适配多芯片与框架。
长文本推理 5 倍提速!面壁MiniCPM4 端侧模型发布,0.5B模型效果秒杀同级
近日,面壁发布 MiniCPM4.0 端侧模型,有 8B、0.5B 两种规模。其在基准测试表现出色,长文本推理提速,缓存锐减,还做了架构创新。此外,面壁有自研推理框架,科学化建模产线,6 月 27 - 28 日 AICon 北京站将探讨 AI 趋势。
Fable 5 订阅权限又续了 5 天!与其被吊着,我找了个账单只有 1/3 的替代方案
Anthropic将Fable 5订阅权限延长至7月12日,但使用不稳定且价格贵。作者介绍OpenSquilla 0.5.0 Preview,其多模型集成协作方案用国产模型组队,成本低且分数可与Fable 5打平,不过也有适用边界。
nndeploy:一款基于可视化工作流的AI部署工具
nndeploy是简单易用且高性能的AI部署框架,可将推理优化转化为可视化工作流,无需前端技术栈。它还提供端侧完整AI部署方案,有多端推理等功能,介绍了使用方法与技术原理。
开源!强效果,高性能,严隐私?我全都要:OPPO 终端大模型实践
OPPO AI 中心推出开源端侧多模态大模型 AndesVL,含 0.6B - 4B 四档尺寸套件,有通用能力强等优势。它经多阶段训练,OPPO 还构建端侧部署方案,评测显示其在多方面表现优异,未来会继续技术革新。
华为云的组合新范式,引爆了Agentic AI应用革命
在2025全球计算大会上,华为云提出Versatile智能体平台与CloudDevice云终端协同方案,致力于破解大模型行业落地痛点。该方案激发AI端侧应用可能,释放云端潜力,已在多行业展现变革价值。
所有人看见了「大晓速度」,但真正值钱的是它背后的这套系统
过去一年大晓机器人在具身智能行业成果显著,首创研发范式和数据采集方案,推出世界模型并实现端侧部署,其行业方案进入真实场景。它从具身第一性原理出发,让信息低成本入模转化为生产力。
机器人终于能用明白洗碗机了|UC伯克利新研究
UC Berkeley团队发表研究论文,通过‘模块化教学+智能选动作’方案破解人形机器人全身协同难题。该方案结合星动纪元STAR1硬件优势,经实验验证效果远超传统方案,为机器人产业化带来落地价值。
拒绝重复造轮子!抽象 80% 工作场景,打造可复用的"AI 助手工厂”
文章指出,为解决重复开发AI助手的效率问题,智空间团队将高频需求抽象为可复用技术方案,打造“AI助手生产线”。介绍四大高频场景本质、共性挑战及对应方案,还阐述分层架构、解决方案、prompt架构等,最终落地“助手工厂”产品。
微软的prompt压缩方案-LLMLingua,开源
使用大语言模型时,提示信息长会致运行慢、费用高、易超限。微软推出的LLMLingua可压缩提示信息,有完整开源。它历经多版本演进,还能用于安全防御,使用简单,值得开发者跟踪。