搜索：推理加速技术

「推理加速技术」共找到 4926 篇相关文章

从 Apple M5 到 DGX Spark ，Local AI 时代的到来还有多久？

近期，黄仁勋将桌面级AI超算DGX Spark交付给马斯克引发热议。同时，Apple Silicon等芯片下放端侧推理能力，本地运行时和端侧模型供给加速成熟。但本地算力等问题仍制约消费终端Local AI大众化落地。

Jina AI分享将纯解码器向量模型适配到GGUF格式及在llama.cpp工具链的优化经验。经处理得到特定任务v4模型，还生成量化版本并上传。介绍使用方法、注意事项，经测试推荐IQ3_S或IQ3_M版配合定制工具。

Cerebras 5月14日上市成2026年迄今全球最大IPO。其核心产品WSE工程有突破，但良率计算方式与传统不同。训练未成功，推理找到新机会。与OpenAI超200亿美元合同背后是股权换订单，财务数据也有隐忧，上市后存诸多疑问。

帕西尼联合京东云等打造的全球首个百亿级全模态具身智能数据云商城开放。该平台解决具身智能泛化瓶颈，提供全模态数据，有端到端服务，数据质量高、体量大，还能加速具身智能进化，赋能多行业。

东山精密在今年6月收购光模块企业索尔思光电后股价暴涨、市值破千亿，近日又宣布子公司投资不超10亿美元建高端PCB项目。两项投资额超百亿，但索尔思光电有研发迟缓、毛利率低等问题，东山精密高端PCB技术也不足。

当前AI编码工具默认读取整个项目文件，token消耗高。code-review-graph项目用Tree-sitter解析代码库成图，追踪改动“爆炸半径”，平均省8.2倍token，技术轻量，还能做社区检测。它揭示AI编码瓶颈在信息输入质量。

特斯拉股东大会通过近万亿美元高管薪酬方案，马斯克若10年内让市值达8.5万亿美元等，可获奖励。会上展示人形机器人，其明年量产。此外，FSD技术优，还在研发AI芯片，虽有反对声，但股东多相信马斯克。

智谱发布并开源仅9B大小的模型GLM-4.1V-9B-Thinking，在28项评测中拿下23个SOTA，成10B级别最佳VLM模型。它引入思维链推理机制，通过课程采样强化学习提升能力，还获10亿投资。

光轮智能联合创始人杨海波表示，AI发展让合成数据需求增大。该公司为具身智能行业提供3D合成数据，服务众多头部企业。其优势在于技术视野与路径独特，强调物理交互、人类示范等。还谈及创业要点与AI赛道变化。

本文整理自蚂蚁集团支付宝AI端云交互负责人魏凤笛的大会分享，系统介绍支付宝AI入口产品“阿宝”背后的xUI技术体系，涵盖通信、交互、执行、多Agent协同四大核心方向，分享了大厂移动端Agent落地的工程实践与未来规划。