「并行推理加速」共找到 2686 篇相关文章
北京芯片巨头，吸金50亿加速狂奔
AI算力需求爆发，4月30日寒武纪抛出近50亿定增计划。其此前多次募资，虽长期亏损，但连续两季盈利，股价涨幅大。当下英伟达限售，政策支持，寒武纪有望抢占市场，此次募资将完善产品矩阵。
单季营收破2000亿美元，半导体行业加速增长
2025年第三季度全球半导体行业营收达2163亿美元，首破2000亿。增长源于AI与HPC需求、下游补库及产能技术进步。产业链全面繁荣，但也面临地缘、需求分化和产能过剩风险。
LLM加速利器LMCache，极大降低GPU资源消耗
LMCache是大语言模型服务引擎扩展组件，能降低首次响应延迟、提升吞吐量，适用于长上下文场景。它将KV缓存存于多级存储，跨服务实例复用任意重复文本的KV缓存，节省GPU算力，与vLLM结合优化显著。
视觉感知RAG × 多模态推理 × 强化学习 = VRAG-RL
数字化时代视觉信息愈发重要，传统RAG方法处理视觉信息面临挑战。阿里巴巴通义实验室的VRAG - RL将强化学习引入多模态智能体训练，革新检索生成范式，提升视觉语言模型多方面能力，代码已开源。
Codex在推理框架上能蹬出什么优化
作者复盘用Codex在SGLang中的实践，原本需3 - 4个月的工作量现缩短为1个半月。介绍保证代码质量方法，分享印象深刻的debug经历，列举在SGLang用Codex一个月的优化成果，还提及Claude Code使用遇阻。
腾讯急了！同时放出3只龙虾，龙虾生态加速
龙虾（OpenClaw）持续火爆，成为两会热议话题，大厂纷纷入局。腾讯坐不住，3月6日线下提供龙虾服务，现又推出3只龙虾，包括企业微信接入、WorkBuddy远程控制及QClaw内测，解锁无限可能。
高通要发两款AI推理芯片，资本市场反应强烈
高通周一宣布明年推AI200芯片，2027年跟进AI250，股价应声上涨。两款芯片基于移动神经处理技术，专攻AI模型部署，沙特AI公司已计划采用，高通想借此进军AI芯片市场。
AI 狂潮中，电子业破局：国产先进封装加速突围
AI应用渗透使算力需求结构重塑，传统芯片技术升级遇阻，先进封装技术成关键。文中介绍DeepSeek架构突破、DeepSeek - R1算法革新，分析其对算力需求的影响，指出高性能算力芯需求仍高，先进封装能释放芯片性能，国产有望突破。
AI中场，谷歌和百度的爆发式加速
AI大战第三年，谷歌和百度火力全开。谷歌Gemini能力出众，谷歌全家桶变身通用Agent；百度40天连发四款新模型，智能云增速惊人。全栈模式展现超强弹性，AI产业导向“全优生”式胜利。
千星项目LLMRouter：多模型路由，16+策略优化推理
UIUC开源智能模型路由框架LLMRouter，可自动为大模型应用选最优模型，有16+路由策略。该框架打通训练、评测等链路，解耦Route与Training模块，支持多轮协同等，还可插件式扩展。