「推理优化与部署」共找到 3516 篇相关文章
还得是华为！Pangu Ultra MoE架构：不用GPU，你也可以这样训练准万亿MoE大模型
华为盘古团队发布Pangu Ultra MoE模型架构与训练方法的中文技术报告。该模型全流程在昇腾NPU上训练，团队在架构和训练方法创新，实现准万亿MoE模型训练，还在多方面优化提升性能。
谷歌Ironwood架构TPU v7：用AI造AI，撼动英伟达芯片帝国
11月25日谷歌云发布第七代定制芯片Ironwood，由AlphaChip设计。它以9.6 Tb/s光互联带宽和1.77 PB共享显存池重构大模型推理硬件基准，挑战英伟达芯片地位，展现AI算力竞争新趋势。
Transformers来到了v5时代：从工具包到真理之源，AI时代的操作系统内核的极简进化论
Transformers v5发布，通过极简定义和极致互通成AI生态核心。它做减法重构代码、拓展训练流程、成推理引擎弹药库、提升量化为核心功能，连接训练、推理与部署，是AI生态通用语言。
别再只关注KV Cache了! LLM稀疏性新洞察：为何模型越深越稀疏？UNCOMP从矩阵熵给出答案
团队论文UNCOMP获EMNLP 2025主会接收，它提出高效推理框架，从截断矩阵熵视角解释LLM深层稀疏现象。还能识别关键结构、找到最优压缩策略，设计的UNCOMP框架优化KV Cache，实验效果佳。
Hybrid Model Support：阿里云 Tair 联合 SGLang对 Mamba-Transformer 等混合架构模型的支持方案
文章介绍阿里云 Tair KVCache 团队与SGLang社区在推理框架上支持混合架构模型的工程化实践。分析混合架构崛起原因、面临挑战，阐述内存管理、关键技术优化方案，验证性能，并指出未来演进方向。
SIGCOMM 2025｜重新定义个性化视频体验，快手与清华联合提出灵犀系统
快手与清华孙立峰团队联合发表论文，提出灵犀系统，这是业界首个大规模生产环境中面向用户个性化体验的自适应视频流优化系统。该系统能解决现有方法在部署中的难题，实现个性化QoE优化。
谷歌Gemini 2.5全线爆发！勇战「濒死恐慌」，却被丝血宝可梦吓到当场宕机
谷歌旗舰Gemini 2.5全家桶三款模型昨夜上线，包括正式版2.5 Pro、2.5 Flash及预览版2.5 Flash - Lite。技术报告显示其性能提升显著，还在玩宝可梦时惊现类人恐慌，推理性能下降。
全球首次，Transformer「混血」速度狂飙65倍！英伟达已下注
康奈尔、CMU等机构研究者提出「混合体」Eso - LM，融合自回归和离散扩散模型范式。它引入KV缓存机制，推理速度相比标准MDM提升65倍，在速度与质量平衡上超越BD3 - LM，引发AI领域关注，英伟达或押注此方向。
昇腾910B大模型实测：开源框架能不能打？真相全放这了
文章对昇腾 910B 大模型进行实测，对比 vLLM Ascend 与 MindIE 在实际推理场景中的性能差异。通过 GPUStack 平台测试多种模型，结果显示两者在不同部署场景各有优势，vLLM 适合单卡小模型，MindIE 适合大模型多卡部署。
AI 设计9个月就能媲美Blackwell？OpenAI “辣芯”绕开英伟达正面战场，但老黄的GPU大盘不稳了
OpenAI 展示与博通联合打造的定制 AI 芯片 Jalapeño，性能媲美英伟达 Blackwell 或谷歌 TPU。计划年底部署，是多代芯片开发首步。它专为大模型推理设计，设计周期短，成本低，OpenAI 借此扩展全栈能力。