「推理加速技术」共找到 4890 篇相关文章
谷歌Ironwood架构TPU v7：用AI造AI，撼动英伟达芯片帝国
11月25日谷歌云发布第七代定制芯片Ironwood，由AlphaChip设计。它以9.6 Tb/s光互联带宽和1.77 PB共享显存池重构大模型推理硬件基准，挑战英伟达芯片地位，展现AI算力竞争新趋势。
Hybrid Model Support：阿里云 Tair 联合 SGLang对 Mamba-Transformer 等混合架构模型的支持方案
文章介绍阿里云 Tair KVCache 团队与SGLang社区在推理框架上支持混合架构模型的工程化实践。分析混合架构崛起原因、面临挑战，阐述内存管理、关键技术优化方案，验证性能，并指出未来演进方向。
Kimi新架构让马斯克叹服！17岁高中生作者一战成名
17岁高中生陈广宇作为共同一作的论文提出Attention Residuals技术，将注意力机制“旋转90度”。该技术可让模型“回头看”，经Kimi Linear 48B大模型验证，训练效率提升25%，推理延迟增加不到2%。
DeepSeek-R2要来了？
DeepSeek-R1发布一周年之际，其存储库更新引用全新「model 1」模型，极可能是R2。HuggingFace发文称R1降低技术、采用、心理三重壁垒。R1以推理优先，改变多项认知，故事仍在继续。
谷歌Gemini 2.5全线爆发！勇战「濒死恐慌」，却被丝血宝可梦吓到当场宕机
谷歌旗舰Gemini 2.5全家桶三款模型昨夜上线，包括正式版2.5 Pro、2.5 Flash及预览版2.5 Flash - Lite。技术报告显示其性能提升显著，还在玩宝可梦时惊现类人恐慌，推理性能下降。
DeepSeek R1 迎来小更新大升级，性能直逼 OpenAI o3！
昨日，DeepSeek 发布 R1 大模型最新版本 DeepSeek - R1 - 0528 并开启公测。虽官方未附详细技术说明，但用户反馈推理和输出有改进，也有性能方面的不同看法，其在基准测试表现佳。
Day0迁移、一键部署，华为开源的昇思MindSpore成为大模型开发的“万能钥匙”
在大模型无法一统天下的背景下，开发者面临在一个框架、生态体验众多主流大模型和AI技术的难题。华为开源的昇思MindSpore可实现训练Day0迁移、推理一键部署，还介绍了其相关技术和实测效果。
NeurIPS 2025 Spotlight | 选择性知识蒸馏精准过滤：推测解码加速器AdaSPEC来了
大型语言模型推理延迟高、开销大，推测解码可加速但依赖草稿与主模型一致性。佐治亚理工等团队提出 AdaSPEC 蒸馏法，过滤难学 token，提升草稿模型与目标模型对齐度，实验显示能提升接受率和推理速度。
入局AI Infra：程序员必须了解的AI系统设计与挑战知识
文章分享传统后台工程师技术栈和方法论如何迁移到AI系统，系统性拆解AI Infra的硬件、软件、训练和推理挑战，如硬件从CPU到GPU、软件依赖深度学习框架，还分析训练和推理面临的问题及解决办法。
MiroMind新模型超越GPT-5.4，三位顶尖AI科学家加盟
MiroMind发布MiroThinker - v1.7模型家族，在深度研究任务中表现出色，其专有智能体MiroThinker - H1超越多个顶级闭源模型。同时，三位顶尖科学家加盟，分别负责推理模型训练等方向，公司聚焦推理与可验证性。