「GPU推理」共找到 2382 篇相关文章
微信自研高性能推理计算引擎 XNet-DNN：跨平台 GPU 部署大语言模型及优化实践
本文深入解析微信自研的高性能推理计算引擎 XNet-DNN，介绍其核心技术架构和性能优化策略。该引擎基于 RCI 框架构建跨平台 GPU LLM 推理能力，在多方面超越现有解决方案，还给出了详实对比实验数据。
NVIDIA 推出Rubin CPX，专为AI推理设计的GPU
NVIDIA发布专为大规模上下文AI推理设计的Rubin CPX GPU，性能提升显著，集成视频编解码器和长文本推理处理。新平台算力强，适用于代码生成与视频处理，多家公司将采用，2026年底上市。
英伟达下一代GPU登场，Rubin CPX一次推理数百万Token，网友：这是头野兽
在周二的AI基础设施峰会上，英伟达宣布推出专为超100万token长上下文推理设计的Rubin CPX GPU。它将与其他产品组成新平台，性能卓越，还能复用现有平台，预计2026年底上市。
国产类脑大模型适配国产沐曦GPU！长序列推理提速超百倍，仅用2%数据匹敌主流模型
中国科学院自动化所李国齐、徐波团队发布类脑脉冲大模型SpikingBrain (瞬悉)-1.0，借鉴大脑信息处理机制，适配国产沐曦GPU，长序列推理提速超百倍，仅用2%数据匹敌主流模型，探索构建国产自主可控类脑大模型生态。
英伟达放弃GPU上LPU：新推理芯片被曝Groq即买即用，OpenAI第一个吃螃蟹
英伟达将在GTC大会发布新AI推理系统，核心芯片基于Groq的LPU架构，首位大客户是OpenAI。选择外部架构与时间窗口有关，推理场景中LPU更适配。同时，英伟达推理芯片面临诸多威胁。
曦望，死磕AI推理成本｜甲子光年
1月27日，国产GPU厂商曦望发布新一代推理GPU芯片启望S3等。启望S3面向大模型推理定制，设计系统级重构，单位Token推理成本降约90%。曦望还推出超节点方案及推理云计划，目标是极致推理性价比。
Sebastian Raschka 新书《从头开始推理》抢先看，揭秘推理模型基础
著名AI技术博主Sebastian Raschka新书《Reasoning From Scratch》第一章介绍LLM中推理含义、训练阶段、模式匹配与逻辑推理区别，还讲述提升推理能力方法及从头构建推理模型的重要性等内容。
斯坦福大模型推理课免费了，谷歌推理团队创始人主讲
谷歌DeepMind推理负责人Denny Zhou在斯坦福大学CS25讲“LLM推理”课。大模型推理是给出答案前的中间思考步骤，能让复杂问题可解、提升答案准确性。还介绍了让模型输出推理答案的方法及提升推理能力要点。
妈妈再也不用担心延迟了！斯坦福手搓Llama超级内核，推理仅需0.00068秒
斯坦福Hazy实验室推出低延迟推理引擎「Megakernel」，将Llama - 1B前向传播融入单一GPU内核，H100上提速1.5倍，B200上每次推理仅0.00068秒，比vLLM快3.5倍。文章分析传统引擎问题并介绍Megakernel设计。
75页哈工大多模态推理大模型最新综述：感知、推理、思考与规划
哈工大提出75页多模态推理大模型综述，围绕四阶段发展路线图展开，即感知驱动的模块化推理、以语言为中心的短推理、以语言为中心的长推理、迈向原生多模态推理模型，还给出挑战性基准测试和实验案例见解。