「GPU推理」共找到 2382 篇相关文章
H20之后，英伟达全新特供版GPU曝光！单GPU售价低至6500美元
出口管制让英伟达在中国AI芯片市场份额从95%跌至50%。黄仁勋将推出‘阉割版’Blackwell GPU，定价6500 - 8000美元，最早6月量产。还在开发另一款同架构芯片，9月生产。此次尝试结果待察。
一篇多模态大模型推理技术最新综述
华东师大&字节跳动系统回顾基于强化学习的MLLMs推理进展，涵盖关键算法设计、奖励机制创新及实际应用，探讨了RL在LLMs/MLLMs中的关键设计与优化策略，还涉及多模态大模型推理多方面内容。
Transformer创新架构SALA：上下文更长，推理更快
面壁智能发布行业首个大规模训练的稀疏 - 线性注意力混合架构 SALA 及文本模型 MiniCPM - SALA。该架构降低推理开销与显存占用，MiniCPM - SALA 在长文本处理及推理上表现出色，还发起大奖赛探索性能极限。
英伟达新GPU，超长上下文/视频生成专用
在AI Infra Summit上，英伟达宣布推出NVIDIA Rubin CPX GPU，专为处理百万token级代码生成和生成式视频应用。它是首款为超大上下文AI量身定制的CUDA GPU，性能强且能效高，预计2026年底推出。
国产GPU双雄竞速，大佬葛卫东再赴资本盛宴
“国产GPU第一股”争夺正酣，继摩尔线程后，沐曦股份科创板IPO过会，估值达210亿。其创始人陈维良背景深厚，产品量产快。私募大佬葛卫东多次下注，收益接近翻倍。但国产GPU研发风险高，谁能抢占先机待察。
万字长文！大模型LLM推理优化技术总结
文章围绕大模型LLM推理优化技术展开，先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求，再阐述模型并行、注意力机制优化、模型优化和模型服务等技术，如Pipeline并行、MQA、量化、动态批处理等。
ICML2025 | 揭示MLLM的图文联动推理能力
当前多模态大语言模型（MLLMs）在图文深度融合推理能力上面临挑战，现有评测基准无法真正检验该能力。EMMA基准应运而生，它从四大领域精选题目，采用双重过滤机制和细粒度标注体系，评测发现MLLMs存在多模态推理危机。
SRO赋能Qwen-2.5-VL推理性能飙升16.8%
文本领域推理模型成就大，但多模态大型语言模型推理能力扩展遇阻，如冷启动初始化不足等。提出SRO三阶段训练框架，经测试，ReVisual - R1平均性能提升16.8%。
斯坦福人均≈0.1张GPU！学术界算力遭「屠杀」，LeCun急了
学术界GPU荒严重，美国顶尖大学人均GPU少，与大厂差距大。如斯坦福人均0.14张，而微软等大厂数据中心算力惊人。这导致人才流向工业界，学术验证能力弱，但部分高校有改善措施。
GPU为什么能取代CPU，成为计算领域无可争议的核心？
过去CPU是计算核心，如今GPU崛起取代之。二者架构不同，GPU并行处理强。人工智能、大数据等领域需其能力，软件支持助其普及，未来或融合创新，成计算领域主角。