「GPU性能分析」共找到 3305 篇相关文章
一份最新具身智能中的世界模型&安全综述
本文分享2篇具身智能世界模型和安全挑战的综述。2025年10月的综述用三维坐标轴整合文献。还介绍世界模型分类、性能表现,围绕自动驾驶与机器人领域分析安全隐患并实证评估。
The Batch:835 | 图表中的 AI 市场趋势
知名投资分析师 Mary Meeker 时隔六年发布 340 页 AI 市场报告。报告指出 AI 变革快、性能攀升、有新兴能力,还会影响劳动力等,同时也带来经济不确定性,当下是开发软件应用的黄金时期。
一文彻底看懂AI-RAN
文章介绍AI - RAN,即人工智能无线接入网,英伟达力推将GPU用于基站。AI - RAN有开拓市场、提升基站性能等作用。产业进展方面,英伟达联合多方推动,通信行业形成加入和自主探索阵营,其发展还面临诸多挑战。
英伟达再出手!新型混合架构模型问世,两大创新实现53.6倍吞吐提速
英伟达研究者提出新混合架构语言模型 Jet - Nemotron,在达 SOTA 全注意力模型精度时效率卓越,2B 版性能超 Qwen3 等,H100 GPU 上生成吞吐量最高加速 53.6 倍,基于 PostNAS 和 JetBlock 两大创新。
一年后,DeepSeek-R1的每token成本降到了原来的1/32
几天前,DeepSeek更新R1论文至86页,公开训练全路径等细节。英伟达发表博客展示在Blackwell GPU上对其降本增效,通过软硬协同提升每瓦特Token吞吐量,还介绍了TensorRT - LLM软件及相关技术提升性能的情况。
【博客转载】CUDA Cooperative Groups
文章介绍CUDA cooperative groups,它让开发者创建和管理能同步通信的线程组,为GPU并行算法编程提供更灵活高效方式。文中讨论并行归约算法及用cooperative groups的实现,还对比不同归约求和方法及性能。
断网可用!首款全双工全模态大模型技术报告发布,附一键安装包
面壁智能等联合发布MiniCPM-o 4.5技术报告,它是业界首个端到端全双工全模态大模型,采用Omni - Flow架构。同步推出在线Demo、API、端侧安装包等,低显存GPU即可运行,性能表现优秀,应用潜力大。
Life of a Token:像调试代码一样看懂大模型如何生成 Token
文章类比 Chrome 的 Life of a Pixel,追踪 LLM 里 token 从输入到输出的全程。以 GPT - 2 Small 为例,详细讲解其管线各阶段,如 Tokenization、Embedding 等,还介绍了残差流、KV Cache 等概念及 GPU 性能瓶颈和优化方法。
别再卷数据了,LLM也怕「过劳死」!CMU等揭秘灾难性过度训练
CMU、斯坦福等四大名校研究团队挑战“预训练规模越大越好”观点,提出“灾难性过度训练”现象,即增加预训练数据可能导致后训练性能下降,并从现实证据、控制实验、理论分析等方面阐述新研究贡献,还介绍了相关实验及结论。
PCIe显卡被低估了!内核补齐+通信重构,DeepSeek推理吞吐直接翻近7倍
当前大模型算力需求攀升,高端GPU供给紧成本高,大量PCIe长尾GPU算力因框架适配不足被禁锢。是石科技自研Meta-Infer推理引擎,通过纯软件优化挖掘硬件潜力,让DeepSeek推理吞吐提升近7倍,方法也适配国产GPU。