GPU性能分析」共找到 3176 篇相关文章

开源动态8

3A大作!阿里ROLL团队从基建->算法->机理,推动RL4LLM全栈协同优化

阿里巴巴ROLL团队联合高校推出「3A」协同优化框架,推动「强化学习用于大语言模型(RL4LLM)」迈向新范式。Async架构提升GPU利用率,AsyPPO降低计算资源消耗,Attention机制提升训练效率与可解释性。

机器之心
算法论文8

TPAMI 2025 | AI对抗迁移性评估的「拨乱反正」:那些年效果虚高的攻防算法们

本文第一作者赵正宇来自西安交大,针对现有迁移攻击方法缺乏系统公平对比分析的问题,将其分为五大类,在 ImageNet 上对 23 种攻击与 11 种防御方法开展评估,证实评估缺陷会误导结论,解决后有新见解。

机器之心
产品应用7

腾讯 Hy3 一手实测,Agent 能力提升不止一点

作者拿到 Hy3 模型测试资格,介绍其架构、性能和价格优势,还在 WorkBuddy 里实测它完成运营工作、选编辑助教、开发新功能等任务的效果,最后评价 Hy3 能力、价格、适配方面的表现,并分析 WorkBuddy 领先原因。

特工宇宙
推荐文章8

NVIDIA技术沙龙 《大规模EP优化:PD分离MoE并行方式》课程笔记

本文是NVIDIA技术沙龙课程笔记,介绍大规模EP优化的PD分离MoE并行方式。涵盖PD分离、大规模专家并行等五项关键技术创新,还对比多模型架构,展示推理服务架构性能特点与优化策略,以及各技术工作流程和效果。

GiantPandaLLM
算法论文8

Agent-World:扩展真实世界环境,让智能体与环境协同进化!

文章提出Agent-World,将“智能体环境探索”与“自进化训练”结合,构建了1978个环境、19822个工具。实验表明,其在23个基准上一致性优于先进方法与强开源基础模型,还分析了环境规模与自进化对性能的影响。

机器之心
开源动态8

妈妈再也不用担心延迟了!斯坦福手搓Llama超级内核,推理仅需0.00068秒

斯坦福Hazy实验室推出低延迟推理引擎「Megakernel」,将Llama - 1B前向传播融入单一GPU内核,H100上提速1.5倍,B200上每次推理仅0.00068秒,比vLLM快3.5倍。文章分析传统引擎问题并介绍Megakernel设计。

新智元
推荐文章7

入局AI Infra:程序员必须了解的AI系统设计与挑战知识

文章分享传统后台工程师技术栈和方法论如何迁移到AI系统,系统性拆解AI Infra的硬件、软件、训练和推理挑战,如硬件从CPU到GPU、软件依赖深度学习框架,还分析训练和推理面临的问题及解决办法。

腾讯技术工程
7

刚刚,GPT-5内测抢先泄露!推理强到离谱,智商被曝140超越人类天才

周五凌晨,GPT-5、GPT-5 Mini和GPT-5 Nano将推出,全网可通过API和ChatGPT访问。GPT-5基准测试结果疯传,实测表现出色。同时,OpenAI发布开放权重模型GPT-oss,登顶开源王座,外媒分析其豪赌开源原因。

新智元
推荐文章7

优化搜索系统:平衡速度、相关性和可伸缩性

这篇文章基于作者在 2024 年旧金山 QCon 大会演讲,探讨搜索系统优化。以优步外卖为例,分析其在数据索引、检索和排名方面挑战,介绍优化技术及对用户体验和系统性能影响,还提及架构、分片技术等内容。

InfoQ
技术分析类文章7

Pingpong Schedule并不是万能钥匙

SGLang社区开发者反馈,SM90 FP8 Blockwise Scaling Grouped GEMM从H20迁移至H800后性能下降。文章分析是Pingpong调度策略所致,因算力提升,其使TensorCore未充分利用、TMA效率低,建议用Cooperative策略。

GiantPandaLLM