「GPU内核算法」共找到 1007 篇相关文章
让NCCL性能起飞的NCCL symmetric memory是啥黑科技?— part1
本文是NCCL 2.27新特性系列首篇,介绍symmetric memory。它类似NVSHMEM,现仅支持单节点通信,未来将支持跨节点。其低延迟内核能提升小数据通信性能,还介绍使用示例、CUDA内存管理及Symmetric Memory实现等内容。
NVIDIA技术沙龙 《大规模EP优化:PD分离MoE并行方式》课程笔记
本文是NVIDIA技术沙龙课程笔记,介绍大规模EP优化的PD分离MoE并行方式。涵盖PD分离、大规模专家并行等五项关键技术创新,还对比多模型架构,展示推理服务架构性能特点与优化策略,以及各技术工作流程和效果。
阿里、南开大学发布免训练,视频大模型创新压缩方法
视频模型序列化处理影响推理速度与扩展性,传统token压缩方法在视频理解中有问题。阿里通义实验室与南开联合发布LLaVA - Scissor,用SCC方法和两步时空压缩策略,实验显示其性能优于其他方法。
通向L3的正确范式?理想i8全球首发VLA高阶辅助驾驶,我们帮你试了试
本周二,理想全新纯电SUV理想i8上市,其搭载的VLA辅助驾驶系统受关注。理想发现端到端数据驱动升级有局限,VLA架构改进让系统有思维、沟通等能力,还带来平顺性等提升,且研发各方面能力强。
全能高手&科学明星,上海AI实验室开源发布『书生』科学多模态大模型Intern-S1 | WAIC 2025
7月26日,上海AI实验室在WAIC 2025上发布并开源『书生』科学多模态大模型Intern-S1。它首创‘跨模态科学解析引擎’,在多学科专业任务上超越顶尖闭源模型,多模态综合能力领先主流开源模型。
在WAIC现场,全球首个拥有「原生记忆力」的大模型亮相,但不是Transformer
在WAIC上,RockAI推出基于非Transformer架构Yan 2.0 Preview的多模态大模型,有原生记忆能力。它在性能指标上优势明显,其记忆机制接近生物方式,团队秉持理念推动离线智能,获硬件厂商关注。
谷歌诺奖大神哈萨比斯:五年内一半几率实现AGI,游戏、物理和生命的本质都是计算
谷歌DeepMind掌门人Demis Hassabis与Lex Fridman深度对话,预测未来五年有50%几率实现AGI,还从新颖角度阐述自然界模式可被建模,畅谈AI对游戏、科学研究等多领域的影响及应用。
强化学习的两个「大坑」,终于被两篇ICLR论文给解决了
现有强化学习算法基于理想化交互模式,难应对真实环境。Mila 实验室两篇 ICLR 2025 论文提出实时强化学习框架,分别解决推理延迟和动作缺失问题,还可结合使用,对关键领域意义重大。
简单了解下CUDA Green Context
文章基于Flashinfer实现介绍CUDA Green Context,它在CUDA 12.0+引入,能实现资源隔离、降低多线程性能损失、提高GPU使用率。还给出使用方法及代码示例,不过测试性能未达预期,需关注后续发展。
本周推荐的5个超级6的Github开源项目!
文章推荐5个Github开源项目。有基于Firefox内核的浏览器Zen Browser;跨平台划词翻译工具Pot;异步终端文件管理器yazi;局域网文件传输工具Snapdrop;网页管理服务器文件工具FileBrowser Quantum,各有亮点。