「GPU内存共享」共找到 714 篇相关文章
“天下苦CUDA久矣!”KernelCAT率先掀桌,实现国产芯片无痛适配
中国AI产业与英伟达GPU及CUDA生态深度依赖,国产AI根基脆弱。KernelCAT作为AI Agent,能开发高性能算子,在昇腾芯片调优测试中表现出色,还能让国产模型在昇腾芯片上高效部署,实现35倍加速。
鹅厂员工的“神之一手”代码都长什么样?
文章分享6位鹅厂同事的“神之一手”代码。有将快排浓缩到5行的Python代码,有解决逆序打印不可变链表的方案,还有修复订单状态同步漏洞、解决内存泄漏等代码,文末邀读者分享代码赢福利。
振臂一挥,大半个具身机器人圈都来了!智源研究院:别藏了,谁贡献数据多,谁的大脑就更好用
2025智源具身智能Open Day上,智源研究院院长邀厂商共享数据,称谁家贡献多,具身大脑在其机器人上更好用。智源无商业包袱,开源数据、统一评测,布局具身大小脑体系,欲做具身智能“安卓”。
SGLang Custom AllReduce v1 与 v2 实现原理详解
文章聚焦 SGLang 里两代自定义 all-reduce 实现(v1 和 v2),前者从 vLLM 移植,后者是默认版本。详述其负载特征、前提条件、分发链、同步机制、算法及 CUDA graph 支持等内容,还对比了两代差异,并提及相关环境变量。
那个写出20万+阅读的写作Skill,我用扣子免费公开了
作者分享将写作工作流变成扣子技能的经验。扣子的Coze Skill功能让非编程人员也能沉淀专业经验为AI能力,创建简单。对比通用AI,技能产出更具风格。职场人可将方法论做成技能共享,普通人也能搭建。
让NCCL性能起飞的symmetric memory是啥黑科技?— part2
本文是NCCL 2.27新特性系列的第二部分,主要分析symmetric primitives的实现机制,介绍其提供的接口,如获得symmetric ptr、barrier、send、recv、llEpoch控制等接口,还解析了底层结构内存布局、各接口工作机制及LL Buffer划分机制等。
为什么 DeepSeek 大规模部署很便宜,本地很贵
文章探讨了DeepSeek-V3大规模服务便宜但本地运行贵的原因。指出推理服务存在吞吐量和延迟的权衡,受批处理大小影响。还分析了不同模型需大批次的原因,如专家混合模型、大型管道模型等。
Sora 模糊视频有救了!强大的免费开源AI视频处理工具!硬件要求低!
Video2X-QT6是免费开源AI视频处理工具,支持视频超清放大、补帧,兼容CPU和GPU,低配置电脑也能用。6.0.0版本用C/C++重写,速度快、跨平台,还能处理图片。介绍了不同系统安装方法等。
读万卷书,大模型就能「看」懂视觉世界?Meta揭秘LLM视觉先验的起源
Meta超级智能实验室与牛津团队新论文发现,只见过文本的大语言模型(LLM)能学到可迁移到视觉任务的先验能力。研究通过超100组受控实验、耗费50万GPU小时,揭开LLM视觉先验来源,还给出预训练数据配方。
实测LibTV团队版:AI视频的工作室时代来了!
作者实测LibTV团队版,分享用其制作皮克斯风格3D动画片段的过程,介绍团队版核心功能,如团队主体库、共享积分池、权限管理等,还提及新功能,指出AI视频走向工业化,而该团队版是首个专注团队协作的工具。