「GPU内存共享」共找到 732 篇相关文章
让GPU不再摸鱼！清华蚂蚁联合开源首个全异步RL，一夜击穿14B SOTA
清华与蚂蚁联合开源AReaL - boba²，实现全异步强化学习训练系统，解耦模型生成与训练流程，大幅提升GPU利用率。14B模型在多个代码基准测试达SOTA，性能接近235B模型。
SGLang Team：在 96 个 H100 GPU 上部署具有 PD 分解和大规模专家并行性的 DeepSeek
本文介绍 SGLang 团队在 96 个 H100 GPU 上部署 DeepSeek 的方法。利用 PD 分解和大规模专家并行性，SGLang 实现高吞吐量，成本低。博客探讨并行设计、优化方法，所有组件开源，也指出了当前局限与未来方向。
英伟达GPU全系列硬核科普手册：一文读懂NVIDIA芯片的定位、规格与应用场景
这是英伟达GPU全系列硬核科普手册，覆盖消费级、工作站、推理卡、训练卡及中国特供版五大产品线，讲清区别与用法，还介绍架构演进、命名规则等，助读者秒变选型高手。
GPT-5两周内发布，内测猛料流出？GPT-6或已开始训练，奥特曼剧透百万GPU
有爆料称GPT-5将在两周内发布，是多模型组成的系统，含「路由器」，GPT-6已在训练。奥特曼称年底将增超百万GPU，有人看好GPT-5，也有人认为它可能只是路由器。此外，OpenAI有十名员工拒小扎3亿天价offer。
两个16岁的高中生，共享了自己的显卡和API，想让全校同学都免费用上AI。
本文讲述了两位16岁高中生张睿修和冯子上的故事。他们成立炼丹社，将自己的显卡、服务器等资源共享，搭建FreeAPI项目，让全校同学免费用AI。两人性格不同但都爱创造，还在帮学校做校园网站。
2G 内存跑 Gemma 3n 完整版！全球首个 10B 内模型杀疯 LMArena：1300 分碾压记录
当地时间6月26日，谷歌正式发布Gemma 3n完整版，可在本地硬件运行。它是开源大模型，具多模态能力，最低2GB内存设备就能跑，E4B模型LMArena测评表现佳，还有MatFormer架构等多项创新。
国产GPU赛道又跑出一个 2700 亿独角兽！“中国AMD”沐曦股份完成IPO，开盘大涨超 500%
继摩尔线程后，沐曦集成电路登陆科创板，截至发稿估值破 2700 亿。其核心团队多来自 AMD，产品覆盖多领域。虽三年累计净亏超 30 亿，但营收增长强劲。沐曦上市标志国产 GPU 进入“市场与资本检验期”。
英伟达的局：狂撒15亿美元，从Lambda那租到了搭载自家AI芯片的GPU服务器
据The Information消息，英伟达与小型云服务提供商Lambda达成15亿美元合作，租赁其搭载自研AI芯片的GPU服务器。这并非首次，此前已对CoreWeave如此操作。目的是维护其在云计算市场的主导地位。
图灵奖大佬向97年小孩哥汇报？小扎1亿年薪买新贵，老将痛诉熬夜捡GPU！
新智元报道，小扎砸143亿拿下Scale AI 49%股权引入Alexandr Wang任Meta首席AI官，甚至可能让LeCun向其汇报。而Meta老员工因GPU受限研究受阻，科技圈有人上亿年薪，有人被裁，AI圈呈职业体育趋势。
32k微调处理百万Token：21倍的推理加速，10倍的峰值显存节省，实现恒定内存消耗
现有大模型处理超长文档易内存爆炸、计算崩溃。阿里巴巴未来生活实验室推出CoMeT架构，有双轨并行记忆系统，能恒定内存、线性时间处理文本，在基准测试超主流方法，实现21倍推理加速和10倍显存节省。