「GPU内存共享」共找到 714 篇相关文章
一年后，DeepSeek-R1的每token成本降到了原来的1/32
几天前，DeepSeek更新R1论文至86页，公开训练全路径等细节。英伟达发表博客展示在Blackwell GPU上对其降本增效，通过软硬协同提升每瓦特Token吞吐量，还介绍了TensorRT - LLM软件及相关技术提升性能的情况。
重塑注意力机制：GTA登场，KV缓存缩减70%、计算量削减62.5%
GTA由多所高校联合研发，提出大模型框架，解决传统多头注意力机制弊端。通过分组共享注意力矩阵和压缩潜在值表示，削减计算量、缩减KV缓存，实验验证其性能优、效率高，虽有局限但前景好。
32G内存条从800元暴涨到3800元之后
央视财经报道内存涨价潮席卷全球，从上游芯片制造到下游终端产品均受影响。AI爆发致存储芯片供需失衡，上游厂商利润狂欢，中游方案商转型，下游终端产品成本上升、格局分化，产业进入价值重构新周期。
模型大一统？1100多个模型殊途同归，指向一个「通用子空间」！
约翰斯・霍普金斯大学研究发现，1100多个不同神经网络，即便训练条件不同，最终权重会收敛到共享低维子空间。此研究为神经网络参数空间“通用性”提供严谨实证，虽成因待探索，但意义深远。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
InfoQ《极客有约》X AICon 直播邀请华为、蚂蚁集团等专家探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代冲突处理、推理部署成本优化、开源项目挑战及 GPU 虚拟化趋势等内容。
Agent群体智能来了！魔搭开源Agent自进化群体智能框架：群体记忆自动蒸馏与进化，8万+群体技能即取即用，智能体画像一键复用
个人或团队部署使用智能体面临状态易失、重复试错、迁移困难等痛点。魔搭ModelScope团队开源的Ultron框架，补上群体协作基础设施，解决经验沉淀、技能进化和画像共享问题，提升智能体协作效率。
苏妈和李飞飞炸场CES！AMD AI全栈野心显露：从云端到个人PC，AI芯片性能四年要飙1000倍
今年 CES 上 AMD 专场演讲亮点多。苏姿丰称未来五年50亿人每天用 AI；李飞飞和她探讨空间智能与世界模型；Helios 平台受关注，MI455 GPU 解决内存墙；Ryzen AI 推动 AI 下放到本地。
3A大作！阿里ROLL团队从基建->算法->机理，推动RL4LLM全栈协同优化
阿里巴巴ROLL团队联合高校推出「3A」协同优化框架，推动「强化学习用于大语言模型（RL4LLM）」迈向新范式。Async架构提升GPU利用率，AsyPPO降低计算资源消耗，Attention机制提升训练效率与可解释性。
谷歌TPU杀疯了，产能暴涨120%、性能4倍吊打，英伟达还坐得稳吗？
摩根士丹利研报显示，谷歌TPU产能将爆炸式增长，供应不确定性基本解决。TPU性价比高，在推理领域优势明显，或终结英伟达垄断。文章还给出TPU与英伟达GPU的选择建议及不同利益相关者的应对策略。
沐曦过会，投资人已赚麻
10月24日，沐曦股份科创板IPO申请过会，与摩尔线程争夺“国产GPU第一股”。其5年发展迅速，产品有竞争力，融资超百亿，估值超210亿。未上市前，投资人已获利，葛卫东浮盈约2亿，相关上市公司股价也上涨。