「GPU内存共享」共找到 733 篇相关文章
谷歌TPU跑Kimi比英伟达GPU快57%！用的还是DeepSeek推理框架
本文报道由vLLM原班人马创立的Inferact公司，联合谷歌优化后，16块谷歌TPU v7跑Kimi K3速度比同数量英伟达GB200快57%，相关代码已开源，详解了背后的技术优化思路。
堆了一仓库GPU，却生产不出专业智能？九章云极用AI工厂给出解答
企业接入通用大模型到业务系统，却发现它难以执行任务。九章云极在发布会上推出‘AI工厂’战略，通过训练工厂和Token工厂填平执行鸿沟，前者用强化学习造专业模型，后者让专业智能规模化流通。
上交大和辉羲把LLM刻进ROM！推理性能冲2万token/s，GPU时代终结？
硅谷Taalas将大模型‘物理焊死’进芯片引关注，而上海交大、辉羲智能与微软亚洲研究院团队用ROM+SRAM异构架构，将端侧LLM推理速度推至20,000 tokens/s。介绍了ROMA和TOM架构优势及应用场景。
华为开源突破性技术Flex:ai，AI算力效率直升30%，GPU、NPU一起用
11月21日，华为发布AI容器技术Flex:ai并联合高校将其开源。该技术基于Kubernetes构建，有三大核心突破，能提升算力利用率，异构兼容性优于Run:ai，将推动国产算力应用。
哈佛CS博士月入4000，抢GPU搞科研！硅谷百万年薪挖人，学界疯狂逃离
AI人才大战使学术界陷入危机，博士生津贴低、抢显卡搞科研，面对硅谷百万年薪和大厂千亿算力投入诱惑，加速流向产业。教授担心学生跳槽，高校补救难，产业还推出“折中方案”，学术界考验才刚开始。
MIRIX重塑AI多模态长期记忆：超Gemini 410%，节省99.9%内存，APP同步上线
UCSD和NYU团队推出开源的MIRIX，全球首个多模态、多智能体AI记忆系统。它表现亮眼，在多任务中超越传统方法，有类人记忆系统等特点，还上线Mac端应用，开启大模型从对话生成到长期记忆驱动心智的新周期。
无需训练，即插即用，2倍GPU端到端推理加速——视频扩散模型加速方法DraftAttention
高质量视频生成任务中，扩散模型成主流，但DiT模型注意力机制计算量大，成推理瓶颈。现有加速法效果不佳，为此美国东北大学等团队提出DraftAttention，可2倍加速推理且不损画质。
Qwen突破：用「并行计算」代替「堆参数」，新方法内存降22倍、延迟降6倍
LLM进化依赖「堆参数」，存在训练成本高、推理慢等问题。论文提出ParScale，用「并行计算」代替「堆参数」，让模型「分头思考」，推理效率提升22倍，旧模型也能改造，落地价值大。
倒卖英伟达GPU算力比火箭卫星来钱快！马斯克交出SpaceX首份财报
SpaceX交出首份上市后财报，AI业务收入25.61亿美元同比猛增247%，成第二大收入源。不过AI业务支出158.28亿美元是烧钱大头，业务仍亏损，未来盈利面临客户消化力等问题。
马斯克20亿送Grok 4上火星！20万GPU造宇宙大脑，一句话生成3D黑洞
发布72小时，Grok 4爆红硅谷，2分钟可部署游戏，一句话直出完整动画。xAI成立两周年，马斯克SpaceX将投20亿，或把模型送上火星。Grok 4算力强，多项基准测试刷新SOTA。