「GPU推理」共找到 2382 篇相关文章
多模型共享 GPU 内存，Berkeley 开源新工具
GPU内存利用率低是大模型部署痛点，伯克利Sky Computing Lab团队开源kvcached工具，通过虚拟化技术让多模型共享显存。它引入虚拟内存概念，按需分配，测试显示能提升效率，安装简单、兼容性好。
蚂蚁开源MedResearcher-R1医学知识图谱+多跳推理
医学领域需处理复杂关系，现有医学AI系统缺乏对罕见实体和复杂关系的推理能力。MedResearcher - R1通过专门图谱和检索工具，结合两阶段训练范式解决问题，在医学基准测试取得新成果。
谷歌揭秘：Multi-Agent 推理时扩展才是未来。
谷歌DeepMind和MIT联合发表论文TUMIX，指出Multi - Agent是推理时扩展的最佳方式，以低成本大幅提升准确率。实验表明Agent多样性优于重复采样，还展示TUMIX机制、实战表现，且LLM能设计更强Agent。
LLM加速利器LMCache，极大降低GPU资源消耗
LMCache是大语言模型服务引擎扩展组件，能降低首次响应延迟、提升吞吐量，适用于长上下文场景。它将KV缓存存于多级存储，跨服务实例复用任意重复文本的KV缓存，节省GPU算力，与vLLM结合优化显著。
国产GPU首获全球顶级推理框架「原生门票」：MUSA合入SGLang主线
近日，摩尔线程举办「SGLang × MUSA Meetup」，分享与 SGLang 社区及 MUSA 生态协同进展。其 MUSA 后端已加入 SGLang 官方支持体系，代码合入主线，还在多方面取得成果，众多开源项目核心维护者参与探讨国产 AI 算力。
刚刚，马斯克官宣xAI解散，22万张GPU算力租给Anthropic
马斯克官宣 xAI 解散，将整合进 SpaceX 新子部门 SpaceXAI。同时，SpaceX 与 Anthropic 达成协议，超 22 万张英伟达 GPU 算力用于提升 Claude 代码生成，双方合作利好彼此。
阿里：RL强化LLM推理，是技巧还是陷阱？
近年来，强化学习（RL）成为解锁大型语言模型（LLM）复杂推理能力的关键工具，但该领域也面临技术选择困境。阿里联合多所高校的论文通过大规模可复现实验，揭示主流RL技巧的机制与适用场景，还发现极简组合（Lite PPO）性能超越复杂方案。
英伟达发布统一GPU开发平台DGX Cloud Lepton
英伟达发布专为开发者设计的AI平台DGX Cloud Lepton，可汇聚全球GPU计算资源，提供即时访问和无缝部署能力。它功能强大，支持多环境部署，提供统一体验，还有庞大合作网络。
LeCun的世界模型单GPU就能跑了
LeCun世界模型有新进展，开源极简训练方案LeWorldModel，单GPU就能跑，基于JEPA架构，速度快、参数小、控制强且懂物理，完胜此前JEPA方法，训练更简单。
性价比搏击：Grok 4 Fast 推理成本直降 98%
xAI上周五发布旗舰模型轻量化版Grok 4 Fast，推理成本直降98%。它通过强化学习在基准测试表现佳，有原生工具调用能力，采用统一架构，性价比高，或改写大模型竞争规则。