「2D推理」共找到 3902 篇相关文章
SGLang支持GPT-OSS：从Day 0支持到性能增强
SGLang宣布重大更新，聚焦openai/gpt - oss - 120b模型深度性能优化与新功能。预填充和解码阶段吞吐量显著提升，支持多GPU，有推测解码等功能，还支持智能体应用程序，且不损害模型推理能力。
谷歌新论文把内存股价干崩了！KV cache压缩6倍，“谷歌的DeepSeek时刻”
谷歌研究院推出TurboQuant压缩算法，可将AI推理中最吃内存的KV cache压缩至少6倍且精度零损失，还能8倍加速计算。虽引发存储芯片巨头股价下跌，但目前只是实验室成果，仅解决推理阶段内存问题。
The Batch: 969 | 谷歌的机器人模型有了腿
谷歌发布 Gemini Robotics 2（GR2），能将相机图像和文字指令转为机器人关节控制命令，可同时控制人形机器人腿、躯干、手臂和手部，简化模型训练和设计，不过谷歌未公布其基础模型等信息。
马斯克开源新模型：能实时抓取社交平台数据，20万块H100训练
马斯克旗下xAI开源去年最佳模型Grok - 2.5，6个月内还将开源旗舰模型Grok 3。Grok - 2.5可实时抓取社交平台X数据，用超20万块H100训练，性能超GPT - 4o等，应用场景广泛。
入局AI Infra：程序员必须了解的AI系统设计与挑战知识
文章分享传统后台工程师技术栈和方法论如何迁移到AI系统，系统性拆解AI Infra的硬件、软件、训练和推理挑战，如硬件从CPU到GPU、软件依赖深度学习框架，还分析训练和推理面临的问题及解决办法。
华为世界模型来了！单卡30分钟生成272㎡场景
华为联合上海交通大学、华中科技大学推出世界模型WordGrow，可生成1800㎡超大室内场景，单卡30分钟跑272㎡。它用数据精准预处理、3D块补全机制、粗到精生成策略填3D场景构建的坑，指标优、速度快。
中学生就能看懂：从零开始理解LLM内部原理【十三】｜GPT 架构如何工作 ？
本文是对GPT架构工作原理的解读。介绍了GPT与Transformer的关系，阐述其从输入文本到预测下一词概率的流水线，详述训练和推理流程，还提及GPT架构进化的混合专家（MoE）模型。
AI 设计9个月就能媲美Blackwell？OpenAI “辣芯”绕开英伟达正面战场，但老黄的GPU大盘不稳了
OpenAI 展示与博通联合打造的定制 AI 芯片 Jalapeño，性能媲美英伟达 Blackwell 或谷歌 TPU。计划年底部署，是多代芯片开发首步。它专为大模型推理设计，设计周期短，成本低，OpenAI 借此扩展全栈能力。
vLLM 新特性：批量大小不再影响模型输出
vLLM 推出批量不变推理功能，解决大模型推理中相同输入在不同批量大小下结果不同的问题。设置 `VLLM_BATCH_INVARIANT=1` 可保证输出一致，技术实现含三部分，虽有性能开销但换来了结果确定性。
她们估值840亿，刚发了第一个AI成果
估值超120亿美元的Thinking Machines发布首篇研究博客，由创始人、OpenAI前CTO Mira Murati宣发。研究聚焦克服大语言模型推理中的不确定性，探讨推理结果难复现的根源，还介绍解决办法并验证效果。