「并行推理加速」共找到 2748 篇相关文章
高通新款云端芯片公开！借推理抢英伟达蛋糕，市值一夜暴涨197.4亿美元
高通宣布推出AI200和AI250两款全新AI芯片进军数据中心市场，消息使股价一度飙升超20%。新品聚焦推理阶段，主打低TCO、高能效与强内存处理能力，还推进端到端软件栈。高通早有布局，已获订单。
北大字节开源首个时空推理视频模型！思考过程全透明，性能超越GPT-4o
北大和字节联合团队推出开源模型Open-o3 Video，将显式时空证据嵌入视频推理全过程，采用non-agent架构，性能超越GPT - 4o等闭源模型。该模型构建了STGR语料体系，采用双阶段训练，实验表现优秀。
刚刚，英伟达新模型上线！4B推理狂飙53倍，全新注意力架构超越Mamba 2
Jet - Nemotron是英伟达推出的小模型系列（2B/4B），由全华人团队打造。其提出PostNAS与JetBlock，实现架构优化。相比Qwen3等模型，它在多维度准确率更高，H100 GPU上推理吞吐量最高提升53倍。
清华新框架让大模型学会「精读略读」！实现12倍端到端加速，基准评分翻倍
清华等团队提出全新框架RAM，受人类阅读认知启发，将“精读+略读”混合策略引入上下文压缩，突破现有方法效率瓶颈，在多任务上表现出色，实现12倍端到端加速，为长上下文LLM部署提供新范式。
MiniMax开源首个视觉RL统一框架，闫俊杰领衔！推理感知两手抓，性能横扫MEGA-Bench
MiniMax开源首个视觉RL统一框架V-Triune，由闫俊杰领衔。该框架通过三层组件设计和动态IoU奖励机制，让VLM能联合学习推理和感知任务。还开发Orsta模型系列，在MEGA - Bench表现出色，且MiniMax多模态布局动作多。
AI仅凭“自信”学会推理，浙大校友复刻DeepSeek长思维链涌现，强化学习无需外部奖励信号
UC Berkeley团队提出新训练方法Intuitor，大模型无需接触真实答案，仅优化自身信心就能学会复杂推理。该方法无需外部奖励信号或标注数据，用模型自身置信程度作内在奖励信号，在多任务表现良好。
谷歌全线开挂！Gemini 3 Deep Think夺多项推理SOTA，Gemini亚洲新团队也官宣了
谷歌的Gemini 3 Deep Think模式正式上线，推理能力显著加强，在ARC - AGI、HLE等多项权威测评中夺魁，仅向Google AI Ultra订阅用户开放。同时，谷歌DeepMind将在新加坡成立新的Gemini研究团队，由95后华人科学家Yi Tay带队。此外，谷歌还推出了Google Workspace Studio。
腾讯开源混元世界模型1.1，视频秒变3D世界，单卡推理仅需1秒
腾讯发布并开源混元世界模型1.1，是统一的端到端3D重建基座大模型。它支持从多视图或视频一键生成3D世界，单卡秒级推理完成高精度重建，性能达SOTA，还具多特性，打破技术壁垒。
QwenLong-L1.5发布：一套配方，三大法宝，让30B MoE模型长文本推理能力媲美GPT-5
通义文档智能团队推出QwenLong - L1.5，提供长文本推理后训练“配方”，含数据合成管线、强化学习方法和智能体架构。通过三大“法宝”重塑模型能力，效果显著，相关代码已开源。
Sglang 源码学习笔记（三）- 分布式和并行（以deepseek 为例）（WIP）
文章是 sglang 源码学习笔记，聚焦分布式和并行，以 deepseek 为例。介绍通信域类型，分析 ZMQ 和 torch.dist 通信，阐述 TP、DP、EP 实现，包括初始化、使用等，还涉及不同 Linear 层 TP 及 MoE 不同实现情况。