「混合推理模型」共找到 8222 篇相关文章
告别「解码器饥饿」！中国科学院NeurIPS推SpaceServe，高并发克星
中国科学院计算技术研究所入选NeurIPS 2025的论文提出SpaceServe架构，将LLM推理P/D分离扩展至多模态场景，通过EPD三阶解耦与「空分复用」，解决MLLM推理行头阻塞难题，在Qwen2 - VL系列模型实测中表现出色。
如何利用pytorch memory snapshot进行显存分析
文章聚焦于用pytorch memory snapshot分析模型训推显存消耗，不讨论工具使用，侧重解读记录内容。以混合精度训练为例，介绍各步骤显存管理细节，还给出单层、双层模型及zero1训练的显存分析。
谷歌Gemini 2.5全线爆发！勇战「濒死恐慌」，却被丝血宝可梦吓到当场宕机
谷歌旗舰Gemini 2.5全家桶三款模型昨夜上线，包括正式版2.5 Pro、2.5 Flash及预览版2.5 Flash - Lite。技术报告显示其性能提升显著，还在玩宝可梦时惊现类人恐慌，推理性能下降。
PixelRefer ：让AI从“看大图”走向“看懂每个对象”
多模态大模型多停留在整体场景级理解，现实任务需细粒度、对象级理解。浙江大学等联合提出PixelRefer框架，可实现精细视觉指代与推理，在多项任务表现领先，轻量版性能优，还开源两类数据集。
Sea AI Lab 揭秘：你费尽心力调的 LLM 一直在崩溃？罪魁祸首可能只是一个参数：BF16
Sea AI Lab 和新加坡国立大学研究指出，强化学习微调中训练不稳定和性能瓶颈，根源是数值精度 BF16。其低精度造成“训练 - 推理不匹配”，使训练易失败。将精度切换到 FP16 可解决问题，提升模型表现。
刚刚，Sam Altman宣布：GPT-5即将发布
Sam Altman在X上宣布OpenAI通用推理系统在2025年IMO达金牌水平，同时透露GPT - 5即将发布。OpenAI研究员Alexander Wei介绍突破细节，模型解决多道题获35分。GPT - 5是实验模型，有金牌能力的版本还需等待。
ICML 2025 | 长视频理解新SOTA！蚂蚁&人大开源ViLAMP-7B，单卡可处理3小时视频
在视觉语言模型取得突破的当下，长视频理解挑战凸显。蚂蚁和人大团队提出视觉语言大模型ViLAMP，采用‘混合精度’策略，在多基准测试中超越现有方案，单卡可处理3小时视频，为实际应用带来新可能。
NVIDIA技术沙龙 《大规模EP优化：PD分离MoE并行方式》课程笔记
本文是NVIDIA技术沙龙课程笔记，介绍大规模EP优化的PD分离MoE并行方式。涵盖PD分离、大规模专家并行等五项关键技术创新，还对比多模型架构，展示推理服务架构性能特点与优化策略，以及各技术工作流程和效果。
社区供稿丨MiniCPM-V 4.5 技术报告正式出炉
上个月开源的多模态模型 MiniCPM-V 4.5 广受好评，今日其技术报告出炉。报告从架构、数据和训练三方面探索高效路径，提出三大技术，使模型在多任务上突破，小参数规模下性能和推理速度佳。
GPT之父把AI扔回1930年：没见过一行代码，却「发明」了Python！
GPT之父Alec Radford带队发布总参数130亿的大模型「talkie」，其训练数据冻结在1930年，没学过编程却能写Python代码，证明LLM可用旧知识推理。团队后续还有升级计划。