「低延迟推理」共找到 2933 篇相关文章
万字长文！大模型(LLM)推理优化技术总结（非常详细）
文章聚焦大模型推理优化技术，介绍推理过程分预填充与解码阶段，还阐述模型并行、注意力机制优化、模型优化及服务技术等，如多查询注意力减少内存，FlashAttention 优化计算顺序。
DeepSeek-R1全升级V2版：Token成本低至原来30%
DeepSeek - R1 V2版全维度升级，训练框架从‘单一RL’到‘多阶段协同优化’，推理能力从‘能推理’到‘会优化推理’，还提升了安全可控性，适配生态，推出轻量级模型。
大模型训练新突破！“不对称”训练让AI学会自我反思，推理零开销
字节团队提出全新语言模型训练方法PCL，首次打破训练与推理对称约束，实现‘训练-推理不对称’。在训练时让模型反思评估结果，推理时仅输出答案，零额外开销，显著提升模型能力。
LLM 仅靠自身就能增强推理？SePT 给出简洁在线自训练范式
多数推理后训练方法依赖外部信号，SePT仅用模型自身生成的答案自训练，能提升推理能力，数学推理任务准确率升10个点。它核心简洁，设计关键是温度解耦等，不损模型通用能力，代码易迁移复现。
测试时Scaling或是最大错觉，Google：R1/O1强推理另有原因
Google 112 页论文实证，OpenAI 的 o 系列等模型推理能力提升并非仅因计算时间延长，而是源于对复杂互动的隐式模拟。通过三重验证表明推理能力跃迁或因‘吵得更凶’，而非‘算得更久’。
无需多视角，单图重建可交互3D模型！南洋理工开源结构推理框架
南洋理工大学团队提出MonoArt，将单目可动物体重建建模为渐进式结构推理过程，通过四个关键模块逐步推理，无需外部先验，在PartNet - Mobility基准测试中表现领先，兼顾推理效率，还可用于下游任务。
从打分器到思考者：RM-R1用推理重塑模型价值判断
伊利诺伊大学香槟分校团队提出 RM - R1 框架，将奖励建模定义为推理任务。它引入推理奖励模型和链式评估准则机制，经两阶段训练，在多基准测试中表现超大规模模型，验证了推理能力对奖励模型的重要性。
浙大推出首个「多图应用题」基准GSM8K-V，全面评估 VLM数学推理能力
浙江大学团队推出视觉数学推理基准GSM8K-V，将GSM8K映射为视觉对应版本。它数据可靠、覆盖全面，经三阶段构建。实验显示，现有视觉语言模型在视觉推理上短板明显，为模型发展指明方向。
DeepSeek-R1推理智能从哪儿来？谷歌新研究：模型内心多个角色吵翻了
过去两年大模型推理能力跃迁，谷歌等机构研究指出，推理能力提升源于模型推理时隐式模拟类多智能体交互结构“思维社会”，还提出利用“群体智慧”新方向，并介绍了研究方法、实验结果等。
DeepSeek-R1推理智能从哪儿来？谷歌新研究：模型内心多个角色吵翻了
谷歌等机构研究指出，推理模型能力提升源于‘思维社会’，即模拟类多智能体交互结构。如 DeepSeek - R1 等在推理中展现高视角多样性，对话特征能提升推理准确率，还提出利用‘群体智慧’新方向。