「有状态推理」共找到 7601 篇相关文章
“扁平+拓扑”双索引，85页PDF"秒级"推理，MMRag幻觉率骤降76%
文章聚焦多模态长文档视觉问答，介绍现有LVLM - based和RAG - based技术路线及困境。提出MMRAG - DocQA方案，引入‘分层索引 + 多粒度检索’，设计双索引建模相关性与依赖，用互补策略实现证据互补。
五倍推理加速，激发自回归潜能，苹果新工作让LLM预测未来
近年来自回归训练方法成语言模型主流范式，但推理阶段计算开销大。苹果研究人员开发框架，让预训练自回归大模型多 token 预测，代码和数学任务推理加速达 5.35 倍，一般任务约 2.5 倍。
微软AI新天团曝光！只有1位华人，「谷歌系」超1/3
微软AI CEO苏莱曼领导的17名核心高管阵容曝光，新增9名核心成员中有5位来自谷歌（包含DeepMind）系，8名老将中有2名来自苏莱曼共同创办的Inflection AI。新核心团队将聚焦AI产品落地、安全与隐私、增长与商业化。
推理效率狂飙60倍：DiDi-Instruct让扩散大模型16步超越千步GPT
普渡大学等研究者提出 DiDi-Instruct 后训练方法，可将扩散大语言模型推理加速 60 倍，超越传统 GPT 模型。该方法实现推理效率与效果双提升，为大语言模型落地提供新方案。
刚刚，美团开源 SOTA 推理模型 LongCat-Flash-Thinking，性能逼近 GPT5-Thinking
美团宣布开源高效推理模型 LongCat-Flash-Thinking，性能逼近 GPT5-Thinking，是国内首个结合多种推理能力的大语言模型。它采用新方法提升性能，已在多平台开源，API 平台免费开放，还兼容主流 API 格式。
最鲁棒的MLLM！港科大开源「退化感知推理新范式」 | AAAI'26
多模态大语言模型（MLLMs）在真实世界视觉退化下性能崩溃，制约产业落地。港科大等团队开源的Robust - R1被AAAI 2026接收为Oral，提出显式结构化推理新范式，实现质量与鲁棒性双重突破。
首次结合RL与SFT各自优势，动态引导模型实现推理⾼效训练
新一代大型推理模型在复杂推理有进展，核心是ZERO - RL训练法。华为香港研究所小艺团队等合作推出GHPO算法框架，融合在线强化学习与模仿学习，解决了RLVR方法局限，提升模型训练效果，代码数据开源。
AI 推理精细化流量治理实战：RocketMQ LiteTopic 的“千人千面”流控方案
随着大模型推理服务成主流，传统消息队列限流机制在AI推理场景面临挑战。Apache RocketMQ 5.x推出LiteTopic，其精细化流量治理方案能实现‘千人千面’，解决队列头部阻塞和并发效率受损问题，还与阿里云百炼网关合作。
开源共建重塑推理 Infra：从架构创新到生态协同，Mooncake的破局之路
大模型推理落地面临成本、吞吐、长上下文“三角困境”。开源项目Mooncake以“计算存储解耦”为核心，通过PD分离等技术提供底层支撑。直播邀请专家从多视角拆解其技术逻辑、开源价值与企业实践。
扩散语言模型九倍推理加速！上海交大：KV Cache并非自回归模型的专属技巧
上海交通大学EPIC Lab团队提出免训练推理缓存机制dLLM - Cache，复用特征降低计算量。它即插即用，通用于主流dLLM架构，在多个基准测试中实现数倍推理加速，且不降低生成质量。