「异步推理」共找到 2081 篇相关文章
后端架构新范式！阿里云专家亲揭：用RocketMQ彻底搞定多Agent异步协同难题
文章整理自阿里云专家演讲，介绍基于 Apache RocketMQ 新特性构建异步化 Multi - Agent 系统，探讨 Agent 间异步通信等机制，指出 Multi - Agent 协同关键，还讲了 RocketMQ 新特性及如何构建异步系统。
谷歌之后，英伟达入局扩散大语言模型，Fast-dLLM推理速度狂飙27.6倍
大语言模型领域，推理效率制约实际应用。谷歌Gemini diffusion曾展扩散模型并行潜力，但开源扩散LLM推理慢。近日，NVIDIA等推出Fast - dLLM，无需训练即插即用，推理速度狂飙27.6倍，兼顾速度与精度。
别再无脑开高推理！Opus 5高配会擅自重构代码乱加戏
有人用FrontierCode编程基准测试Opus 5推理档位，发现性能顶峰在medium档，高档位推理预算多余，会让模型反复校验、偏离需求，在代码场景还会擅自重构代码。Anthropic也建议调低推理档位。
揭秘LLM“思考”之谜：推理即“梯度下降”，元学习框架解构训练过程，还给优化提供新思路
上海AI Lab团队提出RaML框架，从梯度下降和元学习角度揭示LLM“思考”机制。通过实证验证推理轨迹作为参数更新的合理性，还对比不同训练策略，指出RaML为优化LLM性能提供新思路。
推理即排序：ReasonRank反常识的2.7倍效率跃迁，新SOTA比快更快
论文提出新型排序模型ReasonRank，将深度推理能力融入排序流程，突破数据瓶颈，采用创新训练框架，效率比主流点对点排序模型快2.7倍，还介绍方法论、技术突破、实验验证等内容，指出局限与未来方向。
让AI学着“看菜下碟”！港中大等新框架让推理长度减少90%，准确率反增17%
香港中文大学等研究者提出TON选择性推理框架，使视觉语言模型能自主判断是否推理。该框架有两阶段训练机制，实验显示其让推理长度最多减90%，准确率还提升，有益模型部署。
手机跑推理模型：Liquid AI发布仅需900MB内存的LFM2.5-1.2B-Thinking
Liquid AI发布LFM2.5 - 1.2B - Thinking推理模型，仅需900MB内存就能在手机运行。它专为简洁推理训练，性能提升明显，多数性能基准超Qwen3 - 1.7B，在多平台表现佳，还支持主流推理框架。
马斯克挖不动的清华学霸，一年造出 “反内卷 AI”！0.27B参数硬刚思维链模型，推理完爆o3-mini-high
新加坡Sapient Intelligence推出小参数AI模型HRM，能解决复杂推理难题。它受大脑启发，提出“隐性推理”路径，准确率碾压先进思维链模型，推理能力超越o3 - mini - high，经济性突出，任务效率可百倍提升。
The Batch: 899 | 更划算的推理
研究人员提出 Delethink 强化学习方法，训练大模型定期截断推理 token 至固定最大数量，以限制处理长思维链成本。经测试该模型在多方面超基线，且缓解计算成本限制，为长上下文推理提供路径。
如何重现 DeepSeek 推理性能突破
DeepSeek-V3 是热门开源大模型，采用大规模 MoE 架构，优化推理性能是工程难点。阿里团队在 RTP - LLM 完成优化，对齐其推理系统性能，分享关键技术、不足与思考，还提及对 Qwen3 模型的优化策略。