「推理技术栈」共找到 4669 篇相关文章
关键技术详解｜腾讯一念 LLM 分布式推理优化实践
InfoQ 邀请袁镱分享《一念 LLM 分布式推理优化实践》。介绍了“一念 LLM”设计思路、推理优化挑战与突破等，还对比不同框架，指出优化方向，如先实现 PP，再推进 EP 与 PD 分离。
AI Infra入门干货总结：大模型是如何高效推理的
作者深入研读vLLM源码，以Llama 3为例，聚焦Decoder-Only架构LLM，介绍推理各环节及张量维度变化，讲解连续批处理和Paged Attention概念，还阐述推理流程、采样策略等，最后总结相关拓展内容。
拒绝不必要Think：微软&北大提出第一种自适应大型混合推理模型
大型推理模型冗长思考开销大，微软研究院和北大提出大型混合推理模型（LHRMs），它能依查询上下文决定是否思考。介绍了两阶段训练流程、评估指标，实验显示其超越现有模型且效率高。
《航空学报》综述 | 飞行器结构动载荷特征、测量及识别技术
东南大学费庆国教授等发表综述，系统梳理飞行器结构动载荷从特征认知、响应测量到载荷识别的技术进展，分析典型位置载荷特征，总结测量技术，回顾识别方法，探讨挑战与未来趋势。
VLA 推理新范式！一致性模型 CEED-VLA 实现四倍加速！
近年来，VLA模型成机器人领域重要研究方向，但推理速度受限。本文提出一致性蒸馏训练、混合标签监督机制及提前退出解码策略，在多基线模型上实现超4倍推理加速，实验验证其高效通用。
AGI 新技术路线：下一代稀疏注意力机制 Monte Carlo Attention 开源
超对称技术公司在新版基座模型 BigBang - Proton 中使用的 Monte Carlo 注意力开源。它基于二进制块编码技术，用块间代表交流机制实现线性复杂度，兼具多种注意力机制优点，可满足宇宙尺度建模的上下文长度需求。
吴恩达新作：87%推理token用不着，丢掉反而快3倍
吴恩达新作Prefix Sliding指出，模型推理时丢弃中间已贬值token，只保留前缀+滑动窗口，无需训练可提速3倍，配合RL训练能将推理轨迹扩展到10万token以上。该方法为Agent场景提供新思路。
多模态卷王阶跃星辰Step 3登场，推理效率可达DeepSeek-R1 300%
新一代多模态推理基模Step 3登场，它采用原创MFA架构，具“多开好省”亮点，推理效率高、性价比优。7月31日将开源，能适配各芯片，还发起“模芯生态创新联盟”推动应用落地。
跑通AI Agent「最后一公里」：iMeanAI的WebAgent后训练技术全解析
文章深入解析iMeanAI的WebAgent后训练技术，指出当前AI Agent落地存在从‘理解’到‘执行’的困境。通过两个极限任务展示其能力，介绍核心技术架构和后训练进化引擎，还提及该技术带来的自由体验，其1.0版本已公测。
5大维度、4类模态：LLM/Agent数据分析技术全景图
文章分享《LLM/Agent-as-Data-Analyst: A Survey》，上交大、清华、微软等将「LLM/Agent 当数据分析师」技术拆成 5 大设计维度与 4 类数据模态，给出 100+ 代表性方法等，还介绍不同数据类型的分析技术。