「推理token」共找到 2499 篇相关文章
SGLang原生支持昇腾,新模型一键拉起无需改代码
12月20日SGLang AI金融π对收官,聚焦大模型推理效率。昇腾成SGLang原生支持后端,助DeepSeek等模型免调参运行。SGLang给出推理系统工程解法,昇腾与SGLang深度共建,性能优且全面拥抱开源。
ACL 2026 | 赋予视频生成「视觉思维链」:VChain显式建模时空规划与状态演变
南洋理工大学团队在ACL 2026发表VChain框架,引入大模型视觉推理能力提升视频逻辑连贯性。它分三步实现,实验效果超现有方法,还展示视频推理与生成的潜在趋势,为多模态模型协作提供范例。
斯坦福7B智能体全面超越GPT-4o,推理流登顶HF
传统智能体系统难兼顾稳定性和学习能力,斯坦福等团队提出AgentFlow框架,通过模块化和实时强化学习优化策略,使7B参数模型在多任务上超越GPT - 4o等大模型,为AI发展提供新思路。
数学编码超越O3-high,英伟达版「DeepSeek R1二代」推理模型开源~
Nvidia开源OpenReasoning-Nemotron系列模型合集,采用Qwen2.5架构,基于500万条轨迹训练。评测输出长度最高64K token,多版本刷新SOTA。其‘heavy’模式有独特能力,32B版在数学与编程基准超越O3(High)。
只要9美元!LoRA+强化学习,DeepSeek 1.5B推理性能暴涨20%
南加州大学团队基于LoRA的强化学习训练1.5B推理模型,在AIME 24测试上性能提升超20%,成本仅9美元。开源Tina模型结合三大关键技术,与SOTA模型相比竞争力强,研究者还对其有效性提出假设。
破解遥感目标的形状与尺度难题,PKINet二代推理提速近4倍!
PKINet - v2是改进的遥感目标检测模型,能处理复杂形状和尺度变化问题。它在PKINet基础上升级,统一条带与方形卷积,部署时折叠为单大核。在多数据集上精度和速度提升,可服务多领域,但对特殊目标仍有检测问题。
“扁平+拓扑”双索引,85页PDF"秒级"推理,MMRag幻觉率骤降76%
文章聚焦多模态长文档视觉问答,介绍现有LVLM - based和RAG - based技术路线及困境。提出MMRAG - DocQA方案,引入‘分层索引 + 多粒度检索’,设计双索引建模相关性与依赖,用互补策略实现证据互补。
为什么HBM能摆脱传统周期?
当前市场对HBM和DRAM能否摆脱传统半导体周期性存争议。过去半导体周期由消费电子换机节奏驱动,而AI推理不同,大模型推理对内存依赖是硬约束,GPU更新对HBM需求几乎注定指数级增长。
快慢Reasoning综述!
大型语言模型在复杂推理任务中有‘无差别计算’缺陷,阻碍其在多场景应用。本文提出双层效率优化框架,梳理两类前沿技术,通过实验揭示瓶颈,为轻量化推理指明路径。
DeepMind 创始人 Hassabis 语出惊人:百万 token 只是在贴胶带,AGI 在 2030 年
DeepMind创始人Hassabis在访谈中评估AGI进展,认为当前范式是最终架构一部分,但持续学习等问题待解决,预计2030年左右实现AGI,还探讨了Agent、蒸馏等多方面内容,并给创业者建议。