两阶段推理」共找到 3117 篇相关文章

算法论文8

密室逃脱成AI新考场,通关率不足50%,暴露空间推理短板丨清华ICCV25

清华大学团队受密室逃脱游戏启发,提出EscapeCraft:一个3D密室逃脱环境,用于评估多模态大模型在视觉环境中完成复杂任务推理的能力。该论文已入选ICCV 2025。研究评测了多个热门模型,发现它们在推理和探索行为方面存在诸多问题。

量子位
推荐文章8

无问芯穹曾书霖谈 AI 2.0 时代的大模型推理:从模型到硬件的协同优化

本文整理自无问芯穹总经理曾书霖博士在 2025 年 QCon 全球软件开发大会演讲。他介绍软硬件协同优化提升智能系统能效成果,结合华为昇腾集群实践,探讨 AI 推理系统演进趋势,还从云、端维度分享大模型推理实践与挑战。

InfoQ
开源动态8

通过零开销逐层权重卸载技术将SGLang Diffusion wan2.2的推理速度加速60%

文章介绍在优化SGLang对Wan2.2视频生成模型支持时,发现双Transformer架构下第1步和第19步推理慢的问题。通过零开销逐层权重卸载技术,将整体推理速度提升60%,还突破显存墙,且该优化可扩展到其他模型。

GiantPandaLLM
开源动态8

奥特曼深夜官宣:OpenAI重回开源!推理模型追平o4-mini,号称世界最强

OpenAI深夜推出gpt-oss 20B和120B款开源模型,性能比肩o3-mini和o4-mini,能在消费级显卡甚至手机运行。有宽松许可证等亮点,还准备了体验网站。这是自GPT - 2后首次开源,降低了部分群体准入门槛。

新智元
产品应用8

国内首次!8.9毫秒推理速度破纪录,1元打穿百万token

在2025人工智能计算大会上,浪潮信息发布元脑SD200和元脑HC1000款AI服务器。前者让DeepSeek R1的Token生成速度达8.9毫秒,后者将推理成本降至1元/百万Token,解决了AI智能体速度与成本难题。

新智元
算法论文8

当SFT遇上RL:基于样本学习阶段的动态策略优化机制

在大模型推理能力增强研究中,SFT和RL种后训练范式难有效融合。研究团队提出DYPO动态策略优化方法,先判断样本学习阶段再匹配优化路径,在多场景实验中表现出色,不过有实验边界。

量子位
算法论文8

斯坦福×英伟达发布AI推理新范式,刷新了多领域SOTA

斯坦福与英伟达联合发布论文 TTT - Discover,提出新范式,不追求通用,在推理阶段针对特定难题修改模型参数。它战绩辉煌,但成本高、是偏科生且需打分器,其出现是技术与哲学的突破。

新智元
产品应用8

马斯克挖不动的清华学霸,一年造出 “反内卷 AI”!0.027B 参数硬刚思维链模型,推理完爆 o3-mini-high

新加坡 Sapient Intelligence 推出小型模型 HRM,参数仅 2700 万却能解决复杂推理难题,其不依赖“思维链”,借鉴人类大脑工作方式。该模型准确率超先进思维链模型,推理能力强,具经济性,可提升任务效率。

InfoQ
开源动态8

DeepSeek倒逼vLLM升级!芯片内卷、MoE横扫千模,vLLM核心维护者独家回应:如何凭PyTorch坐稳推理“铁王座”

本文介绍了vLLM的发展,自开源后成科技公司首选推理引擎。因DeepSeek发布,团队转向其模型特性优化;还参与各芯片支持工作。vLLM靠PyTorch支持多硬件,同时拓展到多模态推理,面临竞争仍保持优势。

InfoQ
算法论文8

击败Meta登榜首:推理增强的文档排序模型ReasonRank来了

本文第一作者刘文涵聚焦AI搜索研究。提出推理增强的文档排序模型ReasonRank,在多个榜单击败多校和机构登榜首,其7B版本超越32B模型,论文获Huggingface paper日榜第一。还介绍研究动机、方法及实验结果等。

机器之心