「长链推理」共找到 2827 篇相关文章

算法论文8

密室逃脱成AI新考场,通关率不足50%,暴露空间推理短板丨清华ICCV25

清华大学团队受密室逃脱游戏启发,提出EscapeCraft:一个3D密室逃脱环境,用于评估多模态大模型在视觉环境中完成复杂任务推理的能力。该论文已入选ICCV 2025。研究评测了多个热门模型,发现它们在推理和探索行为方面存在诸多问题。

量子位
产品应用8

PCIe显卡被低估了!内核补齐+通信重构,DeepSeek推理吞吐直接翻近7倍

当前大模型算力需求攀升,高端GPU供给紧成本高,大量PCIe长尾GPU算力因框架适配不足被禁锢。是石科技自研Meta-Infer推理引擎,通过纯软件优化挖掘硬件潜力,让DeepSeek推理吞吐提升近7倍,方法也适配国产GPU。

量子位
推荐文章8

无问芯穹曾书霖谈 AI 2.0 时代的大模型推理:从模型到硬件的协同优化

本文整理自无问芯穹总经理曾书霖博士在 2025 年 QCon 全球软件开发大会演讲。他介绍软硬件协同优化提升智能系统能效成果,结合华为昇腾集群实践,探讨 AI 推理系统演进趋势,还从云、端维度分享大模型推理实践与挑战。

InfoQ
开源动态8

通过零开销逐层权重卸载技术将SGLang Diffusion wan2.2的推理速度加速60%

文章介绍在优化SGLang对Wan2.2视频生成模型支持时,发现双Transformer架构下第1步和第19步推理慢的问题。通过零开销逐层权重卸载技术,将整体推理速度提升60%,还突破显存墙,且该优化可扩展到其他模型。

GiantPandaLLM
开源动态8

DeepSeek倒逼vLLM升级!芯片内卷、MoE横扫千模,vLLM核心维护者独家回应:如何凭PyTorch坐稳推理“铁王座”

本文介绍了vLLM的发展,自开源后成科技公司首选推理引擎。因DeepSeek发布,团队转向其模型特性优化;还参与各芯片支持工作。vLLM靠PyTorch支持多硬件,同时拓展到多模态推理,面临竞争仍保持优势。

InfoQ
算法论文8

内存直降50%,token需求少56%!用视觉方式处理长文本

在NeurIPS 2025论文中,南京理工大学等校研究团队提出VIST框架,为大语言模型长文本高效推理提供视觉解决方案。它模仿人类阅读机制,让模型具备选择性阅读能力,减少Token需求和内存使用。

新智元
算法论文7

“扁平+拓扑”双索引,85页PDF"秒级"推理,MMRag幻觉率骤降76%

文章聚焦多模态长文档视觉问答,介绍现有LVLM - based和RAG - based技术路线及困境。提出MMRAG - DocQA方案,引入‘分层索引 + 多粒度检索’,设计双索引建模相关性与依赖,用互补策略实现证据互补。

CourseAI
算法论文8

与DeepSeek-OCR不谋而合,NeurIPS论文提出让LLM像人一样读长文本

NeurIPS 2025 论文提出 VIST 框架,为大语言模型长文本推理提供视觉方案,与 DeepSeek - OCR 理念不谋而合。它模仿人类阅读,有快 - 慢路径协作,在多任务表现优,还让模型‘用眼看文字’,优势明显。

机器之心
推荐文章8

世界模型的范式之变:因果思维链开始推演未来如何发生

本文探讨世界模型的范式变革,介绍Aether AI推出的引入因果思维链的具身世界模型CausalWM,该模型在多项公开评测中取得领先成绩,分析因果推理对具身智能落地的核心价值,展望其在多领域的应用前景。

DeepTech深科技
新闻资讯7

The Batch:836 | 基准测试成本攀升

独立AI测试实验室披露评估推理模型成本上升。这些模型生成“思维链”提升输出质量,但计算需求增加,成本上升使资源有限组织难复现结果,且新模型定价、按需分配推理token也让成本更复杂。

DeeplearningAI