「长链推理」共找到 2755 篇相关文章
通过零开销逐层权重卸载技术将SGLang Diffusion wan2.2的推理速度加速60%
文章介绍在优化SGLang对Wan2.2视频生成模型支持时，发现双Transformer架构下第1步和第19步推理慢的问题。通过零开销逐层权重卸载技术，将整体推理速度提升60%，还突破显存墙，且该优化可扩展到其他模型。
DeepSeek倒逼vLLM升级！芯片内卷、MoE横扫千模，vLLM核心维护者独家回应：如何凭PyTorch坐稳推理“铁王座”
本文介绍了vLLM的发展，自开源后成科技公司首选推理引擎。因DeepSeek发布，团队转向其模型特性优化；还参与各芯片支持工作。vLLM靠PyTorch支持多硬件，同时拓展到多模态推理，面临竞争仍保持优势。
内存直降50%，token需求少56%！用视觉方式处理长文本
在NeurIPS 2025论文中，南京理工大学等校研究团队提出VIST框架，为大语言模型长文本高效推理提供视觉解决方案。它模仿人类阅读机制，让模型具备选择性阅读能力，减少Token需求和内存使用。
“扁平+拓扑”双索引，85页PDF"秒级"推理，MMRag幻觉率骤降76%
文章聚焦多模态长文档视觉问答，介绍现有LVLM - based和RAG - based技术路线及困境。提出MMRAG - DocQA方案，引入‘分层索引 + 多粒度检索’，设计双索引建模相关性与依赖，用互补策略实现证据互补。
与DeepSeek-OCR不谋而合，NeurIPS论文提出让LLM像人一样读长文本
NeurIPS 2025 论文提出 VIST 框架，为大语言模型长文本推理提供视觉方案，与 DeepSeek - OCR 理念不谋而合。它模仿人类阅读，有快 - 慢路径协作，在多任务表现优，还让模型‘用眼看文字’，优势明显。
The Batch：836 | 基准测试成本攀升
独立AI测试实验室披露评估推理模型成本上升。这些模型生成“思维链”提升输出质量，但计算需求增加，成本上升使资源有限组织难复现结果，且新模型定价、按需分配推理token也让成本更复杂。
OpenAI重新开源！深夜连发两个推理模型，o4-mini水平，笔记本、手机可跑
OpenAI 自 GPT - 2 后重新开源，此次连发两个推理模型 gpt - oss - 120b 和 gpt - oss - 20b。它们性能达 o4 - mini 水平，可在笔记本、手机运行，有宽松许可等亮点，在多测试中表现出色。
Kimi开源新线性注意力架构，首次超越全注意力模型，推理速度暴涨6倍
月之暗面发布开源Kimi Linear架构，用新注意力机制首次超越全注意力模型。长上下文任务中，它减少75%的KV缓存需求，推理加速达6倍。核心创新Kimi Delta Attention有细粒度遗忘门控等特点。
华人学生立大功！新王Mamba-3直击Transformer死穴，推理效率碾压7倍
新一代开源架构Mamba-3发布，由CMU普林斯顿原班人马打造，15亿参数性能比Transformer高4%，长序列任务端到端延迟仅为其七分之一。它采用新设计哲学，推理优先，有三大核心技术，还能与自注意力层混合提升检索能力。
前沿模型被曝年度重大漏洞：加密思维链可被轻松提取，GPT，Claude，Gemini 无一幸免
一篇 116 页论文揭示前沿模型思维链重大安全漏洞，Anthropic、OpenAI、Google 的 API 因架构问题，模型隐藏推理过程可通过两次 API 调用被大规模提取，还会带来多种安全威胁。