「CoT - decoding」共找到 69 篇相关文章
只用2700万参数，这个推理模型超越了DeepSeek和Claude
Sapient Intelligence研究者受大脑机制启发提出分层推理模型（HRM），该模型仅2700万参数、1000个训练样本，就在复杂推理任务上超越DeepSeek和Claude等模型，还引入近似梯度等创新设计。
图解Vllm V1系列6：KVCacheManager与PrefixCaching
文章聚焦vllm v1，阐述调度器取请求时判断设备有无充足空间做推理的问题，涉及KVCacheManager与Prefix Caching。前者管理请求和块，后者通过找最长一致前缀节省显存，还介绍块分配释放策略与流程。
突破显存瓶颈：基于 DeepSeek-V3.2-Exp 的 Latent Cache 卸载预取方案设计与模拟验证
百度百舸AIAK团队针对DeepSeek-V3.2-Exp，设计基于Latent Cache的卸载预取方案ESS。该方案解决显存瓶颈，提升Decode吞吐并降低成本，经模拟验证效果显著，未来将拓展应用。
AI Infra入门干货总结：大模型是如何高效推理的
作者深入研读vLLM源码，以Llama 3为例，聚焦Decoder-Only架构LLM，介绍推理各环节及张量维度变化，讲解连续批处理和Paged Attention概念，还阐述推理流程、采样策略等，最后总结相关拓展内容。
2篇最新Anthropic论文，揭开LLM对齐新范式
Anthropic在5月连发两篇研究，揭示LLM对齐训练新范式。指出单纯模仿正确行为不足以保证安全，需在预训练与对齐微调间插入教原理阶段。研究围绕Claude模型展开，有多项关键发现，MSM方法效果显著。
百度Qianfan-VL，发票/图表/合同等PDF识别94.75%刷新纪录！
当前主流视觉 - 语言模型在企业级应用有难点，百度千帆团队提出Qianfan - VL系列多模态大模型，在通用和企业级任务表现出色，基于自研芯片训练，还提供框架与管线降低成本。
首篇潜空间推理综述！模型思考不必依赖Token，带宽暴增2700+倍
史上首篇潜空间推理综述全面总结新兴推理范式，分析循环、递归等推理形式并总结成框架。潜空间推理用潜式思维链，带宽比显式CoT提升2700多倍，还介绍无限深度推理实现途径。
ACL 2025｜为什么你设计的 Prompt 会成功？新理论揭示大模型 Prompt 设计的奥秘与效能
英属哥伦比亚大学等团队剖析Prompt在LLM的CoT推理中调控模型内部信息流，构建量化Prompt搜索空间复杂度理论框架。研究解释提示有效的原因，提供设计高效提示词思路，实验验证理论框架。
Cloudflare CEO：五年后，机器人流量将千倍于人类
本文整理自The Verge《Decoder》播客对Cloudflare CEO的访谈，披露今年5月互联网自动化流量已超过人类流量，预测五年后将达千倍，讨论AI时代互联网新商业模式、内容付费、AI爬虫拦截等热点议题。
DeepMind率先提出CoF：视频模型有自己的思维链
DeepMind在Veo 3论文中提出帧链CoF概念，类比语言模型CoT，让视频模型能时空推理。实验显示Veo 3有通用视觉理解能力，能零样本解决视觉任务，未来通用视频模型或取代专用模型。