「多阶段推理系统」共找到 4041 篇相关文章
Deepseek 正式发布 V3.1：混合推理，Agent能力大幅提高，token消耗减半
Deepseek正式发布Deepseek V3.1，采用混合推理，支持双模式切换，上下文扩展到128k，API支持Claude Code调用。工具与Agent能力提升，思考效率更高，token消耗减半，官方渠道全面升级，9月6号起调整价格。
让推荐学会思考：用强化学习激活大模型的序列推理能力
文章指出推荐系统曾未紧密结合大模型能力，如今正靠近其训练范式。作者基于用户行为序列，用强化学习训练大模型理解序列关系，以预测用户下一个可能点击的资讯，并通过实验验证了该方法的可行性，还探讨了不同数据库中BM25算法的差异。
最受欢迎的开源大模型推理框架 vLLM、SGLang 是如何炼成的？
文章介绍了开源推理引擎 vLLM 和 SGLang，包括起源、创新、社区发展、版本迭代等。vLLM 借鉴分页缓存管理技术，SGLang 基于 RadixAttention 优化。二者竞争激烈，性能趋同，还获投资与基金会关注，受科技公司青睐。
北大提出首个复数大模型，2比特量化，推理仅加法，可手机部署！
北大团队提出iFairy方案，将模型权重量化到复数集合，用2比特表示，压缩至原本1/8。推理仅需加减或交换数据位置，成本更低。Transformer架构“复数化”，iFairy模型PPL降10%，性能反超全精度，相关成果已开源。
HumanSense：探索多模态推理边界，打造「察言观色会共情」的全模态交互伙伴
蚂蚁集团与西安交通大学联合提出并开源 HumanSense，含评估基准与推理模型。通过细粒度评测、全模态消融等研究，提出优化策略，项目已在 GitHub 和 HuggingFace 开源，推动 AI 交互体验革新。
Meta 新成立超级智能实验室，让大模型RAG推理速度飙升30倍
Meta新成立超级智能实验室（MSL），首篇论文REFRAG将RAG推理速度提升30倍以上。它先把上下文压缩成摘要再解码，减少计算量和延迟，在多任务测试中表现出色，为大模型部署提供实用方案。
刚刚，OpenAI推出学习模式，AI教师真来了，系统提示词已泄露
今天凌晨，ChatGPT 迎来重磅更新，推出 Study Mode（学习模式）。该模式下，ChatGPT 会帮助用户一步步解决问题，化身导师引导学习。它有交互式提示等多种功能，免费用户也能用，系统提示词还被公开。
多模态扩散模型开始爆发，这次是高速可控还能学习推理的LaViDa
近期基于扩散模型的视觉 - 语言模型 LaViDa 出现，它继承扩散语言模型优点。与自回归模型不同，扩散模型能并行、处理双向上下文。LaViDa 在多任务测试有竞争力，推理蒸馏和文本填空表现好，还能权衡速度与质量。
英伟达下一代GPU登场，Rubin CPX一次推理数百万Token，网友：这是头野兽
在周二的AI基础设施峰会上，英伟达宣布推出专为超100万token长上下文推理设计的Rubin CPX GPU。它将与其他产品组成新平台，性能卓越，还能复用现有平台，预计2026年底上市。
彻底说清 Human-in-the-Loop：企业级 Agent 系统的关键挑战与LangGraph解法【上】
文章围绕企业级Agent系统中Human-in-the-Loop（HITL）展开，介绍其必要性、常见模式，以LangGraph为框架解读关键挑战与实践，涵盖核心机制、原理解析，还阐述HITL下工具调用的两种管控模式。