搜索：通用推理系统

「通用推理系统」共找到 4097 篇相关文章

The Batch: 899 | 更划算的推理

研究人员提出 Delethink 强化学习方法，训练大模型定期截断推理 token 至固定最大数量，以限制处理长思维链成本。经测试该模型在多方面超基线，且缓解计算成本限制，为长上下文推理提供路径。

推理大模型推理时易现冗余问题，R-KV开源方法登场，显存降90%、吞吐提6.6倍、准确率达100%。它通过实时对token排序解决冗余，还经多步骤压缩KV缓存，性能测试表现出色，适用多场景。

新研究量化推理模型时代提供更优答案的环境成本，研究人员估算14个开源权重的大模型碳排放，发现推理与排放存在权衡关系，还指出战略性部署可降低排放。

文章分享了 Clawdbot 记忆系统的最佳工程实践。它能自主处理现实任务，其持久记忆系统独特，将一切保留在本地。文中介绍了上下文构建、记忆存储、搜索等方面，还提及多代理记忆、压缩、刷新等内容。

O家刚免费上线GPT - 4.1，A家新版Claude Sonnet和Claude Opus被曝即将发布，亮点是“极限推理”，能在推理和工具使用间建立动态循环，更智能处理问题，预计未来几周发布，虽有网友质疑，但也有实测证据。

文章指出AI系统需要设计模式，如GoF塑造软件设计，云计算引入新模式，机器学习社区也有相关模式。文中介绍现代AI系统的5类实用设计模式，含提示和上下文、负责任的AI、用户体验、AI - Ops和优化模式等，并举例说明。

文章指出多Agent系统成大模型应用重要方向。分析大模型交互的上下文瓶颈，如语义膨胀、信息密度不均等；阐述Agent间协同结构演化，包括松耦合编排、语义协同等；还说明传统Prompt工程局限及通信与上下文协议的作用。

大型语言模型处理长上下文时通常准确性降低、速度变慢，研究人员提出TTT - E2E方法，通过推理时训练模型将上下文压缩到transformer权重中，还展示了其运作方式、测试结果等。

这篇文章基于作者在 2024 年旧金山 QCon 大会演讲，探讨搜索系统优化。以优步外卖为例，分析其在数据索引、检索和排名方面挑战，介绍优化技术及对用户体验和系统性能影响，还提及架构、分片技术等内容。

华为小艺香港团队等研究人员提出上下文一致性解码算法（CCD）。它解决传统DLM推理“短视”和采样预算固化问题，在开源DLMs上实现3.48倍加速和3.9%性能提升，适配多种解码设定。