搜索：推理服务基础设施

「推理服务基础设施」共找到 2930 篇相关文章

构建分层的 Agentic RAG 系统：具备自主纠错的多模态推理

企业 AI 团队面临 RAG 系统在处理结构化与非结构化数据时的难题。本文探讨用分层多智能体编排解决“模态鸿沟”，介绍 Protocol - H 架构，阐述组件、机制、实现与集成，经基准测试验证其优势，还提及未来研究方向。

谷歌TurboQuant论文介绍量化算法，能为大语言模型和向量搜索引擎大规模压缩。可将大语言模型KV缓存内存减至少6倍、加速达8倍且精度零损失，还介绍其工作原理及实验结果。

2026年初AI圈撕裂感十足，OpenClaw在GitHub获18.7万星标且还在涨，Claude Code等让开发者工作模式巨变，代码进化溢出，软件和代码质变，人类与代码关系倒置。

中国人民大学与快手团队联合提出 AEPO 算法，解决熵驱动式智能体强化学习训练不稳等问题。它设计两项核心机制，在 14 个基准上优于主流算法，在 X 等平台获高关注。

9月5日，Anthropic公司宣布禁止多数股权由中国资本持有的集团或其子公司使用Claude，政策调整涉及“直接或间接由中国实体控制（占股比例超过50%）”的企业，也适用于俄、伊、朝等国。

具身智能领域尚未迎来「GPT时刻」，现有模仿学习范式有缺陷。字节跳动与阿德莱德大学研究者提出「动作链」（CoA）策略，通过轨迹自回归建模解决累计误差，提升泛化性，实验效果显著。

近日，Karpathy在AI Startup School演讲，提出AI正从根本改变软件。他将软件分三个时代，认为LLM是全新操作系统，还指出其特长与局限，点明AI时代两大机遇：部分自主应用和构建Agent友好工具。

NVIDIA宣布推出开源NVIDIA Ising模型，解决量子处理器校准和纠错问题。它含校准和解码两组件，速度和准确性优，可本地部署。与传统方法不同，它是与硬件无关的开源模型层，社区反馈有期待也有疑问。

苹果将Transformer改造成Mamba，采用‘两步走’策略，先造中间形态，再转成Mamba，避免性能崩塌。实验显示，新方法性能几乎没掉，成本逻辑改变，为模型降本重构提供新可能。

中兴通讯将战略升级为“连接 + 算力”双轮驱动，2025 年算力业务营收大增，营收结构转变。在 2026 生态合作伙伴大会发布 Co - Claw AI 一体机等新品，启动“和合生态行动”，致力于做 AI 时代价值贡献者。