「多级存储调度」共找到 387 篇相关文章

开源动态7

mem9:让微信里的龙虾不再失忆

文章介绍了 mem9 这一给 AI Agent 用的持久化记忆基础设施。它由 TiDB 团队打造,能解决 AI 失忆问题,实现记忆云端存储、无缝迁移,有两段式提取、混合搜索等功能,还能筛出重要记忆。

AGI Hunt
算法论文8

谷歌新论文把内存股价干崩了!KV cache压缩6倍,“谷歌的DeepSeek时刻”

谷歌研究院推出TurboQuant压缩算法,可将AI推理中最吃内存的KV cache压缩至少6倍且精度零损失,还能8倍加速计算。虽引发存储芯片巨头股价下跌,但目前只是实验室成果,仅解决推理阶段内存问题。

量子位
开源动态8

开源共建重塑推理 Infra:从架构创新到生态协同,Mooncake的破局之路

大模型推理落地面临成本、吞吐、长上下文“三角困境”。开源项目Mooncake以“计算存储解耦”为核心,通过PD分离等技术提供底层支撑。直播邀请专家从多视角拆解其技术逻辑、开源价值与企业实践。

InfoQ
推荐文章8

超长 Agent 任务如何不崩盘:Claude Code 上下文管理机制深度拆解。

文章深度拆解Claude Code上下文管理机制,包括七类上下文、预算与告警、加载、卸载机制等。指出其是分层缓存与多级预算管理系统,还为长任务Agent开发者提供了管理启示。

AI大模型应用实践
产品应用7

AI+直播的新玩法! StreamDiffusionV2让创意零延迟

生成模型改变直播行业,但此前模型难保证时间一致性、有延迟等问题。加利福尼亚大学推出StreamDiffusionV2,通过智能调度和缓存机制优化,支持多GPU并行,可灵活调画质和延迟,实现实时直播。

带你学AI
推荐文章8

AI Infra进阶:如何让大模型输出确定的结果

文章探讨大模型输出确定性结果的问题。指推理引擎底层动态组批与算子调度策略,因浮点加法顺序变化使结果波动。还分析GEMM、RMSNorm等算子影响,给出vLLM实现Batch Invariance的方法。

腾讯技术工程
技术实践8

RTP-LLM 在相关性大模型中的推理优化最佳实践

淘宝搜索场景引入大参数LLM模型,面临系统性能挑战。本文分享基于RTP - LLM框架的优化实践,如大BatchSize调度、批次内前缀复用、MoE Kernel动态调优等,还提及未来优化方向。

阿里云开发者
产品应用8

英伟达发布物理AI和机器人顶级开发平台Nvidia Jetson Thor

英伟达官网发布专为物理AI和类人机器人打造的顶级平台Nvidia Jetson Thor。其AI计算能力强劲,相比NVIDIA AGX Orin性能和能效大幅提升,硬件配置、存储、多媒体处理及相机支持等方面表现出色,能应对复杂场景。

AIGC开放社区
开源动态8

狂揽33.8K星!这款Postman替代工具,绝了,离线+Git协作太香

Bruno是开源API探索测试IDE,有自研Bru语言、离线存储和Git协作能力,是Postman等强力竞争者。它功能丰富,有跨平台支持等,技术架构优势明显,还给出实战演示和同类工具对比。

小华同学ai
推荐文章7

硬核拆解 OpenClaw:如何构建真正稳健的生产级 Agent 系统?【上】

本文深入剖析 OpenClaw 的 Agent 任务引擎,介绍其‘工作室’、整体架构、调度与并发控制、高可用与容错机制等。指出其架构有工程智慧,对构建生产级 Agent 系统有参考价值,下篇将介绍更多实践。

AI大模型应用实践