「多级存储调度」共找到 387 篇相关文章
mem9:让微信里的龙虾不再失忆
文章介绍了 mem9 这一给 AI Agent 用的持久化记忆基础设施。它由 TiDB 团队打造,能解决 AI 失忆问题,实现记忆云端存储、无缝迁移,有两段式提取、混合搜索等功能,还能筛出重要记忆。
谷歌新论文把内存股价干崩了!KV cache压缩6倍,“谷歌的DeepSeek时刻”
谷歌研究院推出TurboQuant压缩算法,可将AI推理中最吃内存的KV cache压缩至少6倍且精度零损失,还能8倍加速计算。虽引发存储芯片巨头股价下跌,但目前只是实验室成果,仅解决推理阶段内存问题。
开源共建重塑推理 Infra:从架构创新到生态协同,Mooncake的破局之路
大模型推理落地面临成本、吞吐、长上下文“三角困境”。开源项目Mooncake以“计算存储解耦”为核心,通过PD分离等技术提供底层支撑。直播邀请专家从多视角拆解其技术逻辑、开源价值与企业实践。
超长 Agent 任务如何不崩盘:Claude Code 上下文管理机制深度拆解。
文章深度拆解Claude Code上下文管理机制,包括七类上下文、预算与告警、加载、卸载机制等。指出其是分层缓存与多级预算管理系统,还为长任务Agent开发者提供了管理启示。
AI+直播的新玩法! StreamDiffusionV2让创意零延迟
生成模型改变直播行业,但此前模型难保证时间一致性、有延迟等问题。加利福尼亚大学推出StreamDiffusionV2,通过智能调度和缓存机制优化,支持多GPU并行,可灵活调画质和延迟,实现实时直播。
AI Infra进阶:如何让大模型输出确定的结果
文章探讨大模型输出确定性结果的问题。指推理引擎底层动态组批与算子调度策略,因浮点加法顺序变化使结果波动。还分析GEMM、RMSNorm等算子影响,给出vLLM实现Batch Invariance的方法。
RTP-LLM 在相关性大模型中的推理优化最佳实践
淘宝搜索场景引入大参数LLM模型,面临系统性能挑战。本文分享基于RTP - LLM框架的优化实践,如大BatchSize调度、批次内前缀复用、MoE Kernel动态调优等,还提及未来优化方向。
英伟达发布物理AI和机器人顶级开发平台Nvidia Jetson Thor
英伟达官网发布专为物理AI和类人机器人打造的顶级平台Nvidia Jetson Thor。其AI计算能力强劲,相比NVIDIA AGX Orin性能和能效大幅提升,硬件配置、存储、多媒体处理及相机支持等方面表现出色,能应对复杂场景。
狂揽33.8K星!这款Postman替代工具,绝了,离线+Git协作太香
Bruno是开源API探索测试IDE,有自研Bru语言、离线存储和Git协作能力,是Postman等强力竞争者。它功能丰富,有跨平台支持等,技术架构优势明显,还给出实战演示和同类工具对比。
硬核拆解 OpenClaw:如何构建真正稳健的生产级 Agent 系统?【上】
本文深入剖析 OpenClaw 的 Agent 任务引擎,介绍其‘工作室’、整体架构、调度与并发控制、高可用与容错机制等。指出其架构有工程智慧,对构建生产级 Agent 系统有参考价值,下篇将介绍更多实践。