「检索延迟」共找到 458 篇相关文章
并行革命，32倍吞吐量跃升！英伟达Helix架构突破百万Token推理瓶颈
英伟达推出受DNA结构启发的Helix并行技术，能解决大模型处理长任务时的卡顿问题，提升上下文长度、并发能力并降低响应延迟。不过也有人认为其技术与实用性有差距。
我去，终于找到原因啦，58.4k Star MemPalace，不敢相信！！！！
AI编程中，上下文压缩后易丢失关键信息。MemPalace将对话和资料按原文存本地，按项目和主题精准找回。本文讲清其存储与检索原理、使用场景、注意事项及安装建议。
一天两枚“代码核弹”：OpenAI 祭出首个“主打实时协作”的 Codex 模型，谷歌放出 Gemini Deep Think，码力冲到世界前8
OpenAI 发布 GPT - 5.3 - Codex - Spark 研究预览版，专为实时编码设计，降低交互延迟。谷歌更新 Gemini 3 Deep Think，面向科研与工程难题，在多领域测试表现出色，二者引发网友热议。
让 AI 像真人一样操控手机完成各种复杂任务
MobiAgent是强大的移动端智能体系统，含智能体模型家族、加速框架、评测基准。能让AI像真人操控手机完成复杂任务，提供开箱即用App，内置经验检索模块可自动优化规划。
SGLang 2025-8月性能优化技巧记录
本笔记记录2025年8月SGLang框架性能优化实践，涉及GPT - OSS、DeepSeek - V3等模型，采用allreduce_add_rmsnorm、量化、通信、内核融合等优化技术，在性能提升、减少延迟等方面效果显著。
8.5K星 Agent 记忆准确率 94.6%，RAG那套被打穿了
AI Agent常没记忆，每次对话像白纸。Hindsight（vectorize-io/hindsight）有8500+ star，是仿生记忆系统，分三层记忆，检索系统TEMPR四路并发，在测试中成绩优异，且上手简单，能让Agent从经验学习。
Swiggy 内部 AI 助手升级：Text-to-SQL 不够用了，Agent 开始接管数据分析
Swiggy 推出基于生成式 AI 的 Text-to-SQL 助手 Hermes V3，运行在 Slack 中。它解决了旧版本问题，通过向量提示检索等升级，将 SQL 生成准确率从 54% 提至 93%，还增加会话记忆、解释层，与现有体系深度整合。
Agent框架各自为战？谷歌&微软：用Agent-KB让经验自由流动
当前不同框架的Agent知识无法互通，谷歌、耶鲁、字节、oppo等团队联合提出Agent KB，这是通用记忆基础设施，能让异构Agent框架共享经验。它有师生双阶段检索机制，实验验证其能带来显著增益。
关于Nsight Compute中Compute Workload Analysis反映的Tensor Pipe Uti的理解
文章分析Nsight Compute中Compute Workload Analysis反映的Tensor Pipe Uti异常现象。通过实验和推算，发现ncu对L20 GPU上特定指令用错误执行延迟算指标，导致异常，还给出GEMM Kernel性能分析建议。
惊讶！！！3.2 万 Star OpenViking，让你的原地起飞！！！
OpenViking有3.2万Star，它把记忆、文档、提示词等上下文统一成可浏览地址空间，设计三层信息按需加载，检索留轨迹，还接入多种工具。不过它处Alpha阶段，用前要考虑许可证。