「历史缓存检索」共找到 466 篇相关文章
Agent 如何用搜索？这家最懂 AI 搜索的团队，把踩过的坑都分享出来了
AI时代搜索与传统搜索大不同，人类搜索是静态检索，AI搜索是动态、流式、可追问的。小宿科技作为AI Agent基础设施提供商，分享了为Agent提供搜索服务的经验，包括不同场景下AI应用接入搜索的难点与解决方案。
万字长文！大模型LLM推理优化技术总结
文章围绕大模型LLM推理优化技术展开，先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求，再阐述模型并行、注意力机制优化、模型优化和模型服务等技术，如Pipeline并行、MQA、量化、动态批处理等。
这一夜，中国AI彻底翻身了：DeepSeek R1让全世界刮目相看 | 深度评测
作者深度测试新DeepSeek R1，发现其代码生成能力超Claude 3.7，虽编程全面性有不足，但已处Claude 3.7与Claude 4之间。前端设计审美达Claude 4水准，部分方面略胜，有自主学习推理能力，或改变中国AI历史。
全球首次，Transformer「混血」速度狂飙65倍！英伟达已下注
康奈尔、CMU等机构研究者提出「混合体」Eso - LM，融合自回归和离散扩散模型范式。它引入KV缓存机制，推理速度相比标准MDM提升65倍，在速度与质量平衡上超越BD3 - LM，引发AI领域关注，英伟达或押注此方向。
基于Memory Bank的Cursor长会话记忆内存库理论研究与实践
文章围绕Memory Bank展开，介绍其为解决大模型长会话记忆瓶颈而设计的机制，包括存储、检索、更新模块。阐述其在编程和知识库建设的应用，还评测了Codelf等工具，指出Memory Bank是AI迈向智能的重要一步。
谷歌迎来“DeepSeek时刻”！TurboQuant引爆AI圈、全球开发者疯狂复现：6倍无损压缩，内存股集体暴跌
谷歌研究院发布 TurboQuant 压缩算法，能在提升速度、保持准确性的同时，降低大语言模型内存占用，可将键值缓存压缩至少 6 倍，速度最高提升 8 倍。该技术无需额外训练，精度零损失。目前虽未大规模部署，但已引发内存股下跌。
破解AI对不同上下⽂位置的敏感度不⼀致，新框架使出“解铃还须系铃人”
语言模型存在位置偏见，影响复杂推理等任务。论文提出Pos2Distill框架，将模型优势位置能力迁移到劣势位置缓解偏差，设计了Pos2Distill - R1和Pos2Distill - R2，在检索和推理任务表现好且有跨任务泛化能力。
GPU-MODE Leaderboards之nvfp4_gemv代码阅读
文章围绕GPU-MODE的nvfp4_gemv竞赛rank1代码展开，先介绍问题及官方baseline，后详细解读rank1代码，含数据加载、线程模型等，还剖析核心计算函数，最后总结代码在缓存控制、数据格式等方面的调优亮点。
ChatGPT 为什么越来越“懂你”？一文解析它背后的记忆机制
今年4月，OpenAI对ChatGPT记忆系统重磅升级，可参考过往对话提供个性化响应。软件工程师Eric Hayes拆解其双重记忆架构，推测实现机制，探索对用户体验的重塑。
开源即屠榜！UniME多模态框架登顶MMEB全球训练榜，刷新多项SOTA纪录
格灵深瞳等团队联合发布通用多模态嵌入新框架UniME，刷新MMEB训练榜纪录。它是两阶段框架，经文本判别知识蒸馏和困难负样本增强指令微调，在多任务达SOTA，项目已开源。