「语义缓存」共找到 302 篇相关文章
刚刚！Kimi Linear横空出世，全新注意力架构：1M长文本解码速度飙升6.3倍，KV缓存砍掉75%
月之暗面推出全新注意力架构Kimi Linear，有望成下一代Agent LLM基石技术。它解决了LLMs处理长序列任务的瓶颈，性能超传统机制，还开源了核心代码。Kimi Linear的KDA模块提升了表达和硬件效率，实验表现佳。
更省 Token 的国产 Codex：ZCode，加上 DeepSeek 更夯！
介绍国产 Codex 平替 ZCode，它有 100 万用户，能接 DeepSeek，模型选择开放，缓存命中率高省 Token，插件生态完善，还介绍了安装、接入方法及多种实用功能。
字节会师何恺明！开源连续扩散语言模型Cola DLM
字节会师何恺明，开源连续扩散语言模型Cola DLM，释出论文、代码等。该模型跳出离散token束缚，把生成过程交给连续空间，在实验中展现出稳定scaling趋势，其动机是表征而非diffusion。
ImageNet分数越高，生成反而越糊？iREPA给出解释
Adobe Research论文指出，视觉模型在ImageNet分类准确率高，生成效果未必好，全局语义强易压扁空间结构。iREPA修改REPA训练流程，削弱全局干扰，提升了生成质量。
Mamba核心作者新作：取代DeepSeek在用的注意力机制，专为推理打造
Mamba核心作者Tri Dao团队提出GTA和GLA两种专为推理定制的注意力机制，在减少KV缓存用量、保持模型质量的同时，显著提升解码速度，优化长上下文推理能力。
ACL 2026 | 别轻易给AI发「～」，它可能会删掉你的整个主目录
西安交通大学等校团队揭示大模型表情符号语义混淆安全漏洞，用自动化框架测试主流大模型，平均混淆率38.6%，多数混淆响应会“静默失败”，超半数达高危害级别。
使用 Node.js + OpenAI + MongoDB 实现文本向量知识库搜索
本文介绍用 Node.js、OpenAI Embedding API 和 MongoDB 实现文本向量知识库搜索系统，涵盖环境准备、文本切分与向量存储、本地语义检索等，还提及用 MongoDB Atlas 提升性能及后续延伸方向。
“烧掉94亿个OpenAI Token后，这些经验帮我们省了43%的成本！”
作者以月耗94亿OpenAI Token实战经历，分享优化成本经验，如选对模型、用提示词缓存、设账单预警等，降低成本43%，不过网友对此有不同看法。
Cloudflare 构建了面向 LLM 的高性能基础设施
Cloudflare发布全新基础设施，可在全球边缘网络运行大型AI大语言模型。它将模型输入处理与输出生成拆分，自研Infire推理引擎，还推出Unweight模型压缩系统，分享提示词缓存优化方案。
京东广告大模型实战：GRAM 架构如何在 50ms 内完成生成式推荐？
流量红利见顶，广告营销转型遇挑战。京东张泽华在大会公开应对方案，介绍 GRAM 架构，实现意图与商品语义对齐，控制推理时延，解决冷启动等问题，还分享算法与知识工程实践。