「长上下文场景」共找到 2936 篇相关文章
LLM加速利器LMCache，极大降低GPU资源消耗
LMCache是大语言模型服务引擎扩展组件，能降低首次响应延迟、提升吞吐量，适用于长上下文场景。它将KV缓存存于多级存储，跨服务实例复用任意重复文本的KV缓存，节省GPU算力，与vLLM结合优化显著。
中国AI创业者重登GTC舞台：杨植麟用技术语言讲了一个智能上限突破的浪漫故事｜甲子光年
美国当地时间3月17日，月之暗面（Kimi）创始人杨植麟在英伟达GTC演讲，介绍Kimi技术路线图。他提出开源模型要出色，给出Token效率、长上下文、智能体集群三个概念，还探索了未来架构，且将创新开源。
SSM+扩散模型，竟造出一种全新的「视频世界模型」
在AI热词不断涌现的时代，斯坦福大学等机构研究将长上下文、状态空间模型、扩散模型等结合，创造全新「视频世界模型」。它用状态空间模型实现长期记忆，还设置局部注意力机制，训练和推理表现出色。
英伟达下一代GPU登场，Rubin CPX一次推理数百万Token，网友：这是头野兽
在周二的AI基础设施峰会上，英伟达宣布推出专为超100万token长上下文推理设计的Rubin CPX GPU。它将与其他产品组成新平台，性能卓越，还能复用现有平台，预计2026年底上市。
Cache Me If You Can：陈丹琦团队如何「抓住」关键缓存，解放LLM内存？
普林斯顿大学陈丹琦团队新论文聚焦长上下文语言模型 KV 缓存问题。传统 KV 缓存大小随输入文本长度线性增长，此前方法难公平比较。团队提出「KV 足迹」指标，改进方法并推出 PruLong 优化内存，节省空间且保性能。
重塑记忆架构：LLM正在安装「操作系统」
现代大型语言模型（LLM）存在「记忆缺陷」，难以维持长期记忆。近期关于大模型记忆的研究增多，如 MemOS 等。文中介绍了长上下文处理能力与记忆的关系、记忆类型，以及实现 LLM 记忆的多种方法和相关研究成果。
Code Arena全球可用模型第一！智谱GLM-5.2上线并开源
智谱上线并开源GLM-5.2，在Code Arena等平台表现优异，长任务跑分出色，架构有突破，支持100万token上下文，还引入控制功能。模型在常用编程智能体可用，适配国产算力平台，以MIT协议开源。
实测最新开源的DeepSeek-OCR后，我有些不一样的看法，有些话可能只有我敢说
实测最新开源的DeepSeek - OCR，它并非传统OCR，不适用于传统场景。其最大意义是解决大模型上下文长度问题，通过文字图片压缩解压提高处理速度。模型功能多样，是让AI看图思考的新思路。
对话淘宝姜宇宁：如果你只推低价商品，是不需要用大语言模型的
淘宝姜宇宁团队上线RecGPT百亿参数推荐大模型，对“猜你喜欢”功能技术升级。大模型赋予传统推荐系统新能力，如让其“白盒化”、理解长上下文等。姜宇宁认为AI要创造商业价值，落到业务场景形成正向循环。
AgentScope 正式发布 Skills 支持 - 实现渐进式披露
文章指出大语言模型驱动的Agent系统存在核心矛盾，常见上下文加载方案有局限，缺乏灵活机制。介绍了AgentScope发布的Skill机制及渐进式披露策略，还讲了其在Java中的实现，最后分析了适用与不适用场景。