「128K上下文」共找到 1236 篇相关文章
不止于量化：最新综述用「时-空-构」三维视角解构KV Cache系统级优化
随着LLM向1M上下文演进，KV cache成推理服务效率核心瓶颈。墨尔本大学和华中科技大学研究者发布深度综述，用「时间 - 空间 - 结构」视角梳理KV cache优化方法，还归纳关键观察、提出开放挑战，并整理了资源库。
告别「盲目自信」，CCD：扩散语言模型推理新SOTA
华为小艺香港团队等研究人员提出上下文一致性解码算法（CCD）。它解决传统DLM推理“短视”和采样预算固化问题，在开源DLMs上实现3.48倍加速和3.9%性能提升，适配多种解码设定。
LightMem用3招重新设计了LLM的记忆，结果出乎意料
LLM在超长多轮对话中有上下文窗口有限、记忆系统昂贵的痛点。LightMem借鉴人类记忆机制，用三招重新设计LLM记忆，实验显示其准确率超基线，还降低token使用量、API调用和运行时间。
让AI学会潜意识推理，Sapient发布类脑模型HRM
新加坡初创公司Sapient Intelligence发布仅2700万参数的分层推理模型HRM，在多项高难度推理任务上超越大模型。它绕过大模型推理困境，借鉴大脑机制，训练效率高，开源后GitHub星标突破10.3k。
当代码遇上大模型：智能编程助手的架构设计与工程实践
在 InfoQ 举办的 QCon 全球软件开发大会上，字节跳动段潇涵介绍如何基于大语言模型构建智能编程助手。他分享实践经验，剖析研发痛点，介绍技术架构，还探讨未来发展方向，如认知增强、工具整合等。
实测Perplexity Pro平替模型，免费开源仅4B
一款仅4B大小的开源模型Jan-v1，声称能平替Perplexity Pro，且完全免费、支持本地部署。实测发现，它在检索增强生成、上下文深度分析等能力上表现不错，入门级显卡即可带动本地部署。
用最简单的大模型技术打造一个迁云专家有多难？
文章探讨在云迁移领域用大模型技术“复制”专家80%核心能力。分析标准化方案不足及简单RAG局限，介绍“LX0.1”AI专家助手构建，还提及分层评测、人机协同等优化，最后展望AI在云迁移的未来方向。
基于大模型的领域场景开发：从单智能体到多智能体的React框架设计与实现
作者团队经历从提示词工程到流程编排模式各阶段，现设计架构升级，选用层级指挥模式的React框架，实现单智能体对工具调用的反思规划，后续还将迭代实现多智能体协作，同时提及技术选型、系统架构等内容。
Gemini 2.5 Pro 是怎么炼成的？-- gemini 2.5 技术报告阅读笔记与思考
文章是 Gemini 2.5 技术报告阅读笔记。介绍其成功点有多模态、LongContext、思考能力；还阐述模型结构、训练和数据情况，以及代码、事实性、长上下文等特定能力的提升，最后提到基于其构建的智能体。
Kimi新模型数学反超DeepSeek！北大校友刘征瀛等领衔
Kimi新定理证明模型超越DeepSeek，基于Qwen2.5 - 72B打造，采用Kimi k1.5强化学习训练流程。有两大技术创新，还有精简版本，官方有Demo。双方此前比赛就打得有来有回。