「上下文消耗」共找到 788 篇相关文章
Codex现在随时能截屏你的桌面!OpenAI建议:开会前记得关
OpenAI为Codex新增Chronicle功能,可后台抓屏截图,生成记忆用于增强上下文。虽让工作流更丝滑,但有消耗配额、注入风险、存储未加密等问题,OpenAI建议开会前暂停。
Cursor 重新定义 Agent:脑子再大,不如会翻书。
Cursor 分享博客指出,Dynamic Context Discovery 效果远好于 long context 方式,开启动态上下文可使总 Token 消耗降 46.9%,还能减成本、降延迟、提准确率,但也存在成本转嫁、工程复杂度高和安全风险等问题。
精打细算虾养成指南: 省 Token 和把 AI 用好,从来就是一件事
文章指出用AI时Token成本高、模型变笨,原因是上下文管理不善。介绍了省Token和用好AI的方法,如按需取上下文、明确约束、多智能体协作、按阶段切换模型等,核心是在合适时间将合适上下文装入合适模型。
长上下文快2.9倍,解码快6倍:Kimi 用线性注意力实现性能与效率双突破
月之暗面团队的Kimi Linear模型,是混合线性注意力架构,核心是Kimi Delta Attention模块。它解决线性注意力的记忆及遗忘问题,在多任务测试表现出色,还开源相关资源,推动高效长上下文模型研究。
Andrej Karpathy:“ChatGPT套壳”的说法大错特错,提示词工程已过气
Andrej Karpathy力挺用“上下文工程”取代“提示词工程”,指出“提示词”过于简单,“上下文工程”更能揭示构建强大AI应用的本质。他强调“上下文工程”仅是构建大模型应用的一环,“ChatGPT套壳”说法大错特错。
看完 Manus、Cursor 分享后的最大收获:避免 Context 的过度工程化才是关键
上下文工程优化是Agent创业公司新一年竞争重点,其信息质量很大程度决定Agent表现。文章结合Manus、Cursor团队思路,给出做好上下文工程要点,如缩减上下文、搭建工具行动空间、多Agent协作等。
Qwen3-Next全新架构,32K场景MTP吞吐提升10倍
随着模型大小和上下文长度增加,为应对成本和部署挑战,Qwen3 - Next有突破性架构创新,解决上下文长度和总参数缩放问题。它采用混合注意力、超稀疏MoE等,MTP机制让其长上下文推理吞吐量比前身高10倍以上。
Claude Code 开发者分享:如何管理百万上下文
Claude Code开发者Thariq分享管理百万上下文的心得。介绍了context概念、腐烂问题及压缩机制,提出完成操作后的五条岔路,还给出不同场景的决策建议,强调会话管理要平衡信息量和注意力。
LLM加速利器LMCache,极大降低GPU资源消耗
LMCache是大语言模型服务引擎扩展组件,能降低首次响应延迟、提升吞吐量,适用于长上下文场景。它将KV缓存存于多级存储,跨服务实例复用任意重复文本的KV缓存,节省GPU算力,与vLLM结合优化显著。
姚顺雨腾讯首篇论文:给AI下半场指路“上下文学习”
姚顺雨入职腾讯后首个成果CL - bench,用来测试大模型“从上下文中学习”能力。研究指出当下模型多依赖“过去”知识,无法适应“当下”学习。评测中,十个前沿模型表现不佳,揭示其真实场景应用缺陷。