「上下文窗口」共找到 705 篇相关文章
ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键
ICML 2025新研究揭示，在使用RoPE的现代Transformer模型里，注意力机制Q和K表示有集中极大值，V表示无此模式。研究通过实验明确极大值与上下文知识理解的联系，对模型设计、优化和量化有重要启示。
“毋在浮沙筑高台”：汪源谈智能体想从 80 分跨到 90 分，全卡在上下文
前网易副总裁汪源在2026奇点智能产品大会分享，指出智能体系统瓶颈正从模型能力、Harness工程，转移到上下文。他还介绍了做好上下文基础设施的要点，以及推出的新内容格式KRL。
大模型如何"不训练"也能学习？——上下文学习的隐式权重更新机制
大型语言模型能通过上下文学习（ICL）在推理时即时学习新任务，无需修改模型参数。本文首次证明自注意力层与MLP层组合能隐式将上下文信息转为MLP层低秩权重更新，解释了ICL原理，为构建AI系统开辟新路径。
实战·Agentic 上下文工程（上）：无需微调，让智能体自我学习与进化
在Agent时代，提示工程进化成上下文工程。斯坦福等团队提出Agentic Context Engineering（ACE），让智能体自我学习与进化。文章介绍了上下文工程的必要性、定义、常见策略，以及ACE的概念、原理与架构。
比Vibe Coding强100倍！字节 Trae 2.0 携“上下文工程”登场：一句话，从需求干到上线！
字节跳动的AI编程助手Trae发布2.0版本，新增SOLO模式，支持端到端开发流程。上下文工程热度攀升，能解决AI代码落地问题。Trae迭代快，从基础问答进化为智能体系统。
前 Codex 大神倒戈实锤！吹爆 Claude Code：编程提速 5 倍，点破 OpenAl 死穴在上下文
OpenAI Codex 早期研发者 Calvin French - Owen 在播客中锐评代码智能体，偏爱 Claude Code，称其搭配 Opus 模型写代码速度提 5 倍。他强调上下文管理重要性，还对比了 Claude Code 与 Codex 产品理念差异。
The Batch: 881 | 一千万 token 的输入上下文
Google的Ali Behrouz等人设计“记忆模块”集成到类transformer架构ATLAS，能处理一千万token输入。它替代注意力层，训练后在长上下文任务中表现佳，但小模型，大规模表现未知。
微软：LLM上下文学习并非真的学习！
微软研究指出大模型上下文学习（ICL）虽数学上符合学习定义，但只是拟合prompt内统计规律，非掌握任务本质。通过大量实验，得出如例子越多模型表现越好、语言不重要统计重要等7条关键发现。
一个窗口搞定 SSH、SFTP、终端和 AI，爽啊！
早期运维、开发需多个工具，窗口多效率低，后来的工具又有收费、收集数据等问题。Netcatty是新的开源SSH工作区，整合多种功能，免费无数据收集，更新勤快，有诸多实用特性。
英伟达新GPU，超长上下文/视频生成专用
在AI Infra Summit上，英伟达宣布推出NVIDIA Rubin CPX GPU，专为处理百万token级代码生成和生成式视频应用。它是首款为超大上下文AI量身定制的CUDA GPU，性能强且能效高，预计2026年底推出。