搜索：上下文结构 - AI Reading Hub

「上下文结构」共找到 1114 篇相关文章

揭开大模型“伪遗忘”，港理工等团队：结构不变就是没忘

近年来大语言模型隐私风险受关注，机器遗忘技术应运而生。港理工等团队构建表示空间诊断工具，区分‘可逆性遗忘’与‘不可逆遗忘’，揭示遗忘现象背后表示结构变化规律，还做了相关实验并得出核心结论。

谷歌在NeurIPS 2025发布两项大模型新架构研究，通过‘测试时训练’机制，推理阶段可将上下文窗口扩展至200万token。新成果Titans和MIRAS结合RNN速度与Transformer性能，突破超长上下文瓶颈。

Anthropic宣布Claude Sonnet 4支持100万Token上下文窗口，容量是之前5倍。长上下文支持已向部分客户公测，将推给更多用户。该功能已在亚马逊Bedrock公测，也将登陆Google Cloud。还介绍了用例、定价及早期用户好评。

ICML 2025新研究揭示，在使用RoPE的现代Transformer模型里，注意力机制Q和K表示有集中极大值，V表示无此模式。研究通过实验明确极大值与上下文知识理解的联系，对模型设计、优化和量化有重要启示。

大语言模型发展中，上下文长度成关键瓶颈，主流架构计算开销大。清华刘知远团队提出《InfLLM-V2: Dense-Sparse Switchable Attention for Seamless Short-to-Long Adaptation》，提出可切换注意力框架，为长上下文研究提供新思路。

前网易副总裁汪源在2026奇点智能产品大会分享，指出智能体系统瓶颈正从模型能力、Harness工程，转移到上下文。他还介绍了做好上下文基础设施的要点，以及推出的新内容格式KRL。

现在3行配置就能让GPT - 5.6 Sol封印解除，在Codex里用上1M上下文。不过有网友警告轻易别用，因超出默认窗口，模型消耗token速度会翻倍，且模型上下文利用能力会下降。此外，Codex确定会上Astra。

大型语言模型能通过上下文学习（ICL）在推理时即时学习新任务，无需修改模型参数。本文首次证明自注意力层与MLP层组合能隐式将上下文信息转为MLP层低秩权重更新，解释了ICL原理，为构建AI系统开辟新路径。

在Agent时代，提示工程进化成上下文工程。斯坦福等团队提出Agentic Context Engineering（ACE），让智能体自我学习与进化。文章介绍了上下文工程的必要性、定义、常见策略，以及ACE的概念、原理与架构。

字节跳动的AI编程助手Trae发布2.0版本，新增SOLO模式，支持端到端开发流程。上下文工程热度攀升，能解决AI代码落地问题。Trae迭代快，从基础问答进化为智能体系统。