「长上下文困境」共找到 1387 篇相关文章
架构师困境：选择已被验证的道路，还是自行开辟一条新路？
开发软件时，团队要做产品功能和架构决策，面临选已验证路径还是自辟新路的困境。使用平台和框架虽能加快开发，但有副作用。团队需通过实验判断何时扩展或替换平台。
ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键
ICML 2025新研究揭示，在使用旋转位置编码 (RoPE) 的现代Transformer模型中，注意力机制的查询 (Q) 和键 (K) 表示存在集中极大值，而值 (V) 表示无此模式。研究通过实验揭示其与上下文知识理解的关键联系。
攻克结构化长文档检索难题！新框架让模型告别“结构性失明”
SEAL团队推出全新对比学习框架SEAL，通过带结构感知和元素对齐，将文档宏观层级结构和微观元素语义融入Embedding空间，提升模型对结构化数据的理解。在BGE - M3模型上提升了MRR@10指标，还开源了万级字数长文档数据集。
破解MoE模型“规模越大，效率越低”困境！中科院自动化所提出新框架
大模型参数量飙升却陷入‘规模越大，效率越低’困境，中科院自动化所研究团队提出统一框架，直击MoE底层运作模式，让专家‘组队学习’，实现参数量、负载方差降低，达成三重优化。
大模型越反思越错，原来是长链推理通过自我说服加重幻觉 | 北邮
北邮研究团队通过思维链审计实验，揭示大模型长链推理‘越想越错’现象背后的元认知偏差。研究基于RFC协议文档构建受控知识域，分析推理过程，发现反思会加重幻觉，且现有检测方法难以应对。
从少样本到千样本！MachineLearningLM给大模型上下文学习装上「机器学习引擎」
新研究 MachineLearningLM 提出轻量可移植「继续预训练」框架，突破 LLM 在上下文学习局限，能学上千示例，在多领域分类任务超基准模型。它有三项核心创新，效果惊艳且应用潜力大，还指明未来研究方向。
长思维链里的推理步骤，哪些最关键？三招锁定LLM的「命门句子」
杜克大学和 Alphabet 研究者提出在句子层面分析推理痕迹，找出长思维链中关键步骤，提高 LLM 可解释性等。提出三种互补方法，还提供开源工具，研究为调试推理失败等提供可能。
EMNLP 2025 | CARE：无需外部工具，让大模型原生检索增强推理实现上下文高保真
MetaGPT等机构团队发布CARE框架，可让LLM将推理上下文与自身检索能力结合，已全面开源。它提出原生检索增强推理范式，采用两阶段训练策略，在问答基准实验中表现出色，为解决模型问题提供新路径。
满分的「差」，Qwen与复旦等揭示编程智能体奖励设计的结构性困境
Qwen团队与复旦等联合发表论文《The Verification Horizon: No Silver Bullet for Coding Agent Rewards》，指出编码智能体奖励设计存在结构性困境，任何奖励信号只是人类意图的‘替身’，验证需成系统与智能体协同演化，并研究多种验证者。
Cursor 1.3 ~ 1.6 版本更新全梳理：终端不再挂、Agent 更聪明、上下文更可控
Cursor 1.3 - 1.6 版本有诸多更新。如自定义斜杠命令、改进 Agent 终端、升级 Agent 能力、增加左侧边栏管理等，还在上下文控制、工作流保护、MCP 资源支持等方面有优化。