搜索：超长上下文处理

「超长上下文处理」共找到 1561 篇相关文章

传统训练效率很低？我们靠 “给模型降噪” 重新审视长上下文建模难题

文章指出长上下文模型处理长文本时易受噪声干扰，提出新评估指标IG分数和“上下文去噪训练（CDT）”方法。实验表明CDT优于现有策略，经其训练的开源模型在长上下文任务中性能媲美GPT - 4o。

Andrej Karpathy力挺用“上下文工程”取代“提示词工程”，指出“提示词”过于简单，“上下文工程”更能揭示构建强大AI应用的本质。他强调“上下文工程”仅是构建大模型应用的一环，“ChatGPT套壳”说法大错特错。

上下文工程优化是Agent创业公司新一年竞争重点，其信息质量很大程度决定Agent表现。文章结合Manus、Cursor团队思路，给出做好上下文工程要点，如缩减上下文、搭建工具行动空间、多Agent协作等。

随着模型大小和上下文长度增加，为应对成本和部署挑战，Qwen3 - Next有突破性架构创新，解决上下文长度和总参数缩放问题。它采用混合注意力、超稀疏MoE等，MTP机制让其长上下文推理吞吐量比前身高10倍以上。

Claude Code开发者Thariq分享管理百万上下文的心得。介绍了context概念、腐烂问题及压缩机制，提出完成操作后的五条岔路，还给出不同场景的决策建议，强调会话管理要平衡信息量和注意力。

GitHub 引入由 AI 驱动的工作流，将无障碍反馈转化为工程工作。系统基于 GitHub Actions、Copilot 和 Models APIs 构建，集中管理报告、分析合规性、协调问题解决。采用后问题解决比例提升，时间下降。

姚顺雨入职腾讯后首个成果CL - bench，用来测试大模型“从上下文中学习”能力。研究指出当下模型多依赖“过去”知识，无法适应“当下”学习。评测中，十个前沿模型表现不佳，揭示其真实场景应用缺陷。

9月3日，OpenAI发布GPT - 6 Astra，重点提升电脑操作、软件开发和复杂工作处理能力。它有诸多更新，如电脑操作提速、支持异步工具调用等，但也存在监测难、价格高的问题，实际效果待验证。

AutoClip是基于AI的开源智能视频切片处理系统，能自动从多平台下载视频、提取精彩片段并生成合集。适合UP主、内容创作者等，有多平台支持、AI智能分析等特性，部署方式简单。

Anthropic指出管理Session、Context等在Claude Code上已落地。模型上下文并非越长越好，rewind比纠错好，compact要把握时机，subagent可隔离上下文，如今行业看重agent产品runtime。