「长上下文窗口」共找到 1217 篇相关文章
突破一亿Token极限：EverMind提出MSA架构，实现大模型高效端到端长时记忆
机器之心发布文章介绍，大模型长期记忆能力受限于上下文长度。《MSA: Memory Sparse Attention for Efficient End-to-End Memory Model Scaling to 100M Tokens》提出MSA架构，突破扩展性、精度和效率的不可能三角，实现100M长度的大模型长时记忆框架。
欲取代transformer的SSA(次平方稀疏注意力)解读
文章解读了欲取代Transformer的SSA（次平方稀疏注意力）算法。它支持12M tokens上下文，比fastAttention快52倍，训练和推理更快。SSA改变了注意力扩展特性，有计算和内存线性扩展等特性，经三阶段训练可可靠利用长上下文。
Shopee OnePiece：业内首个融合上下文工程、隐式推理和多目标训练策略的生成式搜推建模框架
2025年生成式推荐发展火热，但工业界落地多在序列化建模，替换传统范式遇阻。Shopee傅聪团队联合人大高瓴学院提出OnePiece范式，是业内首个融合多策略的生成式搜推建模框架，含上下文工程、隐式推理和多目标训练策略。
Google新研究：降低大模型幻觉的全新视角——充分上下文！
谷歌新研究《SUFFICIENT CONTEXT: A NEW LENS ON RETRIEVAL AUGMENTED GENERATION SYSTEMS》提出“充分上下文”概念，剖析RAG系统失败原因并给出解决方案，对提升企业AI准确性和可靠性有重要意义。
AutoDev 预上下文引擎：预生成代码语义化信息，构建 AI 编程的知识基座
文章介绍 AutoDev 预上下文引擎，指出向量化代码检索性价比低，提出用预生成上下文提升 RAG 效果。Context Worker 能深度解析代码，支持多语言，使用简单，还可结合 MCP 服务获取上下文知识。
别死磕百万上下文了！Neo4j CEO 详解知识图谱：如何把大公司的“隐性知识”塞进 AI 的脑子？
Neo4j CEO Emil Eifrem 在播客中表示，AI 缺的不是更多上下文，而是上下文关系。图数据库能提供带结构的上下文，解决向量搜索难以解释的问题。GraphRAG 结合向量搜索与图遍历，可提高准确率。此外，还介绍了图数据库在多领域的应用及相关工具。
Manus首次揭秘：Agent的关键在上下文工程
Agent成大模型主战场，构建方法待探索。Manus发blog揭秘，认为成功的AI Agent依赖上下文工程。团队选此实现快速迭代，虽实践不易，但总结出围绕KV缓存设计等关键点，其经验影响Agent表现。
斯坦福&SambaNova联手发布ACE框架：上下文即战力
文章介绍了斯坦福与SambaNova联手发布的ACE框架。它解决传统提示工程缺陷，将提示工程升级为智能体自我演化体系。通过“生成 - 反思 - 策展”闭环，实现上下文低成本、低延迟、高扩展演化，小模型搭配它能击败大模型+传统提示。
AI智能体的上下文工程：Manus的构建心得
季逸超在文章中分享了 Manus 构建 AI 智能代理的心得，包括围绕 KV 缓存设计、使用掩码管理工具、将文件系统作上下文等内容，还指出要保留错误信息、避免小样本带偏等。
砍掉70%内存！陈丹琦团队破解LLM长文本瓶颈
大型语言模型处理长文本时，KV缓存占用内存巨大。陈丹琦团队提出KV足迹作评估标尺，推出分块驱逐与PruLong训练技术，在128K长文本任务中最高降低70%内存，性能损失仅10%。