「超长上下文处理」共找到 1561 篇相关文章
Transformer创新架构SALA：上下文更长，推理更快
面壁智能发布行业首个大规模训练的稀疏 - 线性注意力混合架构 SALA 及文本模型 MiniCPM - SALA。该架构降低推理开销与显存占用，MiniCPM - SALA 在长文本处理及推理上表现出色，还发起大奖赛探索性能极限。
200K上下文突破：AI编程新星Augment崛起
AI编程新星Augment以65.4%的SWE - bench评分登顶榜首，估值超128亿美元。它能理解海量代码上下文，支持多环境集成。但新式AI编程工具存在安全风险，如Agent Memory恶意攻击等，文中给出应对建议。
2篇论文，最新上下文工程技术一次性讲透！
上下文工程技术持续火热，文章分享10月两篇相关论文。ACE让模型给自己写「战术板」，在多任务表现优；SA - ICL让LLM先搭框架再做题，在化学/物理准确率提升显著，还对二者做了横向对比。
Google Gemini Embedding2：一个模型处理所有媒体类型
Google发布Gemini Embedding 2，首个原生多模态嵌入模型。能处理文本、图像等多种媒体类型，支持交错输入，覆盖超100种语言。与多模型串联方案比，延迟降70%、召回率升20%。已可在Gemini API等使用。
长上下文不再难：KV Cache 全生命周期优化实战
长上下文大语言模型发展带来计算和内存挑战，现有基准测试多忽视 KV 缓存完整生命周期。微软姜慧强在 AICon2025 分享 SCBench 工具，梳理推理优化方法，介绍 MInference 等，还提出 Tri - shape 方法等成果。
刚刚，GPT-5.4 发布，百万上下文、最强全能模型
OpenAI发布GPT - 5.4，集推理、编程等能力于一体，支持百万级上下文窗口。有三个版本，功能全面升级，如支持中途打断、电脑操作、视觉能力提升等，还更省token、少幻觉，安全机制完善，价格有调整。
突发！OpenAI刚刚收购Statsig，每天能处理1万亿次事件平台
今天凌晨2点，OpenAI宣布收购全球顶级产品开发数据分析平台Statsig，其创始人将加入并任应用部门CTO。Statsig功能强大，能高效处理事件。彭博称收购价达11亿美元。
刚刚，字节开源Seed-OSS-36B模型，512k上下文
深夜，字节跳动Seed团队开源Seed-OSS系列模型，含三个版本。其用12万亿tokens训练，在多基准测试表现出色。有灵活推理预算控制等特性，原生支持512K上下文窗口，基准测试成绩佳。
用子模优化做文本选择、段落重排和上下文工程
文章围绕子模优化展开，介绍其在文本选择、段落重排和上下文工程中的应用。指出当前重排器的缺陷，通过子模优化可解决冗余问题。还给出实验结果，凸显其优势，如理论保证、自动停止机制等。
对话景鲲：AI 产品的 All in One，是上下文的 All in One
Genspark 创始人景鲲在 AGI 舞台分享发展路径，其产品从 AI 搜索转型，现推出全功能 AI 办公套件。景鲲判断，未来大模型竞争激烈会商品化，AI 公司壁垒在于捕获用户工作上下文，实现「All in One」AI 工作空间。