搜索：上下文光学压缩

「上下文光学压缩」共找到 826 篇相关文章

EMNLP 2025 | 动态压缩CoT推理新方法LightThinker来了

随着AI发展，大语言模型处理复杂推理任务能力提升，但推理产生大量中间步骤和文本，拖慢计算速度、增加资源压力。研究者提出LightThinker，模仿人类思考模式，动态压缩推理步骤，削减tokens数量，降低成本。

OpenAI发布GPT - 5.4，集推理、编程等能力于一体，支持百万级上下文窗口。有三个版本，功能全面升级，如支持中途打断、电脑操作、视觉能力提升等，还更省token、少幻觉，安全机制完善，价格有调整。

今天凌晨1点30，OpenAI宣布开放GPT - 4.1，可在ChatGPT中使用。它针对编码任务，支持100万tokens上下文，在多项测试中表现优于前代，价格更优，不同用户将陆续获得使用权限。

文章介绍模型压缩与量化技术，其能在保持性能时降低大模型计算和存储需求，实现边缘设备高效部署。还阐述基础知识、关键技术路径、应用场景，并探讨未来发展方向。

深夜，字节跳动Seed团队开源Seed-OSS系列模型，含三个版本。其用12万亿tokens训练，在多基准测试表现出色。有灵活推理预算控制等特性，原生支持512K上下文窗口，基准测试成绩佳。

文章围绕子模优化展开，介绍其在文本选择、段落重排和上下文工程中的应用。指出当前重排器的缺陷，通过子模优化可解决冗余问题。还给出实验结果，凸显其优势，如理论保证、自动停止机制等。

Genspark 创始人景鲲在 AGI 舞台分享发展路径，其产品从 AI 搜索转型，现推出全功能 AI 办公套件。景鲲判断，未来大模型竞争激烈会商品化，AI 公司壁垒在于捕获用户工作上下文，实现「All in One」AI 工作空间。

刘鹏飞组论文《Context Engineering 2.0: The Context of Context Engineering》重新梳理上下文工程领域。它追溯其20多年历史，给出形式化定义与四阶段模型，探讨关键问题，将其从技术技巧升为系统学科，为理解人机交互提供新视角。

面壁智能团队提出SALA，基于此训练的MiniCPM-SALA模型，在单张A6000显卡实现百万token超长上下文推理，训练成本降约75%。它结合稀疏与线性注意力，采用混合架构，继承权重降低成本，在长文本处理上优势明显。

随着AI发展，大语言模型处理复杂推理任务能力提升，但推理时产生大量中间步骤和文本，拖慢计算速度、增加资源压力。浙大、蚂蚁等机构研究者提出LightThinker，可动态压缩推理步骤，降低内存占用和计算成本。