搜索：高效长上下文建模

「高效长上下文建模」共找到 1402 篇相关文章

【DeepSeek-OCR系列第一篇】Language Modelling with Pixels【ICLR23】

当前主流语言模型依赖固定词表，扩展到多语言、多脚本时面临覆盖受限、计算昂贵、鲁棒性差等问题。ICLR 2023论文提出不依赖词表的PIXEL模型，通过将文本变成图像用视觉Transformer理解，实验验证其有跨语言、抗噪声等优势。

牛津VGG、港大、上交大团队论文提出ELIP方法，用学术界资源增强视觉语言大模型预训练，用于文字 - 图片检索。该论文被大会接受并获最佳论文提名。ELIP可应用于多个大模型，实验显示能显著提升图片检索表现。

Thinking Machines Lab发布《在策略蒸馏》博客，提出在策略蒸馏可结合强化学习纠错与SFT奖励密度，成本低且能让小模型有强大性能。该成果受Qwen团队启发，大量用Qwen3模型。还对比了不同训练方法。

LLM在超长多轮对话中有上下文窗口有限、记忆系统昂贵的痛点。LightMem借鉴人类记忆机制，用三招重新设计LLM记忆，实验显示其准确率超基线，还降低token使用量、API调用和运行时间。

文章提出用于实时交互式长视频生成的帧级自回归框架 LongLive，解决了长视频生成在效率和质量方面的挑战，具备长视频生成、实时推理、高效微调等亮点，还给出安装、推理、训练等步骤。

Meta官宣发布代码世界模型CWM，将世界模型引入代码生成任务。它基于编程和世界建模数据训练，能模拟程序执行与交互。在编程基准测试中表现不错，算是Meta的概念验证，目前可看作Demo。

吴恩达发文指出大学教学与企业需求错位，导致CS毕业生难就业，而AI工程师供不应求。他面试看重三能力，有这些技能的人生产力高，企业急需。他认为优秀开发者是紧跟AI变化的经验者，基础知识仍重要。

本文聚焦 ZeroGPU Spaces 加速实践，介绍 PyTorch 提前编译。ZeroGPU 使在 Hugging Face Spaces 用 Nvidia H200 硬件更高效，但有局限。提前编译可优化模型，提升演示速度，还分享了接入方法、高级技巧及演示示例。

随着AI发展，大语言模型处理复杂推理任务能力提升，但推理时产生大量中间步骤和文本，拖慢计算速度、增加资源压力。浙大、蚂蚁等机构研究者提出LightThinker，可动态压缩推理步骤，降低内存占用和计算成本。

中科大认知智能全国重点实验室开发了 Science - Star 科研智能体平台。它基于 ReAct 引擎，有一体化可视化支持、插拔式模块化架构和跨学科工具集成等特色，为科研智能体研发与实验提供高效基础设施。