搜索：长上下文建模

「长上下文建模」共找到 1389 篇相关文章

告别微调！腾讯提出Training-Free GRPO：无需更新参数，还能保证泛化性，成为传统RL的有力替代

大型语言模型在专业领域表现不佳，传统微调方法成本高、易过拟合。腾讯优图实验室提出Training - Free GRPO，无需更新参数，通过上下文学习提升性能，成本低且泛化性好，是传统强化学习有力替代。

微软基于Phi-4-mini版本，针对特定推理任务微调出Phi-4-mini-Flash-Reasoning 3B模型，将其扩展到200064 tokens。采用新型SambaY架构，支持64K token上下文长度，运行快10倍，有诸多优点。

作者分享给传统研发平台接入 Agent 开发能力的经验，介绍技术选型、方案落地、系统提示词优化、知识库建设等内容，还提及工具接入、上下文管理等方面，为想自建 Agent 的人提供启发。

NVIDIA发布专为大规模上下文AI推理设计的Rubin CPX GPU，性能提升显著，集成视频编解码器和长文本推理处理。新平台算力强，适用于代码生成与视频处理，多家公司将采用，2026年底上市。

腾讯提出的面向交互式视频生成的基础性框架 Yan，集 AAA 级模拟、多模态生成和多粒度编辑于一体，为下一代 AI 内容引擎提供可行路径，但也面临长时视频视觉一致性不足等问题。

现有视频异常检测（VAD）方法泛化能力不足，无法适应开放世界需求。中传吴晓雨团队在ICLR 2026发表论文，提出LaGoVAD模型，联合建模视频与异常定义，解决样本密度下降等问题，实验显示泛化性强。

Cursor 分享博客指出，Dynamic Context Discovery 效果远好于 long context 方式，开启动态上下文可使总 Token 消耗降 46.9%，还能减成本、降延迟、提准确率，但也存在成本转嫁、工程复杂度高和安全风险等问题。

在文本转语音（TTS）领域，生成长篇、多说话人的高质量音频一直是技术挑战。微软最新开源的VibeVoice TTS模型，可一次生成90分钟连续语音，支持4个不同说话人，还具备高效处理长序列等亮点特性。

昨晚ChatGPT宕机，OpenAI 2折甩卖o3模型并发布o3 Pro。o3 Pro编程能力强，达全球top150程序员水准。官方称甩卖的o3是原版但推理快近40%。o3使用成本高，还需足够上下文。

伊利诺伊大学香槟分校团队提出 RM - R1 框架，将奖励建模定义为推理任务。它引入推理奖励模型和链式评估准则机制，经两阶段训练，在多基准测试中表现超大规模模型，验证了推理能力对奖励模型的重要性。