搜索：长上下文大语言模型

「长上下文大语言模型」共找到 8146 篇相关文章

4B模型幻觉抑制能力超越GPT-5，CMU等提出行为校准强化学习新方法

大语言模型幻觉问题是部署难题，CMU等研究人员提出行为校准强化学习新方法，重新设计奖励函数。经训练，40亿参数模型幻觉抑制力超GPT - 5，实验证明该方法效果显著，还带来理论洞察。

CMU博士生Tairan He测试发现GPT - 5答错‘一只手有几根手指’问题，指出语言难满足视觉与机器人领域需求，需VLM和VLA模型。编辑部测试发现顶尖大模型面对常识问题也会‘翻车’，还探讨了应对方法。

哈工大30+页综述聚焦通用文本嵌入（GPTE），系统介绍其架构、数据、模型，探讨预训练语言模型（PLM）给GPTE带来的基础能力与高级扩展，还涉及多模态、多语言、代码嵌入等应用。

多模态大语言模型“始终思考”模式有缺陷，腾讯混元团队与中科院自动化所联合提出R - 4B，通过双模式退火训练和双模式策略优化实现自动思考，在多评测中达SoTA，省资源且效果好。

最新研究推出 EMMA 基准测试，揭示顶尖多模态大语言模型在深度视觉与文本融合的复杂多模态推理上显著不足。该研究已被 ICML 2025 接收，代码数据开源。实验表明，现有模型与人类专家差距大，视觉推理是核心瓶颈。

在多模态大模型发展中，多教师知识蒸馏成提升性能关键，但教师模型存在“概念漂移”问题。悉尼科技大学团队提出 APO 框架，将模型间“漂移”转化为动态负约束，解决多模态大模型多师蒸馏概念对齐难题，工作被 ICML 2026 接收。

OpenAI产品负责人Miquel联合Piotr发布Context Engineering深度指南。介绍了Context Engineering概念、6种核心上下文，指出RAG只是其中一环，还讲述信息检索的多种范式及上下文组装方法。

苹果联合港大开源扩散大语言模型DiffuCoder，用扩散模型+强化学习策略，性能提升4.4%。研究还提出耦合梯度奖励策略优化方法，建立原生RL训练框架，探究了dLLM的生成机制等问题。

文章提供了 SDD - RIPER 团队落地方案，能让团队一周内跑通大模型编程，质量可控、效果可量化。阐述了推不动大模型编程的痛点及 SDD - RIPER 的解决办法，介绍了部署、实操流程和试点 SOP，还给出效果数据与常见问题解答。

文章指出多Agent系统成大模型应用重要方向。分析大模型交互的上下文瓶颈，如语义膨胀、信息密度不均等；阐述Agent间协同结构演化，包括松耦合编排、语义协同等；还说明传统Prompt工程局限及通信与上下文协议的作用。