搜索：深度思考大模型

「深度思考大模型」共找到 8292 篇相关文章

陈丹琦新作：大模型强化学习的第三条路，8B小模型超越GPT-4o

陈丹琦团队提出结合RLHF和RLVR优点的RLMT方法，支持在基础模型上直接使用，节省后训练成本。它让模型生成CoT，用奖励模型评价输出，使小模型超越大模型，推理更像人类。

卡内基梅隆大学和马里兰大学研究发现，大模型处理长上下文易累傻。受人脑机制启发，设计睡眠机制，让模型在上下文窗口快满时打盹，反复咀嚼信息，压缩进长期权重。测试显示，增加“睡眠”轮次能提升深度推理表现。

中国大模型市场模型增多，能力相近、价格降低且部分开源。开发者选择多但企业选模型难，价值向调度层转移。开源改变产业结构，Routing业务有价值且至少含四层，中国Provider Routing易落地。

今日凌晨，GLM系列模型四位研发成员在Reddit的AMA活动中，回答了GLM系列技术细节、未来规划等问题。透露扩展上下文、推小模型是重点，还承诺尽快发新模型，也探讨了大模型发展观点。

文章指出深度修剪可加快推理速度，但直接丢层会降低性能。为此提出滑动层合并法，根据相似度阈值融合连续层，简化结构且保持性能。实验显示该方法优于现有技术，还揭示了与宽度修剪结合的潜力。

本文整理自北银金科高级算法专家尹辰轩分享，介绍大小模型协同架构下的大模型投顾方案，能解决幻觉问题、优化回答深度。还提到 12 月 19 - 20 日 AICon 北京站聚焦多热门方向。

合肥工业大学团队提出大模型存在‘隐藏的真伪认知’，论文让模型用此给推理‘打分’，过滤错误推理链。通过多层注意力头探测、构建预测器和新推理扩展策略，提升了推理链稳定性，实验效果优异。

Meta官宣发布代码世界模型CWM，将世界模型引入代码生成任务。它基于编程和世界建模数据训练，能模拟程序执行与交互。在编程基准测试中表现不错，算是Meta的概念验证，目前可看作Demo。

长三角洲AI实验室、中科院、理想汽车等找到大语言模型硬件协同设计寻优之路，在相同延迟下降低端侧模型困惑度，压缩模型架构挑选时间。研究揭示缩放定律，打造硬件感知建模框架，找到精度与延迟最优解。

当前大语言模型在长周期任务中，长时持久记忆管理陷入“精度不够”和“成本太高”的两难困境。中国人民大学团队提出MemSifter框架，将记忆检索工作外包给轻量级代理模型，在8个权威测试中超越现有方案，且已开源。