「上下文强化学习」共找到 2074 篇相关文章
2025年深度学习趋势:从Transformer架构到无处不在的边缘计算
2025年深度学习成科技顶流,市场规模飙升。其发展受算力、数据、算法推动,应用于多领域。核心趋势包括Transformer架构发展、低代码开发等,同时也面临伦理、人才短缺等挑战。
「上下文学习」之后,腾讯混元第二篇公开研究:精准定位RLVR训练崩溃的“罪魁祸首”Token
腾讯混元团队新研究提出异常梯度定位器 GradLoc,可将全局梯度突刺定位到具体异常 token,降低 RLVR 训练观测与分析门槛,助力解决训练不稳定问题,让模型调优更科学。
社区供稿丨如何抑制大模型的“过度反思”:Yuan3.0 Flash 中的强化学习范式
大模型在企业落地时存在“过度反思”问题,浪费算力。YuanLab.ai团队在Yuan3.0 Flash模型中提出RIRM与RAPO,前者奖励“思考过程”,后者优化训练框架,实现推理效率提升,适用于企业场景。
极简主义的胜利:清华团队用最简单的强化学习配方刷新1.5B模型纪录
清华、伊利诺伊大学和上海AI实验室团队提出JustRL架构,仅用单阶段训练和固定超参数,在1.5B模型上刷新性能纪录,计算量仅为复杂方法50%,挑战了复杂技术堆叠现状。
陈丹琦新作:大模型强化学习的第三条路,8B小模型超越GPT-4o
陈丹琦团队提出结合RLHF和RLVR优点的RLMT方法,支持在基础模型上直接使用,节省后训练成本。它让模型生成CoT,用奖励模型评价输出,使小模型超越大模型,推理更像人类。
百万人围观,「上下文图谱」火了,万亿美元新机遇?
本文围绕智能体对记录系统的影响展开讨论。有人认为智能体将摧毁记录系统,也有人反驳,指出其会提高记录系统标准。文章重点介绍上下文图谱概念,它是决策轨迹的长期积累,有望成万亿级新机遇。同时分析传统厂商构建难题及创业公司路径。
Cursor 内置三大文档工具,为AI 编程注入精准上下文
大模型编程易因知识陈旧致代码出错,为其提供实时上下文是关键。Cursor 有 @Docs、@Web、MCP 三大文档工具,能处理不同文档,还可协助创建和更新文档,弥合模型知识与项目需求的鸿沟。
Scaling Laws起源于1993年?OpenAI总裁:深度学习的根本已揭秘
人工智能扩展定律(Scaling Laws)把模型性能和资源投入联系,是构建大模型的参考标尺。其起源说法不一,康奈尔博士生将其推至1993年贝尔实验室论文,OpenAI总裁称它揭示深度学习根本。
Karpathy:我不是要造新词,是「上下文工程」对 Agent 来说太重要了
Andrej Karpathy 认同Shopify CEO关于「上下文工程」的观点。它指为大语言模型提供恰当信息和工具,比提示词工程更重要。文章介绍其概念、与提示词工程区别,及写入、筛选等落地策略。
上下文就是一切!行业热议话题:提示工程是否应该改名
AI圈热议提示工程是否应改名“上下文工程”。Shopify CEO等发表看法,指出其在LLM应用和AI Agent构建中很重要,还分析了重要性、优化方法,给出实践经验,强调要在性能、成本和准确性间平衡。