「梯度下降法」共找到 551 篇相关文章
首个开源实现100%可复现的稳定RL训练框架来了！2次结果完全重合
SGLang团队联合slime团队开源实现100%可复现的稳定RL训练框架。基于Qwen3 - 8B重复实验结果完美重合。SGLang在批次不变算子基础上实现确定性推理，性能有下降但有提升空间，还给出使用方法和未来规划。
汪军对话 Rich Sutton：大模型在一定程度上分散了我们对智能理解的注意力
在RL China 2025开幕式上，汪军与图灵奖得主Richard Sutton对话。Richard认为大模型缺乏目标和奖励，分散对智能理解的注意力。他强调RL核心是从经验学习，智能原则含梯度下降等，建议将目标解读为“奖励”。
投资人不再只看大模型？AI资本新逻辑揭秘｜甲子引力X
2025年AI投资进入新阶段，大模型竞赛趋理性，AI Agent等赛道加速发展，投资逻辑重构。甲子引力X圆桌对话中，六位投资人分享投资逻辑调整、新投企业及看法，探讨具身智能、物理AI落地等问题。
企业数据“LLM ready”与“小Palantir”们的崛起 ｜ AGIX PM Notes
文章指出当前 AI 仍处准备阶段，企业数据未就绪是落地大障碍，深层问题是流程 AI 原生化转型。还介绍本周市场、多家科技企业动态，以及巴菲特和芒格对 ETF 的看法及投资建议。
斯坦福发布预警信号：生成式AI正如何重塑就业市场？年轻职场新人首当其冲
斯坦福大学Erik Brynjolfsson教授领衔的论文，用海量高频薪资数据研究AI就业效应。发现高AI暴露职业中年轻职场新人就业显著下降，自动化型AI应用致就业降，增强型则无，还给出年轻人受影响大的原因。
训练数据量降低1万倍，谷歌提出超高质量数据主动学习方法
将大模型应用于特定领域需数据微调，但筛选高保真训练数据难度大、成本高。谷歌提出新主动学习筛选流程，能将训练数据规模降1万倍，还提升模型与人类专家一致性。经实验验证，该方法效果显著。
1.5B刷新数学代码SOTA！快手&清华精细化Token管理，LLM推理能力飙升
快手与清华团队用1.5B参数小模型在推理基准上超越同量级SOTA。其Archer方法通过精细化Token管理，对知识型和推理型Token差异化训练，让知识和推理同步更新且互不干扰，在数学和代码任务表现出色。
模型遗忘不代表记忆抹除！首次系统发现「可逆性遗忘」背后规律
研究人员发现大语言模型遗忘并非简单信息删除，可能藏于内部。他们构建表示空间诊断工具，区分可逆与不可逆遗忘，揭示真正遗忘是结构抹除。还在多种方法、数据集和模型上实证，得出系列结论。
Knowledge还是Reasoning？具体分析LLM答案正确，不代表思考过程靠谱的问题
斯坦福/加州大学团队指出大模型答案正确不代表思考过程靠谱，传统评估忽略思考路径问题。团队提出双维度评估框架，透视模型思考过程，还测试发现不同领域决胜关键、最佳训练法不同，且框架正解锁新场景。
建模世界偏好：偏好建模中的Scaling Laws
研究首次揭示人类偏好建模遵循Scaling Law，从论坛收集数据在Qwen 2.5模型训练，发现测试损失随训练规模指数增长线性下降。提出建模世界偏好，论文和模型已开源，还探讨了偏好建模可扩展性等问题。