「不完全学习现象」共找到 1478 篇相关文章
Loss收敛不代表学会:腾讯混元ACL 2026拆解SFT训练中15.3%的“假学会”样本
大模型微调(SFT)是主流LLM落地方案,但大家默认训练完就是学完了。腾讯混元团队发现SFT存在不完全学习现象(ILP),论文完成了定义ILP、找根因、提诊断框架和验证干预等工作。
刚刚,Anthropic这篇论文上了Natrue
Anthropic关于“潜意识学习”的研究发表于《Nature》杂志。研究揭示大语言模型能通过与语义无关的数据传递行为特征,如偏好、不对齐行为等,还探究了其机制,并在MNIST上验证。
感知错误率降低30.5%:隐式感知损失让模型主动“睁大眼睛” | UIUC&阿里通义
伊利诺伊大学香槟分校与阿里通义实验室推出多模态推理强化学习算法PAPO。它用隐式感知损失设计,解决感知与推理脱节问题,在多基准测试中表现优,但有KL_prcp Hacking现象。
荣登HuggingFace周榜首位, 人大高瓴与快手提出ARPO实现智能体高效训练!
人大高瓴与快手提出的ARPO项目受高度关注,荣登Huggingface Paper日榜、周榜双首位。它是为多轮交互型LLM智能体设计的强化学习算法,在基准测试中,用一半工具调用预算就显著优于现有方法。
这些大神在Meta的论文看一篇少一篇了
田渊栋团队剖析可验证奖励强化学习(RLVR)训练动态,戳破参数更新稀疏误区,提出三门理论说明其参数更新定位机制,还为RL训练算法设计提供指导,指出SFT时代参数高效微调方法在RLVR中迁移效果差。
Reasoning模型在RL下的探索欲望急速下降问题:探索熵机制
论文研究发现大模型经强化学习训练解题时,会出现模型探索欲望急速下降的熵崩溃现象,如训练初期策略熵断崖式下跌。对此进行规律分析、追根溯源,提出破解方法,研究对AI训练范式变革有重要意义。
Claude Code 史诗级更新!AI 编程进入“反向教学”模式,写到一半会停下考你:这行代码你来写
Claude Code和Claude App推出学习模式,Claude Code支持用`/output-style`定制沟通风格,有Default、Explanatory、Learning三种内置风格,还能自定义,Claude App的Learning风格也全面开放。
Claude1.7万字系统提示词全网刷屏!Karpathy锐评:LLM训练缺乏关键范式
Claude近1.7万字系统提示词在GitHub泄露,网友称是提示技术的金矿。大神卡帕西提出系统提示学习新范式,模拟人类经验积累,让LLM有‘记忆’功能,引发网友激烈讨论。
汪军对话 Rich Sutton:大模型在一定程度上分散了我们对智能理解的注意力
在RL China 2025开幕式上,汪军与图灵奖得主Richard Sutton对话。Richard认为大模型缺乏目标和奖励,分散对智能理解的注意力。他强调RL核心是从经验学习,智能原则含梯度下降等,建议将目标解读为“奖励”。
Pokee.ai 朱哲清:用 RL 搭建智能体的「骨骼与神经」| AI 产品十人谈
《AI 产品十人谈》对话 Pokee.ai 朱哲清,探讨强化学习与 Agent。朱哲清是强化学习信徒,曾带领 Meta 团队突围。他认为单靠预测难完成复杂任务,强化学习是超人类智能的关键,介绍了 Pokee.ai 产品优势及对通用 Agent 的看法。