搜索：深度学习研究

「深度学习研究」共找到 3466 篇相关文章

SFT远不如RL？永不过时的剃刀原则打开「终身学习」大模型训练的大门

现代AI系统学习新任务时会灾难性遗忘旧知识，限制其持续学习能力。麻省理工学院研究者对比SFT和RL后发现，相同性能下RL更不易遗忘，提出遗忘定律，解释了RL优势源于其on - policy特性。

新智元报道，翁荔的Thinking Machines研究同策略蒸馏策略，能以1/10强化学习成本，结合同策略训练优势与密集奖励信号。该策略受DAGGER启发，扩展Qwen3团队工作，可在Tinker复现，还能用于个性化和持续学习。

Ilya Sutskever 在播客访谈中深度探讨AI问题。他指出模型考试强但应用差，是因泛化能力不足；认为AI扩展时代结束，研究时代来临；还谈及AGI应是学习者，以及AI部署、安全对齐等观点。

本文是一篇83页的基础智能体记忆机制综述，由27家机构联合发表。提出AI研究范式转变，记忆是填补理想与现实差距的关键。构建三维统一分类框架，介绍记忆操作、学习策略、评估体系、应用场景及未来方向。

强化学习之父Sutton在采访中认为，LLMs过度依赖人类知识，违背‘惨痛教训’原则，发展将遇瓶颈，当前投资和期望或致泡沫破裂。讨论还涉及LLM与强化学习、人类模仿方式差异及AI领域经济动态等。

上海交通大学和清华大学研究人员开源个性化联邦学习代码库PFLlib，含39种算法、3种场景和24个数据集，支持模拟500设备训练，还有隐私保护评估工具，降低研究门槛。

Dwarkesh Patel 播客对 Andrej Karpathy 进行深度访谈。他认为 AGI 还需十年，目前算法有缺陷；强化学习虽有问题但必要；分析了 LLM 局限，探讨人类学习机制、AGI 经济影响等多方面内容。

如今人工智能成科技主流，入门者选对课程很重要。OpenAI研究科学家Noam Brown认为，本科生不应把人工智能导论作首门AI课，因其大纲多年未变，应首选机器学习导论。此观点引发热议。

强化学习是大模型推理与对齐的核心方法，但常带来模型行为脆弱等问题。上海人工智能实验室徐兴成博士论文揭示‘策略悬崖’挑战，分析其成因，解释多种对齐失败现象，并提出对AI研究的启示。

游戏教父 John Carmack 认为 LLM 不是游戏未来，强调交互式体验学习重要性。他倾向游戏和虚拟环境研究，分析 Atari 游戏强化学习问题，还提及离线学习、迁移学习等方面挑战。