搜索：三阶段训练策略

「三阶段训练策略」共找到 3206 篇相关文章

阿里+清华发现80/20法则：LLM只靠20%的token就能学会Reasoning

阿里与清华研究发现，训练大语言模型（LLM）推理时，真正关键的是20%的高熵token，其余80%低熵token几乎无用。仅用20%高熵token做强化学习，效果超全量训练，还提出RLVR训练策略提升效率。

论文研究发现大模型经强化学习训练解题时，会出现模型探索欲望急速下降的熵崩溃现象，如训练初期策略熵断崖式下跌。对此进行规律分析、追根溯源，提出破解方法，研究对AI训练范式变革有重要意义。

研究人员开发自动生成编码助手训练数据的流程。斯坦福等高校及阿里团队提出 SWE - smith 方法，从 128 个 Python 仓库入手合成漏洞、验证并生成修复样本，成果免费开放，有望改进 AI 辅助编程模型。

OpenAI奥特曼官宣暂停下一代旗舰模型强化学习训练两周，原因是确保安全等标准跟上能力水平。触发因素有Hugging Face事故和Astra达安全红线，后续将让AI监管AI，加固三道安全防线。

多模态大模型浪潮中，视觉模块是关键。此前OpenVision训练管线复杂，成本高。研究者提出OpenVision 2，移除文本编码器与对比学习，引入随机丢弃视觉token技巧，性能佳且效率高，挑战了对比学习范式。

现有检索增强生成（RAG）系统只能读取已索引的静态网页，无法满足用户实时数据需求。百度 TURA 架构用工具调用将 RAG 升级为动态交互，分检索、规划、执行三阶段，已在百度亿级流量场景跑通。

智谱AI发布ComputerRL自主桌面智能框架，旨在让AI像人一样用电脑。它融合API与GUI，采用分布式训练，引入Entropulse解决探索衰减。在OSWorld测试中表现亮眼，虽有视觉感知等挑战，但意义重大。

文章讲述了芯宠工场团队训练AI伴宠Lito的过程。通过各种试验，Lito能做出预设外反应，其‘灵魂’在与人类互动中生长。团队面临功能与情感的抉择，市场上也有其他创业者挖掘AI情感陪伴赛道。

微软研究院 Yifan Yang 等人推出 SkillOpt，思路反直觉，不动模型权重，把「技能文档」当可训练参数。它在 52 个组合中表现最优，技能可迁移，代码已开源，还支持多操作。

当AI Agent调用工具结果大量涌入上下文窗口，LLM性能会下滑。Manus联合创始人拆解其上下文工程逻辑，给出‘减少、卸载、隔离’三大策略及模型选择等方法，还提炼出6条实践启示。