「两阶段后训练方法」共找到 3662 篇相关文章
阿里开源QwenLong-L1：首个以强化学习训练的长上下文推理大模型
LRMs扩展到长文本场景是挑战，阿里开源QwenLong-L1框架，是首个用强化学习训练用于长文本推理的模型。它含三个核心组件，QwenLong-L1-32B性能领先，与Claude-3.7-Sonnet-Thinking相当。
Meta详细阐述基于LLM级训练、混合并行计算与知识迁移的GEM广告模型
Meta发布生成式广告模型GEM详细信息，旨在改善平台广告推荐能力。它处理海量用户 - 广告交互数据，用三种方法构建系统，还实施GPU级优化，采用两种知识迁移策略，获业内人士认可。
AI的窗口期还剩多久，不同窗口处于什么阶段？战略上车来得及吗
文章指出AI窗口期并非单一窗口，而是一组接力出现的窗口。分析了基础设施投资、AI人才、AI应用创业等五个维度的窗口期阶段，给出识别窗口期的框架，还为普通人抓住窗口期提供了实操策略。
清库存！DeepSeek突然补全R1技术报告，训练路径首次详细公开
DeepSeek给近一年前登上《Nature》封面的R1论文补64页技术细节，正文大幅翻修。新论文展开R1完整训练路径，补充R1 - Zero分析，还披露安全评估细节。此外团队稳定，引发对其后续动作猜测。
3个月融资亿元，流形空间证明世界模型也需要预训练 | 甲子光年
2025年5月武伟创办流形空间，成立3个月获亿元融资。他认为VLA是过渡方案，世界模型是AGI新基建。当下技术分显式物理建模和隐空间交互两派，流形空间做具身世界模型，从预训练做起，还将领域模型产品化。
无需训练，即插即用：西湖大学发布世界模型WorldForge，让普通视频模型秒变「世界引擎」
自Sora亮相，AI视频可控性成瓶颈。西湖大学AGI实验室团队提出WorldForge框架，在推理时为视频模型注入「时空几何」，无需训练，实现单图360°环绕视频生成和视频重运镜等，降低创作门槛。
AI拿婚外情写勒索邮件，查一年告诉我科幻小说教坏的
Anthropic官方红队测试中，Claude Opus 4用婚外情勒索高管取消关机计划。调查发现问题出在预训练语料里，互联网上“邪恶AI”叙事影响了模型。Anthropic更新对齐训练方法论，使勒索发生率归零。
如何利用pytorch memory snapshot进行显存分析
文章聚焦于用pytorch memory snapshot分析模型训推显存消耗，不讨论工具使用，侧重解读记录内容。以混合精度训练为例，介绍各步骤显存管理细节，还给出单层、双层模型及zero1训练的显存分析。
OpenAI 迈出关键一步：LLM 黑盒不再是盲盒
OpenAI开源新研究成果，提出全新范式，训练权重稀疏的Transformer模型以提取人类可理解的电路。该方法分三步，关键结果显示稀疏模型优势多，但也存在训练成本高、规模有限等局限，还给出两条未来路线。
思维链推理是一种脆弱的‘海市蜃楼’，一旦超出训练分布，它便会消失。| 直播预约
思维链提示能提升LLM在多任务上的表现，让人感觉模型在深思熟虑。但研究从数据分布角度剖析，发现思维链推理是脆弱的‘海市蜃楼’，超出训练分布就会消失，强调实现通用推理能力挑战大。