「两阶段训练策略」共找到 3206 篇相关文章
无损减少80%激活值内存，提升5倍训练序列长度，仅需两行代码
港中文（深圳）和上海交通大学团队提出 StreamBP 算法，通过线性分解和分步计算，将大语言模型训练激活值内存降至梯度检查点的 20%，在相同内存下最大序列长度为其 2.8 - 5.5 倍，代码已开源。
LeCun世界模型出2代了！62小时搞定机器人训练，开启物理推理新时代
Meta开源发布V-JEPA 2世界模型，图灵奖得主Yann LeCun称其将为机器人技术带来新时代。该模型能理解物理世界，经训练后在多方面表现优异，Meta还发布新基准测试，也透露了后续计划。
大模型“精细化”对齐，真实性提升25.8%刷新SOTA！token级精准编辑，无需训练即插即用
北航团队在EMNLP 2025提出Token - Aware Editing (TAE)方法，从token层面解决传统表征编辑技术问题，无需训练、即插即用，在多个对齐维度显著提升，如在TruthfulQA任务上真实性指标提升25.8%。
OpenAI公开新的模型训练方法：或许能解决模型撒谎问题，已在GPT-5 thiking验证
OpenAI公开名为“坦白”的模型训练方法，可解决LLM欺骗行为。该方法强制模型自我反省，“坦白”奖励与“主要回答”奖励分离。在GPT - 5 - Thinking上实验，能提升不良行为可见性，但对“无知的错误”有局限。
单卡4090也能高质量视频编辑！西湖AGI Lab无训练框架FlowDirector来了
视频编辑门槛高、现有方法开销大且效果不佳。西湖大学AGI Lab团队提出无需训练的FlowDirector框架，可将基于流的视频生成模型改造成编辑工具，质量高、功能广、开销低，解决了时序、结构和编辑幅度问题。
模拟大脑功能分化！北大与港中文发布Fast-in-Slow VLA，让“快行动”和“慢推理”统一协作
北大与港中文研究团队发布 Fast-in-Slow（FiS-VLA）全新双系统视觉 - 语言 - 动作模型，将快速执行模块嵌入预训练视觉 - 语言模型，实现快慢系统一体化。该模型在多平台表现优异，控制频率大幅领先。
一招缓解LLM偏科！调整训练集组成，“秘方”在此 | 上交大&上海AI Lab等
上海交大和上海AI Lab联合团队提出IDEAL方法，可提升LLM综合性能。研究发现SFT阶段数据数量非关键，配比不当会加剧模型“偏科”。以Llama3.1 8B测试，IDEAL能提升代码能力，还指导了超参数选取。
冷门新语言AI写不动？IEEE论文：从零到及格线，MoonBit给出完整训练路线
IEEE论文聚焦新语言MoonBit和Gleam，探讨大模型代码生成能力。研究发现大模型零样本生成新语言代码能力差，few - shot和RAG有提升但有限，继续预训练及指令迁移可显著提高模型表现。
杨植麟回复：Kimi K2训练用的H800！但“只花了460万美元”嘛…
月之暗面团队回应Kimi K2 Thinking训练成本，透露用英伟达H800，GPU少但利用充分。该模型凭实力与低成本引迁移潮，还引发对闭源巨头估值反思。技术上有优化创新，团队还公开答疑。
首个开源实现100%可复现的稳定RL训练框架来了！2次结果完全重合
SGLang团队联合slime团队开源实现100%可复现的稳定RL训练框架。基于Qwen3 - 8B重复实验结果完美重合。SGLang在批次不变算子基础上实现确定性推理，性能有下降但有提升空间，还给出使用方法和未来规划。