「弹性预训练」共找到 2221 篇相关文章
少说‘Wait’，多做题：NoWait重塑大模型推理路径
现代大模型在复杂推理时爱用自我反思词，触发冗余验证循环，拖慢速度、增加算力消耗。NoWait方法零训练成本，通过抓关键词、扩展变体、实时屏蔽，让模型跳过废话，在多任务中表现出色，且颠覆对推理的认知。
微软副总裁X上「开课」，连更关于RL的一切，LLM从业者必读
微软副总裁 Nando de Freitas 在 X 上「开课」，分享人工智能教育帖子，从 LLM 的强化学习讲起。内容涵盖无监督、监督、强化学习定论，分布式强化学习系统构建，RL 用于后训练 LLM 等，还介绍单步强化学习与策略梯度及相关技巧。
纯血国产！4B模型越级打怪，杀入万亿赛道
9月1日，Hugging Face上线星火X2.5-4B和1.7B开源端侧模型，在多指标测试中表现优异，实现“越级打怪”。该模型基于全国产算力平台训练，在断网笔记本上实测效果惊艳，使用了两项技术提升能力，适配性强。
名师一定出高徒？清华团队最新揭秘：别再迷信大模型蒸馏的「免费午餐」
当下大模型后训练中，On-Policy Distillation（OPD）成明星技术，业界采用后报告性能提升。但清华团队研究发现，换更强Teacher，Student性能可能无提升甚至倒退。研究揭示蒸馏成败条件，深挖对齐机制，还给出拯救失败蒸馏的方法。
北大团队提出 SHINE：将任意文本转化为大模型 LoRA，仅需一次前向传播！
北大团队提出全新超网络架构 SHINE，仅需一次前向传播就能将任意文本转化为大模型 LoRA 参数，支持多轮对话。该方法实用潜力大、架构创新高效，训练流程成熟，推理快速，为大模型持续学习提供新思路。
对话原力灵机周而进：模型2.4B就够用，关键是“具身原生”；能闭环才是最高效方法
原力灵机推出首个具身原生模型产品DM0，仅2.4B参数，却能支撑实时处理画面与真机进化。其合伙人周而进称要走具身原生路线，还介绍了数据采集、模型训练等多方面内容及公司发展规划。
斯坦福&英伟达提出新范式：推翻Scale Law，在“推理”阶段自我进化，超越人类专家
斯坦福和英伟达提出 TTT - Discover 新范式，允许模型在测试时继续训练，针对难题‘进化’。它设计了自适应熵目标函数和 PUCT 状态复用组件，实验在多领域碾压人类专家与同行，但在部分领域落地有局限且计算成本高。
OpenAI被曝瞄准AI音乐赛道商业化，Suno首当其冲
据悉，OpenAI已和艺术学院合作许久，不久将进军AI音乐。它正与茱莉亚学院学生合作标注乐谱用于模型训练，还可能探索To B市场。此前OpenAI就有音乐模型尝试，此次或因Suno盈利佳而重拾音乐梦，Suno恐受冲击。
Thinking Machines又发高质量博客：力推LoRA，不输全量微调
Thinking Machines 博客力推 LoRA 并与全量微调对比。研究发现小数据量任务中 LoRA 与全量微调效果接近，大数据量稍吃力，强化学习中低秩 LoRA 也能接近全量微调。还揭示了 LoRA 关键要素、超参数规律等。
Thinking Machines新发现：Lora不是权宜之计，哪怕秩低到 1，也能匹敌全参数微调
Thinking Machines和John Schulman新研究刷新对LoRA的认知，实验显示正确使用时它能匹敌全量微调。团队系统研究训练集与参数关系，有层选择、学习率等关键发现，还给出实用建议，但LoRA在部分场景表现待验证。