「零数据训练」共找到 4232 篇相关文章
为什么BF16的FlashAttention会把训练「炸掉」？清华首次给出机制解释，用极简改动稳住训练
社区里长期存在的FlashAttention+BF16训练GPT - 2时loss突然爆炸的问题，清华团队论文给出机制解释。指出是特定条件下数值偏置被放大所致，还给出极小修改稳定训练，且在多模型和硬件上验证有效。
流式数据集：效率提升 100 倍！
现在只需一行代码，就能通过 `load_dataset('dataset', streaming=True)` 以流式方式加载数据集，无需下载。Hugging Face 优化后端，提升流式数据集速度与效率，减少请求、提升解析速度，还优化启动和流式加载阶段。
LLM的RL训练轨迹竟然是线性的？Miaow Lab｜新工作：无需继续训练，直接“预测”未来模型！
文章介绍《Not All Steps are Informative: On the Linearity of LLMs' RLVR Training》，揭示RLVR训练中LLM权重和输出概率线性变化，提出“权重外推”法，可实现6.1倍训练加速，还介绍三种策略及实验结果。
TACL 综述 | 别只卷架构了——长文本模型的能力天花板，其实是数据决定的
该 TACL 综述首次从数据视角审视长上下文语言模型，指出长上下文能力本质是数据驱动。它建立分类体系，明确高质量长文数据条件，给出核心能力的数据配方与评估法，还整理数据集和基准，提出待解问题。
训练提速4.6倍！FP4+BF16双轨并行，NVIDIA×港大×MIT联手重新定义扩散模型训练速度上限
NVIDIA、港大、MIT团队提出Sol - RL，采用「FP4先探索、BF16再训练」框架，将扩散模型训练收敛速度最高提至4.64x，在速度与对齐效果间给出工程可行解法。
7,700+ star 微软 SkillOpt 可以训练的Skill
微软研究院开源了SkillOpt（7700+ star），把Skill文档当成‘可训练的权重’来优化。它有独特的6阶段流水线、核心验证门控、Protected Regions机制，还有SkillOpt - Sleep预览功能，让Skill文档可系统化训练。
大模型竞赛转向：决胜关键为何是“后训练”？
大模型价值主战场正向后训练转移。xAI发布的Grok 4通过后训练取得强大性能，在多项测试中领先。后训练可解决通用模型产业落地难题，不同公司探索新方法，且后训练有五大关键要素，阿里云提供一体化支撑。
零Token部署GraphRAG，LinearRAG做到了~
现有GraphRAG模型在实际应用中常不如朴素RAG，原因是自动构建的知识图谱质量不佳。LinearRAG框架通过Tri - Graph架构、两阶段精准检索和零Token范式重构GraphRAG，在多数据集上超越现有方法，代码和数据已开源。
数据困局下的具身智能，谁能率先破局？
具身智能面临数据困局，Skild AI 关注真实数据不足难题。学者 Levine 称只有真实数据能达通用具身智能，而王鹤认为合成数据可助具身智能冷启动和规模化发展。遥操作和 Sim2Real 是不同技术路线。
偷数据的AI公司被抓到了
Reddit发现AI公司利用Wayback Machine开放性，绕过限制扒取大量历史数据用于模型训练。此前Reddit已对AI公司数据抓取设限，还起诉过违规公司。Reddit抵制该行为，宣布限制Wayback Machine索引其内容。