「从零训练」共找到 4864 篇相关文章
免训练加速61倍！陈怡然团队新作DPad：仅关注「彩票token」
杜克大学陈怡然团队新作DPad，发现扩散大语言模型关注少量「中奖」token，推理速度可提61 - 97倍，还增强模型语境学习能力。DPad免训练零成本挑关键信息，实现「少算多准」。
LLM的下一战：从狂卷数据到精算数据
大模型竞争核心正从比拼数据规模转向数据使用效率和风险管理。文章分享2025两篇论文，介绍高效训练和机器遗忘两赛道，前者有数据价值飞轮5大模块，后者提出三时段分类法、三层次遗忘及评价指标全景。
如何训练VLA？丰田研究院发布史上最大实验规模「保姆级」教程
丰田研究院和清华大学发布教程，用大量数据训练89个策略模型并验证。聚焦Co - training，研究五大模态、三种策略，对比不同架构，揭示有效和无效模态，还探讨CoT推理及多方面实验。
DeepSeek 模型技术之旅：从 V3 到 V3.2
本文深入剖析了 DeepSeek 模型从 V3 到 V3.2 的技术演进，对比了基座与推理模型，介绍了架构、训练方法变化，如 V3.2 结合 MLA 与 DSA，更新奖励和 GRPO 算法，还提及 V3.2-Speciale 扩展思考特性。
消费级显卡跑大模型训练门槛再降：Qwen3-1.7B强化学习只需5GB显存
消费级显卡跑大模型训练门槛再降，Unsloth AI的FP8精度强化学习方案让Qwen3 - 1.7B的GRPO训练只需5GB显存且性能无损。该方案与TorchAO合作，有推理优势，还在内存优化等方面表现出色。
DeepSeek发布最新论文，5大杀手锏让大模型训练、推理暴涨
全球著名开源大模型平台DeepSeek在huggingface发布超强开源模型V3的论文，从硬件架构和模型设计双视角探讨高效训练和推理，提出DeepSeek - MoE、多头潜在注意力等创新技术，解决内存、计算效率等难题。
Thinking Machines 发布第二篇博文：用模块化流形让训练更加稳定高效
Thinking Machines实验室发布第二篇Connectionism研究文章，提出模块化流形理论框架，通过在权重矩阵施加流形约束让神经网络训练更稳定高效。文章从几何角度思考优化问题，提出流形Muon优化器，还探讨了模块化流形扩展到大型网络的方法。
从 AI Agent、RLHF 到 MoE 大规模训练：AMD 这场开发者日，把一线实战话题凑齐了 ｜Q推荐
AMD AI开发者日揭晓八大硬核GPU Workshop、技术专题及“作品说话”主题分论坛嘉宾与话题，覆盖AI Agent、RLHF、MoE大规模训练等前沿领域，还有多场实操分享。
英伟达&MIT等推出Long-RL，长视频训练速度翻倍
英伟达联合MIT等推出Long - RL，它是面向长序列推理和多模态强化学习的全栈训练框架，能提升RL训练数据长度上限，让训练速度翻倍。其核心MR - SP并行框架可降低训练耗时和显存，LongVILA - R1是其明星应用。
24张图，从GPT-2到gpt-oss，看OpenAI开源模型技术演进
2025年8月OpenAI释出gpt-oss-20b与gpt-oss-120b两个开源权重模型。文章梳理了从GPT - 2到gpt - oss的技术演进，拆解关键创新点，对比了与Qwen3的差异，介绍训练推理细节、实测体验及与GPT - 5跑分对比情况。