「优化训练」共找到 3159 篇相关文章
大模型开发者必读！拆解世界级AI模型的诞生，Hugging Face把4年模型训练经验写成了一本开源指南
Hugging Face发布《The Smol Training Playbook》，分享约4年构建SOTA模型和数据集的经验。手册涵盖是否训练、训练何种模型、如何训练等内容，强调数据质量重要性，还介绍了模型设计、训练中的实践与教训。
多模态大语言模型的核心技术架构与训练方法的进化
文章深入剖析多模态大语言模型核心技术架构与训练方法的进化，涵盖建模范式、视觉编码器、语言骨干网络、模态对齐、生成范式及训练方法等方面，介绍其演进路径与代表模型，还提及国内模型创新及开源模型OpenVLA。
R1/Qwen训练新范式：无需继续训练，直接“算”出权重，提效500%
DeepSeek - R1爆火让RLVR成大模型后训练焦点，但训练代价高昂。学者发现RLVR中LLM权重和输出概率呈线性变化，提出“权重外推”等方法，实现最高6.1倍训练加速，RL - Extra在多榜单展现高效率。
AI 基础知识从 0.6 到 0.7—— 彻底拆解深度神经网络训练的五大核心步骤
文章以 PyTorch 手写数字识别代码为引，深入剖析深度神经网络训练的五大核心步骤，涵盖前向传播、计算损失、反向传播、更新参数和循环训练，还介绍激活函数、Dropout 等概念及正则化、优化器等技术。
SOTA级视频编辑新方法：无需训练一句话编辑视频，背景保持100%
传统视频编辑工作流被AI重塑，但现有AI方法存在问题，多源于反演 - 编辑范式。西湖大学AGILab提出无需反演和训练的FlowDirector，开销低、支持广且能100%保持背景，还采用新策略优化。
仅凭一篇博客，他成功入职OpenAI！核心技术或用于GPT-5训练
Keller Jordan设计Muon优化器并公开研究进展，引OpenAI和xAI关注，最终加入OpenAI。Muon性能卓越，或用于GPT - 5训练，其故事暗示传统论文模式在AI领域或已落伍。
智谱终于发布GLM-4.5技术报告，从预训练到后训练，细节大公开
上个月底智谱开源 GLM-4.5 及轻量版，成绩亮眼引热议。现其技术报告发布，详述预训练到后训练细节，还介绍了开源 RL 框架 slime，展示模型架构、训练阶段等，评估了在多任务上的表现。
3A大作！阿里ROLL团队从基建->算法->机理，推动RL4LLM全栈协同优化
阿里巴巴ROLL团队联合高校推出「3A」协同优化框架，推动「强化学习用于大语言模型（RL4LLM）」迈向新范式。Async架构提升GPU利用率，AsyPPO降低计算资源消耗，Attention机制提升训练效率与可解释性。
极致优化Android平台APK的大小
文章以Android为例，介绍UE包可裁剪部分的优化思路与实践，优化APK大小和Native库运行时内存占用。从压缩NativeLibs、代码体积优化、资源裁剪等方面着手，还给出优化效果和额外资料。
Karpathy刚开源的autoresearch，我拿来优化龙虾skill，成功率从56%飙到92%
Karpathy发布开源项目autoresearch，可让AI优化AI。作者分享用其优化skill的实践，介绍优化流程，指出可将模糊表述拆成可判断是非题，还提及定义评估标准的方法与常见错误修正。此外，还能用于代码性能优化。