「模型训练难题」共找到 8576 篇相关文章
用 Docker 跑大模型训练，Unsloth 解决了环境配置难题
Unsloth AI 发布 Docker 镜像版本，解决本地训练大模型环境配置难题。拉镜像就能训练，依赖和示例 notebook 都打包好。使用简单，不过有暂不支持 Mac 系统等限制，单卡 NVIDIA GPU 场景较适用。
攻克大模型训推差异难题，蚂蚁开源新一代推理模型Ring-flash-2.0
9月19日，蚂蚁百灵大模型团队开源新一代推理模型Ring-flash-2.0，独创棒冰算法解决训推差异难题，实现稳定训练。该模型仅激活6.1B参数就能打平40B Dense模型性能，降低推理成本。
斯坦福教授直播训练535B大模型，模型训练背后的「黑箱」正在被打开？
斯坦福教授Percy Liang宣布由Marin开放实验室启动训练Marin 535B - A23B模型，全程公开。过去大模型训练像“黑箱”，此次尝试让训练可观察、可讨论、可协作，引发网友关注。
小钢炮开源，一张3090两小时「从零训练0.1B全模态模型」，模型训练彻底平民化
MiniMind - O是开源超轻量级端到端全模态大模型，采用双轨架构。仅需一张RTX 3090，2小时就能从零训练全链路。有两套训练数据，具备零样本声音克隆等特点，实现大模型训练平民化。
阿里开源长文本深度思考模型！渐进式强化学习破解长文本训练难题，登HuggingFace热榜
阿里开源长文本深度思考模型QwenLong - L1，登上HuggingFace热门论文第二。它解决了长文本强化学习训练难题，通过渐进式上下文扩展训练，在多基准测试中表现出色，还探讨了SFT和RL作用。
字节Seed新作：模型合并如何改变大模型预训练范式
字节跳动Seed团队在arXiv发表论文，提出预训练模型平均（PMA）技术。该技术将模型合并引入预训练阶段，可提升性能、预测衰减阶段表现，还能解决训练问题。不过，高学习率影响和强化学习应用待研究。
大模型开发者必读！拆解世界级AI模型的诞生，Hugging Face把4年模型训练经验写成了一本开源指南
Hugging Face发布《The Smol Training Playbook》，分享约4年构建SOTA模型和数据集的经验。手册涵盖是否训练、训练何种模型、如何训练等内容，强调数据质量重要性，还介绍了模型设计、训练中的实践与教训。
大模型训练新突破！“不对称”训练让AI学会自我反思，推理零开销
字节团队提出全新语言模型训练方法PCL，首次打破训练与推理对称约束，实现‘训练-推理不对称’。在训练时让模型反思评估结果，推理时仅输出答案，零额外开销，显著提升模型能力。
大模型竞赛转向：决胜关键为何是“后训练”？
大模型价值主战场正向后训练转移。xAI发布的Grok 4通过后训练取得强大性能，在多项测试中领先。后训练可解决通用模型产业落地难题，不同公司探索新方法，且后训练有五大关键要素，阿里云提供一体化支撑。
破解「长程智能体」RL训练难题，腾讯提出RLVMR框架，让7B模型「思考」比肩GPT-4o
腾讯混元AI数字人团队提出RLVMR框架，将‘元认知’理论引入RL，通过奖励‘好的思考过程’解决长程任务中智能体的低效探索与泛化难题，经其训练的7B模型表现出色。