产品应用7

Unsloth AI：Docker 镜像破大模型训练配置难题

AI工程化2025-10-03

AI 摘要

Unsloth AI：发布 Docker 镜像解决大模型训练环境配置难题。拉镜像就能训练，含示例 notebook。但有不支持 Mac 等限制，单卡 NVIDIA GPU 场景实用。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

斯坦福教授直播训练535B大模型

斯坦福教授Percy Liang宣布由Marin开放实验室启动训练Marin 535B - A23B模型，全程公开。过去大模型训练像“黑箱”，此次尝试让训练可观察、可讨论、可协作，引发网友关注。

北大毕业的前OpenAI高管翁荔（Lilian Weng）的《Scaling Laws, Carefully》值得一读。Scaling law是预训练预算表，能帮少烧错钱。文章探讨大模型训练预算分配，分析Kaplan和Chinchilla结论差异及数据稀缺问题。

文章围绕deepseek V4技术报告展开，指出当前大模型训练不充分，介绍了算法层面如混合注意力机制、模型结构优化、优化器等，工程层面如细粒度专家并行、算子内核开发等，以及后训练的范式转变和领域专家网络蒸馏等内容。

上海交通大学与上海人工智能实验室团队发布首篇「数据价值密度」综述。提出“数据价值密度”概念并定义，建立分类框架梳理现有工作，还指出该领域面临的挑战，为大模型训练提供指南。