「视觉语言预训练」共找到 3299 篇相关文章
上海AI Lab发布混合扩散语言模型SDAR：首个突破6600 tgs的开源扩散语言模型
上海人工智能实验室提出全新范式SDAR，通过‘训练 - 推理解耦’融合AR模型高性能与扩散模型并行推理优势。实验证明，SDAR性能与原版AR模型持平或超越，还能加速推理，且已全面开源全系列模型。
MoE RL 实战：统一 FP8 全流程训练
SGLang RL 团队等实现 RL 全流程 FP8 训练与采样，消除训推不一致性。介绍 FP8 硬件基础、格式等，分析训练难点，定位 KL Loss 异常源于量化原理，验证其在 MoE 模型 RL 场景优势，指出模型规模与训推不一致的关联。
庞若鸣还有苹果论文？改善预训练高质量数据枯竭困境
苹果基础模型原负责人庞若鸣在 Meta 任职期间，其在苹果参与的高价值研究仍不断发表。研究团队针对大模型训练中高质量数据枯竭问题，提出 Synthetic Bootstrapped Pretraining (SBP) 预训练流程，提升模型性能。
昇腾MindSpeed：分布式训练加速库的创新实践与突破
在2025年QCon全球软件开发大会上，华为工程师郑加利分享昇腾MindSpeed分布式训练加速库。它在计算、通信、显存等多维度优化，提升训练效率，还介绍业界加速库及MindSpeed架构，阐述多种优化策略。
OpenAI公开大规模稳定训练的秘密，英伟达AMD英特尔都受益
OpenAI通过OCP开放超大规模AI训练用的网络协议MRC，它能确保大规模训练环境下网络通信稳定。该协议由OpenAI联合英伟达等厂商花两年完成，从拓扑、传输、路由维度保障网络可靠性。
JustGRPO：扩散语言模型的极简主义回归
本文提出回归极简的方法 JustGRPO，在 RL 阶段让模型自回归生成，用标准 GRPO 训练，能超越各类针对 dLLM 设计的 RL 算法表现，提升推理表现同时保留并行解码能力。
用 Docker 跑大模型训练，Unsloth 解决了环境配置难题
Unsloth AI 发布 Docker 镜像版本，解决本地训练大模型环境配置难题。拉镜像就能训练，依赖和示例 notebook 都打包好。使用简单，不过有暂不支持 Mac 系统等限制，单卡 NVIDIA GPU 场景较适用。
Meta开源史上最强语音“基座模型”：一口气支持1600+种语言
Meta AI FAIR团队发布Omnilingual ASR模型套件，能为超1600种语言提供自动语音识别能力。它引入新架构提升性能，改变引入新语言范式，还发布相关数据集和模型，与全球伙伴合作。
AGI 路线图第二阶段：游戏即模型训练｜AGIX PM Notes
文章围绕AGI展开，介绍AGI路线图第二阶段“游戏即训练”，指出游戏是训练agent的理想环境；还提及Dreamer系列研究进展。同时涵盖本周市场动态、多家公司AI动态及ETF复制指数的方法、优劣和影响。
ICML 2026 | 华为GTS提出AI训练数据新方法，Amazon/Google作者团队「光速跟进」：难度自适应训练正在成为新范式
华为GTS研发部AI数据团队提出EDCO方法，将样本难度估计与动态课程编排引入领域大模型微调。该方法用推理熵动态编排训练课程，让模型面对最有学习价值的样本，已被ICML 2026接收。