「预训练模型」共找到 8105 篇相关文章
Qwen3 变身扩散语言模型？不从零训练也能跑，30B参数创纪录
扩散语言模型（DLM）潜力大但训练难，Radical Numerics团队改造Qwen3-30BA3B，推出30B参数的开源扩散语言模型RND1-Base。该研究系统性研究A2D转换关键因素，成果超现有部分模型，还提出简单方法及训练策略。
抗干扰能力提升近40% ！无需对抗训练，北航上海AI Lab新蒸馏方法提升模型鲁棒性 | ICML 2025
在人工智能模型规模持续扩大的今天，数据集蒸馏方法能提升训练效率、降低成本，但蒸馏模型在安全性要求高的任务中抗干扰难。北航上海AI Lab团队提出ROME方法，无需对抗训练，显著提升模型鲁棒性，成果被ICML 2025接收且已开源。
冷门新语言AI写不动？IEEE论文：从零到及格线，MoonBit给出完整训练路线
IEEE论文聚焦新语言MoonBit和Gleam，探讨大模型代码生成能力。研究发现大模型零样本生成新语言代码能力差，few - shot和RAG有提升但有限，继续预训练及指令迁移可显著提高模型表现。
Qwen3技术报告首次全公开！“混合推理模型”是这样炼成的
本文首次公开Qwen3技术报告，介绍其模型架构、预训练及后训练过程、性能表现等技术细节。Qwen3整合两种模式，引入思考预算机制，降低轻量级模型计算资源，在多基准测试领先，多语言支持扩展至119种，所有模型开源。
攻克大模型训推差异难题，蚂蚁开源新一代推理模型Ring-flash-2.0
9月19日，蚂蚁百灵大模型团队开源新一代推理模型Ring-flash-2.0，独创棒冰算法解决训推差异难题，实现稳定训练。该模型仅激活6.1B参数就能打平40B Dense模型性能，降低推理成本。
无需训练，即插即用：西湖大学发布世界模型WorldForge，让普通视频模型秒变「世界引擎」
自Sora亮相，AI视频可控性成瓶颈。西湖大学AGI实验室团队提出WorldForge框架，在推理时为视频模型注入「时空几何」，无需训练，实现单图360°环绕视频生成和视频重运镜等，降低创作门槛。
用 Docker 跑大模型训练，Unsloth 解决了环境配置难题
Unsloth AI 发布 Docker 镜像版本，解决本地训练大模型环境配置难题。拉镜像就能训练，依赖和示例 notebook 都打包好。使用简单，不过有暂不支持 Mac 系统等限制，单卡 NVIDIA GPU 场景较适用。
直播预约 | 强化学习训练能否不依赖外部知识优化模型的弱点？
论文提出 SwS 框架，针对强化学习场景，利用模型自我感知弱点驱动自动化问题生成，合成针对性训练数据。还对其进行多项扩展，在多个基准测试集和模型上验证有效，性能提升显著。
人大高瓴赵鑫团队新作：先拆掉 RLVR，再重建推理模型训练
人大高瓴赵鑫团队围绕RLVR框架做系统实验，完成论文《A3PO: Adaptive Asymmetric Advantage Shaping for Reasoning Models》，提出A3PO方法。该方法将训练重点转向关键决策点，让推理模型学习更可控。
75%预训练数据都能删！Jeff Dean新作：全自动筛除低质量数据
Google DeepMind团队开发的DataRater可全自动评估数据质量，用元学习筛选有价值数据，提升模型训练效率。它能减少计算量、提高性能，在低质量数据集效果佳，还能跨模型规模泛化。