「预训练策略」共找到 2839 篇相关文章
完全开源的7B模型，性能比肩主流LLM，训练成本仅16万美元，复现DeepSeek的强化学习！
Moxin-7B由多机构团队联合开发，遵循“开源科学”原则，公开全流程细节。它训练成本仅16万美元，评测表现亮眼，在架构、数据策略、训练过程等方面有创新，为中小企业提供可控AI方案。
还得是华为！Pangu Ultra MoE架构：不用GPU，你也可以这样训练准万亿MoE大模型
华为盘古团队发布Pangu Ultra MoE模型架构与训练方法的中文技术报告。该模型全流程在昇腾NPU上训练，团队在架构和训练方法创新，实现准万亿MoE模型训练，还在多方面优化提升性能。
突发！OpenAI停止强化学习训练两周
OpenAI发文称暂停最新模型强化学习训练两周，加固研究环境、进行红队测试等。部分低风险训练已恢复，最大规模前沿模型训练仍暂停。此举源于Hugging Face安全事故及Astra模型潜在风险。
1万4颗星！机械臂可以接大模型了！面向真实世界机器人的尖端人工智能LeRobot
LeRobot 为 PyTorch 中真实世界机器人提供模型、数据集和工具，降低入门门槛。包含尖端方法，已提供预训练模型等，未来将增加真实机器人支持，文中还介绍其安装、使用等内容。
OpenAI去年挖的坑填上了！奖励模型首现Scaling Law，1.8B给70B巨兽上了一课
全新奖励模型「POLAR」采用对比学习范式，摆脱对海量人工标注依赖，有强大Scaling潜力。它衡量训练与目标策略「距离」作奖励信号，用自动化合成数据预训练，小模型能超越大数十倍规模对手。
训练MoE足足提速70%！华为只用了3招
Scaling Law下，MoE成扩展模型能力法宝，但训练难题凸显。华为构建Adaptive Pipe & EDPB优化方案，还打造DeployMind仿真平台，解决了MoE训练中通信等待、负载不均等问题，使训练吞吐提升72.6%。
让AI变成Super员工的秘密：高效训练Skills
文章复盘打造 web - testing Skill 的 4 个翻车教训，分享工程化训练心法。指出训练 Skill 能让 AI 在业务里更可靠，将通用模型变成懂业务、会自检、能稳定交付的员工，还给出训练方法。
ICLR 2026 Oral | Revela：用语言建模重新定义稠密检索器训练
在检索增强生成系统中，稠密检索器是核心组件，但传统训练方法有局限。德国达姆施塔特工业大学蔡丰宇团队提出Revela，将检索器训练目标统一到语言建模框架，优势明显，实验效果佳。
为了训练AI，Meta强制监控了员工的鼠标和键盘
近日，Meta宣布在美国员工电脑装追踪软件，记录鼠标、键盘操作及截取屏幕内容，用于训练AI。这引发员工愤怒，Meta CTO称员工无法退出。Meta AI投入大，此举或因缺训练数据，但也被质疑是在训练替代者。
150%训练效率提升：感知检测小模型训练优化方法
文章基于业务实践，总结感知检测小模型在不同算力卡上的训练方法，为智能驾驶场景提供借鉴。介绍测试环境、技术架构，分析环境依赖冲突、源代码适配等问题并给出解决方法，还提及性能优化及测试结果。此外还介绍用 RAGFlow 构建私有知识问答应用。