「后训练系统」共找到 5097 篇相关文章
解读|生产级RAG系统落地的10个经验教训
本文解读Douwe Kiela分享的企业级RAG系统实施十大经验,如要有系统思维、专业化优先等,还推荐新作《MCP原理揭秘与开发指南——构建可扩展的AI智能体》。
无需训练的LLM对齐方法综述
大型语言模型应用引发担忧,传统微调方法有短板,免训练对齐(TF Alignment)应运而生。本文是首篇系统综述TF对齐技术的论文,提出三阶段分类框架,实验显示TF方法优势明显,还指明未来研究方向。
李静海院士团队:未来数据系统的逻辑与架构 | Engineering
本文展望数据科学未来,强调其对AI重要性。探讨科学数据系统挑战,提出收集处理原则,指出要重视数据系统逻辑与架构研究,建立标准协议框架,促进AI健康发展。
Ultralytics & lightly-train:简化计算机视觉模型训练,无需标签
在计算机视觉领域,获取带标签数据成本高、耗时长。开源项目 lightly-train 用未标记图像和视频自监督预训练,减少标注成本与时间,可集成到现有训练管道,支持多种模型架构和应用场景。
MoE RL 实战:统一 FP8 全流程训练
SGLang RL 团队等实现 RL 全流程 FP8 训练与采样,消除训推不一致性。介绍 FP8 硬件基础、格式等,分析训练难点,定位 KL Loss 异常源于量化原理,验证其在 MoE 模型 RL 场景优势,指出模型规模与训推不一致的关联。
庞若鸣还有苹果论文?改善预训练高质量数据枯竭困境
苹果基础模型原负责人庞若鸣在 Meta 任职期间,其在苹果参与的高价值研究仍不断发表。研究团队针对大模型训练中高质量数据枯竭问题,提出 Synthetic Bootstrapped Pretraining (SBP) 预训练流程,提升模型性能。
昇腾MindSpeed:分布式训练加速库的创新实践与突破
在2025年QCon全球软件开发大会上,华为工程师郑加利分享昇腾MindSpeed分布式训练加速库。它在计算、通信、显存等多维度优化,提升训练效率,还介绍业界加速库及MindSpeed架构,阐述多种优化策略。
OpenAI公开大规模稳定训练的秘密,英伟达AMD英特尔都受益
OpenAI通过OCP开放超大规模AI训练用的网络协议MRC,它能确保大规模训练环境下网络通信稳定。该协议由OpenAI联合英伟达等厂商花两年完成,从拓扑、传输、路由维度保障网络可靠性。
AGI 路线图第二阶段:游戏即模型训练|AGIX PM Notes
文章围绕AGI展开,介绍AGI路线图第二阶段“游戏即训练”,指出游戏是训练agent的理想环境;还提及Dreamer系列研究进展。同时涵盖本周市场动态、多家公司AI动态及ETF复制指数的方法、优劣和影响。
什么是系统提示词?如何逆向提示词?
大语言模型启动时会接收系统提示词,决定其角色、回答风格与安全边界。提示词逆向是试图获取或绕过该提示的行为。本文介绍其作用、逆向手法及开发者防御措施,助于安全使用和设计大模型。