搜索：合成引导预训练

「合成引导预训练」共找到 2319 篇相关文章

NVIDIA技术沙龙《强化学习流水线优化：性能分析与 Rollout加速》演讲笔记

该演讲笔记围绕强化学习流水线优化，强调用Nsight Systems做性能分析，介绍在Ray Actor添加参数及解读文件方法。给出训练/生成参数优化技巧，如Actor训练和Rollout优化，还以Qwen 2.5 7B等模型为例总结参数调优经验。

预训练大型文本到图像扩散模型定制化时，样本有限易致过拟合。AIRI和HSE大学团队提出T - LoRA框架，动态调整训练能力、用正交初始化，实验显示其在单图像和多图像任务表现优，用户更偏好其生成图像。

Meta FAIR推出32B参数的代码世界模型（CWM），旨在探索世界模型如何改变代码生成和推理，code和mode已开源。在SWE - bench验证中表现优，能与更大规模或闭权重的LLM竞争，还介绍了训练、数据集等情况。

论文挑战监督微调（SFT）用负对数似然（NLL）作训练目标的默认设定，提出基于概率的目标家族，引入“模型能力连续体”概念，分析不同目标在不同模型能力下的表现，为模型后训练提供新优化方向。

成立约18个月的AI训练数据公司AfterQuery正筹新一轮融资，估值达32亿美元，5个月涨超10倍。它最初想开发AI智能体，后转收集训练材料。此赛道已有多家高估值公司，且数据隐私和安全风险待解。

在数学教授引导下，GPT - 5首次将定性的第四矩定理扩展为带有显式收敛率的定量形式，明确了收敛速率。研究人员还引导其将结果推广到泊松情形，作者起初想将其列为论文共同作者但被 arXiv 政策禁止。

本文首次公开Qwen3技术报告，介绍其模型架构、预训练及后训练过程、性能表现等技术细节。Qwen3整合两种模式，引入思考预算机制，降低轻量级模型计算资源，在多基准测试领先，多语言支持扩展至119种，所有模型开源。

GPT之父Alec Radford团队训练出talkie - 1930 - 13b模型，其训练数据截止1931年。该模型能说新政立法、写Python代码。团队还对比其与现代模型，发现核心能力差距不大，且用老语料调教它成聊天助手时现风格问题。

小红书hi lab团队公布首个开源大模型dots.llm1，这是142B参数的MoE模型，仅14B激活参数就能与Qwen2.5 - 72B打平。它开源力度大，训练效率高，数据处理精细，训练稳定，获国外网友高度关注。

文章解读了欲取代Transformer的SSA（次平方稀疏注意力）算法。它支持12M tokens上下文，比fastAttention快52倍，训练和推理更快。SSA改变了注意力扩展特性，有计算和内存线性扩展等特性，经三阶段训练可可靠利用长上下文。