「生成式预训练」共找到 4004 篇相关文章
数据合成篇｜多轮ToolUse数据合成打造更可靠的AI导购助手
文章以租赁导购助理“小不懂”为例，介绍Tool Use训练数据合成方案。先分析训练数据的目标与难点，提出动态多智能体对话生成框架，阐述多轮数据、复杂问题合成及过滤方案，展示数据和模型效果，还提及未来工作方向。
当万相2.5刚开卷有声视频，7月已经发布音频一体化的百度蒸汽机又开卷长视频了
百度升级MuseSteamer蒸汽机视频生成模型，可生成任意长度视频，生成中能更新prompt交互创作。其技术规划前瞻体系化，成本低，在多行业有应用和商业化空间。
清华团队：1.5B 模型新基线！用「最笨」的 RL 配方达到顶尖性能
清华团队用两个 1.5B 模型证明，用最基础的 RL 配方可达到小模型数学推理能力 SOTA。单阶段训练加固定超参数实现 SOTA 性能且省一半算力，训练曲线还很平滑。
谷歌Gemini Diffusion：1500 token/秒，快如闪电！
谷歌DeepMind在I/O 2025上推出实验性模型Gemini Diffusion，将扩散技术用于文本生成。它每秒能生成约1500个token，比Gemini 2.0 Flash - Lite快5倍，具备高响应速度、文本连贯性等优势。
扩散不死，BERT永生！Karpathy凌晨反思：自回归时代该终结了?
苹果前员工Nathan Barry得出BERT本质是文本扩散一步的结论，将表示学习算法改造成生成算法。OpenAI创始员工Karpathy对此沉思，认为生成逻辑在LLM架构中可变。实验证明RoBERTa可转为生成引擎。
deepseek-V4算法工程技术深入浅出
文章围绕deepseek V4技术报告展开，指出当前大模型训练不充分，介绍了算法层面如混合注意力机制、模型结构优化、优化器等，工程层面如细粒度专家并行、算子内核开发等，以及后训练的范式转变和领域专家网络蒸馏等内容。
SimpleTIR：让大模型“边写代码边思考”不再崩溃
SimpleTIR可解决多轮工具调用中训练崩溃问题。作者指出崩溃原因是分布偏移、低概率token链式雪崩和梯度爆炸。它采用void turn过滤，掐断崩溃链路，训练稳定，还催生多样推理行为，且工程友好已开源。
实测Gemini图片转视频新功能，终于蹲到经典梗图后续了（doge）
Gemini接入带声音的图片转视频功能，作者实测该功能。用开盒指令测试，生成速度较快；还尝试给梗图加后续，发现生成精确内容需详细提示词，且不能生成具体真人形象内容。
让AI自我进化？斯坦福华人博士答辩视频火了，庞若鸣参与评审
斯坦福大学博士生 Zitong Yang 完成「持续自我提升式 AI」博士论文答辩并分享视频。他针对当前模型局限提出解决方案，涵盖合成持续训练、预训练能力自我提升、迈向 AI 设计 AI 三个核心方向，引发行业关注。
快手提出强化学习创新框架RLEP，突破大模型推理瓶颈
OpenAI等模型用强化学习提升推理能力，但面临训练不稳定等挑战。快手Klear团队提出RLEP框架，引入经验回放技术，分经验收集和回放训练两阶段，还采用优化策略，提升大模型训练效率和性能。