搜索：生成式预训练

「生成式预训练」共找到 4004 篇相关文章

R1/Qwen训练新范式：无需继续训练，直接“算”出权重，提效500%

DeepSeek - R1爆火让RLVR成大模型后训练焦点，但训练代价高昂。学者发现RLVR中LLM权重和输出概率呈线性变化，提出“权重外推”等方法，实现最高6.1倍训练加速，RL - Extra在多榜单展现高效率。

香港城市大学等团队发布图像 - 视频生成模型Pusa V1.0，在基础大模型上引入VTA机制，用3860对视频 - 文字数据、约500美元微调，在I2V超越Wan - I2V - 14B实现SOTA，还解锁零样本任务能力。

9月25日，生数科技全球上线新一代图生视频大模型Vidu Q2，打破AI生成表情假、动作飘忽等问题，实现从“视频生成”到“演技生成”跨越，有AI演技生动、镜头语言丰富等亮点，已多端上线。

在 InfoQ 举办的 AICon 大会上，vivo AI 架构师王兆雄分享多模态大模型训练经验。介绍了 LLaVA 和 DiT 模型训练挑战，从数据处理、模型计算等方面提出优化策略，还展望 AI Infra 未来发展方向。

香港大学、阶跃星辰等用VFMTok新方法，让图像生成模型借用顶级视觉AI的眼睛看世界，实现更快、高质量图像生成，且无需复杂引导技巧。它改变图像理解方式，将像素死记硬背转为语义理解。

人像生成中保持效果清晰真实且自由调整细节是难题，Snap推出ComposeMe，引入‘属性特定图像提示’思路，能灵活组合属性。还建立数据集、提出训练方法，虽有局限，但表现较优。

论文提出 SwS 框架，针对强化学习场景，利用模型自我感知弱点驱动自动化问题生成，合成针对性训练数据。还对其进行多项扩展，在多个基准测试集和模型上验证有效，性能提升显著。

MIT与谷歌团队在研究PASTA中探索异步生成范式，开发标记语言PASTA - LANG，采用双阶段训练流程，设计推理系统。实验显示PASTA平衡性能与质量，有可扩展性，为LLM推理效率优化开创学习驱动新路径。

深度跃迁发布世界动作模型 DELE - w0.5，放弃基于视频生成模型的路线，训练时联合学习动作与未来世界表征，推理时移除该表征分支。在真机实验中表现超基线，具跨背景泛化能力，为世界模型提供新思路。

Meta与约翰霍普金斯大学联合推出CrossFlow框架，实现跨模态生成新突破。它基于流匹配提出新范式，无需依赖噪声分布等，在多任务上媲美或超最优算法，训练成本低、速度快，还能适配多任务。