「视频预训练模型」共找到 8436 篇相关文章
LLM的RL训练轨迹竟然是线性的？Miaow Lab｜新工作：无需继续训练，直接“预测”未来模型！
文章介绍《Not All Steps are Informative: On the Linearity of LLMs' RLVR Training》，揭示RLVR训练中LLM权重和输出概率线性变化，提出“权重外推”法，可实现6.1倍训练加速，还介绍三种策略及实验结果。
谷歌年度大招：所有AI模型全升级一遍！Gemini2.5大杯中杯霸榜前二，新版视频/图像模型亮相
谷歌在I/O大会放大招，升级所有AI模型，重做原有产品，推出诸多实验性新产品。如Gemini 2.5系列升级，具备新功能；还有异步代码助手Jules、新搜索模式等，多模态模型也全线升级。
全球图生视频榜单第一，爱诗科技PixVerse V5如何改变一亿用户的视频创作
爱诗科技PixVerse（拍我AI）功能丰富，普通用户可用热门模板整活，创作者有多样创作工具。其最新V5模型在图生视频项目全球排名第一，在多方面技术革新，推动AI视频创作发展。
英伟达：RLP 让 AI 在预训练时就学会思考
英伟达研究团队发布 RLP 技术，与传统大语言模型训练不同，它在预训练阶段就让模型学会'先想后说'。通过奖励机制自我监督，实验效果惊人，性能提升显著，不挑数据，打破了大模型训练范式。
Thinking Machines发布首个产品Tinker ：大模型后训练彻底变天
OpenAI前CTO Mira Murati的Thinking Machines公司发布首个产品Tinker，这是为微调大模型设计的灵活API，能简化LLM后训练过程，让用户专注算法和数据，平台处理分布式训练。它有多种特性，已被顶尖机构采用。
MoE RL 实战：统一 FP8 全流程训练
SGLang RL 团队等实现 RL 全流程 FP8 训练与采样，消除训推不一致性。介绍 FP8 硬件基础、格式等，分析训练难点，定位 KL Loss 异常源于量化原理，验证其在 MoE 模型 RL 场景优势，指出模型规模与训推不一致的关联。
750城市+5000小时第一人称视频，上海AI Lab开源面向世界探索高质量视频数据集
上海人工智能实验室等机构联合推出持续迭代的高质量视频数据集项目Sekai，含Sekai-Real和Sekai-Game两个数据集，还训练了模型Yume。它特点突出，团队按四环节构建，望成世界建模等领域的数据基石。
函数向量对齐技术，让大模型持续学习不“失忆”丨ICLR 2025
中国科学技术大学等校团队破解大语言模型灾难性遗忘之谜，发现遗忘源于模型激活带偏差新功能，非覆盖旧功能。还设计FVG训练法，保留并对齐函数向量，保护模型能力。相关论文被ICLR2025接收，代码开源。
实测 MiniMax H3：开源“斩杀线”蔓延到视频模型圈
本文实测 MiniMax H3 视频模型，它 8 月 3 日开源，成本低至 0.5 元/秒，在编辑榜成绩佳。它定位全模态生成，能多素材输入。实测效果好，价格约为 Seedance 2.5 的三分之一，还支持原生剪辑，适配多芯片与工具。
DeepSeek的GRPO会导致模型崩溃？看下Qwen3新范式GSPO
文章围绕大语言模型后训练阶段的强化学习算法展开。介绍了OpenAI的RLHF、DeepSeek的GRPO，重点指出Qwen团队发现GRPO有稳定性问题，会致模型崩溃，进而提出新算法GSPO，实验显示其效率和可扩展性更佳。