搜索：生成式预训练

「生成式预训练」共找到 4004 篇相关文章

AI 视频生成“试金石”：谷歌 Veo 3 体操“图灵测试”未达标，仍是“抽象派”！

谷歌新出的Veo 3视频生成模型画质惊艳且能开口说话，但生成体操动作效果差，像“抽象派”。虽存在生成不准问题，但物理效果比其他模型好。有人建议其与专业动捕公司合作，音画一体或成视频模型竞赛标配。

英伟达推出新格式NVFP4，能以4 - Bit速度与效率实现16 - Bit生产件级训练精度，是LLM开发重大飞跃。虽处于研究阶段，但正与多组织合作。还介绍其方法、优势，实验也证明它在大规模训练的有效性。

英伟达团队提出ProRL训练法，将强化学习扩展到超2000步。用此方法训练的15亿参数模型媲美70亿参数的Deepseek - R1 - 7B，在多任务中表现出色，解决了熵崩溃和训练不稳定问题。

中科院计算所与阿里Qwen等团队联合提出RefineX框架，通过程序化编辑任务实现预训练数据精炼。它将专家指导结果蒸馏为删除程序，训练优化模型。用其净化数据训练模型，下游任务平均提高7.2%。

DeepSeek提及针对国产芯片的FP8量化设计，引发对大模型量化策略关注。不久后英伟达发力低精度量化，将NVFP4策略拓展到预训练阶段，其方案能解决核心挑战，实验证明NVFP4在大规模训练中可行。

在AICon2025上海站，妙多副总裁张昊然分享生成式AI在UI设计领域的影响。他回顾初代生成式UI的‘套模板’技术，讲述技术革新后回归代码生成界面，还探讨让AI理解设计系统、妙多AI 2.0理念及未来UI工具假设。

阿里通义实验室开源通用预训练框架MaskSearch，引入检索增强型掩码预测任务，兼容两种训练方法。实验显示，它在多数据集提升模型性能，小模型能媲美大模型，还验证了训练方式、策略及奖励函数的效果。

AI视频生成竞争激烈，美团团队在GitHub开源通用视频生成模型LongCat-Video，参数量13.6B，能文生视频、图生视频、视频续写，几分钟生成720p、30fps长视频，有核心优势，还介绍了安装部署等内容。

学界对强化学习能否让模型学会新推理技能争论已久，过去研究多悲观。英伟达研究指出，问题源于任务在基础模型训练数据中过度呈现及训练步数不足。其ProRL框架提升训练步数，释放小模型潜力，还构建技术组合拳。

自回归视频生成模型存在训推不一致导致的误差累积问题，使生成视频越往后越易出现时序漂移和画面崩坏。HiAR团队推出HiAR，通过共享噪声水平减少误差传递，还解决了动作僵化问题，实现分钟级无退化生成。