搜索：生成式预训练

「生成式预训练」共找到 4004 篇相关文章

一夜颠覆Sora神话，H200单卡5秒出片！全华人团队开源AI引爆视频圈

UCSD等机构发布FastWan系模型，用「稀疏蒸馏」训练方案，让视频去噪速度飙升70倍。FastWan在单张H200上5秒生成480p视频，模型权重等全开源，改写AI视频生成格局。

GenSeg用AI生成高质量医学图像及对应分割标注，在仅有几十张样本时也能训练出媲美传统深度模型的分割系统，显著降低医生手工标注负担。它是通用、与模型无关的框架，可集成到现有分割模型。

现在3D AIGC虽能快速生成场景，但落地有问题，很多场景物理模拟时会暴露物体悬空等问题。CMU等团队提出PAT3D，目标是让生成的3D场景物理上站得住，可用于编辑、交互和仿真，且代码已开源。

清华大学和面壁智能团队开源MiniCPM 4，有8B、0.5B两种参数规模，以22%训练开销达同级别最优。它在架构、推理、数据、训练多方面创新，性能领先，适用于综述生成、工具调用等场景。

研究表明扩散图像生成器学习重建预训练编码器嵌入可加快训练，Apple团队提出的FAE，通过缩小嵌入再重建解决了因嵌入尺寸大导致的训练受阻问题，性能与先进模型相当且训练更快。

过去多模态模型‘拼接式’方案存在理解与生成割裂问题，ERNIE 5.0 借此提出，用统一自回归框架做多模态理解与生成，在架构、训练与系统层面有创新，评测中各模态能力表现出色。

2026年5月深度机智成立一周年，其Z - WM在WorldArena Track 2夺冠，领先30.5分。该公司围绕人类第一视角数据构建完整技术体系，其成果表明生成数据可用于具身智能模型训练，具身智能竞争重心正迁移。

在AI图像生成领域，风格和主题驱动的图像生成一直脱节。字节跳动智能创作实验室推出USO模型，构建海量数据集，设计两阶段训练法，引入风格奖励学习范式，化解此难题，且已全面开源。

清华、西交联合开源发布CHEERS，提出面向统一多模态理解与生成的架构路线，在保持系统简洁前提下，统一理解与生成任务，继承开源预训练模型知识，在多项基准测试中表现优异，还实现4× token压缩。

近日，抖音内容技术团队开源ContentV，这是面向视频生成任务的高效训练方案。用256块NPU约4周训成8B参数模型，在多评估维度效果与主流方案相近，还探索了有限算力下训练路径，现推理代码与权重已开放。