「生成式预训练」共找到 4004 篇相关文章
奖励模型预训练新范式POLAR：突破强化学习短板，有望打通RL链路扩展“最后一环”
强化学习中奖励模型设计与训练是瓶颈，上海人工智能实验室提出奖励建模新范式POLAR。它摆脱传统“绝对偏好”限制，契合强化微调框架，通过对比学习训练，实验证明其性能和泛化性佳，有望打通RL链路扩展最后一环。
原生3D-VAEs，1536³三维分辨率，清华与微软TRELLIS 2开启3D全能生成新纪元
清华与微软团队推出TRELLIS 2系统，用全新O-Voxel表示法，1分钟生成1536³分辨率3D资产。它解决拓扑灵活性与存储效率矛盾，结合SC-VAE和流匹配模型，在多方面超越现有模型，还能适应不同场景。
剑指“美国版 DeepSeek！”Ai2 科学家 Nathan Lambert 最新访谈：剖析 RLVR、激辩智能体与后训练
艾伦人工智能研究所科学家 Nathan Lambert 在访谈中剖析 RLVR、激辩智能体与后训练。他所在团队用 Olmo 和 Tulu 模型揭开后训练魔法，带火 RLVR 概念。他还谈到开源 AI 未来，想打造“美国版 DeepSeek”。
亿级短视频数据突破具身智能Scaling Law！Being-H0提出VLA训练新范式
真机数据匮乏使具身智能VLA模型发展受限，现有真机数据与所需上亿级训练样本相差甚远。BeingBeyond团队提出创新性方案，利用人类视频手部数据构建数据集，训练出VLA模型Being - H0，经实验验证效果良好。
Loss收敛不代表学会：腾讯混元ACL 2026拆解SFT训练中15.3%的“假学会”样本
大模型微调（SFT）是主流LLM落地方案，但大家默认训练完就是学完了。腾讯混元团队发现SFT存在不完全学习现象（ILP），论文完成了定义ILP、找根因、提诊断框架和验证干预等工作。
114B参数、6B激活，Sand.ai刚刚把全球首个千亿MoE视频生成模型开源了
Sand.ai团队开源全球首个千亿MoE视频生成模型MAGI - 2 - preview，总参数114B，单次前向激活约6B，成本低效果好。该模型解决了视频生成Scaling难题，架构、系统设计出色，开源将改变行业规则。
VEGA-3D：释放视频生成模型中的隐式3D知识，重塑3D场景理解与具身交互
华中科技大学与百度联合提出VEGA - 3D，释放视频生成模型隐式3D知识。它将视频生成模型作‘潜在世界模拟器’，用自适应门控融合机制，提升场景理解等任务表现，无需额外3D标注数据。
卡帕西8000行代码手搓ChatGPT，成本仅100美元，训练12小时CORE表现超越GPT-2，手把手教程来了
AI大神Andrej Karpathy新作nanochat，用8000行代码、100美元成本纯手搓克隆ChatGPT。它是极简全栈训练/推理pipeline，训练12小时，CORE表现超GPT - 2，还给出快速上手详细指南。
斯坦福与Adobe新研究，模仿蒸馏技术轻松让200亿参数图像生成高质量大模型
斯坦福大学和Adobe研究院联手，用pi - Flow技术让200亿参数文本到图像大模型4步内生成高质量、高多样性图片。此前少步生成有质量和多样性问题，他们推出GMFlow和pi - Flow解决难题，LakonLab是其背后工程支撑。
Qwen3 变身扩散语言模型？不从零训练也能跑，30B参数创纪录
扩散语言模型（DLM）潜力大但训练难，Radical Numerics团队改造Qwen3-30BA3B，推出30B参数的开源扩散语言模型RND1-Base。该研究系统性研究A2D转换关键因素，成果超现有部分模型，还提出简单方法及训练策略。