「生成式预训练」共找到 4004 篇相关文章
Sea AI Lab 揭秘：你费尽心力调的 LLM 一直在崩溃？罪魁祸首可能只是一个参数：BF16
Sea AI Lab 和新加坡国立大学研究指出，强化学习微调中训练不稳定和性能瓶颈，根源是数值精度 BF16。其低精度造成“训练 - 推理不匹配”，使训练易失败。将精度切换到 FP16 可解决问题，提升模型表现。
谷歌最强AI，被港科大开源超了？让海外创作者喊出「King Bomb」的P图大杀器来了
图像编辑与生成模型爆发，冲击Photoshop地位。港科大贾佳亚团队开源DreamOmni2，优化升级多模态指令编辑与生成能力，效果获海外创作者认可，还在实测中表现出色，其采用创新技术方案构建多模态生成体系。
OpenAI没做到，DeepSeek搞定了！开源引爆推理革命
文章围绕大语言模型推理能力展开，介绍了推理模型概念，回顾RLHF训练流程，对比OpenAI的PPO和DeepSeek的GRPO，还阐述了GRPO开源升级版DAPO的关键技术点及训练中模型的新能力。
Monet：赋予多模态大模型如人类一般的抽象视觉思考能力
文章介绍了Monet模型，它实现了训练MLLM直接在连续隐空间思考的方法，内化视觉思考能力。还阐述了多模态模型隐式推理训练的难点，提出SFT+RL训练框架，构建数据集，经测试，Monet提升了视觉推理能力。
视频进入可编辑时代：藏师傅教你视频版 Banana 可灵 O1
可灵发布大一统视频、图像生成和编辑工具 O1，支持在一个界面完成视频图片编辑生成。此次更新统一多模态视频大模型，支持多模态输入，有诸多新特性，还支持自由选择视频生成时长和风格转换等。
阿里+清华发现80/20法则：LLM只靠20%的token就能学会Reasoning
阿里与清华研究发现，训练大语言模型（LLM）推理时，真正关键的是20%的高熵token，其余80%低熵token几乎无用。仅用20%高熵token做强化学习，效果超全量训练，还提出RLVR训练策略提升效率。
Sora 2 App 上手体验攻略，附Sora AI视频
本文是Sora 2 App上手体验攻略。Sora 2 PC版能依提示词生成精美电影感视频，还可创建虚拟形象；App交互似抖音，能录制上传自身形象生成视频。其生成视频镜头自然，有“AI导演感”，但目前时长较短。
Reasoning模型在RL下的探索欲望急速下降问题：探索熵机制
论文研究发现大模型经强化学习训练解题时，会出现模型探索欲望急速下降的熵崩溃现象，如训练初期策略熵断崖式下跌。对此进行规律分析、追根溯源，提出破解方法，研究对AI训练范式变革有重要意义。
P图老本事搭上了对话框，美图这AI Agent到底香不香？
本文对美图AI Agent RoboNeo进行实测。它web端操作简单，生图和p图功能丰富，拆分图层功能好用，工作流能辅助创作。不过它生成速度慢，视频生成有画面逻辑、文字生成等问题。其开发节奏快。
Nano-Banana 核心团队分享：文字渲染能力才是图像模型的关键指标
谷歌新发布的图像生成与编辑模型Gemini 2.5 Flash Image（Nano - Banana）热度超Grok视频生成。文章通过团队访谈，介绍其图像创作新方式、文字渲染代理指标、交错生成能力等，还对比了与Imagen差异，展望AI终极形态。