「生成式预训练」共找到 4004 篇相关文章
史上最大高质量科学推理后训练数据集开源，快速让Qwen3等变“科学家”
上海创智学院、上海交通大学发布开源科学推理后训练数据集MegaScience，含约125万条问答对，覆盖多学科。它解决了现有数据集的问题，实验显示能提升模型科学推理能力，已完整开源相关组件。
深度｜Karpathy为何突然加入Anthropic，只能当Dario的「-2」？
5月19日，OpenAI联合创始人Andrej Karpathy宣布加入Anthropic预训练团队。他将组建新团队，用Claude加速预训练研究。文章分析了他加入的原因，以及Anthropic招聘他的动机，还指出这一变动标记着技术拐点。
Apple发布新SOTA Manzano：混合Tokenizer破解多模态统一难题，理解与生成双翼齐飞
多模态AI前景广，但现有模型在理解和生成任务上存在性能冲突。苹果提出Manzano模型，用混合视觉标记器降低任务冲突，结构简单可扩展，在多基准测试达SoTA水平，还展示图像编辑潜力。
又一推理新范式：将LLM自身视作「改进操作符」，突破长思维链极限
Meta等机构研究者将LLM视为「思维」改进操作符，探究并行 - 蒸馏 - 精炼（PDR）推理方法。实验显示，PDR在数学任务中提升准确率，还训练8B模型让推理方法更适配，减少训练与部署的不匹配。
5秒出4张2K大图！阿里提出2步生成方案，拉爆AI生图进度条
阿里智能引擎团队针对Qwen最新开源模型，将SOTA压缩水平从80 - 100步前向计算骤降至2步，速度提升40倍，5秒可出4张2K高清大图。已发布Checkpoint，集成到呜哩AI平台。文章还分析传统蒸馏方案问题并介绍团队改进策略。
无需标注和奖励模型！仅靠自信度RL，16个样本训练20步，效果飙升21%！
论文提出RLSC，让大语言模型用自身答案置信度作奖励信号，摆脱人类标注依赖。它以模型自信度内部信号替代多数投票外部信号，小成本提升模型数学能力，还让模型学会快推理，不过也存在安全隐忧。
把RoPE扔掉，AI更能看懂长上下文！Transformer作者团队开源大模型预训练新方法
Transformer架构核心作者之一Llion Jones团队开源新技术DroPE，可丢弃位置嵌入扩展上下文，解决RoPE长序列处理缺陷，在多模型实验中表现卓越。该团队来自Sakana AI，此前还有相关研究成果。
英伟达发现RL Scaling！创造力暴涨，做基座模型做不了的事！
过去学界争论强化学习（RL）对语言模型的作用，此前研究认为其效果有限。本文发现问题出在训练时间短，提出ProRL，让训练突破2000步以上，结果惊人，小模型也能有出色表现。
一个月暴涨3K star，这是我见过最好用的AI生成PPT项目了！
职场人做PPT常耗在调格式等方面，现有AI工具多有缺陷。`dashi-ppt-skill`项目可生成网页版PPT编辑器，有多种主题、版式和控件，功能丰富，能本地完成操作，还介绍了安装和使用方法。
Sora 2 中国首测？Open AI 这次真成了！
OpenAI提前发布Sora 2模型，可克隆音色，支持多语言。还推出似AI版抖音的社交APP，免费生成视频。测试显示，它有世界知识，能多参生成、自动切镜头，在多方面表现出色，但版权限制严，部分一致性待提升。