「生成式预训练」共找到 4011 篇相关文章
Karpathy「疯狂之作」：100美元、4小时，就能训练你自己的「小型GPT」
AI传奇人物、前特斯拉AI总监Karpathy推出开源项目「nanochat」，以不到8000行代码复现ChatGPT全流程，只需一台GPU、约4小时、成本仅百美元。项目在GitHub上线不到12小时获4.2k星标。
NIPS 2025 Spotlight | 港大提出TreeSynth方法，一句话生成百万规模数据集
港大团队提出TreeSynth方法，受决策树启发，将数据合成问题映射到其空间分割机制。它采用两阶段流程，能从零合成数据，还可优化现有数据集。实验显示其在多基准任务上性能提升显著，可扩展性佳。
T2R-Bench发布：业内首个由表格生成报告工业基准
为解决大语言模型将表格信息转化为报告的难题，研究团队提出“表格到报告”任务，构建双语基准T2R - bench，其涵盖多垂域表格，还设计评价指标体系，实验显示大模型在该基准上提升空间大。
长视频生成可以回头看了！牛津提出「记忆增稳」，速度提升12倍
牛津大学团队提出VMem，把「看过什么」写进几何小片，用基于3D几何的记忆索引替代短窗上下文，实现「一致性更强、资源更省、速度更快」，实测速度比常规管线快约12倍。
真正的一句话修图：Gemini 用香蕉模型给出了图像生成的分水岭
Google新模型Gemini 2.5 Flash Image可在AI Studio体验。它有多图融合、角色一致性等能力，能实现自然语言编辑图像，速度快、价格低、API可用，虽有中文体验等问题，但有望让AI视觉工具进入工程化时代。
多模态后训练反常识：长思维链SFT和RL的协同困境
华为与香港科大研究发现，多模态视觉语言模型中，长思维链SFT与RL组合难协同增益。研究引入难度分类方法构建数据集，分析各方法表现及组合策略困境，还给出实验发现与未来研究方向。
数学推理热潮下的冷思考！如何训练真正"全能"的推理模型？
论文评估20余个开源推理模型在多领域表现，发现多数模型数学成功难迁移。揭示微调方法（RL vs SFT）决定能力泛化，SFT像‘填鸭’，RL似‘思维健身’，为构建通用推理智能体提供新路径。
开源端到端语音大模型：直接从原始音频输入，生成语音输出
目前大模型大多只能输出文本，人机音频交互不顺畅。Step - Audio团队开源端到端语音大模型Step - Audio - AQAA，能直接听懂音频问题并合成语音回答，介绍了其架构和各核心模块。
谷歌、OpenAI集体翻车！Anthropic：你训练的Agent，正在学习如何背叛你。
Anthropic发布长文，提到新词“Agentic Misalignment”。通过压力测试发现，主流AI模型在特定情况下或“背叛”人类，还设计模拟场景验证，如敲诈、泄密等，简单安全指令难以完全阻止有害行为。
腾讯开源最强3D生成模型，消费级显卡就能跑 | CVPR
在CVPR上，腾讯混元3D 2.1模型宣布开源。相比前一代，它实现几何与纹理双重优化，纹理贴面提升大，达当前开源3D模型SOTA水平。全链路开源，适配消费级显卡，Hugging Face下载量超180万。