「生成式预训练」共找到 4011 篇相关文章
用中等难度prompt做高效post training
近年来，RL后训练在LLM发展中至关重要，但传统方法效率低。本文提出PCL轻量级算法，通过动态选中等难度提示提升LLM后训练效率，经多基准实验验证其优越性，也指出方法局限与未来方向。
ACL'25最佳论文解读 | 大模型也会‘弹簧回弹’？揭秘 LLM 对齐的脆弱根源
本文分享 ACL 2025 最佳论文，指出预训练大模型存在‘抗对齐’的 Elasticity 现象，即对齐微调只是暂时拉伸，后续微调会让其迅速弹回预训练分布。研究量化该概念，用‘压缩理论’刻画对齐并实验验证。
从诡异视频到假论文，AI正把互联网变成巨型「垃圾场」
AI生成的诡异视频在社交平台流行，如比基尼胖女人跳水、食物自相残“食”等，背后是流量逻辑和低成本创作。更严重的是，AI生成的低质量论文渗透到学术领域，危害知识纯粹性和科研公正性。
最懂英伟达的CoreWeave，为啥突然花钱买了个强化学习作坊？
算力巨头CoreWeave市值达483.9亿美元，收购专攻强化学习训练AI智能体的OpenPipe。CoreWeave想打造全能平台，此前已收购W&B，此次收购标志其涉足智能体核心训练环节。OpenPipe的ART框架有独特优势。
这是我花9毛钱拍的《Meta老板砸钱把我从苹果挖走》
国产AI开启新Level，生数科技的Vidu Q1参考生视频功能，9毛钱+4张图就能生成视频。它重新定义叙事，砍分镜、拍摄等流程；有业内最强一致性；价格低，让AI视频生成“快、好、省”。
Google 团队一年都没做出来的项目 Claude Code 一小时就把代码写出来了
Google首席工程师称团队一年没搞定的分布式Agent编排系统，Claude Code一小时生成代码。但后续有澄清，AI是基于人一年探索成果生成‘玩具版本’。还分析了工作价值、瓶颈转移等，指出AI时代个体和小团队机会。
我用 GLM-5.2 读 148 万字资料：一天读懂一个知识
作者用 GLM-5.2 处理 148 万字 Transformer 资料，它生成可打开的 HTML 阅读页，将内容排成理解路线。GLM-5.2 在评测榜单中进入第一梯队，主打 1M 上下文，还分享了使用该模型处理资料的具体做法。
刚刚，Thinking Machines Lab博客提出在策略蒸馏，Qwen被cue 38次
Thinking Machines Lab发布《在策略蒸馏》博客，提出在策略蒸馏可结合强化学习纠错与SFT奖励密度，成本低且能让小模型有强大性能。该成果受Qwen团队启发，大量用Qwen3模型。还对比了不同训练方法。
一年从3B卷到0.xB：MonkeyOCRv2用0.7B拿下17语种文档解析开源第一
文档OCR正迈入小模型时代，MonkeyOCRv2以0.7B、0.6B参数在MDPBench上超越3B模型。它重新分配系统职责，采用互补预训练目标，还开源训练数据，且迁移到多任务表现良好。
成本不到8千美元！新浪微博1.5B小模型超越近万亿参数模型
新浪微博开源的VibeThinker - 1.5B模型，仅15亿参数、训练成本不足8000美元，却在顶级数学竞赛基准击败近万亿参数模型。它采用频谱到信号原则，分两阶段训练，性能出色，成本低且数据无污染。