「强化预训练」共找到 2553 篇相关文章
完全透明开源的共情语音大模型，三阶段训练，四大模块实现端到端对话 | 紫东太初联合长城汽车开源OpenS2S
GPT - 4o、Gemini等顶级语音模型闭源，紫东太初团队联合长城汽车AI Lab开源端到端共情语音语言大模型OpenS2S，提供构建共情语音系统新范式，开源所有核心资源，还介绍了技术方案、数据构建及训练流程等。
奥特曼怕了！GPT-5.5「大蒜」决战谷歌，红色警报紧急拉响
三年前ChatGPT让谷歌恐惧，如今OpenAI被谷歌逼得拉响‘红色警报’。OpenAI计划发布新推理模型，‘Garlic’预训练有突破，还启动下一代模型。OpenAI调整策略，聚焦提升ChatGPT体验。
黄仁勋暴论核弹：AGI已经实现，Ilya错了，程序员有10亿
在Lex Fridman的专访中，黄仁勋抛出诸多惊人观点，如称已实现AGI，反驳Ilya“预训练触顶”言论，认为推理计算难且重要，还对未来技术、行业、职业发展等多方面进行展望。
OpenAI解释LLM为什么会有幻觉
OpenAI和佐治亚理工联合论文《Why Language Models Hallucinate》深入探讨LLM幻觉根源，指出预训练阶段统计本质和评估体系激励扭曲是主因，还提出改革评估体系引入显式置信度目标的解决方案。
Sutton 的批评与反思：AGI 的下一步是什么？
文章是对 Richard Sutton 采访的反思，指出 LLM 训练效率低、依赖人类数据，未实现有机自主学习。作者与 Sutton 有分歧，认为模仿学习与强化学习互补，还探讨持续学习，称 Sutton 批评有启发性。
智源研究院发布中英文高质量数据集CCI4.0，推动全球人工智能开源创新
2025年5月6日，智源研究院在全球开源创新论坛发布中英文高质量数据集CCI 4.0，同步在多平台开源。CCI 4.0规模大，处理严格，此前CCI系列反响好，未来将持续建设中文预训练语料库。
何恺明改进了谢赛宁的REPA：极大简化但性能依旧强悍
扩散生成模型在建模复杂数据分布表现出色，但与表征学习领域关联不大。谢赛宁团队提出REPA，不过较麻烦。何恺明团队提出Dispersive Loss，简化且性能强，无需预训练等，适用于多种模型。
通义实验室新研究：大模型自己「扮演」搜索引擎，提升推理能力无需搜索API
阿里通义实验室开源ZeroSearch，提供无需与真实搜索引擎交互的强化学习框架。它用模拟搜索环境和渐进式抗噪训练，让LLM自给自足，节省API成本，在多问答数据集表现优，为智能化检索提供新思路。
从文心开源谈起，论大模型发展新生态
6月30日百度宣布开源ERNIE 4.5即文心4.5系列模型，实现预训练权重+推理代码完全开源。文心团队提出创新架构，增强多模态理解能力。今晚7:30，CSDN邀专家深度解读文心开源及行业趋势。
Karpathy再放大招：8000行代码复现ChatGPT全栈，最低成本仅100美元，4小时跑完
Andrej Karpathy发布项目nanochat，是全栈式ChatGPT克隆体训练/推理流水线，代码约8000行，覆盖训练分词器、预训练等完整流程。介绍不同成本下模型表现，还回答网友关于架构、训练数据等问题。