「持续预训练」共找到 2562 篇相关文章
算力极限下，OpenAI 急着做什么？
OpenAI联合创始人兼总裁Greg Brockman接受专访，就产品战略收拢、新基座模型Spud等议题给出内部判断，回应业界质疑。他称产品调整是算力硬约束下的优先级排序，还透露了产品核心方向和Spud进展。
想进OpenAI？先解出这道题，百万美元算力已就位
OpenAI发起Model Craft Challenge「Parameter Golf」项目，要求在固定数据集上降验证损失，模型产物控制在16MB内，8张H100 GPU 10分钟完成训练。提供百万美元算力，6月招早期人才，挑战3月18日至4月30日。
3A大作！阿里ROLL团队从基建->算法->机理，推动RL4LLM全栈协同优化
阿里巴巴ROLL团队联合高校推出「3A」协同优化框架，推动「强化学习用于大语言模型（RL4LLM）」迈向新范式。Async架构提升GPU利用率，AsyPPO降低计算资源消耗，Attention机制提升训练效率与可解释性。
BigBang-Proton: 自回归基座模型统一语言、科学和物质世界
超对称公司发布新版基座模型 BigBang - Proton，实现多学科问题与 LLM 统一预训练和推理，挑战主流 AGI 技术路线。它有三项创新，在多专业学科任务表现出色，还提出宇宙尺度压缩构想。
震撼实锤！清华姚班校友揭「1.4×加速」陷阱：AI优化器为何名不符实？
为降低大模型预训练成本，近年新优化器频出，宣称加速1.4×到2×却难落地。斯坦福研究指出方法学缺陷，对比不同缩放范式加速差异，给出优化器设计见解，证实严格基准评测必要。
清华团队开源发布首个结构化数据通用大模型
2025年8月29日，清华崔鹏教授团队联合稳准智能开源“极数”（Limi X）结构化数据通用大模型。它融合结构因果推断与预训练技术，适配多任务，性能超最优专用模型，已落地多个工业场景。
从BERT到T5再到Qwen3：关于Embedding的八点总结
哈工大30+页综述聚焦通用文本嵌入（GPTE），系统介绍其架构、数据、模型，探讨预训练语言模型（PLM）给GPTE带来的基础能力与高级扩展，还涉及多模态、多语言、代码嵌入等应用。
DeepSeek R1 迎来小更新大升级，性能直逼 OpenAI o3！
昨日，DeepSeek 发布 R1 大模型最新版本 DeepSeek - R1 - 0528 并开启公测。虽官方未附详细技术说明，但用户反馈推理和输出有改进，也有性能方面的不同看法，其在基准测试表现佳。
CVPR 2025 | SketchVideo让手绘动起来，视频生成进入线稿时代
中国科学院大学等团队提出基于线稿的可控视频生成和编辑方法SketchVideo，发表于CVPR 2025。它基于预训练模型添加线稿控制网络，解决现有视频生成模型可控性等问题，实现高质量视频生成与编辑。
赌自己会失业！田渊栋八人天团狂揽44亿元，杀入「递归进化」赛道
Recursive Superintelligence由八位顶尖AI研究员创立，获GV、英伟达等投资6.5亿美元。他们要让AI自我训练，实现递归自我进化，若成功或使AI研究员岗位消失。此前已有相关成果，产品端Anthropic也在推进AI主动性。