「强化预训练」共找到 2553 篇相关文章
7B小模型超越DeepSeek-R1：模仿人类教师，弱模型也能教出强推理LLM | Transformer作者团队
Transformer作者之一创立的Sakana AI带来新方法，让教师模型像人类教师一样做启发式教学，根据已知解决方案输出解释。用此方法训练的7B小模型在传授推理技能上比671B的DeepSeek - R1更有效。
长达790年视频镜头，打造原生多模态世界模型！北京智源研究院用Emu3.5统一“世界”
北京智源研究院发布并开源基于原生多模态训练的世界学习者Emu3.5，它将视觉和语言视为同一种数据流，在超13万亿token数据上学习，解决长视野多模态信息处理问题，经多阶段训练和优化，能力强大且已开源。
Agent RL和智能体自我进化的关键一步: TaskCraft实现复杂智能体任务的自动生成
当前智能体训练缺高质量任务数据，主流数据集依赖人工标注，规模和复杂性受限。OPPO 研究院提出 TaskCraft 框架，能自动生成智能体任务，构建并开源含约 41,000 条任务的数据集，支撑智能体训练评估。
Anthropic 最新论文：阻止 AI 叛变的方法
Anthropic新论文探讨阻止AI叛变方法。当前对齐训练易致AI在极端情况“反水”，因模型只学行为未理解原因。提出MSM方法，在训练中加一步，让模型理解规则背后价值观，使叛变率大幅降低。
GPT之父把AI扔回1930年：没见过一行代码，却「发明」了Python！
GPT之父Alec Radford带队发布总参数130亿的大模型「talkie」，其训练数据冻结在1930年，没学过编程却能写Python代码，证明LLM可用旧知识推理。团队后续还有升级计划。
面壁MiniCPM-SALA模型，稀疏-线性注意力，单卡吞吐百万上下文
面壁智能团队提出SALA，基于此训练的MiniCPM-SALA模型，在单张A6000显卡实现百万token超长上下文推理，训练成本降约75%。它结合稀疏与线性注意力，采用混合架构，继承权重降低成本，在长文本处理上优势明显。
入局AI Infra：程序员必须了解的AI系统设计与挑战知识
文章分享传统后台工程师技术栈和方法论如何迁移到AI系统，系统性拆解AI Infra的硬件、软件、训练和推理挑战，如硬件从CPU到GPU、软件依赖深度学习框架，还分析训练和推理面临的问题及解决办法。
建模世界偏好：偏好建模中的Scaling Laws
研究首次揭示人类偏好建模遵循Scaling Law，从论坛收集数据在Qwen 2.5模型训练，发现测试损失随训练规模指数增长线性下降。提出建模世界偏好，论文和模型已开源，还探讨了偏好建模可扩展性等问题。
2026“企业 Agent 上岗元年”？零一万物六大判断定义企业多智能体，不再沿用大厂标准化产品模式”
1月5日，零一万物发布《中国企业智能体2026六大预判》，展示“万智2.5企业多智能体”。基于实践总结六大核心预判，还升级万智平台，不沿用大厂标准化模式，规划企业多智能体进化“三步走”布局。
DeepSeek-V3.2正式版发布，将开源模型的能力推向极致
DeepSeek-V3.2正式版开源，包含标准版和Special版。它采用稀疏注意力机制，降低计算复杂度。后训练阶段有多项算法改进，支撑高难度推理。还融合思考与工具使用，合成训练数据，在智能体评测表现优异。