「四段式预训练」共找到 2348 篇相关文章
国外网友疯传DeepSeek R2/R3/R4 炸裂突破，超越传统的「跨因果超矩阵」，并在训练过程中自发产生了R5……
国外网友疯传DeepSeek R2到R5的“重磅”消息，爆料内容层层递进且玄幻离谱。Anthropic联合创始人评价有认可也有轻视。当下闭源模型各领风骚，开源阵营期望集中在DeepSeek R2，应平常心看待传言。
突然变强！速度翻4倍，GPT Pro惊现「神级」操作，网友怀疑GPT-5.5已就位
OpenAI悄悄完成GPT Pro模型升级，其速度提升、视觉理解能力增强。同时，代号「Spud」的GPT - 5.5已完成预训练，发布在即，AI竞争将更激烈。
Kimi K2基于DeepSeek V3构建
从Hugging Face模型配置文件可知，月之暗面未设计全新模型结构，而是选Deepseek V3作基座模型，用自身高质量数据、独特方法做大量‘微调’和‘后训练’。
Anthropic联创公开劝退套路码农！94%编程将被接管，去学点哲学吧
Anthropic联创Jack Clark在峰会上称大学生应避开「套路化编程」，未来需跨学科综合、分析思考能力。Anthropic雇哲学家训练Claude，工程师工作转向管理AI智能体，AI接管编程趋势明显。
迎接「万物皆可RAG」时代：最新综述展示50多种多模态组合的巨大待探索空间
大模型常采用RAG技术，多模态崛起使RAG向MM - RAG发展。目前MM - RAG研究初级，华中科技大学等研究者发布综述，覆盖所有模态组合，剖析工作流，提供构建系统的一站式指南。
SRO赋能Qwen-2.5-VL推理性能飙升16.8%
文本领域推理模型成就大，但多模态大型语言模型推理能力扩展遇阻，如冷启动初始化不足等。提出SRO三阶段训练框架，经测试，ReVisual - R1平均性能提升16.8%。
grok 4一图流
文章展示grok 4核心数据，涵盖训练成本、模型定价，还列举其在通用、专业、数学、推理、编程等能力测试中排名第一的成绩，不过实际水平还有待观察。
Sebastian Raschka 新书《从头开始推理》抢先看，揭秘推理模型基础
著名AI技术博主Sebastian Raschka新书《Reasoning From Scratch》第一章介绍LLM中推理含义、训练阶段、模式匹配与逻辑推理区别，还讲述提升推理能力方法及从头构建推理模型的重要性等内容。
ACL'25首届博士论文奖 | 重新思考 LLM 中的数据使用
近日，第一届 ACL 计算语言学博士论文奖获得者是 Sewon Min，其论文《重新思考大型语言模型中的数据使用》围绕大型语言模型如何使用训练所用的庞大文本语料库展开研究。
SRO架构赋予Qwen-2.5-VL推理能力，性能飙升16.8%
文本领域推理模型成就大，但扩展到多模态大语言模型遇阻力，如冷启动初始化不足等。为此提出 SRO 三阶段训练框架，经测试，ReVisual - R1 平均性能提升 16.8 个百分点。