「四段式预训练」共找到 2348 篇相关文章
刚刚，1500名作家向 AI 宣战！
1500位作家联名向美国出版商发公开信，要求拒绝AI生成的书籍内容，称创作被AI“偷走”，还指出AI有声书取代人类、耗能大等问题。此前法院裁定用受版权书籍训练AI属合理使用。
阿里智能体多轮推理超越GPT-4o，开源模型也能做Deep Research
通义实验室推出自主信息检索智能体WebDancer，其通过系统化训练范式为构建智能体提供路径，也为在开源模型上复现Deep Research系统提供指导。它在多数据集测试中表现出色，团队还对其未来应用做了展望。
Multi-Agent 的灵活编排之路
文章从Copilot 3.0架构规划模块出发，结合DeepSeek R1强化学习训练实践，探讨多智能体架构下大模型编排智能体解决问题。分析Copilot 2.0局限并介绍3.0升级，指出难点，展示效果对比及解决方案。
人大-清华-腾讯发布：音频 - 视觉多模态任务统一框架
人大、清华和腾讯合作发布Crab论文，目标是实现多模态场景理解任务的高效一统。它针对音频 - 视觉理解模型难点提出解决方案，构建数据集、设计LoRA结构、统一架构，训练分预训练和指令调整两阶段。
腾讯AngelSlim重磅升级！面向全模态的大模型压缩算法工具包，推理速度飙升 1.8倍！
近年来，推理阶段的成本等因素制约大模型规模化应用。腾讯混元升级的 AngelSlim 围绕 Eagle3 投机采样训练范式构建系统化实现，支持多模态场景，最高可实现 1.9× 推理加速，还具备多亮点。
哈佛发现基础模型比你想象中更强大：纯采样方法可超越RL
论文提出基础模型本身已具备强大推理能力，通过“幂采样”纯采样算法，在多推理任务上媲美或超越RL后训练，挑战“RL才能提升推理”观念，为理解基础模型潜力开新视角。
RL 将如何提高具身大模型 VLA 泛化性？清华大学团队NeurIPS 2025文章分析 RL 与 SFT 泛化性差异
清华大学团队在NeurIPS 2025发表文章，揭示强化学习（RL）提升具身大模型VLA泛化能力的优势，对比其与SFT差异，还提出评测基准和训练方法，为VLA训练提供新方向。
马斯克曝光Grok 5！1.5万亿参数，偷师Cursor狂练编程
5月25日凌晨马斯克官宣，1.5万亿参数Grok V9-Medium训练完成，2 - 3周后发布。训练灌入大量Cursor编程数据，编程能力将大幅提升。此前v8 - small年底前开源，马斯克编程赛道布局全面摊牌。
Transformers来到了v5时代：从工具包到真理之源，AI时代的操作系统内核的极简进化论
Transformers v5发布，通过极简定义和极致互通成AI生态核心。它做减法重构代码、拓展训练流程、成推理引擎弹药库、提升量化为核心功能，连接训练、推理与部署，是AI生态通用语言。
改变强化学习范式，Meta新作呼应Sutton「经验时代」预言
图灵奖得主等提出AI智能体将迎「经验时代」，但训练面临挑战。Meta研究用「早期经验」范式解决问题，包含隐式世界建模和自我反思，提升了智能体任务成功率和泛化能力。