「预训练策略」共找到 2839 篇相关文章
谢赛宁等推出统一多模态模型！替代VAE实现图像理解/生成双SOTA，代码权重数据集全开源
谢赛宁等团队推出统一多模态模型Blip3 - o，用扩散Transformer生成CLIP图像特征，采用顺序预训练策略。对比多种设计方案，确定CLIP + Flow Matching最佳，模型在多任务测试表现卓越且全开源。
大模型如何泛化出多智能体推理能力？清华提出策略游戏自博弈方案MARSHAL
近日，清华大学等机构研究团队提出 MARSHAL 框架，利用强化学习让大模型在策略游戏自博弈。实验表明，多轮、多智能体训练提升了模型博弈决策水平，将推理能力泛化到通用多智能体系统，在一般推理任务表现显著提升。
揭秘LLM“思考”之谜：推理即“梯度下降”，元学习框架解构训练过程，还给优化提供新思路
上海AI Lab团队提出RaML框架，从梯度下降和元学习角度揭示LLM“思考”机制。通过实证验证推理轨迹作为参数更新的合理性，还对比不同训练策略，指出RaML为优化LLM性能提供新思路。
表格建模也能Scaling？树模型的时代要改变了
文章指出 AI 算力增长与结构化数据建模以树模型为主形成反差。浙大 X 蚂蚁 AIforData 团队探索结构化数据预训练，在表格数据和行为序列预训练上有成果，验证了 Scaling Law，预示结构化数据建模范式将改变。
月之亮剑：万亿参数，造就国内首个 Agentic Model？
月之暗面发布全球首个万亿参数且直接开源的 Agentic Model Kimi - K2，它将 AI 下半场与经验时代理论融合。在测评中表现出色，Kimi 还通过创新方法完成预训练和后训练，并将成果开源，给中国开发者更多自主权。
腾讯混元A13B用130亿参数达到千亿级效果，Flash Attention作者点赞
腾讯混元A13B模型仅130亿激活参数，却能和千亿级大模型竞争，获Flash Attention作者赞叹。它精准卡位性能与效率‘甜蜜点’，依托高质量预训练和结构化后训练，多方面表现突出且已全面开源。
OpenClaw 能“边用边训”了：智能体强化学习训练框架 AReaL v1.0 稳定版发布
3月4日，蚂蚁集团联合清华发布开源强化学习训练框架AReaL v1.0稳定版，主打‘Agent一键接入RL训练’。它解决现有智能体框架接入训练成本高、缺乏持续进化能力的问题，还推出原生训练引擎Archon，集成AI辅助开发体系。
奥特曼怕了！GPT-5.5「大蒜」决战谷歌，红色警报紧急拉响
三年前ChatGPT让谷歌恐惧，如今OpenAI被谷歌逼得拉响‘红色警报’。OpenAI计划发布新推理模型，‘Garlic’预训练有突破，还启动下一代模型。OpenAI调整策略，聚焦提升ChatGPT体验。
为训推加速！全新FlashQLA注意力算子库开源
自Qwen3-Next发布，GDN成Qwen主力注意力层，随模型规模扩大开销增大。现开源FlashQLA算子库，融合优化GDN Chunked Prefill前反向算子，在NVIDIA Hopper上多场景加速，提升预训练和端侧推理效率。
东方理工团队提出HiDrop：重构MLLM计算路径，压缩90%视觉Token实现2.2倍加速
东方理工大学沈晓宇团队提出HiDrop，基于MLLM不同层功能差异，设计出延迟注入、凹金字塔式剪枝和提前退出的视觉Token压缩策略。实验显示，它能压缩约90%视觉Token，保持98.3%性能，实现训练和预填充加速。