「长文本训练」共找到 2925 篇相关文章
不用人类手写训练框架了！AI自己写代码，训出1B端侧「小钢炮」
5月25日，面壁开源端侧文本基座大模型MiniCPM5 - 1B，主打低成本部署等。它由AI编写的ForgeTrain框架参与预训练，效果与英伟达Megatron对齐且速度快10%。该模型在榜单表现优，应用边界广，部署门槛低。
微软开源Skill训练框架，让Agent白天干活，晚上自动复盘，Skill的自进化终于可监控了
微软开源SkillOpt v0.2.0，加入SkillOpt - Sleep让Agent可自我复盘。该文本空间优化框架能自动训练和优化skill，有透明化、质量控制等特点，适合重复、可评估任务场景。
奖励模型终于迎来预训练新时代！上海AI Lab、复旦POLAR，开启Scaling新范式
在大语言模型后训练阶段，奖励模型设计与训练是关键瓶颈。上海AI Lab、复旦推出预训练奖励模型POLAR，采用策略判别学习新范式，适配强化微调，性能和泛化能力强，为LLM后训练带来新可能。
CVPR 2026 | 让AI视频不再「串戏」：免训练精准控制多段动作，SwitchCraft一招破解逻辑崩坏
随着文本到视频扩散模型发展，AI视频生成有进展，但开源模型处理多事件提示词时存在技术瓶颈。西湖大学团队提出免训练框架SwitchCraft，引入注意力控制机制，入选CVPR 2026，代码已开源。
北大团队提出 SHINE：将任意文本转化为大模型 LoRA，仅需一次前向传播！
北大团队提出全新超网络架构 SHINE，仅需一次前向传播就能将任意文本转化为大模型 LoRA 参数，支持多轮对话。该方法实用潜力大、架构创新高效，训练流程成熟，推理快速，为大模型持续学习提供新思路。
Shopee OnePiece：业内首个融合上下文工程、隐式推理和多目标训练策略的生成式搜推建模框架
2025年生成式推荐发展火热，但工业界落地多在序列化建模，替换传统范式遇阻。Shopee傅聪团队联合人大高瓴学院提出OnePiece范式，是业内首个融合多策略的生成式搜推建模框架，含上下文工程、隐式推理和多目标训练策略。
OpenClaw 能“边用边训”了：智能体强化学习训练框架 AReaL v1.0 稳定版发布
3月4日，蚂蚁集团联合清华发布开源强化学习训练框架AReaL v1.0稳定版，主打‘Agent一键接入RL训练’。它解决现有智能体框架接入训练成本高、缺乏持续进化能力的问题，还推出原生训练引擎Archon，集成AI辅助开发体系。
8B模型可以超过GPT-4o！并行KV Cache压缩支持的128K长度外推方法ParallelComp
大模型长文本推理存在瓶颈，作者提出 ParallelComp 方案。它有并行 Attention 分块、KV 缓存智能淘汰与注意力偏差校准三大创新，能让 8B 模型性能达 GPT - 4o 的 91.17%，特定任务超 GPT - 4o。
离谱……面壁让 AI 写了个训练框架，然后它自己训出了最强的 1B 模型：MiniCPM5-1B
面壁发布 1B 参数量级最强端侧文本大模型 MiniCPM5 - 1B，其 Base Model 由 AI 编写的训练框架 ForgeTrain 训出，速度超英伟达 Megatron 10%。该模型性能出色，部署门槛低，数据治理方案对应数据集也已开源。
GTC 巅峰对话 Jeff Dean x Bill Dally：预训练范式已死、延迟瓶颈不在计算、谈透 AI 五年未来 | GTC 2026
GTC 2026上，NVIDIA首席科学家Bill Dally和Google Jeff Dean展开重磅对话。讨论了模型能力进步、低延迟推理架构、模型自主进化、数据与算力、训练与推理硬件差别等多方面内容，分享对未来AI的看法与见解。