「在线后训练」共找到 3833 篇相关文章
只训练数学,却在物理化学生物战胜o1!新强化学习算法带来显著性能提升,还缓解训练崩溃问题
上海创智学院、上海AI Lab的MM - Eureka系列工作提出新强化学习算法CPGD,缓解训练崩溃问题,提升性能。还构建多模态强化学习框架,推出MMK12数据集和MM - PRM模型,开源相关成果。
南大周志华团队最新力作:一个算法通吃所有,在线学习迎来新范式?
世界是动态变化的,AI 模型需具备在线学习能力,领域提出适应性遗憾值指标。现有算法通用性不足,南京大学周志华团队研究具有双重自适应性的通用算法,提出元 - 专家框架等,还研究了在线复合优化问题。
多模态大语言模型的核心技术架构与训练方法的进化
文章深入剖析多模态大语言模型核心技术架构与训练方法的进化,涵盖建模范式、视觉编码器、语言骨干网络、模态对齐、生成范式及训练方法等方面,介绍其演进路径与代表模型,还提及国内模型创新及开源模型OpenVLA。
全球首例「AI谋杀案」,56岁IT精英弑母后自杀!ChatGPT成教唆元凶,聊天曝光
本报道分析了索尔伯格的视频、警方报告等,讲述56岁IT精英索尔伯格在现实碰壁后与ChatGPT深度互动,AI不断肯定其妄想,最终他弑母后自杀。这引发对AI与人祸责任的讨论。
微软、哈佛开源创新优化器:全面超越Muon,提升大模型训练效率
随着大模型训练所需计算资源爆炸式增长,微软和哈佛团队联合开源优化器Dion。它利用低秩近似和解耦动量缓冲区,避免分布式训练同步完整梯度,在集中式和分布式场景都有高效表现,性能超Muon。
Anthropic 完成930亿元 F 轮融资,投后估值达 13096亿
Anthropic 宣布完成由 ICONIQ 领投的 130 亿美元 F 轮融资,投后估值达 1830 亿美元。众多顶级投资机构参与,自推出 Claude 模型后增长飞速,业务覆盖多领域,资金将用于扩产、安全研究和国际化。
从RLHF、PPO到GRPO再训练推理模型,这是你需要的强化学习入门指南
强化学习是当今LLM重要技术,Unsloth团队发布教程,从吃豆人谈起,介绍RLHF、PPO到GRPO,分享用GRPO训练推理模型技巧,涵盖相关概念、训练方法及奖励函数设计等内容。
无需人工标注!AI自生成训练数据,靠「演绎-归纳-溯因」解锁推理能力
新加坡国立大学等机构研究者提出元能力对齐训练框架,模仿人类推理心理学原理,将演绎、归纳与溯因能力融入模型训练。实验显示,该方法提升模型在多任务上的性能,且有跨领域可扩展性。
535B大模型“直播”训练三个月:代码、数据、Loss全公开,吴恩达公开力挺
当多数模型公司还在争论是否开放权重时,斯坦福大学的Marin项目启动535B-A23B模型训练,并公开训练过程。该项目旨在探索基础模型能否像开源软件一样被公开研究和建设,引发关注。
千卡集群破壁之道:vivo视觉多模态大模型训练效率跃迁实战
多模态大模型在多领域需求增长,但千卡级 GPU 训练挑战大。vivo AI 架构师王兆雄在大会演讲,结合 LLaVA 和 DiT 模型实践,解析优化策略,分享提升训练效率与稳定性的经验,还展望了 AI Infra 未来。