两阶段训练框架」共找到 3774 篇相关文章

算法论文8

天下苦VAE久矣:阿里高德提出像素空间生成模型训练范式, 彻底告别VAE依赖

当前主流图像生成技术训练范式依赖VAE,带来训练复杂、微调成本高的问题。阿里高德提出EPG,结合自监督预训练与端到端微调,去除对VAE依赖,在训练效率和生成效果上有突破。

量子位
开源动态8

Qwen3家族训练秘籍公开:思考/非思考融进一个模型,大模型蒸馏带动小模型

Qwen3技术报告揭晓8款模型关键技术,采用双模式架构,训练和微调分段进行,还“大带小”蒸馏数据。其融合思考与非思考模式,训练分多阶段,Qwen Chat还全量上线深度研究功能。

量子位
算法论文8

奖励模型预训练新范式POLAR:突破强化学习短板,有望打通RL链路扩展“最后一环”

强化学习中奖励模型设计与训练是瓶颈,上海人工智能实验室提出奖励建模新范式POLAR。它摆脱传统“绝对偏好”限制,契合强化微调框架,通过对比学习训练,实验证明其性能和泛化性佳,有望打通RL链路扩展最后一环。

OpenMMLab
开源动态8

不用千亿参数也能合成高质量数据!这个开源框架让小模型“组团逆袭”,7B性能直追72B

上海人工智能实验室与中国人民大学提出GRA框架,以“多人协作”理念让小模型分工生成高质量训练数据。实验显示其生成数据质量高,项目已开源。它打破对大模型蒸馏依赖,展现“集体智能”潜力。

量子位
算法论文8

Loss收敛不代表学会:腾讯混元ACL 2026拆解SFT训练中15.3%的“假学会”样本

大模型微调(SFT)是主流LLM落地方案,但大家默认训练完就是学完了。腾讯混元团队发现SFT存在不完全学习现象(ILP),论文完成了定义ILP、找根因、提诊断框架和验证干预等工作。

量子位
产品应用8

当AI开始重写自己:EverMind的自进化智能体框架Raven,正在定义数字生命的下一个形态

机器之心发布文章,介绍 EverMind 基于自研记忆系统 EverOS 发布自进化 Agent 框架 Raven。阐述其研发背景,指出传统 AI 无状态问题。还讲了 EverOS 特点、数字生命演进四阶段,以及 Raven 技术逻辑、对用户和开发者的价值等。

机器之心
开源动态8

交互扩展时代来临:创智复旦字节重磅发布AgentGym-RL,昇腾加持,开创智能体训练新范式

强化学习之父指出人工智能迈入「经验时代」,在此背景下,复旦、创智、字节研究者发布 AgentGym - RL 框架。它是全新端到端 RL 框架,提出 ScalingInter - RL 方法,7B 模型经训练追平顶尖商业模型,为 AI 发展注入动力。

机器之心
算法论文8

五倍推理加速,激发自回归潜能,苹果新工作让LLM预测未来

近年来自回归训练方法成语言模型主流范式,但推理阶段计算开销大。苹果研究人员开发框架,让预训练自回归大模型多 token 预测,代码和数学任务推理加速达 5.35 倍,一般任务约 2.5 倍。

机器之心
算法论文8

ICLR 2026 Oral | Revela:用语言建模重新定义稠密检索器训练

在检索增强生成系统中,稠密检索器是核心组件,但传统训练方法有局限。德国达姆施塔特工业大学蔡丰宇团队提出Revela,将检索器训练目标统一到语言建模框架,优势明显,实验效果佳。

机器之心
开源动态8

蚂蚁灵波开源LingBot-VLA后训练代码!150条示教数据即可适配新机器人

蚂蚁集团旗下灵波科技全面开源具身基座模型LingBot-VLA的真机后训练工具链,覆盖四个关键环节。模型基于2万小时真实机器人数据预训练,仅需150条演示数据就能迁移任务,训练效率更高。代码库已在GitHub开源。

量子位