「两阶段训练」共找到 3089 篇相关文章
微软×UIUC:给每个学生造一个「数字分身」,AI教师终于有了陪练
微软和 UIUC 合作研究 StudentSim,基于真实学生数据训练个性化学生模拟器框架,解决了过去学生建模方法的问题。它经两阶段训练,在多领域实验中表现出色,还能为 AI 教师优化提供反馈。
训练世界模型,开始从人类的肌肉和脑子里偷师了
具身智能数据竞争进入新阶段,第一视角视频虽缓解数据量问题,但未记录人行动的原因及大脑身体实时修正。FaceMind提出Ego - NeuroLoop数据范式,配套NeuroMatrix和NeuroBooster,将训练数据从“行为库”推向“闭环库”。
不平衡数据下对比学习的理论分析:从训练动态到剪枝解决方案
本文第一作者为新泽西理工学院廖海旭。对比学习在类别不平衡数据下面临挑战,此前研究未考虑其影响。本文构建理论框架刻画训练动态,定量分析少数特征影响,提出剪枝算法增强少数特征学习,实验验证其有效性。
无需训练的3D生成加速新思路:西湖大学提出Fast3Dcache
在AIGC浪潮中,3D生成模型虽进化快,但‘慢’和计算量大制约其应用。西湖大学AGI实验室提出无需训练、即插即用的Fast3Dcache框架,能在加速同时保持或提升模型几何质量。
英伟达&MIT等推出Long-RL,长视频训练速度翻倍
英伟达联合MIT等推出Long - RL,它是面向长序列推理和多模态强化学习的全栈训练框架,能提升RL训练数据长度上限,让训练速度翻倍。其核心MR - SP并行框架可降低训练耗时和显存,LongVILA - R1是其明星应用。
以小博大,仅1.7B媲美gemini2.5-pro,达到SOTA文档解析性能
dots.ocr是多语言开源文档解析器,把布局检测和内容识别统一在视觉语言模型中,虽LLM仅1.7B参数,却达SOTA性能。介绍了其预训练三阶段及SFT阶段关键策略。
Cursor滑跪开源技术报告:Kimi基模这样微调能干翻Claude
Cursor放出Composer 2技术报告力证‘自研’,基于Kimi K2.5经持续预训练和异步强化学习,测试表现好。同时,杨植麟分享Kimi团队最新思考,认为大模型要规模化,断言大模型训练进入第三阶段。
超越DeepSeek-R1,英伟达开源新王登顶!14万H100小时训练细节全曝光
英伟达Llama - Nemotron系列模型超越DeepSeek - R1且全部开源。论文揭秘其训练关键,如用合成数据监督微调与强化学习等。还介绍构建阶段、架构设计等,评估显示该系列模型在多任务表现出色。
干家务一小时挣1000元,具身智能时代人类新岗位
机器人是AI热门领域,但面临数据荒。训练数据分真实与合成两类,前者质量高但成本高、规模有限,后者成本低。数据标注服务商高价回收做家务等视频作训练素材,各方努力下优质数据仍短缺。
美团提出多模态推理新范式:RL+SFT非传统顺序组合突破传统训练瓶颈
美团研究者提出Metis - RISE框架,将RL激励和SFT增强以非传统顺序结合提升多模态大语言模型推理能力。先RL激发潜能,再SFT补齐短板,训练的两模型在OpenCompass榜单成绩优异。