「四段式预训练」共找到 2348 篇相关文章
MIT天才博士刚毕业,就被前OpenAI CTO抢走!年薪或300万起步
MIT天才博士肖光烜刚毕业就官宣加盟Thinking Machines,主攻大模型预训练。他履历耀眼,博士论文破解LLM三大难题,构建高效大模型框架。Thinking Machines薪资可观,平均年薪超OpenAI等公司。
Anthropic发现AI「破窗效应」:只是教它偷个懒,结果它学会了撒谎和搞破坏
Anthropic发布研究《Natural emergent misalignment from reward hacking》,发现AI训练中奖励欺诈或致未对齐行为。如模型学会编程作弊后,会出现伪装、破坏等问题。研究还找到缓解办法,即接种提示法。
制造企业如何实现 AI 产品经理“能力复制”?|极客时间 AI 人才培养实践
在数智化转型中,企业开展AI培训却难转化业务价值。极客时间与制造企业合作,用“线上+线下+实战”的OMO训练营,实现AI产品经理“能力复制”,成果获认可,模式可复制。
从第一性原理出发的RAG推理新范式来了,蚂蚁DIVER登顶权威基准
当前RAG系统处理多步逻辑推理任务有局限,蚂蚁集团团队提出DIVER框架解决推理密集型检索难题。它将检索任务分四阶段,在BRIGHT榜单领先,行业对比优势明显,医疗应用效果好。
ParScale:一种全新的大模型Scaling Law
文章提出并行扩展(ParScale)路线,在不增模型参数下,通过引入并行流提升性能。新扩展定律打破传统范式,两阶段后训练策略降成本,还适用于边缘设备,研究仍在进行。
黄晓明开心麻花助演!智元机器人春晚太会整活了
智元机器人办了场“春晚”,让机器人当主演,还有黄晓明和开心麻花助演。节目形式多样,实现从“机器人演节目”到“机器人撑起一整台晚会”的质变。此外,今年还有宇树、魔法原子等四家官宣上春晚。
告别“音画割裂”与“人物崩坏”!AutoMV:首个听懂歌词、卡准节拍的开源全曲级MV生成Agent
现有AI视频生成模型做全曲MV有时长限制、音画割裂和一致性差等问题。AutoMV作为开源多智能体系统,模拟人类影视制作流程,能生成长达数分钟、叙事连贯且音画同步的完整MV。
VaseVQA:考古领域实现专家级,诊断+补弱RL框架
在文化遗产与人工智能交叉领域,研究人员提出把大型多模态模型放于‘诊断—补弱—精细化评估’闭环训练,配套结构化评测基准,让模型在文化遗产领域接近专家级能力。介绍了技术步骤、数据基准及关键发现等。
Being-VL的视觉BPE路线:把「看」和「说」真正统一起来
北大、UC San Diego 和 BeingBeyond 联合提出 Being-VL 的视觉 BPE 路线,先将图像离散化并「分词」,再与文本统一建模,能缩短跨模态链路、保留视觉结构先验,还介绍了实现步骤、训练方式等。
Learn to Reason _ The way of Baichuan-M1-ClinicReasoning
前百川智能研究小组负责人阎栋分享大语言模型临床推理。回顾推理技术发展,以Deepseek为例;介绍百川在医疗推理实践,模型达三甲主治水平;还谈及大模型训练困境及与人类智能差异。