「两阶段微调」共找到 1556 篇相关文章
训练加速1.8倍,推理开销降78%!精准筛选题目高效加速RL训练丨清华KDD
清华大学THU-IDM团队与慕尼黑大学CompVis团队合作提出MoPPS框架,解决强化微调代价高问题。它精准挑题,预测难度,开销低、动态适应且平衡探索利用,在多任务表现佳,降本增效,有新范式。
GPT-6 或有"生命"!MIT新作实现LLM自我进化,冻结权重时代终结
MIT新作《Self-Adapting Language Models》实现LLM自我进化,SEAL框架让模型自己生成“自编辑”微调自身。它能实时学新数据、修复知识、形成记忆。经两种场景验证,小模型也能超越GPT - 4.1等。
上任两年,吴泳铭为阿里 AI 定调:终局是 ASI
吴泳铭出任阿里 CEO 两年,在云栖大会提出 AI 终局是 ASI。阿里云升级全栈 AI 体系,通义大模型 7 连发,百炼平台更新。吴泳铭判断通往 ASI 分三阶段,阿里为此推进 3800 亿建设计划。
一文解读 LLM Posting-Train技术
文章解读了大语言模型后训练(Post-training)技术,介绍其核心价值,从微调、强化学习、测试时拓展三方面展开,分析现有技术瓶颈,指出前沿研究方向,还给出实践指南和工具链推荐。
RL 效率无损飙升 3 倍:厦大-Shopee-清华联合首创,将投机解码首次引入 RL,推理能力稳如初!
传统RLVR训练中,rollout阶段耗时成瓶颈。厦大 - Shopee - 清华联合团队提出SPEC - RL,将投机解码引入RL,训练提速2 - 3倍,避免重复生成,与主流算法兼容,在多项基准测试中性能稳定。
智能体请求暴增 9.4 倍,token 账单却没涨:Uber 公开 AI 软件工厂省钱方法
AI 工具已嵌入 Uber 软件开发各阶段,智能体请求量增长 9.4 倍,但 AI 总支出自 4 月相对稳定。文章介绍其软件工厂思考,包括智能体会话层级、成本公式、指标测算及优化手段,还提及未来举措。
8B 端侧写作智能体 AgentCPM-Report 开源,DeepResearch 终于本地化
1月20日,8B端侧写作智能体AgentCPM - Report开源。它以端侧模型为核心,实现本地化部署与SOTA性能双重突破,亮点在于极致效能、本地安全保障,在多评测基准表现出色,部署便捷,两大创新支撑其优秀性能。
全网开测GPT-oss!技术架构也扒明白了
全网开测GPT-oss,它登顶开源模型王座,性能比肩o3-mini、o4-mini,适合本地推理。网友探索出多种用法,还推出Pro版。其架构也被扒出,官方介绍了微调方法,吴恩达等大佬也参与测评。
五倍推理加速,激发自回归潜能,苹果新工作让LLM预测未来
近年来自回归训练方法成语言模型主流范式,但推理阶段计算开销大。苹果研究人员开发框架,让预训练自回归大模型多 token 预测,代码和数学任务推理加速达 5.35 倍,一般任务约 2.5 倍。
首个时空时序推理框架:让大模型真正读懂时空数据 | ACL'26
STReasoner是首个结合时间序列、空间结构和自然语言的推理模型,能识别异常源、追踪影响路径。研究团队构建数据生成框架和评测基准,采用三阶段训练策略,模型在多任务表现优,成本低且泛化能力强。