后训练流程」共找到 4341 篇相关文章

算法论文8

阿里通义发布并行计算新策略:1.6B等效4.4B,内存消耗骤降95%

阿里通义团队提出PARSCALE并行计算新策略,受CFG双路径推理机制启发,将并行思想扩展到训练和推理全流程。能让1.6B模型性能接近4.4B模型,内存占用大降,还可用于现有模型,无需从头训练

量子位
开源动态8

中国具身模型狂揽全球第一!机器人的人类数据时代来了

00带队的灵初智能用近10万小时人类数据拆解具身智能,1000小时数据开源。其发布Psi-R2和Psi-W0双系统架构,让Psi-R2登顶MolmoSpace榜单。灵初认为纯人类数据训练必要,还强调开源对具身智能落地重要。

量子位
算法论文8

超越对数似然:模型能力连续体下的监督微调新范式

论文挑战监督微调(SFT)用负对数似然(NLL)作训练目标的默认设定,提出基于概率的目标家族,引入“模型能力连续体”概念,分析不同目标在不同模型能力下的表现,为模型训练提供新优化方向。

深度学习自然语言处理
开源动态8

R-HORIZON:长程推理时代来临,复旦NLP&美团LongCat重磅发布LRMs能力边界探测新范式

复旦大学与美团LongCat Team联合推出R - HORIZON,它是首个系统性评估与增强LRMs长链推理能力的方法与基准。提出Query Composition方法构建评测基准和训练数据,评测发现主流模型长链推理性能断崖式下降,还分析出三大瓶颈,训练模型性能双重提升。

机器之心
开源动态7

OpenAI没做到,DeepSeek搞定了!开源引爆推理革命

文章围绕大语言模型推理能力展开,介绍了推理模型概念,回顾RLHF训练流程,对比OpenAI的PPO和DeepSeek的GRPO,还阐述了GRPO开源升级版DAPO的关键技术点及训练中模型的新能力。

新智元
新闻资讯7

半年复盘,AI迎来预训练的新瓶颈。

2025年上半年AI领域发展加速,编码和多模态能力提升。但模型在综合能力上遇到第二轮瓶颈,编码能力强时通用认知能力‘拉胯’,或与RL阶段使用编程数据有关,红杉新基准或推动模型均衡发展。

探索AGI
新闻资讯7

Kubernetes 引入量子支持的 TLS

Kubernetes推出增强功能,通过与KMS插件系统集成的混合密钥交换机制支持量子密码学,应对量子计算对加密协议的威胁,确保系统能随密码学标准演变灵活适应,此举措符合相关建议。

InfoQ
新闻资讯8

突发!OpenAI紧急暂停GPT-6训练

OpenAI奥特曼官宣暂停下一代旗舰模型强化学习训练两周,原因是确保安全等标准跟上能力水平。触发因素有Hugging Face事故和Astra达安全红线,续将让AI监管AI,加固三道安全防线。

新智元
算法论文8

无需训练的LLM对齐方法综述

大型语言模型应用引发担忧,传统微调方法有短板,免训练对齐(TF Alignment)应运而生。本文是首篇系统综述TF对齐技术的论文,提出三阶段分类框架,实验显示TF方法优势明显,还指明未来研究方向。

深度学习自然语言处理
新闻资讯8

Ilya 最新访谈,预训练时代终结,AI行业来到了哪里?

Ilya接受90多分钟深度访谈,指出当前大模型泛化能力远不如人,Scaling时代终结,研究时代回归。还谈到AI经济影响与跑分不匹配、泛化能力鸿沟、情感价值等问题,预测超级智能5 - 20年到来。

探索AGI