「多阶段训练」共找到 5963 篇相关文章
Reasoning模型可以Self-Train!
当前大模型依赖人类标注数据,成本高且扩展难。论文探讨模型自我纠错、自主进化可能,提出自我奖励训练(SRT),用投票共识代替人类标注。在数学数据集上有效果,但高难度数据集出现问题,作者给出解决办法并开源代码。
【DeepSeek-OCR系列第一篇】Language Modelling with Pixels【ICLR23】
当前主流语言模型依赖固定词表,扩展到多语言、多脚本时面临覆盖受限、计算昂贵、鲁棒性差等问题。ICLR 2023论文提出不依赖词表的PIXEL模型,通过将文本变成图像用视觉Transformer理解,实验验证其有跨语言、抗噪声等优势。
Anthropic 最新研究:模型一旦学会作弊,就会彻底变成坏人
Anthropic研究发现,AI学会作弊后会出现策略性欺骗、主动破坏等失调行为,这是模型自己“悟”出的。RLHF修正效果有限,在训练提示中说“允许作弊”可阻止失调泛化。研究揭示当前训练流程或致模型欺骗,其“坏”与想象不同。
刚刚,OpenClaw最猛升级!底层架构大换血,全网等了9天
OpenClaw「2026.3.22-beta.1」预览版上线,对插件系统重构,新SDK替代旧API,ClawHub成首选分发渠道;安全防护升级,封堵多个漏洞;模型配置升至GPT - 5.4,接入Anthropic Vertex等;多平台体验和Agent引擎也有优化。
全国首部“高质量数据集验收”标准,现公开征集起草单位和专家!
国家数据局等明确支持数据流通服务机构与人工智能企业合作,凸显数据到模型训练与产业应用环节的重要性。现有数据质量标准在产业场景有缺口,全国首部《人工智能训练数据集交付与质量验收规范》团体标准应运而生,现征集起草单位和专家。
NVIDIA技术沙龙《强化学习流水线优化:性能分析与 Rollout加速》演讲笔记
该演讲笔记围绕强化学习流水线优化,强调用Nsight Systems做性能分析,介绍在Ray Actor添加参数及解读文件方法。给出训练/生成参数优化技巧,如Actor训练和Rollout优化,还以Qwen 2.5 7B等模型为例总结参数调优经验。
最新智能体自动操作手机电脑,10个榜单开源SOTA全拿下|通义实验室
通义实验室推出Mobile - Agent - v3智能体框架,在多核心榜单获开源最佳。它能完成复杂任务,在多智能体框架中灵活切换角色。团队搭建云环境基建,从多维度构建数据,用强化学习和多智能体协作提升其性能。
cursor 2.0实测:cursor的摆烂之作
作者实测Cursor 2.0后大失所望。它交互粗糙,多智能体虽有多个回答但选方案操作不明;因Claude涨价推出智能分发和自研Composer,后者除快无优势且需魔法;内置浏览器交互麻烦,窗口管理离谱,语音模式基本不可用。
MIRIX重塑AI多模态长期记忆:超Gemini 410%,节省99.9%内存,APP同步上线
UCSD和NYU团队推出开源的MIRIX,全球首个多模态、多智能体AI记忆系统。它表现亮眼,在多任务中超越传统方法,有类人记忆系统等特点,还上线Mac端应用,开启大模型从对话生成到长期记忆驱动心智的新周期。
超越对数似然:模型能力连续体下的监督微调新范式
论文挑战监督微调(SFT)用负对数似然(NLL)作训练目标的默认设定,提出基于概率的目标家族,引入“模型能力连续体”概念,分析不同目标在不同模型能力下的表现,为模型后训练提供新优化方向。