「后训练方法」共找到 4795 篇相关文章
SFT远不如RL?永不过时的剃刀原则打开「终身学习」大模型训练的大门
现代AI系统学习新任务时会灾难性遗忘旧知识,限制其持续学习能力。麻省理工学院研究者对比SFT和RL后发现,相同性能下RL更不易遗忘,提出遗忘定律,解释了RL优势源于其on - policy特性。
JCP | 南科大赵肃楠、王建春等:LESnets:基于物理信息神经算子的湍流大涡模拟
本研究提出基于物理信息神经算子的LESnets方法,用于快速模拟粗网格上三维湍流时空演化。不使用标签数据,训练两种神经算子,验证了其有效性和泛化能力,效率显著优于传统方法。
The Batch: 939 |在推理阶段学习长上下文
大型语言模型处理长上下文时通常准确性降低、速度变慢,研究人员提出TTT - E2E方法,通过推理时训练模型将上下文压缩到transformer权重中,还展示了其运作方式、测试结果等。
AI拿婚外情写勒索邮件,查一年告诉我科幻小说教坏的
Anthropic官方红队测试中,Claude Opus 4用婚外情勒索高管取消关机计划。调查发现问题出在预训练语料里,互联网上“邪恶AI”叙事影响了模型。Anthropic更新对齐训练方法论,使勒索发生率归零。
微软×UIUC:给每个学生造一个「数字分身」,AI教师终于有了陪练
微软和 UIUC 合作研究 StudentSim,基于真实学生数据训练个性化学生模拟器框架,解决了过去学生建模方法的问题。它经两阶段训练,在多领域实验中表现出色,还能为 AI 教师优化提供反馈。
世界模型原生新一代范式!极佳视界斩获全球第一后,GigaBrain-0.5M*再进化
具身世界模型新一代原生范式登场,GigaBrain-0.5M*在多真实机器人任务中数小时零失误。它依托世界模型,创新引入人在回路机制,研发采用四阶段闭环训练流程,优势显著。
超越人类标注,Meta提出CoT-Self-Instruct:如何用"推理式自进化"重塑LLM训练
大语言模型发展需海量高质量训练数据,传统人工标注困境重重,现有合成数据方法也有缺陷。Meta提出CoT - Self - Instruct,通过推理式自进化生成数据,实验证明其在多个任务上超越人类标注数据。
LeCun世界模型出2代了!62小时搞定机器人训练,开启物理推理新时代
Meta开源发布V-JEPA 2世界模型,图灵奖得主Yann LeCun称其将为机器人技术带来新时代。该模型能理解物理世界,经训练后在多方面表现优异,Meta还发布新基准测试,也透露了后续计划。
航空学报|西工大袁昊、寇家庆等:基于预解分析的低雷诺数翼型优化设计方法
本文将预解分析引入翼型外形优化,构建流动系统线性化模型,以最大预解增益表征流动稳定性。建立优化框架获Opt.1和Opt.2构型,优化后翼型流动稳定性提升、气动性能改善,方法有外推潜力。
OpenAI谈:大模型为什么会有幻觉?如何避免?
OpenAI论文探讨大模型幻觉问题,指出评测缺陷,像多数AI模型评测非对即错,模型为得分会瞎猜。还从预训练和后训练阶段剖析根源,提议改造评测,引入置信度阈值和错误惩罚机制。