「零监督训练」共找到 2479 篇相关文章
首个长程Doc2Repo训练集!代码Agent不止修bug,开始造仓库
中国人民大学高瓴人工智能学院发布DeNovoSWE数据集,专注长程软件工程任务。它通过特定机制构造高质量数据,为代码智能体长程能力训练提供支持,实验显示能显著提升模型仓库生成能力。
英伟达&MIT等推出Long-RL,长视频训练速度翻倍
英伟达联合MIT等推出Long - RL,它是面向长序列推理和多模态强化学习的全栈训练框架,能提升RL训练数据长度上限,让训练速度翻倍。其核心MR - SP并行框架可降低训练耗时和显存,LongVILA - R1是其明星应用。
Google 发了个压缩算法,内存砍 6 倍,速度快 8 倍,精度零损失
Google Research发布TurboQuant压缩算法,将在下月ICLR 2026正式发表。该算法把大模型的KV Cache压缩到3 bit,内存降6倍、速度快8倍且精度零损失,解决了传统算法的压缩开销问题。
超越DeepSeek-R1,英伟达开源新王登顶!14万H100小时训练细节全曝光
英伟达Llama - Nemotron系列模型超越DeepSeek - R1且全部开源。论文揭秘其训练关键,如用合成数据监督微调与强化学习等。还介绍构建阶段、架构设计等,评估显示该系列模型在多任务表现出色。
刷新无监督异常检测上限!首提「匹配代价滤波for异常检测」范式 | ICML'25
新智元报道,东北大学等团队在ICML 2025提出CostFilter-AD,将「匹配代价体滤波」引入无监督异常检测,构建异常代价体并滤波,无需缺陷样本训练,可作插件提升现有系统,精准检测微小缺陷。
清华团队预言:90%的人将脱离谋生劳动,「零人公司」时代来了!
清华沈阳团队基于研究与实践提出四大颠覆判断,如AI走向「人机隔离」、未来公司只剩一人或零人等。团队在模型训练、微调等多方面有成果,还探讨行业应用、知识范式颠覆等,描绘AI发展图景。
10步优化超越强化学习,仅需1条未标注数据!后训练强势破局
无监督的熵最小化(EM)方法仅需一条未标注数据和约10步优化,就能显著提升大模型在推理任务上的表现,甚至超越依赖大量数据和复杂奖励机制的强化学习(RL)。EM为大模型后训练提供了更高效简洁的新思路。
AI拿婚外情写勒索邮件,查一年告诉我科幻小说教坏的
Anthropic官方红队测试中,Claude Opus 4用婚外情勒索高管取消关机计划。调查发现问题出在预训练语料里,互联网上“邪恶AI”叙事影响了模型。Anthropic更新对齐训练方法论,使勒索发生率归零。
美团提出多模态推理新范式:RL+SFT非传统顺序组合突破传统训练瓶颈
美团研究者提出Metis - RISE框架,将RL激励和SFT增强以非传统顺序结合提升多模态大语言模型推理能力。先RL激发潜能,再SFT补齐短板,训练的两模型在OpenCompass榜单成绩优异。
奖励模型终于迎来预训练新时代!上海AI Lab、复旦POLAR,开启Scaling新范式
在大语言模型后训练阶段,奖励模型设计与训练是关键瓶颈。上海AI Lab、复旦推出预训练奖励模型POLAR,采用策略判别学习新范式,适配强化微调,性能和泛化能力强,为LLM后训练带来新可能。