「对抗学习」共找到 1416 篇相关文章
逆天!Mata用13个参数26字节让模型正确率从76%飙升至91%
Meta等机构研究人员发布TinyLoRA极致微调技术,配合强化学习,能在几乎不改变大模型原有结构下,用极少数参数激发其推理能力。该技术在数学推理上表现出色,还探索了参数共享策略和存储精度问题。
梁文锋执笔的R1论文登上Nature封面!首次回应外界三大质疑
9月17日,DeepSeek创始人梁文锋通讯作者名义发表的DeepSeek - R1论文登《自然》封面。该模型借助强化学习自主形成推理能力,在Hugging Face下载量破1090万次。新版论文回应质疑,披露训练细节,虽有不足但引发学界关注。
Cursor只排第6!136国用户实测25款AI编码工具,第一名73%胜率,还是个新面孔
Design Arena评测平台用对抗式评测方法,让用户对AI模型生成的设计作品投票,评估其设计美学表现。文章总结了上榜的编码工具,如new.website胜率约73%排第一,还对比了不同类型模型的排名情况。
Sea AI Lab 揭秘:你费尽心力调的 LLM 一直在崩溃?罪魁祸首可能只是一个参数:BF16
Sea AI Lab 和新加坡国立大学研究指出,强化学习微调中训练不稳定和性能瓶颈,根源是数值精度 BF16。其低精度造成“训练 - 推理不匹配”,使训练易失败。将精度切换到 FP16 可解决问题,提升模型表现。
对话心资本吴炳见:我不问AI创业的“终局”|甲子光年
本文是对心资本合伙人吴炳见的访谈。他2022年底All in AI,分享投资理念,如共鸣时投资、关注当下问题;分析AI发展阶段、应用情况,认为Agent是核心应用形态;还谈及投资案例、学习方式及经验复用与摒弃等。
刚刚,DeepSeek最新发文!V3/R1训练细节全公开,信息量巨大
网信办新规生效,DeepSeek回应,标注AI生成内容,公开V3/R1训练细节。介绍训练分预训练和优化训练,深挖数据使用,还谈及推理、开源情况,也提到对抗AI幻觉与滥用风险的措施。
无需外部数据!AI自问自答实现推理能力进化
卡内基梅隆大学团队提出SQLM框架,这是无需外部数据的自我提问模型,含提问者和解答者角色。通过强化学习最大化期望奖励,设计自监督奖励函数。实验显示其能提升Qwen2.5 - 3B - Instruct多任务准确率。
OpenAI新模型,被曝秘密训练中!万字硬核长文直指o4核心秘密
SemiAnalysis爆料,OpenAI正训练规模介于GPT - 4.1和GPT - 4.5间的新模型,下一代推理模型o4基于GPT - 4.1训练。强化学习成推理模型进步功臣,但面临基础设施瓶颈,奖励函数难定等问题。
两个LLM互相对线,推理能力起飞:康奈尔团队发布大模型版类GAN训练法
康奈尔大学团队提出面向大语言模型的类GAN训练框架PasoDoble,通过对抗训练两模型提升推理能力,不依赖外部监督,在多模型实验中显著提升数学基准表现,不过在部分领域外任务有局限。
大模型也需要自我反思,上海AI Lab合成“错题本”让大模型数学成绩提升13.3%
上海AI Lab提出LEMMA方法,构建“错误 - 反思 - 修正”数据,让大模型从错误中学习。通过教师模型定向制造“学生会犯的错”构造数据,实验显示在Llama3 - 8B上数学解题准确率提升13.3%。