后训练流程」共找到 4341 篇相关文章

算法论文8

微软 & UT Dallas 联手揭秘:从 SFT 到 RL 的进阶之路

微软与 UT Dallas 合作论文揭秘大模型做漏洞检测从 SFT 到 RL 的后训练流程,构建 C/C++ 漏洞数据集跑通全流程,总结六大‘避坑’指南,还开源整套框架、数据集和模型。

深度学习自然语言处理
算法论文8

ParScale:一种全新的大模型Scaling Law

文章提出并行扩展(ParScale)路线,在不增模型参数下,通过引入并行流提升性能。新扩展定律打破传统范式,两阶段训练策略降成本,还适用于边缘设备,研究仍在进行。

通义千问Qwen
开源动态8

Transformers来到了v5时代:从工具包到真理之源,AI时代的操作系统内核的极简进化论

Transformers v5发布,通过极简定义和极致互通成AI生态核心。它做减法重构代码、拓展训练流程、成推理引擎弹药库、提升量化为核心功能,连接训练、推理与部署,是AI生态通用语言。

AIGC开放社区
开源动态8

微软开源3大突破AI Agent模型,仅140亿参数超越DeepSeek-R1

微软研究院开源AI Agent推理模型rStar2-Agent,140亿参数在多测试超6710亿参数的DeepSeek-R1。其通过智能体强化学习,在训练基础、算法、流程上有三大突破,显著提升性能且降低算力成本。

AIGC开放社区
算法论文8

哈佛发现基础模型比你想象中更强大:纯采样方法可超越RL

论文提出基础模型本身已具备强大推理能力,通过“幂采样”纯采样算法,在多推理任务上媲美或超越RL训练,挑战“RL才能提升推理”观念,为理解基础模型潜力开新视角。

深度学习自然语言处理
算法论文7

大模型“记性差一点”反而更聪明!金鱼损失随机剔除token,让AI不再死记硬背

马里兰大学等团队提出金鱼损失法,训练时随机剔除部分token,让模型不逐字记内容,仍学语言规律。实验显示,LLaMA - 2用该方法记忆内容减少,下游任务性能影响小。

量子位
新闻资讯8

惊天大瓜!中东土豪发「纯血」大模型,背底座竟是MiniMax?

沙特发布号称100%沙特血统的国家级大模型HUMAIN M3,被发现基于中国MiniMax的M3模型。沙特用超1万亿阿拉伯语Tokens训练,使模型在阿拉伯语赛道领先,代表中国AI出海新形态。

新智元
新闻资讯7

创业三年半,23人的AI公司卖了30亿

投资界消息,英伟达超4亿美元收购加拿大AI初创公司CentML,将其19人团队收入囊中。CentML由95华人博士王尚及导师创立,以‘张量编译器Hidet’为核心技术,降低AI训练成本。

芯师爷
开源动态8

社区供稿丨以小博大!Nanbeige4-3B重磅开源:硬刚Qwen3,挑战小模型能力新高度

近年来大语言模型发展陷入‘参数军备竞赛’,成本高昂。Boss直聘南北阁实验室发布Nanbeige4 - 3B,仅30亿参数,在预训练训练阶段采用多种创新技术,在多方面媲美甚至超越大模型。

Hugging Face
产品应用7

从衣服到饰品:OmniTry 实现珠宝、包袋等多类可穿戴物品的虚拟试穿

Kunbyte提出OmniTry,将VTON从服装扩展到任意可穿戴物品,采用无掩码设定。它经两阶段处理流程训练,在12种常见物品类别评估中表现优,有扩展潜力,但也存在训练数据类别限制等局限。

带你学AI