「后训练技术」共找到 5930 篇相关文章
1万4颗星！机械臂可以接大模型了！面向真实世界机器人的尖端人工智能LeRobot
LeRobot 为 PyTorch 中真实世界机器人提供模型、数据集和工具，降低入门门槛。包含尖端方法，已提供预训练模型等，未来将增加真实机器人支持，文中还介绍其安装、使用等内容。
推理效率狂飙60倍：DiDi-Instruct让扩散大模型16步超越千步GPT
普渡大学等研究者提出 DiDi-Instruct 后训练方法，可将扩散大语言模型推理加速 60 倍，超越传统 GPT 模型。该方法实现推理效率与效果双提升，为大语言模型落地提供新方案。
ParScale：一种全新的大模型Scaling Law
文章提出并行扩展（ParScale）路线，在不增模型参数下，通过引入并行流提升性能。新扩展定律打破传统范式，两阶段后训练策略降成本，还适用于边缘设备，研究仍在进行。
哈佛发现基础模型比你想象中更强大：纯采样方法可超越RL
论文提出基础模型本身已具备强大推理能力，通过“幂采样”纯采样算法，在多推理任务上媲美或超越RL后训练，挑战“RL才能提升推理”观念，为理解基础模型潜力开新视角。
大模型“记性差一点”反而更聪明！金鱼损失随机剔除token，让AI不再死记硬背
马里兰大学等团队提出金鱼损失法，训练时随机剔除部分token，让模型不逐字记内容，仍学语言规律。实验显示，LLaMA - 2用该方法后记忆内容减少，下游任务性能影响小。
腾讯混元最新开源：一套RL框架打通多个模态，庞天宇团队新作
大语言模型的RL技术已成熟，但多模态生成模型的强化学习训练仍“各自为战”，制约AIGC模型能力上限。腾讯混元庞天宇团队开源UniRL框架，打通多模态RL后训练，覆盖多种模型，内置算法与奖励组件。
惊天大瓜！中东土豪发「纯血」大模型，背后底座竟是MiniMax？
沙特发布号称100%沙特血统的国家级大模型HUMAIN M3，后被发现基于中国MiniMax的M3模型。沙特用超1万亿阿拉伯语Tokens后训练，使模型在阿拉伯语赛道领先，代表中国AI出海新形态。
Kimi新架构让马斯克叹服！17岁高中生作者一战成名
17岁高中生陈广宇作为共同一作的论文提出Attention Residuals技术，将注意力机制“旋转90度”。该技术可让模型“回头看”，经Kimi Linear 48B大模型验证，训练效率提升25%，推理延迟增加不到2%。
创业三年半，23人的AI公司卖了30亿
投资界消息，英伟达超4亿美元收购加拿大AI初创公司CentML，将其19人团队收入囊中。CentML由95后华人博士王尚及导师创立，以‘张量编译器Hidet’为核心技术，降低AI训练成本。
LoRA中到底有多少参数冗余？新研究：砍掉95%都能保持高性能
这篇创新研究介绍了LoRI技术，证明即使大幅减少LoRA的可训练参数，模型性能依然强劲。研究团队在多个任务上测试了LoRI，发现仅训练LoRA参数的5%，LoRI就能匹配或超越其他方法的性能。