「后训练技术」共找到 5938 篇相关文章
390亿美元,全球具身智能第一估值来了!英伟达持续加注中
与OpenAI分道扬镳后,Figure C轮融资获超10亿美元承诺资本,投后估值达390亿美元。资金将用于扩大人形机器人大批量制造与部署、搭建GPU基础设施、启动数据采集项目,助力具身智能发展。
Anthropic 最新论文:阻止 AI 叛变的方法
Anthropic新论文探讨阻止AI叛变方法。当前对齐训练易致AI在极端情况“反水”,因模型只学行为未理解原因。提出MSM方法,在训练中加一步,让模型理解规则背后价值观,使叛变率大幅降低。
OpenAI突然开源新模型!99.9%的权重是0,新稀疏性方法代替MoE
OpenAI悄悄开源新模型,0.4B参数且99.9%权重为零,是Circuit Sparsity技术的开源实现。该技术通过约束模型内部连接稀疏性,解决传统稠密Transformer黑箱问题,或让MoE模型走上末路,但目前算力成本极高。
GPT之父把AI扔回1930年:没见过一行代码,却「发明」了Python!
GPT之父Alec Radford带队发布总参数130亿的大模型「talkie」,其训练数据冻结在1930年,没学过编程却能写Python代码,证明LLM可用旧知识推理。团队后续还有升级计划。
面壁MiniCPM-SALA模型,稀疏-线性注意力,单卡吞吐百万上下文
面壁智能团队提出SALA,基于此训练的MiniCPM-SALA模型,在单张A6000显卡实现百万token超长上下文推理,训练成本降约75%。它结合稀疏与线性注意力,采用混合架构,继承权重降低成本,在长文本处理上优势明显。
从「会表演」到「更会演」:KlingAvatar2.0让数字人拥有生动灵魂
近日快手可灵团队发布 KlingAvatar2.0 技术报告,数字人能‘生动表达’。它有三大创新技术,如时空级联框架等。实验显示其生动性大幅提升,性能超竞品,推动数字人在多领域规模化应用。
Manus被收购前最后一次访谈:季逸超还不知道Meta即将来敲门
这是Manus被收购前,联合创始人季逸超的访谈。他回顾从猛犸浏览器到Manus的创业路,谈GPT - 3冲击,还评价搭档肖弘。访谈后不久,Meta宣布全资收购Manus。
建模世界偏好:偏好建模中的Scaling Laws
研究首次揭示人类偏好建模遵循Scaling Law,从论坛收集数据在Qwen 2.5模型训练,发现测试损失随训练规模指数增长线性下降。提出建模世界偏好,论文和模型已开源,还探讨了偏好建模可扩展性等问题。
缺数据也能拿SOTA?清华&上海AI Lab破解机器人RL两大瓶颈
现有机器人视觉 - 语言 - 动作(VLA)模型训练范式存在数据采集成本高、泛化能力不足等问题。清华和上海AI Lab团队提出SimpleVLA-RL,解决了VLA模型训练的核心瓶颈,在多基准测试中实现SoTA性能。
机器人的「GPT时刻」来了?丰田研究院悄悄做了一场最严谨的VLA验证实验
丰田研究院(TRI)团队研究大型行为模型(LBM),在近1700小时机器人数据上训练并大量部署评估。发现LBM性能提升显著,预训练小数据量也能带来增益,预示机器人通用大模型或到来。