「FP8训练」共找到 2614 篇相关文章
4000万样本炼出AI读心术,刷新七榜SOTA,最强「人类偏好感应器」开源
Skywork-Reward-V2全新发布,构建超高质量千万级人类偏好样本,刷新七大评测基准SOTA。8款模型覆盖6亿至80亿参数,小体积也能媲美大模型性能。团队引入多样大规模真实人类偏好数据,提升数据规模与质量。
国内第一视角数据最早押注者,北大卢宗青:隐空间才是具身的路
北大卢宗青是国内第一视角数据最早押注者和隐空间路线推进者。他认为人类视频是具身智能唯一可规模化的数据路径,创立BeingBeyond走隐空间世界动作模型路线,成本低、推理快,还发布全球首个隐式触觉世界动作模型Being - H0.8。
拒绝视频生成,深度跃迁提出具身基座模型全新路线
深度跃迁发布世界动作模型 DELE - w0.5,放弃基于视频生成模型的路线,训练时联合学习动作与未来世界表征,推理时移除该表征分支。在真机实验中表现超基线,具跨背景泛化能力,为世界模型提供新思路。
500万次围观,1X把「世界模型」真正用在了机器人NEO身上
1X公司为机器人NEO引入1X World Model,使其学会‘想象’。该模型借助视频预训练,不依赖大规模机器人数据和遥操作演示,能泛化到新场景。实验显示其在多任务上表现不错,但精细操作有挑战。
高性能计算群星闪耀时
本文介绍了高性能计算(HPC)在大模型时代的重要性,以及清华高性能计算团队在HPC及相关领域的研究与实践。如郑纬民带领团队突破存储技术,陈文光、翟季冬等助力大模型训练,武永卫团队优化推理,张悠慧探索类脑计算。
1.5B刷新数学代码SOTA!快手&清华精细化Token管理,LLM推理能力飙升
快手与清华团队用1.5B参数小模型在推理基准上超越同量级SOTA。其Archer方法通过精细化Token管理,对知识型和推理型Token差异化训练,让知识和推理同步更新且互不干扰,在数学和代码任务表现出色。
禁令之下,黄仁勋再用“阉割芯片”抢夺中国市场
美国芯片出口管制冲击英伟达,其在中国市场损失大、份额降。黄仁勋计划7月推‘阉割芯片’B20、B40/B30抢市场。不同客户有选择倾向,同时国产GPU有机会也面临难题,企业还尝试海外训练模型。
6.1B激活,三榜开源第一!蚂蚁·安诊儿医疗大模型发布
由浙江省卫生健康信息中心等联合研发的开源医疗语言模型AntAngelMed发布。它基于Ling - flash - 2.0,100B总参数仅激活6.1B达约40B密集模型性能,在多个权威医疗基准测评中居前列,采用三阶段训练流程,高效MoE架构。
xAI解散,但Grok还在上新,马斯克官宣新模型
xAI 解散、大批成员离职后,马斯克透露 Grok 最新模型进展,参数量 1.5T 的 Grok V9 - Medium 已完成训练,预计两到三周内发布。他还宣布现有 0.5T 模型年底前开源,此外首款编码智能体 Grok Build 也备受关注。
老黄杀入OpenClaw战场!最强开源「龙虾」模型直逼Opus 4.6
英伟达推出新一代开源模型Nemotron 3 Super,专为大规模AI智能体打造,有1200亿参数,推理快、吞吐量高,性能直逼Claude Opus 4.6等。它解决了Agent应用的难题,还开源了相关数据和训练方法。此外,英伟达还在打造NemoClaw开源AI智能体平台。