「预训练研究」共找到 3687 篇相关文章
17万白领岗消失！Scale AI最新研究：AI仅动用了3%实力
新智元报道，近期多家巨头裁员17万，AI成“罪魁祸首”。但Scale AI和Center for AI Safety研究指出，全球六大顶尖AI自动化率不到3%，新基准RLI评估显示其执行有经济价值项目能力有限。
马斯克开源新模型：能实时抓取社交平台数据，20万块H100训练
马斯克旗下xAI开源去年最佳模型Grok - 2.5，6个月内还将开源旗舰模型Grok 3。Grok - 2.5可实时抓取社交平台X数据，用超20万块H100训练，性能超GPT - 4o等，应用场景广泛。
大模型长脑子了？研究发现LLM中层会自发模拟人脑进化
帝国理工学院等机构研究人员发表论文，指出大型语言模型（LLM）学习中会自发演化出类似生物大脑的协同核心结构。研究对多个模型剖析，揭示其内部处理规律，为大模型可解释性开辟新路径。
豆包是如何炼成的？字节放出自研万卡训练系统ByteRobust论文
文章介绍字节跳动的LLM训练基础设施ByteRobust。它由控制和数据平面构成，关键目标是获高ETTR。该系统优先快速隔离故障、考量人为错误、控制恢复可变性，已部署超一年，效果显著。
无需训练的3D生成加速新思路：西湖大学提出Fast3Dcache
在AIGC浪潮中，3D生成模型虽进化快，但‘慢’和计算量大制约其应用。西湖大学AGI实验室提出无需训练、即插即用的Fast3Dcache框架，能在加速同时保持或提升模型几何质量。
开源即屠榜！UniME多模态框架登顶MMEB全球训练榜，刷新多项SOTA纪录
格灵深瞳等团队联合发布通用多模态嵌入新框架UniME，刷新MMEB训练榜纪录。它是两阶段框架，经文本判别知识蒸馏和困难负样本增强指令微调，在多任务达SOTA，项目已开源。
LeCun力荐的JEPA杀入LLM，用CV的思路训练LLM，性能鲁棒性双丰收
LeCun团队提出LLM - JEPA，将JEPA自监督学习架构从视觉扩展到LLM。它能提升性能和鲁棒性，在多模型和数据集验证有效，但有训练开销大、泛化性不足等局限。
10个小模型并联跑赢GPT-4.1！无额外训练，方法仅4步
上海人工智能实验室等机构提出Avengers框架，无需额外训练，通过四步集结小模型优势。实验表明，其在15个数据集上平均得分超GPT - 4.1，还探究了框架有效的要素，对AI研究和开源社区意义重大。
2025谷歌研究学者计划名单：吴佳俊、Mamba作者Albert Gu、Tri Dao等获奖
本周四，2025年谷歌研究学者计划获奖名单公布。该计划为鼓励与科研人员合作、推动科技进步而设，申请人需为高校教职人员，获奖者最高可获6万美元奖金。本文列出了部分获奖华人学者信息。
离职特斯拉“隐身”14个月，杨硕创业终于亮牌：重新定义机器人训练范式
杨硕从特斯拉擎天柱团队离职创业一年多后，妙动科技团队带来新论文《DiT4DiT: Jointly Modeling Video Dynamics and Actions for Generalizable Robot Control》。该团队用视频训练机器人动作，提出DiT4DiT模型，解决VLA模型不懂物理问题，在人形机器人上有新突破。