「预训练研究」共找到 3718 篇相关文章
破解MoE模型“规模越大，效率越低”困境！中科院自动化所提出新框架
大模型参数量飙升却陷入‘规模越大，效率越低’困境，中科院自动化所研究团队提出统一框架，直击MoE底层运作模式，让专家‘组队学习’，实现参数量、负载方差降低，达成三重优化。
更大，还能更快，更准！蚂蚁开源万亿参数语言模型Ling-1T，刷新多项SOTA
10月9日，蚂蚁开源万亿参数语言模型Ling-1T。它延续自研高效MoE架构，在编程、数学推理等多维度测试表现亮眼，还能兼顾精确与效率。此外，它在多场景实用性强，其创新设计提升了能效比与性能。
3年手搓ChatGPT！剑桥天才少年在Minecraft游戏中爆火回归
MC大神sammyuri时隔3年发布新作，在MC中复刻ChatGPT，名为CraftGPT。虽参数量小，但用Transformer架构，能和用户交互。模型训练用Python和小数据集，视频存档公布助理解原理。
英伟达一口气开源多项机器人技术，与迪士尼合作研发物理引擎也开源了
英伟达在机器人学习大会上发布多项开源技术，有Newton物理引擎、Isaac GR00T N1.6基础模型等，还在硬件层面下功夫。顶尖公司、高校已用其技术，全栈式布局或重定义机器人研发规则。
OpenAI宋飏被Meta挖跑了！扩散模型崛起关键人物，加入MSL再会师清华校友赵晟佳
最新消息，扎克伯格从OpenAI挖走华人研究员宋飏。他是扩散模型崛起关键人物，曾带队OpenAI战略探索团队。在OpenAI他成果显著，其研究或终结扩散模型。现加入Meta MSL，与清华校友赵晟佳会师。
AI 本地跑？Google 新开源模型上线，本地量化后占用不到 200MB 内存，支持百余语言
Google DeepMind推出开源嵌入模型EmbeddingGemma，专为本地设备高效运行设计。它用Matryoshka方法和量化感知训练，提升效率。在MTEB测试中成绩佳，支持百余种语言，内存占用少，已集成多种工具。
OpenAI真正王牌，不是Ilya！刚刚，奥特曼罕见致谢这两人
大众视野里OpenAI故事只剩几个响亮名字，但Jakub Pachocki和Szymon Sidor这对从波兰高中走出的搭档，用默契把不可能变现实。从Dota AI到GPT - 4，他们身影贯穿OpenAI核心节点，奥特曼罕见致谢他们。
培养好品味
如今AI时代，软件竞争不再只看能否正常工作，产品品味成关键。文章指出品味是经长期训练的直觉，还给出培养方法，如接触优秀作品、思考喜好原因、大量练习并寻求反馈。
大模型赋能的具身智能：自主决策和具身学习技术最新综述
具身智能是通往通用人工智能的关键路径，但传统方法有泛化瓶颈。电子科大最新综述梳理大模型赋能具身智能的自主决策与具身学习，还将‘World Model’纳入统一框架，为研究者提供路线图。
高效大规模创新3D重建模型iLRM
多数基于Transformer架构的模型处理多视图输入有可扩展性问题，成均馆大学、延世大学研究人员提出创新3D重建模型iLRM。它通过迭代细化机制生成3D高斯表示，有独特架构设计和高效注意力机制。