搜索：大模型预训练

「大模型预训练」共找到 9628 篇相关文章

揭秘LLM“思考”之谜：推理即“梯度下降”，元学习框架解构训练过程，还给优化提供新思路

上海AI Lab团队提出RaML框架，从梯度下降和元学习角度揭示LLM“思考”机制。通过实证验证推理轨迹作为参数更新的合理性，还对比不同训练策略，指出RaML为优化LLM性能提供新思路。

近日，Anthropic发布研究，描绘AI正替代哪些工作。其构建“实际暴露度”指标，基于Claude对话数据测得。研究列出10大“高危”职业，也指出部分工作不受影响，还揭示高暴露群体特征及青年招聘情况。

英伟达黄仁勋在CES演讲，宣布进入自动驾驶领域、推出Alpamo模型与下一代计算平台Rubin。他指出计算行业正经历平台性转变，还介绍AI进展、应用架构，Rubin平台性能强且能效高。

李飞飞创业公司 World Labs 推出可商用世界模型 Marble，支持多模态输入，生成的 3D 世界更丰富细致。李飞飞认为空间智能是 AI 下一个前沿，当前 AI 在这方面能力不足，而 Marble 正推动其发展。

当前AI体验出现严重“阶层折叠”，极少数人用Fable、GPT - 5.6等顶级大模型，大众用的是低参数的平庸产品。算力成本让普通人难以触及顶级AI，在医疗等领域也存在使用差距，不过也有人认为普通工作无需顶级模型。

在第八届GAIR全球人工智能与机器人大会“数据&一脑多形”分论坛的圆桌论坛上，高飞、金鑫、王靖博三位学者围绕具身智能、空间智能、世界模型等话题展开讨论，探讨研究进展、挑战与机遇，还谈及创业和数据获取等问题。

浪潮信息发布新一代AI超节点“元脑SD200”，可让64张卡像一张卡。它支持四大国产开源模型同时运行，实现算力聚合突破，通过软硬协同优化提升推理性能，采用开放架构推动“智能平权”。

北大卢宗青是国内第一视角数据最早押注者和隐空间路线推进者。他认为人类视频是具身智能唯一可规模化的数据路径，创立BeingBeyond走隐空间世界动作模型路线，成本低、推理快，还发布全球首个隐式触觉世界动作模型Being - H0.8。

华为发布openPangu-Embedded-7B-v1.1，参数7B却有双重“思维引擎”。采用渐进式微调策略和快慢思考自适应模式，可自由切换快慢思考，在多评测中精度提升，思维链减近50%。还推出openPangu-Embedded-1B小模型。

Google DeepMind的Demis Hassabis在All - In Summit访谈分享观点，认为世界模型Genie 3是AGI必经之路，由其引导的人形机器人是关键形态。他还谈及Google DeepMind战略定位、AI在多领域应用及迈向AGI挑战等。