「预训练框架」共找到 3484 篇相关文章
大模型顿悟原理！Meta新论文说清楚了
Meta超级智能实验室（FAIR）最新论文把大模型顿悟（grokking）现象的数学机制说清楚了。提出Li2数学框架，将两层神经网络的grokking动态分三阶段，还推导了泛化缩放定律等。
The Batch: 865 | 机器人外科医生的切割与夹闭
约翰·霍普金斯大学等团队开发Hierarchical Surgical Robot Transformer（SRT - H），结合两个transformer模型，通过模仿学习训练，用达芬奇机器人完成胆囊切除关键步骤。虽在体外组织测试表现好，但应对人体手术仍有挑战。
社区供稿 | GLM-4.5技术博客：原生融合推理、编码和智能体能力
文章介绍 GLM-4.5 和 GLM-4.5-Air，二者旨在统一推理、编码和智能体能力。在 12 个基准测试中表现良好，采用 MoE 架构等技术，还开源 slime 框架。文中展示其多方面应用，并说明使用方式。
综述 | 从“说出来”到“脑中算”：Latent Reasoning的范式跃迁与无限可能
大型语言模型用显式思维链推理有局限，潜在思维链（Latent CoT）让推理在连续隐藏状态空间进行。论文梳理该领域，建立框架，介绍方法，探讨可解释性与无限深度推理，指出价值、挑战与未来方向。
小米小爱同学：资源受限下，实现端侧大模型的高性能推理
InfoQ对话小米小爱同学端侧AI负责人杨永杰，探讨大模型端侧部署难题。团队自研推理框架，实现180 tokens/s推理速度，采用共享基座架构支持多业务。未来端侧大模型突破依赖硬件提升与架构演进。
监督学习也能从错误中学习反思？！清华英伟达联合提出隐式负向策略爆炸提升数学能力
清华大学与英伟达、斯坦福联合提出监督学习方案NFT，在RFT算法基础上构造“隐式负向模型”利用负向数据训练。该策略弥合监督与强化学习差距，其损失函数梯度和GRPO在On - Policy条件下等价。
不再止步于自然语言！PhiZero让世界模型学会「物理语言」
PhiZero由中科院自动化所团队研发，探索让AI读懂真实世界运动、交互与变化的“物理语言”。它构建Reason - then - Render框架，经大量数据训练，在多基准测试中表现领先，为AI理解物理世界开辟新通道。
在参与OpenAI、Google、Amazon的50个AI项目后，他们总结出了大多数AI产品失败的原因
Aishwarya Naresh Reganti和Kiriti Badam参与超50个AI项目后，指出多数AI产品失败。他们认为构建成本降低，但设计和明确痛点才是关键，还分享开发陷阱、成功路径，介绍CC/CD框架及AI未来走向。
马斯克点火全球最大超算，首个1GW狂飙奇点！6万亿Grok 5在训
马斯克官宣全球首个吉瓦级超算Colossus 2上线，狂堆55万块GPU，目标百万。下一代Grok 5已在训练，6万亿参数将引爆智能奇点。同时，全球AI巨头掀起算力军备赛，但美国面临电力短缺难题。
自回归科学基座模型 BigBang-Proton，提出实现 AGI 的新路线
超对称公司发布自回归科学基座模型 BigBang - Proton，挑战主流 AGI 技术路线。它实现多学科问题与 LLM 统一预训练和推理，有三项创新，在多专业任务表现出色，还提出宇宙尺度压缩构想。