「预训练时代」共找到 3275 篇相关文章
揭秘LLM“思考”之谜：推理即“梯度下降”，元学习框架解构训练过程，还给优化提供新思路
上海AI Lab团队提出RaML框架，从梯度下降和元学习角度揭示LLM“思考”机制。通过实证验证推理轨迹作为参数更新的合理性，还对比不同训练策略，指出RaML为优化LLM性能提供新思路。
正交化之外是什么？微软等提出ARO优化器：训练提速1/3，揭示矩阵优化新「蓝海」
微软研究院联合多校发布论文，提出新优化器 ARO。它将梯度旋转作为原则，能让大模型训练提速约 1/3，比 Muon 高效 10% - 15%，还能全模型优化，揭示了矩阵优化新方向。
GitHub 2.5万星！日本开发者打造的Hono火了：定义后React时代微框架的轻量未来
本周，Web 框架 Hono 在 X 官宣，GitHub 获 25000 星标。它由日本开发者 Yusuke Wada 于 2021 年创建，基于 Web 标准，可在多运行时运行，或指明后 React 时代 Web 框架方向。
字节Seed新方法！开源8B代码模型：自己筛数据训练自己，同量级SoTA，还能超越百亿级对手
传统code大模型依赖人工筛选数据，成本高、效率低。而Seed - Coder团队让LLM自己筛选数据训练自己，打造8B参数轻量级开源代码模型，性能超百亿级对手，不过也存在通用和数学能力短板。
速递｜前字节Seed强化学习专家孙鹏加入星尘智能，将大模型后训练经验带到物理世界
9月2日消息，前字节跳动Seed团队强化学习专家孙鹏博士加入星尘智能，负责机器人强化学习方向。星尘智能有技术、资本和商业优势，孙鹏经验丰富，此次加入将助力其强化学习后训练发展。
泛娱乐 AI 赛道观察： 从「猜你喜欢」到参与共创，角色才是 AI 时代最核心的资产
文章围绕AI泛娱乐产品展开，指出AI时代产品观应从二元对立转为三元共生。AI可实现个性化体验，从“猜你喜欢”到“与你共创”。还分析了不同体验心态及案例，强调角色是核心资产，未来产品可降低门槛、扩圈发展。
用得越多、失业越快？GitHub 大改 Copilot 规则：默认拿个人代码训练 AI，还搬出 Anthropic 挡枪！
当地时间3月26日，GitHub宣布自4月24日起，Copilot Free、Pro和Pro+用户交互数据默认用于训练改进AI模型，但用户可手动退出。它称此举因模型需更多数据，还拿微软等挡枪，却遭开发者吐槽。
机器人视觉语言导航进入R1时代！港大联合上海AI Lab提出全新具身智能框架
香港大学与上海AI Lab联合提出VLN - R1，可将自然语言指令转化为连续导航动作，打破传统链条。它有两阶段训练等创新支柱，在测试中表现出色，小模型性能佳，推动具身智能从数字向具身认知跨越。
全球首份大模型业绩报！MiniMax预判2026三大超级PMF，AI平台公司启程了
港交所上市52天，MiniMax交出IPO后首份年报，2026年2月ARR突破1.5亿美元，2025年营收同比增158.9%，毛利飙升437%、亏损率收窄。它产品密集迭代，还预判2026年有三个超级PMF，欲成AI平台型公司。
Shopee OnePiece：业内首个融合上下文工程、隐式推理和多目标训练策略的生成式搜推建模框架
2025年生成式推荐发展火热，但工业界落地多在序列化建模，替换传统范式遇阻。Shopee傅聪团队联合人大高瓴学院提出OnePiece范式，是业内首个融合多策略的生成式搜推建模框架，含上下文工程、隐式推理和多目标训练策略。