「预训练」共找到 2196 篇相关文章
中科大 × 华为联合突破！SparseRM：1% 参数实现 LLM 偏好建模高效革新
中科大与华为联合提出SparseRM轻量级偏好建模方案，基于稀疏自编码器构建低参可解释奖励模型。实验显示它用不到1%可训练参数，在多任务中性能优，还能融入下游对齐流程，为LLM高效对齐提供新可能。
云计算一哥，给 Agentic AI 工程做“减法”
2025 年亚马逊云科技 re:Invent 大会聚焦 Agent，其首席执行官提出未来各领域将运行数十亿 Agent。该公司欲在 Agentic AI 上重构，推出系列工具，如 Amazon Strands Agents SDK、Amazon Bedrock AgentCore 等，还在模型训练和工程化方面做减法。
田渊栋被裁后新offer排到法国！原来Llama 4.5训完后被卸磨杀驴了
Meta此次裁员引发诸多争议，工作超十年的田渊栋整组被裁。有说法称是因没做出基于Llama 3的推理模型，但田渊栋否认。Llama 4.5训练好后团队被裁，且后续还将裁风控部门。不过田渊栋获多家公司青睐。
百度0.9B参数模型登顶全球第一，聊聊PaddleOCR-VL背后的技术细节
百度PaddleOCR-VL模型仅0.9B参数，在OmniDocBench V1.5榜单获92.6分全球第一，在多能力维度达业界最佳，能处理109种语言。其采用两阶段架构，结合优质训练数据，实现高性能与低内存、快速度的平衡。
Facet-0：NTU王子为团队让机器人在精密装配中「看得懂、插得准、出错能恢复」
新加坡南洋理工大学PINE Lab团队研发Facet - 0机器人基础模型，用于精密装配。它在五项计算机装配任务中平均成功率达82%，能让机器人理解接触状态、判断对错并改进。通过多阶段训练，降低人工干预率，提高失败恢复率。
微软刚发布Mu模型：支持Windows智能体，小参数跑出10倍性能
今天凌晨微软发布创新小参数模型Mu，3.3亿参数性能比肩Phi - 3.5 - mini，体量小10倍，离线NPU笔记本每秒超100 tokens响应。它支持Windows智能体，架构有多项创新，经训练优化后智能体表现出色。
00后投身具身智能创业，剑指机器人界「Model 3」！已推出21个自由度灵巧手
具身智能创业公司灵初智能推出自研灵巧手，每只手21个自由度，操作能力强。其目标是将机器人整机价格打到17000美元，走‘Model 3式的产业破局之路’，还提出分层端到端算法解决训练难题。
对噢！为什么LMs就不能直接输出答案+confidence呢？
当前语言模型在复杂问答任务中存在校准退化问题，本文提出RLCR方法，将概率校准融入RL训练目标，重构奖励函数，在多个数据集实验中显著降低校准误差，不损失准确性，为高风险场景AI部署奠基。
机器人需要一个「思考系统」：τ0-VLA让具身智能迈向长程任务时代
2026 WAIC落幕，具身智能成焦点。当前VLA模型在长程任务中有局限，上海创智学院和智元机器人联合发布τ(0)-VLA，提出分层架构和新推理机制，用大量真机数据训练，在长程任务表现出色。
代码生成要变天了？被质疑架空后，Yann LeCun携320亿参数开源世界模型“杀回来了”
在新一代代码生成模型不断涌现的当下，Meta FAIR CodeGen团队由Yann LeCun领导发布了代码世界模型CWM。它有320亿参数，创新训练方式使它不仅会写代码，还能模拟执行，性能测试表现不俗，在圈内引发热议。