「预训练数据」共找到 3960 篇相关文章
腾讯LLM团队：对下一个 Token 预测的深入剖析，多样性 or 精准度？
最新研究证实RL能增强LLM推理，但成效受限预训练token分布。腾讯LLM部把交叉熵重写成单步策略梯度，用超参压熵，为RL打造‘低熵高信号’起点，经实验验证低熵模型优势明显。
大模型是不是到顶了？瓶颈到底在哪
文章探讨大模型是否到顶，指出‘到顶’争论分三个问题，靠堆大模型提升能力之路变平，受数据和成本约束。但大模型还有后训练和推理时计算两个发展方向，未来进步或来自更会用算力。
DeepSeek V4即将发布？先读懂梁文峰这份86页的技术底牌
据报道，DeepSeek计划2月中旬发布V4，此前将R1论文从22页扩充到86页。新增内容涵盖训练细节、成本、数据配方等，还公开失败案例、基础设施和安全报告，或为V4铺路并回应质疑。
监督学习也能从错误中学习反思？！清华英伟达联合提出隐式负向策略爆炸提升数学能力
清华大学与英伟达、斯坦福联合提出监督学习方案NFT，在RFT算法基础上构造“隐式负向模型”利用负向数据训练。该策略弥合监督与强化学习差距，其损失函数梯度和GRPO在On - Policy条件下等价。
社区供稿 | 阿里国际Ovis2.5重磅发布：以小博大，刷新开源模型性能新高度
阿里国际发布多模态大模型Ovis2.5，在OpenCompass综合得分提升，保持SOTA水平。它在原生分辨率视觉感知等三方面突破，有9B和2B两版本，代码、模型等资源已开源，技术原理涉及架构、训练与数据。
斯坦福：优化器「诸神之战」？AdamW 凭「稳定」胜出
斯坦福大学 Percy Liang 团队研究指出，虽有不少声称能显著加速的优化器替代方案，AdamW 仍为预训练稳健首选，但矩阵型方法在特定数据–模型比例下优势明显。研究还揭示了现有研究的方法论缺陷。
具身智能奇点已至！超越π*0.6，极佳视界自我进化VLA大模型拿下世界第一
极佳视界具身大模型 GigaBrain-0.5M*依托世界模型实现自我进化，在多真实任务近 100% 成功，超 π*0.6 成 SOTA。其提出基于世界模型的强化学习范式，用超万小时数据训练，推动通用具身智能发展。
突破具身智能任务规划边界，刷新具身大脑多榜单SOTA，中兴EmbodiedBrain模型让具身大脑学会「复杂规划」
当前主流大语言模型在具身任务场景面临瓶颈，中兴星云大脑团队推出具身视觉 - 语言基础模型 EmbodiedBrain，构建全流程创新框架，在架构、数据训练、评估体系等方面有突破，还将开源成果推动生态发展。
多模态模型学会“按需搜索”，少搜30%还更准！字节&NTU新研究优化多模态模型搜索策略
字节与NTU优化多模态模型搜索策略，通过搭建工具、构建数据集及设奖励机制，用强化学习训练模型，使其按需搜索。实验显示，MMSearch - R1系统少搜30%还更准，为多模态大模型发展提供洞见。
阿里安全AGI一次发布3款LLM，8B多维度领先GPT-5.4
近期，阿里安全AGI实验室发布3款Yuvion LLM，在AI安全与内容安全领域多维度领先。它以‘对抗即智能’为原则，构建五类数据体系，采用三阶段训练范式，通过YLRE四级评测体系验证能力。