搜索：预训练数据精炼

「预训练数据精炼」共找到 3915 篇相关文章

深度｜Karpathy为何突然加入Anthropic，只能当Dario的「-2」？

5月19日，OpenAI联合创始人Andrej Karpathy宣布加入Anthropic预训练团队。他将组建新团队，用Claude加速预训练研究。文章分析了他加入的原因，以及Anthropic招聘他的动机，还指出这一变动标记着技术拐点。

Generalist AI发布的GEN - 1模型引爆具身智能领域，其多项指标出色，预示具身智能竞争从模型层转向基础设施层。行业关注焦点转移，数据正从‘静态数据集’演进为‘动态教育系统’，评测与仿真基础设施成关键。

密歇根大学Karthik Duraisamy教授将开展讲座，主题为数据驱动的湍流建模。会介绍过去十年嵌入学习模型增强的进展，强调简约与约束平衡，指出存在的陷阱及挑战，还提及让数据驱动封闭成为可靠组件的要点。

Eka Robotics 发布机械臂视频，其能自主拧灯泡、抓取物品。该公司提出 VFA 模型，不依赖人类数据，让机器人在仿真环境自主探索。创始人期望实现超人级灵巧操作，算法还展现泛化和自主发明策略能力。

本文介绍腾讯 Omega，它是为解决传统 BI 和 ChatBI 问题而设计的数据分析产品。Omega 能理解业务问题，生成完整 Dashboard，确保数据流动、安全和稳定，还支持人机协作，提供审美基础设施，性价比高，有完善运行时和监控推送等功能。

论文提出RLSC，让大语言模型用自身答案置信度作奖励信号，摆脱人类标注依赖。它以模型自信度内部信号替代多数投票外部信号，小成本提升模型数学能力，还让模型学会快推理，不过也存在安全隐忧。

Transformer架构核心作者之一Llion Jones团队开源新技术DroPE，可丢弃位置嵌入扩展上下文，解决RoPE长序列处理缺陷，在多模型实验中表现卓越。该团队来自Sakana AI，此前还有相关研究成果。

本文第一作者刘文涵聚焦AI搜索研究。提出推理增强的文档排序模型ReasonRank，在多个榜单击败多校和机构登榜首，其7B版本超越32B模型，论文获Huggingface paper日榜第一。还介绍研究动机、方法及实验结果等。

过去学界争论强化学习（RL）对语言模型的作用，此前研究认为其效果有限。本文发现问题出在训练时间短，提出ProRL，让训练突破2000步以上，结果惊人，小模型也能有出色表现。