搜索：训练数据生成

「训练数据生成」共找到 5507 篇相关文章

前OpenAI科学家&GPT之父：预训练精准数据过滤，极低成本削弱大模型危险能力数千倍

Claude价值观塑造者Neil Rathi和GPT之父Alec Radford发论文，提出预训练时精准“删掉”危险知识碎片，以极低计算成本将大模型特定危险能力削弱数千倍，且不损通用智能。

面壁发布 1B 参数量级最强端侧文本大模型 MiniCPM5 - 1B，其 Base Model 由 AI 编写的训练框架 ForgeTrain 训出，速度超英伟达 Megatron 10%。该模型性能出色，部署门槛低，数据治理方案对应数据集也已开源。

李飞飞创办的 World Labs 发布新一代世界模型 Atlas，称其为‘全球首个多模态世界模型’。它从零训练，能同时完成视频生成、3D 重建和时空模拟，已向少数伙伴开放测试，未来将成 Marble 底层模型。

作者白杨SEO指出，生成式人工智能发展快，AI搜索优化GEO受关注。介绍了豆包、DeepSeek等多个AI搜索生成内容引用来源，如豆包引用抖音、头条等，DeepSeek用开源数据等，还提及各平台优化要点。

机器人是AI热门领域，但面临数据荒。训练数据分真实与合成两类，前者质量高但成本高、规模有限，后者成本低。数据标注服务商高价回收做家务等视频作训练素材，各方努力下优质数据仍短缺。

英伟达联合MIT等推出Long - RL，它是面向长序列推理和多模态强化学习的全栈训练框架，能提升RL训练数据长度上限，让训练速度翻倍。其核心MR - SP并行框架可降低训练耗时和显存，LongVILA - R1是其明星应用。

现有文生音频技术在精细化控制方面有挑战，清华团队提出ControlAudio方法。它通过数据构造、渐进式训练和引导采样，在统一框架下实现时间与语音内容联合建模，在多项任务上表现优于现有方法。

港科大研究团队提出 One4D 框架，可统一 4D 生成与重建，构造同步输出多模态的视频扩散模型，支持多种任务形态。其有 DLC、UMC 等亮点，用合成与真实数据混合策略训练，实验表现佳。

基于LLM的段落排序方法中，listwise排序虽有优势，但当前重排器难处理复杂推理查询。ReasonRank通过生成推理密集型训练数据及两阶段后训练，赋予listwise重排序器强推理能力，在BRIGHT榜单击败Meta。

具身智能进入数据scaling时代，VLA模型训练中数据并非越多越好。上海交大同济等校团队提出ATHENA框架，将影响函数扩展到十亿参数VLA模型，解决计算和筛选难题，实现313倍加速，实验证明其用更少数据获更好效果。