搜索：训练数据污染

「训练数据污染」共找到 3919 篇相关文章

OpenAI没做到，DeepSeek搞定了！开源引爆推理革命

文章围绕大语言模型推理能力展开，介绍了推理模型概念，回顾RLHF训练流程，对比OpenAI的PPO和DeepSeek的GRPO，还阐述了GRPO开源升级版DAPO的关键技术点及训练中模型的新能力。

本文讲述作者公司小伙伴达达体验给具身智能做数据采集工作的经历。具身智能数据获取难，催生数据采集员岗位。达达面试顺利，工作时先觉新奇，后感手腕酸，日薪200 - 250元，凸显AI进步背后普通人的贡献。

OpenAI前CPO Kevin Weil创业，新公司定位是“为AI模型收集科学数据”的平台，估值达7.5亿美元。AI4S赛道成为硅谷离职AI高管热门去向，正从概念叙事进入基础设施建设阶段，包括数据、模型、应用层。

在具身智能崛起时，灵巧手成人工智能落地核心突破口。2025年5月25日相关线上沙龙中，嘉宾围绕灵巧手软硬件、数据与模型、落地应用等交流，探讨数据难题、开源价值、落地挑战及中美差距等。

阿里与清华研究发现，训练大语言模型（LLM）推理时，真正关键的是20%的高熵token，其余80%低熵token几乎无用。仅用20%高熵token做强化学习，效果超全量训练，还提出RLVR训练策略提升效率。

近日，灵初智能完成约20亿元天使轮及Pre - A轮融资，资金将用于物流场景落地与数据采集体系建设。其团队互补，突围逻辑是All in人类原生数据，自研采集方案，走“模型驱动数据”路径，定位“大脑驱动公司”。

文章围绕神经网络过拟合问题展开，介绍了过拟合的概念、危害及产生原因，阐述了缓解过拟合的正则化方法，重点介绍了Dropout随机失活，还指出其局限性及在大模型中的应用策略。

论文研究发现大模型经强化学习训练解题时，会出现模型探索欲望急速下降的熵崩溃现象，如训练初期策略熵断崖式下跌。对此进行规律分析、追根溯源，提出破解方法，研究对AI训练范式变革有重要意义。

光轮智能联合创始人杨海波表示，AI发展让合成数据需求增大。该公司为具身智能行业提供3D合成数据，服务众多头部企业。其优势在于技术视野与路径独特，强调物理交互、人类示范等。还谈及创业要点与AI赛道变化。

DeepTech对话智元机器人首席科学家罗剑岚，围绕其团队发布的机器人世界模型τ0 - WM展开。罗剑岚认为机器人不能只在静态数据集上模仿，要能预测动作后果，还探讨了数据作用、工作关系及开源意义等。