「预训练数据」共找到 3956 篇相关文章
为了训练AI，Meta强制监控了员工的鼠标和键盘
近日，Meta宣布在美国员工电脑装追踪软件，记录鼠标、键盘操作及截取屏幕内容，用于训练AI。这引发员工愤怒，Meta CTO称员工无法退出。Meta AI投入大，此举或因缺训练数据，但也被质疑是在训练替代者。
突破遥操瓶颈！全新无本体数据世界动作模型Noe-0发布
穹彻智能发布世界动作模型 Noe - 0，全链路采用无本体采集数据。其数据来自真实环境，配合 World Action Model 架构和 AI - Native 数据基础设施，跑通从真实世界经验到机器人能力转化的完整链路，是具身智能的里程碑。
5个月估值翻10倍，AI数据赛道跑出一家新独角兽
成立约18个月的AI训练数据公司AfterQuery正筹新一轮融资，估值达32亿美元，5个月涨超10倍。它最初想开发AI智能体，后转收集训练材料。此赛道已有多家高估值公司，且数据隐私和安全风险待解。
不用千亿参数也能合成高质量数据！这个开源框架让小模型“组团逆袭”，7B性能直追72B
上海人工智能实验室与中国人民大学提出GRA框架，以“多人协作”理念让小模型分工生成高质量训练数据。实验显示其生成数据质量高，项目已开源。它打破对大模型蒸馏依赖，展现“集体智能”潜力。
SOTA级的Embedding模型！F2LLM模型、数据、代码全部开源，人人可用
Embedding 模型应用广泛，但主流模型训练困难。蚂蚁集团与上海交大推出 F2LLM，含 0.6B、1.7B、4B 系列模型，仅用六百万数据微调基座，在 MTEB 榜单领先且完全开源。介绍了其数据、训练、测评等情况。
对话际数科技联创：质量赛道的先驱者，要做空间数据的「精炼厂」
本文是对际数科技三位联合创始人的访谈。在具身智能时代数据采集火热但数据荒严重背景下，际数关注数据质量，其以测绘背景为底气，用‘一张图、一把尺、一个飞轮’搭建技术护城河，打造质量因子库，还创新训练质量模型，有稳定商业路径。
AMD新论文颠覆认知：FP4训练不稳定，原因不是随机性不足
大模型训练成本高，降低训练精度可降成本。AMD联合宾州州立大学论文颠覆认知，揭示FP4训练不稳定源于结构性微缩放误差，非随机性不足，还在原生FP4硬件完成大模型预训练。
SceneSplat: 基于3DGS的场景理解和视觉语言预训练，让3D高斯「听懂人话」的一跃
文章引入 SceneSplat，首个在 3DGS 上原生运行的端到端大规模 3D 室内场景理解方法，提出自监督学习方案，构建发布 SceneSplat - 7K 数据集，在多个实验中达 SOTA 效果。
终结数据荒！智源开源首个Deep Research数据合成框架InfoSeek
在大模型深度研究中，高质量数据是短板。近日，智源研究院发布首个面向深度研究的开源数据集InfoSeek，提出「扩散 - 回溯」数据合成方法，用3B模型在基准测试中接近商业模型表现，且数据集可扩容。
0 融资、10 亿美元营收，数据标注领域真正的巨头，不认为合成数据是未来
Surge AI创始人Edwin Chen接受访谈，提出创业应解决问题而非融资，合成数据被高估，高质量数据才是壁垒。他还指出大语言模型竞技场误导训练方向，人类反馈永不过时，数据质量是AI发展首要瓶颈。