「预训练数据」共找到 3960 篇相关文章
英伟达祭出NVFP4核弹：大模型训练根本性转变，GB300效率狂飙7倍
英伟达推出新格式NVFP4，能以4 - Bit速度与效率实现16 - Bit生产件级训练精度，是LLM开发重大飞跃。虽处于研究阶段，但正与多组织合作。还介绍其方法、优势，实验也证明它在大规模训练的有效性。
英伟达笑到最后！训练2000步，1.5B逆袭7B巨兽，Scaling真来了
英伟达团队提出ProRL训练法，将强化学习扩展到超2000步。用此方法训练的15亿参数模型媲美70亿参数的Deepseek - R1 - 7B，在多任务中表现出色，解决了熵崩溃和训练不稳定问题。
JCP | 中科院力学所孙振旭研究员团队：关于物理信息神经网络的预处理：如何在流体力学中更好地利用数据
物理信息神经网络（PINNs）为求解微分方程正反问题提供灵活框架，但数据预处理领域待探索。本文提出数据预处理方法，通过对数据和方程归一化，在四个湍流案例中提升PINNs流场重建预测准确度，不增计算成本。
CVPR 25 |全面提升视觉感知鲁棒性，生成模型快速赋能三维检测
香港中文大学（深圳）等单位学者提出 DriveGEN 无训练自动驾驶图像可控生成方法，无需额外训练生成模型，通过两阶段策略扩展训练数据，提升三维检测模型鲁棒性，代码已开源。
独家｜红杉领投，智元旗下具身数据平台业务觅蜂科技获数亿元融资
AI科技评论独家获悉，智元机器人旗下具身智能数据平台觅蜂科技完成数亿元种子轮与天使轮融资，由红杉中国领投，多家资本跟投。此次融资用于技术研发等，觅蜂已布局全类型数据，还将建立数据联盟。
短视频刷多了AI也会变蠢！“年度最令人不安的论文”
最新研究显示，大模型灌多垃圾内容会‘脑损伤’，研究人员用不同维度定义垃圾数据并训练模型，测试其核心能力，发现垃圾数据致认知下降，且损伤不可逆，还给出行业启发。
振臂一挥，大半个具身机器人圈都来了！智源研究院：别藏了，谁贡献数据多，谁的大脑就更好用
2025智源具身智能Open Day上，智源研究院院长邀厂商共享数据，称谁家贡献多，具身大脑在其机器人上更好用。智源无商业包袱，开源数据、统一评测，布局具身大小脑体系，欲做具身智能“安卓”。
字节清华智能体自动写CUDA内核，比torch.compile加速2.11倍
字节Seed与清华AIR团队开源CUDA Agent，在GPU内核优化基准KernelBench上成绩优异。它是大规模智能体强化学习系统，训练数据经多阶段构建，分阶段训练，全面超越商业模型，还开源了训练数据集。
Cursor为Blackwell从零构建MXFP8内核，MoE层提速3.5倍，端到端训练提速1.5倍
Cursor团队从NVIDIA的Hopper H100s升级到Blackwell B200s后遇性能瓶颈，他们回归基础，从零重写MoE训练层，抛弃对现有CUDA库依赖，释放了Blackwell架构潜能，实现MoE层和端到端训练提速。
豆包背后的“超算大脑”：字节ByteRobust系统跑20多万张GPU，性能刷新SOTA
字节跳动自研的ByteRobust系统登上SOSP 2025，部署于超20万张GPU平台，9600张GPU训练三个月ETTR达97%。该系统应对LLM训练故障，由控制和数据平面构成，能自动发现修复故障，提升训练效率与稳定性。