搜索：预训练数据精炼

「预训练数据精炼」共找到 3917 篇相关文章

英伟达新架构引爆全模态大模型革命，9B模型开源下载即破万

英伟达推出全模态大模型OmniVinci并开源，其90亿参数规模性能超同级别甚至更高级别模型，训练数据效率是对手6倍，能精准解析视频和音频，在多模态应用场景中表现卓越，下载量破万。

上海人工智能实验室等研究者完成VL - LN Bench，模拟真实导航场景。它构建自动化数据收集管线，依托InternVLA - N1训练评测。结果显示主动对话可提升表现，但当前方法在实例感知对齐等环节有短板。

3D角色动画创作面临成本高、数据稀缺等问题。腾讯混元团队研发的混元Motion 1.0动作生成基础模型于2025年12月30日开源，通过全链路算法创新，为3D角色动画生成确立新技术范式。

港科大研究团队提出 One4D 框架，可统一 4D 生成与重建，构造同步输出多模态的视频扩散模型，支持多种任务形态。其有 DLC、UMC 等亮点，用合成与真实数据混合策略训练，实验表现佳。

传统自一致性方法虽能提升推理准确率，但计算开销大、收益递减。Meta AI与UCSD团队提出Deep Think with Confidence（DeepConf），可在不增训练成本和不调超参数下，提升推理准确性与效率，本文对其全面解读。

招商局狮子山人工智能实验室团队用RLVR让模型“自学”，构建L0系统，含NB - Agent框架和端到端强化学习训练流程，开源相关内容。测试显示L0显著提升模型性能，展现强大泛化能力。

文章聚焦异构算力技术架构与核心组件，解析主流AI芯片特点、国产芯片技术路线；介绍高速互联技术、网络拓扑结构及优化方法；阐述大模型存储需求、分布式存储技术及数据预处理与加载技术，为AI计算提供全面方案。

5月27日，上海新智具身智能科技有限公司宣布完成近亿元天使轮融资。该公司源自复旦大学，核心团队实力强。它聚焦触觉具身智能，构建技术闭环，在数据采集、模型训练等方面有进展，已在工厂落地POC验证订单。

机器人走出实验室后，训练数据需覆盖真实世界情况。OVOW由多团队完成，被ECCV 2026接收。它从单目视频出发，输出可编辑、可碰撞的实例级Mesh，串联视觉基础模型完成流水线工作，能用于物理仿真。

来自多机构的研究者揭示大模型强化学习中熵变化机制。发现策略熵在训练中急剧下降致性能停滞，提出 Clip - Cov 与 KL - Cov 两种正则化技术调控高协方差标记，遏制熵塌缩，在部分数据集上性能提升显著。