「预训练数据」共找到 3960 篇相关文章
“AI大神”李沐终于开源新模型，爆肝6个月，上线迅速斩获3.6k stars！
7月23日，“AI大神”李沐开源音频基础模型Higgs Audio v2，构建于Llama - 3.2 - 3B之上，预训练数据丰富。该模型在多个测评中成绩领先，有多种能力，李沐介绍其技术及训练方法。
人大-清华-腾讯发布：音频 - 视觉多模态任务统一框架
人大、清华和腾讯合作发布Crab论文，目标是实现多模态场景理解任务的高效一统。它针对音频 - 视觉理解模型难点提出解决方案，构建数据集、设计LoRA结构、统一架构，训练分预训练和指令调整两阶段。
当200位具身从业者被拉进同一个屋子
量子位等联合发起沙龙，近200位具身从业者探讨具身智能从实验室走进物理世界的问题。乐聚工程师指出具身数据瓶颈，蚂蚁灵波郑可成介绍模型，上海交大李永露分享评测基准，圆桌对话探讨数据挑战与破局路径。
全自研仿真GPU求解器x虚实对标物理测量工厂，打造具身合成数据SuperApp，加速具身仿真生态丨光轮智能@MEET2026
在量子位MEET2026大会上，光轮智能杨海波指出具身智能核心是数据，仿真是解决数据问题的唯一方案。光轮智能自研“测量、生成、求解”基础设施，建立全栈仿真平台，还打造多个“爆品应用”，为具身智能发展提供支撑。
李静海院士团队：未来数据系统的逻辑与架构 | Engineering
本文展望数据科学未来，强调其对AI重要性。探讨科学数据系统挑战，提出收集处理原则，指出要重视数据系统逻辑与架构研究，建立标准协议框架，促进AI健康发展。
训练MoE足足提速70%！华为只用了3招
Scaling Law下，MoE成扩展模型能力法宝，但训练难题凸显。华为构建Adaptive Pipe & EDPB优化方案，还打造DeployMind仿真平台，解决了MoE训练中通信等待、负载不均等问题，使训练吞吐提升72.6%。
2篇最新Anthropic论文，揭开LLM对齐新范式
Anthropic在5月连发两篇研究，揭示LLM对齐训练新范式。指出单纯模仿正确行为不足以保证安全，需在预训练与对齐微调间插入教原理阶段。研究围绕Claude模型展开，有多项关键发现，MSM方法效果显著。
机器人的「GPT时刻」来了？丰田研究院悄悄做了一场最严谨的VLA验证实验
丰田研究院（TRI）团队研究大型行为模型（LBM），在近1700小时机器人数据上训练并大量部署评估。发现LBM性能提升显著，预训练小数据量也能带来增益，预示机器人通用大模型或到来。
一年从3B卷到0.xB：MonkeyOCRv2用0.7B拿下17语种文档解析开源第一
文档OCR正迈入小模型时代，MonkeyOCRv2以0.7B、0.6B参数在MDPBench上超越3B模型。它重新分配系统职责，采用互补预训练目标，还开源训练数据，且迁移到多任务表现良好。
让AI变成Super员工的秘密：高效训练Skills
文章复盘打造 web - testing Skill 的 4 个翻车教训，分享工程化训练心法。指出训练 Skill 能让 AI 在业务里更可靠，将通用模型变成懂业务、会自检、能稳定交付的员工，还给出训练方法。