搜索：大规模数据 - AI Reading Hub

「大规模数据」共找到 6816 篇相关文章

庞若鸣还有苹果论文？改善预训练高质量数据枯竭困境

苹果基础模型原负责人庞若鸣在 Meta 任职期间，其在苹果参与的高价值研究仍不断发表。研究团队针对大模型训练中高质量数据枯竭问题，提出 Synthetic Bootstrapped Pretraining (SBP) 预训练流程，提升模型性能。

Google 发布原生多模态向量模型 Gemini Embedding 2，推动 Omni Embedding 发展。Jina AI 团队分享从多模态大模型中「拆」出音频向量模型的经验，介绍架构、训练数据，对比四种做法，还提及评测、应用场景及结论。

大型推理模型在精确数学计算上存在问题，如认知冲突、行为低效、数据稀缺。中科大、港中深、通义千问联合推出CoRT框架，用创新数据合成与多阶段训练，提升模型推理能力和效率，成果已开源。

提示词注入攻击是攻击者操纵AI系统的技术，OWASP将其列为2025年大模型应用风险首位。Meta发布测试数据集，还有多个工具和数据集可用于评估。防护可用AI防火墙，Meta开源小模型。还提到安全性与实用性权衡。

清华、北通院和宾州州立大学研究人员提出“绝对零”训练法，让大模型通过自我博弈生成并解决任务获推理能力。测试显示，其训练出的模型超专家标注样本训练的模型，且能提升编程与数学推理表现。

香港科技大学、Manycore联合开源空间大模型SpatialLM，用于处理3D点云数据。它结合点云特征提取、对齐和语言生成，实现高效转换。研究团队经多种尝试选定基于点的方法及Sonata编码器，还选Qwen2.5 - 0.5B为基础模型。

英伟达在华盛顿GTC大会开源OmniVinci全模态大语言模型，实现视觉、音频、语言统一理解。它性能超竞品，架构有创新，数据引擎庞大。实验有重要洞察，在多场景表现佳，代表全新AI范式。

维纳智能登上Nature通讯，其让大模型自动生成高精度推理数据，用闭环反馈驱动专业Agent自主演化。该公司在多领域交出工业级精度答卷，还解决了Agent泛滥的困局，推出多款创新产品。

科研等领域图表是信息核心载体，先进开源MLLMs在高难度图表理解测试准确率低。本文提出ECD数据集，规模大、质量高、风格多样，还设计合成流水线与评测基准ECDBench，为开源MLLM提供支持。

空间推理是多模态大语言模型（MLLMs）应用关键挑战，当前‘语言描述式调优’让模型成‘视觉文盲’。多校联合提出MILO范式，结合视觉生成反馈与语言调优，还构建GeoGen数据集，经五大任务验证其有效。