搜索：元数据性能 - AI Reading Hub

「元数据性能」共找到 4582 篇相关文章

揭秘 Uber 跨区域数据湖与灾难恢复机制：350PB 数据、数百万事件、单一系统

Uber构建的HiveSync是分片式批量复制系统，能让Hive和HDFS数据跨区域同步，每天处理数百万Hive事件。它基于Airbnb ReAir扩展，分离控制与数据平面，有复制和数据修复两组件，未来计划拓展到云端。

在大模型深度研究中，高质量数据是短板。近日，智源研究院发布首个面向深度研究的开源数据集InfoSeek，提出「扩散 - 回溯」数据合成方法，用3B模型在基准测试中接近商业模型表现，且数据集可扩容。

生成式AI普及，数据保护成挑战。来自多机构研究者发布论文，提出全新数据保护分级体系，分为数据不可用、隐私保护、可溯源、可删除四级，还探讨了技术、法规及面临的挑战。

Surge AI创始人Edwin Chen接受访谈，提出创业应解决问题而非融资，合成数据被高估，高质量数据才是壁垒。他还指出大语言模型竞技场误导训练方向，人类反馈永不过时，数据质量是AI发展首要瓶颈。

AI产业正走向“代理式执行”，核心生产逻辑从“数据驱动”转为“词元驱动”。文章阐述了词元经济的形成、生产过程及运行链路，指出AI竞争将围绕词元生产与编排展开。

浙大提出 COIDO 框架解决多模态数据选择「高耗」难题。它摒弃全量扫描，用轻量级评分器和小样本采样，将重要性和多样性的优化统一。实验显示，它性能与效率双优且有强泛化性。

2024年特斯拉和OpenAI在机器人数据采集上路线不同，前者重资产高精度，后者低成本众包。当前数据采集方式各有优劣，难以兼顾质量与成本。数据堂提出分层采集架构，通过场内工厂化和场外众包化双轮驱动解决难题。

CMU、斯坦福等四大名校研究团队挑战“预训练规模越大越好”观点，提出“灾难性过度训练”现象，即增加预训练数据可能导致后训练性能下降，并从现实证据、控制实验、理论分析等方面阐述新研究贡献，还介绍了相关实验及结论。

近年来文本驱动动作生成有进展，但受限于数据集质量。Snap团队提出SnapMoGen数据集和MoMask++模型。前者有2万条动作片段和12.2万条文本描述，后者建模更有效，还结合LLM提升适用性，但二者都有局限。

真机数据匮乏使具身智能VLA模型发展受限，现有真机数据与所需上亿级训练样本相差甚远。BeingBeyond团队提出创新性方案，利用人类视频手部数据构建数据集，训练出VLA模型Being - H0，经实验验证效果良好。