搜索：数据质量评估

「数据质量评估」共找到 3451 篇相关文章

上交、清华、微软、上海AI Lab等联合发布数据分析智能体综述，LLM化身数据分析师，让数据自己「说话」

传统数据分析方法耦合度高、扩展性差，大语言模型与智能体让数据分析迈向“语义理解”。上交、清华等机构联合撰写综述，回顾演进，提出新范式，总结关键技术、趋势及挑战，推动通用数据分析智能体发展。

深势科技开源OmniScience数据集，含150万个高质量图文对。它利用先进工具攻克图文提取难题，经严格筛选成型，涵盖多学科。还设计重写流水线提升图文语义契合度，基于此训练的模型表现优异。

2025年5月6日，智源研究院在全球开源创新论坛发布中英文高质量数据集CCI 4.0，同步在多平台开源。CCI 4.0规模大，处理严格，此前CCI系列反响好，未来将持续建设中文预训练语料库。

红杉中国推出全新AI基准测试工具xbench，采用双轨评估体系，构建多维度测评数据集，追踪模型理论能力上限与Agent实际落地价值。还采用长青评估机制，首期发布两个核心评估集并给出综合排名，公开后邀各界完善。

InfoQ《极客有约》X AICon 直播栏目邀专家探讨企业数据智能应用。谈及构建数据集、优化检索效率等问题，还分析数据准备挑战、DeepResearch 优势，指出数据智能落地面临组织与技术层面的挑战。

在人工智能领域，推理语言模型在医学场景应用存在挑战，达摩院推出多智能体框架ReasonMed，提出医学推理数据生成新范式，开源百万级高质量数据集ReasonMed370K，验证了‘小模型 + 高质量数据’的潜力。

Uber构建的HiveSync是分片式批量复制系统，能让Hive和HDFS数据跨区域同步，每天处理数百万Hive事件。它基于Airbnb ReAir扩展，分离控制与数据平面，有复制和数据修复两组件，未来计划拓展到云端。

生成式AI普及，数据保护成挑战。来自多机构研究者发布论文，提出全新数据保护分级体系，分为数据不可用、隐私保护、可溯源、可删除四级，还探讨了技术、法规及面临的挑战。

为解决基础模型在专业领域表现不佳、依赖人工标注数据的难题，北大、MIT等机构提出「合成数据强化学习」框架。该框架仅需任务定义，能生成合成数据微调模型，在多领域基准上性能提升显著，代码已开源。

随着AIGC技术进步，故事可视化引发关注。阶跃星辰携手上科大、西湖大学提出ViStoryBench可视化评估框架，通过构建多元化数据集、建立多维度评估指标，对超20种技术方案评测，为行业发展提供评估工具。