数据验证是一种检查数据准确性和质量的方法, 通常在导入和处理之前执行。它也可以被认为是数据清理的一种形式。数据验证可确保您的数据是完整的 (没有空值或空值), 唯一的 (包含不重复的不同值), 并且值的范围与您所期望的一致。通常, 数据验证用作etl (提取、转换和加载) 等进程的一部分, 您可以将数据从源数据库移动到目标数据仓库, 以便将其与其他数据联接以进行分析。数据验证有助于确保在执行分析时, 结果是准确的。
数据验证的步骤
步骤 1: 确定数据示例
确定要采样的数据。如果您有大量数据, 则可能需要验证数据示例, 而不是整个数据集。您需要决定要采样的数据量, 以及可接受的错误率, 以确保项目的成功。
步骤 2: 验证数据库
在移动数据之前, 需要确保现有数据库中存在所有必需的数据。确定记录数和唯一 id, 并比较源数据字段和目标数据字段。
步骤 3: 验证数据格式
确定数据的总体运行状况以及源数据与目标中的架构匹配所需的更改。然后搜索不一致或不完整的计数、重复数据、不正确的格式和空字段值。
数据验证方法
您可以通过以下方式之一执行数据验证:
-
脚本编写:数据验证通常使用脚本语言 (如 python) 来为验证过程编写脚本。例如, 可以创建一个 xml 文件, 其中包含要比较的源和目标数据库名称、表名和列。然后, python 脚本可以将 xml 作为输入并处理结果。但是, 这可能会耗费大量时间, 因为您必须编写脚本并手动验证结果。
-
企业工具:企业工具可用于执行数据验证。例如, fme 数据验证工具可以验证和修复数据。企业工具的优点是更稳定、更安全, 但可能需要基础架构, 并且比开源选项成本更高。
-
开源工具:开源选项具有成本效益, 如果它们基于云, 还可以节省基础架构成本。但它们仍然需要一定程度的知识和手工编码才能有效使用。一些开源工具是sourceforge和openrefine。
数据验证方面的挑战
数据验证可能具有挑战性, 原因有几个:
- 验证数据库可能具有挑战性, 因为数据可能分布在整个组织的多个数据库中。数据可能是孤立的, 也可能是过时的。
- 验证数据格式可能是一个极其耗时的过程, 尤其是在您拥有大型数据库并打算手动执行验证的情况下。但是, 对数据进行采样以进行验证有助于减少所需的时间
但是, 在验证了数据后, 现代 etl 工具可以帮助您加快这一进程。作为数据评估的一部分, 您可以确定哪些错误可以在源位置修复, 以及 etl 工具可以在数据在管道中时修复哪些错误。然后, 您可以在数据移动到数据仓库时自动集成、清理和转换数据。