用Python检查数据质量

Question

目前正在尝试编写代码，以检查数据质量为7GB的数据文件。我试着用谷歌搜索，但没有结果。最初，代码的目的是检查有多少是nulls/NaNs，然后将其与另一个数据文件连接起来，并比较每个文件之间的质量。我们期待第二个是更可靠的，但我想稍后自动化整个过程。我想知道这里是否有人愿意使用Dask共享他们的数据质量python代码。谢谢

Answer 1

我建议采取以下办法：

• 试图定义如何在小型数据集上检查质量，并在Pandas
• 中实现该过程，方法是如果“文件的每个部分”或分区质量好，则整个数据集的质量高于整个数据集的质量。
• 使用Dask的map_partitions对数据集的分区进行并行处理。