Python对Spark的极大期望:获得每一行的结果

Question

我正在使用python很高的期望来验证我的数据，使用Apache。基本上，我想对数据帧的每一行添加一个标志is_valid。要添加此标志，我需要对行中的每个列应用多个检查。对于一列考虑整行的结果，期望很高。有没有办法用远大的期望来实现这一目标？

Answer 1

如果您试图添加到数据框架中，您正在验证“远大期望”，目前这在“远大期望”中是不可能实现的。您可以向管道中添加一个步骤，该步骤将解析检查点生成的验证结果，然后根据该步骤的结果将其附加到您的数据框架中。