星火3.2.1中的Great_Expectations条件期望与DataBricks中的Pandas

Question

我们希望在具有条件期望的DataBricks中实现DataBricks‘。根据通用电气的文档，https://docs.greatexpectations.io/docs/reference/expectations/conditional_expectations只适用于熊猫，这个论点在默认情况下必须设置为“熊猫”，因此需要适当的语法。其他引擎可能会在未来实施。

有没有人知道它是否可以在与Pandas集成的Spark3.2.1中实现？如果没有，有什么建议在DataBricks中处理Spark3.2.1中的条件期望？

Answer 1

这个功能现在被实验支持w/ Spark。文档仍在更新中，但是您现在应该能够通过将row_condition作为condition_parser传递给Spark数据源，从而在预期的情况下设置condition_parser。