如何将数据格式转换为great_expectations数据集？

Question

我有一个熊猫或火花放电数据df，我想在那里运行一个期望。我已经把我的数据存储在记忆里了。如何将数据转换为great_expectations数据集？

这样我就可以做，例如：

df.expect_column_to_exist("my_column")

Answer 1

import great_expectations as ge

大熊猫：

df_ge = ge.from_pandas(df)

或

df_ge = ge.dataset.PandasDataset(df)

火星雨：

df_ge = ge.dataset.SparkDFDataset(df)

现在你可以实现你的期望了

df_ge.expect_column_to_exist("my_column")

Note表示，great_expectations SparkDFDataset并不继承从pyspark中获得的函数。您可以通过DataFrame df_ge.spark_df

访问原始pyspark 。

Answer 2

关于使用ge.from_pandas：https://docs.greatexpectations.io/en/latest/guides/tutorials/explore_expectations_in_a_notebook.html转换Pandas的替代版本，请参见“远大期望”文档/教程