如何使Great_Expectations在Apache中使用Spark :未识别的火花类型: string

Question

我有一个，它是一个“string”类型字段。但是，Great_Expectations不识别字段类型。我已经导入了我认为必要的模块，但不确定为什么Great_Expectations不识别该字段

import great_expectations as ge
import great_expectations.dataset.sparkdf_dataset
from great_expectations.dataset.sparkdf_dataset import SparkDFDataset
from pyspark.sql.types import StructType, StructField, IntegerType, StringType, BooleanType

下面的代码将csv中的数据读取为

test = spark.read.csv('abfss://root@adlspretbiukadlsdev.dfs.core.windows.net/RAW/LANDING/customers.csv', inferSchema=True, header=True)

下面显示了模式：

test.printSchema()
Command executed in 2 sec 64 ms by carlton on 1:53:28 PM, 6/17/21
root
 |-- first_name: string (nullable = true)

我认为下面的代码行从上面的Spark创建Great_Expectation数据

test2 = ge.dataset.SparkDFDataset(test)

然后，我按照以下期望进行编码：

test2.expect_column_values_to_be_of_type(column='first_name', type_='string')

但是，我得到以下错误：

ValueError: Unrecognized spark type: string
Traceback (most recent call last):

  File "/home/trusted-service-user/cluster-env/env/lib/python3.6/site-packages/great_expectations/data_asset/util.py", line 80, in f
    return self.mthd(obj, *args, **kwargs)

不知道为什么Great_Expectations不能识别火花类型？

Answer 1

您需要使用诸如StringType、LongType等名称-与文档中指定的名称相同。应该是这样的：

test2.expect_column_values_to_be_of_type("first_name", "StringType")

见截图：

​

​