向great_expectations的火花会话添加jars

Question

设置：

我的数据在Azure

• Gen2
• 上。我想使用great_expectations包来测试我的数据质量。
• 我正在使用InferredAssetAzureDataConnector data_connector来创建我的数据源(这很有效，我可以在创建过程中看到我在ADLS上的文件)。
• 我正在尝试创建一个测试套件，用自动分析器来检查数据。H 210f 211>

我特别想知道如何将jars添加到星火会话的配置中，great_expectation在运行自动分析器创建测试套件时使用该配置。

该过程失败，因为我需要将org.apache.hadoop:hadoop-azure:3.3.1 jar添加到星火会话中，以便spark作业能够访问和分析ADLS上的数据。

对于如何在great_expectations包的上下文中做的任何帮助都将不胜感激。

错误信息：

Great Expectations will create a notebook, containing code cells that select from 
available columns in your dataset and generate expectations about them to demonstrate 
some examples of assertions you can make about your data.

When you run this notebook, Great Expectations will store these 
expectations in a new Expectation Suite "adls_test_suite_tmp" here:

  file://C:\Coding\...\great_expectations\expectations/adls_suite_tmp.json

Would you like to proceed? [Y/n]: Y

WARN FileStreamSink: Assume no metadata directory. 
    Error while looking for metadata directory in the path: 
    wasbs://<adls-container>@<adls-account>.blob.core.windows.net/test/myfile.csv

java.lang.RuntimeException: java.lang.ClassNotFoundException: 
    Class org.apache.hadoop.fs.azure.NativeAzureFileSystem$Secure not found

Answer 1

我通过将jar添加到spark-defaults.conf文件来半解决这个问题，但我对这个肮脏的解决方案非常不满，因为系统上开始的任何火花作业现在都将包含jar包。如果有人有更好的解决方案，请分享。

spark.jars.packages                 com.microsoft.azure:azure-storage:8.6.6,org.apache.hadoop:hadoop-azure:3.3.1