如何在AWS lambda上运行更高的期望

Question

我正在尝试使用great-expectations，即在AWS函数中运行期望值套件。

当我试图在requirements.txt中安装软件包时，我得到了一个错误的jupyter实验室：

aws-sam\\build\\ValidationFunction\\.\\jupyterlab_widgets-1.1.0.data\\data\\share\\jupyter\\labextension
s\\@jupyter-widgets\\jupyterlab-manager\\schemas\\@jupyter-widgets\\jupyterlab-manager\\package.json.orig'

我使用SAM，版本1.42.0，并试图在容器中构建函数。Python版本3.9。

Requirements.txt：

    botocore
    boto3
    awslambdaric
    awswrangler
    pandas_profiling
    importlib-metadata==2.0
    great-expectations==0.13.19
    s3fs==2021.6.0
    python-dateutil==2.8.1
    aiobotocore==1.3.0
    requests==2.25.1
    decorator==4.4.2
    pyarrow==2

我在网上读了几篇文章，用Lambda函数来运行“远大期望”。然而，没有报告任何问题。

具体来说，当依赖项是大量Python包时，是否有人有在Lambda函数上运行Python代码的解决方案？

Answer 1

您能显示更多的代码和完整的错误堆栈吗？我将尽可能简单地开始基本验证工作，然后添加依赖项，直到找到罪魁祸首为止。

添加一个简单的lambda和最小依赖项，可能是熊猫和很高的期望，然后验证一条规则如下：

custom_expectation_suite = ExpectationSuite(expectation_suite_name="deliverable_rules.custom")

custom_expectation_suite.add_expectation(
    ExpectationConfiguration(expectation_type="expect_column_values_to_not_be_null",
                             kwargs={'column': 'first_name'
                             meta={'reason': f'first name should not be null'}))


validation_result = data_frame_to_validate.validate(custom_expectation_suite, run_id=run_id)