Azure DataBricks - Deequ查找检查失败的行

Question

我跟踪了https://aws.amazon.com/blogs/big-data/test-data-quality-at-scale-with-deequ/并开始进行检查和验证等工作。

但是我不能找出我的数据到底在哪些行上失败了。这是一个非常重要的部分，我需要检查失败的行。

我尝试了如下：https://github.com/awslabs/deequ/blob/master/src/test/scala/com/amazon/deequ/schema/RowLevelSchemaValidatorTest.scala，但是，当我从这个链接运行代码时，我得到了错误数据库：

error: object SparkContextSpec is not a member of package com.amazon.deequ
import com.amazon.deequ.SparkContextSpec
       ^
command-4342528364312961:24: error: not found: type SparkContextSpec
class RowLevelSchemaValidatorTest extends WordSpec with SparkContextSpec {
                                                        ^
command-4342528364312961:28: error: not found: value withSparkSession
    "correctly enforce null constraints" in withSparkSession { sparkSession =>
                                            ^
command-4342528364312961:39: error: not found: value RowLevelSchema
      val schema = RowLevelSchema()
                   ^
command-4342528364312961:40: error: not found: value isNullable
        .withIntColumn("id", isNullable = false)

这份清单还在继续。

请帮帮忙。

谢谢

Answer 1

您遇到的问题可能是由于项目设置不正确造成的。您是否正在从IDE运行测试？如果没有，我建议您确保代码可以编译，例如IntelliJ。然后应该可以从那里执行单元测试。

IntelliJ附带了一个允许导入项目的Maven插件。