如何解决Azure Databricks Autoloader cloudfiles源文件中偏移不匹配的错误？

Question

当从Autoloader流读取的数据源中删除某些文件时，就会发生这种情况。

try:
    raw_df = spark.readStream.format("cloudFiles") \
            .option("cloudFiles.format","csv") \
            .option("cloudFiles.includeExistingFiles", "true") \
            .option("cloudFiles.allowOverwrites", "true") \
            .option("cloudFiles.schemaLocation", 
                opPath.outputPath +"/checkpoints/" + storageAccountInfo.adlsContainerName) \
            .option("delimiter","\t")\
            .load(source)

  except Exception as f:
    print(f)

误差图像

Answer 1

我意识到这是因为一些文件被删除了blob存储，而blob存储是cloudfiles流的来源。