Hive托管表拖放不会删除HDFS上的文件。有什么解决办法吗？

Question

当从单元中删除托管表时，hdfs中的相关文件不会被删除(在azure-databricks上)。我得到了以下错误：

SimbaSparkJDBCDriver错误处理查询/语句。错误代码: 0，SQL状态: org.apache.spark.sql.AnalysisException:无法创建托管表(‘schema.XXXXX’)。关联的location('dbfs:/user/hive/warehouse/schema.db/XXXXX)已经存在。

这个问题时断时续地发生。想办法解决这个问题。

Answer 1

我已经开始想办法了。去年的情况很好，但我认为存储附件正在发生一些事情。也许在后台正在进行的增强会导致问题(PaaS!)作为一种保障措施，我将手动删除直接路径，并删除表，直到我能够得到对正在发生的事情的合理解释或得到支持呼叫应答。

使用

dbutils.fs.rm("dbfs:/user/hive/warehouse/schema.db/XXXXX", true)

尽管如此，还是有足够的时间！如果这条路走错了，那将是一场悲剧！

Answer 2

因此，有时元数据( Hive表的模式信息)本身就会损坏。因此，每当我们尝试删除/删除表时，我们就会得到错误，在删除之前，启动对表是否存在的检查。

如果我们使用hive删除表，我们就可以避免这种情况，因为它避免了检查表的存在。

请参阅这个神奇的数据库文档