将数据帧写入spark中的蜂箱表

Question

请您告诉我，此命令是否会在覆盖DB中的所有表时造成问题：

df.write.option(“path”, “path_to_the_db/hive/”).mode(overwrite).saveAsTable("result_data")

table_name是DB中的一个新表，它不存在。

在这些命令之后，所有的表都消失了。

我正在使用Spark3并试图解决一个错误：

Can not create the managed table('result_data'). 
The associated location('dbfs:/user/hive/warehouse/result_data') already exists.

如果新表不存在的话，我希望创建它时不会出现任何问题。

Answer 1

如果path_to_the_db/hive包含其他表，那么您将覆盖到该文件夹中，那么整个目录可能会首先被清空，是的。也许您应该使用path_to_the_db/hive/result_data

但是，根据错误，您的表已经存在。

可以使用Spark在SQL代码中注册临时表，然后运行现有表的INSERT OVERWRITE查询。