从新位置进行Spark读取保持输出目录不变

Question

我有一个spark作业，它从源s3://bucket/ source -1文件夹读取(使用结构化流式API)，并写入s3://bucket/destination-1文件夹。检查点保存在s3://bucket/checkpoint-1。

现在，我希望从s3://bucket/source-2读取具有相同模式的数据(检查点位于s3://bucket/checkpoint-2)，但我希望将其附加到相同的s3://bucket/destination-2文件夹中。有可能吗？

Answer 1

是的，这当然可以写入到相同的位置。但是你需要考虑不同的事情，比如：

• 你使用什么数据格式作为输出(拼接，增量，其他...)？
• 这两个流作业是否同时运行？在为目标编写data?
• (potentially)分区方案时，可能会发生冲突吗？