星火-Reading Terradata表并重新插入Oracle表

Question

我正在使用spark从Terradata表读取数据，并希望在中插入表。我能够插入数据，但我能执行UPSERT吗？

我就是这样将数据插入到Oracle中的。

dataframe.write.mode(SaveMode.Append).jdbc(url，table6，道具)

Answer 1

我已经安排星火作业每天运行一次，并使用dataframe.write.mode(SaveMode.Overwrite).jdbc(url，表( props)覆盖表。这样，每当火花作业运行时，它都会从Teradata表中获取所有数据，并在Oracle中覆盖该表。

Answer 2

在火花2.2中没有重新插入。

因此，实现这一目标的途径可以是：

1. 对数据进行迭代，并使用foreach、foreach分区进行计算。
2. 您可以通过在Dataset上使用writeStream并在ForeachWriter中重写open()、close()和process()方法来插入/更新您的消息。

希望这能有所帮助！