查找是否有人通过了使用Apache在凤凰城上执行上服务器(追加/更新/部分插入/更新)的方法。我可以看到,根据凤凰文献,只支持保存SaveMode.Overwrite --这是用满载覆盖的。我试着改变它引发错误的模式。
SaveMode.Overwrite
目前,我们已经运行了*.hql作业来执行此操作,现在我们希望在Scala中重写它们。谢谢大家分享你们宝贵的意见。
发布于 2019-01-30 19:20:49
虽然菲尼克斯连接器确实只支持SaveMode.Overwrite,但实现不符合火花标准上面说
覆盖模式意味着当将DataFrame保存到数据源时,如果数据/表已经存在,则现有数据将被DataFrame的内容覆盖。
如果你检查来源,你会发现saveToPhoenix只是用PhoenixOutputFormat,哪一个调用saveAsNewAPIHadoopFile
saveToPhoenix
PhoenixOutputFormat
saveAsNewAPIHadoopFile
内部为您构建UPSERT查询。
换句话说,使用菲尼克斯连接器的SaveMode.Overwrite实际上是UPSERT。
UPSERT
https://stackoverflow.com/questions/54447294
相似问题