在Hadoop Hive Pig场景中需要一些专家帮助

Question

我还在学习Hadoop的过程中，遇到了一个特殊的情况:我有两个表，第一个表A在mySQL中，列: email和address，第二个表B在HDFS中，列: id，email和address。我必须在两个表中查找电子邮件，并用表A中的新行更新表B (表B中不存在的电子邮件是表A中的新记录条目，因此必须在表B中移动)。

我可以使用Pig或Hive script来解决此问题吗？有没有人能帮我一下？

Answer 1

目前，将MySql表加载到HDFS中需要使用Sqoop或自定义加载UDF。看看这个SO Link

一旦有了HDFS中的数据，就需要做一个左(或右)连接，获得行中的差异，并根据需要创建一个新关系并存储在HDFS中。