使用sqoop一次将多个表加载到hdfs中

Question

我希望将mysql中的多个表的数据加载到hdfs中，这些表的名称类似于a__0、a__1、a__2。

如何使用Sqoop将这些表加载到hdfs中？

我能用UNION吗？

Answer 1

你有很多方法可以做到这一点。

1. 如果要导入mysql db中的所有表，可以使用：导入全表 (也可以使用此参数--exclude-tables <tables> --逗号分隔的值)从impor-all-tables中排除某些表。
2. 如果要从某些表(有意义的数据)导入一些数据，可以使用：自由形式查询导入
3. 如果要导入表的数量，可以正确使用shell脚本： #!/bin/sh i=0 ${i} -le 5 do echo“import table a__${i}”#在这里编写完整的sqoop命令，这只是一个示例#sqoop导入-连接表a__${i} i=$(( i+1)完成)

现在运行shell脚本: sqoop命令将按照逻辑运行6次，并导入6个表。

$ ./importAll.sh
importing table a_0_0
importing table a_0_1
importing table a_0_2
importing table a_0_3
importing table a_0_4
importing table a_0_5

注意：您必须根据需要修改shell脚本中的逻辑。我提出的解决办法是基于所提供的细节。