当我们在sqoop中编写--split-by时,内部会发生什么?
示例:
sqoop import --connect jdbc:mysql://localhost/test --username root --password training123 --query 'select * from transaction where $CONDITIONS' --split-by Txnid --target-dir input/transaction发布于 2016-06-25 15:59:20
Hadoop MAP Reduce是关于分而治之的。
为了将数据划分为多个独立的片,这些片将以并行方式传输,Sqoop需要找到在--split-by参数中指定的列的最小值和最大值
使用split-by选项时,应选择包含均匀分布的值的列。
在查询中,我们告诉数据均匀分布在基列'Txnid‘上,并使用该列进行拆分。
发布于 2016-06-25 16:51:03
--split-by <column-name> -用于拆分工作单位的表的列
它指定在将数据导入集群时将使用哪一列来创建拆分。它可以用于通过实现更大的并行度来增强导入性能。
发布于 2019-11-03 19:55:14
Sqoop根据表的特定列中的值创建拆分,该列由用户通过import命令指定。如果不可用,则使用输入表的主键来创建拆分。我们可以通过--split-by选择列,这可以产生最佳的拆分,从而提高并行度和更好的性能。
https://stackoverflow.com/questions/38025592
复制相似问题