首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >split-by <column> --target-dir在Sqoop中的作用是什么

问split-by <column> --target-dir在Sqoop中的作用是什么
EN

Stack Overflow用户
提问于 2016-06-25 14:14:18
回答 5查看 2.7K关注 0票数 2

当我们在sqoop中编写--split-by时,内部会发生什么?

示例:

代码语言:javascript
复制
sqoop import --connect jdbc:mysql://localhost/test --username root --password training123 --query 'select * from  transaction where $CONDITIONS' --split-by Txnid --target-dir input/transaction
EN

回答 5

Stack Overflow用户

发布于 2016-06-25 15:59:20

Hadoop MAP Reduce是关于分而治之的。

为了将数据划分为多个独立的片,这些片将以并行方式传输,Sqoop需要找到在--split-by参数中指定的列的最小值和最大值

使用split-by选项时,应选择包含均匀分布的值的列。

在查询中,我们告诉数据均匀分布在基列'Txnid‘上,并使用该列进行拆分。

票数 1
EN

Stack Overflow用户

发布于 2016-06-25 16:51:03

--split-by <column-name> -用于拆分工作单位的表的列

参考:Sqoop User Guide

它指定在将数据导入集群时将使用哪一列来创建拆分。它可以用于通过实现更大的并行度来增强导入性能。

票数 1
EN

Stack Overflow用户

发布于 2019-11-03 19:55:14

Sqoop根据表的特定列中的值创建拆分,该列由用户通过import命令指定。如果不可用,则使用输入表的主键来创建拆分。我们可以通过--split-by选择列,这可以产生最佳的拆分,从而提高并行度和更好的性能。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/38025592

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档