Sqoop导入查询从表中传输1000条随机记录？

Question

我有一个大约有100000条记录的表，并希望从该表中导入1,000条随机记录

有人能帮忙吗:)

sqoop import \ --connect jdbc:mysql://localhost:3306/userdb \ --username root \ --table emp --m 1

Answer 1

Sqoop只是一个将数据从mysql传输到hdfs或hdfs到mysql的工具，因此没有任何直接命令来执行此操作，但可以使用如下查询来执行此操作

query :- query "select * from my_table order by rand() limit 1000 AND \$CONDITIONS“它将帮助您导入或导出1000行表格。

Answer 2

没有用于随机导入的命令，但您可以使用--query选项限制记录仅导入1000条记录。由于您有MySQL数据库，因此可以使用以下命令：

sqoop import --connect "$CONNECT_STRING" \ --query "select $source_column from $SOURCE_TABLE_NAME where \$CONDITIONS limit 1000" \ --username $USER_NAME --password $PASSWORD \ --target-dir $TARGET_DIRECTORY_NAME -m 1

您还可以使用--query选项传递任何自定义查询。