通过Sqoop将SQL Server转换为S3

Question

我已经看到了一些关于Sqoop是否能够处理以下用例的相互矛盾的信息:我非常确定我在过去已经看到过这样的情况，但我想仔细检查一下。下面是bash脚本：

sqoop-import -Dmapreduce.job.user.classpath.first=true --connect "jdbc:sqlserver://stuff:1433;database=prd_swift_core;user=username;password=red123:" --table MYTABLE -m 1 --as-avrodatafile --target-dir s3n://bucket/folder1/folder2/MYTABLE/DATE

它完成了，但是表永远不会在S3中显示。表大约是20 if，不确定这是不是一个限制？

Answer 1

看起来不错。

对于尝试这样做的人，您需要添加--fetch-size参数，否则它将尝试一次导入整个表。23 to成功地从SqlServer迁移到S3。