从redshift导入Sqoop

Question

正如标题所说，尝试通过Sqoop将一些数据从Redshift移动到S3

sqoop-import -Dmapreduce.job.user.classpath.first=true --connect "jdbc:redshift://redshiftinstance.us-east-1.redshift.amazonaws.com:9999/stuffprd;database=ourDB;user=username;password=password;" --table ourtable -m 1 --as-avrodatafile --target-dir s3n://bucket/folder/folder1/

所有驱动程序都在正确的文件夹中，但是抛出的错误是：

 ERROR tool.BaseSqoopTool: Got error creating database manager: java.io.IOException: No manager for connect string:

Answer 1

不确定您是否已经得到了答案，但是您需要在sqoop命令中添加以下内容：

--driver com.amazon.redshift.jdbc42.Driver

--connection-manager org.apache.sqoop.manager.GenericJdbcManager

Answer 2

我不能帮助纠正这个错误，但我建议您不要这样做。Sqoop将尝试以SELECT *的形式检索表，并且所有结果都必须通过leader节点。这将比使用UNLOAD以并行方式直接将数据导出到S3慢得多。然后，您可以使用Sqoop将卸载的文本文件转换为Avro。