使用Sqoop将Aster数据库转换为Hadoop

Question

我使用以下语法从Teradata Aster数据库表事务中读取并加载到Hadoop/Hive表中

我已经在/usr/iop/4.1.0.0/sqoop/lib文件夹中添加了以下jar文件

terajdbc4.jar
tdgssconfig.jar
noarch-aster-jdbc-driver.jar

语法：

sqoop import --connect jdbc:ncluster://hostname.gm.com:2406/Database=test --username abcde --password test33  --table aqa.transaction

错误：

Warning: /usr/iop/4.1.0.0/sqoop/../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
16/12/14 15:38:49 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6_IBM_20
16/12/14 15:38:49 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
16/12/14 15:38:49 ERROR tool.BaseSqoopTool: Got error creating database manager: java.io.IOException: No manager for connect string: jdbc:ncluster://hostname.gm.com:2406/Database=test
        at org.apache.sqoop.ConnFactory.getManager(ConnFactory.java:191)
        at org.apache.sqoop.tool.BaseSqoopTool.init(BaseSqoopTool.java:256)
        at org.apache.sqoop.tool.ImportTool.init(ImportTool.java:89)
        at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:593)
        at org.apache.sqoop.Sqoop.run(Sqoop.java:143)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
        at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:179)
        at org.apache.sqoop.Sqoop.runTool(Sqoop.java:218)
        at org.apache.sqoop.Sqoop.runTool(Sqoop.java:227)
        at org.apache.sqoop.Sqoop.main(Sqoop.java:236)

Answer 1

在sqoop命令中添加--connection-manager <class-name>，如果适用于sqoop中的关系型数据库的话。

否则，在您的sqoop命令中添加--driver <driver-name>以使用通用连接管理器。

Answer 2

您可以尝试使用Aster的JDBC jar。

以下是我在使用Sqoop导入Aster表后创建外部Hive表的一些步骤：

从https://aster-community.teradata.com/docs/DOC-2254

• export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$PWD/noarch-aster-jdbc-driver.jar

• sqoop导入

1. 下载JDBC jar -D mapreduce.job.name="Sqoop Hive Import for Aster table tableName“--connect”jdbc:ncluster://X.X/database“--驱动程序com.asterdata.ncluster.Driver --用户名"user1”--password "password“--query "select * from schema.table where \$CONDITIONS limit 10”--split-by target --as-avrodatafile -- col1 - /tmp/aster/tableName
2. Create在目标目录上替换外部配置单元表或使用配置单元表选项替换avrodatafile。