错误:无法初始化类org.xerial.snappy.Snappy

Question

我使用sqoop1.4.6将数据从关系数据库导入到hdfs，使用snappyCodec作为压缩，使用avro作为文件格式。我安装了以下组件

Hadoop 2.8.0

火花2.1.0

蜂箱1.2.2

Scala 2.11.8

卡桑德拉3.10

当我尝试使用以下命令将mysql表导入hdfs时：

sqoop import --connect jdbc:mysql://******:****/retail_db --username **** --password **** --table order_items --compress --compression-codec org.apache.hadoop.io.compress.SnappyCodec --target-dir /user/test/order_items --as-avrodatafile

我收到了以下错误：

Could not initialize class org.xerial.snappy.Snappy

在试图找到这门课之后就出现了。

我尝试过关于这个问题的解决方案，比如挂载tmp和添加snappy jar文件(它已经存在)，但它们都不起作用。我遗漏了什么吗？

Answer 1

经过几个解决方案，我终于解决了这个问题。使用--详细标志和sqoop命令显示，从不同的组件导入多个snappy-xxx.jar文件，如

1. $hadoop_HOME/share/hadoop//lib/
2. $HADOOP_HOME/share/hadoop/mapreduce/lib/
3. $SQOOP_HOME/lib/ 因此，其中包括3个快速的罐子。

解决方案：I确保在本例中只包含了一个文件，并解决了错误。