我将mysql中的数据以avroformat格式导入hdfs。我将.avsc文件移动到hdfs,并使用.avsc文件创建配置单元表。请参考下表:
.AVSC文件:-rw-r--r-- 3 jonnavithulasivakrishna hdfs 1041 2017-09-13 00:05 hdfs://nn01.itversity.com:8020/user/jonnavithulasivakrishna/products.avsc
已创建的表:
hive (siv_sqoop_import)> CREATE EXTERNAL TABLE Products_1
> ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.avro.AvroSerDe'
> STORED AS INPUTFORMAT 'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat'
> OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat'
> location '/user/jonnavithulasivakrishna/products'
> TBLPROPERTIES('avro.schema.url'='hdfs://nn01.itversity.com:8020/user/jonnavithulasivakrishna/products.avsc');
OK
Time taken: 0.155 seconds
hive (siv_sqoop_import)> select * from Products_1 limit 10;
OK
Time taken: 0.294 seconds如你所见,它是在没有data.Could的情况下创建的,请你告诉我为什么我没有在这个表中获得数据。
发布于 2017-09-14 09:45:13
请在下面找到sqoop命令:
sqoop导入\--连接目标\--用户名retail_dba -P \--表产品\-as-avrodatafile\ --num-mappers 6\--目标目录“/ "jdbc:mysql://nn01.itvserity.com:3306/retail_db”/jonnavithulasivakrishna/ products“\
https://stackoverflow.com/questions/46190822
复制相似问题