Sqoop2 Avro支持

Question

sqoop客户端参数支持导出为Avro格式，

-as-avrodatafile+

但是，当查看Sqoop的Hue和Client时，它只支持TEXT_FILE和SEQUENCE_FILE。如何启用对AVRO的支持和任何文档，如何使用它？Avro会根据列名创建模式吗？

Answer 1

这里的区别是，Sqoop目前有两个主要版本- Sqoop 1和Sqoop 2。Sqoop 1是一个更老的稳定版本，它通过-as-avrodatafile参数支持Avro格式。Sqoop 2是一个新版本，已经从零开始完全重新设计，以解决新的用例并解决一些安全问题。遗憾的是，Avro对Sqoop 2的支持还没有实现，因为Hue使用的是Sqoop 2，因此您看不到导入到Avro中的选项。但是，如果需要导入到Avro中，仍然可以使用Sqoop 1。