从头开始dml-to-hive

Question

我正在使用AbInitio，并尝试将输入表中的查询结果填充到hdfs中。我想要拼花地板的格式。我尝试使用dml来隐藏文本，但以下是我的结果，我不确定这意味着什么。

$ dml-to-hive text $AI_DML/myprojectdml.dml
Usage: dml-to-avro <record_format> <output_file>

   or: dml-to-avro help

  <record-format> is one of:
       <filename>           Read record format from file
       -string <string>     Read record format from string

  <output_file> is one of:
       <filename>           Output Avro schema to file
       -                    Output Avro schema to standard output

我还尝试使用Write Hive Table组件，但收到以下错误：

[B276]
The internal charset "XXcharset_NONE" was encountered when a valid character set data
structure was expected.   One possible cause of this error is that you specified a 
character set to the Co>Operating System that is misspelled or otherwise incorrect.
If you cannot resolve the error please contact Customer Support.

任何帮助都将是伟大的，我正在尝试有我的输出到hdfs在拼花。

谢谢，克里斯·理查森

Answer 1

我知道这是一个迟来的回复，但如果你还在做这件事，或者其他人像我一样偶然发现了这件事，我想我已经找到了解决方案。

我使用dml- to -hive为拼接格式创建了一个DML，并将其写入一个文件。

dml-to-hive parquet current.dml > parquet.dml

一旦创建了这个dml，您就可以在"Write HDFS“组件的输入端口上使用它。双击该组件，转到端口选项卡，单击单选按钮“使用文件”，然后将其指向parquet.dml

然后，只需将WRITE_FORMAT选项设置为拼花并试一试。我能够使用上面的过程创建拼花、orc和avro文件。