我使用spark-csv创建一个文件,然后在COPY命令中使用该文件将数据加载到Redshift中。根据Redshift文档,NULL值的有效文本应该是NULL type.html。
但是,我无法让Redshift识别这一点,要为NULL值设置正确的文字值是什么,所以Redshift将在COPY命令中正确识别S3
发布于 2016-07-11 17:53:43
可以在COPY语句中使用NULL AS 'NULL' http://docs.aws.amazon.com/redshift/latest/dg/copy-parameters-data-conversion.html#copy-null-as指定值。
我建议尝试一下spark-reshift库来加载Redshift。它为你解决了很多这些问题。https://github.com/databricks/spark-redshift
https://stackoverflow.com/questions/37932833
复制相似问题