对空字段进行数据格式化返回“null”

Question

默认情况下，我将原始数据加载到我的hive表中，所有列都是字符串。现在，我需要更改hive表的数据类型，以导出到SQLServer。当类型转换为单元列时，空字段返回'NULL'，尝试将蜂窝表加载到dataframe中并对列进行类型化，但仍然对空字段返回'null‘。SQLserver无法识别这样的值。

当我从hive或dataframes获得数据时，有人能提出避免显示“null”值的解决方案吗？

Answer 1

如果只想在导出的数据中更改数据类型，请考虑根据需要使用写入目录，然后使用sqoop/任何其他工具进行导出。

INSERT OVERWRITE DIRECTORY '<HDFS path>'
Row format delimited
Fields terminated by '<delimiter>'
SELECT
a,
b
From
table_name
Where <condition>;

在导出时，如果有空值，请考虑在sqoop命令中使用这些参数。

--null-string "\\N" --null-non-string "\\N"

希望这对你有帮助