蜂巢复合体regexp_replace

Question

我不是正则表达式方面的专家，我在Hive中使用regexp_replace面临问题。

我想将CSV文件加载到Hive中，其中包含这样的行：

AAA,1234,BBB,,,"""CC,CCC""","""DDD""","""EE"EEE""",,
"""AAA""",1234,BBB,,,CCCC,"""DD,DD""",,"""FFFF""",

如你所见，格式并不完美

• 在字符串字段中有非转义逗号。
• 一些字符串字段用“”(3个双引号)括起来。
• 在字符串字段中有非转义双引号。
• 有空旷的田野

当我试图将它导入一个Hive表时，由于没有转义逗号，这些列没有得到很好的解析。

因此，我将原始数据作为行导入到一个Hive表中，如下所示：

CREATE EXTERNAL TABLE MyRawTable
(
    RAW_DATA STRING
)
STORED AS TEXTFILE
LOCATION '/path/to/hdfs/file'

我试图使用regexp_replace函数来转换行：

• 转义逗号，字符串字段中的双引号和简单引号
• 不要用双引号括住字符串字段

因此，数据将如下所示：

AAA,1234,BBB,,,CC\,CCC,DDD,EE\"EEE,,
AAA,1234,BBB,,,CCCC,DD\,DD,,FFFF,

我找不到解决这个问题的办法，有什么想法吗？非常感谢!

Answer 1

别管雷杰普了你不需要它。逗号不是转义的，但它们被双引号包围。您可以简单地使用OpenCSVSerde：

CREATE EXTERNAL TABLE yourtable(foo int, bar string) 
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
WITH SERDEPROPERTIES (
   "separatorChar" = ",",
   "quoteChar"     = "\"",
   "escapeChar"    = "\""
)  
LOCATION '/your/folder/containing/csv/files/';