aws athena-读取值包含逗号的csv文件

Question

我有一张这样的桌子

CREATE EXTERNAL TABLE IF NOT EXISTS something (
  ...
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
WITH SERDEPROPERTIES (
   'separatorChar' = ',',
   'quoteChar' = '\"',
   'escapeChar' = '\\'
   ) 
LOCATION 's3://...'
TBLPROPERTIES ('has_encrypted_data'='false');

但有些字段包含逗号(8-10,99)，不带引号。csv太大，无法在excel上打开。有没有办法改变分隔符或者让athena读这个文件？

Answer 1

如果字段以逗号分隔，但包含逗号但没有转义，则任何自动化工具都无法区分表示字段之间的分隔符的逗号和表示内容的逗号。换句话说，这些文件格式不正确，必须进行修复。如果您可以选择再次生成文件，请确保字段包含引号，或者使用字段中不会出现的分隔符，例如制表符。