AWS Athena的SerDe属性列表

Question

我正在测试AWS的雅典娜产品，到目前为止运行得很好。但是我想知道SerDe属性的列表。我到处找都找不到。我以"ignore.malformed.json" = "true"为例使用了这个选项，但我非常确定还有很多其他选项可以调优查询。

例如，我找不到关于"path“属性做什么的信息，所以有完整的列表将是令人惊讶的。

我看过Apache Hive文档，但找不到这个，在AWS文档/论坛上也找不到。

谢谢!

Answer 1

您似乎正在使用Openx-JsonSerDe

http://docs.aws.amazon.com/athena/latest/ug/json.html

// properties used in configuration
public static final String PROP_IGNORE_MALFORMED_JSON = "ignore.malformed.json";
public static final String PROP_DOTS_IN_KEYS = "dots.in.keys";
public static final String PROP_CASE_INSENSITIVE ="case.insensitive" ;

https://github.com/rcongiu/Hive-JSON-Serde/blob/master/json-serde/src/main/java/org/openx/data/jsonserde/JsonSerDe.java

Answer 2

正如release notes中所述(请参阅项目符号#2 )，雅典娜中使用的JSON OpenX SerDe已经得到了改进。这些改进包括但不限于以下几点：

对ConvertDotsInJsonKeysToUnderscores属性的

• 支持。当设置为TRUE时，它允许SerDe用下划线替换键名中的点。例如，如果JSON数据集包含名为"a.b“的键，则可以使用此属性在雅典娜中将列名定义为"a_b”。默认值为FALSE。默认情况下，雅典娜不允许在列名中使用点。case.insensitive属性的
• 支持。默认情况下，Athena要求JSON数据集中的所有键都使用小写。使用WITH SERDE PROPERTIES ("case.insensitive"= FALSE;)允许您在数据中使用区分大小写的键名。默认值为TRUE。当设置为TRUE时，SerDe将所有大写的列转换为小写。

有关更多信息，请参阅《亚马逊雅典娜用户指南》中的OpenX JSON SerDe。