FlinkSQL:如何在SQL中过滤掉错误格式的JSON？

Question

CREATE TABLE user_log (
    a STRING,
    b STRING
) WITH (
    'connector.type' = 'kafka',
    'connector.version' = 'universal',
    'connector.topic' = 'test',
    'connector.properties.0.key' = 'zookeeper.connect',
    'connector.properties.0.value' = '',
    'connector.properties.1.key' = 'bootstrap.servers',
    'connector.properties.1.value' = '',
    'update-mode' = 'append',
    'format.type' = 'json',
    'format.derive-schema' = 'true',
    'format.fail-on-missing-field' = 'false'
);

正确的格式是{"a":1，"b":2}，但是kafka发送了错误的数据：AABB，程序将停止。如何在SQL中筛选出错误格式的JSON？

Answer 1

在Flink 1.11 (即将发布)中，添加了这些格式选项(都默认为false)。见FLINK-17663。

'json.fail-on-missing-field' = false,
'json.ignore-parse-errors' = false,

我不知道你在早期版本中打算做什么。

Answer 2

在为表定义sc配置时，可以设置如下内容：

'format.ignore-parse-errors' = 'true',    -- optional: skip fields and rows with parse errors instead of failing;

你想怎么做就怎么做。