SparkSql和REGEX

Question

在我的例子中，我在JavaSparkSQL中使用了一个数据集(Dataframe)。此数据集来自JSON文件。json文件是由key- value组成的。当我查询查看我为examle编写的值时：

 SELECT key1.name from table

JSON文件示例

 {
     "key1":
           { "name": ".....",....}
     "key2":
           { "name":"....",....}
    }

我的问题是，当我想要加入所有密钥时，我认为我应该使用像这样的REGEX

select key*.name from table

但我不知道正则表达式！请帮帮忙

Answer 1

我担心在(spark) SQL中没有这样的语法。

不过，您可能希望以编程方式构造查询。

类似于：

String sql = Stream.of(ds.schema().fieldNames()).filter(name -> name.startsWith("key")).collect(Collectors.joining(", ", "select ", " from table"));
System.out.println(sql);

甚至是

Dataset<Row> result = spark.table("table").select(Stream.of(ds.schema().fieldNames()).filter(name -> name.startsWith("key")).map(name -> ds.col(name))
                .toArray(Column[]::new));
result.show();

哈！