时间戳列在拼花面板表中发出CDH5与CDH6

Question

我们最近将服务器从CDH 5升级到了CDH 6。在拼图表格中使用SPARK向时间戳列插入数据时，插入数据的方式会有所不同。

CDH 5：

蜂窝：

如果我们在拼图表格时间戳列中插入2019-01-30并从配置单元中选择数据，则值为'2019-01-30 00:00:00 0'

CDH 6：

蜂窝：

如果我们在拼图表格时间戳列中插入2019-01-30并从配置单元中选择数据，则值为'2019-01-30 04:00:00'

黑斑鹿：

如果我们将2019-01-30插入拼花面板的时间戳列，并从IMPALA中选择数据，则值为'2019-01-30 04:00:00‘

请让我知道，如果有任何火花属性，我们可以使用。我的主要目标是在CDH5和CDH6中匹配配置组值，如果可能，当我们从IMPALA中选择时，如果应该是2019-01-30 00:00:00'

Answer 1

为了跳过Spark和Hive之间的数据类型问题，Spark用于写入镶嵌面板数据的约定是可配置的。

这是由属性spark.sql.parquet.writeLegacyFormat决定的。默认值为false。如果设置为true，Spark将使用与配置单元相同的约定来写入拼图数据。

val spark = SparkSession
    .builder()
    .appName("MyApp")
    .master("local[*]")
    .config("spark.sql.shuffle.partitions","200") //Change to a more reasonable default number of partitions for our data
    .config("spark.sql.parquet.writeLegacyFormat", true)