当火花读取模式不同的多个拼板文件时会发生什么？

Question

考虑到以下情况

scala> sqlContext.read.parquet("/test-data/foo.parquet").printSchema()
root
 |-- key: string (nullable = true)
 |-- value: integer (nullable = true)


scala> sqlContext.read.parquet("/test-data/bar.parquet").printSchema()
root
 |-- _1: string (nullable = true)
 |-- _2: integer (nullable = true)

.，如果您执行以下操作，它会同时读取两个文件吗？

scala> sqlContext.read.parquet("/test-data/*.parquet").show()

注意，数据类型是相同的；只有列名不同。

Answer 1

如果您设置了option("mergeSchema", "true")，火花将自动合并模式