我目前正在阅读德尔塔湖模式的演变,我很难理解"mergeSchema“DataFrameWriter选项和"autoMerge”SparkSession配置之间的区别。我了解到,前者只是在对Delta表进行特定写入时使用的一个选项,而后者是一种更通用的配置,适用于整个星火会话,但除此之外,它们的实际实现有什么不同吗?
发布于 2022-10-03 09:19:45
第一个选项(mergeSchema)用于正常写入,当您执行df.write.format("delta")....时。第二个(spark.databricks.delta.schema.autoMerge.enabled,文档)是在执行合并操作(即单独的操作,而不是“正常写入”)时进行模式演变的。
https://stackoverflow.com/questions/73854498
复制相似问题