首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >三角洲湖- "mergeSchema“与"autoMerge”

三角洲湖- "mergeSchema“与"autoMerge”
EN

Stack Overflow用户
提问于 2022-09-26 12:56:15
回答 1查看 130关注 0票数 1

我目前正在阅读德尔塔湖模式的演变,我很难理解"mergeSchema“DataFrameWriter选项和"autoMerge”SparkSession配置之间的区别。我了解到,前者只是在对Delta表进行特定写入时使用的一个选项,而后者是一种更通用的配置,适用于整个星火会话,但除此之外,它们的实际实现有什么不同吗?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2022-10-03 09:19:45

第一个选项(mergeSchema)用于正常写入,当您执行df.write.format("delta")....时。第二个(spark.databricks.delta.schema.autoMerge.enabled文档)是在执行合并操作(即单独的操作,而不是“正常写入”)时进行模式演变的。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/73854498

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档