问delta lake是否受spark2.xx支持
EN

Stack Overflow用户

提问于 2020-07-28 18:43:27

回答 1查看 2.1K关注 0票数 2

所以我尝试使用delta df_concat.write.format("delta").mode("overwrite").save("file") it gives me this error：

java.lang.NoClassDefFoundError: org/apache/spark/sql/connector/catalog/TableProvider和deltalake文档说更新到了spark3，所以只想确认我们是否可以在spark2.xx上运行deltalake

回答已采纳

发布于 2020-07-28 19:56:04

你可以使用Delta release 0.6.1 --支持Spark2.x的最新版本。你需要至少有Spark 2.4.2才能运行它。只需使用--packages io.delta:delta-core_2.11:0.6.1运行您的代码，或将其链接到应用程序

票数 6

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/63132284

复制

相似问题

问delta lake是否受spark2.xx支持EN