为什么Databricks连接测试不能在Mac上工作？

Question

我已经阅读了配置databricks-connect的文档，但是在运行databricks-connect test时仍然会遇到下面的错误

来自终端的错误

java.lang.NoSuchMethodError: org.apache.spark.internal.config.package$.STRING_REDACTION_PATTERN()Lorg/apache/spark/internal/config/ConfigEntry;
error: not found: value spark import spark.implicits._
error: not found: value spark import spark.sql
error: not found: value spark spark.range(100).reduce(_ + _)
Scala command failed to produce correct result

用于建立数据库的步骤连接

• 使用运行时5.3和Python 2在Databricks上创建了一个集群
• 将火花控制设置为spark.databricks.service.server.enabled true (重新启动)
• 使用Pyenv和Python 2.7.15创建Python项目
• 移除火花放电pip uninstall pyspark
• 安装数据库连接pip install -U databricks-connect==5.3.*
• 配置数据库连接databricks-connect configure
  • 数据库主机：https://<account>.cloud.databricks.com
  • Databricks令牌：<secret_token>
  • 集群ID：<cluster_token>
  • 组织ID：<left_blank>
  • 端口：15001

​

是什么导致了这个错误，是否有可能修复？

使用的资源

• 数据库数据库连接
• 数据库连接
• 为什么DB Connect不能工作？

Answer 1

经过进一步研究，我发现了另一篇StackOverflow文章，其中讨论了Java如何暗示版本不匹配。我将Databricks集群运行时降级为5.1，并通过运行以下命令更新了databricks-connect：

pip install -U databricks-connect==5.1.*

为了验证，我运行了：

databricks-connect test

需要记住的重要项目：

1. 首先卸载pyspark，因为安装databricks-connect将安装一个稍微修改过的吡火花版本。
2. databricks-connect版本必须与集群的DBR版本相匹配。
3. 本地环境的Python版本必须与集群的Python版本相匹配。例如2.7、3.5、3.6、3.7、.