Databricks -连接到Databricks集群运行时8.4失败

Question

我有以下设置

数据库集群：

8.4 ML (includes Apache Spark 3.1.2, Scala 2.12)

客户端：

databricks==0.2
databricks-cli==0.14.3
databricks-connect==8.1.10 (The latest version up to date 20210813)

当我运行databricks-connect test来测试连接时，我得到了以下错误消息

java.lang.IllegalArgumentException: 
The cluster is running server version `dbr-8.4` but this client only supports Set(dbr-8.1). 
You can find a list of client releases at https://pypi.org/project/databricks-connect/#history, and install the right client version with `pip install -U databricks-connect==<version>`. 
For example, to install the latest 5.1 release, use `pip install -U databricks-connect==5.1.*`. 
To ignore this error and continue, set DEBUG_IGNORE_VERSION_MISMATCH=1.

根据错误消息，我了解到客户端和服务器版本存在兼容性问题。但是，我已经使用了最新的客户端。

1. 是否意味着客户端不添加对服务器版本8.4的支持？
2. 有什么方法可以避免这个问题吗？

Answer 1

不幸的是，它是DBR 8.x.的databricks-connect的最新版本，8.2-8.4的版本没有发布。但是，如果在或其他命令(如pyspark、spark-submit等)之前添加DEBUG_IGNORE_VERSION_MISMATCH=1，则可能会工作。