databricks-connect，py4j.protocol.Py4JJavaError:调用o342.cache时出错

Question

与数据库的连接工作正常，与DataFrames的工作也很顺利(连接、过滤等操作)。当我在数据帧上调用cache时，问题出现了。

py4j.protocol.Py4JJavaError: An error occurred while calling o342.cache.
: java.io.InvalidClassException: failed to read class descriptor
...
Caused by: java.lang.ClassNotFoundException: org.apache.spark.rdd.RDD$client53442a94a3$$anonfun$mapPartitions$1$$anonfun$apply$23
    at java.lang.ClassLoader.findClass(ClassLoader.java:523)
    at org.apache.spark.util.ParentClassLoader.findClass(ParentClassLoader.java:35)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:418)
    at org.apache.spark.util.ParentClassLoader.loadClass(ParentClassLoader.java:40)
    at org.apache.spark.util.ChildFirstURLClassLoader.loadClass(ChildFirstURLClassLoader.java:48)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:351)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:348)
    at org.apache.spark.util.Utils$.classForName(Utils.scala:257)
    at org.apache.spark.sql.util.ProtoSerializer.org$apache$spark$sql$util$ProtoSerializer$$readResolveClassDescriptor(ProtoSerializer.scala:4316)
    at org.apache.spark.sql.util.ProtoSerializer$$anon$4.readClassDescriptor(ProtoSerializer.scala:4304)
    at java.io.ObjectInputStream.readNonProxyDesc(ObjectInputStream.java:1857)
    ... 71 more

我根据需要使用java8，清除pycache没有任何帮助。作为作业提交给databricks的相同代码运行良好。在python-jvm桥接层上，这看起来像是一个本地问题，但java版本(8)和python (3.7)是必需的。切换到java13会产生完全相同的消息。

版本databricks-connect==6.2.0、openjdk version "1.8.0_242"、Python 3.7.6

编辑:行为取决于DF是如何创建的，如果DF的源是外部的，那么它工作得很好，如果DF是在本地创建的，那么就会出现这样的错误。

# works fine
df = spark.read.csv("dbfs:/some.csv")
df.cache()

# ERROR in 'cache' line
df = spark.createDataFrame([("a",), ("b",)])
df.cache()

Answer 1

这是一个已知的问题，我认为最近的一个补丁修复了它。这是在Azure上看到的，我不确定你使用的是Azure还是AWS，但它已经解决了。请检查问题- https://github.com/MicrosoftDocs/azure-docs/issues/52431