将pyspark数据帧写入snowflake表时出错[snowflake-cloud-data-platform]

Question

我正在使用pyspark从snowflake读取数据。我在上面做了一些转换。我现在正在尝试将转换后的数据写回snowflake，但在尝试这样做时遇到了一些错误。我在这方面找不到太多的文档。如果你已经克服了这个问题，请分享我错过的东西。提前谢谢。

pyspark --> 2.3.2
python --> 3.6
snowflake spark connector --> spark-snowflake_2.11-2.7.0-spark_2.4.jar
snowflake jdbc --> snowflake-jdbc-3.12.9.jar

注意:我使用的用户与创建DB，Schema，表的角色相同。系统管理员

    # set options for write:
    sfOptionswrite = {
    "sfURL" : "xxxxxxx.us-east-1.snowflakecomputing.com",
    "sfUser" : "xxxxx",
    "sfPassword" : getpass.getpass(prompt='Enter your password: '),
    "sfDatabase" : "DB",
    "sfSchema" : "SCHEMA",
    "sfWarehouse" : "WH_NAME",
    "sfRole" : "SYSADMIN"
    }
    
    # write transformed dataframe df to snowflake:
    
    df.write.format('net.snowflake.spark.snowflake')\
    .options(**sfOptionswrite)\
    .option('dbtable', 'TABLE_NM')\
    .mode('overwrite')\
    .save()

错误：

原因: net.snowflake.spark.snowflake.io.InternalS3Storage；：java.io.InvalidClassException本地类不兼容:流类serialVersionUID = -7958783596366368645，本地类serialVersionUID = -6090755107217034776

Answer 1

你是如何调用你的spark代码的？你在使用spark-submit吗？另外，你有所有需要的包吗？

这也可能是不兼容的jars。

如果有帮助，请检查下面的链接？

https://community.snowflake.com/s/question/0D50Z00007b2iXx/spark-connector-error-dfshow-

请让我知道。