我试图从Python中查询snappydata,一些答案在StackOverflow中说Python不能连接到远程spark集群。谁能帮助我如何连接到snappydata集群,并让一个简单的查询工作?
我正在尝试的代码-
from pyspark.sql.snappy import SnappySession
snappy = SnappySession.builder.appName("test") \
.master("local[*]") \
.config("spark.snappydata.connection", "<remote server>:1527") \
.getOrCreate()我得到FileNotFoundError: WinError 2系统找不到指定的文件。运行上面的代码。不幸的是,在设置环境时没有太多的信息。但是,我已经将我的环境配置为在本地运行PySpark,并且它可以正常工作。
发布于 2020-07-21 04:00:14
SnappyData的Python API不是作为Python模块分发的,您可以从任何spark集群使用它。但是,您可以使用作为SnappyData发行版一部分捆绑的PySpark。
https://stackoverflow.com/questions/62969761
复制相似问题