无法在数据采集卡笔记本中使用joinWithCassandraTable

Question

我正在使用databricks笔记本，我正在尝试使用joinWithCassandraTable加入一个带有cassandra表的RDD。

rdd只是一个主键列表，我使用CassandraConnector以下列方式连接cassandra：

sparkConf.set("spark.cassandra.connection.localDC", dc)
sparkConf.set("spark.cassandra.connection.host", ip)
sparkConf.set("spark.cassandra.auth.username", cassandraUsername)
sparkConf.set("spark.cassandra.auth.password", cassandraPassword)
val cassandraConnector = CassandraConnector(sparkConf)

然而，在我尝试使用joinWithCassandraTable的地方，我在sparkConf中设置的ip似乎没有生效，它仍然试图连接到"localhost:9042“。

这可能是因为joinWithCassandraTable在笔记本中使用了共享火花上下文，而共享上下文中的任何配置更改都不会生效。请建议如何让joinWithCassandraTable使用正确的配置。

Answer 1

答案是因为joinWithCassandraTable总是使用来自databricks笔记本的内置备用上下文，它是在笔记本创建之前初始化的。在那之后你就没办法改变火花了。

使用此函数的正确方法是遵循https://docs.databricks.com/data/data-sources/cassandra.html中的指南

创建一个/databricks/init/$sparkClusterName/cassandra.sh脚本，并将所有与Cassandra相关的信息都放在其中。此脚本将在笔记本创建之前调用。