我正在使用Datastax spark- Cassandra -connector来访问Cassandra中的一些数据。加入后,生成的RDD如下所示 com.datastax.spark.connector.rdd.CassandraJoinRDD[org.apache.spark.sql.Row, CassandraJoinRDD[17] at RDD at
我正在尝试运行一个通过datastax的Cassandra连接器访问Cassandra的scala程序。: Unable to find class: org.apache.spark.sql.cassandra.CassandraSQLRow
at com.esotericsoftware.kryo.util.DefaultClassResolver.readNameSPARK_CLASSPATH=/home/spark/jars
假设我想转换来自cassandra表(比如表)的数据,并使用Spark将相同的数据重写到cassandra中的其他表(比如tableNew),我编写的代码如下所示
val conf = new SparkConf("org.apache.spark.sql.cassandra").options(Map( "table" -> "<table>", "keyspac
我有一个包含5个节点和writeConsistency: LOCAL_QUORUM的Cassandra集群。该集群有TB级的数据。现在,我需要将数据迁移到同一集群中的不同keyspace。现在我们可以通过一些多实例微服务来做到这一点,我们可以从keyspace_1读取数据,然后转换数据,然后将其插入到目标键空间中。 但是有没有更好的方法呢?我找到了一篇文章How to migrate data from Cassandra cluster of size N to a different