我有一个包含5个节点和writeConsistency: LOCAL_QUORUM的Cassandra集群。该集群有TB级的数据。现在,我需要将数据迁移到同一集群中的不同keyspace。以下是要求。
keyspace_1 --> read data --> transform --> insert in keyspace_2.现在我们可以通过一些多实例微服务来做到这一点,我们可以从keyspace_1读取数据,然后转换数据,然后将其插入到目标键空间中。
但是有没有更好的方法呢?我找到了一篇文章How to migrate data from Cassandra cluster of size N to a different cluster of size N+/-M。但在这里,SSTable主要是在没有任何转换的情况下进行传输。但我需要一个介于两者之间的数据转换机制。有没有人能建议我一个好的方法/有人之前做过这样的活动?
发布于 2020-01-22 16:00:36
最简单的方法是使用Spark加载数据,执行转换,并将数据保存到新表中-由于Spark能够执行数据处理的自动并行化,因此它将比使用Spring Boot更容易。根据您的要求,您可以使用Spark Cassandra连接器的Spark SQL API或RDD API。
val df = sqlContext.read
.format("org.apache.spark.sql.cassandra")
.options(Map("keyspace" -> "ks", "table" -> "tab))
.load
val dfTransformed = df.select.... // do transformation
dfTransformed.write
.format("org.apache.spark.sql.cassandra")
.options(Map("keyspace" -> "ks2", "table" -> "tab))
.save如果你不使用Spark,那么你将需要对所有数据执行完全扫描,转换读取的数据并写入它们-但这是更复杂的任务,因为你将需要处理失败等。此外,从Cassandra有效地读取数据并不是一件容易的任务-你可以看看这个code example,但我建议先看看Spark。
https://stackoverflow.com/questions/59854354
复制相似问题