首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >在Cassandra中迁移数据的最佳方法是什么

问在Cassandra中迁移数据的最佳方法是什么
EN

Stack Overflow用户
提问于 2020-01-22 15:08:37
回答 1查看 351关注 0票数 1

我有一个包含5个节点和writeConsistency: LOCAL_QUORUM的Cassandra集群。该集群有TB级的数据。现在,我需要将数据迁移到同一集群中的不同keyspace。以下是要求。

代码语言:javascript
复制
keyspace_1 --> read data --> transform --> insert in keyspace_2.

现在我们可以通过一些多实例微服务来做到这一点,我们可以从keyspace_1读取数据,然后转换数据,然后将其插入到目标键空间中。

但是有没有更好的方法呢?我找到了一篇文章How to migrate data from Cassandra cluster of size N to a different cluster of size N+/-M。但在这里,SSTable主要是在没有任何转换的情况下进行传输。但我需要一个介于两者之间的数据转换机制。有没有人能建议我一个好的方法/有人之前做过这样的活动?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2020-01-22 16:00:36

最简单的方法是使用Spark加载数据,执行转换,并将数据保存到新表中-由于Spark能够执行数据处理的自动并行化,因此它将比使用Spring Boot更容易。根据您的要求,您可以使用Spark Cassandra连接器的Spark SQL API或RDD API。

代码语言:javascript
复制
val df = sqlContext.read
  .format("org.apache.spark.sql.cassandra")
  .options(Map("keyspace" -> "ks", "table" -> "tab))
  .load

val dfTransformed = df.select.... // do transformation

dfTransformed.write
  .format("org.apache.spark.sql.cassandra")
  .options(Map("keyspace" -> "ks2", "table" -> "tab))
  .save

如果你不使用Spark,那么你将需要对所有数据执行完全扫描,转换读取的数据并写入它们-但这是更复杂的任务,因为你将需要处理失败等。此外,从Cassandra有效地读取数据并不是一件容易的任务-你可以看看这个code example,但我建议先看看Spark。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/59854354

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档