首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >数据帧的scala joinWithCassandraTable结果

问数据帧的scala joinWithCassandraTable结果
EN

Stack Overflow用户
提问于 2020-07-17 01:14:13
回答 1查看 328关注 0票数 0

我正在使用Datastax spark- Cassandra -connector来访问Cassandra中的一些数据。我的需求是将RDD与Cassandra表连接起来,获取结果并将其存储在hive表中。

我正在使用joinWithCassandraTable加入cassadra表。加入后,生成的RDD如下所示

代码语言:javascript
复制
com.datastax.spark.connector.rdd.CassandraJoinRDD[org.apache.spark.sql.Row, 
com.datastax.spark.connector.CassandraRow] = 
CassandraJoinRDD[17] at RDD at CassandraRDD.scala:19

我尝试了以下步骤来转换为数据帧,但所有方法都不起作用。

代码语言:javascript
复制
val data=joinWithRDD.map{
   case(_, cassandraRow) =>    Row(cassandraRow.columnValues:_*)
}

sqlContext.createDataFrame(data,schema)

我得到了下面的错误

代码语言:javascript
复制
java.lang.ClassCastException: cannot assign instance of
   scala.collection.immutable.List$SerializationProxy to field 
   org.apache.spark.rdd.RDD.org$apache$spark$rdd$RDD$$dependencies_ of 
   type scala.collection.Seq in instance of org.apache.spark.rdd.MapPartitionsRDD

你能帮我把joinWithCassandraTable转换成数据帧吗?

EN

回答 1

Stack Overflow用户

发布于 2020-07-17 02:36:33

如我所见,您在连接的左侧使用了dataframe。与其使用使用RDD API的joinWithCassandraTable,我建议使用has support for join in the Dataframe API的Spark Cassandra Connector 2.5.x (2.5.1是最新版本),并直接使用它。这真的很简单,你只需要从--conf spark.sql.extensions=com.datastax.spark.connector.CassandraSparkExtensions开始你的工作来激活这个functionality,之后,代码就只需要在数据帧上使用普通的joins:

代码语言:javascript
复制
val parsed = ...some dataframe...
val cassandra = spark.read
  .format("org.apache.spark.sql.cassandra")
  .options(Map("table" -> "stock_info", "keyspace" -> "test"))
  .load

// we can use left join to detect what data is incorrect - if we don't have some data in the
// Cassandra, then symbol field will be null, so we can detect such entries, and do something with that
// we can omit the joinType parameter, in that case, we'll process only data that are in the Cassandra
val joined = parsed.join(cassandra, cassandra("symbol") === parsed("ticker"), "left")
   .drop("ticker")

自述文件的完整源代码是here。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/62940057

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档