首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >存储倒置索引

问存储倒置索引
EN

Stack Overflow用户
提问于 2016-06-07 11:55:06
回答 1查看 858关注 0票数 0

我正在使用Spark创建一个倒置索引(或者更多的是一个“发布列表”,所以发布的顺序很重要),看起来有点像这样

代码语言:javascript
复制
|   key   |  postings                                    |
----------------------------------------------------------
|   "a"   |  1, 3, 4, 7, 8, 9, 21, 25                    |
|   "b"   |  7, 12, 21, 24, 28, 31, 37, 48, 51, 91       |
|   "c"   |  1, 2, 3, 10, 12, 17, 21, 38, 39, 40, 47     |

注意,键是例如一个字符串,帖子是一个排序列表,例如整数。稍后,我将使用帖子列表并多次迭代(希望非常有效)。

我想知道最好的选择是在星火中创建这样的数据,并最终将其存储到Parquet。你建议使用嵌套结构吗?或者更确切地说,使用数组来存储帖子(如果我想要存储的不仅仅是一个id,而是一个id和一个距离,即整数和浮点数的元组),我该怎么办?或者你会建议不要使用这样的投递列表,而选择一个扁平的结构(例如,在同一键多次出现的情况下发布)?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2016-06-07 12:20:26

我会用一张名单。收集像IntegerType这样的简单值的列表将相当容易。如下所示:

代码语言:javascript
复制
val df = Seq(
  ("a",1,1.1),("a",3,2.3),("a",4,1.0),("b",7,4.3),("b",12,11.11),("b",21,0.01)
).toDF("key","posting","distance")

val aggregatedDf1 = df.groupBy("key").agg(collect_list(col("posting")) as "postings")

在复杂的collect_list上执行StructType将更加困难,因为Hive聚合函数只适用于简单的类型。

要聚合StructType,需要创建一个UDAF。UDAF API有点乏味,所以您可以稍微欺骗一下,将列聚合成两个列表,然后使用一个简单的UDF来zip这两个列表,如下所示:

代码语言:javascript
复制
val zipper = udf[Seq[Tuple2[Int,Double]],Seq[Int],Seq[Double]]((a,b) => a.zip(b))

val aggregatedDf2 = df.groupBy("key").agg(
  collect_list(col("posting")) as "postings",
  collect_list(col("distance")) as "distances"
).withColumn("postings", zipper($"postings", $"distances")).drop("distances")
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/37678687

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档