如何获取倒排索引？

Question

我用的是Spark。如何使用Spark获取csv文件的倒排索引？我有csv文件

df.show()
+--------+--------------------+--------------------+----------+
|      id|               title|                tags|closeddate|
+--------+--------------------+--------------------+----------+
|48702270|                null|                null|      null|
|48702455|                null|                null|      null|
|48702469|                null|                null|      null|
|48704166|                null|                null|      null|
|48704172|                null|                null|      null|
|48704243|Transfer files fr...|<java><android><f...|      null|
|48704263|for each loops as...|<java><java-8><mu...|      null|

例如，如何获得显示top标签的倒排索引？

Answer 1

首先，您需要将标记列转换为数组，如下所示：

from pyspark.sql.types import *
def read_tags_raw(tags_string): 
    return tags_string.strip('>').strip('<').split('><') if tags_string else []

read_tags = udf(read_tags_raw, ArrayType(StringType()))
df_valid_tags = df.withColumn('tags', read_tags('tags'))

然后调用explode和group by标签创建倒排索引：

df_valid_tags.select(explode('tags').alias('tag'), 'id') \
    .groupBy('tag').agg(collect_list('id').alias('ids'))

祝您使用SO数据库工作顺利;-)