转换spark数据框列

Question

我有一个包含两列的spark dataframe : Stars (数值)和categories (标签字符串，例如："Restaurant，Italien，High-end")。我希望重新创建数据帧，这样类别就变成了标签的计数。在上面的示例中，类别将变为3。

我曾尝试将数据帧视为熊猫数据帧，但似乎不起作用。我是Spark的新手，所以可能是因为我不太理解RDD的概念。

Answer 1

为了更好地理解问题，请粘贴代码。根据对问题的描述，您可以尝试执行以下操作：

df['CategoryCount'] = df['categories'].str.split(',').str.len()

df是您的原始数据帧，CategoryCount是包含标签计数的新列。如果你愿意，你也可以删除你的类别栏。