问怎么数代币？
EN

Stack Overflow用户

提问于 2016-04-18 15:17:37

回答 1查看 1.4K关注 0票数 2

我想从字符串中提取单词并对它们进行计数(说出一个单词发生的频率)。

val tokenized = tokenizer.transform(title)
val words = tokenized.select("words").take(5).foreach(println)

我得到的是这样的格式。

[WrappedArray(rt, happy, new, year!!! ]
[WrappedArray(rt, happy, new, year!!! ]
[WrappedArray(rt, happy, new, year!!! ]
[WrappedArray(rt, happy, new, year!!! ]
[WrappedArray(rt, happy, new, year!!! ]

我想要的是得到一个按单词分组的逐字计数列表。该怎么做呢？

scala

apache-spark

apache-spark-sql

回答 1

Stack Overflow用户

回答已采纳

发布于 2016-04-19 08:31:31

您可以使用count和groupBy与计数聚合的组合，如下所示：

tokenized.withColumn("words", explode(col("words")))
  .groupBy("words")
  .agg(count("*")).show()

票数 2

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/36698090

复制

相似问题

问怎么数代币？
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问怎么数代币？EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问怎么数代币？
EN