我正在尝试为来自CFPB的public complaint database的一年投诉叙述数据生成一个词云。
每年大约有10万个单词。
我已经能够使用每年大约1000个单词的样本来生成云。我使用tibble来记录每一年的单词和频率。
到目前为止,我已经尝试过wordcloud和ggwordcloud,当我尝试在一整年的数据上使用它们时,这两个包似乎永远运行或冻结。我的机器有16 My的RAM。它能处理这么多的数据吗?
有没有人知道有没有一个包可以用来为这么大的数据集生成词云?
我已经看到以前的答案,建议采取样本或以其他方式减少我正在处理的数据的大小。如果可能的话,我仍然希望使用完整的数据集。
发布于 2021-06-02 18:29:12
以块为单位阅读以积累单词列表是一种选择。下面是一些使用readr包中的函数read_lines_chunked的代码。每个块都使用tidytext包进行处理,前一个块的输出用于创建累积单词列表。然后,使用wordcloud包。
library(tidytext)
library(dplyr)
library(wordcloud)
library(readr)
process_chunk <- function(x, pos, acc) {
df <- tibble(text=x)
words <-
unnest_tokens(df, 'word', 'text') %>%
anti_join(stop_words, by = 'word') %>%
bind_rows(acc) %>%
count(word, sort = T)
rm(df)
words
}
words <- read_lines_chunked('complaints.csv', AccumulateCallback$new(process_chunk), chunk_size = 100000)
words %>%
head(50) %>%
with(wordcloud(word, n))

在我的16 my笔记本电脑上创建单词列表花了大约30分钟。
显然,您必须调整代码以添加或删除感兴趣的单词。我去掉了停用的单词,你可能想决定如何处理xxxx,我认为它可以替代跨人说粗鲁的话。
https://stackoverflow.com/questions/67799826
复制相似问题