首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何在R中为大型数据集生成词云?

问如何在R中为大型数据集生成词云?
EN

Stack Overflow用户
提问于 2021-06-02 14:13:51
回答 1查看 176关注 0票数 0

我正在尝试为来自CFPB的public complaint database的一年投诉叙述数据生成一个词云。

每年大约有10万个单词。

我已经能够使用每年大约1000个单词的样本来生成云。我使用tibble来记录每一年的单词和频率。

到目前为止,我已经尝试过wordcloud和ggwordcloud,当我尝试在一整年的数据上使用它们时,这两个包似乎永远运行或冻结。我的机器有16 My的RAM。它能处理这么多的数据吗?

有没有人知道有没有一个包可以用来为这么大的数据集生成词云?

我已经看到以前的答案,建议采取样本或以其他方式减少我正在处理的数据的大小。如果可能的话,我仍然希望使用完整的数据集。

EN

回答 1

Stack Overflow用户

发布于 2021-06-02 18:29:12

以块为单位阅读以积累单词列表是一种选择。下面是一些使用readr包中的函数read_lines_chunked的代码。每个块都使用tidytext包进行处理,前一个块的输出用于创建累积单词列表。然后,使用wordcloud包。

代码语言:javascript
复制
library(tidytext)
library(dplyr)
library(wordcloud)
library(readr)
    
process_chunk <- function(x, pos, acc) {
    df <- tibble(text=x)
    words <- 
        unnest_tokens(df, 'word', 'text') %>%
        anti_join(stop_words, by = 'word') %>%
        bind_rows(acc) %>%
        count(word, sort = T)
    rm(df)
    words
}
    
words <- read_lines_chunked('complaints.csv', AccumulateCallback$new(process_chunk), chunk_size = 100000)
    
words %>%
    head(50) %>%
    with(wordcloud(word, n))

​

​

在我的16 my笔记本电脑上创建单词列表花了大约30分钟。

显然,您必须调整代码以添加或删除感兴趣的单词。我去掉了停用的单词,你可能想决定如何处理xxxx,我认为它可以替代跨人说粗鲁的话。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/67799826

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档