使用有限的资源在google books n-gram数据集上进行处理最可行的选择是什么？

Question

我需要从google图书的n-gram语料库中为每个目标单词计算大约10,000个目标单词和几百个上下文单词的单词共现统计

下面是完整数据集的链接：

Google Ngram Viewer

显而易见，数据库大小约为2.2TB，包含数千亿行。为了计算词的共现统计，我需要处理每个可能的目标词和上下文词对的全部数据。我目前正在考虑使用Hadoop和Hive来批量处理数据。考虑到这是一个有一个学期的时间限制和有限的计算资源的学术项目，还有其他可行的选择吗？

请注意，不需要对数据进行实时查询

Answer 1

配置单元有一个内置的UDF，用于处理ngram https://cwiki.apache.org/Hive/statisticsanddatamining.html#StatisticsAndDataMining-ngrams%2528%2529andcontextngrams%2528%2529%253ANgramfrequencyestimation。