Datalab BigQuery数据到Dataproc Hadoop字数

Question

我目前在Google BigQuery上有一些reddit数据，我想对选择的subreddits上的所有评论做一个单词计数。查询大约是90GiB，因此不可能直接加载到DataLab中并转换为数据帧。有人建议我使用DataProc中的Hadoop或Spark作业来创建字数统计，并设置一个连接器将BigQuery数据导入到DataProc中，以便DataProc可以进行字数统计。我如何在DataLab中运行它？

Answer 1

以下是使用公共BigQuery莎士比亚数据集的WordCount的示例PySpark代码：

#!/usr/bin/env python

"""BigQuery I/O PySpark example."""
from pyspark.sql import SparkSession

# Use the Cloud Storage bucket for temporary BigQuery export data used
# by the connector.
bucket=sys.argv[1]
spark.conf.set('temporaryGcsBucket', bucket)

spark = SparkSession \
  .builder \
  .master('yarn') \
  .appName('spark-bigquery-demo') \
  .getOrCreate()

# Load data from BigQuery.
words = spark.read.format('bigquery') \
  .option('table', 'bigquery-public-data:samples.shakespeare') \
  .load()
words.createOrReplaceTempView('words')

# Perform word count.
word_count = spark.sql(
    'SELECT word, SUM(word_count) AS word_count FROM words GROUP BY word')
word_count.show()
word_count.printSchema()

# Saving the data to BigQuery
word_count.write.format('bigquery') \
  .option('table', 'wordcount_dataset.wordcount_output') \
  .save()

您可以将脚本保存在本地或GCS存储桶中，然后使用以下命令将其提交到Dataproc集群：

gcloud dataproc jobs submit pyspark --cluster=<cluster> <pyspark-script> -- <bucket>

另请查看此doc以了解更多信息。