如何使用Google电子表格执行Spark Streaming？

Question

我想建立一个应用程序，这将运行在本地支持实时数据处理，并需要使用python构建。

需要实时提供的输入，并且是google电子表格的形式(多个用户同时提供数据)。

此外，需要将代码的实时输出写回其相邻列中的电子表格。

也请帮帮我。

谢谢

Answer 1

您可以使用spark-google-spreadsheets库从Spark，as described here读取和写入Google Sheets。

下面是一个如何将数据从谷歌工作表读取到DataFrame中的示例：

val df = sqlContext.read.
    format("com.github.potix2.spark.google.spreadsheets").
    load("<spreadsheetId>/worksheet1")

增量更新将是艰难的。您可能只想尝试执行完全刷新。