Fitbit数据的Spark流

Question

我正在使用Fitbit Oauth 2.0来访问fitbit数据。我将这些数据存储在SQL db中，之后，我使用Spark SQL来分析数据。如果我必须使用Spark Streaming，我如何在执行OAuth之后将数据摄取到Spark？

Answer 1

有多种方法可以做到这一点

1. 您可以将fitbit数据格式化为结构化数据，然后将其转储到HDFS/Kafka/Socket上，并启动相应的HDFS/Kafka/Socket接收器。
2. 您可以编写自己的自定义接收器，以便直接使用OAuth或从SQL接收数据。