将数据从API上传到GCP dataprep

Question

是否可以将Restful API中的数据直接导入到data prep中？

我想可能会有一些变通的办法...1:将结果保存到GCS存储桶中的JSON文件中，并从那里导入。2:将结果导入到Big Query表中，然后从那里导入到data prep中。

只调用一个API并获得一个结果集会更流畅，而不是必须采取额外的步骤。我只是找不到任何地方来解释如何做到这一点。

蒂娅！

Answer 1

长话短说:没有真正的方法可以直接将数据流式传输到data Prep中。即使是新的Dataprep Premium Edition也希望您拥有某种形式的数据库形式的数据--尽管这确实将您的选择扩展到了Google Sheets、Salesforce、Oracle、微软SQLServer、MySQL和PostgreSQL。

就我个人而言，我已经养成了直接写入BigQuery和/或Firestore- to -BigQuery来绕过这类事情的习惯。它还有一个很好的副作用，那就是它是来自应用程序的另一种类型的日志。