文章/答案/技术大牛

发布

社区首页 >问答首页 >配置单元到GCP BigQuery同步

问配置单元到GCP BigQuery同步
EN

Stack Overflow用户

提问于 2019-01-26 10:24:17

回答 1查看 527关注 0票数 0

我们需要以固定的时间间隔(每小时/每天/任何时间)将数据从Hive table (Hadoop)移动到GCP (Google Cloud Platform) BigQuery。这里有多个表，数据量非常大。请告诉我在这种情况下是否可以使用云数据流(CDF)？有其他选择吗？

提前感谢！

问候你，库马尔

回答已采纳

发布于 2019-02-07 13:38:14

根据您拥有的时间尺度，有许多解决方案，但其中任何或所有解决方案都将涉及使用gsutil从HDFS复制数据(到本地文件系统)，然后再复制到GCS。或者，您也可以开发一个使用MySQL备份的解决方案，并将它们恢复到GCP上

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/54375156

复制

相似问题

问配置单元到GCP BigQuery同步EN