首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >从Google Cloud中的网站自动导入数据

问从Google Cloud中的网站自动导入数据
EN

Stack Overflow用户
提问于 2019-12-25 00:16:14
回答 2查看 246关注 0票数 0

我正在尝试找到一种方法,使用这个链接自动更新一个大型查询表:https://www6.sos.state.oh.us/ords/f?p=VOTERFTP:DOWNLOAD::FILE:NO:2:P2_PRODUCT_NUMBER:1

这个链接每周都会更新新的数据,我希望能够用这个新数据替换大查询表。我已经研究过可以将电子表格导出到Big Query,但这并不是一种简化的方法。

我该如何提交一个脚本来导入数据并将这些数据提供给Big Query呢?

EN

回答 2

Stack Overflow用户

发布于 2020-01-01 09:51:47

我假设您已经有了一个可以解析URL内容并将内容放在BigQuery中的工作脚本。基于此,我将推荐以下工作流程:

  • 将脚本作为Google Cloud Function上传。如果你的脚本不是用兼容的语言写的(比如Python,Node,Go),你可以使用Google Cloud Run。将云函数设置为通过发布/订阅消息触发。在这种情况下,您的发布/订阅消息的内容并不重要。
  • 设置了一个Google Cloud Scheduler作业来(a)在每周六上午12点(或您希望的任何时间)运行,(b)向您的云函数订阅的发布/订阅主题发送一条虚拟消息。
票数 1
EN

Stack Overflow用户

发布于 2019-12-25 06:32:53

您可以尝试使用带有Request library的Python等编程语言向页面发出HTTP请求,将数据保存到Pandas数据帧或CSV文件中,然后使用BigQuery libraries将数据推送到BigQuery表中。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/59471277

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档