使用gsutil自动将本地存储的文件上载到云存储

Question

我是GCP的新手，我正在尝试构建一个ETL流，它可以将数据从文件上传到BigQuery。在我看来，最好的解决办法是使用gsutil。我今天看到的步骤是：

1. (已完成)将.zip文件从SFTP服务器下载到虚拟机
2. (已完成)解压缩文件
3. 将文件从VM上传到云存储
4. (已完成)自动将文件从云存储上传到BigQuery

步骤1和步骤2将按照计划执行，但我希望步骤3是事件驱动的。因此，当文件被复制到特定的文件夹时，gsutil会将它们发送到云存储中指定的桶中。有什么办法可以做到吗？

Answer 1

假设您在Linux上运行，您可能想要查看inotifywait，as mentioned in this question --您可以将其作为后台进程来运行，例如，bash /path/to/my/inotify/script.sh &，然后在测试完后将其设置为守护进程，并使其工作起来符合您的喜好。