如何将文本日志文件推入云日志记录中？

Question

我有一个应用程序(Automation A360)，每当我想用该应用程序记录某件事情时，它都会将它记录到一个txt/csv文件中。我在Automation中运行一个进程，该进程在10个bot运行程序(Windows )中同时运行(因此每个bot运行程序将记录本地发生的情况)

我的意图是，与其为每个bot运行程序分离日志文件，更希望有一个集中的地方来存储所有日志(即云日志)。

我知道这可以使用Python、Java等来完成。但是，如果每次我需要登录到云日志记录中，我都会调用Python脚本，即使这样做也需要2-3秒(我认为这有点慢)连接到gcp客户端并登录(大部分时间都采用这个第一步)。

你们怎么处理这件事？

Answer 1

我正在寻找的解决方案类似于这。它名为BindPlane，它可以从现场和混合水下收集日志数据，并将其发送到GCP监控/日志记录堆栈。

Answer 2

对于它可能(仍然)关心的人:您可以使用F流畅将日志转发到pubSub，然后从那里转发到桶。

https://flugel.it/infrastructure-as-code/how-to-setup-fluentd-to-retrieve-logs-send-them-to-gcp-pub-sub-to-finally-push-them-to-elasticsearch/