每天将文件放入Kubernetes

Question

我有一个使用非云原生技术在Kubernetes中创建解决方案的需求。

其中一个要求是每天将数据导入到集群中的数据库中。集群既可以在prem上运行，也可以在VPN上的云中运行。

我的问题是，我有哪些选项可以将数据放入集群中？目前，数据将以.csv文件的形式提供。

是否可以从集群中运行cron作业来拾取文件，集群是否可以访问托管它的网络等？

Answer 1

如果我是你，我会创建：

cron

• 网络共享目录。

• 将该共享目录(从步骤1开始)挂载到某个服务器或本地磁盘上。

现在，您每天要做的唯一一件事是:将您的数据文件放入该目录中。

可以有多种方法来解决这个问题，但当您询问意见时，这只是我的意见。:)

Answer 2

最好的方法是使用云对象存储，如S3/GCS或本地对象存储，如Ceph、RadosGW或Minio。对象存储允许您通过HTTP(S)将著名的S3兼容API与许多著名的客户端库一起使用。亚马逊网络服务S3和全球通信服务有许多优势：

在firewalls.

• Infinite容量和按量计费定价模型上最流行且很少被阻止的

1. HTTP(S)协议。
2. ACL，允许通过链接进行访问的强URL。
3. 对象版本控制和生命周期规则。

在Kubernetes中，您可以使用凭据设置cronjob，这些凭据将定期将数据下载或上传到对象存储。