我们从AWS-S3 (美国)复制压缩的.csv文件对于AWS-EFS (欧洲)和需要将它们导入到MariaDB集群(欧洲),挑战是在哪里/如何最好地在调用mySQLImport或加载数据INFILE时进行解压缩。
背景:
用户(通过基于浏览器的客户端)将使用预先签名的网址将大型.csv文件(<=2GB)上传到AWS-S3,然后将其导入我们的欧洲MariaDB集群。我们将压缩文件从S3复制到AWS-EFS (欧洲)。我们使用EFS是因为速度(通过S3),我们不知道哪个负载平衡的DB服务器将处理文件中的负载数据(EBS是特定于ec2的,所以不是容错的)。
我们的SysAdmin建议编写一个bash脚本,使用集群中的一个DB服务器对文件进行解压缩,然后使用mySqlImport导入LOAD DATA INFILE。令人担忧的是,对于通常不是由DB服务器完成的解压缩任务,我们会降低DB服务器的速度(I/O、CPU、影响在线用户的内存影响)。
我们不能在美国解压并将解压后的文件发送到AWS欧洲地区,因为较高的传输时间和区域间的传输成本。
问题:
在DB集群附近添加单台或双台服务器来处理解压(需要具有故障转移、负载平衡等功能才能保持健壮)或者使用DB服务器进行解压的解决方案可以吗?也许“增强”数据库服务器就足够了?...or还有没有其他选择?
发布于 2019-01-24 01:56:44
如果亚马逊网络服务甚至允许你做LOAD DATA,那么
LOAD DATA INPUT.注意:步骤1、2、3不涉及数据库。即使您使用相同的虚拟机进行工作,对数据库的影响也应该很小(消耗IOPs)。
一个典型的CSV文件的压缩比仅为3:1。为一个2 2GB的文件仅节省1.3 2GB的xfer成本值得吗?
https://stackoverflow.com/questions/54297421
复制相似问题