Docker-compose + MariaDB +4 4GB文件=极慢的数据库导入

Question

我们有以下MySQL节点：

mysql:
    build: ./docker/builds/mysql
    ports:
      - "3306:3306"
    environment:
      - MYSQL_USER=root
      - MYSQL_PASSWORD=password
      - MYSQL_ROOT_PASSWORD=password
      - MYSQL_DATABASE=password
    volumes:
      - ./docker/data/ps_de:/data
      - ./docker/builds/mysql/my.cnf:/etc/mysql/my.cnf
      - ./docker/mysql:/var/lib/mysql_shared
    networks:
      vpcbr:
        ipv4_address: 172.55.0.20

这基本上就是用FROM mariadb:latest拉取MariaDB。

如果我们试图将巨大的SQL转储导入到这个数据库中，则需要花费大量的时间来完成此任务。

转储本身使用优化的设置进行转储，因此已经比普通转储“更快”。

在HDD上，导入4 4GB转储最多需要5个小时，而在SSD上，仍然需要55分钟。我读到过在使用Docker时将如此庞大的数据导入MySQL时出现的问题。

其他人也有这个问题吗?你是如何解决它的？

Answer 1

Docker中的数据导入基本上是一个标准化的过程。

导入速度取决于您的SSD/HDD和您要导入的转储文件的大小。根据硬盘的IO速度，导入可能需要一些时间。

我们花了几个小时来实现一个进度条，但公平地说，这不值得花时间，因为速度也不会随着它而增加。

我们在导入50+GB转储时所做的是从物理DB文件(直接存储在MariaDB/MySQL中)生成转储，而不是导入转储。下载一个50 is的包比导入一个50 is的转储要快得多。

这不是最好的方法，因为你不能在这里应用Dev-Settings ( Docker的入口点可以)，而且你可能需要一个来自你的公司的SRE/DevOps来提供转储本身，但值得一试。