首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >转储和file db (带有)有时会导致文件损坏。

问转储和file db (带有)有时会导致文件损坏。
EN

Stack Overflow用户
提问于 2015-07-14 17:36:05
回答 1查看 1.4K关注 0票数 2

我想要创建一个MySQL db的自动备份。我想要的行为如下

  1. Cron作业每天运行一次
  2. 将转储文件压缩并存档到Amazon S3

当我需要从备份恢复时,会发生以下情况..

  1. 连接到亚马逊S3
  2. 从适当的桶下载压缩后的转储文件
  3. 解压缩文件并从该文件恢复db。

正在发生的事情:看起来一切都很好。我使用Python实现了所有行为的自动化。我做了成功的备份,并成功地恢复了数据库,就像预期的那样。

现在我注意到,有时转储压缩存档过程会导致转储文件无法恢复。当我试图重新声明数据库时,我得到了错误gzip: myDumpFile.sql.gz: unexpected end of file。我已经注意到,通常一个不成功的备份文件的大小将小于一个工作正常的文件(很好:2MB)。坏:~600 Kb)。在运行python脚本创建损坏的备份时,我不会收到任何错误。

我是怎么做的

我正在使用boto Python库与Amazon S3通信。实际的转储文件如下所示

代码语言:javascript
复制
import subprocess
...
dump_cmd = ['mysqldump ' +
            '--user={mysql_user} '.format(mysql_user=cfg.DB_USER) +
            '--password={db_pw} '.format(db_pw=cfg.DB_PW) +
            '--host={db_host} '.format(db_host=cfg.DB_HOST) +
            '{db_name} '.format(db_name=cfg.DB_NAME) +
            '| ' +
            'gzip ' +
            '> ' +
            '{filepath}'.format(filepath=self.filename)]
subprocess.Popen(dump_cmd, shell=True)
...

当我想要还原时,将从S3下载该文件,并发出以下命令

代码语言:javascript
复制
unzip_cmd = ['gzip -d {filename}'.format(filename=self.filename)]
restore_cmd = ['mysql ' +
               '--user={mysql_user} '.format(mysql_user=cfg.DB_USER) +
               '--password={db_pw} '.format(db_pw=cfg.DB_PW) +
               '--host={db_host} '.format(db_host=cfg.DB_HOST) +
               '{db_name} '.format(db_name=cfg.DB_NAME) +
               '< ' +
               '{filepath}'.format(filepath=self.filename[:-3])]
subprocess.Popen(unzip_cmd, shell=True)
subprocess.Popen(restore_cmd, shell=True)

为什么有时会导致.gz文件损坏?当CRON运行它或我手动执行时,两者之间没有相关性,好转储和坏转储都来自两者之一。

Note --我被警告不要使用shell=True作为安全漏洞,尽管在这种情况下,它是安全的,因为只有我可以访问服务器,并负责配置文件和输入。

EN

回答 1

Stack Overflow用户

发布于 2015-07-15 21:38:46

根据J.F .塞巴斯蒂安对我最初问题的评论,我开始了解到subprocess.Popen()马上就回来了。

我的程序是启动数据库转储,然后立即转移到完成所有上传工作的函数。因此,一个不完整的数据库转储被发送到AWS S3。解决方案是添加.wait()函数。

代码语言:javascript
复制
dc = subprocess.Popen(dump_cmd, shell=True)
dc.wait()

用户BK435曾建议将正在运行的数据库数据文件的副本作为替代,但该注释已被否定/删除。在报告中,他提到从运行中的数据库中删除mysqldump不是一个好主意,但我没有找到证据证明这是个坏主意。它确实锁定了桌子,但我不介意这个应用程序每晚运行几分钟。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/31413559

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档