背景 在项目过程中我们经常要对数据库进行迁移、归档、拆分等等操作,现在描述下几种方案 mysqldump 该命令可以指定导出数据库,该命令可能用时很久 cp 直接拷贝mysql数据文件,这里会影响业务需要下线...mysql 使用innobackupex 工具进行备份,这个不影响业务,速度稍快 先打lvm快照,然后从快照中备份数据,节省时间 我们有需要将物理盘上的mysql迁移到ssd上,先说一下生产环境一直有数据产生...下面描述下操作步骤 环境准备 1、创建物理卷 ?...cp -af remotepath /var/lib/mysql chown mysql:mysql /var/lib/mysql 执行完上面步骤后,再开始进行归档操作 归档步骤 1、停止mysql.../mnt/mysql_temp lvremove /dev/vgssd/mysql_backup 定时归档 暂定为30天,这样才能备份所有数据。
我见到过的,听到过的数据库归档的方法有以下几种 1 数据通过人工的手段来进行清理,直接将表换名字,然后在重建一个新的表,承接数据。...2 数据通过MYSQL dump 或者其他的备份方式,将数据备份出来,在将数据恢复到数据归档库中,然后将备份的数据直接手动清理掉,这样的做法速度也很快,对业务的影响也比较小,基本上可以算是透明的方式了...下面就是一个MYSQL 针对一个数据库表归档的案例(这个案例也是有缺陷的,但目前是秉承着够用就好,以及时间成本的原则) 首先设计一个归档要考虑的问题如下 1 归档表的大小,以及每日最大,或最小的归档数据量...以下以最简单的自动化的方案来讲 下图是基于案例来讲的 因为数据库是MYSQL 所以考虑了归档一次是多大的批量,避免归档数据量过大的时候将生产库hang 死,另外配置表主要的功能是有两个 1 限制一次拷贝和清理的数据量...这样归档有没有缺点,当然有,缺点马上就可以说出几个 1 为什么还要在本地机归档数据,不应该是传送到其他机器上吗 2 为什么不设置每次归档的数量限制(每次限制操作的行数),这对MYSQL不是很用吗,为什么要写死
原则:为生产库建立不同的用户管理用户业务用户 管理用户:超级管理用户、dba运维用户、备份用户、监控用户、复制用户 (克隆用户) 业务用户:每个业务模块一个用户,命名可以是user_业务模块名 只读查询用户...:允许开发人员定位问题查询生产库的只读权限 权限分配原则:根据最小原则给每个用户满足需求的最小权限,要是不够再增加 mysql用户和权限牵涉到的表 user : 包含用户账户,全局权限 db: 数据库级别的权限表...replication clinet replication slave show databases shutdown super create tablespace usage grant option 数据库级别权限...:授权方式可以*.* db.* create create routine create temporary tables drop loack tables references 数据库对象级别的权限...账号访问控制认证 第一个阶段:账号和密码认证 第二个阶段:权限检查 用户认证过程中mysql会把用户权限表加载到内存中 账号的匹配 先按照主机名字段排序,然后按用户名排序,用户账号根据排序后信息进行匹配
1案例介绍 首先,我们看一个生产环境上 GROUP BY 语句 的优化案例。...2环境准备 对于 GROUP BY 在使用索引上的优化,分为两种情况讨论: 表上无索引。执行时,会生成临时表进行分组。可以通过索引来优化,来避免使用临时表。 表上有索引。...6参考链接 https://dev.mysql.com/doc/refman/5.7/en/group-by-optimization.html https://dev.mysql.com/blog-archive...https://ost.51cto.com/posts/11914 《高可用 MySQL》https://www.oreilly.com/library/view/high-performance-mysql.../9780596101718/ch04.html 本文关键字:#MySQL# #SQL优化# #GROUP BY#
欢迎转载,转载请注明出处,谢谢 一、背景 公司的生产环境某些应用的数据库是部署在VMWare平台上的,为了节约成本,领导现考虑将全部数据迁移至居于KVM的CAS平台。...二、环境 2.1备份主机环境 [root@GeekDevOps-DB1 ~]# hostnamectl Static hostname: GeekDevOps-DB1 Icon...o:centos:centos:7 Kernel: Linux 3.10.0-327.el7.x86_64 Architecture: x86-64 2.2还原主机环境...CHARACTER SET utf8; Query OK, 1 row affected (0.00 sec) 4.2为创建好的数据库授权给用户GeekDevOps_gsms。...> flush privileges; Query OK, 0 rows affected (0.00 sec) mysql> quit Bye 4.3还原数据库。
RAC环境下的归档模式切换与单实例稍有不同,主要是共享存储所产生的差异。...在这种情况下,我们可以将RAC数据库切换到非集群状态下,仅仅在一个实例上来实施归档模式切换即可完成RAC数据库的归档模式转换问题。...1、主要步骤: 备份spfile,以防止参数修改失败导致数据库无法启动 修改集群参数cluster_database为false 启动单实例到mount状态 将数据库置于归档模式(alter database...archivelog/noarchivelog) 修改集群参数cluster_database为true 关闭单实例 启动集群数据库 2、环境 oracle@bo2dbp:~> cat /...,注意该命令在单实例下等同于alter system switch logfile -->在rac环境下则不同,那就是所有实例上的current日志都将会被归档 SQL> alter system
MySQL数据库安全权限控制管理 制度与流程控制 项目开发制度流程 开发环境 ---→功能测试 ---→ RDS实例上线,通过较为完善的项目开发流程控制,防止很多潜在的问题隐患发生。...数据库发布流程(分为DDL/ DML,DBA 只负责生产环境DDL发布,DML由开发人员自行发布) 涉及到生产数据库重大变更(比如大表加字段,索引,批量数据刷新),需邮件到技术总监以及DBA,判断业务是否允许...,完成上述数据库更改。...涉及到生产数据库小规模变更,直接发给DBA,抄送开发负责人等。...ddl 在提交至预发布环境后钉钉通知DBA,由DBA对 ddl 进行审核(create, alter 等),如有问题驳回修改后发布至预发布环境 。
DG环境数据库RMAN备份策略制定: 主库(Primary) 全库备份 归档备份 删除历史文件夹 备库(Standby) 删除归档 引用说明 主库(Primary) $ crontab -l 0...disk; crosscheck backupset; delete noprompt expired backupset; delete noprompt obsolete; exit EOF 归档备份...-mtime +7 | xargs rm -rf 备库(Standby) $ crontab -l 0 3 * * * /usr2/del_arch/del_arch.sh 删除归档 more...,具体根据自己的归档文件格式来匹配,关键是匹配日志的sequence no。...del_seq=$(( $del_seq + 1 )) done echo "删除归档日志结束:`date`……">>$LOG_FILE #清楚controlfile中信息 $ORACLE_HOME
which mysqld 查看路径 配置文件 : /etc/my.cnf 2.使用某数据库 use 库名 #mysql安装完成后默认建立mysql...、表、DB信息 show databases; show tables; select database(); # 找出当前选了哪个数据库...查看建表语句 ##语法顺序 select|distinct > from > where > group by > having > union > order by 5 创建并使用数据库...创建数据库 mysql> CREATE DATABASE menagerie; 【Unix下,数据库名称是区分大小写的】 使用数据库 mysql> use...menagerie 登陆时直接选择数据库 shell> mysql -h host -u user -p menage 【menage为库名】
自开源半年多以来,已成功为十几家中小型企业提供了精准定时调度方案,经受住了生产环境的考验。...问题 今天发现Mysql的主从数据库没有同步 先上Master库: mysql>show processlist; 查看下进程是否Sleep太多。发现很正常。...mysql.bak.sql 这里注意一点:数据库备份一定要定期进行,可以用shell脚本或者python脚本,都比较方便,确保数据万无一失。...备份文件传到从库机器,进行数据恢复 scp mysql.bak.sql root@192.168.128.101:/tmp/ 5.停止从库的状态 mysql> stop slave; 6.然后到从库执行...mysql命令,导入数据备份 mysql> source /tmp/mysql.bak.sql 7.设置从库同步,注意该处的同步点,就是主库show master status信息里的| File|
踩坑记录:生产环境MySQL迁移那些事上个月接到个任务,把公司的MySQL从云数据库迁移到自建机房。听起来简单,mysqldump导出导入不就完了?结果折腾了整整一周,踩了无数坑。...背景原来的数据库在云RDS,配置是4核8G,数据量大概200G。要迁移到公司自建机房的物理服务器上。...排查了半天,发现云RDS默认是utf8mb4,我们自建的MySQL是utf8。...但是发现云RDS的binlog只保留7天,而且位置格式和自建MySQL不一样。...ANALYZETABLE时区问题统一时区设置如果你也要做MySQL迁移,建议先在测试环境完整跑一遍,把坑踩完再上生产。
早上看到微信一个银行的同学问了小问题,希望他不要背锅,具体问题是MYSQL 一个50G的表要更改字段,将一个字段从varchar(3) 改成varchar(6). MYSQL 5.7 官版。...可能原因如下 1 DDL ONLINE 不阻塞 DML 但并没有说,不会不阻塞 DDL 的操作 2 测试环境比较单纯,可能测试的时候,对表并没有其他的复杂的操作 所以还是那句话,数据库的问题,一定要想的复杂点...有些公司操作ALTER 语句的并不是人工,而是通过购买(或开源)的一个所谓的 “自动化”工具来的,谁也不知道在故障发生的一刻,做了什么,同时不能复制的,就是当时的生产环境到底有没有大事务,并且就对那张表进行了什么操作...也注定 DB的工作,是一件需要小心小心小心的工作,因为生产环境一定有你不清楚的环境,而这些可能不清楚的环境,就会让某次“信心满满”的Action Failed....注:到目前为止MYSQL 在修改字段方面,对比其他数据库还是要注意的地方多多,当然MYSQL 8 已经添加了 instant 让修改字段变得更让人放心。
mysql安装方式有多种 1.rpm包可以用yum安装 2.二进制包解压安装 3.源码编译安装 4.docker镜像方式按照 生产环境安装建议使用第二种二进制包安装 如下操作使用mysql8.0.18...在centos7上安装 作为生产环境安装首先要调整操作系统环境: 调整文件句柄和进程数 vim /etc/systemd/system.conf centos7调整如下2个值 #DefaultLimitNOFILE...tcp_max_syn_backlog = 819200 net.core.netdev_max_backlog = 400000 net.core.somaxconn = 4096 #解决time_wait过高导致数据库连接不上...推荐使用xfs文件系统 io调度 SAS :deadline SSD&PCI-E: noop 规划mysql安装: 1.下载指定版本的msyql数据库 [root@localhost local]#.../mysqld --defaults-file=/data/mysql/mysql3312/my3312.cnf --user=mysql & --initialize 初始化生产随机密码在error.log
背景 如果我们需要在生产环境中修改MySQL数据库中某个库表的结构。那么,需要考虑哪些要点,才能确保不会出问题呢? 碰到的问题 这里先描述一下我在生产环境MySQL数据库中修改库表结构时遇到的问题。...在开发过程中,我发现MySQL中某个库表需要添加一个字段,比如库表: 需要给Sname后面添加一个字段:Sheight。...alter table practice.Student wait 100 add column Sheight int(4) not null default 0 comment '"身高" 总结 在生产环境中变更...MySQL数据库中库表结构是一件比较有风险的事情,所以一定要三思而后行,避免引起任何可能的线上事故。
一、问题描述 1、客户数据库从服务器,套接字丢失/tmp/mysql.sock,导致mysql 直连本地提示访问拒绝 2、正常解决方法:需要人为重启动数据库。...,这台机器原先是mysql5.6 ,后来升级至5.7(采用的是二进制安装) mysql5.6安装路径:/usr/local/mysql mysql5.7安装路径:/usr/local/mysql-5.7.16...所以我修改/etc/profile的环境变量 export PATH=....$PATH:/usr/local/mysql-5.7.16-linux-glibc2.5-x86_64/bin 启动数据库错误问题依旧。。。。。。...& 三、解决方法 根据提示:mysql5.7的mysqld_safe启动时,引用的mysql5.6动态库,是不是因为环境变量之类有影响。
在生产环境部署 Nacos 集群和高可用 MySQL 使用 Docker 前言 在本教程中,我们将详细介绍如何使用 Docker 和 docker-compose 在生产环境中部署 Nacos 集群和高可用...摘要: 本教程详细指导了如何在生产环境中使用 Docker 和 docker-compose 部署 Nacos 集群和高可用 MySQL。...然而,如何在生产环境中稳定、安全地部署 Nacos 集群和其相关的数据库是一个需要深入考虑的问题。本教程旨在为你提供一个明确、全面的解决方案。...在生产环境中,考虑使用 MySQL 高可用集群或主从复制来增加数据的稳定性和可用性。 根据具体需求和资源,可以考虑调整容器的内存和 CPU 限制。...生产环境中的数据是非常宝贵的,因此确保所有通信都是安全的非常重要。 使用防火墙或安全组规则,仅允许从特定 IP 或 IP 范围访问 Nacos 和 MySQL。
删除或归档一张大表,导出文件等,可以进行主从同步数据 [mysql@mysqlt1 bin]$ ....增加该值可以提升归档性能。...[mysql@mysqlt1 bin]$....,源表不删除,批量插入 [mysql@mysqlt1 bin]$ ....10常用的命令:归档到另一个数据库,源表删除,批量删除和插入,每1000次修改进行提交。跳过错误并且指定字符集连接 [mysql@mysqlt1 bin]$.
1 实战环境介绍 线上环境 mysql数据库一主多从的架构,主写从读进行读写分离,专用从库做数据备份,每天0点全备一次,12点增量备份一次,初始阶段数据量很小的情况按此方案,后续数据量大,读写频繁时...,再进行相关调整,增加增量备份频次 系统环境 [root@mysql-1 ~]# cat /etc/redhat-release CentOS release 6.8 (Final) [root@mysql...-1 ~]# uname -r 2.6.32-642.el6.x86_64 [root@mysql-1 ~]# mysql -v mysql Ver 14.14 Distrib 5.7.17, for...2 模拟线上数据写入 数据库同步完成,开启3307从库的binlog日志功能 查看目前的日志文件 ? 写入数据测试同步 ? ? ? 注:查看日志文件修改时间发现有数据写入 此时执行全备文件 ?...此时发现数据库数据出现问题,某个数据无法访问了,需要进行恢复 3 恢复数据 数据恢复具体操作如下 1、停止主从同步,应用与数据库的读写操作,防止数据再次写入 ?
作者:Mike Frank 译:徐轶韬 在此博客中,我将演示如何在许多mysql实例之间将审计日志进行合并归档。...将这些行从已审计的数据库插入到审计数据归档的MySQL数据库中。如您所见,mysqlx API将使事情变得更加简单。 一些事实。...首先让我们以管理员身份登录到归档MySQL服务器实例上–我将使用root。整个示例都需要使用mysql shell。它包括用于从目标服务器提取审计数据进行计划批处理归档的python。...步骤1 –审计归档数据库设置。...这将记录很多内如,如果出于在测试环境中查看这项工作的目的,这是合理的。在生产中,您可能会希望更具选择性。
前言 数据库管理员或者运维人员经常需定期对数据进行归档和清除,我们可以使用percona的pt-archiver工具能完成这一功能,使得数据归档变得方便简单。...归档之前准备 pt-archiver归档前,需要先建立归档表(备份表)且表结构要一样。 pt-archiver操作的表必须有主键。...1.查询表、数据信息 MySQL [pttest1]> show table status like 'demo_table'\G; *************************** 1. row...general_ci Checksum: NULL Create_options: Comment: 1 row in set (0.03 sec) 2.查看表DDL(表结构) MySQL...归档常用方法 归档(复制)数据到归档表,且不删除源表的数据(指定字符集),删除源数据的话把--no-delete选项换成--purge就可以了。