文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布

从MYSQL 数据库归档 到 归档设计

我见到过的，听到过的数据库归档的方法有以下几种 1 数据通过人工的手段来进行清理，直接将表换名字，然后在重建一个新的表，承接数据。...2 数据通过MYSQL dump 或者其他的备份方式，将数据备份出来，在将数据恢复到数据归档库中，然后将备份的数据直接手动清理掉，这样的做法速度也很快，对业务的影响也比较小，基本上可以算是透明的方式了...下面就是一个MYSQL 针对一个数据库表归档的案例（这个案例也是有缺陷的，但目前是秉承着够用就好，以及时间成本的原则） 首先设计一个归档要考虑的问题如下 1 归档表的大小，以及每日最大，或最小的归档数据量...以下以最简单的自动化的方案来讲 下图是基于案例来讲的 因为数据库是MYSQL 所以考虑了归档一次是多大的批量，避免归档数据量过大的时候将生产库hang 死，另外配置表主要的功能是有两个 1 限制一次拷贝和清理的数据量...这样归档有没有缺点，当然有，缺点马上就可以说出几个 1 为什么还要在本地机归档数据，不应该是传送到其他机器上吗 2 为什么不设置每次归档的数量限制（每次限制操作的行数），这对MYSQL不是很用吗，为什么要写死

6.6K41
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    连仕彤博客Mysql数据库归档利器之pt-archiver

    前言 数据库管理员或者运维人员经常需定期对数据进行归档和清除，我们可以使用percona的pt-archiver工具能完成这一功能，使得数据归档变得方便简单。...1.查询表、数据信息 MySQL [pttest1]> show table status like 'demo_table'\G; *************************** 1. row...插入数据的) --replace          将insert into 语句改成replace写入到dest库 --sleep120         每次归档了limit个行记录后的休眠120秒（...单位为秒） --file ‘/root/test.txt‘：数据存放的文件，最好指定绝对路径，文件名可以灵活地组合 --purge             删除source数据库的相关匹配记录 --header...归档常用方法 归档(复制)数据到归档表，且不删除源表的数据(指定字符集)，删除源数据的话把--no-delete选项换成--purge就可以了。

    3.3K60

    MySQL数据归档小工具推荐及优化--mysql_archiver

    一.主要概述 MySQL数据库归档历史数据主要可以分为三种方式：一.创建编写SP、设置Event；二.通过dump导入导出；三.通过pt-archiver工具进行归档。...pt-archiver是Percona-Toolkit工具集中的一个组件，是一个主要用于对MySQL表数据进行归档和清除的工具。它可以将数据归档到另一张表或者是一个文件中。...--host，-h 指定连接的数据库IP地址。 --port，-P 指定连接的数据库Port端口。 --user，-u 指定连接的数据库用户。...--databases，-d 指定连接的数据库 --source 指定需要进行归档操作的表，该选项是必须指定的选项，使用DSN方式表示。...='数据库归档基础信息表'; 2.修改备份脚本 #!

    3.6K00

    MySQL归档 pt-archiver 工具

    删除或归档一张大表，导出文件等，可以进行主从同步数据 [mysql@mysqlt1 bin]$ ....--where:删除表中指定的数据，根据自己的需求限定，全部删除就给1=1即可 --statistics:打印出整个归档过程的统计信息 --limit:每次fecth多少行数据，类似游标获取，默认为1。...增改该值，有助于加速归档 --limit 10000 每次取1000行数据给pt-archive处理 --progress:打印导出过程中的信息，当前时间，当前一共耗费多少时间，当前fetch数据行数，...10常用的命令：归档到另一个数据库，源表删除，批量删除和插入，每1000次修改进行提交。跳过错误并且指定字符集连接 [mysql@mysqlt1 bin]$....--why-quit：打印退出的原因,归档数据正常完成的除外。 --charset=UTF8：指定字符集。 --analyze：结束归档后，优化表空间。

    2.3K00

    MySQL数据库(一)：安装MySQL数据库

    安装环境： 操作系统版本：RHEL 6.5 安装版本：MYSQL 5.1 升级版本：MYSQL 5.6 一、简述MYSQL 1.什么是数据库？...DB DataBase ：数据库 依照某种数据模型进行组织并存放到存储器的数据集合 DBMS DataBase Manager System ：数据库管理系统 用来操作和管理数据库的大型服务软件...DBS DataBase System ：数据库系统 即DB+DBMS指带有数据库并整合了数据库管理软件的计算机系统 2.E-R数据模型 3.常见数据库软件服务商 甲骨文：MYSQL...[确定] 6.登陆mysql并查询当前数据库 [root@svr5 mysql]# mysql ERROR 1045 (28000): Access denied for user 'root'@'localhost...需要注意的是这里的root用户不是Linux系统的root用户，而是mysql数据库的管理员root。

    30K80

    MySQL数据库介绍——初始数据库MySQL

    写在前面： 哈喽大家好我是网络豆云计算运维人员，本系列文章主要给大家讲解MySQL数据库的一些操作，从入门到精通，本文讲解的是MySQL数据库的认识。和我一起进入数据库的世界吧！...一.数据库基础知识 Mysql是⼀个开放源代码的数据库管理系统（DBMS） ，它是由 Mysql AB 公司开发、发布并⽀持的。...Mysql 是⼀个跨平台的开源关系数据库管理系统，⼴泛地应⽤ 在 Internet 上的中⼩型⽹站公司开发中。 数据库是由⼀批 数据 构成的 有序 的 集合 。...mysql> CREATE TABLE student -> ( -> student_id INT UNSIGNED, -> name VARCHAR(30), -> sex CHAR(1),...现在只是定义了⼀张表格，但并没有任何数据，接下来这条 SQL 声明语 句，将在 student 表中插⼊⼀条记录： mysql> INSERT INTO student(student_id,name

    7.3K10

    【MySQL】数据库介绍以及MySQL数据库

    目录 数据库介绍 数据库概述 数据表 MySql数据库 MySql安装 登录MySQL数据库 ​​​​​​​SQLyog（MySQL图形化开发工具） 数据库介绍 数据库概述 什么是数据库(DB:DataBase...数据库的保护、维护 通信 数据库与数据库管理系统的关系 常见的数据库管理系统 MYSQL ：开源免费的数据库，小型的数据库.已经被Oracle收购了.MySQL6.x版本也开始收费。...提供了一个非常专业数据建模的工具PowerDesigner。 SQLite : 嵌入式的小型数据库，应用在手机端。 上课会学：MYSQL 这里使用MySQL数据库。...表记录与java类对象的对应关系 数据库跟数据表的关系：一个数据库中可以有若干张表 MySql数据库​​​​​​​ MySql安装 安装 参考MySQL安装图解.doc 安装后，MySQL会以windows...也可以在DOS窗口，通过命令完成MySQL服务的启动和停止（必须以管理运行cmd命令窗口） 登录MySQL数据库 MySQL是一个需要账户名密码登录的数据库，登陆后使用，它提供了一个默认的root

    30.3K21

    YashanDB数据库日志分级管理与归档策略介绍

    在现代数据库系统中，日志管理是保障数据完整性、恢复能力以及系统高可用性的核心机制之一。高效的日志分级管理和归档策略不仅能提升数据库的性能，还能降低存储成本与运维复杂度。...YashanDB作为满足多样化业务需求的数据库产品，其日志体系设计能够兼顾在线事务处理的高效性与可靠的数据保护，本文将详细介绍YashanDB数据库在日志分级管理与归档方面的技术实现及优势。...归档备份和从恢复支持：支持基于备份集的归档日志备份，实现全量和增量多级备份；结合归档日志实现数据库到指定时间点或SCN完整恢复。...日志归档与恢复策略综合应用基于日志的分级管理和归档，YashanDB支持如下恢复策略：完整恢复：基于全库备份和相关归档日志进行数据恢复，保证数据库状态一致。...随着数据量和业务复杂度的不断增长，对数据库系统的高可用性和恢复能力提出了更高的要求，日志管理技术将成为关键竞争力。

    31310

    MySQL数据库基础（二）：MySQL数据库介绍

    ​MySQL数据库介绍一、MySQL介绍MySQL是一个关系型数据库管理系统，在 WEB 应用方面，MySQL是最好的 RDBMS (Relational Database Management System...，关系数据库管理系统) 应用软件，它是由瑞典MySQL AB 公司开发，目前属于 Oracle 旗下产品，MySQL 是最流行的关系型数据库管理系统中的一个。...二、MySQL的特点MySQL是开源的，所以你不需要支付额外的费用。MySQL支持大型的数据库。可以处理拥有上千万条记录的大型数据库。MySQL使用标准的SQL数据语言形式。...MySQL Workbench（GUITOOL）：一款专为MySQL设计的ER/数据库建模工具。它是著名的数据库设计工具DBDesigner4的继任者。...直至出现Account and Roles输入数据库密码，此处输入密码务必记住，用于之后登陆数据库。继续点击Next，出现finish后点击，完成安装。

    4.7K21

    MySQL数据库基础（二）：MySQL数据库介绍

    MySQL数据库介绍 一、MySQL介绍 MySQL是一个关系型数据库管理系统，在 WEB 应用方面，MySQL是最好的 RDBMS (Relational Database Management System...，关系数据库管理系统) 应用软件，它是由瑞典MySQL AB 公司开发，目前属于 Oracle 旗下产品，MySQL 是最流行的关系型数据库管理系统中的一个。...二、MySQL的特点 MySQL是开源的，所以你不需要支付额外的费用。 MySQL支持大型的数据库。可以处理拥有上千万条记录的大型数据库。 MySQL使用标准的SQL数据语言形式。...MySQL Workbench（GUITOOL）：一款专为MySQL设计的ER/数据库建模工具。它是著名的数据库设计工具DBDesigner4的继任者。...直至出现Account and Roles输入数据库密码，此处输入密码务必记住，用于之后登陆数据库。 继续点击Next，出现finish后点击，完成安装。

    4.2K11

    【Mysql】Mysql数据库基础

    2.数据库操作 2.1显示当前所有的数据库 SHOW DATABASES; 具体SQL语句操作： information_schema数据库是MySQL服务器的数据字典（保存所有数据表和库的结构信息...） performance_schema数据库是MySQL服务器的性能字典（保存全局变量等的设置） mysql 主要负责MySQL服务器自己需要使用的控制和管理信息（用户的权限关系等） sys是系统数据库...，包括了存储过程，自定义函数等信息 切记：这4个数据库是MySQL安装时自动创建的，建议不要随意的删除和修改这些数据库，避免造成服务器故障。...在创建数据库时，我们要指定字符集，这时我们一般指定utf8字符集，它可以包含非常多语言。而MySQL的utf8编码不是真正的utf8，没有包含某些复杂的中文字符。...mysql中不存在字符；所以可以用‘’或“”表示字符串。 3.3 日期类型 为了方便在数据库中存储日期和时间，MySQL提供了表示日期和时间的数据类型。

    5.5K10

    Oracle数据库恢复：归档日志损坏案例一则

    链接：http://www.eygle.com/archives/2010/11/recover_archivelog_corruption.html 最近在紧急故障处理时，帮助用户恢复数据库遇到了一则罕见的归档日志损坏案例...在进行归档recover时，数据库报错，提示归档日志损坏： *** Corrupt block seq: 37288 blocknum=1....Header损坏，无法读取数据。...如果这个归档日志损坏了，其实我们仍然有办法跳过去，继续尝试恢复其他日志，但是客户数据重要，不能容忍不一致性，这时候就只能放弃部分数据，由前台重新提交数据了。这在业务上可以实现，也就不是大问题了。...这是一种我从来没有遇到过的现象，也就是说，当操作系统在写出跟踪文件时，错误的覆盖掉了已经存在的归档文件，最后导致归档日志损坏，非常奇妙，从所未见。

    1.5K20

    MySQL数据库

    MySQL 是一个关系型数据库管理系统，由瑞典 MySQL AB 公司开发，目前属于 Oracle 公司。...MySQL 是一种关联数据库管理系统，关联数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。 MySQL 是开源的，目前隶属于 Oracle 旗下产品。...MySQL 支持大型的数据库。可以处理拥有上千万条记录的大型数据库。 MySQL 使用标准的 SQL 数据语言形式。 MySQL 可以运行于多个系统上，并且支持多种语言。...MySQL 支持大型数据库，支持 5000 万条记录的数据仓库，32 位系统表文件最大可支持 4GB，64 位系统支持最大的表文件为8TB。...MySQL 是可以定制的，采用了 GPL 协议，你可以修改源码来开发自己的 MySQL 系统。

    16K30

    【MySQL数据库】数据库基础

    SQL Server：微软推出的一款专业级的数据库适用于中大型项目 MySQL：使用频率最高的数据库软件之一，开源且免费，在中小企业中普及率非常高，主要用在电商、论坛等 PostgreSQL：加州大学伯克利分校计算机系开发的关系型数据库...安装完成之后，我们查看一下数据库服务是否正常 在自己电脑中找到这个图标 或者在你安装MySQL的文件中找到 bin 目录，可以找到下面这两个可执行程序 运行 mysqld 程序之后，MySQL服务也就启动了...当我们启动mysqld程序（客户端程序）、输入设定的密码之后，就成功连接到mysql服务器了： 2.2 数据库服务器 数据库服务器是指在电脑上安装的 数据库管理系统程序 ，这个管理程序可以同时管理多个数据库...MySQL数据库服务器、数据库和表之间的关系如图表示： 即： 一台计算机提供的MySQL数据库服务中， 可以创建多个数据库， 每一个数据库中可以创建多张表， 每一张表中有多个数据行， 每一个数据行由很多列组成...客户端需要安装客户端软件，服务端程序运行在服务器上，提供数据库服务。 我们使用客户端与MySQL服务器之间的通讯就是属于 C/S 架构。

    57510

    MySQL数据库——数据库操作

    1.登入、登出数据库 #登入数据库 mysql -u"用户名" -p "密码" #查看当前时间 select now(); #登出数据库 quit; exit; ctrl + d 2.创建、查看、...选择、删除、修改数据库 创建数据库时,设置数据库的编码方式 CHARACTER SET:指定数据库采用的字符集,utf8不能写成utf-8 COLLATE:指定数据库字符集的排序规则,utf8的默认排序规则为...general_ci; #查看数据库 show databases(); #选择数据库 use 数据库名; #删除数据库 drop databases 数据库名; #修改数据库字符集 alter...database 数据库名 default character set utf8 collate utf8_general_ci; #修改数据库名字 rename database 数据库名 to...新数据库名; 3.导入、导出数据库 #导入数据库 source /路径/xxx.sql; #导出数据库 mysql -uroot -p密码 数据库名<file.sql

    39.5K85

    mysql数据库

    一、基础 1、说明：创建数据库 CREATE DATABASE database-name 2、说明：删除数据库 drop database dbname 3、说明：备份sql server ---...： 分离数据库： sp_detach_db;附加数据库：sp_attach_db 后接表明，附加需要完整的路径名 14.如何修改数据库的名称: sp_renamedb 'old_name', 'new_name...否,使用下列默认设置（推荐） (5) [下一步] 设置分发数据库名称和位置 采用默认值(6) [下一步] 启用发布服务器 选择作为发布的服务器(7) [下一步] 选择需要发布的数据库和发布类型(8)...我们现在选第一个也就是默认的快照发布(其他两个大家可以去看看帮助)(4)单击[下一步]系统要求指定可以订阅该发布的数据库服务器类型,SQLSERVER允许在不同的数据库如 orACLE或ACCESS之间进行数据复制...]->[订阅选项] 选择允许匿名请求订阅2)如果选择匿名订阅,则配置订阅服务器时不会出现以上提示(10)[下一步] 设置快照 代理程序调度(11)[下一步] 完成配置 当完成出版物的创建后创建出版物的数据库也就变成了一个共享数据库

    15.8K71
    点击加载更多

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 粤公网安备44030502008569号

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号

      领券