- 综合排序
- 最热优先
- 最新优先
- 来自专栏芝麻实验室
MySQL全量备份
接下来，我们一起来学习全量备份的实现方式。 ~]# yum -y install mariadb-server [root@node2 ~]# systemctl enable mariadb #注意，做全量恢复时，目标SQL服务器上不应启动数据库服务 ，也不要初始化 安装备份恢复工具 [root@node2 ~]# yum -y install percona-xtrabackup 执行恢复作业(假定，原先数据库服务器宕机了) [root@node2 root root 4096 Nov 19 06:29 mydb drwx------ 2 root root 4096 Nov 19 06:29 mysql drwx------ 2 29 xtrabackup_info [root@node2 2017-11-19_06-07-40]# systemctl start mariadb [root@node2 2017-11-19_06
2.6K30发布于 2019-03-05 - 来自专栏散尽浮华
Mysql备份系列（2）--mysqldump备份（全量+增量）方案操作记录
线上数据库备份场景： 每周日执行一次全量备份，然后每天下午1点执行MySQLdump增量备份. 1点执行全量备份，适用于MyISAM存储引擎。 CHANGE MASTER语句 2：记录为注释的CHANGE MASTER语句 mysqldump全量+增量备份方案的具体操作可参考下面两篇文档： 数据库误删除后的数据恢复操作说明 解说mysql之binlog 应用场景： 1）增量备份在周一到周六凌晨3点，会复制mysql-bin.00000*到指定目录； 2）全量备份则使用mysqldump将所有的数据库导出，每周日凌晨3点执行，并会删除上周留下的mysq-bin 脚本实现： 1）全量备份脚本（假设mysql登录密码为123456；注意脚本中的命令路径）： [root@test-huanqiu ~]# vim /root/Mysql-FullyBak.sh #!
7K91发布于 2018-01-23 - 来自专栏yuyy.info技术专栏
kettle实现全量备份
要求 安装KETTLE+DEBEAVER+MYSQL,在mysql数据库上建house数据库，并将house数据库的表数据通过kettle，全量备份到另外一个表中。 步骤 建立house数据库，利用kettle读取fed_funds.csv并存进house数据库，再进行全备份。 查看源数据 image.png 建立数据库及表 image.png 运行转换 image.png 生成数据库文件 image.png 创建目标表 image.png 执行全备份转换 image.png
1.1K10编辑于 2022-06-28 - 来自专栏小陈运维
YUM下载全量依赖
el7 dependency: nginx-filesystem = 1:1.20.1-2.el7 provider: nginx-filesystem.noarch 1:1.20.1-2.el7 el7.x86_64.rpm Downloading nginx-filesystem-1.20.1-2.el7.noarch.rpm Downloading nspr-4.25.0-2.el7_9.x86 -2.el7.noarch.rpm -rw-r--r--. 1 root root 131612 Oct 15 2020 nspr-4.25.0-2.el7_9.i686.rpm -rw-r--r for package: python2-cryptography-1.7.2-2.el7.x86_64 ---> Package python2-httplib2.noarch 0:0.18.1-3 cryptography-1.7.2-2.el7.x86_64.rpm -rw-r--r--. 1 root root 128003 Jun 20 2020 /tmp/python2-httplib2
1.7K40发布于 2021-10-13 - 来自专栏网站教程
mysql全量数据迁移
mydumper/loader 全量导入数据最佳实践 为了快速的迁移数据 (特别是数据量巨大的库)，可以参考以下建议： mydumper 导出数据至少要拥有 SELECT，RELOAD，LOCK TABLES 导入示例及相关配置： mydumper 导出后总数据量 214G，单表 8 列，20 亿行数据 集群拓扑 TiKV * 12 TiDB * 4 PD * 3 mydumper -F 设置为 16，Loader /bin/mydumper -h 127.0.0.1-P 3306-u root -t 16-F 64-B test -T t1,t2 --skip-tz-utc -o . /var/test 上面，我们使用 -B test 表明是对 test 这个 database 操作，然后用 -T t1,t2 表明只导出 t1，t2 两张表。
1.7K00发布于 2021-07-17 - 来自专栏仙士可博客
mysql实现定时全量备份
参考地址: https://github.com/wentmac/mysql_backup 定时备份逻辑: 1:定义备份的数据库 2:使用mysqldump备份 3:压缩备份sql脚本 4:删除10天前的备份数据 ${mysqldump} -F -u${db_user} -h${db_host} -P${db_port} -p${db_password} ${db} > ${dumpfile}.sql 2> >${logfile} 2>&1 #开始将压缩数据日志写入log echo $(date +'%Y-%m-%d %T')" Beginning zip ${dumpfile logfile} #将备份数据库文件库压成ZIP文件，并删除先前的SQL文件. # tar -czvf ${backname}.tar.gz ${backname}.sql 2> &1 && rm ${dumpfile}.sql 2>>${logfile} 2>&1 #将压缩后的文件名存入日志。
2K20发布于 2020-09-28 什么是全量参数微调
在llama2-chinese里面有个全量参数微调概念，那么这个是什么意思？ 微调，Fine-Tuning，一般指全参数的微调（全量微调），指是一类较早诞生的微调方法，全参数微调需要消耗大量的算力，实际使用起来并不方便，因此不久之后又诞生了只围绕部分参数进行微调的高效微调方法； Tuning (SOTA PEFT)，特指部分参数的微调方法，这种方法算力功耗比更高，也是目前最为常见的微调方法，比如lora微调、Prefix-Tuning、Prompt Tuning、P-Tuning v2等方法 ； 除此之外，Fine-Tuning可以代指全部微调方法，同时OpenAl中模型微调AP1的名称也是Fine-Tuning， 需要注意的是，OpenAl提供的在线微调方法也是一种高效微调方法，并不是全量微调
34500编辑于 2025-07-20- 来自专栏橘子の笔记
Packagist Composer 中国全量镜像
用 composer config -l -g 查看所有全局配置 composer config -l -g 2 .
2.7K00发布于 2020-03-30 - 来自专栏腾讯专有云
千万保单，全量上云
流程耗时 新系统搭建了自动化投放测试、准生产环境，并通过DevOps建立了从开发到运行、到运维监控的软件全生命周期管理和治理能力，实现从核心投产演练的全流程自动化。 作为新系统核心业务流量的支撑，民生保险私有企业云基于腾讯云全栈专有云解决方案TCE打造。 它包括70%节点基于通用X86架构的私有云和30%节点基于全国产芯片为基础的私有云。 云平台内置一站式原生运维系统，支持8000多个监控指标和自动化巡检能力，仅需2-3名运维人员。 目前，腾讯云TCE已经助力中国银行、建设银行、中国人保、中国银联、深证通、中银证券、中信建投证券、方正证券、广州农商行等一大批大型金融机构构建了安全合规的全栈私有云，是行业落地案例最多、规模最大的专有云解决方案
1.3K20编辑于 2022-06-24 - 来自专栏linda
【Mysql】xtrabackup全量增量备份脚本
全量备份脚本 #! =/usr/local/mariadb/bin/mysqladmin BACKUPDIR=/backup/mysql # 备份的主目录 FULLBACKUPDIR=$BACKUPDIR/full # 全库备份的目录 INCRBACKUPDIR=$BACKUPDIR/incr # 增量备份的目录 KEEP=1 # 保留几个全库备份 # Grab start time ###################### ######################################################################## error() { echo "$1" 1>&2 =/usr/local/mariadb/bin/mysqladmin BACKUPDIR=/backup/mysql # 备份的主目录 FULLBACKUPDIR=$BACKUPDIR/full # 全库备份的目录
2.7K31发布于 2019-06-02 - 来自专栏sktj
shell 增量备份全量备份脚本
? ?
2.4K30发布于 2019-10-23 - 来自专栏洁癖是一只狗
redis全量复制和部分复制
上一节我们看到了docker搭建集群，今天我们说一些集群数据同步原理 我们在第一次同步数据的时候，redis集群都是进行全量复制，由于全量复制的开销比较大，在2.8版本之后就提出了一种部分复制，我们先看一下全量复制的流程原理 因此我们在2.8版本引入可部分复制,当网络抖动的时候，数据不同步的时候，此时我们就可以使用部分复制，2.8版本之前都是全量复制。 ? 规避全量复制 全量复制的开销非常大，产生全量复制的条件 1.第一次全量复制是不可避免的，我们可以到夜间操作或者设置maxmemory(指定Redis最大内存限制，Redis在启动时会把数据加载到内存中 ，达到最大内存后，Redis会先尝试清除已到期或即将到期的Key)可以让存储的数据小，网路传输RDB以及fork子进程更快 2.当主节点重启，节点运行id就会不一致，就会发生全量复制，但是在4.0版本做了升级 )buffer的大小，可以有效的避免全量复制。
1.9K10发布于 2020-06-15 - 来自专栏Postgresql源码分析
Mysql手动全量增量迁移实战
如果可以接受一定时间的停写，可以使用mysqldump+binlog的方式迁移数据 规划 8002库迁移全量加增量到8001库，增量迁移时8002库只读保证数据一致。 8002库模拟业务流量，并全量迁出 sysbench oltp_read_write --mysql-host=127.0.0.1 --mysql-port=8002 --mysql-user=server tps: 173.00 qps: 3460.04 (r/w/o: 2422.03/692.01/346.00) lat (ms,95%): 5.99 err/s: 0.00 reconn/s: 0.00 全量迁移出 切换了binlog （3）全量迁移结束，8002库继续写入一段时间，8001库全量迁入 mysql -uroot -proot -P8001 -h127.0.0.1 server_234_db < db.sql （4）8002库只读，开始迁移binlog flush tables with read lock; set global read_only=1; 业务停写，确认binlog无增长 主库全量迁移位点
2.1K40编辑于 2022-05-12 【详解】基于mysqldump全量备份还原
本文将详细介绍如何使用 mysqldump 进行全量备份，并在需要时进行数据还原。 以上是关于使用 mysqldump 进行全量备份和还原的技术博客文章。希望对您的数据库管理和维护工作有所帮助。当然可以！ 场景描述假设你有一个生产环境中的 MySQL 数据库，需要定期进行全量备份，并在需要时能够快速恢复数据。 全量备份步骤1：生成备份文件使用 mysqldump 命令生成全量备份文件。备份文件将保存在本地的 /backup 目录下。 全量还原步骤1：停止应用写入为了确保数据一致性，建议在还原前停止所有对数据库的写入操作。步骤2：删除现有数据库（可选）如果需要覆盖现有的数据库，可以先删除现有数据库。
1.7K10编辑于 2025-10-02- 来自专栏沈唁志
国内的Composer全量镜像汇总
自从 Packagist 中国全量镜像服务停止以后，大部分的 phper 都会使用 laravel-chind 的提供的镜像，但是最近因为大量的恶意请求而出现资源告急的情况，已经做了一些限额处理 分享一些国内可用的 Composer 全量镜像，速度自测～ Alibaba Cloud Composer Mirror 由阿里提供的镜像，阿里家大业大，大水管 镜像地址：https://mirrors.aliyun.com /composer/ Laravel China Composer 全量镜像 由 Laravel China 社区联合又拍云与优帆远扬共同合作推出的公益项目，将于 2019 年 9 月 4 号停用。 Packagist Mirror 由上海交通大学提供的镜像 镜像地址：https://packagist.mirrors.sjtug.sjtu.edu.cn Packagist / Composer 中国全量镜像 任何个人或团体，未经允许禁止转载本文：《国内的Composer全量镜像汇总》，谢谢合作！
6.3K40发布于 2019-12-09 - 来自专栏奔跑的人生
全量索引代码实现
上一节我们实现了索引基本操作的类以及索引缓存工具类，本小节我们开始实现加载全量索引数据，在加载全量索引数据之前，我们需要先将数据库中的表数据导出到一份文件中。 因为全量索引的加载和增量索引加载的本质是一样的，全量索引其实就是一种特殊的增量索引，为了代码的可复用，我们创建统一的类来操作索引。 加载全量索引其实是增量索引 "添加"的一种特殊实现 * * @author Isaac.Zhang | 若初 value); break; default: break; } } } 3.读取文件实现全量索引加载 @Component @DependsOn("indexDataTableUtils") public class IndexFileLoader { /** * 服务启动时，执行全量索引加载
67430发布于 2019-08-22 - 来自专栏数据库相关
全量SQL的采集和利用
总体功能分2部分介绍：part1、通过抓包采集mysql的会话明细part2、通过伪装从库拉取binlog获取变更的事件本文只介绍part1部分，part2之前有写过类似的方案稍作改动即可。 1711339402115,"cip":"192.168.31.1","cport":2303,"user":"dts","db":"db1234","sql":"SHOW STATUS","cms":2} 1711339402125,"cip":"192.168.31.1","cport":2303,"user":"dts","db":"db1234","sql":"SHOW STATUS","cms":2} bt":1711343261336,"cip":"192.168.31.1","cport":2796,"user":null,"db":null,"sql":"SHOW STATUS","cms":2} 2 高版本的 mysql client连接默认添加了 SSL模式，可以尝试 mysql client使用 --ssl-mode=DISABLED连接，然后看能不能抓到SQL。
64910编辑于 2024-04-26 - 来自专栏开源部署
Oracle增量和全量备份方案
Oracle生产备份方案 crontab 配置 周末全量备份，其他日期增量备份,清除15天以前文件 0 5 * * * find /app/oracle11g/product/11.2.0/archdir +6 |xargs rm -fr #rmanbackup 30 4 * * 6 sh /backup/feikong/scripts/rman_backup_0.sh 30 4 * * 0,1,2,3,4,5 encryption on identified by "u9j04hkUvfRu" only; run{ ALLOCATE CHANNEL ch1 TYPE disk; ALLOCATE CHANNEL ch2 REPORT OBSOLETE; delete NOPROMPT obsolete device type disk; RELEASE CHANNEL ch1; RELEASE CHANNEL ch2; REPORT OBSOLETE; delete NOPROMPT obsolete device type disk; RELEASE CHANNEL ch1; RELEASE CHANNEL ch2;
1.1K20编辑于 2022-08-18 - 来自专栏绿盟科技研究通讯
告警全量分诊思路分析
告警全量分诊要点分析 2.1 告警组成分析 类似医院的分诊，只有了解人体的组成部分，才能分门别类的设置各种诊室一样，为了实现告警全量分诊，就必须知道告警的组成部分。 2.2 案例1——Google Cloud云服务漏洞 告警分析实际上是一种后处理技术，如图2所示，告警来源于流量又高于流量，但依然包含流量中的涉及到的各种网络行为。 网络流量分析中，我们经常会使用各种数据分析的方法，如：分类、聚类、异常检测等，那么流量分析中的各种算法如何有机的作用到全量分诊当中呢？笔者在这里分析出如下要点。 图2. 2.2.2 要点2：攻击聚合 同一攻击行为往往会触发大量告警，若能将这些告警统一聚合起来并归因为高层的攻击事件，便可进一步减少待分析告警数量，提升运营效率。 总结 本文指出目前安全运营中心普遍基于“高置信规则”的运营方法并不完善，并提出全量分诊的设想，勾勒了全量分诊中可能涉及到的功能要点，目前这些要点正在也在内部研究验证。欢迎读者朋友交流心得、批评指正。
98820编辑于 2022-11-14 - 来自专栏QQ音乐技术团队的专栏
Android全量编译加速——（透明依赖）
虽然已经有许多增量编译加速方案，但不可避免的在很多场景，还是需要全量编译。 而对于全量编译加速，我们遇到了一些困难： K歌的项目里，总代码量160w行，kotlin代码占比43%左右，编译耗时占比却高达70%，必须要压缩这个比例。 于是需要找到一种方法，既能继续享受kotlin带来的开发便利，也能缓解全量编译时间快速增长的问题。 1.2. 2. 工程重复类冲突 ? share_m和share是同一个代码仓库，开发便于验证更改了name，路由不一样代码一样，gradle认为是两个aar，报错重复。 3. 三方库版本冲突 ? 2、配置 在此阶段，将配置项目对象。执行作为构建一部分的所有项目的构建脚本。3、执行 Gradle确定要在配置阶段创建和配置的任务子集。
3K30发布于 2021-06-03
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号