- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器学习/数据可视化
Spark笔记7-RDD持久化和分区
持久化 有时候需要访问同一组值，不做持久化，会重复生成，计算机代价和开销很大。 持久化作用： 通过缓存机制避免重复计算的开销 通过使用persist()方法对一个RDD标记为持久化，仅仅是标记 只有等到第一个行动操作才会发生真生的持久化操作，触发真正的计算操作，才会把计算结果进行持久化 持久化后的RDD将会被保留在计算机节点的内存中，被后面的行动操作重复使用。 persist()方法 该方法的作用是将一个RDD标记为持久化，并不是真正的持久化操作，行动操作才是真正的持久化，主要的参数是： memory_only 将反序列化的对象存在JVM中，如果内存不足将会按照先进先出的原则 data.repartition(2) # 重新设置分区数目为2 自定义分区 spark自带的分区方式 哈希分区 hash partitioner 区域分区 range partitioner 自定义分区
94710发布于 2021-03-02 - 来自专栏Java开发者杂谈
ActiveMQ专题2: 持久化
当然，作为一个如此活跃的开源消息中间件，在实现JMS基本规范之后，必然会通过扩展的方式来实现Topic的持久化订阅。 而所谓的deliveryMode持久化和订阅持久化还是两个不同的概念。 ，原producer产生的消息丢失 持久化和非持久化最终队列控制台分别如下: ? 而支持持久化的设置，只要消息没有被消费，重启mq，仍然能被新加入的consumer消费。 订阅持久化 JMS的规范是没有要求实现订阅持久化的。所幸的是activeMQ实现了这个特性。 个人认为所谓的订阅持久化相对于消息的持久化，不过是一种伪持久化。 ： 要实现伪持久化订阅，必须先向activeMQ发布持久化订阅消息，通过clientId来标识不同的订阅渠道。
89130发布于 2018-10-08 - 来自专栏大大刺猬
redis(2)--持久化数据(备份)
redis持久化有2种方式: 手动 save/bgsave 设置持久化策略 redis持久化数据又2种类型, RDB和AOF RDB就是只有键值对 AOF就是操作的命令(包括键值对和命令),相当于 恢复的话就看2.1RDB备份与恢复吧 2. 自动持久化数据 自动持久化数据可以用RDB或者AOF, 建议2种都用. RDB : 只保留键值对, 可以直接加载到内存,所以恢复的时候就很快. 10 save 60 10000 解释下: 900秒内距离上一次持久化变化了1个值则持久化 300秒内距离上一次持久化变化了10个值则持久化 60秒内距离上一次持久化变化了10000个值则持久化 满足任一条件就持久化一次 dir 的值就是持久化目录的路径 dbfilename 的值就是rdb持久化文件的名字 设置的话就是config set dir "/usr/local/redis/data" 但是不建议再命令行设置 持久化 其实用AOF持久化的更多一些, 毕竟是把所有操作(get之类的没必要)都记录下来 2.2.1 AOF备份/持久化 因为AOF是记录操作的,那么文件会很大, 可以用BGREWRITEAOF来重建
76530发布于 2020-12-14 - 来自专栏EffectiveCoding
Redis 持久化之AOF持久化&混合持久化
上一篇提到了Redis的RDB持久化方式，同时也提到了一点关于AOF的内容。 RDB（snapshotting） 是一种内存快照的方式进行持久化，AOF（append-only-file）是通过追加写入命令的方式进行持久化，混合持久化是指RDB和AOF协同完成持久化工作来发挥各自有点的持久化方式 协议格式来保存命令内容的，有兴趣可以看一下： https://redis.io/topics/protocol 很显然，如果命令操作量非常大的时候，与RDB不同，AOF因为是追加命令，所以很大概率上AOF持久化文件会越来越大 混合持久化： 混合持久化是Redis 4.X之后的一个新特性，说是新特性其实更像是一种RDB&AOF的结合，持久化文件变成了RDB + AOF，首先由RDB定期完成内存快照的备份，然后再由AOF完成两次 在大多数场景下RDB + AOF的混合持久化模式其实还是很合适的。
1.9K20发布于 2019-07-31 - 来自专栏Netkiller
Linux磁盘分区加密
Linux磁盘分区加密 Procedure 12.1. cryptsetup - configures encrypted block devices 安装 cryptsetup # apt-get install 创建加密分区 # cryptsetup --verbose --verify-passphrase -c aes-cbc-plain luksFormat /dev/sdb1 WARNING! 这将把不可逆转地改写/dev/sda2 上的数据。 注意：也要小心加小心，马虎不得，否则你将数据全失。一定不要搞错分区。 如下命令将显示/dev/mapper路径中的隐藏设备 # ls -l /dev/mapper 格式化加密分区 现在将该分区格式化为ext3文件系统. . # mkdir /mnt/secret # mount /dev/mapper/sdb1 /mnt/secret 使用加密分区 好了,现在你可以使用你的加密分区了. cd /mnt/secret
6.8K40发布于 2018-03-05 - 来自专栏EffectiveCoding
Redis 持久化之RDB持久化
Redis 相对于其他NoSQL 内存数据库而言，除了更富的数据结构和速度快之外，Redis 的丰富的持久化方案也就一个很显著的优势，Redis 支持RDB、AOF、混合持久化三种模式。 RDB（snapshotting） 是一种内存快照的方式进行持久化，AOF（append-only-file）是通过追加写入命令的方式进行持久化，混合持久化是指RDB和AOF协同完成持久化工作来发挥各自有点的持久化方式 RDB 持久化有自动触发、手动触发两种方式。 自动触发 具体可以看一下redis.conf 中的配置项及对应注释来了解这一部分内容，翻一下注释就很明了了： 当达到如下条件的时候就出发自动持久化，这种持久化在后台进行的bgsave 先看一下save选项 恢复： 数据恢复的过程，整个Redis 都是被阻塞在那里的，一直到持久化完成才正常工作。具体恢复步骤就是把文件移到刚才dir指定的文件下，然后启动redis 就可以啦。
83520发布于 2019-07-31 - 来自专栏CSDN搜“看，未来”
【redis源码学习】持久化机制（2）：AOF
文章目录 AOF简介 AOF定时逻辑 AOF 持久化过程 命令传播 刷新缓冲区 && 同步磁盘 AOF简介 上一篇讲的RDB是批量的插入数据，但是如果单纯使用就会有一个隐患：突然断电的时候势必要失去一部分数据 RDB做大批量的持久化，在下次RDB来之前，用AOF顶上。 此外，redis 还提供了AOF重写功能，如果一个键有多次写入，只保存最后一次写入命令。 这两个方法我们都能想到，不过是怎么实现的呢？ AOF 持久化过程 三部曲： 命令传播、 刷新AOF缓冲区、 同步磁盘 让我们一个一个来看： 命令传播 feedAppendOnlyFile 函数负责将命令传播到 AOF 缓冲区： void feedAppendOnlyFile /PEXPIRE/EXPIREAT into PEXPIREAT */ buf = catAppendOnlyExpireAtCommand(buf,cmd,argv[1],argv[2] */ tmpargv[0] = createStringObject("SET",3); tmpargv[1] = argv[1]; tmpargv[2]
46530编辑于 2022-01-10 - 来自专栏全栈工程师修炼之路
Kali之U盘启动加密与持久化存储制作流程
Step6.安装PE启动后我们进行拆分分区UEFI 引导区域不要动，按照下图所示进行分区即可(为了方便Kail系统识别这里先将做数据持久化的分区格式化为ext4文件系统): WeiyiGeek.拆分分区 configfile /BOOT/GRUB/MENU.LST WeiyiGeek.KAIL.LIST Step9.在电脑上测试做好的启动盘（或者可以采用老毛桃的模拟启动）,注意首次进入Kail-Live等继续完成磁盘加密以及持久化配置后使用菜单 ,必须采用kali/kali账号密码进行登录原因我在后面进行说明; WeiyiGeek.Kali登录页面 Step11.采用cryptsetup进行加密U盘我们持久化数据存区并且设置U盘持久化存储： /dev/mapper/hacker persistence #设置分区盘符标签名称 #进行持久化persistent U 盘设置 kali@kali:~/Desktop# sudo mkdir Step13.放置一个文件测试Kail U盘的持久化之后再次重启发现该文件仍然存在即可，以后安装软件都会保留在我们的持久化数据盘上; WeiyiGeek.Kali ---- 0x02 入坑解决 所遇问题
3.1K20编辑于 2022-09-29 - 来自专栏网络技术联盟站
如何在 Linux 上加密分区？
你可以使用以下命令在大多数基于 Debian 的发行版上安装它们：sudo apt-get updatesudo apt-get install cryptsetup util-linux步骤2：准备分区在加密分区之前 ，你需要准备一个用于加密的分区。 步骤5：格式化加密分区一旦你打开了加密设备并将其映射到设备节点，你可以像格式化普通分区一样格式化加密分区。 步骤6：挂载加密分区在格式化加密分区后，你需要将其挂载到文件系统中以便访问其中的文件。首先，创建一个目录作为挂载点。 步骤7：卸载和关闭加密分区当你完成对加密分区的操作后，需要卸载和关闭它。首先，卸载挂载的加密分区。sudo umount /mnt/encrypted_partition然后，关闭加密设备。
1.3K00编辑于 2023-06-19 - 来自专栏Java开发
Centos用parted分区超过2TB硬盘-分区格式化
1、问题描述 1)、问题一 CentOS 6.x 在格式化大于16TB的ext4分区时，会提示如下错误： mke2fs 1.41.12 (17-May-2010) mkfs.ext4: Size of fdisk分区大于2TB的磁盘。 2、原因分析 1)、问题一： 原因在于CentOS 自带的 e2fsprogs 版本为1.41.12较低，无法创建16TB以上的文件系统。 2)、问题二： 原因在于MBR分区表只支持2T磁盘。 2)、问题二： 使用parted命令将MBR分区表，改为GPT分区表。 通过输入print 设备名进入分区命令行模式如下图 ? image.png 分区格式化 把创建好的大分区进行格式化，通过fdisk -l再次查看确认 ?
3.5K21发布于 2018-09-06 - 来自专栏全栈工程师修炼之路
Kali之U盘启动加密与持久化存储制作流程
Step6.安装PE启动后我们进行拆分分区UEFI 引导区域不要动，按照下图所示进行分区即可(为了方便Kail系统识别这里先将做数据持久化的分区格式化为ext4文件系统): ? Step9.在电脑上测试做好的启动盘（或者可以采用老毛桃的模拟启动）,注意首次进入Kail-Live等继续完成磁盘加密以及持久化配置后使用菜单2Kali-Encrypted-Persistence即可使用 Step11.采用cryptsetup进行加密U盘我们持久化数据存区并且设置U盘持久化存储： kali@kali:~/Desktop# sudo fdisk -l #查看磁盘以及分区信息 kali@kali /dev/mapper/hacker persistence #设置分区盘符标签名称 #进行持久化persistent U 盘设置 kali@kali:~/Desktop# sudo mkdir Step13.放置一个文件测试Kail U盘的持久化之后再次重启发现该文件仍然存在即可，以后安装软件都会保留在我们的持久化数据盘上; ?
4.2K20发布于 2020-10-12 - 来自专栏非著名运维
Docker容器数据持久化之Bind Mouting（2）
为什么要做数据持久化？ 当容器运行期间产生的数据是不会在写镜像里面的，重新用此镜像启动新的容器就会初始化镜像，会加一个全新的读写层来保存数据。 如果想做到数据持久化，Docker提供数据卷（Data volume）或者数据容器卷来解决问题，另外还可以通过commit提交一个新的镜像来保存产生的数据。 Docker数据持久化方案： 基于本机文件系统的Volume。可以执行Docker create或Docker run时，通过-v参数将主机的目录作为容器的数据卷。 基于本机文件系统的Volume： Data Volume：挂载数据卷 Bind Mouting: 挂载本地目录 数据持久化之Bind Mouting： Bind Mounting 持久化的方式，则本地的目录文件和容器中的文件是同步的 /usr/share/nginx/html/test.html 最后： 使用Bind Mounting 持久化的方式，则本地的目录文件和容器中的文件是同步的，如果本地的文件做了修改，那么容器中的文件也会修改
42220编辑于 2022-06-22 - 来自专栏fixzd
redis系列：RDB持久化与AOF持久化
前言 什么是持久化？ 持久化（Persistence），即把数据（如内存中的对象）保存到可永久保存的存储设备中（如磁盘）。 持久化的主要应用是将内存中的对象存储在数据库中，或者存储在磁盘文件中、XML数据文件中等等。 持久化是将程序数据在持久状态和瞬时状态间转换的机制。 Redis提供了两种持久化方式 RDB持久化（快照） AOF持久化（只追加操作的文件 Append-only file） 先来看看RDB持久化 RDB持久化 RDB持久化是指在客户端输入save AOF持久化 AOF持久化是通过保存Redis服务器所执行的写命令来记录数据库状态，也就是每当 Redis 执行一个改变数据集的命令时（比如 SET）， 这个命令就会被追加到 AOF 文件的末尾。 那么我们如何开启AOF持久化功能呢？
92410发布于 2018-08-25 - 来自专栏fixzd
redis系列：RDB持久化与AOF持久化
前言 什么是持久化？ 持久化（Persistence），即把数据（如内存中的对象）保存到可永久保存的存储设备中（如磁盘）。 持久化的主要应用是将内存中的对象存储在数据库中，或者存储在磁盘文件中、XML数据文件中等等。 持久化是将程序数据在持久状态和瞬时状态间转换的机制。 Redis提供了两种持久化方式 RDB持久化（快照） AOF持久化（只追加操作的文件 Append-only file） 先来看看RDB持久化 RDB持久化 RDB持久化是指在客户端输入save、bgsave AOF持久化 AOF持久化是通过保存Redis服务器所执行的写命令来记录数据库状态，也就是每当 Redis 执行一个改变数据集的命令时（比如 SET）， 这个命令就会被追加到 AOF 文件的末尾。 那么我们如何开启AOF持久化功能呢？
76820发布于 2018-08-28 - 来自专栏Golang语言社区
Golang 持久化
涉及数据存储的的过程称之为持久化。下面golang中的数据持久化做简单的介绍。主要包括内存存储，文件存储和数据库存储。 内存持久化比较简单，严格来说这也不算是持久化，比较程序退出会清空内存，所保存的数据也会消失。这种持久化只是相对程序运行时而言。 基本上涉及的都有纯文本，格式化文本和二进制文本的读写操作。通过文件持久化数据比起内存才是真正的持久化。然而很多应用的开发，持久化更多还是和数据库打交道。 关于数据库，又是一个很大的话题。 总结 数据持久化我们介绍了内存，文件和数据库三种持久化方案。其中内存并不是严格意义的持久化，但是对于一些需要频繁操作，并且程序启动后就需要处理的数据，可以考虑内存持久化。 对于简单的配置，可以使用文件持久化，更多时候，数据的持久化方案还是依托于数据库。如今数据库种类繁多，无论是sql还是nosql，都需要考虑具体的使用场景。
2.9K90发布于 2018-03-26 - 来自专栏IT技术订阅
Redis持久化
一. redis持久化的介绍 Redis的持久化指的是将内存中redis数据库运行的数据，写到硬盘文件上。 Redis持久化的两种方式： 1. RDB：Redis DataBase 默认的持久化方式，以二进制的方式将数据写入文件中,每隔一段时间写入一次。 2. 2. RDB对redis对外提供读写服务的时候，影响非常小，因为redis 主进程只需要fork一个子进程出来，让子进程对磁盘io来进行rdb持久化 3. AOF机制 3.1 介绍 与快照持久化相比，AOF持久化 的实时性更好，因此已成为主流的持久化方案。 自动触发：如果全部满足的话，就触发自动的AOF重写操作： 1.没有RDB持久化/AOF持久化在执行，没有bgrewriteaof在进行； 2.当前AOF文件大小要大于redis.conf配置的auto-aof-rewrite-min-size
1K20编辑于 2022-05-11 - 来自专栏desperate633
深入理解Redis持久化Redis 持久化
Redis 持久化 Redis 提供了多种不同级别的持久化方式： RDB 持久化可以在指定的时间间隔内生成数据集的时间点快照（point-in-time snapshot）。 Redis 还可以同时使用 AOF 持久化和 RDB 持久化。 了解 RDB 持久化和 AOF 持久化之间的异同是非常重要的， 以下几个小节将详细地介绍这这两种持久化功能， 并对它们的相同和不同之处进行说明。 RDB 非常适用于灾难恢复（disaster recovery）：它只有一个文件，并且内容都非常紧凑，可以（在加密后）将它传送到别的数据中心，或者亚马逊 S3 中。 从 1.1 版本开始， Redis 增加了一种完全耐久的持久化方式： AOF 持久化。
96232发布于 2018-08-22 - 来自专栏linux学习笔记
redis持久化
持久化简介 什么是持久化 ? 利用永久性存储介质将数据进行保存，在特定的时间将保存的数据进行恢复的工作机制称为持久化 为什么要进行持久化? 防止数据的意外丢失，确保数据安全性 应用场景 意外断电,自动备份 持久化过程保存什么 1 将当前数据状态进行保存，快照形式，存储数据结果，存储格式简单，关注点在数据 2 将数据的操作过程进行保存 与RDB相比可以简单描述为改记录数据为记录数据产生的过程 AOF的主要作用是解决了数据持久化的实时性，目前已经是Redis持久化的主流方式 AOF写数据过程 image.png AOF写数据三种策略 AOF重写作用 降低磁盘占用量，提高磁盘利用率 提高持久化效率，降低持久化写时间，提高IO性能 降低数据恢复用时，提高数据恢复效率 AOF重写规则 进程内已超时的数据不再写入文件 忽略无效指令，重写时使用进程内数据直接生成，这样新的AOF文件只保留最终数据的写入命令 如del key1、 hdel key2、srem key3、set key4 111、set key4
89300发布于 2019-12-07 - 来自专栏云同步
Redis 持久化
持久化就是把内存的数据写到磁盘中，防止服务宕机导致内存数据丢失。 Redis支持两种方式的持久化，一种是RDB的方式，一种是AOF的方式。 RDB 是什么 Redis 会单独创建一个子进程（fork）来进行持久化，先将数据写入到一个临时文件中，待持久化过程完成后，再将这个临时文件内容覆盖到 dump.rdb Fork Fork rdbchecksum：完整性的检查，即数据是否完整性、准确性 save 表示写操作的次数 格式：save 秒 写操作次数 优点 Redis 加载 RDB 恢复数据远远快于 AOF 的方式 使用单独子进程来进行持久化 ，主进程不会进行任何 IO 操作，保证了 Redis 的高性能 缺点 RDB方式数据无法做到实时持久化。 singleDoc# 《Redis 持久化》
28310编辑于 2025-08-01 - 来自专栏java 挖矿之路
rabiitMq 持久化
其中，RabblitMQ的持久化分为三个部分： 交换器(Exchange)的持久化 队列(Queue)的持久化 消息(Message)的持久化 2. durable：设置是否持久化。durable设置为true表示持久化，反之是非持久化。持久化可以将交换器存盘，在服务器重启的时候不会丢失相关信息。 答案是设置消息的投递模式为2，即代表持久化。 2)将交换器、队列、消息都设置了持久化之后仍然不能百分之百保证数据不丢失，因为当持久化的消息正确存入RabbitMQ之后，还需要一段时间（虽然很短，但是不可忽视）才能存入磁盘之中。 3)单单只设置队列持久化，重启之后消息会丢失；单单只设置消息的持久化，重启之后队列消失，继而消息也丢失。单单设置消息持久化而不设置队列的持久化显得毫无意义。
1.1K20发布于 2021-02-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号