- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器学习/数据可视化
Spark笔记7-RDD持久化和分区
持久化 有时候需要访问同一组值，不做持久化，会重复生成，计算机代价和开销很大。 持久化作用： 通过缓存机制避免重复计算的开销 通过使用persist()方法对一个RDD标记为持久化，仅仅是标记 只有等到第一个行动操作才会发生真生的持久化操作，触发真正的计算操作，才会把计算结果进行持久化 持久化后的RDD将会被保留在计算机节点的内存中，被后面的行动操作重复使用。 persist()方法 该方法的作用是将一个RDD标记为持久化，并不是真正的持久化操作，行动操作才是真正的持久化，主要的参数是： memory_only 将反序列化的对象存在JVM中，如果内存不足将会按照先进先出的原则 # 分成5个分区 data.map(lambda x: (x,1)) \ # 生成键值对，下图1 .partitionBy(10, myPartitioner) \ # 函数只接受键值对作为参数
94710发布于 2021-03-02 - 来自专栏陈琛的Redis文章
Redis系列——5.持久化
目录 前言 什么是持久化？ 持久化的实现 1.快照（RDB：Redis Database） a. 开发redis的人也不傻，他们写了一个持久化的方案，将内存中的数据写入到硬盘中，这样数据丢不了。 什么是持久化？ redis持久化就是对数据的更新保存在磁盘上，以便数据恢复。 持久化的实现方式 1.快照（RDB） a 简介 对数据在某时某点的完整备份。 将数据完整的生成一个快照，以二进制格式保存在硬盘中，后缀为.rdb。当需要进行恢复时，再从硬盘加载到内存中。 那AOF的重写并不是对原来的AOF进行读取和分析，而是通过数据库的状态来实现，现在数据库中一个有5个值，其实也要用一个RPUSH list "C" "D" "E" "F" "G"就可以啦。 哎啊，累死了，redis的持久化终于结束了，历经了好几天的晚上，终于把他整理完毕了。 答应偶，一定要看，好吗？
46220发布于 2020-06-12 - 来自专栏EffectiveCoding
Redis 持久化之AOF持久化&混合持久化
上一篇提到了Redis的RDB持久化方式，同时也提到了一点关于AOF的内容。 RDB（snapshotting） 是一种内存快照的方式进行持久化，AOF（append-only-file）是通过追加写入命令的方式进行持久化，混合持久化是指RDB和AOF协同完成持久化工作来发挥各自有点的持久化方式 协议格式来保存命令内容的，有兴趣可以看一下： https://redis.io/topics/protocol 很显然，如果命令操作量非常大的时候，与RDB不同，AOF因为是追加命令，所以很大概率上AOF持久化文件会越来越大 混合持久化： 混合持久化是Redis 4.X之后的一个新特性，说是新特性其实更像是一种RDB&AOF的结合，持久化文件变成了RDB + AOF，首先由RDB定期完成内存快照的备份，然后再由AOF完成两次 在大多数场景下RDB + AOF的混合持久化模式其实还是很合适的。
1.9K20发布于 2019-07-31 - 来自专栏chester技术分享
.NET分布式Orleans - 5 - 持久化
在分布式系统中，数据的持久化是至关重要的一环。 Orleans 7 引入了强大的持久化功能，使得在分布式环境下管理数据变得更加轻松和可靠。 本文将介绍什么是 Orleans 7 的持久化，如何设置它以及相应的代码示例。 什么是 Orleans 7 的持久化？ Orleans 7 的持久化是指将 Orleans 中的状态数据持久化到外部存储介质，以便在应用程序重新启动或节点故障时能够恢复数据。 这对于构建可靠的分布式系统至关重要，因为它确保了数据的持久性和一致性。 持久化使得 Orleans 可以在不丢失数据的情况下处理节点故障或应用程序的重新启动。 Orleans 7 的持久化怎么设置？
43510编辑于 2024-03-27 - 来自专栏Netkiller
Linux磁盘分区加密
Linux磁盘分区加密 Procedure 12.1. cryptsetup - configures encrypted block devices 安装 cryptsetup # apt-get install Extended /dev/sda5 994 1044 409626 82 Linux swap / Solaris Disk /dev/sdb: 创建加密分区 # cryptsetup --verbose --verify-passphrase -c aes-cbc-plain luksFormat /dev/sdb1 WARNING! 如下命令将显示/dev/mapper路径中的隐藏设备 # ls -l /dev/mapper 格式化加密分区 现在将该分区格式化为ext3文件系统. . # mkdir /mnt/secret # mount /dev/mapper/sdb1 /mnt/secret 使用加密分区 好了,现在你可以使用你的加密分区了. cd /mnt/secret
6.8K40发布于 2018-03-05 - 来自专栏EffectiveCoding
Redis 持久化之RDB持久化
Redis 相对于其他NoSQL 内存数据库而言，除了更富的数据结构和速度快之外，Redis 的丰富的持久化方案也就一个很显著的优势，Redis 支持RDB、AOF、混合持久化三种模式。 RDB（snapshotting） 是一种内存快照的方式进行持久化，AOF（append-only-file）是通过追加写入命令的方式进行持久化，混合持久化是指RDB和AOF协同完成持久化工作来发挥各自有点的持久化方式 RDB 持久化有自动触发、手动触发两种方式。 自动触发 具体可以看一下redis.conf 中的配置项及对应注释来了解这一部分内容，翻一下注释就很明了了： 当达到如下条件的时候就出发自动持久化，这种持久化在后台进行的bgsave 先看一下save选项 恢复： 数据恢复的过程，整个Redis 都是被阻塞在那里的，一直到持久化完成才正常工作。具体恢复步骤就是把文件移到刚才dir指定的文件下，然后启动redis 就可以啦。
83520发布于 2019-07-31 - 来自专栏全栈工程师修炼之路
Kali之U盘启动加密与持久化存储制作流程
Gho文件 WeiyiGeek.创建分区镜像 Step5.格式化U盘为FAT文件系统或者采用老毛桃直接初始化U盘，然后采用自定义的个性设置(纯属装B实际没必要) WeiyiGeek. Step6.安装PE启动后我们进行拆分分区UEFI 引导区域不要动，按照下图所示进行分区即可(为了方便Kail系统识别这里先将做数据持久化的分区格式化为ext4文件系统): WeiyiGeek.拆分分区 configfile /BOOT/GRUB/MENU.LST WeiyiGeek.KAIL.LIST Step9.在电脑上测试做好的启动盘（或者可以采用老毛桃的模拟启动）,注意首次进入Kail-Live等继续完成磁盘加密以及持久化配置后使用菜单 U盘我们持久化数据存区并且设置U盘持久化存储： kali@kali:~/Desktop# sudo fdisk -l #查看磁盘以及分区信息 kali@kali:~/Desktop# sudo cryptsetup Step13.放置一个文件测试Kail U盘的持久化之后再次重启发现该文件仍然存在即可，以后安装软件都会保留在我们的持久化数据盘上; WeiyiGeek.Kali ---- 0x02 入坑解决 所遇问题
3.1K20编辑于 2022-09-29 - 来自专栏mukekeheart的iOS之旅
Android基础总结（5）——数据存储，持久化技术
数据持久化：指将那些内存中的瞬时数据保存到存储设备中，保证即使在手机或电脑关机的情况下，这些数据仍然不丢失。 保存在内存中的数据是瞬时数据，保存在手机设备中的数据是处于持久状态的，持久化技术则是提供了一种机制可以让数据在瞬时状态和持久状态之间进行切换。 1、持久化技术有哪些 Android系统中主要提供了三种方式用于简单地实现数据持久化功能： 文件存储：是Android中最基本的一种数据存储方式。 3 */ 4 public void saveCounty(County county) { 5 if (county ! 3 */ 4 public void updateCounty(County county) { 5 if (county !
1.6K70发布于 2018-02-27 - 来自专栏网络技术联盟站
如何在 Linux 上加密分区？
，你需要准备一个用于加密的分区。 步骤3：创建加密设备使用 cryptsetup 命令创建加密设备，该设备将充当你加密分区的容器。 步骤5：格式化加密分区一旦你打开了加密设备并将其映射到设备节点，你可以像格式化普通分区一样格式化加密分区。 步骤6：挂载加密分区在格式化加密分区后，你需要将其挂载到文件系统中以便访问其中的文件。首先，创建一个目录作为挂载点。 步骤7：卸载和关闭加密分区当你完成对加密分区的操作后，需要卸载和关闭它。首先，卸载挂载的加密分区。sudo umount /mnt/encrypted_partition然后，关闭加密设备。
1.3K00编辑于 2023-06-19 - 来自专栏小强的进阶之路
5分钟彻底理解Redis持久化
点击上方“小强的进阶之路”，选择“星标”公众号 优质文章，及时送达 预计阅读时间:5分钟 Redis持久化 RDB快照 在默认情况下，Redis将内存数据库快照保存到dump.rdb的二进制文件中。 可以配置redis多久才将命令持久化到磁盘一次。 appendfsync always：每次有新命令追加到aof文件时就执行一个持久化，非常慢但是安全 appendfsync everysec：每秒执行一次持久化，足够快（和使用rdb持久化差不多）并且在故障时只会丢失 1秒钟的数据 appendfsync no：从不持久化，将数据交给操作系统来处理。 Redis4.0为了解决这个问题，带来了新的持久化选项——混合持久化。 aof-use-rdb-preamble yes 混合持久化aof文件结构： ?
55310发布于 2019-10-30 - 来自专栏全栈工程师修炼之路
Kali之U盘启动加密与持久化存储制作流程
Step4.创建分区镜像和完成导出镜像Gho文件 ? Step5.格式化U盘为FAT文件系统或者采用老毛桃直接初始化U盘，然后采用自定义的个性设置(纯属装B实际没必要) ? Step6.安装PE启动后我们进行拆分分区UEFI 引导区域不要动，按照下图所示进行分区即可(为了方便Kail系统识别这里先将做数据持久化的分区格式化为ext4文件系统): ? Step9.在电脑上测试做好的启动盘（或者可以采用老毛桃的模拟启动）,注意首次进入Kail-Live等继续完成磁盘加密以及持久化配置后使用菜单2Kali-Encrypted-Persistence即可使用 Step11.采用cryptsetup进行加密U盘我们持久化数据存区并且设置U盘持久化存储： kali@kali:~/Desktop# sudo fdisk -l #查看磁盘以及分区信息 kali@kali Step13.放置一个文件测试Kail U盘的持久化之后再次重启发现该文件仍然存在即可，以后安装软件都会保留在我们的持久化数据盘上; ?
4.2K20发布于 2020-10-12 - 来自专栏fixzd
redis系列：RDB持久化与AOF持久化
前言 什么是持久化？ 持久化（Persistence），即把数据（如内存中的对象）保存到可永久保存的存储设备中（如磁盘）。 持久化的主要应用是将内存中的对象存储在数据库中，或者存储在磁盘文件中、XML数据文件中等等。 持久化是将程序数据在持久状态和瞬时状态间转换的机制。 Redis提供了两种持久化方式 RDB持久化（快照） AOF持久化（只追加操作的文件 Append-only file） 先来看看RDB持久化 RDB持久化 RDB持久化是指在客户端输入save AOF持久化 AOF持久化是通过保存Redis服务器所执行的写命令来记录数据库状态，也就是每当 Redis 执行一个改变数据集的命令时（比如 SET）， 这个命令就会被追加到 AOF 文件的末尾。 那么我们如何开启AOF持久化功能呢？
92410发布于 2018-08-25 - 来自专栏fixzd
redis系列：RDB持久化与AOF持久化
前言 什么是持久化？ 持久化（Persistence），即把数据（如内存中的对象）保存到可永久保存的存储设备中（如磁盘）。 持久化的主要应用是将内存中的对象存储在数据库中，或者存储在磁盘文件中、XML数据文件中等等。 持久化是将程序数据在持久状态和瞬时状态间转换的机制。 Redis提供了两种持久化方式 RDB持久化（快照） AOF持久化（只追加操作的文件 Append-only file） 先来看看RDB持久化 RDB持久化 RDB持久化是指在客户端输入save、bgsave AOF持久化 AOF持久化是通过保存Redis服务器所执行的写命令来记录数据库状态，也就是每当 Redis 执行一个改变数据集的命令时（比如 SET）， 这个命令就会被追加到 AOF 文件的末尾。 那么我们如何开启AOF持久化功能呢？
76820发布于 2018-08-28 - 来自专栏Golang语言社区
Golang 持久化
涉及数据存储的的过程称之为持久化。下面golang中的数据持久化做简单的介绍。主要包括内存存储，文件存储和数据库存储。 内存持久化比较简单，严格来说这也不算是持久化，比较程序退出会清空内存，所保存的数据也会消失。这种持久化只是相对程序运行时而言。 基本上涉及的都有纯文本，格式化文本和二进制文本的读写操作。通过文件持久化数据比起内存才是真正的持久化。然而很多应用的开发，持久化更多还是和数据库打交道。 关于数据库，又是一个很大的话题。 总结 数据持久化我们介绍了内存，文件和数据库三种持久化方案。其中内存并不是严格意义的持久化，但是对于一些需要频繁操作，并且程序启动后就需要处理的数据，可以考虑内存持久化。 对于简单的配置，可以使用文件持久化，更多时候，数据的持久化方案还是依托于数据库。如今数据库种类繁多，无论是sql还是nosql，都需要考虑具体的使用场景。
2.9K90发布于 2018-03-26 - 来自专栏IT技术订阅
Redis持久化
一. redis持久化的介绍 Redis的持久化指的是将内存中redis数据库运行的数据，写到硬盘文件上。 Redis持久化的意义主要在于故障恢复，比如你部署一个Redis，作为缓存有可能里边有一些比较重要的数据，如果没有持久化的时候，redis遇到灾难性故障的时候就会丢失所有的数据。 Redis持久化的两种方式： 1. RDB：Redis DataBase 默认的持久化方式，以二进制的方式将数据写入文件中,每隔一段时间写入一次。 2. > > save 300 10 > > #在300秒(5分钟)之后，如果至少有10个key发生变化，Redis就会自动触发BGSAVE命令创建快照。 AOF机制 3.1 介绍 与快照持久化相比，AOF持久化 的实时性更好，因此已成为主流的持久化方案。
1K20编辑于 2022-05-11 - 来自专栏desperate633
深入理解Redis持久化Redis 持久化
Redis 持久化 Redis 提供了多种不同级别的持久化方式： RDB 持久化可以在指定的时间间隔内生成数据集的时间点快照（point-in-time snapshot）。 Redis 还可以同时使用 AOF 持久化和 RDB 持久化。 了解 RDB 持久化和 AOF 持久化之间的异同是非常重要的， 以下几个小节将详细地介绍这这两种持久化功能， 并对它们的相同和不同之处进行说明。 因此你可能会至少 5 分钟才保存一次 RDB 文件。 在这种情况下， 一旦发生故障停机， 你就可能会丢失好几分钟的数据。 从 1.1 版本开始， Redis 增加了一种完全耐久的持久化方式： AOF 持久化。
96232发布于 2018-08-22 - 来自专栏linux学习笔记
redis持久化
持久化简介 什么是持久化 ? 利用永久性存储介质将数据进行保存，在特定的时间将保存的数据进行恢复的工作机制称为持久化 为什么要进行持久化? 防止数据的意外丢失，确保数据安全性 应用场景 意外断电,自动备份 持久化过程保存什么 1 将当前数据状态进行保存，快照形式，存储数据结果，存储格式简单，关注点在数据 2 将数据的操作过程进行保存 与RDB相比可以简单描述为改记录数据为记录数据产生的过程 AOF的主要作用是解决了数据持久化的实时性，目前已经是Redis持久化的主流方式 AOF写数据过程 image.png AOF写数据三种策略 AOF重写作用 降低磁盘占用量，提高磁盘利用率 提高持久化效率，降低持久化写时间，提高IO性能 降低数据恢复用时，提高数据恢复效率 AOF重写规则 进程内已超时的数据不再写入文件 AOF持久化策略使用everysecond，每秒钟fsync一次。
89300发布于 2019-12-07 - 来自专栏java 挖矿之路
rabiitMq 持久化
其中，RabblitMQ的持久化分为三个部分： 交换器(Exchange)的持久化 队列(Queue)的持久化 消息(Message)的持久化 2. durable：设置是否持久化。durable设置为true表示持久化，反之是非持久化。持久化可以将交换器存盘，在服务器重启的时候不会丢失相关信息。 durable：设置是否持久化。为true则设置队列为持久化。持久化的队列会存盘，在服务器重启的时候可以保证不丢失相关信息。 message.getBytes()); // 关闭频道和连接 channel.close(); connection.close(); } } 5. 3)单单只设置队列持久化，重启之后消息会丢失；单单只设置消息的持久化，重启之后队列消失，继而消息也丢失。单单设置消息持久化而不设置队列的持久化显得毫无意义。
1.1K20发布于 2021-02-24 - 来自专栏云同步
Redis 持久化
持久化就是把内存的数据写到磁盘中，防止服务宕机导致内存数据丢失。 Redis支持两种方式的持久化，一种是RDB的方式，一种是AOF的方式。 RDB 是什么 Redis 会单独创建一个子进程（fork）来进行持久化，先将数据写入到一个临时文件中，待持久化过程完成后，再将这个临时文件内容覆盖到 dump.rdb Fork Fork rdbchecksum：完整性的检查，即数据是否完整性、准确性 save 表示写操作的次数 格式：save 秒 写操作次数 优点 Redis 加载 RDB 恢复数据远远快于 AOF 的方式 使用单独子进程来进行持久化 ，主进程不会进行任何 IO 操作，保证了 Redis 的高性能 缺点 RDB方式数据无法做到实时持久化。 如果只是做纯内存缓存，可以都不用 https://www.yuque.com/heyyall/summary/gq40cg5i4aprhyd5?singleDoc# 《Redis 持久化》
28310编辑于 2025-08-01 - 来自专栏Andromeda的专栏
Redis 持久化
Redis 提供了两种持久化方式，即 RDB（Redis Database）和 AOF（Append-Only File）。 RDB RDB 持久化是 Redis 的默认持久化方式。 优点：RDB 持久化对性能影响较小，生成的 RDB 文件紧凑且易于备份和恢复。 缺点：RDB 持久化会将数据保存到一个快照文件中，因此在发生故障时可能会丢失最后一次快照之后的数据。 触发机制：管理员可以根据配置文件设置 AOF 持久化的触发方式，例如每次写操作、每秒同步等。 优点：AOF 持久化提供了更高的数据安全性，因为可以通过重放 AOF 日志来恢复数据。 缺点：相比 RDB 持久化，AOF 持久化文件更大，恢复速度可能较慢，对于大的写操作负载可能会影响性能。 AOF 的实现 AOF 文件是一个文本文件，其中包含了 Redis 接收到的每个写操作的命令。 因此，在涉及到数据持久性和一致性的场景中，可以根据需求选择合适的同步或异步写模式，以平衡性能和数据可靠性的需求。 混合持久化 可以同时使用 RDB 和 AOF 来进行持久化。
68010编辑于 2024-01-13
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号