- 综合排序
- 最热优先
- 最新优先
- 来自专栏一个执拗的后端搬砖工
springboot(3)--持久化
上一篇我们讲述了springboot和各种常见的数据库连接池融合，此篇将讲述 一下springboot与各种常见的持久层框架融合。 这里简单描述一下连接池与持久层框架的区别，连接池是简化了我们的程序 连接数据库操作，而持久层框架更多的关注将编程语言映射成sql结构化语言， 两者协同操作，并且后者依赖于前者。 springboot&jpa JPA是Java Persistence API的简称，中文名Java持久层API，是JDK 5.0注解或XML描述对象－关系表的映射关系，并将运行期的实体对象持久化到数据库中 user3Dao; @GetMapping("/dbutils/list") private Object dbUtilsList() { return this.user3Dao.findAll 2.偏向自动化操作 jpa更好的封装了底层sql操作，对上层开发者透明，对于一些简单的操作场景效率特别高，但是对于一些复杂的操作和场景还是需要自己实现。
1.4K30发布于 2020-11-19 - 来自专栏机器学习/数据可视化
Spark笔记7-RDD持久化和分区
持久化 有时候需要访问同一组值，不做持久化，会重复生成，计算机代价和开销很大。 持久化作用： 通过缓存机制避免重复计算的开销 通过使用persist()方法对一个RDD标记为持久化，仅仅是标记 只有等到第一个行动操作才会发生真生的持久化操作，触发真正的计算操作，才会把计算结果进行持久化 persist()方法 该方法的作用是将一个RDD标记为持久化，并不是真正的持久化操作，行动操作才是真正的持久化，主要的参数是： memory_only 将反序列化的对象存在JVM中，如果内存不足将会按照先进先出的原则 创建RDD时候指定分区个数 list = [1,2,3,4] rdd = sc.parallelize(list,4) # 设置4个分区 修改分区数目用repartition方法 data = sc.parallelize ([1,2,3,4], 4) # 指定4个分区 len(data.glom().collect()) # 显示分区数目 rdd = data.repartition(2) # 重新设置分区数目为2
94710发布于 2021-03-02 - 来自专栏zjblog
Redis学习(3)—— 持久化机制
什么叫持久化？ 用一句话可以将持久化概括为：将数据（如内存中的对象）保存到可永久保存的存储设备中。持久化的主要应用是将内存中的对象存储在数据库中，或者存储在磁盘文件中、 XML 数据文件中等等。 从应用层与系统层理解持久化 同时，也可以从应用层和系统层这两个层面来理解持久化： 应用层：如果关闭( Close )你的应用然后重新启动则先前的数据依然存在。 官方提供了多种不同级别的数据持久化的方式： 1、RDB持久化方式能够在指定的时间间隔能对你的数据进行快照存储。 3、如果你只希望你的数据在服务器运行的时候存在,你也可以不使用任何持久化方式。 Redis中提供了3中同步策略，即每秒同步、每修改同步和不同步。事实上，每秒同步也是异步完成的，其效率也是非常高的，所差的是一旦系统出现宕机现象，那么这一秒钟之内修改的数据将会丢失。
37010编辑于 2022-06-21 - 来自专栏EffectiveCoding
Redis 持久化之AOF持久化&混合持久化
上一篇提到了Redis的RDB持久化方式，同时也提到了一点关于AOF的内容。 RDB（snapshotting） 是一种内存快照的方式进行持久化，AOF（append-only-file）是通过追加写入命令的方式进行持久化，混合持久化是指RDB和AOF协同完成持久化工作来发挥各自有点的持久化方式 协议格式来保存命令内容的，有兴趣可以看一下： https://redis.io/topics/protocol 很显然，如果命令操作量非常大的时候，与RDB不同，AOF因为是追加命令，所以很大概率上AOF持久化文件会越来越大 混合持久化： 混合持久化是Redis 4.X之后的一个新特性，说是新特性其实更像是一种RDB&AOF的结合，持久化文件变成了RDB + AOF，首先由RDB定期完成内存快照的备份，然后再由AOF完成两次 在大多数场景下RDB + AOF的混合持久化模式其实还是很合适的。
1.9K20发布于 2019-07-31 - 来自专栏架构师成长之路
Redis详解（3）数据持久化机制
一、Redis持久化方式 Redis由于支持非常丰富的内存数据结构类型，如何把这些复杂的内存组织方式持久化到磁盘上是一个难题，所以Redis的持久化方式与传统数据库的方式有比较多的差别，Redis一共支持四种持久化方式 此外，在自动触发RDB持久化时，Redis也会选择bgsave而不是save来进行持久化；下面介绍自动触发RDB持久化的条件。 3) 对于Redis的服务进程而言，在开始持久化时，它唯一需要做的只是fork出子进程，之后再由子进程完成这些持久化的工作，这样就可以极大的避免服务进程执行IO操作了。 3). 性能最大化：对于Redis的服务进程而言，在开始持久化时，它唯一需要做的只是fork出子进程，之后再由子进程完成这些持久化的工作，这样就可以极大的避免服务进程执行IO操作了。 4). 3、在AOF持久化重写时，AOF重写缓冲区的指令追加新文件和改名替换造成阻塞： 在AOF持久化过程中，所有新来的写入请求依然会被写入旧的AOF文件，同时放到buffer中，当rewrite完成后
1.7K30编辑于 2022-04-14 - 来自专栏Netkiller
Linux磁盘分区加密
Linux磁盘分区加密 Procedure 12.1. cryptsetup - configures encrypted block devices 安装 cryptsetup # apt-get install 创建加密分区 # cryptsetup --verbose --verify-passphrase -c aes-cbc-plain luksFormat /dev/sdb1 WARNING! (Type uppercase yes): YES (输入大写的YES来确定创建加密分区) Enter LUKS passphrase: (输入密码) Verify passphrase: (确认密码 如下命令将显示/dev/mapper路径中的隐藏设备 # ls -l /dev/mapper 格式化加密分区 现在将该分区格式化为ext3文件系统. /mnt/secret 使用加密分区 好了,现在你可以使用你的加密分区了. cd /mnt/secret touch file 卸载 使用完毕后为了保护数据的隐密,我们需要取消挂载并关闭加密分区
6.8K40发布于 2018-03-05 - 来自专栏嵌入式视觉
Python3 使用pickle持久化对象
用法如下： pickle.dump(obj, file[, protocol]) 这是 pickle 将对象持久化的方法，参数具体含义如下： obj: 要持久化保存的对象，常见的为 python 字典 protocol: 这是一个可选参数，默认为 0，如果设置为 1 或 True，则以高压缩的二进制格式保存持久化后的对象，否则以 ASCII 格式保存。 /pickle_example.pickle', 'wb') pickle.dump(a_dict, file) file.close() pickle提取对象 对象被pickle模块持久化后，可用pickle.load a_dict1 =pickle.load(file) print(a_dict1) # 输出 {'db': 122, 'dc': 123, 'da': 121} 参考资料 Python中使用pickle持久化对象
95110编辑于 2022-09-05 - 来自专栏EffectiveCoding
Redis 持久化之RDB持久化
Redis 相对于其他NoSQL 内存数据库而言，除了更富的数据结构和速度快之外，Redis 的丰富的持久化方案也就一个很显著的优势，Redis 支持RDB、AOF、混合持久化三种模式。 RDB（snapshotting） 是一种内存快照的方式进行持久化，AOF（append-only-file）是通过追加写入命令的方式进行持久化，混合持久化是指RDB和AOF协同完成持久化工作来发挥各自有点的持久化方式 RDB 持久化有自动触发、手动触发两种方式。 自动触发 具体可以看一下redis.conf 中的配置项及对应注释来了解这一部分内容，翻一下注释就很明了了： 当达到如下条件的时候就出发自动持久化，这种持久化在后台进行的bgsave 先看一下save选项 恢复： 数据恢复的过程，整个Redis 都是被阻塞在那里的，一直到持久化完成才正常工作。具体恢复步骤就是把文件移到刚才dir指定的文件下，然后启动redis 就可以啦。
83520发布于 2019-07-31 - 来自专栏全栈工程师修炼之路
Kali之U盘启动加密与持久化存储制作流程
DG进行格式化U盘为NTFS文件系统类型； Step2.使用Win32DiskImager镜像烧录工具进行烧录Kail镜像到U盘之中; WeiyiGeek.烧录Kail镜像到U盘 Step3.备份烧录的镜像为 Step6.安装PE启动后我们进行拆分分区UEFI 引导区域不要动，按照下图所示进行分区即可(为了方便Kail系统识别这里先将做数据持久化的分区格式化为ext4文件系统): WeiyiGeek.拆分分区 configfile /BOOT/GRUB/MENU.LST WeiyiGeek.KAIL.LIST Step9.在电脑上测试做好的启动盘（或者可以采用老毛桃的模拟启动）,注意首次进入Kail-Live等继续完成磁盘加密以及持久化配置后使用菜单 U盘我们持久化数据存区并且设置U盘持久化存储： kali@kali:~/Desktop# sudo fdisk -l #查看磁盘以及分区信息 kali@kali:~/Desktop# sudo cryptsetup Step13.放置一个文件测试Kail U盘的持久化之后再次重启发现该文件仍然存在即可，以后安装软件都会保留在我们的持久化数据盘上; WeiyiGeek.Kali ---- 0x02 入坑解决 所遇问题
3.1K20编辑于 2022-09-29 - 来自专栏网络技术联盟站
如何在 Linux 上加密分区？
，你需要准备一个用于加密的分区。 步骤3：创建加密设备使用 cryptsetup 命令创建加密设备，该设备将充当你加密分区的容器。 步骤5：格式化加密分区一旦你打开了加密设备并将其映射到设备节点，你可以像格式化普通分区一样格式化加密分区。 步骤6：挂载加密分区在格式化加密分区后，你需要将其挂载到文件系统中以便访问其中的文件。首先，创建一个目录作为挂载点。 步骤7：卸载和关闭加密分区当你完成对加密分区的操作后，需要卸载和关闭它。首先，卸载挂载的加密分区。sudo umount /mnt/encrypted_partition然后，关闭加密设备。
1.3K00编辑于 2023-06-19 - 来自专栏全栈工程师修炼之路
Kali之U盘启动加密与持久化存储制作流程
Step3.备份烧录的镜像为GHO文件采用Ghost备份工具:To Image > 选择U盘 > Kail 安装分区(注意盘符) > 导出镜像到文件 > 不压缩; ? Step6.安装PE启动后我们进行拆分分区UEFI 引导区域不要动，按照下图所示进行分区即可(为了方便Kail系统识别这里先将做数据持久化的分区格式化为ext4文件系统): ? Step9.在电脑上测试做好的启动盘（或者可以采用老毛桃的模拟启动）,注意首次进入Kail-Live等继续完成磁盘加密以及持久化配置后使用菜单2Kali-Encrypted-Persistence即可使用 Step11.采用cryptsetup进行加密U盘我们持久化数据存区并且设置U盘持久化存储： kali@kali:~/Desktop# sudo fdisk -l #查看磁盘以及分区信息 kali@kali Step13.放置一个文件测试Kail U盘的持久化之后再次重启发现该文件仍然存在即可，以后安装软件都会保留在我们的持久化数据盘上; ?
4.2K20发布于 2020-10-12 - 来自专栏fixzd
redis系列：RDB持久化与AOF持久化
前言 什么是持久化？ 持久化（Persistence），即把数据（如内存中的对象）保存到可永久保存的存储设备中（如磁盘）。 持久化的主要应用是将内存中的对象存储在数据库中，或者存储在磁盘文件中、XML数据文件中等等。 持久化是将程序数据在持久状态和瞬时状态间转换的机制。 Redis提供了两种持久化方式 RDB持久化（快照） AOF持久化（只追加操作的文件 Append-only file） 先来看看RDB持久化 RDB持久化 RDB持久化是指在客户端输入save 那么我们如何开启AOF持久化功能呢？ $3 set $10 learnRedis $7 testAOF 命令追加 AOF持久化功能开启时，服务器在执行完一个写命令之后，会以协议格式将被执行的写命令追加到服务器状态的aof_buf
92410发布于 2018-08-25 - 来自专栏fixzd
redis系列：RDB持久化与AOF持久化
前言 什么是持久化？ 持久化（Persistence），即把数据（如内存中的对象）保存到可永久保存的存储设备中（如磁盘）。 持久化的主要应用是将内存中的对象存储在数据库中，或者存储在磁盘文件中、XML数据文件中等等。 持久化是将程序数据在持久状态和瞬时状态间转换的机制。 Redis提供了两种持久化方式 RDB持久化（快照） AOF持久化（只追加操作的文件 Append-only file） 先来看看RDB持久化 RDB持久化 RDB持久化是指在客户端输入save、bgsave 那么我们如何开启AOF持久化功能呢？ $3 set $10 learnRedis $7 testAOF 命令追加 AOF持久化功能开启时，服务器在执行完一个写命令之后，会以协议格式将被执行的写命令追加到服务器状态的aof_buf缓冲区的末尾
76820发布于 2018-08-28 - 来自专栏Golang语言社区
Golang 持久化
涉及数据存储的的过程称之为持久化。下面golang中的数据持久化做简单的介绍。主要包括内存存储，文件存储和数据库存储。 内存持久化比较简单，严格来说这也不算是持久化，比较程序退出会清空内存，所保存的数据也会消失。这种持久化只是相对程序运行时而言。 基本上涉及的都有纯文本，格式化文本和二进制文本的读写操作。通过文件持久化数据比起内存才是真正的持久化。然而很多应用的开发，持久化更多还是和数据库打交道。 关于数据库，又是一个很大的话题。 总结 数据持久化我们介绍了内存，文件和数据库三种持久化方案。其中内存并不是严格意义的持久化，但是对于一些需要频繁操作，并且程序启动后就需要处理的数据，可以考虑内存持久化。 对于简单的配置，可以使用文件持久化，更多时候，数据的持久化方案还是依托于数据库。如今数据库种类繁多，无论是sql还是nosql，都需要考虑具体的使用场景。
2.9K90发布于 2018-03-26 - 来自专栏IT技术订阅
Redis持久化
一. redis持久化的介绍 Redis的持久化指的是将内存中redis数据库运行的数据，写到硬盘文件上。 Redis持久化的两种方式： 1. RDB：Redis DataBase 默认的持久化方式，以二进制的方式将数据写入文件中,每隔一段时间写入一次。 2. RDB对redis对外提供读写服务的时候，影响非常小，因为redis 主进程只需要fork一个子进程出来，让子进程对磁盘io来进行rdb持久化 3. AOF机制 3.1 介绍 与快照持久化相比，AOF持久化 的实时性更好，因此已成为主流的持久化方案。 3.
1K20编辑于 2022-05-11 - 来自专栏desperate633
深入理解Redis持久化Redis 持久化
Redis 持久化 Redis 提供了多种不同级别的持久化方式： RDB 持久化可以在指定的时间间隔内生成数据集的时间点快照（point-in-time snapshot）。 Redis 还可以同时使用 AOF 持久化和 RDB 持久化。 了解 RDB 持久化和 AOF 持久化之间的异同是非常重要的， 以下几个小节将详细地介绍这这两种持久化功能， 并对它们的相同和不同之处进行说明。 RDB 非常适用于灾难恢复（disaster recovery）：它只有一个文件，并且内容都非常紧凑，可以（在加密后）将它传送到别的数据中心，或者亚马逊 S3 中。 步骤 3 执行的第二条命令用于关闭 RDB 功能。 这一步是可选的， 如果你愿意的话， 也可以同时使用 RDB 和 AOF 这两种持久化功能。
96232发布于 2018-08-22 - 来自专栏linux学习笔记
redis持久化
持久化简介 什么是持久化 ? 利用永久性存储介质将数据进行保存，在特定的时间将保存的数据进行恢复的工作机制称为持久化 为什么要进行持久化? 与RDB相比可以简单描述为改记录数据为记录数据产生的过程 AOF的主要作用是解决了数据持久化的实时性，目前已经是Redis持久化的主流方式 AOF写数据过程 image.png AOF写数据三种策略 AOF重写作用 降低磁盘占用量，提高磁盘利用率 提高持久化效率，降低持久化写时间，提高IO性能 降低数据恢复用时，提高数据恢复效率 AOF重写规则 进程内已超时的数据不再写入文件 忽略无效指令，重写时使用进程内数据直接生成，这样新的AOF文件只保留最终数据的写入命令 如del key1、 hdel key2、srem key3、set key4 111、set key4 AOF持久化策略使用everysecond，每秒钟fsync一次。
89300发布于 2019-12-07 - 来自专栏云同步
Redis 持久化
持久化就是把内存的数据写到磁盘中，防止服务宕机导致内存数据丢失。 Redis支持两种方式的持久化，一种是RDB的方式，一种是AOF的方式。 RDB 是什么 Redis 会单独创建一个子进程（fork）来进行持久化，先将数据写入到一个临时文件中，待持久化过程完成后，再将这个临时文件内容覆盖到 dump.rdb Fork Fork rdbchecksum：完整性的检查，即数据是否完整性、准确性 save 表示写操作的次数 格式：save 秒 写操作次数 优点 Redis 加载 RDB 恢复数据远远快于 AOF 的方式 使用单独子进程来进行持久化 ，主进程不会进行任何 IO 操作，保证了 Redis 的高性能 缺点 RDB方式数据无法做到实时持久化。 singleDoc# 《Redis 持久化》
28310编辑于 2025-08-01 - 来自专栏java 挖矿之路
rabiitMq 持久化
其中，RabblitMQ的持久化分为三个部分： 交换器(Exchange)的持久化 队列(Queue)的持久化 消息(Message)的持久化 2. durable：设置是否持久化。durable设置为true表示持久化，反之是非持久化。持久化可以将交换器存盘，在服务器重启的时候不会丢失相关信息。 Exchange channel.exchangeDeclare(EXCHANGE_NAME, "direct", true); 此时运行完代码，然后重启下RabbitMQ服务，会发现Exchange不再丢失： 3. durable：设置是否持久化。为true则设置队列为持久化。持久化的队列会存盘，在服务器重启的时候可以保证不丢失相关信息。 3)单单只设置队列持久化，重启之后消息会丢失；单单只设置消息的持久化，重启之后队列消失，继而消息也丢失。单单设置消息持久化而不设置队列的持久化显得毫无意义。
1.1K20发布于 2021-02-24 - 来自专栏chenchenchen
redis持久化
RDB 优势： 1.数据库只包含一个文件，通过文件备份策略，定期配置，恢复系统灾难 2.压缩文件转移到其他介质上 3.性能最大化，redis开始持久化时，分叉出进程，由子进程完成持久化的工作 ，避免服务器进程执行 3.如果日志过大，redis可以启动重写机制。在重写过程中产生的对数据库操作记录会保存在一个新文件中，等到重写完成后再追加到现有的文件中。 为什么这么做 (1)master关闭持久化 原因很简单，因为无论哪种持久化方式都会影响redis的性能，哪一种持久化都会造成CPU卡顿，影响对客户端请求的处理。 AOF持久化 RDB持久化是将进程数据写入文件，而AOF持久化(即Append Only File持久化)，则是将Redis执行的每次写命令记录到单独的日志文件中。 ps:scp是secure copy的简写，用于在Linux下进行远程拷贝文件的命令，和它类似的命令有cp，不过cp只是在本机进行拷贝不能跨服务器，而且scp传输是加密的。
74510编辑于 2023-01-30
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号