- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器学习/数据可视化
Spark笔记7-RDD持久化和分区
持久化 有时候需要访问同一组值，不做持久化，会重复生成，计算机代价和开销很大。 持久化作用： 通过缓存机制避免重复计算的开销 通过使用persist()方法对一个RDD标记为持久化，仅仅是标记 只有等到第一个行动操作才会发生真生的持久化操作，触发真正的计算操作，才会把计算结果进行持久化 持久化后的RDD将会被保留在计算机节点的内存中，被后面的行动操作重复使用。 persist()方法 该方法的作用是将一个RDD标记为持久化，并不是真正的持久化操作，行动操作才是真正的持久化，主要的参数是： memory_only 将反序列化的对象存在JVM中，如果内存不足将会按照先进先出的原则 ) 等价于RDD.persist(memory_only)，表示缓存在内存中 Memory_and_disk 先将结果存入内存中，如果内存不够，再存入磁盘中 unpersist() 手动将持久化的
94710发布于 2021-03-02 - 来自专栏java学习java
Sentinel规则持久化（7）
是什么 一旦我们重启应用，sentinel规则将消失，生产环境需要将配置规则进行持久化 怎么玩 将限流配置规则持久化进Nacos保存，只要刷新8401某个rest地址，sentinel控制台 的流控规则就能看到 停止8401再看sentinel 重新启动8401再看sentinel 多次调用 http://localhost:8401/rateLimit/byUrl 重新配置出现了，持久化验证通过
35430编辑于 2022-11-13 - 来自专栏EffectiveCoding
Redis 持久化之AOF持久化&混合持久化
上一篇提到了Redis的RDB持久化方式，同时也提到了一点关于AOF的内容。 RDB（snapshotting） 是一种内存快照的方式进行持久化，AOF（append-only-file）是通过追加写入命令的方式进行持久化，混合持久化是指RDB和AOF协同完成持久化工作来发挥各自有点的持久化方式 协议格式来保存命令内容的，有兴趣可以看一下： https://redis.io/topics/protocol 很显然，如果命令操作量非常大的时候，与RDB不同，AOF因为是追加命令，所以很大概率上AOF持久化文件会越来越大 混合持久化： 混合持久化是Redis 4.X之后的一个新特性，说是新特性其实更像是一种RDB&AOF的结合，持久化文件变成了RDB + AOF，首先由RDB定期完成内存快照的备份，然后再由AOF完成两次 在大多数场景下RDB + AOF的混合持久化模式其实还是很合适的。
1.9K20发布于 2019-07-31 - 来自专栏Devops专栏
Centos7磁盘分区之后，找不到分区格式化
问题背景 服务器的磁盘安装之后，存在一部分的磁盘空间还没有分区使用。在分区之后，准备进行格式化的时候，发现找不到分区的磁盘。 那么该怎么办呢？ 分区后的情况如下： ? 看到了分区之后，尝试进行格式化： mkfs.ext4 /dev/sda ? 那么导致问题的原因，主要是因为新创建了分区之后，系统没有重新读取分区信息导致。 解决办法，可以重启服务器。 或者简单一点，输入partprobe命令，重启让系统读取分区信息。 输入partprobe命令，让系统读取分区信息 partprobe 说明：partprobe包含在parted的rpm软件包中。 partprobe可以修改kernel中分区表，使kernel重新读取分区表。 因此，使用该命令就可以创建分区并且在不重新启动机器的情况下系统能够识别这些分区。 执行如下： ? 好了，可以看到分区之后，就可以正常格式化，或者做LVM管理创建物理卷了。
2.8K30发布于 2019-06-02 - 来自专栏Netkiller
Linux磁盘分区加密
Linux磁盘分区加密 Procedure 12.1. cryptsetup - configures encrypted block devices 安装 cryptsetup # apt-get install 创建加密分区 # cryptsetup --verbose --verify-passphrase -c aes-cbc-plain luksFormat /dev/sdb1 WARNING! (Type uppercase yes): YES (输入大写的YES来确定创建加密分区) Enter LUKS passphrase: (输入密码) Verify passphrase: (确认密码 如下命令将显示/dev/mapper路径中的隐藏设备 # ls -l /dev/mapper 格式化加密分区 现在将该分区格式化为ext3文件系统. . # mkdir /mnt/secret # mount /dev/mapper/sdb1 /mnt/secret 使用加密分区 好了,现在你可以使用你的加密分区了. cd /mnt/secret
6.8K40发布于 2018-03-05 - 来自专栏EffectiveCoding
Redis 持久化之RDB持久化
Redis 相对于其他NoSQL 内存数据库而言，除了更富的数据结构和速度快之外，Redis 的丰富的持久化方案也就一个很显著的优势，Redis 支持RDB、AOF、混合持久化三种模式。 RDB（snapshotting） 是一种内存快照的方式进行持久化，AOF（append-only-file）是通过追加写入命令的方式进行持久化，混合持久化是指RDB和AOF协同完成持久化工作来发挥各自有点的持久化方式 RDB 持久化有自动触发、手动触发两种方式。 自动触发 具体可以看一下redis.conf 中的配置项及对应注释来了解这一部分内容，翻一下注释就很明了了： 当达到如下条件的时候就出发自动持久化，这种持久化在后台进行的bgsave 先看一下save选项 恢复： 数据恢复的过程，整个Redis 都是被阻塞在那里的，一直到持久化完成才正常工作。具体恢复步骤就是把文件移到刚才dir指定的文件下，然后启动redis 就可以啦。
83520发布于 2019-07-31 - 来自专栏全栈工程师修炼之路
Kali之U盘启动加密与持久化存储制作流程
Step6.安装PE启动后我们进行拆分分区UEFI 引导区域不要动，按照下图所示进行分区即可(为了方便Kail系统识别这里先将做数据持久化的分区格式化为ext4文件系统): WeiyiGeek.拆分分区 Step7.导入Kali镜像GHOST备份到分区I之中 WeiyiGeek.导入Kali镜像 Step8.配置GURB启动菜单设置，打开FbinstTool工具导入KALI.LST并且修改MENU.LST configfile /BOOT/GRUB/MENU.LST WeiyiGeek.KAIL.LIST Step9.在电脑上测试做好的启动盘（或者可以采用老毛桃的模拟启动）,注意首次进入Kail-Live等继续完成磁盘加密以及持久化配置后使用菜单 U盘我们持久化数据存区并且设置U盘持久化存储： kali@kali:~/Desktop# sudo fdisk -l #查看磁盘以及分区信息 kali@kali:~/Desktop# sudo cryptsetup Step13.放置一个文件测试Kail U盘的持久化之后再次重启发现该文件仍然存在即可，以后安装软件都会保留在我们的持久化数据盘上; WeiyiGeek.Kali ---- 0x02 入坑解决 所遇问题
3.1K20编辑于 2022-09-29 - 来自专栏网络技术联盟站
如何在 Linux 上加密分区？
，你需要准备一个用于加密的分区。 步骤3：创建加密设备使用 cryptsetup 命令创建加密设备，该设备将充当你加密分区的容器。 步骤5：格式化加密分区一旦你打开了加密设备并将其映射到设备节点，你可以像格式化普通分区一样格式化加密分区。 步骤6：挂载加密分区在格式化加密分区后，你需要将其挂载到文件系统中以便访问其中的文件。首先，创建一个目录作为挂载点。 步骤7：卸载和关闭加密分区当你完成对加密分区的操作后，需要卸载和关闭它。首先，卸载挂载的加密分区。sudo umount /mnt/encrypted_partition然后，关闭加密设备。
1.3K00编辑于 2023-06-19 - 来自专栏雪胖纸的玩蛇日常
7.模块化封装Storage实现缓存数据持久化
1.模块化封装Storage实现缓存数据持久化 1.在src目录下新建目录model，在model目录下新建js文件取名storage.js var storage={ set(key,value
66020发布于 2019-09-29 - 来自专栏晓晨的专栏
Centos7 初始化硬盘分区、挂载
回显类似如下信息： 表示磁盘有两种分区类型： "p”表示主要分区。 "e”表示延伸分区。 4.以创建一个主要分区为例，输入“p”，按“Enter”，开始创建一个主分区。 回显类似如下信息： “Partition number”表示主分区编号，可以选择1-4。 5.以分区编号选择“1”为例，输入主分区编号“1”，按“Enter”。 7.以选择默认截止磁柱编号2104857599为例，按“Enter”。 回显类似如下信息： 表示分区完成，即为50GB的数据盘新建了1个分区。 8.输入“p”，按“Enter”，查看新建分区的详细信息。 回显类似如下信息： 表示新建分区“/dev/vdb1”的详细信息。 9.输入“w”，按“Enter”，将分区结果写入分区表中。 mkfs -t 文件系统格式 /dev/vdb1 以设置文件系统为“ext4”为例： mkfs -t ext4 /dev/vdb1 回显类似如下信息： 格式化需要等待一段时间，请观察系统运行状态，不要退出
4.9K50发布于 2018-06-22 - 来自专栏全栈工程师修炼之路
Kali之U盘启动加密与持久化存储制作流程
Step6.安装PE启动后我们进行拆分分区UEFI 引导区域不要动，按照下图所示进行分区即可(为了方便Kail系统识别这里先将做数据持久化的分区格式化为ext4文件系统): ? Step7.导入Kali镜像GHOST备份到分区I之中 ? Step9.在电脑上测试做好的启动盘（或者可以采用老毛桃的模拟启动）,注意首次进入Kail-Live等继续完成磁盘加密以及持久化配置后使用菜单2Kali-Encrypted-Persistence即可使用 Step11.采用cryptsetup进行加密U盘我们持久化数据存区并且设置U盘持久化存储： kali@kali:~/Desktop# sudo fdisk -l #查看磁盘以及分区信息 kali@kali Step13.放置一个文件测试Kail U盘的持久化之后再次重启发现该文件仍然存在即可，以后安装软件都会保留在我们的持久化数据盘上; ?
4.2K20发布于 2020-10-12 - 来自专栏从零学习云计算
openshiftorigin工作记录（7）——持久化openshift内部镜像仓库
所以需要持久化openshift内部镜像仓库。 有状态的应用如果未配置持久化卷，容器一旦意外退出，容器内部所有的镜像、配置、数据都将消失殆尽。 创建持久化卷 根据上创建的NFS信息，创建持久化卷。 # oc create -f images-pvc.json 查看持久化卷请求和持久化卷的状态 ? 持久化卷请求和持久化卷已连接起来。 6.1G的数据已经恢复，也改成了持久化存储。
1.3K40发布于 2019-05-26 - 来自专栏草根专栏
RabbitMQ 入门 (Go) - 7. 数据持久化（下）【完】
最后在 exec 包中建立 main.go： 首先获得 RabbitMQ 的连接和 Channel，然后通过 Channel 从持久化 Queue 获得数据。
65730发布于 2021-11-02 - 来自专栏fixzd
redis系列：RDB持久化与AOF持久化
前言 什么是持久化？ 持久化（Persistence），即把数据（如内存中的对象）保存到可永久保存的存储设备中（如磁盘）。 持久化的主要应用是将内存中的对象存储在数据库中，或者存储在磁盘文件中、XML数据文件中等等。 持久化是将程序数据在持久状态和瞬时状态间转换的机制。 Redis提供了两种持久化方式 RDB持久化（快照） AOF持久化（只追加操作的文件 Append-only file） 先来看看RDB持久化 RDB持久化 RDB持久化是指在客户端输入save AOF持久化 AOF持久化是通过保存Redis服务器所执行的写命令来记录数据库状态，也就是每当 Redis 执行一个改变数据集的命令时（比如 SET）， 这个命令就会被追加到 AOF 文件的末尾。 那么我们如何开启AOF持久化功能呢？
92410发布于 2018-08-25 - 来自专栏fixzd
redis系列：RDB持久化与AOF持久化
前言 什么是持久化？ 持久化（Persistence），即把数据（如内存中的对象）保存到可永久保存的存储设备中（如磁盘）。 持久化的主要应用是将内存中的对象存储在数据库中，或者存储在磁盘文件中、XML数据文件中等等。 持久化是将程序数据在持久状态和瞬时状态间转换的机制。 Redis提供了两种持久化方式 RDB持久化（快照） AOF持久化（只追加操作的文件 Append-only file） 先来看看RDB持久化 RDB持久化 RDB持久化是指在客户端输入save、bgsave AOF持久化 AOF持久化是通过保存Redis服务器所执行的写命令来记录数据库状态，也就是每当 Redis 执行一个改变数据集的命令时（比如 SET）， 这个命令就会被追加到 AOF 文件的末尾。 那么我们如何开启AOF持久化功能呢？
76820发布于 2018-08-28 - 来自专栏Golang语言社区
Golang 持久化
涉及数据存储的的过程称之为持久化。下面golang中的数据持久化做简单的介绍。主要包括内存存储，文件存储和数据库存储。 内存持久化比较简单，严格来说这也不算是持久化，比较程序退出会清空内存，所保存的数据也会消失。这种持久化只是相对程序运行时而言。 基本上涉及的都有纯文本，格式化文本和二进制文本的读写操作。通过文件持久化数据比起内存才是真正的持久化。然而很多应用的开发，持久化更多还是和数据库打交道。 关于数据库，又是一个很大的话题。 总结 数据持久化我们介绍了内存，文件和数据库三种持久化方案。其中内存并不是严格意义的持久化，但是对于一些需要频繁操作，并且程序启动后就需要处理的数据，可以考虑内存持久化。 对于简单的配置，可以使用文件持久化，更多时候，数据的持久化方案还是依托于数据库。如今数据库种类繁多，无论是sql还是nosql，都需要考虑具体的使用场景。
2.9K90发布于 2018-03-26 - 来自专栏IT技术订阅
Redis持久化
一. redis持久化的介绍 Redis的持久化指的是将内存中redis数据库运行的数据，写到硬盘文件上。 Redis持久化的意义主要在于故障恢复，比如你部署一个Redis，作为缓存有可能里边有一些比较重要的数据，如果没有持久化的时候，redis遇到灾难性故障的时候就会丢失所有的数据。 Redis持久化的两种方式： 1. RDB：Redis DataBase 默认的持久化方式，以二进制的方式将数据写入文件中,每隔一段时间写入一次。 2. RDB机制 2.1 介绍 RDB持久化是指在指定的时间间隔内将内存中的数据集快照写入磁盘。 AOF机制 3.1 介绍 与快照持久化相比，AOF持久化 的实时性更好，因此已成为主流的持久化方案。
1K20编辑于 2022-05-11 - 来自专栏全栈程序员必看
Linux7Centos7磁盘分区、格式化及LVM管理
RHEL7如何对磁盘进行分区和格式化以及如何配置LVM，与以前版本的RHEL区别不大，可以通过disk工具（在图形桌面中运行）或命令工具（如：fdisk、gdisk、parted）管理硬盘设备。 划分好分区之后，还需要格式化才能使用。 文件系统 修改fstab实现自动加载 第二种方式是创建一个文件块，这个文件所占有的空间作为swap使用 对于普通的分区，扩展度不高，一旦分区格式化完成，很难灵活的再增加或者减少分区大小。 基本过程是把物理磁盘或者分区初始化称为物理卷（PV），然后把PV加入VG（卷组），最后在VG上划分逻辑的分区（LVM），LVM可以当做普通的分区进行格式化和挂载。 在这个例子中，我们使用CentOS 7，XFS文件系统在默认情况下创建。因而，我们使用xfs_growfs来扩大现有的XFS文件系统。
7.3K10编辑于 2022-09-01 - 来自专栏desperate633
深入理解Redis持久化Redis 持久化
Redis 持久化 Redis 提供了多种不同级别的持久化方式： RDB 持久化可以在指定的时间间隔内生成数据集的时间点快照（point-in-time snapshot）。 Redis 还可以同时使用 AOF 持久化和 RDB 持久化。 了解 RDB 持久化和 AOF 持久化之间的异同是非常重要的， 以下几个小节将详细地介绍这这两种持久化功能， 并对它们的相同和不同之处进行说明。 RDB 非常适用于灾难恢复（disaster recovery）：它只有一个文件，并且内容都非常紧凑，可以（在加密后）将它传送到别的数据中心，或者亚马逊 S3 中。 从 1.1 版本开始， Redis 增加了一种完全耐久的持久化方式： AOF 持久化。
96232发布于 2018-08-22 - 来自专栏后端从入门到精通
InnoDB(7)数据持久化 --mysql从入门到精通（十二)
上篇文章我们说了，索引页分为7个部分，其中free space会给user recoreds分配空间存储真实数据，直到用完申请新的页。 trailer:存储效验和，刷新纪录到磁盘时，先计算file header信息效验和的lsn值到磁盘，当全部数据刷新到磁盘后，在修改trailer的效验和lsn值，最后比较两个lsn值是否一致，一致数据持久化成功
54620编辑于 2022-07-26
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号