首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏兜兜毛毛

    Redis 持久10

    持久机制 Redis速度快,很大一部分原因是因为它所有的数据都存储在内存中。如果断电或者宕机,都会导致内存中的数据丢失。 为了实现重启后数据不丢失,Redis提供了两种持久的方案,一种是RDB快照(RedisDataBase),一种是AOF(AppendOnlyFile)。 RDB RDB是Redis默认的持久方案。 save 900 1 // 900秒内至少有一个key被修改(包括添加) save 300 10 //400秒内至少有10个key被修改 save 60 10000 //60秒内至少有10000个key RDB方式数据没办法做到实时持久/秒级持久。因为bgsave每次运行都要执行fork操作创建子进程,频繁执行成本过高。 如果对延迟要求很高的应用,这个字段可以设置为yes,否则还是设置为no,这样对持久特性来说这是更安全的选择。

    77020发布于 2020-03-19
  • 来自专栏机器学习/数据可视化

    Spark笔记7-RDD持久分区

    持久 有时候需要访问同一组值,不做持久,会重复生成,计算机代价和开销很大。 持久化作用: 通过缓存机制避免重复计算的开销 通过使用persist()方法对一个RDD标记为持久,仅仅是标记 只有等到第一个行动操作才会发生真生的持久操作,触发真正的计算操作,才会把计算结果进行持久 持久后的RDD将会被保留在计算机节点的内存中,被后面的行动操作重复使用。 persist()方法 该方法的作用是将一个RDD标记为持久,并不是真正的持久操作,行动操作才是真正的持久,主要的参数是: memory_only 将反序列的对象存在JVM中,如果内存不足将会按照先进先出的原则 ), 5) # 分成5个分区 data.map(lambda x: (x,1)) \ # 生成键值对,下图1 .partitionBy(10, myPartitioner) \ # 函数只接受键值对作为参数

    94710发布于 2021-03-02
  • 来自专栏EffectiveCoding

    Redis 持久之AOF持久&混合持久

    上一篇提到了Redis的RDB持久方式,同时也提到了一点关于AOF的内容。 RDB(snapshotting) 是一种内存快照的方式进行持久,AOF(append-only-file)是通过追加写入命令的方式进行持久,混合持久是指RDB和AOF协同完成持久化工作来发挥各自有点的持久方式 协议格式来保存命令内容的,有兴趣可以看一下: https://redis.io/topics/protocol 很显然,如果命令操作量非常大的时候,与RDB不同,AOF因为是追加命令,所以很大概率上AOF持久文件会越来越大 混合持久: 混合持久是Redis 4.X之后的一个新特性,说是新特性其实更像是一种RDB&AOF的结合,持久文件变成了RDB + AOF,首先由RDB定期完成内存快照的备份,然后再由AOF完成两次 在大多数场景下RDB + AOF的混合持久模式其实还是很合适的。

    1.9K20发布于 2019-07-31
  • 来自专栏Netkiller

    Linux磁盘分区加密

    Linux磁盘分区加密 Procedure 12.1. cryptsetup - configures encrypted block devices 安装 cryptsetup # apt-get install 创建加密分区 # cryptsetup --verbose --verify-passphrase -c aes-cbc-plain luksFormat /dev/sdb1 WARNING! (Type uppercase yes): YES (输入大写的YES来确定创建加密分区) Enter LUKS passphrase: (输入密码) Verify passphrase: (确认密码 如下命令将显示/dev/mapper路径中的隐藏设备 # ls -l /dev/mapper 格式加密分区 现在将该分区格式化为ext3文件系统. . # mkdir /mnt/secret # mount /dev/mapper/sdb1 /mnt/secret 使用加密分区 好了,现在你可以使用你的加密分区了. cd /mnt/secret

    6.8K40发布于 2018-03-05
  • 来自专栏EffectiveCoding

    Redis 持久之RDB持久

    Redis 相对于其他NoSQL 内存数据库而言,除了更富的数据结构和速度快之外,Redis 的丰富的持久方案也就一个很显著的优势,Redis 支持RDB、AOF、混合持久三种模式。 RDB(snapshotting) 是一种内存快照的方式进行持久,AOF(append-only-file)是通过追加写入命令的方式进行持久,混合持久是指RDB和AOF协同完成持久化工作来发挥各自有点的持久方式 RDB 持久有自动触发、手动触发两种方式。 自动触发 具体可以看一下redis.conf 中的配置项及对应注释来了解这一部分内容,翻一下注释就很明了了: 当达到如下条件的时候就出发自动持久,这种持久在后台进行的bgsave 先看一下save选项 : save 900 1:表示900 秒内如果至少有 1 个 key 的值变化,则保存 save 300 10:表示300 秒内如果至少有 10 个 key 的值变化,则保存 save 60 10000

    83520发布于 2019-07-31
  • 来自专栏全栈工程师修炼之路

    Kali之U盘启动加密持久存储制作流程

    Step6.安装PE启动后我们进行拆分分区UEFI 引导区域不要动,按照下图所示进行分区即可(为了方便Kail系统识别这里先将做数据持久分区格式化为ext4文件系统): WeiyiGeek.拆分分区 configfile /BOOT/GRUB/MENU.LST WeiyiGeek.KAIL.LIST Step9.在电脑上测试做好的启动盘(或者可以采用老毛桃的模拟启动),注意首次进入Kail-Live等继续完成磁盘加密以及持久配置后使用菜单 ,必须采用kali/kali账号密码进行登录原因我在后面进行说明; WeiyiGeek.Kali登录页面 Step11.采用cryptsetup进行加密U盘我们持久数据存区并且设置U盘持久存储: /sdb4 #输入YES(注意大小写)后进行输入解密密码 kali@kali:~/Desktop# sudo cryptsetup open /dev/sdb4 hacker #打开加密分区 kali Step13.放置一个文件测试Kail U盘的持久之后再次重启发现该文件仍然存在即可,以后安装软件都会保留在我们的持久数据盘上; WeiyiGeek.Kali ---- 0x02 入坑解决 所遇问题

    3.1K20编辑于 2022-09-29
  • 来自专栏网络技术联盟站

    如何在 Linux 上加密分区

    ,你需要准备一个用于加密分区。 步骤3:创建加密设备使用 cryptsetup 命令创建加密设备,该设备将充当你加密分区的容器。 步骤5:格式加密分区一旦你打开了加密设备并将其映射到设备节点,你可以像格式普通分区一样格式加密分区。 步骤6:挂载加密分区在格式加密分区后,你需要将其挂载到文件系统中以便访问其中的文件。首先,创建一个目录作为挂载点。 步骤7:卸载和关闭加密分区当你完成对加密分区的操作后,需要卸载和关闭它。首先,卸载挂载的加密分区。sudo umount /mnt/encrypted_partition然后,关闭加密设备。

    1.3K00编辑于 2023-06-19
  • 来自专栏全栈工程师修炼之路

    Kali之U盘启动加密持久存储制作流程

    Step4.创建分区镜像和完成导出镜像Gho文件 ? Step5.格式U盘为FAT文件系统或者采用老毛桃直接初始U盘,然后采用自定义的个性设置(纯属装B实际没必要) ? Step6.安装PE启动后我们进行拆分分区UEFI 引导区域不要动,按照下图所示进行分区即可(为了方便Kail系统识别这里先将做数据持久分区格式化为ext4文件系统): ? Step9.在电脑上测试做好的启动盘(或者可以采用老毛桃的模拟启动),注意首次进入Kail-Live等继续完成磁盘加密以及持久配置后使用菜单2Kali-Encrypted-Persistence即可使用 Step11.采用cryptsetup进行加密U盘我们持久数据存区并且设置U盘持久存储: kali@kali:~/Desktop# sudo fdisk -l #查看磁盘以及分区信息 kali@kali Step13.放置一个文件测试Kail U盘的持久之后再次重启发现该文件仍然存在即可,以后安装软件都会保留在我们的持久数据盘上; ?

    4.2K20发布于 2020-10-12
  • 来自专栏软件安装

    win10怎么分区?win10分区教程

    不需要任何软件,win10系统本身就有这个功能,下面开始操作 第一步 按快捷键【wins+X】的组合键,在弹出的选项中选择【磁盘管理】选项;如下图: ​ ​ 第二步 在弹出的【磁盘管理】界面中,选择要进行分区的磁盘 ,我这里是对【F】盘进行分区,所以我选中F盘,点击右键,再出现的下拉选项中选择【压缩卷选项】,如下图: ​ ​ 这时候会出出现一个小的对话框,显示正在查询压缩空间,稍等片刻;这个销微等一下就行。 ​ ​ 第四步 然后可以看到本次新建的分区【大小】和【状态】(未分配);这就是刚刚我们填的1024 = 1.00GB,刚刚分离出来的。 ​ ​ 第五步 在该未分配的分区上点击右键,选择【新建简单卷】,出现【新建简单卷向导】页面;如下图: ​ ​ 第六步 点击【下一页】,可指定【简单卷的大小】,单位为:【MB】,并点击【下一页】; 这里说明一下, win10比较简单,主要是自己自带了这样的高科技。

    98010编辑于 2025-11-12
  • 来自专栏fixzd

    redis系列:RDB持久与AOF持久

    前言 什么是持久持久(Persistence),即把数据(如内存中的对象)保存到可永久保存的存储设备中(如磁盘)。 持久的主要应用是将内存中的对象存储在数据库中,或者存储在磁盘文件中、XML数据文件中等等。 持久是将程序数据在持久状态和瞬时状态间转换的机制。 Redis提供了两种持久方式 RDB持久(快照) AOF持久(只追加操作的文件 Append-only file) 先来看看RDB持久 RDB持久 RDB持久是指在客户端输入save AOF持久 AOF持久是通过保存Redis服务器所执行的写命令来记录数据库状态,也就是每当 Redis 执行一个改变数据集的命令时(比如 SET), 这个命令就会被追加到 AOF 文件的末尾。 那么我们如何开启AOF持久功能呢?

    92510发布于 2018-08-25
  • 来自专栏fixzd

    redis系列:RDB持久与AOF持久

    前言 什么是持久持久(Persistence),即把数据(如内存中的对象)保存到可永久保存的存储设备中(如磁盘)。 持久的主要应用是将内存中的对象存储在数据库中,或者存储在磁盘文件中、XML数据文件中等等。 持久是将程序数据在持久状态和瞬时状态间转换的机制。 Redis提供了两种持久方式 RDB持久(快照) AOF持久(只追加操作的文件 Append-only file) 先来看看RDB持久 RDB持久 RDB持久是指在客户端输入save、bgsave AOF持久 AOF持久是通过保存Redis服务器所执行的写命令来记录数据库状态,也就是每当 Redis 执行一个改变数据集的命令时(比如 SET), 这个命令就会被追加到 AOF 文件的末尾。 那么我们如何开启AOF持久功能呢?

    76820发布于 2018-08-28
  • 来自专栏Golang语言社区

    Golang 持久

    涉及数据存储的的过程称之为持久。下面golang中的数据持久化做简单的介绍。主要包括内存存储,文件存储和数据库存储。 内存持久比较简单,严格来说这也不算是持久,比较程序退出会清空内存,所保存的数据也会消失。这种持久只是相对程序运行时而言。 基本上涉及的都有纯文本,格式文本和二进制文本的读写操作。通过文件持久数据比起内存才是真正的持久。然而很多应用的开发,持久更多还是和数据库打交道。 关于数据库,又是一个很大的话题。 总结 数据持久我们介绍了内存,文件和数据库三种持久方案。其中内存并不是严格意义的持久,但是对于一些需要频繁操作,并且程序启动后就需要处理的数据,可以考虑内存持久。 对于简单的配置,可以使用文件持久,更多时候,数据的持久方案还是依托于数据库。如今数据库种类繁多,无论是sql还是nosql,都需要考虑具体的使用场景。

    2.9K90发布于 2018-03-26
  • 来自专栏IT技术订阅

    Redis持久

    一. redis持久的介绍 Redis的持久指的是将内存中redis数据库运行的数据,写到硬盘文件上。 Redis持久的意义主要在于故障恢复,比如你部署一个Redis,作为缓存有可能里边有一些比较重要的数据,如果没有持久的时候,redis遇到灾难性故障的时候就会丢失所有的数据。 Redis持久的两种方式: 1. RDB:Redis DataBase 默认的持久方式,以二进制的方式将数据写入文件中,每隔一段时间写入一次。 2. > > save 300 10 > > #在300秒(5分钟)之后,如果至少有10个key发生变化,Redis就会自动触发BGSAVE命令创建快照。 AOF机制 3.1 介绍 与快照持久相比,AOF持久 的实时性更好,因此已成为主流的持久方案。

    1K20编辑于 2022-05-11
  • 来自专栏desperate633

    深入理解Redis持久Redis 持久

    Redis 持久 Redis 提供了多种不同级别的持久方式: RDB 持久可以在指定的时间间隔内生成数据集的时间点快照(point-in-time snapshot)。 Redis 还可以同时使用 AOF 持久和 RDB 持久。 了解 RDB 持久和 AOF 持久之间的异同是非常重要的, 以下几个小节将详细地介绍这这两种持久功能, 并对它们的相同和不同之处进行说明。 RDB 非常适用于灾难恢复(disaster recovery):它只有一个文件,并且内容都非常紧凑,可以(在加密后)将它传送到别的数据中心,或者亚马逊 S3 中。 从 1.1 版本开始, Redis 增加了一种完全耐久的持久方式: AOF 持久

    96232发布于 2018-08-22
  • 来自专栏linux学习笔记

    redis持久

    持久化简介 什么是持久 ? 利用永久性存储介质将数据进行保存,在特定的时间将保存的数据进行恢复的工作机制称为持久 为什么要进行持久? 但会使存储的文件变大(巨大)  rdbchecksum yes 说明:设置是否进行RDB文件格式校验,该校验过程在写文件和读文件过程均进行 经验:通常默认为开启状态,如果设置为no,可以节约读写性过程约10% second:监控时间范围 changes:监控key的变化量  位置 在conf文件中进行配置  范例 save second changes save 900 1 save 300 10 与RDB相比可以简单描述为改记录数据为记录数据产生的过程  AOF的主要作用是解决了数据持久的实时性,目前已经是Redis持久的主流方式 AOF写数据过程 image.png AOF写数据三种策略 AOF重写作用  降低磁盘占用量,提高磁盘利用率  提高持久效率,降低持久写时间,提高IO性能  降低数据恢复用时,提高数据恢复效率 AOF重写规则  进程内已超时的数据不再写入文件

    89300发布于 2019-12-07
  • 来自专栏java 挖矿之路

    rabiitMq 持久

    其中,RabblitMQ的持久化分为三个部分: 交换器(Exchange)的持久 队列(Queue)的持久 消息(Message)的持久 2. durable:设置是否持久。durable设置为true表示持久,反之是非持久持久可以将交换器存盘,在服务器重启的时候不会丢失相关信息。 durable:设置是否持久。为true则设置队列为持久持久的队列会存盘,在服务器重启的时候可以保证不丢失相关信息。 答案是设置消息的投递模式为2,即代表持久。 3)单单只设置队列持久,重启之后消息会丢失;单单只设置消息的持久,重启之后队列消失,继而消息也丢失。单单设置消息持久而不设置队列的持久显得毫无意义。

    1.1K20发布于 2021-02-24
  • 来自专栏云同步

    Redis 持久

            持久就是把内存的数据写到磁盘中,防止服务宕机导致内存数据丢失。         Redis支持两种方式的持久,一种是RDB的方式,一种是AOF的方式。 RDB 是什么         Redis 会单独创建一个子进程(fork)来进行持久,先将数据写入到一个临时文件中,待持久过程完成后,再将这个临时文件内容覆盖到 dump.rdb Fork Fork rdbchecksum:完整性的检查,即数据是否完整性、准确性 save 表示写操作的次数 格式:save 秒 写操作次数 优点 Redis 加载 RDB 恢复数据远远快于 AOF 的方式 使用单独子进程来进行持久 ,主进程不会进行任何 IO 操作,保证了 Redis 的高性能 缺点 RDB方式数据无法做到实时持久。 singleDoc# 《Redis 持久

    28410编辑于 2025-08-01
  • 来自专栏Andromeda的专栏

    Redis 持久

    Redis 提供了两种持久方式,即 RDB(Redis Database)和 AOF(Append-Only File)。 RDB RDB 持久是 Redis 的默认持久方式。 优点:RDB 持久对性能影响较小,生成的 RDB 文件紧凑且易于备份和恢复。 缺点:RDB 持久会将数据保存到一个快照文件中,因此在发生故障时可能会丢失最后一次快照之后的数据。 触发机制:管理员可以根据配置文件设置 AOF 持久的触发方式,例如每次写操作、每秒同步等。 优点:AOF 持久提供了更高的数据安全性,因为可以通过重放 AOF 日志来恢复数据。 缺点:相比 RDB 持久,AOF 持久文件更大,恢复速度可能较慢,对于大的写操作负载可能会影响性能。 AOF 的实现 AOF 文件是一个文本文件,其中包含了 Redis 接收到的每个写操作的命令。 因此,在涉及到数据持久性和一致性的场景中,可以根据需求选择合适的同步或异步写模式,以平衡性能和数据可靠性的需求。 混合持久 可以同时使用 RDB 和 AOF 来进行持久

    68010编辑于 2024-01-13
  • 来自专栏chenchenchen

    redis持久

    2.效率比rdb低 持久套路 一般我们在生产上采用的持久策略为 (1)master关闭持久 (2)slave开RDB即可,必要的时候AOF和RDB都开启 该策略能够适应绝大部分场景,绝大部分集群架构 为什么这么做 (1)master关闭持久 原因很简单,因为无论哪种持久方式都会影响redis的性能,哪一种持久都会造成CPU卡顿,影响对客户端请求的处理。 RDB持久 RDB持久是将当前进程中的数据生成快照保存到硬盘(因此也称作快照持久),保存的文件后缀是rdb;当Redis重新启动时,可以读取快照文件恢复数据。 AOF持久 RDB持久是将进程数据写入文件,而AOF持久(即Append Only File持久),则是将Redis执行的每次写命令记录到单独的日志文件中。 ps:scp是secure copy的简写,用于在Linux下进行远程拷贝文件的命令,和它类似的命令有cp,不过cp只是在本机进行拷贝不能跨服务器,而且scp传输是加密的。

    74510编辑于 2023-01-30
  • 来自专栏会跳舞的机器人

    Redis持久

    一、Redis的持久 Redis 提供了不同级别的持久方式: RDB持久方式能够在指定的时间间隔能对你的数据进行快照存储. RDB是一个紧凑的单一文件,很方便传送到另一个远端数据中心或者亚马逊的S3(可能加密),非常适用于灾难恢复. 三、如何选择使用哪种持久方式? 一般来说, 如果想达到足以媲美 PostgreSQL 的数据安全性, 你应该同时使用两种持久功能。 从 1.1 版本开始, Redis 增加了一种完全耐久的持久方式: AOF 持久。 当 Redis 启动时, 如果 RDB 持久和 AOF 持久都被打开了, 那么程序会优先使用 AOF 文件来恢复数据集, 因为 AOF 文件所保存的数据通常是最完整的。

    1.2K20发布于 2018-09-21
领券