- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器学习/数据可视化
Spark笔记7-RDD持久化和分区
持久化 有时候需要访问同一组值，不做持久化，会重复生成，计算机代价和开销很大。 持久化作用： 通过缓存机制避免重复计算的开销 通过使用persist()方法对一个RDD标记为持久化，仅仅是标记 只有等到第一个行动操作才会发生真生的持久化操作，触发真正的计算操作，才会把计算结果进行持久化 持久化后的RDD将会被保留在计算机节点的内存中，被后面的行动操作重复使用。 persist()方法 该方法的作用是将一个RDD标记为持久化，并不是真正的持久化操作，行动操作才是真正的持久化，主要的参数是： memory_only 将反序列化的对象存在JVM中，如果内存不足将会按照先进先出的原则 本地模式）：默认为本地机器的CPU数目 Standalone 模式：集群中所有的CPU数目和2之间比较取较大值 yarn模式：集群中所有的CPU数目和2之间比较取较大值 mesos模式：Apache，默认是8
94710发布于 2021-03-02 - 来自专栏golang云原生new
k8s 持久化存储
我们继续来查看 k8s 的卷，上一次我们分享了将磁盘挂载到容器中，empyDir 和 gitRepo 都是会随着 pod 的启动而创建，随着 pod 的删除而销毁 那么我们或许会有这样的需求，期望在 若节点上的副本发生异常，那么会马上在当前节点立刻创建一个 新的 pod ，因此，新的 pod ，自然就能够正常的访问到 上一个 pod 留下来的数据了，自然就可以接着上一个 pod 的运行状态运行下去了 持久化存储 61ed74f43c34bef84d2f5a4c"), "name" : "xiaomotong888" } 第二步： 通过上图已经证实了我们上述的想法，这是符合预期的，哪怕 pod 被删除后重建，持久化存储的磁盘中仍然有 pod 实例中持久化的数据 另外一个持久化存储卷 还记得之前我们列的一堆卷类型，emptyDir，gitRepo，hostPath 都说了，现在就差 NFS 卷了 NFS 卷 NFS 卷是啥呢？ 这个用起来就没有那么多幺蛾子，数据挂载了别的地方，这些数据都是持久化的，跟 pod 的启动，删除，就没有什么关系了
57640编辑于 2023-09-01 - 来自专栏崔哥的专栏
k8s 持久化存储
为什么需要持久化存储： 1、使得使用资源的pod的生命周期与存储卷的生命周期分开 2、使得使用资源的pod在被重启后仍然能够使用之前的存储卷 3、使得使用资源的pod在被调度到其它节点后仍然能够使用之前的存储卷 Host类型volume 测试用 - 仅适用于单节点k8s apiVersion: apps/v1 kind: Deployment metadata: name: nginx-deployment name: www-storage persistentVolumeClaim: claimName: www-pvc StorageClass 详见 k8s
48710编辑于 2022-05-25 - 来自专栏小手冰凉
K8s——数据持久化
数据的持久化一直都是需要我们非常关心的问题，docker如此，K8s也不例外。在k8s中，有一个数据卷的概念。 说白了，emptyDir的数据持久化的生命周期和使用的pod一致。一般是作为临时存储使用。 这种数据持久化的方式，使用场景不多，因为它增加了pod与节点之间的耦合。 集群本身的数据持久化和docker本身的数据持久化会使用这种方式。 nfs本地目录下的数据，但是，一旦这个PVC被删除，那么本地的数据就会随着PVC的销毁而不复存在，也就是说，采用PV这种数据卷来实现数据的持久化，它这个数据持久化的生命周期是和PVC的生命周期是一致的。
2.5K30发布于 2020-09-11 - 来自专栏公众号：Lucifer三思而后行
MySQL 8 新特性：全局参数持久化！
本文主要讨论下 MySQL 8.0 版本的新特性：全局参数持久化 文末送书 ???? 活动 《MySQL 8 查询性能优化》，走过路过，不要错过！ 全局参数持久化 MySQL 8.0 版本支持在线修改全局参数并持久化，通过加上 PERSIST 关键字，可以将修改的参数持久化到新的配置文件（mysqld-auto.cnf）中，重启 MySQL 时，可以从该配置文件获取到最新的配置参数 ----------+----------------+ 1 row in set (0.00 sec) 系统会在数据目录下生成一个包含 json 格式的 mysqld-auto.cnf 的文件，格式化后如下所示 max_connections | 151 | +-----------------+----------------+ 1 row in set (0.00 sec) 如果想要移除所有的全局持久化参数
1.5K30发布于 2021-09-26 - 来自专栏EffectiveCoding
Redis 持久化之AOF持久化&混合持久化
上一篇提到了Redis的RDB持久化方式，同时也提到了一点关于AOF的内容。 RDB（snapshotting） 是一种内存快照的方式进行持久化，AOF（append-only-file）是通过追加写入命令的方式进行持久化，混合持久化是指RDB和AOF协同完成持久化工作来发挥各自有点的持久化方式 协议格式来保存命令内容的，有兴趣可以看一下： https://redis.io/topics/protocol 很显然，如果命令操作量非常大的时候，与RDB不同，AOF因为是追加命令，所以很大概率上AOF持久化文件会越来越大 混合持久化： 混合持久化是Redis 4.X之后的一个新特性，说是新特性其实更像是一种RDB&AOF的结合，持久化文件变成了RDB + AOF，首先由RDB定期完成内存快照的备份，然后再由AOF完成两次 在大多数场景下RDB + AOF的混合持久化模式其实还是很合适的。
1.9K20发布于 2019-07-31 - 来自专栏爱可生开源社区
技术译文 | MySQL 8 持久化系统变量
作者：Arunjith Aravindan 翻译：管长龙 本文来源：https://www.percona.com/blog/2020/10/27/using-mysql-8-persisted-system-variables / ---- MySQL 8 之前，使用的动态变量不是永久性的，并且在重启后会重置。 可在运行时使用 SET 语句更改这些变量，以影响当前实例的操作，但是我们必须手动更新 my.cnf 配置文件以使其持久化。 持久化系统变量是 MySQL 8 中引入的功能之一。新功能可帮助 DBA 动态更新变量并注册它们，而无需从服务器端访问配置文件。 如何持久化全局系统变量？ 是的，persisted_globals_load 参数用于启用或禁用持久化的系统变量。禁用后，服务器启动顺序将忽略 mysqld-auto.cnf 文件。
1.2K20发布于 2020-11-30 - 来自专栏AustinDatabases
MYSQL 8 统计信息持久化 与 null
在任何数据库中统计信息是帮助数据库查询中走更适合的查询路径的基础，MYSQL 8 中持久化的统计信息怎么做，怎么能持久化后提高执行计划的稳定性。 所以上面的截图就是一个类似细微调整的参数 stats_persistent = 1 是要持久化性能计数器 stats_auto_recale 是控制这个表到底要不要进行自动的性能分析，例如有人ORACLE
97020发布于 2020-06-01 - 来自专栏Netkiller
Linux磁盘分区加密
Linux磁盘分区加密 Procedure 12.1. cryptsetup - configures encrypted block devices 安装 cryptsetup # apt-get install 创建加密分区 # cryptsetup --verbose --verify-passphrase -c aes-cbc-plain luksFormat /dev/sdb1 WARNING! (Type uppercase yes): YES (输入大写的YES来确定创建加密分区) Enter LUKS passphrase: (输入密码) Verify passphrase: (确认密码 如下命令将显示/dev/mapper路径中的隐藏设备 # ls -l /dev/mapper 格式化加密分区 现在将该分区格式化为ext3文件系统. . # mkdir /mnt/secret # mount /dev/mapper/sdb1 /mnt/secret 使用加密分区 好了,现在你可以使用你的加密分区了. cd /mnt/secret
6.8K40发布于 2018-03-05 - 来自专栏小手冰凉
K8s——MySQL实现数据持久化
1、搭建nfs存储 [root@docker-k8s01 ~]# yum -y install nfs-utils [root@docker-k8s01 ~]# mkdir /nfsdata/mysql -p [root@docker-k8s01 ~]# cat /etc/exports /nfsdata *(rw,sync,no_root_squash) [root@docker-k8s01 ~]# systemctl restart nfs-server [root@docker-k8s01 ~]# systemctl enable rpcbind [root@docker-k8s01 ~]# mysql-persistent-storage mountPath: /var/lib/mysql //MySQL容器的数据都是存在这个目录的，要对这个目录做数据持久化 ; +------+ | id | +------+ | 1234 | +------+ 1 row in set (0.01 sec) 证明:当使用PV来做数据持久化的话，容器的新陈代谢并不会造成丢失数据的
2.2K21发布于 2020-09-11 - 来自专栏EffectiveCoding
Redis 持久化之RDB持久化
Redis 相对于其他NoSQL 内存数据库而言，除了更富的数据结构和速度快之外，Redis 的丰富的持久化方案也就一个很显著的优势，Redis 支持RDB、AOF、混合持久化三种模式。 RDB（snapshotting） 是一种内存快照的方式进行持久化，AOF（append-only-file）是通过追加写入命令的方式进行持久化，混合持久化是指RDB和AOF协同完成持久化工作来发挥各自有点的持久化方式 RDB 持久化有自动触发、手动触发两种方式。 自动触发 具体可以看一下redis.conf 中的配置项及对应注释来了解这一部分内容，翻一下注释就很明了了： 当达到如下条件的时候就出发自动持久化，这种持久化在后台进行的bgsave 先看一下save选项 恢复： 数据恢复的过程，整个Redis 都是被阻塞在那里的，一直到持久化完成才正常工作。具体恢复步骤就是把文件移到刚才dir指定的文件下，然后启动redis 就可以啦。
83520发布于 2019-07-31 - 来自专栏全栈工程师修炼之路
Kali之U盘启动加密与持久化存储制作流程
Step6.安装PE启动后我们进行拆分分区UEFI 引导区域不要动，按照下图所示进行分区即可(为了方便Kail系统识别这里先将做数据持久化的分区格式化为ext4文件系统): WeiyiGeek.拆分分区 configfile /BOOT/GRUB/MENU.LST WeiyiGeek.KAIL.LIST Step9.在电脑上测试做好的启动盘（或者可以采用老毛桃的模拟启动）,注意首次进入Kail-Live等继续完成磁盘加密以及持久化配置后使用菜单 U盘我们持久化数据存区并且设置U盘持久化存储： kali@kali:~/Desktop# sudo fdisk -l #查看磁盘以及分区信息 kali@kali:~/Desktop# sudo cryptsetup Step13.放置一个文件测试Kail U盘的持久化之后再次重启发现该文件仍然存在即可，以后安装软件都会保留在我们的持久化数据盘上; WeiyiGeek.Kali ---- 0x02 入坑解决 所遇问题 sudo locale -a #2.进入图形化界面之后，（空格是选择，Tab是切换，*是选中），选中en_US.UTF-8和zh_CN.UTF-8， sudo dpkg-reconfigure locales
3.1K20编辑于 2022-09-29 - 来自专栏网络技术联盟站
如何在 Linux 上加密分区？
，你需要准备一个用于加密的分区。 步骤5：格式化加密分区一旦你打开了加密设备并将其映射到设备节点，你可以像格式化普通分区一样格式化加密分区。 步骤6：挂载加密分区在格式化加密分区后，你需要将其挂载到文件系统中以便访问其中的文件。首先，创建一个目录作为挂载点。 步骤7：卸载和关闭加密分区当你完成对加密分区的操作后，需要卸载和关闭它。首先，卸载挂载的加密分区。sudo umount /mnt/encrypted_partition然后，关闭加密设备。 sudo cryptsetup luksClose encrypted_partition步骤8：使用加密分区在你的系统重新启动后，你可以再次打开并挂载加密分区以访问其中的文件。
1.3K00编辑于 2023-06-19 - 来自专栏运维开发故事
【K8S专栏】Kubernetes数据持久化管理
---- Kubernetes为了能更好的支持有状态应用的数据存储问题，除了基本的HostPath和EmptyDir提供的数据持久化方案之外，还提供了PV，PVC和StorageClass资源对象来对存储进行管理 PV的全称是Persistent Volume（持久化卷），是对底层数据存储的抽象，PV由管理员创建、维护以及配置，它和底层的数据存储实现方法有关，比如Ceph，NFS，ClusterFS等，都是通过插件机制完成和共享存储对接 PVC的全称是Persistent Volume Claim（持久化卷声明），我们可以将PV比喻为接口，里面封装了我们底层的数据存储，PVC就是调用接口实现数据存储操作，PVC消耗的是PV的资源。 （3）、persistentVolumeReclaimPolicy：回收策略，也就是释放持久化卷时的策略，其有以下几种： Retain：保留数据，如果要清理需要手动清理数据，默认的策略； Delete： 总结 在Kubernetes中，虽然我们建议使用无状态应用，但是对于有些特殊应用，数据持久化还是必不可少的。
1.5K20编辑于 2022-09-15 - 来自专栏全栈工程师修炼之路
Kali之U盘启动加密与持久化存储制作流程
Step6.安装PE启动后我们进行拆分分区UEFI 引导区域不要动，按照下图所示进行分区即可(为了方便Kail系统识别这里先将做数据持久化的分区格式化为ext4文件系统): ? Step9.在电脑上测试做好的启动盘（或者可以采用老毛桃的模拟启动）,注意首次进入Kail-Live等继续完成磁盘加密以及持久化配置后使用菜单2Kali-Encrypted-Persistence即可使用 Step11.采用cryptsetup进行加密U盘我们持久化数据存区并且设置U盘持久化存储： kali@kali:~/Desktop# sudo fdisk -l #查看磁盘以及分区信息 kali@kali Step13.放置一个文件测试Kail U盘的持久化之后再次重启发现该文件仍然存在即可，以后安装软件都会保留在我们的持久化数据盘上; ? locale -a #2.进入图形化界面之后，（空格是选择，Tab是切换，*是选中），选中en_US.UTF-8和zh_CN.UTF-8， sudo dpkg-reconfigure locales
4.2K20发布于 2020-10-12 - 来自专栏散尽浮华
K8S持久化存储PV、PVC笔记
Kubernetes 使用Persistent Volume和Persistent Volume Claim 两种API资源来管理存储。
1.1K10发布于 2021-03-11 - 来自专栏陈琛的Redis文章
Docker系列——8.docker的volume持久化操作
引入持久化volume 之前我们都说过，容器间是独立存储的，并且容器内部的修改是没有被持久化的。 这就要引入今天要讲的持久化volume。 怎么玩volume 我们先以守护进程的方式启动一个进程，然后将里面的某个虚拟地址映射到本机的某个实际地址，具体命令如下。 ?
42810发布于 2020-06-12 - 来自专栏不温卜火
Spark Core快速入门系列(8) | RDD 的持久化
RDD 数据的持久化 每个 job 都会重新进行计算, 在有些情况下是没有必要, 如何解决这个问题呢? Spark 一个重要能力就是可以持久化数据集在内存中. 当我们持久化一个 RDD 时, 每个节点都会存储他在内存中计算的那些分区, 然后在其他的 action 中可以重用这些数据. 这个特性会让将来的 action 计算起来更快(通常块 10 倍). 可以使用方法persist()或者cache()来持久化一个 RDD. 在第一个 action 会计算这个 RDD, 然后把结果的存储到他的节点的内存中. RDD 的各个 Partition 是相对独立的, 因此只需要计算丢失的部分即可, 并不需要重算全部 Partition 另外, 允许我们对持久化的 RDD 使用不同的存储级别. 有一点需要说明的是, 即使我们不手动设置持久化, Spark 也会自动的对一些 shuffle 操作的中间数据做持久化操作(比如: reduceByKey).
47410发布于 2020-10-28 - 来自专栏我的小碗汤
8 个用于 Kubernetes 持久化存储的 CNCF 项目
在容器化方面，数据的持久化存储是个难题。临时容器是一个短暂的计算环境，其中代码不会永远存储。但是您仍然需要将数据存储在某个物理磁盘上！ CNCF 拥有广泛的与 Kubernetes 集成的持久数据存储工具，以帮助管理使用持久存储卷的管理任务。下面，我们将回顾 CNCF 托管的其中一些工具。 Rook 是 Kubernetes 的开源云原生存储实用程序，旨在自动化存储管理员的一些任务，例如程序化存储、迁移、灾难恢复、监控和资源管理。Rook 支持文件、块和对象存储类型。 K8up 可通过 Helm Chart 方便地分发，易于为特定的云原生备份用例部署和定制。K8up 可用于自动备份任何标记为ReadWriteMany或带有自定义标签的持久卷声明 (PVC)。 借助 OpenEBS，开发人员可以使用熟悉的 K8s 命令和 API 来控制特定容器的工作负载存储。存储软件本身由 Kubernetes 容器化和编排。该项目将此设置称为容器附加存储 (CAS)。
2.1K10编辑于 2023-03-19 - 来自专栏小手冰凉
K8s——数据持久化自动创建PV
实现k8s的数据持久化的流程为：搭建nfs底层存储---->创建PV---->创建PVC---->创建pod。最终pod中的container实现数据的持久化。 就算不考虑这个问题，我们每次手动去创建PV也就比较麻烦的事情，这时，我们就需要一个自动化的工具来替我们创建PV。 1、搭建nfs服务 [root@docker-k8s01 ~]# yum -y install nfs-utils [root@docker-k8s01 ~]# mkdir /nfsdata [root @docker-k8s01 ~]# cat /etc/exports /nfsdata *(rw,sync,no_root_squash) [root@docker-k8s01 ~]# systemctl enable rpcbind [root@docker-k8s01 ~]# showmount -e Export list for docker-k8s01: /nfsdata * 2、创建rbac
2.7K20发布于 2020-09-11
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号