最近在研究如何实现Database as a Service,给有状态的应用提供云原生持久化存储方案是最重要的因素,来自CNCF的孵化项目Rook就映入眼帘了。 翻译过来概况下 Rook是一个开源的云原生存储编排系统,提供平台、框架和支持,提供了一套多样化的存储解决方案,可以与云原生环境进行天然集成。 Rook利用云原生容器管理、调度和调度平台提供的设施,将存储软件转化为自我管理、自我扩展和自我修复的存储服务,实现自动化部署、启动、配置、扩容、升级、迁移、灾难恢复、监控和资源管理。 因此,Rook解决的问题是: 快速部署一套云原生存储集群; 平台化管理云原生存储集群,包括存储的扩容、升级、监控、灾难恢复等全生命周期管理; 本身基于云原生容器管理(如Kubernetes),管理方便。 以前苦于没有部署云原生存储系统,一直没法实践这些特性,这次得益于Rook的便捷性,赶紧来尝鲜下。
Block Devices(块存储) 图片 在 Rook 中,块存储有两种存储类型:副本存储和纠删码存储。 「纠删码存储:」 是一种基于纠删码的存储方式,其中数据被编码为多个数据块,并在不同的节点上存储这些数据块的编码片段。在纠删码存储中,数据被编码为多个数据块,并根据指定的参数对这些数据块进行编码。 纠删码存储通常需要更少的存储空间和更低的存储成本,因为它只需要存储数据的冗余分片而不是完整的副本。 这将释放 Rook 块存储占用的存储空间。 存储类指定了用于存储数据的存储类型和属性。删除存储类将确保不再创建新的 Rook 存储卷。 需要注意的是,这4个命令需要按照指定的顺序执行,以确保完全卸载 Rook 块存储。
1f4f0f5f0c604cca28ad955db0b19c04f93026468448ca98f43f4eeaa69b4186/diff:/var/lib/docker/overlay2/47f840069670e495b72b41d3aba5e0ed52346af2da30c4b9accc0b9866d9e3f9 local/apache2", "HTTPD_VERSION=2.4.52", "HTTPD_SHA256=0127f7dc497e9983e9c51474bed75e45607f2f870a7675a86dc90af6d572f5c9 "Aliases": null, "NetworkID": "49542796523d70c8ccea7b297c45542ee4b5f30be2d9e1420cdf9ea57c5864fe local/apache2/htdocs -v /other/tools/ busybox 3aab455cee0bccd7776ed43bee1d083a4fb61275e7cfd8b63a3e0de9a9b6b9c52 docker run --name test04 -td -p 86:80 --volumes-from test03 busyboxcfde4db1ff755695a7b2f4c10e863c9fdf8e9a0f7f4a132d2fdd2fb0e4c497f82
云原生存储作为一种存储系统,可靠性、性能、高可用等特点都是必不可少的。除此之外,云原生环境对存储系统提出了更高的要求。 面对诸多挑战云原生存储应具备哪些特点呢? 云原生生态 云原生存储还需要能够很好地和其他云原生基础设施配合,例如云原生数据库,使得云原生数据库可以真正的在公有云和私有云都能够得到一致的用户体验。 同时,云原生存储应该很好地和云原生的运维生态系统结合,包括监控、报警、日志处理等待。 市场上的云原生存储方案 为了更好的理解在云环境中如何构建云原生存储,先看几个在Kubernetes企业环境中部署主流的云原生存储方案。 事实上,云原生存储遇到的性能、弹性、高可用、加密、隔离、可观测性、生命周期等方面的问题,不但需要存储产品层次的改进,更需要在云原生的控制/数据平面的改进,以推进云原生存储的演进,而这正是新老存储厂商有待优化和提供的服务空间
为什么容器技术如此火热 云原生时代,容器凭借其易移植、云上云下自由运行、自由迁移的特点,得到了众多企业的青睐。 由于NAS存储数据全局共享,漂移场景不需要拷贝数据,恢复时长降低至分钟级别,可用性提升10倍以上。NAS存储有利于构建共享资源池,提高存储利用率,整体TCO相比本地盘方案低30%。 SAN存储上的数据无法在上千台计算集群中共享,因此不是容器存储的最佳选择。 三大组件,并同广泛的容器生态伙伴合作,已完成与Kubernetes、Openshift、VMware Tanzu、Rancher、CCE敏捷版、FusionCompute、FusionStage、道客云、 灵雀云等业内主流的容器管理平台的对接,帮助客户实现容器的快速部署和稳定运行。
OrioleDB – 构建现代云原生存储引擎 OrioleDB是PG的一个新存储引擎,为世界上最受欢迎的数据库平台带来一种现代化数据库容量、功能和性能方法。 通过扩展和增强当前的表访问方法,OrioleDB为未来更强大的存储模型打开了大门,这些模型对云和现代硬件架构进行了优化。目前是标准的PG许可。 1)专为现代硬件而设计。 OrioleDB的设计针对数十个和上百CPU内核现代服务器,避免CPU瓶颈,提供了针对现代存储技术,例如SSD和NVM,的使用方法。 2)减少维护需求。 OrioleDB内存中page直接连接到存储层的页。消除了对缓冲区映射及相关瓶颈。此外,内存中页面读取不涉及原子操作。这些设计决策共同将PG的垂直扩展性提升到了一个全新的水平。 旧版本的元组不会导致主存储系统膨胀,而是将其放逐到undo链的undo日志中。页级别的undo记录允许系统很方便地尽快回收已删除元组占用的空间。
什么是云原生? “云原生”是一个被人们经常使用但不是定义很清楚的一个术语。我们认为“云原生应用”应有以下特点: 1. 通过明确定义云原生的含义,我们可以更好地定义各种云原生技术组件的职责划分。这些云原生应用组件的实例包括调度软件、网络软件以及存储软件。 是什么让Portworx与众不同? • 支持适用于跨数据中心跨云的存储集群云原生架构(私有或公有云)。 2. 自动调整: Portworx根据每个服务器的配置参数自动调优最佳数据放置和分层算法。 Lighthouse云监控管理: 您的数据可以保存在您的云中,也可以存储在本地环境,都可以通过Portworx的Lighthouse云监控服务和直观的用户界面来管理。 4. 云原生扩展,包括: •自动快照和备份到S3 •数据反馈,云中的虚拟卷可以访问来自不同云或数据中心的数据 •CoS与不同EBS卷类型配对 •Restful APIs可用于查询命名空间的修改情况——避免了在元数据管理中进行昂贵的命名空间操作
如何更好地利用云原生技术,帮助银行实现敏捷、轻量、快速、高效地进行开发、测试、交付和运维一体化,从而重构业务,推动金融科技的发展,是个长期课题。 本期金融云原生漫谈,将和您一起探寻如何打造更适合云原生的数据存储方案。 近年来,金融服务形态经历了巨大的变化。线上业务的兴起,带来了海量的数据接入和业务的不确定性。 同时,存储系统自身的自动化运维能力,也成为IT建设者关注的焦点…… 那么,云原生时代,我们需要什么样的数据存储方案? 针对底层的IT基础架构,和数据存储环境挑战,金融IT建设者们真实发问: 容器云数据持久化存储方案怎么选? 容器云的数据资源如何分配? 如何提升容器云平台的数据一致性? 通过上述改造,将传统的单体应用解耦,使与事务无关的业务逻辑并行运行,结合消息队列 / 服务网格、关系型数据库等,针对不同业务需求,可以分别实现数据的最终一致性和强一致性,打造更适合云原生的数据存储方案。
作者 | 阚俊宝 阿里云技术专家 导读:云原生存储详解系列文章将从云原生存储服务的概念、特点、需求、原理、使用及案例等方面,和大家一起探讨云原生存储技术新的机遇与挑战。 相关文章推荐: 云原生存储详解:云原生应用的基石 云原生存储详解:容器存储与 K8s 存储卷 云原生存储的两个关键领域:Docker 存储卷、K8s 存储卷; Docker 存储卷:容器服务在单节点的存储组织形式 /region: cn-shenzhen failure-domain.beta.kubernetes.io/zone: cn-shenzhen-e name: d-wz9g2j5qbo37r2lamkg4spec storage: 30Gi flexVolume: driver: alicloud/disk fsType: ext4 options: VolumeId: d-wz9g2j5qbo37r2lamkg4 在多可用区集群环境中,更推荐使用延迟绑定的动态卷方案,目前阿里云 ACK 集群已经支持上述配置方案。 3.
北京时间11月5日消息,云存储服务提供商Dropbox宣布与微软达成协议,将对后者旗下的桌面、移动及网页版Office套件提供原生的云服务支持。 外界猜测,Dropbox将与微软自家的云服务OneDrive同时存在,用户在使用时可任选其一,并能直接打开和编辑存于该服务下的文档文件。 目前,Dropbox拥有3亿以上的个人用户(70%非美国本土)和400万企业用户,其服务平台存储的Office文档高达350亿份。
Rook 是一个开源 cloud-native storage orchestrator(云原生存储编排器),为各种存储解决方案提供平台、框架和支持,以与云原生环境进行原生集成。 Rook 将存储软件转变为自我管理(self-managing)、自我扩展(self-scaling)和自我修复(self-healing)的存储服务。 Rook 使用底层云原生容器管理、调度和编排平台提供的设施来执行其职责。 Rook 利用扩展点深度集成到云原生环境中,并为调度、生命周期管理、资源管理、安全、监控和用户体验提供无缝体验。 这很重要,因为它表明 Rook 已成功扩展 Kubernetes,使 Cassandra 集群成为 Kubernetes 云原生环境中的一等公民。 Storage 有关 Rook 公开的三种存储类型的演练,请参阅以下指南: Block:创建要由 Pod 使用的块(block)存储 Object:创建可在 Kubernetes 集群内部或外部访问的对象存储
图片网络和存储原理前言博主语录:一文精讲一个知识点,多了你记不住,一句废话都没有经典语录:勇者愤怒,抽刃向更强者;怯者愤怒,却抽刃向更弱者 图片 **文末惊喜** 一、Docker存储1、镜像如何存 /merged", "UpperDir": (镜像的上层可以感知变化)"/var/lib/docker/overlay2/41e4fa41a2ad1dca9616d4c8254a04c4d9d6a3d462c862f1e9a0562de2384dbc 一定不再】 "WorkDir": "/var/lib/docker/overlay2/41e4fa41a2ad1dca9616d4c8254a04c4d9d6a3d462c862f1e9a0562de2384dbc 在容器中添加新数据或修改现有数据的所有写操作都存储在此可写层中。 删除容器后,可写层也会被删除。 基础图像保持不变。 卷是在Docker中持久存储数据的最佳方法。 Bind mounts(绑定挂载) :可以在任何地方 存储在主机系统上。 它们甚至可能是重要的系统文件或目录。
CurveBS 的核心应用场景主要包括: 虚拟机/容器的性能型、混合型、容量型云盘或持久化卷,以及物理机的远程存储盘 高性能存算分离架构:基于RDMA+SPDK的高性能低时延架构,支撑MySQL、kafka 等各类数据库、中间件的存算分离部署架构,提升实例交付效率和资源利用率 CurveFS 的核心应用场景主要包括: AI训练(含机器学习等)场景下的高性价比存储 大数据场景下的冷热数据自动化分层存储 公有云上高性价比的共享文件存储 :可用于AI、大数据、文件共享等业务场景 混合云存储:热数据存储在本地IDC,冷数据存储在公有云 图片 使用 CurveAdm 部署 CurveFS CurveAdm 是 Curve 团队为提高系统易用性而设计的工具 metaserver curve 1/1 f413efeeb5c9 Up 17 minutes 部署 Rainbond Rainbond 是一个云原生应用管理平台,使用简单,不需要懂容器 图片 未来规划 Rainbond 社区未来会使用 Curve 云原生存储作为 Rainbond 底层的共享存储,为用户提供更好、更简单的云原生应用管理平台和云原生存储,共同推进开源社区生态以及给用户提供一体化的解决方案
在腾讯20多年的发展历程中,存储并非像其他技术那样万众瞩目,它更像是盖房子时的“地基”,看不见,却不可或缺。 随着数据量爆炸的时代来临,在网络安全政策越来越完善的情况下,如何对存储的数据进行强有力的内容安全保障,已经受到各界的关注。 而腾讯云对象存储内容安全依托于腾讯优图实验室的识别技术,联合腾讯安全天御内容安全团队推出了全数据内容审核服务。 随着2021“清朗”系列专项行动开展—— 治理网络乱象 净化网络空间,腾讯云对象存储(COS)承担起社会责任,将20多年积累的对抗经验和数据能力用于帮助云用户解决安全难点和痛点,推出“净网行动”,全力净化网络环境 将来我们会不忘初心,牢记使命,为您提供更安全的云服务!
云计算的概念还不算太旧,却已很好地适应于世界各地。现在许多基于云的可用服务,已经开始大规模地流行起来。不少商人和企业家正在使用这些基于云的服务,因为即便他们不在办公室,也可以极其方便地访问信息。 本次总结,笔者分享了可用于云的9个免费工具。这些工具旨在使生活变得更容易。 1. arXshare arXshare是一个安全的、端到端加密的文件存储软件,可以轻松地实现本地托管和安全协作。 Mover 当需要时,要得到你想要的云数据,使用Mover。 ? 5. Otixo 当需要时,要得到你想要的云数据,使用Mover。 ? 6. Cloud Save 在网页右击,直接将其保存到云中,并且支持许多云存储服务。好棒的Chrome笔记本! ? 8. Jolicloud 管理数字化生活的开放式平台。 ? 9. Storage Made Easy Storage Made Easy提供混合云文件服务器的企业文件共享和同步方案(EFSS),具有超过45个公有和私人存储成员。
因此云原生存储的概念也在云原生的基础上应运而生,接下来本文将会逐步梳理云原生存储的概念、工具的选型,最后会选择一个代表性的云原生存储工具来演示如何使用。 作者:郭杨勇 单位:中国移动智慧家庭运营中心 1 云原生存储的概念 云原生存储的概念来源于云原生应用,顾名思义:一个应用为了满足云原生特性的要求,其对存储所要求的特性是云原生存储的特性,而满足这些特性的存储方案 ,可以称其为倾向云原生的存储。 以上满足云原生基本要求的存储方案中,公有云存储、商业化的私有云存储的部署位置和成本的限制,无法完全应用在私有云环境,而基于开源架构自建的云存储,可靠性不高,且维护成本高,还无法完全与云原生集群实现一体化运营 图9 用户除了通过上图9的页面去创建PVC之外,也可以直接在rancher页面的PVC创建页面中选择使用Longhorn作为StorageClass,如下图10所示。
,以便跨广域网进行灾难恢复 .私有云数据中心与公有云平台之前的应用及数据无缝迁移 容器存储的自动化和云原生工作流 在提供企业级容器存储功能外,Portworx云原生存储锁定容器存储的出发点,促进整个容器存储行业 在单一环境中或跨云环境运行 Portworx提供企业级云原生存储解决方案,可用于数据库、大数据和快速数据工作负载以及在容器中运行的机器学习应用程序。 自Portworx 云原生存储解决方案问世以来,在全球2000强企业中备受信赖,其提供的:块、文件和对象存储;数据安全;灾难恢复和数据保护;与 Kubernetes、Openshift、Mesosphere Portworx在生产环境中的投资回报比率高于任何其他针对容器的云原生存储和数据管理解决方案产品,它受到业界许多最复杂的IT组织的信任,包括Comcast、GE Digital、HPE、Lufthansa 彻底解决云厂商绑定问题
Longhorn 云原生容器分布式存储 - 设计架构和概念 Longhorn 云原生容器分布式存储 - 部署篇 Longhorn 云原生容器分布式存储 - 券和节点 Longhorn 云原生容器分布式存储 - K8S 资源配置示例 Longhorn 云原生容器分布式存储 - 监控(Prometheus) Longhorn 云原生容器分布式存储 - 备份与恢复 Longhorn 云原生容器分布式存储 - 高可用 Longhorn 云原生容器分布式存储 - 支持 ReadWriteMany (RWX) 工作负载 Longhorn 云原生容器分布式存储 - 定制部署默认设置 Longhorn云原生容器分布式存储
简介 本文从通用的AWS S3对象存储协议,以及在MinIO中使用 腾讯云对象存储 的场景出发,介绍基于MinIO云原生对象存储的搭建步骤和MinIO客户端的使用示例,以及MinIO SDK使用示例; 轻量应用云服务器的公网IP地址并访问 MinIO控制台 MinIO控制台登陆页面 [MinIO控制台登陆页面] 3.1.5.3 创建存储桶并且上传、下载文件 创建存储桶 [创建存储桶] 填写存储桶名 COS中的数据 上传文件到腾讯云COS存储桶 [上传文件到腾讯云COS存储桶] 前往腾讯云COS控制台查看文件 [腾讯云COS控制台] 下载文件 [下载文件] 4.2 在Linux环境中直接运行minIO 作为密码,登陆MinIO控制台 [MinIO控制台登陆页面] 4.2.5.3 借助MinIO存储网关进行上传下载腾讯云COS中的数据 上传文件到腾讯云COS存储桶 [上传文件到腾讯云COS存储桶] 前往腾讯云 参考资料 腾讯云轻量应用服务器 腾讯云对象存储 MinIO云原生对象存储 使用 MinIO Gateway、MinIO Client 适配腾讯云COS
功能特性 无单点故障的企业级分布式块存储 块存储增量快照 备份到辅助存储(NFS或S3兼容的对象存储)建立在高效的更改块检测之上 定期快照和备份 自动化(Automated)、无中断升级(non-disruptive 使用 Longhorn,您可以: 使用 Longhorn 卷作为 Kubernetes 集群中分布式有状态应用程序的持久存储 将块存储划分为 Longhorn 卷,这样无论是否有云提供商,都可以使用 Kubernetes 使用微服务简化分布式块存储 由于现代云环境需要数万到数百万的分布式块存储卷,一些存储控制器已经成为高度复杂的分布式系统。 相比之下,Longhorn 可以通过将一个大块存储控制器划分为多个较小的存储控制器来简化存储系统,只要这些卷仍然可以从一个公共磁盘池构建。 在不依赖云提供商的情况下在 Kubernetes 中使用持久化存储 Pod 可以直接引用存储,但不推荐这样做,因为它不允许 Pod 或容器是可移植的。