首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏大卫李的技术分享

    Rook带你玩转原生存储

    最近在研究如何实现Database as a Service,给有状态的应用提供原生持久化存储方案是最重要的因素,来自CNCF的孵化项目Rook就映入眼帘了。 翻译过来概况下 Rook是一个开源的原生存储编排系统,提供平台、框架和支持,提供了一套多样化的存储解决方案,可以与原生环境进行天然集成。 Rook利用原生容器管理、调度和调度平台提供的设施,将存储软件转化为自我管理、自我扩展和自我修复的存储服务,实现自动化部署、启动、配置、扩容、升级、迁移、灾难恢复、监控和资源管理。 因此,Rook解决的问题是: 快速部署一套原生存储集群; 平台化管理原生存储集群,包括存储的扩容、升级、监控、灾难恢复等全生命周期管理; 本身基于原生容器管理(如Kubernetes),管理方便。 以前苦于没有部署原生存储系统,一直没法实践这些特性,这次得益于Rook的便捷性,赶紧来尝鲜下。

    4.5K31发布于 2020-05-11
  • 来自专栏监控

    开源原生存储rook:块存储快速入门实战

    Block Devices(块存储) 图片 在 Rook 中,块存储有两种存储类型:副本存储和纠删码存储。 「纠删码存储:」 是一种基于纠删码的存储方式,其中数据被编码为多个数据块,并在不同的节点上存储这些数据块的编码片段。在纠删码存储中,数据被编码为多个数据块,并根据指定的参数对这些数据块进行编码。 纠删码存储通常需要更少的存储空间和更低的存储成本,因为它只需要存储数据的冗余分片而不是完整的副本。 这将释放 Rook 块存储占用的存储空间。 存储类指定了用于存储数据的存储类型和属性。删除存储类将确保不再创建新的 Rook 存储卷。 需要注意的是,这4个命令需要按照指定的顺序执行,以确保完全卸载 Rook 块存储

    2.3K00编辑于 2023-04-06
  • 来自专栏Linux成长之路

    原生之Docker容器的存储管理

    一、检查本地docker环境1.检查宿主机系统版本[root@docker ~]# cat /etc/centos-releaseCentOS Linux release 7.6.1810 (Core) 2.检查docker版本[root@docker ~]# docker -vDocker version 20.10.18, build b40c2f6二、创建一个测试httpd容器1.创建测试目录[root@docker ~]# mkdir -p /data/test[root@docker ~]# cd

    1K71编辑于 2023-01-21
  • 来自专栏科技云报道

    原生时代,存储长什么样?

    原生存储作为一种存储系统,可靠性、性能、高可用等特点都是必不可少的。除此之外,原生环境对存储系统提出了更高的要求。 面对诸多挑战云原生存储应具备哪些特点呢? 原生生态 原生存储还需要能够很好地和其他原生基础设施配合,例如云原生数据库,使得原生数据库可以真正的在公有云和私有都能够得到一致的用户体验。 同时,原生存储应该很好地和原生的运维生态系统结合,包括监控、报警、日志处理等待。 市场上的原生存储方案 为了更好的理解在环境中如何构建原生存储,先看几个在Kubernetes企业环境中部署主流的原生存储方案。 事实上,原生存储遇到的性能、弹性、高可用、加密、隔离、可观测性、生命周期等方面的问题,不但需要存储产品层次的改进,更需要在原生的控制/数据平面的改进,以推进原生存储的演进,而这正是新老存储厂商有待优化和提供的服务空间

    88920编辑于 2022-04-16
  • 来自专栏IT创事记

    拥抱原生,如何选择最佳容器存储

    为什么容器技术如此火热 原生时代,容器凭借其易移植、下自由运行、自由迁移的特点,得到了众多企业的青睐。 由于NAS存储数据全局共享,漂移场景不需要拷贝数据,恢复时长降低至分钟级别,可用性提升10倍以上。NAS存储有利于构建共享资源池,提高存储利用率,整体TCO相比本地盘方案低30%。 SAN存储上的数据无法在上千台计算集群中共享,因此不是容器存储的最佳选择。 三大组件,并同广泛的容器生态伙伴合作,已完成与Kubernetes、Openshift、VMware Tanzu、Rancher、CCE敏捷版、FusionCompute、FusionStage、道客、 灵雀等业内主流的容器管理平台的对接,帮助客户实现容器的快速部署和稳定运行。

    1K30编辑于 2023-02-17
  • 来自专栏PostgreSQL研究与原理解析

    OrioleDB – 构建现代原生存储引擎

    OrioleDB – 构建现代原生存储引擎 OrioleDB是PG的一个新存储引擎,为世界上最受欢迎的数据库平台带来一种现代化数据库容量、功能和性能方法。 通过扩展和增强当前的表访问方法,OrioleDB为未来更强大的存储模型打开了大门,这些模型对云和现代硬件架构进行了优化。目前是标准的PG许可。 1)专为现代硬件而设计。 OrioleDB的设计针对数十个和上百CPU内核现代服务器,避免CPU瓶颈,提供了针对现代存储技术,例如SSD和NVM,的使用方法。 2)减少维护需求。 OrioleDB内存中page直接连接到存储层的页。消除了对缓冲区映射及相关瓶颈。此外,内存中页面读取不涉及原子操作。这些设计决策共同将PG的垂直扩展性提升到了一个全新的水平。 旧版本的元组不会导致主存储系统膨胀,而是将其放逐到undo链的undo日志中。页级别的undo记录允许系统很方便地尽快回收已删除元组占用的空间。

    1K20编辑于 2022-03-29
  • 来自专栏Portworx云原生容器存储

    什么是原生?为什么是Portworx来解决原生存储问题?

    什么是原生? “原生”是一个被人们经常使用但不是定义很清楚的一个术语。我们认为“原生应用”应有以下特点: 1.   通过明确定义原生的含义,我们可以更好地定义各种原生技术组件的职责划分。这些原生应用组件的实例包括调度软件、网络软件以及存储软件。 是什么让Portworx与众不同? • 支持适用于跨数据中心跨存储集群原生架构(私有或公有)。 2. 自动调整: Portworx根据每个服务器的配置参数自动调优最佳数据放置和分层算法。 Lighthouse监控管理: 您的数据可以保存在您的云中,也可以存储在本地环境,都可以通过Portworx的Lighthouse监控服务和直观的用户界面来管理。 4. 原生扩展,包括: •自动快照和备份到S3 •数据反馈,云中的虚拟卷可以访问来自不同或数据中心的数据 •CoS与不同EBS卷类型配对 •Restful APIs可用于查询命名空间的修改情况——避免了在元数据管理中进行昂贵的命名空间操作

    3.5K1980发布于 2019-10-25
  • 来自专栏云原生技术社区

    金融原生漫谈(五)|如何打造更适合原生的数据存储方案?

    如何更好地利用原生技术,帮助银行实现敏捷、轻量、快速、高效地进行开发、测试、交付和运维一体化,从而重构业务,推动金融科技的发展,是个长期课题。 本期金融原生漫谈,将和您一起探寻如何打造更适合原生的数据存储方案。 近年来,金融服务形态经历了巨大的变化。线上业务的兴起,带来了海量的数据接入和业务的不确定性。 同时,存储系统自身的自动化运维能力,也成为IT建设者关注的焦点…… 那么,原生时代,我们需要什么样的数据存储方案? 针对底层的IT基础架构,和数据存储环境挑战,金融IT建设者们真实发问: 容器数据持久化存储方案怎么选? 容器的数据资源如何分配? 如何提升容器平台的数据一致性? 通过上述改造,将传统的单体应用解耦,使与事务无关的业务逻辑并行运行,结合消息队列 / 服务网格、关系型数据库等,针对不同业务需求,可以分别实现数据的最终一致性和强一致性,打造更适合原生的数据存储方案。

    79120编辑于 2022-03-03
  • 来自专栏thinkphp+vue

    原生存储详解:容器存储与 K8s 存储

    作者 | 阚俊宝 阿里技术专家 导读:原生存储详解系列文章将从原生存储服务的概念、特点、需求、原理、使用及案例等方面,和大家一起探讨原生存储技术新的机遇与挑战。 相关文章推荐: 原生存储详解:原生应用的基石 原生存储详解:容器存储与 K8s 存储原生存储的两个关键领域:Docker 存储卷、K8s 存储卷; Docker 存储卷:容器服务在单节点的存储组织形式 4)PV 详细定义 下面为盘数据卷 PV 对象的编排示例: apiVersion: v1kind: PersistentVolumemetadata: labels: failure-domain.beta.kubernetes.io 为一个注册插件的名字,此插件实现了创建 PV 的功能;一个 StorageClass 只能定义一个Provisioner; parameters:表示创建数据卷的具体参数;例如这里表示创建一个 SSD 类型的盘 在多可用区集群环境中,更推荐使用延迟绑定的动态卷方案,目前阿里 ACK 集群已经支持上述配置方案。 3.

    2.3K41发布于 2021-05-18
  • 来自专栏云计算D1net

    Dropbox为微软Office提供原生存储服务

    北京时间11月5日消息,存储服务提供商Dropbox宣布与微软达成协议,将对后者旗下的桌面、移动及网页版Office套件提供原生服务支持。 外界猜测,Dropbox将与微软自家的服务OneDrive同时存在,用户在使用时可任选其一,并能直接打开和编辑存于该服务下的文档文件。 目前,Dropbox拥有3亿以上的个人用户(70%非美国本土)和400万企业用户,其服务平台存储的Office文档高达350亿份。

    2.6K60发布于 2018-03-20
  • 来自专栏黑客下午茶

    快速上手 Rook,入门原生存储编排

    Rook 是一个开源 cloud-native storage orchestrator(原生存储编排器),为各种存储解决方案提供平台、框架和支持,以与原生环境进行原生集成。 Rook 将存储软件转变为自我管理(self-managing)、自我扩展(self-scaling)和自我修复(self-healing)的存储服务。 Rook 使用底层云原生容器管理、调度和编排平台提供的设施来执行其职责。 Rook 利用扩展点深度集成到原生环境中,并为调度、生命周期管理、资源管理、安全、监控和用户体验提供无缝体验。 这很重要,因为它表明 Rook 已成功扩展 Kubernetes,使 Cassandra 集群成为 Kubernetes 原生环境中的一等公民。 Storage 有关 Rook 公开的三种存储类型的演练,请参阅以下指南: Block:创建要由 Pod 使用的块(block)存储 Object:创建可在 Kubernetes 集群内部或外部访问的对象存储

    3.3K20发布于 2021-08-26
  • 来自专栏Lansonli技术博客

    原生 | Docker篇】网络和存储原理(三)

    图片网络和存储原理前言博主语录:一文精讲一个知识点,多了你记不住,一句废话都没有经典语录:勇者愤怒,抽刃向更强者;怯者愤怒,却抽刃向更弱者 图片 **文末惊喜** 一、Docker存储1、镜像如何存 baidu.com截取的nginx的分层图片 nginx这个镜像怎么存的 使用:docker image inspect nginx 图片如图指示了镜像怎么存的LowerDir :底层目录; diw (只是存储不同 在容器中添加新数据或修改现有数据的所有写操作都存储在此可写层中。 删除容器后,可写层也会被删除。 基础图像保持不变。 因为每个容器都有其自己的可写容器层,并且所有更改都存储在该容器层中,所以多个容器可以共享对同一基础映像的访问,但具有自己的数据状态。 下图显示了共享同一Ubuntu 15.04映像的多个容器。 卷是在Docker中持久存储数据的最佳方法。 Bind mounts(绑定挂载) :可以在任何地方 存储在主机系统上。 它们甚至可能是重要的系统文件或目录。

    1.1K101编辑于 2022-06-14
  • 来自专栏Rainbond开源「容器云平台」

    在 Rainbond 上使用 Curve 原生存储

    CurveBS 的核心应用场景主要包括: 虚拟机/容器的性能型、混合型、容量型盘或持久化卷,以及物理机的远程存储盘 高性能存算分离架构:基于RDMA+SPDK的高性能低时延架构,支撑MySQL、kafka 等各类数据库、中间件的存算分离部署架构,提升实例交付效率和资源利用率 CurveFS 的核心应用场景主要包括: AI训练(含机器学习等)场景下的高性价比存储 大数据场景下的冷热数据自动化分层存储 公有上高性价比的共享文件存储 :可用于AI、大数据、文件共享等业务场景 混合存储:热数据存储在本地IDC,冷数据存储在公有 图片 使用 CurveAdm 部署 CurveFS CurveAdm 是 Curve 团队为提高系统易用性而设计的工具 minutes 426ac76e28f9 metaserver curve 1/1 f413efeeb5c9 Up 17 minutes 部署 Rainbond Rainbond 是一个原生应用管理平台 图片 未来规划 Rainbond 社区未来会使用 Curve 原生存储作为 Rainbond 底层的共享存储,为用户提供更好、更简单的原生应用管理平台和原生存储,共同推进开源社区生态以及给用户提供一体化的解决方案

    1.2K30编辑于 2023-03-29
  • 来自专栏腾讯云存储

    用对象存储原生内容安全服务,放心!

    在腾讯20多年的发展历程中,存储并非像其他技术那样万众瞩目,它更像是盖房子时的“地基”,看不见,却不可或缺。 随着数据量爆炸的时代来临,在网络安全政策越来越完善的情况下,如何对存储的数据进行强有力的内容安全保障,已经受到各界的关注。 而腾讯对象存储内容安全依托于腾讯优图实验室的识别技术,联合腾讯安全天御内容安全团队推出了全数据内容审核服务。 随着2021“清朗”系列专项行动开展—— 治理网络乱象 净化网络空间,腾讯对象存储(COS)承担起社会责任,将20多年积累的对抗经验和数据能力用于帮助用户解决安全难点和痛点,推出“净网行动”,全力净化网络环境 将来我们会不忘初心,牢记使命,为您提供更安全的服务!

    5.4K30发布于 2021-06-28
  • 来自专栏边缘计算

    原生存储工具的选型和应用探讨

    因此原生存储的概念也在原生的基础上应运而生,接下来本文将会逐步梳理原生存储的概念、工具的选型,最后会选择一个代表性的原生存储工具来演示如何使用。 作者:郭杨勇 单位:中国移动智慧家庭运营中心 1 原生存储的概念 原生存储的概念来源于原生应用,顾名思义:一个应用为了满足原生特性的要求,其对存储所要求的特性是原生存储的特性,而满足这些特性的存储方案 ,可以称其为倾向原生存储。 商业化私有存储:很多云存储提供商都是在存储技术上深耕多年,具有优异的技术能力和运维能力,目前都已提供了原生的支持。 以上满足原生基本要求的存储方案中,公有存储、商业化的私有存储的部署位置和成本的限制,无法完全应用在私有环境,而基于开源架构自建的存储,可靠性不高,且维护成本高,还无法完全与原生集群实现一体化运营

    1.3K30编辑于 2022-12-18
  • 来自专栏Portworx云原生容器存储

    如何使用Portworx为容器配置原生存储

    ,以便跨广域网进行灾难恢复 .私有数据中心与公有平台之前的应用及数据无缝迁移 容器存储的自动化和原生工作流 在提供企业级容器存储功能外,Portworx原生存储锁定容器存储的出发点,促进整个容器存储行业 在单一环境中或跨环境运行 Portworx提供企业级原生存储解决方案,可用于数据库、大数据和快速数据工作负载以及在容器中运行的机器学习应用程序。 自Portworx 原生存储解决方案问世以来,在全球2000强企业中备受信赖,其提供的:块、文件和对象存储;数据安全;灾难恢复和数据保护;与 Kubernetes、Openshift、Mesosphere Portworx在生产环境中的投资回报比率高于任何其他针对容器的原生存储和数据管理解决方案产品,它受到业界许多最复杂的IT组织的信任,包括Comcast、GE Digital、HPE、Lufthansa 彻底解决厂商绑定问题

    2.5K00发布于 2019-10-23
  • 来自专栏黑客下午茶

    Longhorn 原生容器分布式存储 - Python Client

    Longhorn 原生容器分布式存储 - 设计架构和概念 Longhorn 原生容器分布式存储 - 部署篇 Longhorn 原生容器分布式存储 - 券和节点 Longhorn 原生容器分布式存储 - K8S 资源配置示例 Longhorn 原生容器分布式存储 - 监控(Prometheus) Longhorn 原生容器分布式存储 - 备份与恢复 Longhorn 原生容器分布式存储 - 高可用 Longhorn 原生容器分布式存储 - 支持 ReadWriteMany (RWX) 工作负载 Longhorn 原生容器分布式存储 - 定制部署默认设置 Longhorn原生容器分布式存储

    64220发布于 2021-09-17
  • 来自专栏腾讯云存储专家服务

    【玩转Lighthouse】使用MinIO搭建原生对象存储服务

    简介 本文从通用的AWS S3对象存储协议,以及在MinIO中使用 腾讯对象存储 的场景出发,介绍基于MinIO原生对象存储的搭建步骤和MinIO客户端的使用示例,以及MinIO SDK使用示例; 轻量应用服务器的公网IP地址并访问 MinIO控制台 MinIO控制台登陆页面 [MinIO控制台登陆页面] 3.1.5.3 创建存储桶并且上传、下载文件 创建存储桶 [创建存储桶] 填写存储桶名 COS中的数据 上传文件到腾讯COS存储桶 [上传文件到腾讯COS存储桶] 前往腾讯COS控制台查看文件 [腾讯COS控制台] 下载文件 [下载文件] 4.2 在Linux环境中直接运行minIO 作为密码,登陆MinIO控制台 [MinIO控制台登陆页面] 4.2.5.3 借助MinIO存储网关进行上传下载腾讯COS中的数据 上传文件到腾讯COS存储桶 [上传文件到腾讯COS存储桶] 前往腾讯 参考资料 腾讯轻量应用服务器 腾讯对象存储 MinIO原生对象存储 使用 MinIO Gateway、MinIO Client 适配腾讯COS

    8.4K102编辑于 2022-04-18
  • 来自专栏黑客下午茶

    Longhorn,Kubernetes 原生分布式块存储

    功能特性 无单点故障的企业级分布式块存储存储增量快照 备份到辅助存储(NFS或S3兼容的对象存储)建立在高效的更改块检测之上 定期快照和备份 自动化(Automated)、无中断升级(non-disruptive 使用 Longhorn,您可以: 使用 Longhorn 卷作为 Kubernetes 集群中分布式有状态应用程序的持久存储 将块存储划分为 Longhorn 卷,这样无论是否有提供商,都可以使用 Kubernetes 使用微服务简化分布式块存储 由于现代环境需要数万到数百万的分布式块存储卷,一些存储控制器已经成为高度复杂的分布式系统。 相比之下,Longhorn 可以通过将一个大块存储控制器划分为多个较小的存储控制器来简化存储系统,只要这些卷仍然可以从一个公共磁盘池构建。 在不依赖提供商的情况下在 Kubernetes 中使用持久化存储 Pod 可以直接引用存储,但不推荐这样做,因为它不允许 Pod 或容器是可移植的。

    1.5K40发布于 2021-08-26
  • 原生存储排障:追踪存储孤岛背后的参数适配真相》

    在某互联网公司的混合原生架构迁移中,采用动态PV(持久卷)+PVC(持久卷声明)模式为微服务提供存储资源。 这场持续16小时的存储绑定故障排查,最终指向存储class(存储类)的参数配置与存储插件的兼容性冲突,也暴露了原生存储编排中“配置透明化”与“插件适配”的深层矛盾。 其一,原生存储编排的“隐性耦合”需高度警惕:存储class的参数配置、PVC的绑定模式、Pod的调度规则三者环环相扣,任何一环的“静态配置”都可能与其他环节的“动态需求”冲突,必须建立全局协同的配置思维 在后续的混合扩展中,我们将这一经验应用于跨存储资源管理:通过统一的存储class抽象层屏蔽不同厂商的存储插件差异,同时保留动态可用区、动态存储池等适配多环境的参数模板,使PV/PVC绑定逻辑能自适应公有 、私有的不同存储拓扑。

    23310编辑于 2025-09-08
领券