首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏大卫李的技术分享

    Rook带你玩转原生存储

    最近在研究如何实现Database as a Service,给有状态的应用提供原生持久化存储方案是最重要的因素,来自CNCF的孵化项目Rook就映入眼帘了。 翻译过来概况下 Rook是一个开源的原生存储编排系统,提供平台、框架和支持,提供了一套多样化的存储解决方案,可以与原生环境进行天然集成。 Rook利用原生容器管理、调度和调度平台提供的设施,将存储软件转化为自我管理、自我扩展和自我修复的存储服务,实现自动化部署、启动、配置、扩容、升级、迁移、灾难恢复、监控和资源管理。 因此,Rook解决的问题是: 快速部署一套原生存储集群; 平台化管理原生存储集群,包括存储的扩容、升级、监控、灾难恢复等全生命周期管理; 本身基于原生容器管理(如Kubernetes),管理方便。 以前苦于没有部署原生存储系统,一直没法实践这些特性,这次得益于Rook的便捷性,赶紧来尝鲜下。

    4.5K31发布于 2020-05-11
  • 来自专栏监控

    开源原生存储rook:块存储快速入门实战

    rook-ceph-block provisioner: rook-ceph.rbd.csi.ceph.com parameters:   pool: replicapool   imageFormat: "2" kubernetes.io/rook   2      22h rook-csi-rbd-provisioner            kubernetes.io/rook   2      22h provisioner-secret-name ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM            STORAGECLASS      REASON   AGE pvc-76d69972-2a95 Filesystem              Size  Used Avail Use% Mounted on overlay                 250G  4.9G  246G   2% dev/rbd0               4.9G   24K  4.9G   1% /data # 在这里 /dev/mapper/centos-var  250G  4.9G  246G   2%

    2.3K00编辑于 2023-04-06
  • 来自专栏Linux成长之路

    原生之Docker容器的存储管理

    97d6b86a78f355c15fb43d539fc284b60f464c0ee768d87a8e5cbe62e3a62626-init/diff:/var/lib/docker/overlay2/76281b2c0491c38ccd64dc2c9164c58eefd014a7294117c4962515bf75419681 /var/lib/docker/overlay2/47f840069670e495b72b41d3aba5e0ed52346af2da30c4b9accc0b9866d9e3f9/diff:/var/lib /overlay2/4649e6ac724d477b2fe8db2da934d572eaaaa946a847936794b506edf8b0c87d/diff", "MergedDir ", "EndpointID": "276ea4df3a145005646c1f457c57ad47ab3e367cc6a2c15ce78bc2b0a198b25d docker htdocs]# docker run --name test04 -td -p 86:80 --volumes-from test03 busyboxcfde4db1ff755695a7b2f4c10e863c9fdf8e9a0f7f4a132d2fdd2fb0e4c497f82

    1K71编辑于 2023-01-21
  • 来自专栏科技云报道

    原生时代,存储长什么样?

    原生存储作为一种存储系统,可靠性、性能、高可用等特点都是必不可少的。除此之外,原生环境对存储系统提出了更高的要求。 面对诸多挑战云原生存储应具备哪些特点呢? 原生生态 原生存储还需要能够很好地和其他原生基础设施配合,例如云原生数据库,使得原生数据库可以真正的在公有云和私有都能够得到一致的用户体验。 同时,原生存储应该很好地和原生的运维生态系统结合,包括监控、报警、日志处理等待。 市场上的原生存储方案 为了更好的理解在环境中如何构建原生存储,先看几个在Kubernetes企业环境中部署主流的原生存储方案。 事实上,原生存储遇到的性能、弹性、高可用、加密、隔离、可观测性、生命周期等方面的问题,不但需要存储产品层次的改进,更需要在原生的控制/数据平面的改进,以推进原生存储的演进,而这正是新老存储厂商有待优化和提供的服务空间

    88920编辑于 2022-04-16
  • 来自专栏IT创事记

    拥抱原生,如何选择最佳容器存储

    为什么容器技术如此火热 原生时代,容器凭借其易移植、下自由运行、自由迁移的特点,得到了众多企业的青睐。 当前,企业容器化改造面临四大挑战: 1、高可用能力不足:容器挂死后,保存在本地的数据丢失,数据找回需要耗费大量人力、时间; 2、性能不足:大规模k8s平台,应用多、日志多、并发大,日志存储、日志分析存在性能瓶颈 例如,某大型商业银行使用Ceph+服务器本地盘构建的分布式存储系统,在AI场景实测性能只有2万OPS,而采用华为OceanStor Dorado全闪存NAS存储后,双控性能轻松达成40万OPS,AI分析效率提升 三大组件,并同广泛的容器生态伙伴合作,已完成与Kubernetes、Openshift、VMware Tanzu、Rancher、CCE敏捷版、FusionCompute、FusionStage、道客、 灵雀等业内主流的容器管理平台的对接,帮助客户实现容器的快速部署和稳定运行。

    1K30编辑于 2023-02-17
  • 来自专栏PostgreSQL研究与原理解析

    OrioleDB – 构建现代原生存储引擎

    OrioleDB – 构建现代原生存储引擎 OrioleDB是PG的一个新存储引擎,为世界上最受欢迎的数据库平台带来一种现代化数据库容量、功能和性能方法。 通过扩展和增强当前的表访问方法,OrioleDB为未来更强大的存储模型打开了大门,这些模型对云和现代硬件架构进行了优化。目前是标准的PG许可。 1)专为现代硬件而设计。 OrioleDB的设计针对数十个和上百CPU内核现代服务器,避免CPU瓶颈,提供了针对现代存储技术,例如SSD和NVM,的使用方法。 2)减少维护需求。 OrioleDB内存中page直接连接到存储层的页。消除了对缓冲区映射及相关瓶颈。此外,内存中页面读取不涉及原子操作。这些设计决策共同将PG的垂直扩展性提升到了一个全新的水平。 2)MVCC基于UNDO日志。旧版本的元组不会导致主存储系统膨胀,而是将其放逐到undo链的undo日志中。页级别的undo记录允许系统很方便地尽快回收已删除元组占用的空间。

    1K20编辑于 2022-03-29
  • 来自专栏Portworx云原生容器存储

    什么是原生?为什么是Portworx来解决原生存储问题?

    什么是原生? “原生”是一个被人们经常使用但不是定义很清楚的一个术语。我们认为“原生应用”应有以下特点: 1.   2.   在同一台计算机上不应强制运行其全部软件堆栈。它们可以在任何地方、任何服务器或任何区域内计划运行。它们还应该能够在分布式部署系统中相互感知。 3.   通过明确定义原生的含义,我们可以更好地定义各种原生技术组件的职责划分。这些原生应用组件的实例包括调度软件、网络软件以及存储软件。 是什么让Portworx与众不同? • 支持适用于跨数据中心跨存储集群原生架构(私有或公有)。 2. 自动调整: Portworx根据每个服务器的配置参数自动调优最佳数据放置和分层算法。 原生扩展,包括: •自动快照和备份到S3 •数据反馈,云中的虚拟卷可以访问来自不同或数据中心的数据 •CoS与不同EBS卷类型配对 •Restful APIs可用于查询命名空间的修改情况——避免了在元数据管理中进行昂贵的命名空间操作

    3.5K1980发布于 2019-10-25
  • 来自专栏云原生技术社区

    金融原生漫谈(五)|如何打造更适合原生的数据存储方案?

    如何更好地利用原生技术,帮助银行实现敏捷、轻量、快速、高效地进行开发、测试、交付和运维一体化,从而重构业务,推动金融科技的发展,是个长期课题。 本期金融原生漫谈,将和您一起探寻如何打造更适合原生的数据存储方案。 近年来,金融服务形态经历了巨大的变化。线上业务的兴起,带来了海量的数据接入和业务的不确定性。 同时,存储系统自身的自动化运维能力,也成为IT建设者关注的焦点…… 那么,原生时代,我们需要什么样的数据存储方案? 针对底层的IT基础架构,和数据存储环境挑战,金融IT建设者们真实发问: 容器数据持久化存储方案怎么选? 容器的数据资源如何分配? 如何提升容器平台的数据一致性? 通过上述改造,将传统的单体应用解耦,使与事务无关的业务逻辑并行运行,结合消息队列 / 服务网格、关系型数据库等,针对不同业务需求,可以分别实现数据的最终一致性和强一致性,打造更适合原生的数据存储方案。

    79120编辑于 2022-03-03
  • 来自专栏thinkphp+vue

    原生存储详解:容器存储与 K8s 存储

    作者 | 阚俊宝 阿里技术专家 导读:原生存储详解系列文章将从原生存储服务的概念、特点、需求、原理、使用及案例等方面,和大家一起探讨原生存储技术新的机遇与挑战。 相关文章推荐: 原生存储详解:原生应用的基石 原生存储详解:容器存储与 K8s 存储原生存储的两个关键领域:Docker 存储卷、K8s 存储卷; Docker 存储卷:容器服务在单节点的存储组织形式 所以两个镜像共享了 Layer 3、5 两个镜像层; 容器存储说明: 容器 1:使用镜像 1 启动 容器 2:使用镜像 1 启动 容器 3:使用镜像 2 启动 容器 1 和容器 2 共享镜像 1,且每个容器有自己的可写层 ; 容器 1(2)和容器 3 共享镜像 2 个层(Layer3、5); 通过上述例子可以看到,通过容器镜像分层实现数据共享可以大幅减少容器服务对主机存储的资源需求。 2. 存储驱动 存储驱动是指如何对容器的各层数据进行管理,已达到上述需要实现共享、可读写的效果。即:容器存储驱动实现了容器读写层数据的存储和管理。

    2.3K41发布于 2021-05-18
  • 来自专栏云计算D1net

    Dropbox为微软Office提供原生存储服务

    北京时间11月5日消息,存储服务提供商Dropbox宣布与微软达成协议,将对后者旗下的桌面、移动及网页版Office套件提供原生服务支持。 外界猜测,Dropbox将与微软自家的服务OneDrive同时存在,用户在使用时可任选其一,并能直接打开和编辑存于该服务下的文档文件。 目前,Dropbox拥有3亿以上的个人用户(70%非美国本土)和400万企业用户,其服务平台存储的Office文档高达350亿份。

    2.6K60发布于 2018-03-20
  • 来自专栏黑客下午茶

    快速上手 Rook,入门原生存储编排

    Rook 是一个开源 cloud-native storage orchestrator(原生存储编排器),为各种存储解决方案提供平台、框架和支持,以与原生环境进行原生集成。 Rook 将存储软件转变为自我管理(self-managing)、自我扩展(self-scaling)和自我修复(self-healing)的存储服务。 Rook 使用底层云原生容器管理、调度和编排平台提供的设施来执行其职责。 Rook 利用扩展点深度集成到原生环境中,并为调度、生命周期管理、资源管理、安全、监控和用户体验提供无缝体验。 这很重要,因为它表明 Rook 已成功扩展 Kubernetes,使 Cassandra 集群成为 Kubernetes 原生环境中的一等公民。 为了配置 Ceph 存储集群,至少需要以下本地存储选项之一: 原始设备(无分区或格式化文件系统) 这需要在主机上安装 lvm2

    3.3K20发布于 2021-08-26
  • 来自专栏Lansonli技术博客

    原生 | Docker篇】网络和存储原理(三)

    图片网络和存储原理前言博主语录:一文精讲一个知识点,多了你记不住,一句废话都没有经典语录:勇者愤怒,抽刃向更强者;怯者愤怒,却抽刃向更弱者 图片 **文末惊喜** 一、Docker存储1、镜像如何存 baidu.com截取的nginx的分层图片 nginx这个镜像怎么存的 使用:docker image inspect nginx 图片如图指示了镜像怎么存的LowerDir :底层目录; diw (只是存储不同 在容器中添加新数据或修改现有数据的所有写操作都存储在此可写层中。 删除容器后,可写层也会被删除。 基础图像保持不变。 因为每个容器都有其自己的可写容器层,并且所有更改都存储在该容器层中,所以多个容器可以共享对同一基础映像的访问,但具有自己的数据状态。 下图显示了共享同一Ubuntu 15.04映像的多个容器。 卷是在Docker中持久存储数据的最佳方法。 Bind mounts(绑定挂载) :可以在任何地方 存储在主机系统上。 它们甚至可能是重要的系统文件或目录。

    1.1K101编辑于 2022-06-14
  • 来自专栏Rainbond开源「容器云平台」

    在 Rainbond 上使用 Curve 原生存储

    CurveBS 的核心应用场景主要包括: 虚拟机/容器的性能型、混合型、容量型盘或持久化卷,以及物理机的远程存储盘 高性能存算分离架构:基于RDMA+SPDK的高性能低时延架构,支撑MySQL、kafka 等各类数据库、中间件的存算分离部署架构,提升实例交付效率和资源利用率 CurveFS 的核心应用场景主要包括: AI训练(含机器学习等)场景下的高性价比存储 大数据场景下的冷热数据自动化分层存储 公有上高性价比的共享文件存储 :可用于AI、大数据、文件共享等业务场景 混合存储:热数据存储在本地IDC,冷数据存储在公有 图片 使用 CurveAdm 部署 CurveFS CurveAdm 是 Curve 团队为提高系统易用性而设计的工具 curve 1/1 f413efeeb5c9 Up 17 minutes 部署 Rainbond Rainbond 是一个原生应用管理平台,使用简单,不需要懂容器、Kubernetes 图片 未来规划 Rainbond 社区未来会使用 Curve 原生存储作为 Rainbond 底层的共享存储,为用户提供更好、更简单的原生应用管理平台和原生存储,共同推进开源社区生态以及给用户提供一体化的解决方案

    1.2K30编辑于 2023-03-29
  • 来自专栏腾讯云存储

    用对象存储原生内容安全服务,放心!

    在腾讯20多年的发展历程中,存储并非像其他技术那样万众瞩目,它更像是盖房子时的“地基”,看不见,却不可或缺。 随着数据量爆炸的时代来临,在网络安全政策越来越完善的情况下,如何对存储的数据进行强有力的内容安全保障,已经受到各界的关注。 而腾讯对象存储内容安全依托于腾讯优图实验室的识别技术,联合腾讯安全天御内容安全团队推出了全数据内容审核服务。 随着2021“清朗”系列专项行动开展—— 治理网络乱象 净化网络空间,腾讯对象存储(COS)承担起社会责任,将20多年积累的对抗经验和数据能力用于帮助用户解决安全难点和痛点,推出“净网行动”,全力净化网络环境 将来我们会不忘初心,牢记使命,为您提供更安全的服务!

    5.4K30发布于 2021-06-28
  • 来自专栏世民谈云计算

    AWS 15年(2):原生兴起

    2、公有原生体系的基座,原生体系根植和生长于公有平台之上。 3、原生服务是公有上提供的服务,来源包括厂商和第三方。各大公有已形成了较为整体的服务体系。 从作用上,可把原生服务分为两大类,一类包括计算、网络、存储、大数据与数据分析、安全、人工智能等可以直接被原生应用通过api使用的服务;另一类是原生工具链,比如DevOps、监控服务和可观测性服务等 二、AWS:全球最大的公有平台,提供最全面的原生服务 AWS于2006年正式推出,最开始提供对象存储服务S3和虚拟机服务EC2。 经过15年的发展,已成为全球最全面、应用最广泛的平台,提供超过200项功能齐全的服务,包括计算、存储、网络、数据库、分析、应用服务、部署、管理、机器学习、移动、开发工具、RobOps和物联网工具等。 如果你还是纠结怎么开始,可先从以下四条做起: 尽量多用公有 尽量多用托管服务 数据尽量不要存在服务器上;用对象存储静态文件 用IAM role而不要用访问密钥(AKSK) (四)AWS等厂商在原生应用兴起过程中的作用

    92520编辑于 2022-03-16
  • 来自专栏技术那些事

    原生2课:原生技术体系中的基石-容器技术

    本篇文章来自《华为云云原生王者之路训练营》黄金系列课程第2课,由华为容器技术专家Jarvis Zhou主讲,帮助大家了解容器技术的发展历程;对容器镜像有初步的了解,并能编写简单的Dockerfile; 概念 在Linux中,容器技术是一种进程隔离的技术,应用可以运行在一个个相互隔离的容器中,与虚拟机相同的是,可以为这些容器设置计算资源限制,挂载存储,连接网络,而与虚拟机不同的是,这些应用运行时共用着一个 Docker执行命令,构建镜像并存储在机器上。 开发者发送上传镜像命令。 Docker收到命令后,将本地镜像上传到镜像仓库。 开发者向生产环境机器发送运行镜像命令。 用户可以通过界面、社区CLI和原生API上传、下载和管理容器镜像。 Demo内容:Weather Forecast是一款查询城市的天气信息的应用示例 1)构建镜像 2)推送镜像到swr保存,用于下次实验 Docker build命令参数详细 新兴的镜像构建工具

    69200发布于 2021-11-22
  • 来自专栏边缘计算

    原生存储工具的选型和应用探讨

    因此原生存储的概念也在原生的基础上应运而生,接下来本文将会逐步梳理原生存储的概念、工具的选型,最后会选择一个代表性的原生存储工具来演示如何使用。 作者:郭杨勇 单位:中国移动智慧家庭运营中心 1 原生存储的概念 原生存储的概念来源于原生应用,顾名思义:一个应用为了满足原生特性的要求,其对存储所要求的特性是原生存储的特性,而满足这些特性的存储方案 开源容器存储:设计之初既充分考虑了存储原生编排系统的融合,具有很好的容器数据卷接入能力,Longhorn[1]、OpenEBS[2]。 以上满足原生基本要求的存储方案中,公有存储、商业化的私有存储的部署位置和成本的限制,无法完全应用在私有环境,而基于开源架构自建的存储,可靠性不高,且维护成本高,还无法完全与原生集群实现一体化运营 2 开源容器存储的技术路线 图2 如上图2所示,目前比较主流的开源容器存储解决方案,主要包括: 基于原生社区重新造轮子--原生方案:基于容器化和k8s的应用场景,单独开发一套比较轻量的分布式存储系统

    1.3K30编辑于 2022-12-18
  • 来自专栏Portworx云原生容器存储

    如何使用Portworx为容器配置原生存储

    ,以便跨广域网进行灾难恢复 .私有数据中心与公有平台之前的应用及数据无缝迁移 容器存储的自动化和原生工作流 在提供企业级容器存储功能外,Portworx原生存储锁定容器存储的出发点,促进整个容器存储行业 在单一环境中或跨环境运行 Portworx提供企业级原生存储解决方案,可用于数据库、大数据和快速数据工作负载以及在容器中运行的机器学习应用程序。 自Portworx 原生存储解决方案问世以来,在全球2000强企业中备受信赖,其提供的:块、文件和对象存储;数据安全;灾难恢复和数据保护;与 Kubernetes、Openshift、Mesosphere Portworx在生产环境中的投资回报比率高于任何其他针对容器的原生存储和数据管理解决方案产品,它受到业界许多最复杂的IT组织的信任,包括Comcast、GE Digital、HPE、Lufthansa 这些领先企业选择 Portworx是因为其显著提高的运营效率,并消除了停机和数据丢失风险,与此同时还降低了存储和基础设施成本。 1. 降低30%一60%的基础设施成本 2.

    2.5K00发布于 2019-10-23
  • 来自专栏黑光技术

    原生技术解读2-原生运行时:容器和容器编排

    前言 9 月初给 BG 的新人开了一门课,专门来讲原生技术,原生技术从出现到现在按最早的时间出现来说也是有 10 多年了。 原生技术架构 所以我继续接着上篇解读什么是原生。 **因为具备轻量级的隔离属性,容器技术已然成为原生时代应用程序开发、部署和运维的标准基础设置。**目前全球的厂商都是支持容器部署方式,而且是主流方式。 这使得在不同的或 OS 环境中部署更加容易。 容器技术大大简化了应用程序的分发和部署,可以说容器技术是原生应用发展的基础。 如 sidecar 模式,Pod 将这些容器的存储资源作为一个实体来管理。

    1.7K30发布于 2021-11-30
  • 来自专栏黑客下午茶

    Longhorn 原生容器分布式存储 - Python Client

    Longhorn 原生容器分布式存储 - 设计架构和概念 Longhorn 原生容器分布式存储 - 部署篇 Longhorn 原生容器分布式存储 - 券和节点 Longhorn 原生容器分布式存储 - K8S 资源配置示例 Longhorn 原生容器分布式存储 - 监控(Prometheus) Longhorn 原生容器分布式存储 - 备份与恢复 Longhorn 原生容器分布式存储 - 高可用 Longhorn 原生容器分布式存储 - 支持 ReadWriteMany (RWX) 工作负载 Longhorn 原生容器分布式存储 - 定制部署默认设置 Longhorn原生容器分布式存储

    64220发布于 2021-09-17
领券