首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏thinkphp+vue

    原生存储详解:容器存储与 K8s 存储

    作者 | 阚俊宝 阿里云技术专家 导读:云原生存储详解系列文章将从云原生存储服务的概念、特点、需求、原理、使用及案例等方面,和大家一起探讨云原生存储技术新的机遇与挑战。 相关文章推荐: 云原生存储详解:云原生应用的基石 云原生存储详解:容器存储与 K8s 存储卷 云原生存储的两个关键领域:Docker 存储卷、K8s 存储卷; Docker 存储卷:容器服务在单节点的存储组织形式 K8s 是一个容器编排系统,其关注的是容器应用在整个集群的管理和部署形式,所以在考虑 K8s 应用存储的时候就需要从集群角度考虑。K8s 存储卷定义了在 K8s 系统中应用与存储的关联关系。 存储卷是一个集群级别的概念,其对象作用范围是整个 K8s 集群,而不是而一个节点; K8s 存储卷包含一些对象(PVC、PV、SC),这些对象和应用负载(Pod)是独立,通过编排模板进行关联; K8s K8s 为了实现上述复杂的存储卷编排能力,其实现架构也较为复杂,下节内容我们将为您介绍 K8s 的存储架构和实现流程。

    2.4K41发布于 2021-05-18
  • 来自专栏Lansonli技术博客

    【云原生 | Kubernetes篇】Kubernetes(k8s)临时存储(十六)

    ​Kubernetes(k8s)临时存储一、几种临时存储Kubernetes 为了不同的目的,支持几种不同类型的临时卷: emptyDir: Pod 启动时为空,存储空间来自本地的 kubelet 根目录 secret: 将不同类型的 Kubernetes 数据注入到 Pod 中 CSI 临时卷: 类似于前面的卷类型,但由专门支持此特性的指定 CSI 驱动程序提供 通用临时卷: 它可以由所有支持持久卷的存储驱动程序提供 存储空间来自本地的 kubelet 根目录(通常是根磁盘)或内存 apiVersion: v1kind: Podmetadata: name: "multi-container-pod" namespace hostPath官方文档:卷 | KubernetesapiVersion: v1kind: Podmetadata: name: test-pdspec: containers: - image: k8s.gcr.io DirectoryapiVersion: v1kind: Podmetadata: name: test-webserverspec: containers: - name: test-webserver image: k8s.gcr.io

    1.2K61编辑于 2022-06-22
  • 来自专栏大话存储

    存储,就选原生存储

    存储产业正在发生颠覆性的变化,主要有两大推手:一个是新一代存储介质SSD;另一个是分布式存储的演进,以SDS(软件定义存储)为代表。 ZettaStor和原生存储 作为原AWS核心架构师、S3、Glacier存储项目团队负责人,陈靓先生非常了解对象存储应对块数据需求的不足。 机缘巧合,2012年,陈靓应南京市政府的感召归国创业,创办了南京鹏云网络科技有限公司,并推出了从最底层开始研发的ZettaStor DBS软件定义分布式存储系统,提出了原生存储的概念。 ZettaStor DBS产品架构图 测试中的“猫腻” 谈到原生存储,陈靓表示:其实概念并不重要。在担任AWS核心架构师期间,其内部很少谈论概念,更多是专注在要解决哪些技术问题。 对于原生存储、非原生存储,测试和验证将是一个非常重要的方法。但是在测试过程中,也应该结合实际,谨防被一些“猫腻”手段所蒙蔽。

    2.2K20发布于 2019-06-10
  • 来自专栏架构驿站

    K8sGPT,基于 AI 的云原生终极工具

    Hello folks,我是 Luga,今天我们来聊一下云原生生态排障大杀器-基于AI 的云原生终极工具:“K8sGPT”。 2、PVCAnalyzer 此分析仪主要检查 PVC 的配置信息,并检查任何可能导致数据丢失或其他存储相关问题的问题。 Running `brew update --auto-update`... ==> Fetching k8sgpt-ai/k8sgpt/k8sgpt ==> Downloading https://github.com from k8sgpt-ai/k8sgpt /opt/homebrew/Cellar/k8sgpt/0.3.0: 6 files, 55.5MB, built in 3 seconds ==> Running kubectl apply -f - << EOF apiVersion: core.k8sgpt.ai/v1alpha1 kind: K8sGPT metadata: name: k8sgpt-sample

    5.4K60编辑于 2023-05-22
  • 来自专栏CSDNToQQCode

    原生js cookie本地存储

    cookie也叫HTTP Cookie,最初是客户端与服务器端进行会话(Session)使用的。 如果没写expires,那么下次打开网页,cookie就会消失,这个就是会话机制 2、格式

    7K30编辑于 2022-11-29
  • 来自专栏CNCF

    K8s原生存储持续进化,Longhorn 1.1迎来ARM支持

    随着Longhorn 1.1的发布,Rancher用户现已可以在边缘的低功耗硬件中使用Kubernetes原生存储解决方案。 Longhorn 1.1帮助DevOps团队在任何Kubernetes环境中轻松管理持久化数据卷,同时为云原生存储带来企业级的避免供应商锁定(Lock- in)的解决方案。 Longhorn 1.1全新特性 Longhorn以微服务为中心,是用于Kubernetes部署的100%开源的云原生存储项目。 Longhorn 1.1为DevOps团队带来了一系列的全新特性及功能增强,包括: 位于边缘的强大的K8S原生存储 Longhorn 1.1扩展了Kubernetes原生存储功能,以支持边缘部署,旨在帮助 Longhorn提供了一种简单、轻量、极适用于容器和K8S的持久化存储解决方案,同时极大地简化了用户部署、使用和管理的工作。

    90220发布于 2021-02-23
  • 腾讯云「存储+智能」AI原生基础设施解决方案概要

    主讲人:王致铭 丨 腾讯云 云存储高级产品经理 一、 产品定位与核心亮点 腾讯云「存储+智能」组合是一款专为企业出海及AI应用爆发设计的AI原生存储基础设施。 其核心技术属性在于将传统云原生架构(聚焦Web/APP端的架构复杂度与成本优化)升级为AI原生架构,底层深度融合对象存储(COS)与高性能分布式缓存引擎(GooseFS),并无缝内嵌数据万象(CI)处理引擎 三、 应用框架和功能介绍 3.1 功能框架 产品采用“存储底座 + 处理管理双引擎 + 一站式软件搭建平台”三层架构: 存储底座:对象存储(COS)与 AI存储(GooseFS),负责数据的安全可靠与高性能吞吐 文件支持:最小存储限制 64KB。 兼容性:全兼容 AWS S3 接口。 AI 存储 (GooseFS): 单链接性能:10Gbps(逼近硬件极限)。 解决方案:采用数据万象(CI)云原生内容安全审核模块(图片/文本/色情/暴恐等查处)。

    11410编辑于 2026-05-30
  • 来自专栏猫头虎博客专区

    MySQL 8 存储JSON

    要在MySQL中存储数据,必须定义数据库和表结构,但有时做配置后台开关项太多不可能定义几百个字段,用json方法放到一个一个字段里也是必要的。 之前,json数据不被支持,只是被存储为字符串。 mysql8JSON数据类型提供了自动验证的JSON文档以及优化的存储格式。 all’, “ .address.line1", " .address.line5”) from employees.emp_details; 返回值:0 有三种函数来修改数据: 在MySQL 8之前的版本中

    92710编辑于 2024-04-07
  • 来自专栏监控

    开源云原生存储rook:块存储快速入门实战

    /provisioner-secret-name: rook-csi-rbd-provisioner   csi.storage.k8s.io/controller-expand-secret-name : rook-csi-rbd-provisioner   csi.storage.k8s.io/node-stage-secret-name: rook-csi-rbd-node   csi.storage.k8s.io ,例如层次化,csi.storage.k8s.io/provisioner-secret-name,csi.storage.k8s.io/controller-expand-secret-name 和 当使用rook搭建好集群后,它已经将用于身份验证和授权所需的 Kubernetes Secret 对象创建好了,使用下面命令可以查看: [root@k8s-a-master rbd]# kubectl  开始创建 kubectl create -f storageclass.yaml  创建后验证 # 查看 Rook CephBlockPool 的资源定义 [root@k8s-a-master rbd]

    2.3K00编辑于 2023-04-06
  • AI原生开发范式

    AI原生开发范式的核心概念 AI原生开发范式(AI-Native Development)指以AI为核心构建应用程序的设计方法,其特点包括数据驱动、模型即服务(MaaS)、自动化工作流和持续学习。 与传统开发相比,AI原生应用将机器学习模型作为基础组件,而非附加功能。 典型行业案例分析 金融领域-智能风控系统 某银行采用AI原生架构重构信贷审批流程,实现实时风险评估。 医疗领域-影像辅助诊断 一家医疗科技公司开发AI原生影像分析平台,整合多种医学影像模型(CT、MRI)。 PyTorch模型量化 import torch.quantization model_fp32 = load_trained_model() model_fp32.eval() model_int8 = torch.quantization.quantize_dynamic( model_fp32, {torch.nn.Linear}, dtype=torch.qint8 )

    33510编辑于 2026-01-20
  • 来自专栏运维笔记

    minio 高性能 Kubernetes 原生对象存储

    minio 高性能 Kubernetes 原生对象存储 minio 高性能 Kubernetes 原生对象存储 特点 安装 单机 分布式 客户端mc安装和使用 minio在K8S的优化实践 MinIO 它兼容亚马逊S3云存储服务接口,非常适合于存储大容量非结构化的数据,例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等,而一个对象文件可以是任意大小,从几kb到最大5T不等。 特点 高性能 minio是世界上最快的对象存储(官网说的: https://min.io/) 弹性扩容 很方便对集群进行弹性扩容 天生的云原生服务 开源免费,最适合企业化定制 分布式部署:GNU/Linux 和 macOS 示例1: 启动分布式Minio实例,8个节点,每节点1块盘,需要在8个节点上都运行下面的命令。 minio在K8S的hostPath部署实践 环境描述: 5个节点k8s环境,使用其中4个节点作为mino,同时都使用节点主机网络 #1.给其中4个节点打标签,因为我要选择标签为minio-server

    7.3K21发布于 2020-05-12
  • 来自专栏CSDNToQQCode

    原生js本地存储、获取、删除、清空

    DOCTYPE html> <html> <head> <meta charset="utf-<em>8</em>"> <title></title> </head> <body> <input type ="text"/> <button class="set">存储</button> <button class="get">获取</button> <button class="remove </button> <button class="del">清空</button> </body> </html> <script type="text/javascript"> // 吧用户存储在用户的浏览器中

    7.5K20编辑于 2022-11-29
  • 来自专栏大卫李的技术分享

    Rook带你玩转云原生存储

    翻译过来概况下 Rook是一个开源的云原生存储编排系统,提供平台、框架和支持,提供了一套多样化的存储解决方案,可以与云原生环境进行天然集成。 Rook利用云原生容器管理、调度和调度平台提供的设施,将存储软件转化为自我管理、自我扩展和自我修复的存储服务,实现自动化部署、启动、配置、扩容、升级、迁移、灾难恢复、监控和资源管理。 因此,Rook解决的问题是: 快速部署一套云原生存储集群; 平台化管理云原生存储集群,包括存储的扩容、升级、监控、灾难恢复等全生命周期管理; 本身基于云原生容器管理(如Kubernetes),管理方便。 以前苦于没有部署云原生存储系统,一直没法实践这些特性,这次得益于Rook的便捷性,赶紧来尝鲜下。 更深入地观察存储挂载机制 通过上面两个测试场景,我们来看下背后的云原生存储的运行逻辑: 进入pod观察存储挂载情况 对比两个测试场景pod实例里面存储挂载情况: # use ceph as rbd storage

    4.5K31发布于 2020-05-11
  • 来自专栏CSDN搜“看,未来”

    k8s 存储卷之简单存储

    k8s 存储卷之简单存储 导读 容器的生命周期可能很短,会被频繁的创建和销毁。那么容器在销毁的时候,保存在容器中的数据也会被清除。这种结果对用户来说,在某些情况下是不乐意看到的。 kubernetes的Volume支持多种类型,比较常见的有下面的几个: ○ 简单存储:EmptyDir、HostPath、NFS。 ○ 高级存储:PV、PVC。 NFS是一个网络文件存储系统,可以搭建一台NFS服务器,然后将Pod中的存储直接连接到NFS系统上,这样的话,无论Pod在节点上怎么转移,只要Node跟NFS的对接没问题,数据就可以成功访问。 ]# systemctl restart nfs 2、在每个node节点上都安装下nfs,这样的目的是为了node节点可以驱动nfs设备 # 在node上安装nfs服务,注意不需要启动 [root@k8s-master01 ~]# kubectl create -f volume-nfs.yaml pod/volume-nfs created # 查看pod [root@k8s-master01 ~]# kubectl

    1K10编辑于 2022-08-11
  • 来自专栏Linux成长之路

    原生之Docker容器的存储管理

    "LowerDir": "/var/lib/docker/overlay2/97d6b86a78f355c15fb43d539fc284b60f464c0ee768d87a8e5cbe62e3a62626 /diff:/var/lib/docker/overlay2/4649e6ac724d477b2fe8db2da934d572eaaaa946a847936794b506edf8b0c87d/diff" "UpperDir": "/var/lib/docker/overlay2/97d6b86a78f355c15fb43d539fc284b60f464c0ee768d87a8e5cbe62e3a62626 "WorkDir": "/var/lib/docker/overlay2/97d6b86a78f355c15fb43d539fc284b60f464c0ee768d87a8e5cbe62e3a62626 ", "Source": "/var/lib/docker/volumes/3b1eab4eb072a43375068c8ff534028de2a7f6dd6aeceb60c0d1584c4bc046a6

    1.1K71编辑于 2023-01-21
  • 来自专栏科技云报道

    原生时代,存储长什么样?

    原生存储作为一种存储系统,可靠性、性能、高可用等特点都是必不可少的。除此之外,云原生环境对存储系统提出了更高的要求。 面对诸多挑战云原生存储应具备哪些特点呢? 市场上的云原生存储方案 为了更好的理解在云环境中如何构建云原生存储,先看几个在Kubernetes企业环境中部署主流的云原生存储方案。 在CNCF公布的《2019 Cloud Native Computing Foundation》市场调研中,分析了当前和未来K8s采用情况,其中许多用户将他们当前的存储和云的供应商列为云原生候选名单中。 但是,它们没有很好地集成到K8s工具和工作流中,因而可能更难以维护和配置。 剩下的第三梯队产品,基本是由以存储为中心的服务商提供的服务,如Dell EMC、NetApp和Pure Storage。 事实上,云原生存储遇到的性能、弹性、高可用、加密、隔离、可观测性、生命周期等方面的问题,不但需要存储产品层次的改进,更需要在云原生的控制/数据平面的改进,以推进云原生存储的演进,而这正是新老存储厂商有待优化和提供的服务空间

    91620编辑于 2022-04-16
  • 来自专栏阿泽的学习笔记

    原生AI漫谈

    其实从上面的伪代码可以看出,这个操作系统很可能就是现在火热的 k8s,而运行时嘛可能是 CRD 基础上封装的一个中间层,可以将一些原语转化为分布式的计算和存储过程,比如批流处理走 Flink,数据的 mutation 和持久化走 cloud DB…… 云原生时代的系统开发 对于系统开发人员来说(比如云数据库,云 AI 平台),云原生的趋势也会产生相应的影响。 但是到了云原生时代,我们可以完全打破这个固有框架,我们拥有的计算,存储都可以理解为是“无限”的,只要有钱就可以! AI 相关的部分。 而前面讲的“云原生语言”,则更关注在程序具体执行层面的关注点分离。 把两者结合起来看,云原生时代的 AI 平台开发会是一片巨大的未开垦之地,对于云和算法各自都有很宽很长的路可以走。

    1K30发布于 2021-07-06
  • 如何构建AI原生应用?从大模型到知识中台,从数据到规则逻辑。AI原生=模型原生+知识原生+价值原生

    今天继续聊AI和大模型方面的话题。即什么是AI原生,如何构建一个真正意义上的AI原生系统? 对于这个问题,我们先看下AI大模型自己给出的答案。 AI原生必须是土生土长的,系统一开始构建就原生在系统里面的能力,而不是已有系统后简单嫁接或集成AI大模型能力。那些把传统IT系统改造集成AI大模型能力后叫AI原生是相当错误的说法。 AI原生-大模型原生+知识原生+价值原生 一个系统能够称之为叫AI原生系统呢?这里面核心的一个关键就是整个系统核心的能力是架构在底层的AI大模型和底层的知识层上面的。 你如果满足这么一个条件,那你们做一个系统就可以叫做AI原生系统。 我原来谈AI原生的时候谈到过,AI原生核心是知识原生,为何你当前企业有数据库数据,有资料文档,不能快速的构建AI原生应用? 注意这个说法只解决了AI原生应用的大模型原生问题,并没有解决知识原生的问题。如果按这个说法所有的AI智能体应用都是AI原生应用,但是我的理解,AI原生应用的核心重点应该是在知识原生上面。

    79920编辑于 2025-11-17
  • 来自专栏PostgreSQL研究与原理解析

    OrioleDB – 构建现代云原生存储引擎

    OrioleDB – 构建现代云原生存储引擎 OrioleDB是PG的一个新存储引擎,为世界上最受欢迎的数据库平台带来一种现代化数据库容量、功能和性能方法。 通过扩展和增强当前的表访问方法,OrioleDB为未来更强大的存储模型打开了大门,这些模型对云和现代硬件架构进行了优化。目前是标准的PG许可。 1)专为现代硬件而设计。 OrioleDB的设计针对数十个和上百CPU内核现代服务器,避免CPU瓶颈,提供了针对现代存储技术,例如SSD和NVM,的使用方法。 2)减少维护需求。 OrioleDB内存中page直接连接到存储层的页。消除了对缓冲区映射及相关瓶颈。此外,内存中页面读取不涉及原子操作。这些设计决策共同将PG的垂直扩展性提升到了一个全新的水平。 旧版本的元组不会导致主存储系统膨胀,而是将其放逐到undo链的undo日志中。页级别的undo记录允许系统很方便地尽快回收已删除元组占用的空间。

    1K20编辑于 2022-03-29
  • 来自专栏IT创事记

    拥抱云原生,如何选择最佳容器存储

    为什么容器技术如此火热 云原生时代,容器凭借其易移植、云上云下自由运行、自由迁移的特点,得到了众多企业的青睐。 当前,企业容器化改造面临四大挑战: 1、高可用能力不足:容器挂死后,保存在本地的数据丢失,数据找回需要耗费大量人力、时间; 2、性能不足:大规模k8s平台,应用多、日志多、并发大,日志存储、日志分析存在性能瓶颈 对性能要求高的应用:很多新兴应用,如AI训练,其典型数据结构是海量非结构化数据的随机读写,文件大小通常在数KB到数MB,数量可达百亿,计算资源规模从几十台到上千台不等。 SAN存储上的数据无法在上千台计算集群中共享,因此不是容器存储的最佳选择。 例如,某大型商业银行使用Ceph+服务器本地盘构建的分布式存储系统,在AI场景实测性能只有2万OPS,而采用华为OceanStor Dorado全闪存NAS存储后,双控性能轻松达成40万OPS,AI分析效率提升

    1.1K30编辑于 2023-02-17
领券