存储产业正在发生颠覆性的变化,主要有两大推手:一个是新一代存储介质SSD;另一个是分布式存储的演进,以SDS(软件定义存储)为代表。 ZettaStor和原生块存储 作为原AWS核心架构师、S3、Glacier存储项目团队负责人,陈靓先生非常了解对象存储应对块数据需求的不足。 机缘巧合,2012年,陈靓应南京市政府的感召归国创业,创办了南京鹏云网络科技有限公司,并推出了从最底层开始研发的ZettaStor DBS软件定义分布式存储系统,提出了原生块存储的概念。 ZettaStor DBS产品架构图 测试中的“猫腻” 谈到原生块存储,陈靓表示:其实概念并不重要。在担任AWS核心架构师期间,其内部很少谈论概念,更多是专注在要解决哪些技术问题。 对于原生块存储、非原生块存储,测试和验证将是一个非常重要的方法。但是在测试过程中,也应该结合实际,谨防被一些“猫腻”手段所蒙蔽。
cookie也叫HTTP Cookie,最初是客户端与服务器端进行会话(Session)使用的。 如果没写expires,那么下次打开网页,cookie就会消失,这个就是会话机制 2、格式
主讲人:王致铭 丨 腾讯云 云存储高级产品经理 一、 产品定位与核心亮点 腾讯云「存储+智能」组合是一款专为企业出海及AI应用爆发设计的AI原生云存储基础设施。 其核心技术属性在于将传统云原生架构(聚焦Web/APP端的架构复杂度与成本优化)升级为AI原生架构,底层深度融合对象存储(COS)与高性能分布式缓存引擎(GooseFS),并无缝内嵌数据万象(CI)处理引擎 三、 应用框架和功能介绍 3.1 功能框架 产品采用“存储底座 + 处理管理双引擎 + 一站式软件搭建平台”三层架构: 存储底座:对象存储(COS)与 AI存储(GooseFS),负责数据的安全可靠与高性能吞吐 文件支持:最小存储限制 64KB。 兼容性:全兼容 AWS S3 接口。 AI 存储 (GooseFS): 单链接性能:10Gbps(逼近硬件极限)。 存储吞吐带宽:从 15Gbps/PB 提升至 1.8Tbps/PB(提升120倍)。 元数据 QPS:从 3w 提升至 30w(提升10倍)。 规模与恢复:百亿级 元数据规模,集群异常 秒级恢复。
Block Devices(块存储) 图片 在 Rook 中,块存储有两种存储类型:副本存储和纠删码存储。 「纠删码存储:」 是一种基于纠删码的存储方式,其中数据被编码为多个数据块,并在不同的节点上存储这些数据块的编码片段。在纠删码存储中,数据被编码为多个数据块,并根据指定的参数对这些数据块进行编码。 纠删码存储通常需要更少的存储空间和更低的存储成本,因为它只需要存储数据的冗余分片而不是完整的副本。 这将释放 Rook 块存储占用的存储空间。 存储类指定了用于存储数据的存储类型和属性。删除存储类将确保不再创建新的 Rook 存储卷。 需要注意的是,这4个命令需要按照指定的顺序执行,以确保完全卸载 Rook 块存储。
AI原生开发范式的核心概念 AI原生开发范式(AI-Native Development)指以AI为核心构建应用程序的设计方法,其特点包括数据驱动、模型即服务(MaaS)、自动化工作流和持续学习。 与传统开发相比,AI原生应用将机器学习模型作为基础组件,而非附加功能。 典型行业案例分析 金融领域-智能风控系统 某银行采用AI原生架构重构信贷审批流程,实现实时风险评估。 医疗领域-影像辅助诊断 一家医疗科技公司开发AI原生影像分析平台,整合多种医学影像模型(CT、MRI)。 零售领域-动态定价引擎 某电商平台部署强化学习定价系统,每小时处理10TB用户行为数据。系统自动调整200万SKU价格,通过A/B测试验证,GMV提升15%,库存周转率提高22%。 原生系统需监控多维指标: 模型指标:AUC-ROC、F1 Score、推理延迟 系统指标:QPS、错误率、资源利用率 业务指标:转化率、用户留存、ROI 监控看板应包含实时数据和历史趋势对比,设置自动告警阈值
minio 高性能 Kubernetes 原生对象存储 minio 高性能 Kubernetes 原生对象存储 特点 安装 单机 分布式 客户端mc安装和使用 minio在K8S的优化实践 MinIO 它兼容亚马逊S3云存储服务接口,非常适合于存储大容量非结构化的数据,例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等,而一个对象文件可以是任意大小,从几kb到最大5T不等。 特点 高性能 minio是世界上最快的对象存储(官网说的: https://min.io/) 弹性扩容 很方便对集群进行弹性扩容 天生的云原生服务 开源免费,最适合企业化定制 如上图,当我使用4个节点创建分布式minio时,会使用默认的pvc创建存储.默认每个节点创建1个10G的存储(可以自定义修改) 客户端mc安装和使用 安装 wget https://dl.min.io mirror 给存储桶和文件夹做镜像。 find 基于参数查找文件。 diff 对两个文件夹或者存储桶比较差异。
meta charset="utf-8"> <title></title> </head> <body> <input type="text"/> <button class="set">存储 </button> <button class="del">清空</button> </body> </html> <script type="text/javascript"> // 吧用户存储在用户的浏览器中
翻译过来概况下 Rook是一个开源的云原生存储编排系统,提供平台、框架和支持,提供了一套多样化的存储解决方案,可以与云原生环境进行天然集成。 Rook利用云原生容器管理、调度和调度平台提供的设施,将存储软件转化为自我管理、自我扩展和自我修复的存储服务,实现自动化部署、启动、配置、扩容、升级、迁移、灾难恢复、监控和资源管理。 因此,Rook解决的问题是: 快速部署一套云原生存储集群; 平台化管理云原生存储集群,包括存储的扩容、升级、监控、灾难恢复等全生命周期管理; 本身基于云原生容器管理(如Kubernetes),管理方便。 以前苦于没有部署云原生存储系统,一直没法实践这些特性,这次得益于Rook的便捷性,赶紧来尝鲜下。 更深入地观察存储挂载机制 通过上面两个测试场景,我们来看下背后的云原生存储的运行逻辑: 进入pod观察存储挂载情况 对比两个测试场景pod实例里面存储挂载情况: # use ceph as rbd storage
作者 | 阚俊宝 阿里云技术专家 导读:云原生存储详解系列文章将从云原生存储服务的概念、特点、需求、原理、使用及案例等方面,和大家一起探讨云原生存储技术新的机遇与挑战。 相关文章推荐: 云原生存储详解:云原生应用的基石 云原生存储详解:容器存储与 K8s 存储卷 云原生存储的两个关键领域:Docker 存储卷、K8s 存储卷; Docker 存储卷:容器服务在单节点的存储组织形式 ,关注数据存储、容器运行时的相关技术; K8s 存储卷:关注容器集群的存储编排,从应用使用存储的角度关注存储服务。 其设计意图是:存储与应用编排分离,将存储细节抽象出来并实现存储的编排(存储卷)。这样 K8s 中存储卷对象独立于应用编排而单独存在,在编排层面使应用和存储解耦。 根据 PV 的创建方式可以将存储卷分为动态存储和静态存储卷: 静态存储卷:由管理员创建的 PV 动态存储卷:由 Provisioner 插件创建的 PV 1)静态存储卷 一般先由集群管理员分析集群中存储需求
"Id": "05d35ba971ad78179a7ab7a93dfb4c59faeb5872152f03a897144f4e5040b7ee", "Created": "2022-10 "Pid": 113766, "ExitCode": 0, "Error": "", "StartedAt": "2022-10 htdocs]# docker run --name test04 -td -p 86:80 --volumes-from test03 busyboxcfde4db1ff755695a7b2f4c10e863c9fdf8e9a0f7f4a132d2fdd2fb0e4c497f82
但值得注意的是,据CNCF调查显示,目前存储系统依然是云原生场景使用和部署中面临的最主要障碍之一。 云原生环境对存储 带来新挑战 存储系统一直以来都是基础设施软件中的核心之一。 云原生存储作为一种存储系统,可靠性、性能、高可用等特点都是必不可少的。除此之外,云原生环境对存储系统提出了更高的要求。 面对诸多挑战云原生存储应具备哪些特点呢? 云原生生态 云原生存储还需要能够很好地和其他云原生基础设施配合,例如云原生数据库,使得云原生数据库可以真正的在公有云和私有云都能够得到一致的用户体验。 市场上的云原生存储方案 为了更好的理解在云环境中如何构建云原生存储,先看几个在Kubernetes企业环境中部署主流的云原生存储方案。 事实上,云原生存储遇到的性能、弹性、高可用、加密、隔离、可观测性、生命周期等方面的问题,不但需要存储产品层次的改进,更需要在云原生的控制/数据平面的改进,以推进云原生存储的演进,而这正是新老存储厂商有待优化和提供的服务空间
和持久化走 cloud DB…… 云原生时代的系统开发 对于系统开发人员来说(比如云数据库,云 AI 平台),云原生的趋势也会产生相应的影响。 但是到了云原生时代,我们可以完全打破这个固有框架,我们拥有的计算,存储都可以理解为是“无限”的,只要有钱就可以! 具体的例子比如我们可以通过用户的数据查询看到经常使用的过滤维度,来重新安排数据的排序和分区,这样在同样的数据量情况下,系统可以花更少的计算资源来完成查询,增加系统的利润 :) 云原生+AI 最后再来看下跟 AI 相关的部分。 而前面讲的“云原生语言”,则更关注在程序具体执行层面的关注点分离。 把两者结合起来看,云原生时代的 AI 平台开发会是一片巨大的未开垦之地,对于云和算法各自都有很宽很长的路可以走。
今天继续聊AI和大模型方面的话题。即什么是AI原生,如何构建一个真正意义上的AI原生系统? 对于这个问题,我们先看下AI大模型自己给出的答案。 AI原生必须是土生土长的,系统一开始构建就原生在系统里面的能力,而不是已有系统后简单嫁接或集成AI大模型能力。那些把传统IT系统改造集成AI大模型能力后叫AI原生是相当错误的说法。 AI原生-大模型原生+知识原生+价值原生 一个系统能够称之为叫AI原生系统呢?这里面核心的一个关键就是整个系统核心的能力是架构在底层的AI大模型和底层的知识层上面的。 你如果满足这么一个条件,那你们做一个系统就可以叫做AI原生系统。 我原来谈AI原生的时候谈到过,AI原生核心是知识原生,为何你当前企业有数据库数据,有资料文档,不能快速的构建AI原生应用? 注意这个说法只解决了AI原生应用的大模型原生问题,并没有解决知识原生的问题。如果按这个说法所有的AI智能体应用都是AI原生应用,但是我的理解,AI原生应用的核心重点应该是在知识原生上面。
OrioleDB – 构建现代云原生存储引擎 OrioleDB是PG的一个新存储引擎,为世界上最受欢迎的数据库平台带来一种现代化数据库容量、功能和性能方法。 通过扩展和增强当前的表访问方法,OrioleDB为未来更强大的存储模型打开了大门,这些模型对云和现代硬件架构进行了优化。目前是标准的PG许可。 1)专为现代硬件而设计。 OrioleDB的设计针对数十个和上百CPU内核现代服务器,避免CPU瓶颈,提供了针对现代存储技术,例如SSD和NVM,的使用方法。 2)减少维护需求。 OrioleDB内存中page直接连接到存储层的页。消除了对缓冲区映射及相关瓶颈。此外,内存中页面读取不涉及原子操作。这些设计决策共同将PG的垂直扩展性提升到了一个全新的水平。 旧版本的元组不会导致主存储系统膨胀,而是将其放逐到undo链的undo日志中。页级别的undo记录允许系统很方便地尽快回收已删除元组占用的空间。
"业务先行、AI补丁",原生是"AI即底座"。 50人-拥有数千万用户,年收入超2000万美元-估值超10亿美元(投资方:Nvidia、JeffBezos、AndrejKarpathy)####组织特点|维度|具体实践||:-:|:-:||**团队规模 ||任务管理|Linear||文档存储|Notion||AI辅助|自家产品、提示词工程||品牌创作|Midjourney、Krea.ai、Civitai|####核心洞察>"AI工具在编码方面远远不够好 *|深度融合|业务流程与AI深度整合,数据闭环|初步AI原生||**L5**|AI原生|组织架构建立在AI之上,智能演化|真正的AI原生组织|###4.2转型核心步骤Step1:顶层设计├──设立CAIO (2026年4月)FT中文网/林薇:《AI原生:硅谷正在定义的新企业范式》(2025年11月)少数派:《Perplexity团队深度解析》(2025年10月)极客书房:《Perplexity如何构建AI
为什么容器技术如此火热 云原生时代,容器凭借其易移植、云上云下自由运行、自由迁移的特点,得到了众多企业的青睐。 由于NAS存储数据全局共享,漂移场景不需要拷贝数据,恢复时长降低至分钟级别,可用性提升10倍以上。NAS存储有利于构建共享资源池,提高存储利用率,整体TCO相比本地盘方案低30%。 对性能要求高的应用:很多新兴应用,如AI训练,其典型数据结构是海量非结构化数据的随机读写,文件大小通常在数KB到数MB,数量可达百亿,计算资源规模从几十台到上千台不等。 SAN存储上的数据无法在上千台计算集群中共享,因此不是容器存储的最佳选择。 例如,某大型商业银行使用Ceph+服务器本地盘构建的分布式存储系统,在AI场景实测性能只有2万OPS,而采用华为OceanStor Dorado全闪存NAS存储后,双控性能轻松达成40万OPS,AI分析效率提升
IoT最佳存储系统 由于对象存储的无限扩展架构和持久的性质,它非常适合处理通过IoT文件积累的PB级的非结构化数据。对于云的主要选择,对象存储可以用于私有、公有和混合云平台。 通过将被动数据迁移到较低的存储层,混合云平台可以清理急需的存储空间,否则可能会被很少访问的数据浪费。 对象存储网关可能不适用数据迁移 简化数据向对象存储的迁移,网关看起是一种方法,但它却不是最好的方法。尽管网关可以在数据迁移中减少存储的消费,但实际上,相比于其它的数据迁移项目,它的步骤没有那么少。 使用标准文件或块接口,对象存储网关仍然需要32到34个人工步骤来迁移文件和存储块。 伴随着劳动密集型流程,对象存储网关可能会让你将数据保护过程复杂化。 分层和快照是需要考虑的两个功能,以及服务提供商与存储组合供应商密切合作关系。 对DRaaS要求更多 评估DRaaS供应商时,请确定数据的存储方式。
作者丨 Sarah Saunders 译者丨屠灵 策划丨辛晓亮 我们是凯捷咨询公司的开源云工程部门,主要做云原生开发。我们的一个重要挑战是帮助人们了解什么是云原生。 所有这些考量都与云原生开发有关。 基于这样的定义,可以说云原生应用程序就是函数即服务(Function as a Service,FaaS),或者说“Serverless”。 那么,该怎么定义云原生呢? 云原生应用程序就是部署到云端,在保留灵活性和可移植性的同时最大化效益的应用程序。 2凯捷的云原生解决方案 我们部门提供了几种云原生产品。 一个是云原生成熟度评估,帮助客户了解他们离最大化云效益还有多远,另一个就是我们的开源云原生开发平台。 云原生成熟度评估 当人们在考虑将应用程序迁移到云端时,容易忽略掉一些东西。 10、低延迟 现在,我们可以在云端飞翔了,可以真正开始考虑性能问题了。我们要在意微服务之间的 HTTP 开销吗?我们需要 JSON 吗?或许层与层之间可以使用二进制的 API?
本文将介绍和对比三种常见的存储选项 - 本地磁盘、企业存储和容器原生存储,分析它们为容器化应用提供存储服务的优劣。 值得注意的是,CNCF 认证的云原生存储同时包括企业存储和容器原生存储。由于两者有明显区别,用户选择和比较时需要谨慎。 容器原生存储 容器原生存储专门面向容器环境设计,与 Kubernetes 高度集成,支持容器级的数据服务和自动化存储管理。相比传统企业存储,其通常更能满足容器化应用的敏捷性和可扩展性需求。 目前,用户可以选择开源的容器原生存储解决方案,如基于 Ceph 的 Rook 和 Longhorn,也可以选择商业的企业级容器原生存储,如 Portworx 和 IOMesh。 作为领先的企业级容器原生分布式存储,IOMesh 通过原生 Kubernetes 方式,帮助用户为有状态应用构建弹性、高可靠、高性能的存储池。它降低了采用持久化存储的复杂度,助力企业云原生转型。
Rook 是一个开源 cloud-native storage orchestrator(云原生存储编排器),为各种存储解决方案提供平台、框架和支持,以与云原生环境进行原生集成。 Rook 将存储软件转变为自我管理(self-managing)、自我扩展(self-scaling)和自我修复(self-healing)的存储服务。 Rook 使用底层云原生容器管理、调度和编排平台提供的设施来执行其职责。 Rook 利用扩展点深度集成到云原生环境中,并为调度、生命周期管理、资源管理、安全、监控和用户体验提供无缝体验。 Storage 有关 Rook 公开的三种存储类型的演练,请参阅以下指南: Block:创建要由 Pod 使用的块(block)存储 Object:创建可在 Kubernetes 集群内部或外部访问的对象存储 随着 busybox writer pod 继续写入新的时间戳,我们应该会看到返回的输出也每大约 10 秒更新一次。