ZettaStor和原生块存储 作为原AWS核心架构师、S3、Glacier存储项目团队负责人,陈靓先生非常了解对象存储应对块数据需求的不足。 机缘巧合,2012年,陈靓应南京市政府的感召归国创业,创办了南京鹏云网络科技有限公司,并推出了从最底层开始研发的ZettaStor DBS软件定义分布式存储系统,提出了原生块存储的概念。 ZettaStor DBS产品架构图 测试中的“猫腻” 谈到原生块存储,陈靓表示:其实概念并不重要。在担任AWS核心架构师期间,其内部很少谈论概念,更多是专注在要解决哪些技术问题。 对于原生块存储、非原生块存储,测试和验证将是一个非常重要的方法。但是在测试过程中,也应该结合实际,谨防被一些“猫腻”手段所蒙蔽。 以3副本9个节点为例,通常会配置3个容错域A\B\C、每个容错域各3个节点,每个容错域保存独立的副本数据。
SpringBoot3.X整合MinIO存储原生方案:从环境搭建到实战开发 一、前言:为什么选择MinIO? 在分布式存储领域,MinIO作为一款高性能的对象存储服务,凭借兼容S3 API、轻量级部署、支持分布式集群等特性,成为企业级文件存储的热门选择。 尤其在SpringBoot生态中,通过原生SDK整合MinIO可以快速实现文件的上传、下载、删除等功能,适用于云存储、大数据场景、内容管理系统等多种业务场景。 本文将基于SpringBoot3.X版本,从零开始构建MinIO文件存储方案,涵盖环境准备、依赖配置、核心功能开发、进阶特性及问题排查,帮助开发者快速掌握原生整合方案。 二、环境准备 1. 通过原生SDK整合,开发者可以灵活定制存储逻辑,满足不同业务场景需求。 MinIO作为轻量级对象存储方案,非常适合中小规模项目使用,结合SpringBoot的自动化配置,能大幅提升开发效率。
somewhere.com]; [secure] encodeURIComponent函数可以:将文本字符串编码为一个统一资源标识符 (URI) 的一个有效组件 上面的方法主要用于协议、主机名、路径或查询字符串 3、
主讲人:王致铭 丨 腾讯云 云存储高级产品经理 一、 产品定位与核心亮点 腾讯云「存储+智能」组合是一款专为企业出海及AI应用爆发设计的AI原生云存储基础设施。 其核心技术属性在于将传统云原生架构(聚焦Web/APP端的架构复杂度与成本优化)升级为AI原生架构,底层深度融合对象存储(COS)与高性能分布式缓存引擎(GooseFS),并无缝内嵌数据万象(CI)处理引擎 文件支持:最小存储限制 64KB。 兼容性:全兼容 AWS S3 接口。 AI 存储 (GooseFS): 单链接性能:10Gbps(逼近硬件极限)。 存储吞吐带宽:从 15Gbps/PB 提升至 1.8Tbps/PB(提升120倍)。 元数据 QPS:从 3w 提升至 30w(提升10倍)。 规模与恢复:百亿级 元数据规模,集群异常 秒级恢复。 协议支持:支持 POSIX / HDFS / S3 多协议。 处理管理效能: AI训练效能:数据清洗和训练效果提升 1倍,耗时减少 50%。 近存储处理速度:处理耗时加快 30%。
Block Devices(块存储) 图片 在 Rook 中,块存储有两种存储类型:副本存储和纠删码存储。 纠删码存储通常需要更少的存储空间和更低的存储成本,因为它只需要存储数据的冗余分片而不是完整的副本。 kind: CephBlockPool metadata: name: replicapool spec: failureDomain: host replicated: size: 3 这个特定的块存储池名为 replicapool,它使用主机故障域进行故障域分离,使用副本存储策略,并将每个对象的副本数量设置为 3,要求所有副本都必须是安全的。 存储类指定了用于存储数据的存储类型和属性。删除存储类将确保不再创建新的 Rook 存储卷。 需要注意的是,这4个命令需要按照指定的顺序执行,以确保完全卸载 Rook 块存储。
AI原生开发范式的核心概念 AI原生开发范式(AI-Native Development)指以AI为核心构建应用程序的设计方法,其特点包括数据驱动、模型即服务(MaaS)、自动化工作流和持续学习。 与传统开发相比,AI原生应用将机器学习模型作为基础组件,而非附加功能。 典型行业案例分析 金融领域-智能风控系统 某银行采用AI原生架构重构信贷审批流程,实现实时风险评估。 医疗领域-影像辅助诊断 一家医疗科技公司开发AI原生影像分析平台,整合多种医学影像模型(CT、MRI)。 model.predict(input_data) r.setex(key, CACHE_TTL, pickle.dumps(result)) return result 效能评估指标 AI 原生系统需监控多维指标: 模型指标:AUC-ROC、F1 Score、推理延迟 系统指标:QPS、错误率、资源利用率 业务指标:转化率、用户留存、ROI 监控看板应包含实时数据和历史趋势对比,设置自动告警阈值
minio 高性能 Kubernetes 原生对象存储 minio 高性能 Kubernetes 原生对象存储 特点 安装 单机 分布式 客户端mc安装和使用 minio在K8S的优化实践 MinIO 它兼容亚马逊S3云存储服务接口,非常适合于存储大容量非结构化的数据,例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等,而一个对象文件可以是任意大小,从几kb到最大5T不等。 特点 高性能 minio是世界上最快的对象存储(官网说的: https://min.io/) 弹性扩容 很方便对集群进行弹性扩容 天生的云原生服务 开源免费,最适合企业化定制 S3事实标准 简单强大 存储机制(Minio使用纠删码erasure code和校验和checksum来保护数据免受硬件故障和无声数据损坏。 [IP3] >> /etc/hosts" echo "host4 [IP4] >> /etc/hosts" #3.创建namespace #你也可以使用自定义的其他namespace
meta charset="utf-8"> <title></title> </head> <body> <input type="text"/> <button class="set">存储 </button> <button class="del">清空</button> </body> </html> <script type="text/javascript"> // 吧用户存储在用户的浏览器中
翻译过来概况下 Rook是一个开源的云原生存储编排系统,提供平台、框架和支持,提供了一套多样化的存储解决方案,可以与云原生环境进行天然集成。 Rook利用云原生容器管理、调度和调度平台提供的设施,将存储软件转化为自我管理、自我扩展和自我修复的存储服务,实现自动化部署、启动、配置、扩容、升级、迁移、灾难恢复、监控和资源管理。 因此,Rook解决的问题是: 快速部署一套云原生存储集群; 平台化管理云原生存储集群,包括存储的扩容、升级、监控、灾难恢复等全生命周期管理; 本身基于云原生容器管理(如Kubernetes),管理方便。 以前苦于没有部署云原生存储系统,一直没法实践这些特性,这次得益于Rook的便捷性,赶紧来尝鲜下。 更深入地观察存储挂载机制 通过上面两个测试场景,我们来看下背后的云原生存储的运行逻辑: 进入pod观察存储挂载情况 对比两个测试场景pod实例里面存储挂载情况: # use ceph as rbd storage
作者 | 阚俊宝 阿里云技术专家 导读:云原生存储详解系列文章将从云原生存储服务的概念、特点、需求、原理、使用及案例等方面,和大家一起探讨云原生存储技术新的机遇与挑战。 相关文章推荐: 云原生存储详解:云原生应用的基石 云原生存储详解:容器存储与 K8s 存储卷 云原生存储的两个关键领域:Docker 存储卷、K8s 存储卷; Docker 存储卷:容器服务在单节点的存储组织形式 ; 容器 1(2)和容器 3 共享镜像 2 个层(Layer3、5); 通过上述例子可以看到,通过容器镜像分层实现数据共享可以大幅减少容器服务对主机存储的资源需求。 其他各种存储驱动这里不再细讲,有兴趣的同学可以到网上查询资料。 3. 3.
httpd容器docker run -d --name web01 -p 82:80 -v /data/test/htdocs/:/usr/local/apache2/htdocs/ httpd图片3. 1f4f0f5f0c604cca28ad955db0b19c04f93026468448ca98f43f4eeaa69b4186/diff:/var/lib/docker/overlay2/47f840069670e495b72b41d3aba5e0ed52346af2da30c4b9accc0b9866d9e3f9 SecondaryIPAddresses": null, "SecondaryIPv6Addresses": null, "EndpointID": "276ea4df3a145005646c1f457c57ad47ab3e367cc6a2c15ce78bc2b0a198b25d 49542796523d70c8ccea7b297c45542ee4b5f30be2d9e1420cdf9ea57c5864fe", "EndpointID": "276ea4df3a145005646c1f457c57ad47ab3e367cc6a2c15ce78bc2b0a198b25d docker create --name test03 -v /data/test/htdocs:/usr/local/apache2/htdocs -v /other/tools/ busybox 3aab455cee0bccd7776ed43bee1d083a4fb61275e7cfd8b63a3e0de9a9b6b9c52
但值得注意的是,据CNCF调查显示,目前存储系统依然是云原生场景使用和部署中面临的最主要障碍之一。 云原生环境对存储 带来新挑战 存储系统一直以来都是基础设施软件中的核心之一。 云原生存储作为一种存储系统,可靠性、性能、高可用等特点都是必不可少的。除此之外,云原生环境对存储系统提出了更高的要求。 面对诸多挑战云原生存储应具备哪些特点呢? 云原生生态 云原生存储还需要能够很好地和其他云原生基础设施配合,例如云原生数据库,使得云原生数据库可以真正的在公有云和私有云都能够得到一致的用户体验。 市场上的云原生存储方案 为了更好的理解在云环境中如何构建云原生存储,先看几个在Kubernetes企业环境中部署主流的云原生存储方案。 事实上,云原生存储遇到的性能、弹性、高可用、加密、隔离、可观测性、生命周期等方面的问题,不但需要存储产品层次的改进,更需要在云原生的控制/数据平面的改进,以推进云原生存储的演进,而这正是新老存储厂商有待优化和提供的服务空间
和持久化走 cloud DB…… 云原生时代的系统开发 对于系统开发人员来说(比如云数据库,云 AI 平台),云原生的趋势也会产生相应的影响。 举几个简单的例子,比如大家现在常用的 s3 存储,其实我们都不知道 AWS 在底层具体用了什么样的软件或者硬件,我们只关心它能提供稳定可靠的存储服务即可。 因此 AWS 如果在底层做了很复杂的软硬件优化,使得 s3 的存储成本低于 Azure, GCP,那么就会有很大的竞争优势。 而前面讲的“云原生语言”,则更关注在程序具体执行层面的关注点分离。 把两者结合起来看,云原生时代的 AI 平台开发会是一片巨大的未开垦之地,对于云和算法各自都有很宽很长的路可以走。 目前云原生跟 AI 结合的一个比较好的学习样例是 Kubeflow,之前春节期间读了一本《Kubeflow for Machine Learning[3]》,感觉收获还是挺多的,如Istio,CRD的应用等
功能层面 智能是主要价值:核心功能依赖AI实现,去掉AI后价值大幅降低 持续学习能力:系统能够从用户交互和新数据中不断学习优化 个性化体验:基于AI为每个用户提供定制化的服务 3. AI原生-大模型原生+知识原生+价值原生 一个系统能够称之为叫AI原生系统呢?这里面核心的一个关键就是整个系统核心的能力是架构在底层的AI大模型和底层的知识层上面的。 你如果满足这么一个条件,那你们做一个系统就可以叫做AI原生系统。 我原来谈AI原生的时候谈到过,AI原生核心是知识原生,为何你当前企业有数据库数据,有资料文档,不能快速的构建AI原生应用? 注意这个说法只解决了AI原生应用的大模型原生问题,并没有解决知识原生的问题。如果按这个说法所有的AI智能体应用都是AI原生应用,但是我的理解,AI原生应用的核心重点应该是在知识原生上面。 至于我个人的想法就是至少在3~5年的时间都很难真正达到一个AI原生应用的这么一个理想的状态。
OrioleDB – 构建现代云原生存储引擎 OrioleDB是PG的一个新存储引擎,为世界上最受欢迎的数据库平台带来一种现代化数据库容量、功能和性能方法。 OrioleDB的设计针对数十个和上百CPU内核现代服务器,避免CPU瓶颈,提供了针对现代存储技术,例如SSD和NVM,的使用方法。 2)减少维护需求。 此外,还实现了默认的64位事务标识符,从而消除了众所周知的回卷问题 3)分布式设计。实现了一个支持并行回放的行级WAL日志。 旧版本的元组不会导致主存储系统膨胀,而是将其放逐到undo链的undo日志中。页级别的undo记录允许系统很方便地尽快回收已删除元组占用的空间。 3)copy-on-write检查点和行级WAL。OrioleDB利用copy-on-write检查点,每时每刻都提供结构上一致的数据快照。这对现代SSD很友好,并允许行级WAL日志记录。
为什么容器技术如此火热 云原生时代,容器凭借其易移植、云上云下自由运行、自由迁移的特点,得到了众多企业的青睐。 ,导致影响容器应用的性能和效率; 3、管理运维难:存储的管理和运维过于复杂,需要和存储部门紧密配合才能完成业务的上线和运维工作,存储发放效率不足,批量升级场景耗时高,运维人员负担重; 4、灾备方案缺乏: 对性能要求高的应用:很多新兴应用,如AI训练,其典型数据结构是海量非结构化数据的随机读写,文件大小通常在数KB到数MB,数量可达百亿,计算资源规模从几十台到上千台不等。 SAN存储上的数据无法在上千台计算集群中共享,因此不是容器存储的最佳选择。 例如,某大型商业银行使用Ceph+服务器本地盘构建的分布式存储系统,在AI场景实测性能只有2万OPS,而采用华为OceanStor Dorado全闪存NAS存储后,双控性能轻松达成40万OPS,AI分析效率提升
|Linear||文档存储|Notion||AI辅助|自家产品、提示词工程||品牌创作|Midjourney、Krea.ai、Civitai|####核心洞察>"AI工具在编码方面远远不够好,但它可以帮助我们从产品发布到 **流量组合拳**:抖音、今日头条导流3. |跨部门AI应用,组织协调增强|AI应用增多但割裂||**L4**|深度融合|业务流程与AI深度整合,数据闭环|初步AI原生||**L5**|AI原生|组织架构建立在AI之上,智能演化|真正的AI原生组织 **人均效率突破**:顶尖AI初创企业人均收入已达传统SaaS公司的数倍3. 》(2026年3月)报告生成时间:2026年5月18日
结果是类似这样的 [root@opti-slave tmp]# cat optimize.sql optimize table azheng_db.answers; optimize table azheng_db.feedbacks; optimize table azheng_db.logged_exceptions; optimize table azheng_db.question_answers; optimize table azheng_db.questions; optimize tabl
在内部文件的读取 **内部存储(internal storeage) ram:运行时期的内存 (相当于电脑的内存) rom;存储的内存 (相当于电脑的硬盘) ,sd卡路径:storage/sdcard * 所有存储设备,都会被划分成若干个区块,每个区块有固定的大小 * 存储设备的总大小 = 区块大小 * 区块数量 一般的术语:手机自带的32G,指的是手机的外部存储空间 3. 储存步骤 得到了SharedPreferences对象之后, 就可以开始向SharedPreferences文件中存储数据了,主要可以分为三步实现。 1. 3. 调用 commit()方法将添加的数据提交,从而完成数据存储操作。
Jedis是以Redis命令作为方法名使用的,使用比较方便,但是缺点是多线程情况下,会有线程安全问题。所以必须使用JedisPool线程池使用!