- 综合排序
- 最热优先
- 最新优先
- 来自专栏云原生研究
在 K8S 中 Java OOM dump 文件存储方案
本文试图解决在 k8s 环境下 java 内存溢出时候 dump 文件的存储问题。 过程完成之后，java 进程退出，容器会被 k8s 重启。 方案 下述方案使用腾讯云产品实现。 1、 将cos 作为存储介质，直接绑定到集群。当发现 java_pid1.hprof 生成后，使用 scf 触发器修改文件名即可。 下面重点讨论第二种方案。 需要保证 java 版本不低于如下版本：Java SE 8u131 和 openjdk 8u181 本文的源代码地址：https://github.com/cloudbeer/oom-sims 参考：
11.2K62发布于 2021-05-27 - 来自专栏猫头虎博客专区
MySQL 8 存储JSON
要在MySQL中存储数据，必须定义数据库和表结构，但有时做配置后台开关项太多不可能定义几百个字段，用json方法放到一个一个字段里也是必要的。 之前，json数据不被支持，只是被存储为字符串。 mysql8JSON数据类型提供了自动验证的JSON文档以及优化的存储格式。 all’, “ .address.line1", " .address.line5”) from employees.emp_details; 返回值：0 有三种函数来修改数据： 在MySQL 8之前的版本中
1.2K10编辑于 2024-04-07 - 来自专栏一行舟
在线Excel存储方案
引言：设计数据存储方案时，Feed流、IM消息、订单等一些典型业务场景的，都有比较多的技术文章和教学课程；在线Excel场景下的文章却很匮乏，所以把自己近期对在线Excel存储选型的一些思考写下来，和大家一起交流 人的主要属性有：用户ID、人员名称等，是典型的结构化数据，我们只需要根据数据量去选择合适的存储方案就可以，不是本文的重点，就不细说了。 我们重点分析Excel文档的存储。 方案设计 经过上面的分析我们对数据库的需求有： 需求 是否必须 低延迟 必须 支持CP模型 必须 支持非结构化数据存储 必须 有亿级数据的存储方案 必须 有成熟的扩容方案 必须 冷热数据 非必须 各类数据库对比 最终选型 需求 MySQL MongoDB TiDB S3 低延迟 ✅ ✅ ✅ 支持CP模型 ✅ ✅ ✅ 支持非结构化数据存储 ❌ ✅ ❌ 有亿级数据的存储方案 ✅ ✅ ✅ ✅ 有成熟的扩容方案 一般使用比较多的数据库如MySQL、MongoDB在这些方面都有成熟的方案。综上所述：采用「MongoDB」来存储元数据和Excel文档的热数据，采用「对象存储」来存放冷数据是一个比较不错的方案。
2.8K20编辑于 2022-08-25 - 来自专栏CSDN搜“看，未来”
k8s 存储卷之简单存储
k8s 存储卷之简单存储 导读 容器的生命周期可能很短，会被频繁的创建和销毁。那么容器在销毁的时候，保存在容器中的数据也会被清除。这种结果对用户来说，在某些情况下是不乐意看到的。 kubernetes的Volume支持多种类型，比较常见的有下面的几个： ○ 简单存储：EmptyDir、HostPath、NFS。 ○ 高级存储：PV、PVC。 NFS是一个网络文件存储系统，可以搭建一台NFS服务器，然后将Pod中的存储直接连接到NFS系统上，这样的话，无论Pod在节点上怎么转移，只要Node跟NFS的对接没问题，数据就可以成功访问。 ]# systemctl restart nfs 2、在每个node节点上都安装下nfs，这样的目的是为了node节点可以驱动nfs设备 # 在node上安装nfs服务，注意不需要启动 [root@k8s-master01 ~]# kubectl create -f volume-nfs.yaml pod/volume-nfs created # 查看pod [root@k8s-master01 ~]# kubectl
1.1K10编辑于 2022-08-11 - 来自专栏腾讯云存储
直播邀约 | 4月8日，腾讯云AIGC存储解决方案重磅发布！
本期,我们将为大家开箱 “腾讯云AIGC存储解决方案”的重磅发布 这将是国内首个双自研存储引擎支撑的AIGC存储解决方案 也是“80%大模型企业的共同选择” AI大模型将重新定义云计算的网络、计算存储, 这其中也对“数据底座也提出了更高的要求而这次腾讯云存储的重磅升级正是为AIGC场景量身定制 或者扫描海报下方二维码即可预约活动
30310编辑于 2024-04-03 - 来自专栏存储公众号：王知鱼
Solidigm：海量数据存储方案
存储需求差异化：从数据中心的大容量存储到车载的相对小容量存储，不同环节对存储容量要求各不相同。 6. 可持续性：增加对总体拥有成本（TCO）和可持续性的关注。 得益于SKhynix在高密度存储3D-NAND领域长期积累的优势，Solidigm可完整复制高密度存储的生产能力。 高密度存储全栈解决方案 主要涵盖了三个方面的技术突破： 1. 这一进展对存储系统具有重要意义，因为它提供了更高的存储容量，同时不sacrificing牺牲性能和耐久性，为数据中心和企业存储解决方案提供了更具成本效益的选择。 图片阐述了存储技术领域正在经历的重大转变，强调了高密度存储解决方案的重要性。主要传达以下几个关键信息： 1. 采用固态硬盘和闪存存储技术的数据中心可以大幅降低能耗和成本。 2. 数据中心使用全QLC闪存存储方案能够实现更高的容量和更低的成本。 3.
88910编辑于 2025-02-11 - 来自专栏小徐学爬虫
Elasticsearch数据存储优化方案
优化Elasticsearch数据存储有助于提升系统性能、降低成本、提高数据查询效率以及增强系统的稳定性和可靠性。通常我们再优化Elasticsearch数据存储会遇到一些问题，导致项目卡壳。 以下是优化Elasticsearch数据存储的一些重要作用：1、问题背景在某些场景中，我们可能会考虑绕过数据库，直接使用Elasticsearch存储数据，并在Python应用程序中实时构建这些数据。 2、解决方案使用Elasticsearch批量索引APIElasticsearch的批量索引API具有很高的效率，可以处理大量的数据。具体性能会根据源文档和分析器的复杂性有所变化。 消息代理是一种中间件软件，它可以存储和转发消息。应用程序将数据发送到消息代理，消息代理将数据转发到Elasticsearch。 如果Elasticsearch无法及时处理数据，那么消息代理会将数据存储起来，等到Elasticsearch能够处理数据时再转发给Elasticsearch。
99210编辑于 2024-03-18 - 来自专栏存储公众号：王知鱼
SuperMicro：AI存储硬件方案
SuperMicro：AI存储硬件方案-Fig-2 企业级AI存储方案 Pod 级别的部署（较云厂商规模、性能要求降低） 企业用例，推理与训练的比较 存储需求： • 全 NVMe 或 PB 级别的分层存储 • WEKA 数据平台： • 扩展式、分层存储解决方案。 • 集群存储解决方案。 • 数据保护和性能保障。 SuperMicro：AI存储硬件方案-Fig-5 计算+存储（性能层）+容量层 方案 所有训练数据集和模型都存储在本地 • 数据湖使用容量优化的存储。 SuperMicro：AI存储硬件方案-Fig-6 方案验证 机架视角的集群组网方案 解决方案架构，分为三个层次： 1. 应用层（Application Tier）：通过 Supermicro 8U GPU 服务器与 1/10/25 GbE 和 InfiniBand 网络连接至数据中心。 2.
1.5K10编辑于 2025-02-11 - 来自专栏Elton的技术分享博客
网站密码存储方案比较
第一种就不解释了，我们看下第二种加密算法（php代码）$salt是一个随机字符串，每个用户都不一样，并且要存储下来用于验证 md5($password. [:r] 然后在django.contrib.auth.hashers里使用，密码以“algorithm$number of iterations$salt$password hash”的格式返回，并存储在同一个字段中 当然，如果你自己编写PBKDF2函数，你可以将salt存储在任意字段。只要让每个用户都不一样就行了。
2.2K30发布于 2021-01-22 - 来自专栏公众号:咻咻ing
8. 部署方案
JanusGraph提供了多种存储和索引后端选项，可以灵活地部署它们。本章介绍了一些可能的部署方案，以帮助解决这种灵活性带来的复杂性。 在讨论不同的部署方案之前，了解JanusGraph本身和后端存储所扮演的角色非常重要。首先，程序只与JanusGraph直接通信，主要是通过发送Gremlin遍历来交互。 任何可扩展存储后端都可以通过这种方案来使用。 但是，对于Scylla，当托管与此方案中的其他服务共存时，需要进行一些配置。 在这个方案中需要使用索引时，它也需要是可扩展的。 2. 这种部署方案提供了不同组件的独立可伸缩性，因此使用可扩展的后端存储/索引当然也是最有意义的。 3. 简单部署 也可以在一台服务器上将JanusGraph Server与后端一起部署。 与之前的部署方案相反，此方案对于使用不可扩展的后端是最有意义的。 内存存储可用于测试调研目的，或者Berkeley DB用于生产，Lucene作为可选的索引后端。 4.
98620发布于 2019-08-07 - 来自专栏SRE云原生实践之路
k8s之存储篇---存储卷PersistentVolume
为了更好的管理存储，Kubernetes 引入了 PersistentVolume 和 PersistentVolumeClaim 两个概念，将存储管理抽象成如何提供存储以及如何使用存储两个关注点。 PersistentVolume（PV 存储卷）是集群中的一块存储空间，由集群管理员管理、或者由 Storage Class（存储类）自动管理。 PersistentVolume（存储卷）描述了如何提供存储的细节信息（NFS、cephfs等存储的具体参数）。 PersistentVolumeClaim（PVC 存储卷声明）代表用户使用存储的请求。Pod 容器组消耗 node 计算资源，PVC 存储卷声明消耗 PersistentVolume 存储资源。 为了解决这个问题，Kubernetes 引入了 StorageClass（存储类）的概念 存储卷和存储卷声明的关系 存储卷和存储卷声明的关系如下图所示： PersistentVolume 是集群中的存储资源
81910编辑于 2024-09-06 - 来自专栏summerking的专栏
k8s存储节点和POD存储数据
# 容器的存储卷 Pod是自己有生命周期的 Pod消失后数据也会消失 所以我们要把数据放在一个容器的外面 docker存储卷在k8s上只有一定的存储性，因为k8s是调度的，Pod挂掉之后再启动不会默认之前的数据位置 脱离节点的存储设备才可以解决持久能力 在K8s上Pod删除，存储卷也会随之而删除的，这一点区分docker # 存储卷挂载方式大致分为三类 容器内存储卷挂载 宿主机存储卷挂载 分布式文件存储卷挂载
62650编辑于 2022-09-19 - 来自专栏国产自主可控存储
8TBLRMs存储模块
LRMs存储模块.jpg 该存储模块容量为8TB，适用于军用飞机，符合军用飞机可靠性设计准则，采用领存自主可控主控芯片SSD，通过SAS接口对外提供块级文件存、取服务，具备异常掉电数据保护功能以及物理自毁和逻辑自毁功能 ；整个存储模块采用宽温设计，以及超强LDPC+BCH混合纠错算法，大幅提升产品可靠性，并使产品寿命比市场同类介质产品增加3倍以上，对外提供8路读写400MB/路传输性能，整盘顺序写入速率高于3000MB 本模块为定制ASSAC结构标准模块，背板电气接口采用158厂LRM数模混装盲插连接器实现物理互联； 6对电源接口；8路数据接口；4路销毁接口； 233.4mm*160mm*24mm 尺寸3U，170.6 *100*20.83mm 容量最大8TB 工作温度：-40°C~85°C 支持TRIM及NO-TRIM，在没有TRIM支持的条件下，仍可以保证性能与TRIM一直； 加密：AES128/256bit; 内置钽电容 ，支持异常掉电数据保护； 纠错能力：80bit@512Byte; 单模块功耗30W； 物理销毁功耗70W； 具备短路保护功能； 直流+28V供电，为两线制，28V及其回线 该模块为领存技术在国产军工存储模块的又一先进力作
82900发布于 2018-07-05 - 来自专栏thinkphp+vue
云原生存储详解：容器存储与 K8s 存储卷
相关文章推荐： 云原生存储详解：云原生应用的基石 云原生存储详解：容器存储与 K8s 存储卷 云原生存储的两个关键领域：Docker 存储卷、K8s 存储卷； Docker 存储卷：容器服务在单节点的存储组织形式 K8s 是一个容器编排系统，其关注的是容器应用在整个集群的管理和部署形式，所以在考虑 K8s 应用存储的时候就需要从集群角度考虑。K8s 存储卷定义了在 K8s 系统中应用与存储的关联关系。 存储卷是一个集群级别的概念，其对象作用范围是整个 K8s 集群，而不是而一个节点； K8s 存储卷包含一些对象（PVC、PV、SC），这些对象和应用负载（Pod）是独立，通过编排模板进行关联； K8s 在多可用区集群环境中，更推荐使用延迟绑定的动态卷方案，目前阿里云 ACK 集群已经支持上述配置方案。 3. K8s 为了实现上述复杂的存储卷编排能力，其实现架构也较为复杂，下节内容我们将为您介绍 K8s 的存储架构和实现流程。
2.6K41发布于 2021-05-18 - 来自专栏腾讯云存储
对象存储COS成本优化方案
在存储费用方面，COS提供了标准存储、低频存储、智能分层存储、归档存储、深度归档存储等不同的存储类型，各个存储类型的产品规格和价格均存在差异，客户可以根据自己的业务模式选择性价比最匹配的存储类型。 下面我们将从5个方面介绍COS成本优化方案： 选择合适的存储类型 定期通过清单和访问日志功能分析数据访问模式 通过生命周期和批量处理沉降数据 通过文件压缩减少存储容量 进行成本回顾 一、选择合适的存储类型 下表展示了使用不同存储类型存储一个月数据对应的存储成本，以在广州园区存储100TB业务数据为例： 从表中可以看到，如果业务数据下载量较低，则选择归档存储甚至深度归档能有效降低存储成本，最冷的深度归档存储相较标准存储可节省 最小存储时长：数据存储在对应存储类型时，需要存储的最短时间，不满最短时间按照最短时间算。比如低频存储最少存储 30天，如果一个低频数据只存储了1天就删除，也会按照 30天计算费用。 在未来，COS会持续探索并推出更多的存储产品和服务，挖掘场景化解决方案，为客户提供业界内性价比最高的存储服务。
2.3K31发布于 2020-11-20 - 来自专栏伟哥专栏
COS存储跨园区同步方案
对象存储（Cloud Object Storage，COS）是腾讯云提供的一种存储海量文件的分布式存储服务，用户可通过网络随时存储和查看数据。 腾讯云 COS 使所有用户都能使用具备高扩展性、低成本、可靠和安全的数据存储服务。 数据同步方案3：回源拉取同步能力 回源拉取复制.jpg 针对于热数据同步的场景，部分数据同步，降低存储成本。 此方法优点：配置简单，仅热数据被同步，节省存储空间。 ---- COS高可用数据同步方案 通过数据同步方案4的架构，结合COS自身特点与相关产品的功能，我们可以绘制出一个具备数据高可靠 + 高可用 + 容灾能力 + 故障切换能力的整体架构图。 存储高可用同步方案（完整）.jpg 数据高可靠：通过上传至Master桶后，可实现实时跨区域数据同步，包括多云（友商云）同步。确保数据主从分离，天然支持业务层多副本冗余，提升数据可靠性。
3.1K1413发布于 2020-06-13 - 来自专栏王亚昌的专栏
SNS站点的数据存储方案
今天看了篇文章，谈到SNS站点应用中的分库分表问题，这里我也谈谈我对SNS站点和应用数据存储的看法。 一、数据存储 SNS站点中数据层根据业务和访问特性可分为几类： 1. 这类数据一定要落到DB里，保证数据的终极存储，前端用内存cache保证快速响应，因为写并不是很频繁，因些DB足以支持，通常mysql可以支持每秒200-400次写请求。 3. 如果cache机掉电的话，可以采用上面提到的方案，从DB中恢复数据，用户资料回档到10分钟之前，同时对用户进行补偿与告知，平息用户投诉。 三、总结 本文主要讨论了SNS站点和应用数据存储的问题，上面给出的方案基于业务可用性、稳定性、冗灾以及成本的综合考虑，用一位前辈的话就是“一切都是均衡”，业务的稳定性不能单独靠高成本去保证。
1.2K20发布于 2018-08-03 - 来自专栏lib库
通用缓存存储方案设计
目录介绍01.整体概述说明1.1 项目背景介绍1.2 遇到问题记录1.3 基础概念介绍1.4 设计目标1.5 产生收益分析02.市面存储方案2.1 缓存存储有哪些2.2 缓存策略有哪些2.3 常见存储方案 2.4 市面存储方案说明2.5 存储方案的不足03.存储方案原理3.1 Sp存储原理分析3.2 MMKV存储原理分析3.3 LruCache考量分析3.4 DiskLru原理分析3.5 DataStore 3.9 各种数据存储文件SharedPreferences 存储文件格式如下所示<?xml version='1.0' encoding='utf-<em>8</em>' standalone='yes' ? 大概如下所示：图片图片这种设计最直接问题就是占用空间变大了很多，举一个例子，只存储了一个字段，但是为了方便MMAP映射，磁盘直接占用了8k的存储。 要是想兼容不同存储方案切换，就必须自己制定一个通用缓存接口。定义接口，然后各个不同存储方案实现接口，重写抽象方法。
1.7K10编辑于 2023-03-07 - 来自专栏前端技术江湖
前端最能打的本地存储方案
方案选择 既然要存储的数量大，得排除cookie localStorage，虽然比cookie多，但是同样有上限（5M）左右，备选 websql 使用简单，存储量大，兼容性差，备选 indexDB api 你可以存储如下类型的 JavaScript 对象： Array ArrayBuffer Blob Float32Array Float64Array Int8Array Int16Array Int32Array Number Object Uint8Array Uint8ClampedArray Uint16Array Uint32Array String localforage .setItem("somekey 的上限导致缓存失败了 进一步假设 在知道iphone4居然支持indexDB后，我失去头绪了，拿着十年前的这个古董机，随便翻翻，看看系统，看看版本，没看出什么问题，但是我发现这iphone4的内存也是出奇的小，只有8G 等等，8G内存，如果手机内存不足的前提下，localforage继续缓存会怎么样？ 随即，随便下载点软件，毫不费力就将这台iphone4的内存整得只剩下50M不到了，手机已经开始提示要清理内存。
1.2K10编辑于 2023-09-25 - 来自专栏用户5909132的专栏
存储分发加速解决方案
CDN 单家云厂商对象存储对多个云厂商 CDN的架构模型为： 计费项如下： CDN回源：A云厂商对象存储侧计费，A云厂商的CDN回源到自家对象存储时消耗的流量； 外网下行流量：A云厂商对象存储侧计费 ； 使用多家云厂商CDN，可形成多家CDN容灾架构，避免单一CDN故障影响； 使用多家云厂商对象存储，可形成多家云存储容灾架构，避免单一对象存储故障影响； 但使用此模型也存在一定的问题，比如多个对象存储之间的数据同步 最佳优惠方案对比 推荐使用：单一云厂商模型(以腾讯云为例) 流量费用=CDN回源流量+CDN流量（一般情况下命中率90%） 以刊例价为例 CDN 回源流量：0.15*（1-90%）=0.015元/GB -0.11元/GB） 总流量费用=0.26-0.16元/GB（腾讯云刊例价） 使用多家云厂商存储+CDN，回源流量费用增加233%，整体流量费用增加16%以上 促销活动推荐 目前正在进行此方案的活动促销 2、加速配置 创建好存储桶后直接进入该存储桶的配置管理页面，或在存储桶列表单击需要配置的存储桶操作栏的【配置管理】，进入配置管理页面，选择【域名管理】。
13.9K31发布于 2020-06-12
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号