- 综合排序
- 最热优先
- 最新优先
- 来自专栏devops运维先行者
TSDB -- M3DB Prometheus远端存储方案
开篇 本文承接前文 Prometheus 监控架构 -- 生产级别，其中主要介绍Prometheus的远端TSDB存储 -- M3DB，包括M3DB集群部署及原理。 M3DB，它为时间序列数据和反向索引提供可伸缩的存储。 辅助进程M3Coordinator，允许M3DB充当Prometheus的长期存储。 分布式查询引擎M3Query，其对PromQL和Graphite的原生支持（即将推出M3QL）。 聚合层M3Aggregator，作为专用的度量聚合器/下采样器运行，允许以不同的分辨率以各种保留方式存储度量。 Storage Node：在这些主机上运行的m3dbnode进程是数据库的主力，它们存储数据，并提供读写功能。 Seed Node：首先，这些主机本身就是存储节点。
2.5K30编辑于 2022-06-01 - 来自专栏一行舟
在线Excel存储方案
方案设计 经过上面的分析我们对数据库的需求有： 需求 是否必须 低延迟 必须 支持CP模型 必须 支持非结构化数据存储 必须 有亿级数据的存储方案 必须 有成熟的扩容方案 必须 冷热数据 非必须 各类数据库对比 对象存储（S3、HBase）：低延迟和CP模型支持不太好，但是由于成本低廉和相对不错的访问速度比较适合存储冷数据。 最终选型 需求 MySQL MongoDB TiDB S3 低延迟 ✅ ✅ ✅ 支持CP模型 ✅ ✅ ✅ 支持非结构化数据存储 ❌ ✅ ❌ 有亿级数据的存储方案 ✅ ✅ ✅ ✅ 有成熟的扩容方案 ✅ ✅ ✅ ✅ 冷热数据 ✅ ✅ MySQL是典型的传统关系型数据库，MongoDB是典型的文档型数据库，TiDB是典型的NewSQL数据库，S3是典型的对象存储数据库。 一般使用比较多的数据库如MySQL、MongoDB在这些方面都有成熟的方案。综上所述：采用「MongoDB」来存储元数据和Excel文档的热数据，采用「对象存储」来存放冷数据是一个比较不错的方案。
2.8K20编辑于 2022-08-25 【SpringBoot实战系列】SpringBoot3.X 整合 MinIO 存储原生方案
SpringBoot3.X整合MinIO存储原生方案：从环境搭建到实战开发 一、前言：为什么选择MinIO？ 在分布式存储领域，MinIO作为一款高性能的对象存储服务，凭借兼容S3 API、轻量级部署、支持分布式集群等特性，成为企业级文件存储的热门选择。 本文将基于SpringBoot3.X版本，从零开始构建MinIO文件存储方案，涵盖环境准备、依赖配置、核心功能开发、进阶特性及问题排查，帮助开发者快速掌握原生整合方案。 二、环境准备 1. X整合MinIO的原生方案，从环境搭建到核心功能实现，涵盖了文件上传、下载、删除等常用操作，并补充了异常处理、参数校验、安全实践等内容。 通过原生SDK整合，开发者可以灵活定制存储逻辑，满足不同业务场景需求。 MinIO作为轻量级对象存储方案，非常适合中小规模项目使用，结合SpringBoot的自动化配置，能大幅提升开发效率。
92410编辑于 2025-12-22- 来自专栏小徐学爬虫
Elasticsearch数据存储优化方案
优化Elasticsearch数据存储有助于提升系统性能、降低成本、提高数据查询效率以及增强系统的稳定性和可靠性。通常我们再优化Elasticsearch数据存储会遇到一些问题，导致项目卡壳。 以下是优化Elasticsearch数据存储的一些重要作用：1、问题背景在某些场景中，我们可能会考虑绕过数据库，直接使用Elasticsearch存储数据，并在Python应用程序中实时构建这些数据。 2、解决方案使用Elasticsearch批量索引APIElasticsearch的批量索引API具有很高的效率，可以处理大量的数据。具体性能会根据源文档和分析器的复杂性有所变化。 消息代理是一种中间件软件，它可以存储和转发消息。应用程序将数据发送到消息代理，消息代理将数据转发到Elasticsearch。 如果Elasticsearch无法及时处理数据，那么消息代理会将数据存储起来，等到Elasticsearch能够处理数据时再转发给Elasticsearch。
99210编辑于 2024-03-18 - 来自专栏存储公众号：王知鱼
SuperMicro：AI存储硬件方案
• 并行文件系统，高性能对象存储。 SuperMicro：AI存储硬件方案-Fig-3 基础计算硬件方案 在执行 AIOps 和 MLOps 时： • GPU 密集型服务器加速 AI 训练和推理。 • 更多利用率 -> 更好的投资回报（ROI） • Supermicro Peta级存储系统： • 使用最新的 E3.S NVMe 存储的 1U 和 2U 服务器。 • WEKA 数据平台： • 扩展式、分层存储解决方案。 • 集群存储解决方案。 • 数据保护和性能保障。 SuperMicro：AI存储硬件方案-Fig-6 方案验证 机架视角的集群组网方案 解决方案架构，分为三个层次： 1. 全闪存层（All-Flash Tier）：使用 Supermicro Petascale 存储服务器，通过 400 Gbps 的 InfiniBand 提供数据存取。 3.
1.5K10编辑于 2025-02-11 - 来自专栏存储公众号：王知鱼
Solidigm：海量数据存储方案
得益于SKhynix在高密度存储3D-NAND领域长期积累的优势，Solidigm可完整复制高密度存储的生产能力。 高密度存储全栈解决方案 主要涵盖了三个方面的技术突破： 1. 这一进展对存储系统具有重要意义，因为它提供了更高的存储容量，同时不sacrificing牺牲性能和耐久性，为数据中心和企业存储解决方案提供了更具成本效益的选择。 图片阐述了存储技术领域正在经历的重大转变，强调了高密度存储解决方案的重要性。主要传达以下几个关键信息： 1. 高密度存储的价值：图片呼吁关注高密度存储技术的价值，这种技术能够在有限的物理空间内存储更多数据。 3. 扩展性：强调了大规模就地扩展的能力，这使得存储系统能够在不中断服务的情况下轻松增加容量。 4. 采用固态硬盘和闪存存储技术的数据中心可以大幅降低能耗和成本。 2. 数据中心使用全QLC闪存存储方案能够实现更高的容量和更低的成本。 3.
88910编辑于 2025-02-11 - 来自专栏Elton的技术分享博客
网站密码存储方案比较
第一种就不解释了，我们看下第二种加密算法（php代码）$salt是一个随机字符串，每个用户都不一样，并且要存储下来用于验证 md5($password. [:r] 然后在django.contrib.auth.hashers里使用，密码以“algorithm$number of iterations$salt$password hash”的格式返回，并存储在同一个字段中 当然，如果你自己编写PBKDF2函数，你可以将salt存储在任意字段。只要让每个用户都不一样就行了。 def verify(self, password, encoded): algorithm, iterations, salt, hash = encoded.split('$', 3) def safe_summary(self, encoded): algorithm, iterations, salt, hash = encoded.split('$', 3)
2.2K30发布于 2021-01-22 - 来自专栏技术杂记
Mysql 优化存储3
结果是类似这样的 [root@opti-slave tmp]# cat optimize.sql optimize table azheng_db.answers; optimize table azheng_db.feedbacks; optimize table azheng_db.logged_exceptions; optimize table azheng_db.question_answers; optimize table azheng_db.questions; optimize tabl
40820编辑于 2022-03-21 - 来自专栏Android开发指南
3.数据存储
在内部文件的读取 **内部存储(internal storeage) ram:运行时期的内存 (相当于电脑的内存) rom；存储的内存 (相当于电脑的硬盘) ，sd卡路径：storage/sdcard * 所有存储设备，都会被划分成若干个区块，每个区块有固定的大小 * 存储设备的总大小 = 区块大小 * 区块数量 一般的术语:手机自带的32G，指的是手机的外部存储空间 3. 储存步骤 得到了SharedPreferences对象之后， 就可以开始向SharedPreferences文件中存储数据了，主要可以分为三步实现。 1. 3. 调用 commit()方法将添加的数据提交，从而完成数据存储操作。
1.3K70发布于 2018-05-14 - 来自专栏python3
KVM专题（3）存储
KVM存储模式 基于文件系统的存储 dir:目录格式的存储 fs:磁盘分区存储 neyfs:网络共享文件存储 基于设备的存储 Disk：物理硬盘存储 Iscsi:iSCSITarget后端存储 logical :逻辑卷的存储 KVM支持的虚拟磁盘类型 raw 这并非是一种真正的磁盘格式，而是代表虚拟机所使用的原始镜像 他并不存储元数据，因此可以作为保证虚拟机兼容性的候选方案。 : 存储池的基本概念 Libvirt可以以存储池的形式对存储进行统一管理、简化操作 对于虚拟机操作来说，存储池和卷并不是必须的 ? gpt格式 准备xml文件 <pool type='disk'> <name>guest_images3_fs</name> <source> <device path='/dev/sdc virsh pool-start guest_images<em>3</em>_fs :启动<em>存储</em>池 创建基于iscsi的<em>存储</em>池 在iscsi Target服务器上面安装target服务，并配置 /backstores/
1.4K10发布于 2020-01-10 - 来自专栏开发技能乱炖
3-数据存储之文件存储(1)
一 简单介绍： 我们前面很少将提取的数据或者获取的源码保存下来；其实日常的工作中在解析出数据后接下来就是存储数据。 熟悉/了解上面的知识点后(详细信息：菜鸟教程/w3school)，我们实例一下； 小说网站：https://xs.sogou.com/mianfei/ 获取书名、简洁并保存为txt文件： import JSON文件存储: 先官方话了解一下： JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。它基于ECMAScript的一个子集。 3). CSV文件存储： 使用csv文件存储，我理解的就是表格存储，Excel都用过吧，就是那个;接下来我们分文件的写入跟读取两部分分开讲解，请系好安全带(如果非要介绍定义的话，请百度…我就是懒)； 简单写入，
2.2K30发布于 2019-11-12 - 来自专栏腾讯云存储
对象存储COS成本优化方案
在存储费用方面，COS提供了标准存储、低频存储、智能分层存储、归档存储、深度归档存储等不同的存储类型，各个存储类型的产品规格和价格均存在差异，客户可以根据自己的业务模式选择性价比最匹配的存储类型。 下面我们将从5个方面介绍COS成本优化方案： 选择合适的存储类型 定期通过清单和访问日志功能分析数据访问模式 通过生命周期和批量处理沉降数据 通过文件压缩减少存储容量 进行成本回顾 一、选择合适的存储类型 ； 3、输入检索语句，在检索结果卡片页查看检索结果； 注意：控制台只支持检索128MB以下文件，如果清单报告的容量过大，或者报告数量过多，可以选择工具、SDK或者API的方式调用。 操作步骤如下： 1、导出待处理文件列表，整合成csv格式文件； 2、创建COSBatch批量处理任务，导入文件列表； 3、执行批量处理任务，等候任务完成即可。 在未来，COS会持续探索并推出更多的存储产品和服务，挖掘场景化解决方案，为客户提供业界内性价比最高的存储服务。
2.3K31发布于 2020-11-20 - 来自专栏code秘密花园
前端最能打的本地存储方案
前言 之前开发了一个离线存储的需求，需要在本地存储较大的数据量，并且还要考虑到多种场景下的存储方式兼容。产品的原话就是“要又大又全”。既然存储量大，也要覆盖全多种设备多种浏览器。 方案选择 既然要存储的数量大，得排除cookie localStorage，虽然比cookie多，但是同样有上限（5M）左右，备选 websql 使用简单，存储量大，兼容性差，备选 indexDB api 首先indexDB的存储，理论上是硬件有多大内存就可以存多少，但是有些浏览器厂商会限制，具体限制各家不同，但是基本最小是250M起步 使用 解决了兼容性和存储量的点，我们就来看看localforage 如果存储数据出现了脏数据或者读取问题，想要清理用户设备上的数据怎么处理？ 解决 存储数据的时候加上存储的时间戳和模块标识，加时间戳一起存储 setItem({ value: '1', label: 'a', module: 'a', timestamp
1.4K30编辑于 2023-09-11 - 来自专栏伟哥专栏
COS存储跨园区同步方案
对象存储（Cloud Object Storage，COS）是腾讯云提供的一种存储海量文件的分布式存储服务，用户可通过网络随时存储和查看数据。 腾讯云 COS 使所有用户都能使用具备高扩展性、低成本、可靠和安全的数据存储服务。 数据同步方案3：回源拉取同步能力 回源拉取复制.jpg 针对于热数据同步的场景，部分数据同步，降低存储成本。 此方法优点：配置简单，仅热数据被同步，节省存储空间。 ---- COS高可用数据同步方案 通过数据同步方案4的架构，结合COS自身特点与相关产品的功能，我们可以绘制出一个具备数据高可靠 + 高可用 + 容灾能力 + 故障切换能力的整体架构图。 存储高可用同步方案（完整）.jpg 数据高可靠：通过上传至Master桶后，可实现实时跨区域数据同步，包括多云（友商云）同步。确保数据主从分离，天然支持业务层多副本冗余，提升数据可靠性。
3.1K1413发布于 2020-06-13 - 来自专栏王亚昌的专栏
SNS站点的数据存储方案
今天看了篇文章，谈到SNS站点应用中的分库分表问题，这里我也谈谈我对SNS站点和应用数据存储的看法。 一、数据存储 SNS站点中数据层根据业务和访问特性可分为几类： 1. 这类数据一定要落到DB里，保证数据的终极存储，前端用内存cache保证快速响应，因为写并不是很频繁，因些DB足以支持，通常mysql可以支持每秒200-400次写请求。 3. 对于3这类次重要数据，一般数据量比较大，DB一般做增量备份就可以了，一般内存cache和DB不可能同时出问题，因此数据恢复还是可以实现的。 如果cache机掉电的话，可以采用上面提到的方案，从DB中恢复数据，用户资料回档到10分钟之前，同时对用户进行补偿与告知，平息用户投诉。 三、总结 本文主要讨论了SNS站点和应用数据存储的问题，上面给出的方案基于业务可用性、稳定性、冗灾以及成本的综合考虑，用一位前辈的话就是“一切都是均衡”，业务的稳定性不能单独靠高成本去保证。
1.2K20发布于 2018-08-03 - 来自专栏lib库
通用缓存存储方案设计
2.4 市面存储方案说明2.5 存储方案的不足03.存储方案原理3.1 Sp存储原理分析3.2 MMKV存储原理分析3.3 LruCache考量分析3.4 DiskLru原理分析3.5 DataStore 问题2：各种缓存方案，进程不安全是否会导致数据丢失，如何处理数据丢失情况？如何处理脏数据，其原理大概是什么？问题3：各种缓存方案使用场景是什么？有什么缺陷，为了解决缺陷做了些什么？ 2.SP读写文件不是类型安全的，且没有发出错误信号的机制，缺少事务性API3.commit() / apply()操作可能会造成ANR问题存储方案MMKV的不足1.没有类型信息，不支持getAll。 3.文件只增不减：MMKV的扩容策略还是比较激进的，而且扩容之后不会主动trim size。存储方案DataStore的不足1.只是提供异步API，没有提供同步API方法。 考量2：App程序都崩溃了，如何保证要存储的内容，都写入到磁盘中呢？考量3：保存聊天内容到磁盘的行为，这个做成同步还是异步呢？如果是异步，如何保证聊天消息的时序性？
1.7K10编辑于 2023-03-07 - 来自专栏前端技术江湖
前端最能打的本地存储方案
前言 之前开发了一个离线存储的需求，需要在本地存储较大的数据量，并且还要考虑到多种场景下的存储方式兼容。产品的原话就是“要又大又全”。既然存储量大，也要覆盖全多种设备多种浏览器。 方案选择 既然要存储的数量大，得排除cookie localStorage，虽然比cookie多，但是同样有上限（5M）左右，备选 websql 使用简单，存储量大，兼容性差，备选 indexDB api 首先indexDB的存储，理论上是硬件有多大内存就可以存多少，但是有些浏览器厂商会限制，具体限制各家不同，但是基本最小是250M起步 使用 解决了兼容性和存储量的点，我们就来看看localforage 如果存储数据出现了脏数据或者读取问题，想要清理用户设备上的数据怎么处理？ 解决 存储数据的时候加上存储的时间戳和模块标识，加时间戳一起存储 setItem({ value: '1', label: 'a', module: 'a', timestamp
1.2K10编辑于 2023-09-25 - 来自专栏用户5909132的专栏
存储分发加速解决方案
最佳优惠方案对比 推荐使用：单一云厂商模型(以腾讯云为例) 流量费用=CDN回源流量+CDN流量（一般情况下命中率90%） 以刊例价为例 CDN 回源流量：0.15*（1-90%）=0.015元/GB -0.11元/GB） 总流量费用=0.26-0.16元/GB（腾讯云刊例价） 使用多家云厂商存储+CDN，回源流量费用增加233%，整体流量费用增加16%以上 促销活动推荐 目前正在进行此方案的活动促销 迁移特惠活动：腾讯云对象存储迁“1”送“3” 送3倍资源，最高免费100000GB存储空间，领取25000元无门槛代金券！ 3.域名为 a.test.com、a.b.test.com 等形式子域名或 *.test.com、*.a.test.com 形式泛域名。 3、源站配置 配置业务源站相关信息，CDN节点在缓存无资源时，会回源站拉取并缓存： 在域名配置中的源站类型中选择：COS源（对象存储）。 选择对应的存储桶的域名。
13.9K31发布于 2020-06-12 - 来自专栏腾讯云存储专家服务
COS存储跨园区同步方案
对象存储（Cloud Object Storage，COS）是腾讯云提供的一种存储海量文件的分布式存储服务，用户可通过网络随时存储和查看数据。 腾讯云 COS 使所有用户都能使用具备高扩展性、低成本、可靠和安全的数据存储服务。 数据同步方案3：回源拉取同步能力 回源拉取同步 针对于热数据同步的场景，部分数据同步，降低存储成本。 此方法优点：配置简单，仅热数据被同步，节省存储空间。 数据同步方案4：SCF事件触发同步能力 SCF事件触发同步 适用于大规模且实时性较高的数据同步，以及业务逻辑较为复杂的同步场景。比较值得推荐的方法。 ---- COS高可用数据同步方案 通过数据同步方案4的架构，结合COS自身特点与相关产品的功能，我们可以绘制出一个具备数据高可靠 + 高可用 + 容灾能力 + 故障切换能力的整体架构图。
2K40发布于 2021-02-23 - 来自专栏友弟技术工作室
Redis百亿级Key存储方案
经过实际测试，对于上述数据，常规存储超过五十亿的kv记录就需要1T多的内存，如果需要做高可用多副本那带来的消耗是巨大的，另外kv的长短不齐也会带来很多内存碎片，这就需要超大规模的存储方案来解决上述问题。 3 数据特点 1. 对于当前mapping数据无法预判热数据，有很多是新生成的cookie； 4 存在的技术挑战 1）长短不一容易造成内存碎片； 2）由于指针大量存在，内存膨胀率比较高，一般在7倍，纯内存存储通病； 3）虽然可以通过 所以原则上当天新更新的mapping和人口标签需要全部in memory，而不会让请求落到后端的冷数据； 5）业务方面，所有数据原则上至少保留35天甚至更久； 6）内存至今也比较昂贵，百亿级Key乃至千亿级存储方案势在必行 5 解决方案 5.1 淘汰策略 这里主要就是对数据进行过期的设置。 存储吃紧的一个重要原因在于每天会有很多新数据入库，所以及时清理数据尤为重要。主要方法就是发现和保留热数据淘汰冷数据。
2.7K60发布于 2018-04-25
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号