- 综合排序
- 最热优先
- 最新优先
- 来自专栏数据和云
YH10:分布式存储解决方案zData
，研发出一套分布式存储解决方案 zData. 高达超百万IOPS，吞吐量超过10GB/s。 ? ? zData方案以下面两种形态为企业提供优质服务： 分布式存储管理软件zData Light Storage zData Light Storage 充分利用基于x86服务器的内部直连式存储来创建虚拟的、 在基准测试下，三个存储节点的zData架构，可以实现近 100万 IOPS，以及超过10GB/s的吞吐量。 zData 数据库一体机 zData 数据库一体机是云和恩墨自主研发的超融合解决方案，通过高带宽、低时延的 InfiniBand 互联，将高性能X86服务器节点和以闪存为核心的分布式存储，实现了资源池化
2K40发布于 2018-03-07 - 来自专栏一行舟
在线Excel存储方案
基于我们上面的100亿数据，如果改成行式存储，100亿条记录立马变成了「10亿条」，少了一个数量级。 再进一步思考，如果Excel中的10行记录存为数据库中的一条记录的话，我们的「10亿条」记录就变成了「1亿条」。1亿条记录对我们来说就手到擒来了。 其实刚才的「10行」记录也可以是「15、20行」。 方案设计 经过上面的分析我们对数据库的需求有： 需求 是否必须 低延迟 必须 支持CP模型 必须 支持非结构化数据存储 必须 有亿级数据的存储方案 必须 有成熟的扩容方案 必须 冷热数据 非必须 各类数据库对比 最终选型 需求 MySQL MongoDB TiDB S3 低延迟 ✅ ✅ ✅ 支持CP模型 ✅ ✅ ✅ 支持非结构化数据存储 ❌ ✅ ❌ 有亿级数据的存储方案 ✅ ✅ ✅ ✅ 有成熟的扩容方案 一般使用比较多的数据库如MySQL、MongoDB在这些方面都有成熟的方案。综上所述：采用「MongoDB」来存储元数据和Excel文档的热数据，采用「对象存储」来存放冷数据是一个比较不错的方案。
2.8K20编辑于 2022-08-25 - 来自专栏存储公众号：王知鱼
Solidigm：海量数据存储方案
2年增长10倍。 得益于SKhynix在高密度存储3D-NAND领域长期积累的优势，Solidigm可完整复制高密度存储的生产能力。 高密度存储全栈解决方案 主要涵盖了三个方面的技术突破： 1. 这一进展对存储系统具有重要意义，因为它提供了更高的存储容量，同时不sacrificing牺牲性能和耐久性，为数据中心和企业存储解决方案提供了更具成本效益的选择。 图片阐述了存储技术领域正在经历的重大转变，强调了高密度存储解决方案的重要性。主要传达以下几个关键信息： 1. 采用固态硬盘和闪存存储技术的数据中心可以大幅降低能耗和成本。 2. 数据中心使用全QLC闪存存储方案能够实现更高的容量和更低的成本。 3.
88910编辑于 2025-02-11 - 来自专栏小徐学爬虫
Elasticsearch数据存储优化方案
优化Elasticsearch数据存储有助于提升系统性能、降低成本、提高数据查询效率以及增强系统的稳定性和可靠性。通常我们再优化Elasticsearch数据存储会遇到一些问题，导致项目卡壳。 以下是优化Elasticsearch数据存储的一些重要作用：1、问题背景在某些场景中，我们可能会考虑绕过数据库，直接使用Elasticsearch存储数据，并在Python应用程序中实时构建这些数据。 2、解决方案使用Elasticsearch批量索引APIElasticsearch的批量索引API具有很高的效率，可以处理大量的数据。具体性能会根据源文档和分析器的复杂性有所变化。 消息代理是一种中间件软件，它可以存储和转发消息。应用程序将数据发送到消息代理，消息代理将数据转发到Elasticsearch。 如果Elasticsearch无法及时处理数据，那么消息代理会将数据存储起来，等到Elasticsearch能够处理数据时再转发给Elasticsearch。
99210编辑于 2024-03-18 - 来自专栏存储公众号：王知鱼
SuperMicro：AI存储硬件方案
• WEKA 数据平台： • 扩展式、分层存储解决方案。 • 集群存储解决方案。 • 数据保护和性能保障。 • 高性能全闪存存储层（All-Flash High-Performance Storage Tier）：WEKA 系统管理 10%-20% 的存储容量。 • 高性能全闪存存储层（All-Flash High-Performance Storage Tier）：管理 10-20% 的存储容量。 SuperMicro：AI存储硬件方案-Fig-6 方案验证 机架视角的集群组网方案 解决方案架构，分为三个层次： 1. 应用层（Application Tier）：通过 Supermicro 8U GPU 服务器与 1/10/25 GbE 和 InfiniBand 网络连接至数据中心。 2.
1.5K10编辑于 2025-02-11 - 来自专栏Elton的技术分享博客
网站密码存储方案比较
还不是，在硬件飞速发展的今天，尤其是GPU运算能力超CPU 10-20倍甚至更多，使得暴力破解的时间大大缩短。那么为了使得暴力破解变得几乎不可能，我们就要使用一些不支持GPU加速破解的算法。 第一种就不解释了，我们看下第二种加密算法（php代码）$salt是一个随机字符串，每个用户都不一样，并且要存储下来用于验证 md5($password. Right now 10,000 iterations is the recommended default which takes 100ms on a 2.2Ghz Core 2 Duo. [:r] 然后在django.contrib.auth.hashers里使用，密码以“algorithm$number of iterations$salt$password hash”的格式返回，并存储在同一个字段中 当然，如果你自己编写PBKDF2函数，你可以将salt存储在任意字段。只要让每个用户都不一样就行了。
2.2K30发布于 2021-01-22 - 来自专栏BestSDK
10大云存储平台技巧
IoT最佳存储系统 由于对象存储的无限扩展架构和持久的性质，它非常适合处理通过IoT文件积累的PB级的非结构化数据。对于云的主要选择，对象存储可以用于私有、公有和混合云平台。 通过将被动数据迁移到较低的存储层，混合云平台可以清理急需的存储空间，否则可能会被很少访问的数据浪费。 对象存储网关可能不适用数据迁移 简化数据向对象存储的迁移，网关看起是一种方法，但它却不是最好的方法。尽管网关可以在数据迁移中减少存储的消费，但实际上，相比于其它的数据迁移项目，它的步骤没有那么少。 使用标准文件或块接口，对象存储网关仍然需要32到34个人工步骤来迁移文件和存储块。 伴随着劳动密集型流程，对象存储网关可能会让你将数据保护过程复杂化。 分层和快照是需要考虑的两个功能，以及服务提供商与存储组合供应商密切合作关系。 对DRaaS要求更多 评估DRaaS供应商时，请确定数据的存储方式。
3K60发布于 2018-03-02 - 来自专栏腾讯云存储
对象存储COS成本优化方案
在存储费用方面，COS提供了标准存储、低频存储、智能分层存储、归档存储、深度归档存储等不同的存储类型，各个存储类型的产品规格和价格均存在差异，客户可以根据自己的业务模式选择性价比最匹配的存储类型。 下面我们将从5个方面介绍COS成本优化方案： 选择合适的存储类型 定期通过清单和访问日志功能分析数据访问模式 通过生命周期和批量处理沉降数据 通过文件压缩减少存储容量 进行成本回顾 一、选择合适的存储类型 下表展示了使用不同存储类型存储一个月数据对应的存储成本，以在广州园区存储100TB业务数据为例： 从表中可以看到，如果业务数据下载量较低，则选择归档存储甚至深度归档能有效降低存储成本，最冷的深度归档存储相较标准存储可节省 最小存储时长：数据存储在对应存储类型时，需要存储的最短时间，不满最短时间按照最短时间算。比如低频存储最少存储 30天，如果一个低频数据只存储了1天就删除，也会按照 30天计算费用。 在未来，COS会持续探索并推出更多的存储产品和服务，挖掘场景化解决方案，为客户提供业界内性价比最高的存储服务。
2.3K31发布于 2020-11-20 - 来自专栏伟哥专栏
COS存储跨园区同步方案
对象存储（Cloud Object Storage，COS）是腾讯云提供的一种存储海量文件的分布式存储服务，用户可通过网络随时存储和查看数据。 腾讯云 COS 使所有用户都能使用具备高扩展性、低成本、可靠和安全的数据存储服务。 数据同步方案3：回源拉取同步能力 回源拉取复制.jpg 针对于热数据同步的场景，部分数据同步，降低存储成本。 此方法优点：配置简单，仅热数据被同步，节省存储空间。 ---- COS高可用数据同步方案 通过数据同步方案4的架构，结合COS自身特点与相关产品的功能，我们可以绘制出一个具备数据高可靠 + 高可用 + 容灾能力 + 故障切换能力的整体架构图。 存储高可用同步方案（完整）.jpg 数据高可靠：通过上传至Master桶后，可实现实时跨区域数据同步，包括多云（友商云）同步。确保数据主从分离，天然支持业务层多副本冗余，提升数据可靠性。
3.1K1413发布于 2020-06-13 - 来自专栏王亚昌的专栏
SNS站点的数据存储方案
今天看了篇文章，谈到SNS站点应用中的分库分表问题，这里我也谈谈我对SNS站点和应用数据存储的看法。 一、数据存储 SNS站点中数据层根据业务和访问特性可分为几类： 1. 可以单独搭一个内存cache用来记录用户数据是否被更新过，每隔一定的时间，比如10分钟，批理处理一下，把内存cache中的数据同步到DB中来。 这样处理方式也有风险，那就是如果内存cache机器掉电的话，数据全部会丢失，如果从DB恢复的话，只能回到10分钟之前的档，但通常通过补偿的方法也可以平息用户的投诉。 如果cache机掉电的话，可以采用上面提到的方案，从DB中恢复数据，用户资料回档到10分钟之前，同时对用户进行补偿与告知，平息用户投诉。 三、总结 本文主要讨论了SNS站点和应用数据存储的问题，上面给出的方案基于业务可用性、稳定性、冗灾以及成本的综合考虑，用一位前辈的话就是“一切都是均衡”，业务的稳定性不能单独靠高成本去保证。
1.2K20发布于 2018-08-03 - 来自专栏lib库
通用缓存存储方案设计
目录介绍01.整体概述说明1.1 项目背景介绍1.2 遇到问题记录1.3 基础概念介绍1.4 设计目标1.5 产生收益分析02.市面存储方案2.1 缓存存储有哪些2.2 缓存策略有哪些2.3 常见存储方案 2.4 市面存储方案说明2.5 存储方案的不足03.存储方案原理3.1 Sp存储原理分析3.2 MMKV存储原理分析3.3 LruCache考量分析3.4 DiskLru原理分析3.5 DataStore 问题9-可用性：由于程序运行中存在不可控的异常和 Crash，因此框架有必要尽可能保证系统可用性，尽量保证系统在遇到异常后的数据完整性；问题10-高效性：性能永远是要考虑的问题，解析、读取、写入和序列化的性能如何提高和权衡 要是想兼容不同存储方案切换，就必须自己制定一个通用缓存接口。定义接口，然后各个不同存储方案实现接口，重写抽象方法。 4.3 切换不同缓存方式传入不同类型方便创建不同存储方式隐藏存储方案创建具体细节，开发者只需要关心所需产品对应的工厂，无须关心创建细节，甚至无须知道具体存储方案的类名。
1.7K10编辑于 2023-03-07 - 来自专栏前端技术江湖
前端最能打的本地存储方案
前言 之前开发了一个离线存储的需求，需要在本地存储较大的数据量，并且还要考虑到多种场景下的存储方式兼容。产品的原话就是“要又大又全”。既然存储量大，也要覆盖全多种设备多种浏览器。 方案选择 既然要存储的数量大，得排除cookie localStorage，虽然比cookie多，但是同样有上限（5M）左右，备选 websql 使用简单，存储量大，兼容性差，备选 indexDB api 首先indexDB的存储，理论上是硬件有多大内存就可以存多少，但是有些浏览器厂商会限制，具体限制各家不同，但是基本最小是250M起步 使用 解决了兼容性和存储量的点，我们就来看看localforage 如果存储数据出现了脏数据或者读取问题，想要清理用户设备上的数据怎么处理？ 解决 存储数据的时候加上存储的时间戳和模块标识，加时间戳一起存储 setItem({ value: '1', label: 'a', module: 'a', timestamp
1.2K10编辑于 2023-09-25 - 来自专栏用户5909132的专栏
存储分发加速解决方案
最佳优惠方案对比 推荐使用：单一云厂商模型(以腾讯云为例) 流量费用=CDN回源流量+CDN流量（一般情况下命中率90%） 以刊例价为例 CDN 回源流量：0.15*（1-90%）=0.015元/GB -0.11元/GB） 总流量费用=0.26-0.16元/GB（腾讯云刊例价） 使用多家云厂商存储+CDN，回源流量费用增加233%，整体流量费用增加16%以上 促销活动推荐 目前正在进行此方案的活动促销 5、接入完成 输入添加域名页面所有配置后，单击【提交】完成添加域名操作，请耐心等待域名配置下发至全网节点，下发时间约5-10分钟。 2、加速配置 创建好存储桶后直接进入该存储桶的配置管理页面，或在存储桶列表单击需要配置的存储桶操作栏的【配置管理】，进入配置管理页面，选择【域名管理】。 4、开启自定义加速域名 用户可以为存储桶绑定已备案的自定义域名，并开启CDN加速。 说明：通过COS控制台添加自定义域名上限为10个。 Ⅰ.
13.9K31发布于 2020-06-12 - 来自专栏腾讯云存储专家服务
COS存储跨园区同步方案
对象存储（Cloud Object Storage，COS）是腾讯云提供的一种存储海量文件的分布式存储服务，用户可通过网络随时存储和查看数据。 腾讯云 COS 使所有用户都能使用具备高扩展性、低成本、可靠和安全的数据存储服务。 数据同步方案3：回源拉取同步能力 回源拉取同步 针对于热数据同步的场景，部分数据同步，降低存储成本。 此方法优点：配置简单，仅热数据被同步，节省存储空间。 数据同步方案4：SCF事件触发同步能力 SCF事件触发同步 适用于大规模且实时性较高的数据同步，以及业务逻辑较为复杂的同步场景。比较值得推荐的方法。 ---- COS高可用数据同步方案 通过数据同步方案4的架构，结合COS自身特点与相关产品的功能，我们可以绘制出一个具备数据高可靠 + 高可用 + 容灾能力 + 故障切换能力的整体架构图。
2K40发布于 2021-02-23 - 来自专栏code秘密花园
前端最能打的本地存储方案
前言 之前开发了一个离线存储的需求，需要在本地存储较大的数据量，并且还要考虑到多种场景下的存储方式兼容。产品的原话就是“要又大又全”。既然存储量大，也要覆盖全多种设备多种浏览器。 方案选择 既然要存储的数量大，得排除cookie localStorage，虽然比cookie多，但是同样有上限（5M）左右，备选 websql 使用简单，存储量大，兼容性差，备选 indexDB api 首先indexDB的存储，理论上是硬件有多大内存就可以存多少，但是有些浏览器厂商会限制，具体限制各家不同，但是基本最小是250M起步 使用 解决了兼容性和存储量的点，我们就来看看localforage 如果存储数据出现了脏数据或者读取问题，想要清理用户设备上的数据怎么处理？ 解决 存储数据的时候加上存储的时间戳和模块标识，加时间戳一起存储 setItem({ value: '1', label: 'a', module: 'a', timestamp
1.4K30编辑于 2023-09-11 - 来自专栏友弟技术工作室
Redis百亿级Key存储方案
今天，无意间看到一篇很好的优化方案，和我的场景很像，他的处理方式很巧妙。下面，我介绍一下。我会加入我自己的理解。 经过实际测试，对于上述数据，常规存储超过五十亿的kv记录就需要1T多的内存，如果需要做高可用多副本那带来的消耗是巨大的，另外kv的长短不齐也会带来很多内存碎片，这就需要超大规模的存储方案来解决上述问题。 所以原则上当天新更新的mapping和人口标签需要全部in memory，而不会让请求落到后端的冷数据； 5）业务方面，所有数据原则上至少保留35天甚至更久； 6）内存至今也比较昂贵，百亿级Key乃至千亿级存储方案势在必行 5 解决方案 5.1 淘汰策略 这里主要就是对数据进行过期的设置。 存储吃紧的一个重要原因在于每天会有很多新数据入库，所以及时清理数据尤为重要。主要方法就是发现和保留热数据淘汰冷数据。 如果规划百亿级存储，计划每个桶分担10个kv，那么我们只需2^30=1073741824的桶个数即可，也就是最终key的个数。 上面，我需要解释一下， md5是做数据摘要指纹计算的算法，具有单向性。
2.7K60发布于 2018-04-25 - 来自专栏SpringCloud专栏
Redis百亿级Key存储方案
经过实际测试，对于上述数据，常规存储超过五十亿的kv记录就需要1T多的内存，如果需要做高可用多副本那带来的消耗是巨大的，另外kv的长短不齐也会带来很多内存碎片，这就需要超大规模的存储方案来解决上述问题。 所以原则上当天新更新的mapping和人口标签需要全部in memory，而不会让请求落到后端的冷数据； 5）业务方面，所有数据原则上至少保留35天甚至更久； 6）内存至今也比较昂贵，百亿级Key乃至千亿级存储方案势在必行 5 解决方案 5.1 淘汰策略 存储吃紧的一个重要原因在于每天会有很多新数据入库，所以及时清理数据尤为重要。主要方法就是发现和保留热数据淘汰冷数据。 比如平均每个BucketId下面挂10个key，那么理论上我们将会减少超过90%的redis key的个数。 具体实现起来有一些麻烦，而且用这个方法之前你要想好容量规模。 如果规划百亿级存储，计划每个桶分担10个kv，那么我们只需2^30=1073741824的桶个数即可，也就是最终key的个数。
1.2K30发布于 2019-07-02 - 来自专栏内容分发网络 CDN
存储分发加速解决方案
最惠方案 推荐使用：单一云厂商模型（以腾讯云为例） 流量费用=CDN 回源流量+CDN流量（一般情况下命中率90%） 以刊例价为例 CDN 回源流量：0.15*（1-90%）=0.015元/GB CDN -0.11元/GB） 总流量费用=0.26-0.16元/GB（腾讯云刊例价） 使用多家云厂商存储+CDN，回源流量费用增加233%，整体流量费用增加16%以上 促销活动 官网目前还在进行此方案的活动促销 接入完成 输入添加域名页面所有配置后，单击【提交】完成添加域名操作，请耐心等待域名配置下发至全网节点，下发时间约5 - 10分钟。 创建好存储桶后直接进入该存储桶的配置管理页面，或在存储桶列表单击需要配置的存储桶操作栏的【配置管理】，进入配置管理页面，选择【域名管理】。 2. 开启自定义加速域名 用户可以为存储桶绑定已备案的自定义域名，并开启 CDN 加速。 说明：通过 COS 控制台添加自定义域名上限为10个。
8.5K228发布于 2020-06-04 - 来自专栏Czy‘s Blog
浏览器本地存储方案
浏览器本地存储方案 浏览器本地存储方案可以分为三个方面，分别为Cookie、Web Storage、IndexedDB。 Web存储机制，所以在某些需求下为了处理兼容性的情况可能还是需要Cookie存储一些业务信息。 缺点 存储量小，虽不同浏览器的存储量不同，但基本上都是在4KB左右。 localStorage localStorage对象在修订过的HTML5规范中作为持久保存客户端数据的方案取代了我们上面所提到的globalStorage。 也正是出于以上这些原因，localStorage被视为替代Cookie的解决方案，但还是要注意不要在localStorage中存储敏感信息。
1.2K40发布于 2021-01-18 - 来自专栏Linyb极客之路
10分钟搞懂：亿级用户的分布式数据存储解决方案！
接下来，你将花费十分钟掌握以下三方面内容： 1、MySQL复制：包括主从复制和主主复制； 2、数据分片：数据分片的原理、分片的方案、分片数据库的扩容； 3、数据库分布式部署的几种方案。 为了解决主服务器的可用性问题，我们可以使用MySQL的主主复制方案。所谓的主主复制方案是指两台服务器都当作主服务器，任何一台服务器上收到的写操作都会复制到另一台服务器上。 ? 如果我们数据库的写操作也有大量的并发请求需要满足，或者是我们的数据表特别大，单一的服务器甚至连一张表都无法存储。解决方案就是数据分片。 通过业务分库的方式，在同一个系统中，提供了更多的数据库存储，同时也就提供了更强大的数据访问能力，同时也使系统变得更加简单，系统的耦合变得更低。 3.4、综合部署方案 ? 以上为分布式数据库的部署方案，如果你的应用不是非要使用关系数据库的话，你还可以选择NoSQL数据库，NoSQL数据库会提供更强大的数据存储能力和并发读写能力。
87320发布于 2019-07-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号