- 综合排序
- 最热优先
- 最新优先
- 来自专栏技术杂记
Mysql 优化存储4
一般少也能缩减5%的空间，平均在10%左右，我自己经历最明显效果的是减少了32%的空间，对于一个大库来说，能节省不少磁盘空间，并且对查询性能也有一定优化效果
51620编辑于 2022-03-21 - 来自专栏一行舟
在线Excel存储方案
引言：设计数据存储方案时，Feed流、IM消息、订单等一些典型业务场景的，都有比较多的技术文章和教学课程；在线Excel场景下的文章却很匮乏，所以把自己近期对在线Excel存储选型的一些思考写下来，和大家一起交流 人的主要属性有：用户ID、人员名称等，是典型的结构化数据，我们只需要根据数据量去选择合适的存储方案就可以，不是本文的重点，就不细说了。 我们重点分析Excel文档的存储。 方案设计 经过上面的分析我们对数据库的需求有： 需求 是否必须 低延迟 必须 支持CP模型 必须 支持非结构化数据存储 必须 有亿级数据的存储方案 必须 有成熟的扩容方案 必须 冷热数据 非必须 各类数据库对比 最终选型 需求 MySQL MongoDB TiDB S3 低延迟 ✅ ✅ ✅ 支持CP模型 ✅ ✅ ✅ 支持非结构化数据存储 ❌ ✅ ❌ 有亿级数据的存储方案 ✅ ✅ ✅ ✅ 有成熟的扩容方案 一般使用比较多的数据库如MySQL、MongoDB在这些方面都有成熟的方案。综上所述：采用「MongoDB」来存储元数据和Excel文档的热数据，采用「对象存储」来存放冷数据是一个比较不错的方案。
2.8K20编辑于 2022-08-25 - 来自专栏小徐学爬虫
Elasticsearch数据存储优化方案
优化Elasticsearch数据存储有助于提升系统性能、降低成本、提高数据查询效率以及增强系统的稳定性和可靠性。通常我们再优化Elasticsearch数据存储会遇到一些问题，导致项目卡壳。 以下是优化Elasticsearch数据存储的一些重要作用：1、问题背景在某些场景中，我们可能会考虑绕过数据库，直接使用Elasticsearch存储数据，并在Python应用程序中实时构建这些数据。 2、解决方案使用Elasticsearch批量索引APIElasticsearch的批量索引API具有很高的效率，可以处理大量的数据。具体性能会根据源文档和分析器的复杂性有所变化。 消息代理是一种中间件软件，它可以存储和转发消息。应用程序将数据发送到消息代理，消息代理将数据转发到Elasticsearch。 如果Elasticsearch无法及时处理数据，那么消息代理会将数据存储起来，等到Elasticsearch能够处理数据时再转发给Elasticsearch。
99210编辑于 2024-03-18 - 来自专栏存储公众号：王知鱼
SuperMicro：AI存储硬件方案
右下角图片显示单节点/单SU/4SU不同体系读写带宽，Good/Better/Best不同性能依据存储硬件配置（如SATA/SAS/NVMe SSD）和网络带宽条件。 SuperMicro：AI存储硬件方案-Fig-4 计算+存储（性能层） 方案 • Active data is stored here (活跃数据存储于此) • 针对性能进行了优化，将数据尽可能快地传递给应用程序 • WEKA 数据平台： • 扩展式、分层存储解决方案。 • 集群存储解决方案。 • 数据保护和性能保障。 SuperMicro：AI存储硬件方案-Fig-6 方案验证 机架视角的集群组网方案 解决方案架构，分为三个层次： 1. • 4KB 随机读取 IOPS 可达 3000 万，128KB 顺序读取带宽超过 230 GB/s。
1.5K10编辑于 2025-02-11 - 来自专栏存储公众号：王知鱼
Solidigm：海量数据存储方案
4. 基础设施升级：5G技术推动基础设施密度提升，以支持更大数据流量。 5. 存储需求差异化：从数据中心的大容量存储到车载的相对小容量存储，不同环节对存储容量要求各不相同。 6. 这一进展对存储系统具有重要意义，因为它提供了更高的存储容量，同时不sacrificing牺牲性能和耐久性，为数据中心和企业存储解决方案提供了更具成本效益的选择。 图片阐述了存储技术领域正在经历的重大转变，强调了高密度存储解决方案的重要性。主要传达以下几个关键信息： 1. 高密度存储的价值：图片呼吁关注高密度存储技术的价值，这种技术能够在有限的物理空间内存储更多数据。 3. 扩展性：强调了大规模就地扩展的能力，这使得存储系统能够在不中断服务的情况下轻松增加容量。 4. 采用固态硬盘和闪存存储技术的数据中心可以大幅降低能耗和成本。 2. 数据中心使用全QLC闪存存储方案能够实现更高的容量和更低的成本。 3.
88910编辑于 2025-02-11 - 来自专栏腾讯云存储
直播邀约 | 4月8日，腾讯云AIGC存储解决方案重磅发布！
本期,我们将为大家开箱 “腾讯云AIGC存储解决方案”的重磅发布 这将是国内首个双自研存储引擎支撑的AIGC存储解决方案 也是“80%大模型企业的共同选择” AI大模型将重新定义云计算的网络、计算存储, 这其中也对“数据底座也提出了更高的要求而这次腾讯云存储的重磅升级正是为AIGC场景量身定制 或者扫描海报下方二维码即可预约活动
30310编辑于 2024-04-03 - 来自专栏Elton的技术分享博客
网站密码存储方案比较
第一种就不解释了，我们看下第二种加密算法（php代码）$salt是一个随机字符串，每个用户都不一样，并且要存储下来用于验证 md5($password. [:r] 然后在django.contrib.auth.hashers里使用，密码以“algorithm$number of iterations$salt$password hash”的格式返回，并存储在同一个字段中 当然，如果你自己编写PBKDF2函数，你可以将salt存储在任意字段。只要让每个用户都不一样就行了。
2.2K30发布于 2021-01-22 - 来自专栏智能时刻
【存储】2022 年的 4 个开源对象存储平台
介绍 在处理大量非结构化数据时，我们需要一个地方来存储它。我们选择存储数据的方式有很多种，但今天我们要关注的一种是对象存储或基于对象的存储。 Ceph 的对象存储允许您使用本地语言绑定和 Ceph 提供的其他技术轻松访问数据对象。如果您想转变公司的 IT 基础架构及其管理大量非结构化数据的能力，这是一个很好的解决方案。 4.OpenIO OpenIO 是一种开源对象存储解决方案，用于管理和保护大量非结构化数据。它允许您构建和操作具有弹性且安全的大规模存储基础架构。 结论 您可以使用许多开源对象存储提供程序，它们提供了我们提到的许多功能中的一些功能。它们为您的所有存储需求提供了良好的解决方案，并避免了高昂的财务成本。 本文 https://jiagoushi.pro/4-open-source-object-storage-platforms-2021 讨论：知识星球【首席架构师圈】或者加微信小号【cea_csa_cto
13.6K10编辑于 2022-03-08 - 来自专栏Linux驱动
汇编指令-str存储指令(4)
str -(Store Register)存储指令 格式: str{条件} 源寄存器，<存储器地址> 将源寄存器中数据存到存储器地址中。 实例1: str r1,[r2] ; 将r1中的值存到r2所指定的地址中 str r1,[r2,#4] ;将r1中的值存到r2+4所指定的地址中 str r1,[r2],#4 因为现在程序运行在起始地址为0x0000 0000的地方 ldr r1, =BWSCON //将BWSCON所指向的首地址值存到r1中 (第一个存储器寄存器首地址 ) add r2, r0, #13*4 //每个寄存器4字节,r2=r0+13*4=最后一个存储器寄存器+4 0: ldr Tacp<<2)+(B3_PMC)) .word ((B4_Tacs<<13)+(B4_Tcos<<11)+(B4_Tacc<<8)+(B4_Tcoh<<6)+(B4_Tah<<4)+(B4_Tacp
2.5K50发布于 2018-01-03 - 来自专栏BeJavaGod
MongoDB-4 GridFS 文件存储
1. 配置config spring: data: mongodb: uri: mongodb://username:password@192.168.2.72:27017 database: mydb @Component public class WebConfig { @Value("${spring.data.mongodb.database}") private String mongodb; @Bean public Gri
1.5K10发布于 2020-03-05 - 来自专栏腾讯云存储
对象存储COS成本优化方案
下面我们将从5个方面介绍COS成本优化方案： 选择合适的存储类型 定期通过清单和访问日志功能分析数据访问模式 通过生命周期和批量处理沉降数据 通过文件压缩减少存储容量 进行成本回顾 一、选择合适的存储类型 from cosobject s where s._7 = 'Standard' 查询某一天某类存储类型有多少MB容量： select SUM(CAST(s._4 AS FLOAT))/1024/1024 from cosobject s where s._7 = select SUM(CAST(s._4 AS FLOAT))/1024/1024 from cosobject s where s._7 = 'Standard' 查询某类存储类型小于64KB的文件数量： select count(*) from cosobject s where s._7 = and CAST(s._4 AS FLOAT 在未来，COS会持续探索并推出更多的存储产品和服务，挖掘场景化解决方案，为客户提供业界内性价比最高的存储服务。
2.3K31发布于 2020-11-20 - 来自专栏code秘密花园
前端最能打的本地存储方案
方案选择 既然要存储的数量大，得排除cookie localStorage，虽然比cookie多，但是同样有上限（5M）左右，备选 websql 使用简单，存储量大，兼容性差，备选 indexDB api iphone4哇，现在是出到了iphone14了吧？？？ 不得了不得了，iphone4居然也是我们的用户群体？？？ 分析 既然遇上了，还是冷静分析一下吧。 然而，当产品不知道从哪找到了一部iphone4给我（我也真的服了这个老6），我拿到真机试了下，得到让我无法呼吸的结果，iphone4这古董机居然支持indexDB，那么就不是超过了5M的上限导致缓存失败了 进一步假设 在知道iphone4居然支持indexDB后，我失去头绪了，拿着十年前的这个古董机，随便翻翻，看看系统，看看版本，没看出什么问题，但是我发现这iphone4的内存也是出奇的小，只有8G内存 随即，随便下载点软件，毫不费力就将这台iphone4的内存整得只剩下50M不到了，手机已经开始提示要清理内存。
1.4K30编辑于 2023-09-11 - 来自专栏伟哥专栏
COS存储跨园区同步方案
对象存储（Cloud Object Storage，COS）是腾讯云提供的一种存储海量文件的分布式存储服务，用户可通过网络随时存储和查看数据。 数据同步方案3：回源拉取同步能力 回源拉取复制.jpg 针对于热数据同步的场景，部分数据同步，降低存储成本。 此方法优点：配置简单，仅热数据被同步，节省存储空间。 数据同步方案4：SCF事件触发同步能力 SCF事件触发复制.jpg 适用于大规模且实时性较高的数据同步，以及业务逻辑较为复杂的同步场景。比较值得推荐的方法。 ---- COS高可用数据同步方案 通过数据同步方案4的架构，结合COS自身特点与相关产品的功能，我们可以绘制出一个具备数据高可靠 + 高可用 + 容灾能力 + 故障切换能力的整体架构图。 存储高可用同步方案（完整）.jpg 数据高可靠：通过上传至Master桶后，可实现实时跨区域数据同步，包括多云（友商云）同步。确保数据主从分离，天然支持业务层多副本冗余，提升数据可靠性。
3.1K1413发布于 2020-06-13 - 来自专栏王亚昌的专栏
SNS站点的数据存储方案
今天看了篇文章，谈到SNS站点应用中的分库分表问题，这里我也谈谈我对SNS站点和应用数据存储的看法。 一、数据存储 SNS站点中数据层根据业务和访问特性可分为几类： 1. 4. 好友信息汇总数据 这是一类比较特殊的数据，比如应用中的好友近况等。这类数据通常用来拉动活跃，一般会放到首页，因此读请求也会比较高。 三、冗灾 上面的4类数据，如果出现掉电、DB异常应该如何处理呢？ 对于1、4这类非关键数据来说，丢失也无所谓，用户不是很关心。 如果cache机掉电的话，可以采用上面提到的方案，从DB中恢复数据，用户资料回档到10分钟之前，同时对用户进行补偿与告知，平息用户投诉。 三、总结 本文主要讨论了SNS站点和应用数据存储的问题，上面给出的方案基于业务可用性、稳定性、冗灾以及成本的综合考虑，用一位前辈的话就是“一切都是均衡”，业务的稳定性不能单独靠高成本去保证。
1.2K20发布于 2018-08-03 - 来自专栏lib库
通用缓存存储方案设计
目录介绍01.整体概述说明1.1 项目背景介绍1.2 遇到问题记录1.3 基础概念介绍1.4 设计目标1.5 产生收益分析02.市面存储方案2.1 缓存存储有哪些2.2 缓存策略有哪些2.3 常见存储方案 2.4 市面存储方案说明2.5 存储方案的不足03.存储方案原理3.1 Sp存储原理分析3.2 MMKV存储原理分析3.3 LruCache考量分析3.4 DiskLru原理分析3.5 DataStore 比如sp存在缺陷的替代方案是DataStore，为何这样？问题4：各种缓存方案，他们的缓存效率是怎样的？如何对比？接入该库后，如何做数据迁移，如何覆盖操作？ 考量4：如何存储数据是同步行为，针对群里聊天这么多消息，如何才能避免卡顿呢？考量5：存储数据放到主线程中，用户在群聊天页面猛滑消息，如何爆发性集中式对磁盘写入数据？ );dataCache.saveInt("cacheKey3",3);dataCache.saveLong("cacheKey4",4);dataCache.saveString("cacheKey5"
1.7K10编辑于 2023-03-07 - 来自专栏前端技术江湖
前端最能打的本地存储方案
方案选择 既然要存储的数量大，得排除cookie localStorage，虽然比cookie多，但是同样有上限（5M）左右，备选 websql 使用简单，存储量大，兼容性差，备选 indexDB api iphone4哇，现在是出到了iphone14了吧？？？ 不得了不得了，iphone4居然也是我们的用户群体？？？ 分析 既然遇上了，还是冷静分析一下吧。 然而，当产品不知道从哪找到了一部iphone4给我（我也真的服了这个老6），我拿到真机试了下，得到让我无法呼吸的结果，iphone4这古董机居然支持indexDB，那么就不是超过了5M的上限导致缓存失败了 进一步假设 在知道iphone4居然支持indexDB后，我失去头绪了，拿着十年前的这个古董机，随便翻翻，看看系统，看看版本，没看出什么问题，但是我发现这iphone4的内存也是出奇的小，只有8G内存 随即，随便下载点软件，毫不费力就将这台iphone4的内存整得只剩下50M不到了，手机已经开始提示要清理内存。
1.2K10编辑于 2023-09-25 - 来自专栏用户5909132的专栏
存储分发加速解决方案
最佳优惠方案对比 推荐使用：单一云厂商模型(以腾讯云为例) 流量费用=CDN回源流量+CDN流量（一般情况下命中率90%） 以刊例价为例 CDN 回源流量：0.15*（1-90%）=0.015元/GB -0.11元/GB） 总流量费用=0.26-0.16元/GB（腾讯云刊例价） 使用多家云厂商存储+CDN，回源流量费用增加233%，整体流量费用增加16%以上 促销活动推荐 目前正在进行此方案的活动促销 4.若域名为泛域名或已被其他用户接入，需要进行 所有权验证 后方可接入或取回。 所属项目 项目为腾讯云所有云产品共享资源集概念，项目管理 中可进行项目相关操作。 加速协议 IPv4：节点仅支持IPv4 访问。IPv4+IPv6：节点同时支持 IPv4、IPv6 访问，仅当勾选此选项时，可配置 IPv6 源站。 4、开启自定义加速域名 用户可以为存储桶绑定已备案的自定义域名，并开启CDN加速。 说明：通过COS控制台添加自定义域名上限为10个。 Ⅰ.
13.9K31发布于 2020-06-12 - 来自专栏腾讯云存储专家服务
COS存储跨园区同步方案
对象存储（Cloud Object Storage，COS）是腾讯云提供的一种存储海量文件的分布式存储服务，用户可通过网络随时存储和查看数据。 腾讯云 COS 使所有用户都能使用具备高扩展性、低成本、可靠和安全的数据存储服务。 数据同步方案3：回源拉取同步能力 回源拉取同步 针对于热数据同步的场景，部分数据同步，降低存储成本。 此方法优点：配置简单，仅热数据被同步，节省存储空间。 数据同步方案4：SCF事件触发同步能力 SCF事件触发同步 适用于大规模且实时性较高的数据同步，以及业务逻辑较为复杂的同步场景。比较值得推荐的方法。 ---- COS高可用数据同步方案 通过数据同步方案4的架构，结合COS自身特点与相关产品的功能，我们可以绘制出一个具备数据高可靠 + 高可用 + 容灾能力 + 故障切换能力的整体架构图。
2K40发布于 2021-02-23 - 来自专栏友弟技术工作室
Redis百亿级Key存储方案
今天，无意间看到一篇很好的优化方案，和我的场景很像，他的处理方式很巧妙。下面，我介绍一下。我会加入我自己的理解。 经过实际测试，对于上述数据，常规存储超过五十亿的kv记录就需要1T多的内存，如果需要做高可用多副本那带来的消耗是巨大的，另外kv的长短不齐也会带来很多内存碎片，这就需要超大规模的存储方案来解决上述问题。 对于当前mapping数据无法预判热数据，有很多是新生成的cookie； 4 存在的技术挑战 1）长短不一容易造成内存碎片； 2）由于指针大量存在，内存膨胀率比较高，一般在7倍，纯内存存储通病； 3）虽然可以通过 in memory，而不会让请求落到后端的冷数据； 5）业务方面，所有数据原则上至少保留35天甚至更久； 6）内存至今也比较昂贵，百亿级Key乃至千亿级存储方案势在必行！ 5 解决方案 5.1 淘汰策略 这里主要就是对数据进行过期的设置。 存储吃紧的一个重要原因在于每天会有很多新数据入库，所以及时清理数据尤为重要。主要方法就是发现和保留热数据淘汰冷数据。
2.7K60发布于 2018-04-25 - 来自专栏SpringCloud专栏
Redis百亿级Key存储方案
经过实际测试，对于上述数据，常规存储超过五十亿的kv记录就需要1T多的内存，如果需要做高可用多副本那带来的消耗是巨大的，另外kv的长短不齐也会带来很多内存碎片，这就需要超大规模的存储方案来解决上述问题。 ，所有数据原则上至少保留35天甚至更久； 6）内存至今也比较昂贵，百亿级Key乃至千亿级存储方案势在必行！ 5 解决方案 5.1 淘汰策略 存储吃紧的一个重要原因在于每天会有很多新数据入库，所以及时清理数据尤为重要。主要方法就是发现和保留热数据淘汰冷数据。 4）由于使用了信息摘要降低了key的大小以及约定长度，所以无法从redis里面random出key。如果需要导出，必须在冷数据中导出。 优化前用2.3T，碎片率在2左右；优化后500g，而单个桶的平均消耗在4左右。碎片率在1.02左右。查询时这对于cpu的耗损微乎其微。
1.2K30发布于 2019-07-02
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号