- 综合排序
- 最热优先
- 最新优先
- 来自专栏后台技术汇
亿级大表冷热分级的工程实践
2、冷热分级存储 2.1 消费链路分析 如上文所说，旁路系统一般不直接和业务系统耦合，而是通过mq来进行解耦合。 使用覆盖索引能够在第一步就得到数据，避免回表 注意order by column，如果跟索引覆盖字段不一致，则可能导致执行非常耗时 如果有使用第三方ORM框架（比如PageHelper等），应该避免默认配置导致的冗余查询 注意5： 有效缓解了大表膨胀的压力 热表的可读写性能提高了巨大，解决了热表读写慢的问题 3.1.2 性能提升 从观测效果来看，因为大表导致超时的接口（nginx监控>45s），在做了冷数据迁移后，响应时间降低到了1.76s，因此大表冷热数据分级的效果还是很明显的 迁移前 迁移后 4、总结与展望 冷热数据分级是一种有效的解决单表大数据存储和查询问题的方案，可以优化存储资源分配和提高查询效率，在实施过程中需要考虑以下几点： 评估冷热表数据分界线（数据访问频率、重要程度和存储成本等方面 ） 制定冷热分表方案，并进行持续的监控和SQL优化 在可预测的未来，我们还有几个地方可以做的更好： 多级存储策略：未来可能会采用更复杂的分级策略，例如基于数据的访问频率、重要性或时效性进行多级划分，并采用不同的存储策略和介质
6.7K1226编辑于 2024-02-06 - 来自专栏杨平安的专栏
微信 PaxosStore:海量数据冷热分级架构
给大家列了一个海量存储架构的演进，大家可以看到这儿分别是支持单机十亿键值、支持冷热数据分离、支持分布式缓存、支持Paxos协议。 作软RAID是种方案，然而RAID10会使用一半的空间，而RAID5则需要扫描和计算数十T的数据量。 因此最终我们采用了NoRaid方案，决定从其它机器中恢复。 它包括五个过程，1、2、3、4、5。 整个过程对服务而言，因为是两阶段提交，都是无损的，对客户端也是透明的。 转眼就来到了第四年。 我们在请求合并的时候，限制合并历史数据的访问，来实现快慢分离，通过这样一个工作，我们将存储层的请求从7ms降到了5ms。 OK。到了第五年，Paxos协议席卷了整个微信后台的存储。 附件： 海量数据冷热分级架构.pptx
5.7K120发布于 2018-01-15 - 来自专栏OpenIM
微信后台基于时间序的海量数据冷热分级架构设计实践
在这种情况下，基于时间序的海量数据的冷热分级架构便应运而生。 该架构正是为了应对后台日益膨胀的这类数据，本着充分利用机器资源，发挥各种硬件介质特长的原则，结合数据的冷热分明、读多写少的访问特征而开发和设计出来的。 通过如上工作的努力，环环相扣，我们的基于时间序的海量数据的冷热分层架构成功的应对了 PB 级数据、千亿级访问以及万亿级键值带来的挑战。 系统设计 数据模型 本文提及的海量数据的冷热分级架构是专门服务于基于时间序的数据，它们主要特征为： a). 数据键值带有时间戳信息 ; b). 单用户数据随着时间在不断的生成。 ――这样就意味着，如果在存储层中数据是平坦的，冷热数据混杂在一起，那么我们在抽离冷数据的时候，就要把硬盘中所有的数据遍历一轮，无疑会消耗比较多的系统资源。
1K20发布于 2021-09-09 - 来自专栏IT技术精选文摘
微信后台基于时间序的海量数据冷热分级架构设计实践
在这种情况下，基于时间序的海量数据的冷热分级架构便应运而生。 该架构正是为了应对后台日益膨胀的这类数据，本着充分利用机器资源，发挥各种硬件介质特长的原则，结合数据的冷热分明、读多写少的访问特征而开发和设计出来的。 5机械硬盘层 机械硬盘容量虽大，但是 IO 性能低下，故障率高。 5、工程实现 糟糕的工程实现可以毁掉一个完美的系统设计，因此，如何在工程实现的过程中，通过技术的手段，提升系统的表现，同样值得重视。 处理 SNS 类业务生成的数据，业界有多种的冷热分离架构可以参考。
1.7K60发布于 2018-06-22 - 来自专栏linux驱动个人学习
Linux内核的冷热缓存
缓存为什么会有冷热？ 究其原因，是因为对于内存的访问，可能是CPU发起的，也可以是DMA设备发起的。 如果是CPU发起的，在CPU的硬件缓存中，就会保存相应的页内容。 Saves a branch 4: * or two. 5: */ 6: static inline 7: struct page *buffered_rmqueue(struct 69: failed: 70: local_irq_restore(flags); 71: return NULL; 72: } buffered_rmqueue用于从冷热分配器中分配单页的缓存页
2.1K20发布于 2019-05-25 - 来自专栏数据库相关
clikchouse的冷热数据分离
参考了 juicefs这篇 虾皮的这篇 冷热分离的优势： 1、业务查询通常查近期数据（7天-14天），早期数据查询概率较低 2、降低成本 这个冷热分离实操起来很简单了。 添加定时任务 # 删除30天前的分区表 1 2 * * * cd /usr/local/bin && bash purge.sh 30 tb1111 >> /tmp/purge.log 2>&1 5 2 * * * cd /usr/local/bin && bash purge.sh 30 tb2222 >> /tmp/purge.log 2>&1 # 移动5天前的数据到oss 1 3 * * * bash archive.sh 5 tb2222 >> /tmp/archive.log 2>&1 相关脚本： purge.sh #! # archive 5 tb1111 if [ $# -ne 2 ]; then echo "parameter must 2, like: 5 table1" && exit 10 else
1.5K10编辑于 2022-01-11 - 来自专栏维C果糖
Elasticsearch 5.x 版本中的冷热数据架构
由于这些索引是只读的，所以冷节点（warm node，译者注：冷热节点是相对的概念）倾向于使用大型附加磁盘（通常是旋转磁盘）而不是 SSD。与热节点一样，我们建议至少 3 个冷节点以实现高可用性。 ---- 英文原文链接：“Hot-Warm” Architecture in Elasticsearch 5.x.
1.4K30发布于 2019-05-26 - 来自专栏Spark学习技巧
数据冷热分离技术
而随着冷热分离方案的普及，很多框架也开始考虑类似的事情，尝试在自己的体系下支持将数据进行冷热分离，避免两套系统带来的复杂性。 我们姑且将这两种方案分别称为“冷热分离异构系统”和“冷热分离同构系统”，本文将分别介绍几个相关的具体案例。 ? 冷热分离异构系统 相比单体系统而言，将冷热数据分离到两个系统中，必然会带来整体的复杂性，需要在性能、成本、复杂度等因素之间做的一个权衡。 很多开源框架在看到这一痛点后，开始在自己的体系下引入冷热分离的特性，试图以透明、统一的方式来应对冷热分离的需求。这里以Elasticsearch为例，来探讨下业界在冷热分离同构系统的诸多方案。 Hot，Node 4/5是低配置机器，用于存放冷数据，属性为Cold；当创建一个新的Index时，指定其数据分配到Hot属性的机器上；一段时间后，再将其配置修改为分配到Cold属性机器上，Elasticsearch
4.4K10发布于 2021-03-05 数据分类分级
企业数据共享开放的基础是数据分类分级，对数据进行分类分级并定义合适的开放策略才能确保数据共享和开放的安全和效率。 数据分级按照一定的原则和方法对数据进行分级，主要目的是便于数据开放和共享。数据分级是数据保护工作中的一个关键部分，是制定安全、准确、完善的数据策略的支撑。 是先分类还是先分级？ 分级则是根据数据的敏感度和数据遭到篡，破坏，泄露，非法使用等对国家和受害者的影响程度对各个类别数据再进行分级，然后根据分级的结果对数据进行相应的管理和保护。 如何进行分类分级？ 《实践指南》提出，数据分类分级原则包括合法合规原则、分类多维原则、分级明确原则、从高就严原则以及动态调整原则；数据分类分级实施流程包括数据资产梳理、数据分类、数据定级、审核标识管理、数据分类分级保护。 数据定级：建立自身的数据分级规则，对数据进行分级。 审核标识：对数据资产分类分级结果进行评审和完善，最后批准发布实施，形成数据资产分类分级清单。
35110编辑于 2025-12-23- 来自专栏人人都是极客
GPU内存分级
在NVIDIA的GPU中，内存（GPU的内存）被分为了全局内存（Global memory）、本地内存（Local memory）、共享内存（Shared memory）、寄存器内存（Register memory）、常量内存（Constant memory）、纹理内存（Texture memory）六大类。这六类内存都是分布在在RAM存储芯片或者GPU芯片上，他们物理上所在的位置，决定了他们的速度、大小以及访问规则。
8.2K41发布于 2018-07-26 - 来自专栏腾讯云Elasticsearch Service
Elasticsearch冷热分离原理和实践
5TB HDD在保证一定读写性能的基础之上提供了成本较低的大存储HDD盘来满足冷节点对数据存储的需求。 操作系统预留：Linux 操作系统默认为 root 用户预留5%的磁盘空间，用于关键流程处理、系统恢复、防止磁盘碎片化问题等。 hot_data_index 2 p node3 hot_data_index 1 r node4 hot_data_index 0 p node5 hot_data_index 2 p node5 hot_data_index 1 r node5 4. 欢迎关注公众号Elastic慕容，和我一起进入Elastic的奇妙世界吧 [yuox216u5.png]
10.5K92发布于 2019-11-26 - 来自专栏韩曙亮的移动开发专栏
【Google Play】IARC 年龄分级 ( IARC 国际年龄分级联盟 | Google Play 设置应用年龄分级 )
Play 上架完整流程 系列文章目录 【Google Play】创建 Google 开发者账号 ( 注册邮箱账号 | 创建开发者账号 ) 【Google Play】创建并设置应用 ( 访问权限 | 内容分级 Google Play 签名机制选择 | 签名更新 ) 【Google Play】Google Play 开放式测试 ( 简介 | 发布开放式测试版本 ) 【Google Play】IARC 年龄分级 ( IARC 国际年龄分级联盟 | Google Play 设置应用年龄分级 ) ---- 文章目录 Google Play 上架完整流程 系列文章目录 一、Google Play 开放式测试 二、IARC 国际年龄分级联盟 简介 三、Google Play 设置应用年龄分级 一、Google Play 开放式测试 ---- 上周向 Google Play 中提交了开放测试版本文件 , 刚通过了审核 , 并收到如下邮件 ; 今天收到一封邮件 , 关于应用的内容分级政策相关的 : 此产品的评级现在在上面列出的店面上实时显示。
3.7K20编辑于 2023-03-29 - 来自专栏企业容器化之路
Kubernetes 部署冷热架构 Elasticsearch「Helm 部署案例」
使用 ILM 的前提是具有冷热架构的 ES 集群，本篇就来介绍如何在 Kubernetes 部署这样的集群。 「冷热架构」官方的说法是「热温冷架构」 今天我们讨论 2 个案例，单节点集群和大型多节点集群。 /sir5kong helm repo update sir5kong 因为官方 helm charts 已经不维护了，并且 8.x 版本有严重 bug，所以我复刻了一份并进行了修改。 elasticsearch \ --namespace es-demo \ --create-namespace \ --set singleNodeEnabled="true" \ sir5kong Values 参考 https://github.com/sir5kong/helm-charts-hub/tree/main/charts/elasticsearch/examples/tiers #
1.3K10编辑于 2023-08-02 - 来自专栏运维
5G+C-V2X及自动驾驶分级标准
5G 第五代移动通信技术（5th Generation Mobile Communication Technology，简称5G）是具有高速率、低时延和大连接特点的新一代宽带移动通信技术，是实现人机物互联的网络基础设施 其中，用户体验速率、连接数密度和时延为5G最基本的3个性能指标。同时，5G还需要大幅提高网络部署和运营的效率，相比4G，频谱效率提升3倍以上，能源效率提升百倍以上。 从支持车辆的自动化能力看，可分为L1～L5共五级。 目前被国内外广为接受的是 SAE（国际汽车工程学会）分级，从 Level-0～Level-5 总计6 个级别，Level-0 为最低级别，Level-5 为最高级别。 L0 属于传统驾驶，L1 和 L2 属于驾驶辅助，L3～L5 属于自动驾驶，L5 的自动驾驶技术等级也称为无人驾驶。因此，按照自动驾驶技术等级划分，驾驶辅助<自动驾驶<无人驾驶。
1.3K30编辑于 2022-03-15 - 来自专栏wym
车站分级 拓扑排序
车站分级 从起点到终点，只会在大于等于它等级的站点停靠，则小于它的不停靠 就从小于它的连一条边到它，然后拓扑 #include <bits/stdc++.h> #define pir pair<int
66710发布于 2019-04-17 数据分类分级 数据识别-excel分类分级模版文件导入、解析
前面讲了数据分类分级 数据识别-实现部分敏感数据识别，本次针对模版导入展开，excel导入采用的是easyexcel easyexcel介绍 之前的excel导入解析采用的是Apache poi， version> </dependency> 读取数据 easyexcel读取文件数据需要设置监听器，通过实现监听器，就可以实现数据的单行读取操作， 以下面的这个数据对象为例： /** * 分类分级模版数据 ExcelProperty(value="一级分类",index = 4) private String thirdClass; @ExcelProperty(value="一级分类描述",index = 5) ExcelProperty(value="一级分类描述",index = 7) private String fourthClassDesc; } 读取的数据内容如下示例： 数据安全-数据分类分级 数据识别-excel分类分级模版文件导入、解析的操作就到这里，如果有不解或需要帮助的，欢迎讨论！
46400编辑于 2025-04-07- 来自专栏喵叔's 专栏
存储优化--分区与冷热分离
冷热库： 存放冷数据的数据库被称为冷库，存放热数据的数据库被称为热库。 冷热分离： 在处理数据时，将数据按照冷热分为冷库和热库，在我们的案例中工单表是热库。 3.2 冷热分离方案 冷热分离方案有两种，一种是冷热数据都使用同一种类型的数据库，另一种是将冷数据存储在NoSQL数据库中。下面们我来分别讲解一下。 和数据库分区一样，我们在实行这个方案前，需要考虑这几个问题： 如何判断数据冷热； 冷热数据分离如何触发； 冷热数据分离如何实现； 冷热数据如何使用。 3.2.1.3 冷热数据分离如何实现 已经有了冷热数据分离的解决方案了，那么在这一小节里我们来看看如何实现冷热分离。 其实很简单，在工单表中增加锁定时间列来记录被锁定的时间，并设置当锁定时间超过N分钟后（例如5分钟，N的值需要在测试环境中进行多次测试后取平均值）就可以被其他线程重新锁定。
1.4K30编辑于 2022-05-25 - 来自专栏架构进阶
数据架构：概念与冷热分离
4.3 冷热分离 4.3.1 数据的冷热划分 首先，绝大部分场景，数据都可以分为“冷数据”和“热数据”。数据划分的原则，可以根据时间远近、热点/非热点用户等等。 4.3.2 冷热分离好处 通过合理的冷热分离设计，可以达到的好处： 降低单表数据量，提升单表性能； 大量业务冷数据转冷存，存储成本可以降低很多，至少 50％＋。 五 冷热分离方案 需要考虑的包括存储方案、数据迁移方案，另外需要做历史查询时也需要支持聚合查询和自动的冷热查询路由。 5.1 存储方案 存储方案，包括本地方案和云方案。 这里又涉及到几个问题： 冷热数据标记 迁移方法。 总结 本文介绍了数据架构的概念、意义，以及数据的冷热分离，并阐述了冷热分离方案和注意事项。本篇作为综述，在后续系列文章中会通过实际案例来进一步探究数据架构的内容。
1.2K01发布于 2021-05-09 鸿蒙5开发宝藏案例分享---一多分级导航栏开发实践
✨鸿蒙开发宝藏踩坑经验：手把手教你玩转多端分级导航栏✨Hey小伙伴们！今天在撸代码时意外挖到了鸿蒙官方文档里藏着的"多端分级导航栏"黄金案例！ A：在module.json5里加个"minWindowWidth": 1440 立刻解决！Q：二级导航点击没反应？
31710编辑于 2025-06-03- 来自专栏数据库相关
es数据的冷热分离实验
PS：这里就没分 hot warm cold 这种三级存储，我们一般使用 hot warm 2种即可。
1.2K30发布于 2019-12-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号