- 综合排序
- 最热优先
- 最新优先
- 来自专栏腾讯技术工程官方号的专栏
Elasticsearch 索引容量管理实践
集群中的数据越多，要纠正这一问题就越难，本文旨在帮助大家了解 ES 容量管理的方法，在一开始就管理好索引的容量，避免给后面留坑。 1. 为什么要做索引容量管理 在生产环境使用 ES 要面对的第一个问题通常是索引容量的规划，不合理的分片数，副本数和分片大小会对索引的性能产生直接的影响； Elasticsearch 中的每个索引都由一个或多个分片组成的 本文介绍 3 种管理索引容量的方法，从这 3 种方法可以了解到 ES 管理索引容量的演进过程： 2. 方法 2: 使用 Rollover 管理索引 Rollover 的原理是使用一个别名指向真正的索引，当指向的索引满足一定条件（文档数或时间或索引大小）更新实际指向的索引。 方法 3: 使用 ILM（Index Lifecycle Management ） 管理索引 ES 一直在索引管理这块进行优化迭代，从 6.7 版本推出了索引生命周期管理（Index Lifecycle
1.4K41发布于 2020-07-06 - 来自专栏腾讯云Elasticsearch Service
Elasticsearch 索引容量管理实践
集群中的数据越多，要纠正这一问题就越难，本文旨在帮助大家了解 ES 容量管理的方法，在一开始就管理好索引的容量，避免给后面留坑。 1. 为什么要做索引容量管理 在生产环境使用 ES 要面对的第一个问题通常是索引容量的规划，不合理的分片数，副本数和分片大小会对索引的性能产生直接的影响; Elasticsearch 中的每个索引都由一个或多个分片组成的 直接说结论：ES 官方推荐分片的大小是 20G - 40G，最大不能超过 50G; 本文介绍 3种管理索引容量的方法，从这3种方法可以了解到 ES 管理索引容量的演进过程： 2. 方法2: 使用 Rollover 管理索引 Rollover 的原理是使用一个别名指向真正的索引，当指向的索引满足一定条件（文档数或时间或索引大小）更新实际指向的索引。 方法3: 使用 ILM（Index Lifecycle Management ） 管理索引 ES 一直在索引管理这块进行优化迭代，从6.7版本推出了索引生命周期管理（Index Lifecycle Management
1.3K20发布于 2021-01-07 - 来自专栏云计算D1net
云容量管理和应用
什么是云容量管理以及如何实现目标？ 几十年来，容量管理一直用于优化组织内部资源。 以下将了解将容量管理扩展到云计算的含义：它需要什么?它与传统的内部部署容量管理有何不同?以及如何在关键用例中应用它? 云计算对容量管理意味着什么 在云计算出现之前，容量管理在IT方面有着悠久的历史。 步骤2：分析数据 组织既然拥有了数据，那么还需要了解资产，以了解实际情况。许多组织缺乏对其业务服务的可见性，因为他们的业务被组织成由多个监控工具管理的技术孤岛，每个监控工具都有自己的用户界面。 这通常被称为需求管理或预留感知容量管理。 在此步骤中，组织需要关注两个问题： (1)有足够的容量来完成这些新项目吗? (2)这些新项目将如何影响当前运行的其他应用程序和业务服务? 容量管理用例：原因和方式 管理云计算容量 防止云计算容量浪费是容量管理的关键目标，但同样重要的是确保在云计算资源上运行的应用程序和服务具有足够的容量。
3.6K31发布于 2019-03-07 - 来自专栏腾讯BBTeam团队的专栏
Elasticsearch 索引容量管理实践
集群中的数据越多，要纠正这一问题就越难，本文旨在帮助大家了解 ES 容量管理的方法，在一开始就管理好索引的容量，避免给后面留坑。 1. 为什么要做索引容量管理 在生产环境使用 ES 要面对的第一个问题通常是索引容量的规划，不合理的分片数，副本数和分片大小会对索引的性能产生直接的影响; Elasticsearch 中的每个索引都由一个或多个分片组成的 直接说结论：ES 官方推荐分片的大小是 20G - 40G，最大不能超过 50G; 本文介绍 3种管理索引容量的方法，从这3种方法可以了解到 ES 管理索引容量的演进过程： 2. 方法2: 使用 Rollover 管理索引 Rollover 的原理是使用一个别名指向真正的索引，当指向的索引满足一定条件（文档数或时间或索引大小）更新实际指向的索引。 方法3: 使用 ILM（Index Lifecycle Management ） 管理索引 ES 一直在索引管理这块进行优化迭代，从6.7版本推出了索引生命周期管理（Index Lifecycle Management
3.5K2716发布于 2020-06-18 - 来自专栏数据库相关
MySQL 基线与容量管理
INFORMATION_SCHEMA 库 PERFORMANCE_SCHEMA 库 sys 库 slow query log mytop/innotop/pt-toolkit mysqld_exporter MySQL容量管理 in MB" FROM information_schema.tables; 2、二进制日志大小估计 统计一天内二进制日志大小，并将其与expire_logs_days值相乘。 【size of largest table * 2 (for tmp/sort files)】 3.2 在做表DDL的时候，操作过程中，需要产生的一个大的临时表，需要占据较大的体积。 容量预测 根据数据库的历史监控数据（zabbix 或 prometheus） ，我们可以大致预测数据文件的周增长量、binlog的周增长量 以及系统负载波动的趋势。 容量解决之道 1、历史数据归档 根据业务场景，按照时间归档，迁移历史数据到大容量廉价低速的磁盘。降低生产环境数据库体积和负载，较小的表体积，便于数据库备份和DDL操作。
1.7K10发布于 2019-09-17 - 来自专栏谢海林的专栏
容量管理系统设计方案
，通过对低负载模块的展现，整合机器利用率，有效控制成本； 三.容量管理方案 针对实时系统，主要采用一下三种方式来达到要求： 自动化测试监控添加测速和时耗告警；（满足场景一、告警时间2分钟） 针对外网服务 高负载管理、低负载管理) 业务模块负载日报 针对离线系统，主要采用以下方式要求： 离线任务执行时耗超过最大值，直接告警（满足场景五、告警时间2分钟；预警时间1天）； 采用service收集离线任务开始时间 四.结束语 本方案仅仅涉及到“容量问题告警、预警”的内容，部门在这一块才刚刚起步，特别是问题出现之后的"定位、处理"还没有定论和统一解决方案，另外，容量管理系统的client端非常多，如何简单有效的管理这些 还希望大家能够有好的想法、建议，可以和hairy这边交流，让容量管理在“减少故障发生、降低故障影响”等方面发挥大作用。 相关推荐 精细化容量管理的设备成本优化之路 如何依托腾讯云完成海量数据的存储和备份
5.9K00发布于 2016-11-11 - 来自专栏云计算D1net
云计算环境中的容量管理
出处：企业网D1Net Greeneideas公司IT基础设施主管Joe Greene日前撰写了一篇文章，分析了在云计算环境中的容量管理挑战的主题。 其带领的IT团队在融合的VMware环境中进行数据库云容量管理。他表示，公共云提供商面临的容量管理问题与Greeneideas公司正在解决的问题类似。 Greene在了解云计算提供商对其客户的看法之后，并结合其丰富的工作经验，开始确定容量管理的挑战。因此，组织采用私有云可能被人们认为在特定计算机上的容量不足，也可能被认为公共云环境中的成本攀升。 ? Greene为云计算环境中的容量管理提供的关键主题是： 需要建立所有利益相关者都能从自己的角度理解的容量模型。 采用应用程序团队在配置容量时可能并不真正知道他们需要什么。 经过尝试，Greene带领的IT 团队增强了从服务器和容器列表驱动的容量模型，并合并了配置管理数据库(CMDB)、数据库和操作系统监视工具中的数据。
2K10发布于 2021-01-05 - 来自专栏运维小路
Etcd-2GB容量限制
MySQL PostgreSQL MongoDB Redis Etcd（本章节） 传统的数据库是没有容量限制的，但是Etcd是一个特殊数据库，因为他是有容量上限的，今天我们这个小节就来介绍这个容量限制。 在Etcd的技术讨论中，“2GB容量限制”是被问及频率最高的话题之一。许多初次接触etcd的开发者会本能地认为：这是一个应该被“突破”或“优化”的瓶颈。 2GB的定位：它是安全与容量的均衡点。 对于绝大多数etcd使用场景（配置管理、服务发现、Kubernetes元数据），2GB足够支撑数万至数十万个对象；同时，2GB的快照传输、碎片整理、内存映射均在可接受开销范围内。 结论：8GB上限是容量、性能、运维三者博弈的均衡点。突破它并非不能运行，而是你将独自承担突破阈值后的不确定性。
11110编辑于 2026-02-28 新型物流容量管理系统的技术解析
物流平台又如何管理容量，既不过度建设空间产生对客户无益的成本，也不过少建设空间限制产品选择、可用性和快速交付？ 答案在于一个创新的新型物流容量管理系统，由供应链优化技术团队和销售合作伙伴服务团队驱动。新系统为大多数卖家提供了更大的容量限制，并在需要时提供更大控制权以获得额外容量。 该平台需要找到一种方法，在建设额外容量以满足卖家需求的同时，将需求与可用容量相匹配。容量管理挑战该平台的预测能力——由机器学习、仿真和优化建模相结合驱动——已有充分记录。 科学家们解决了诸如如何管理高峰事件的库存以及如何在该平台的履约网络中最佳分配产品以实现最快交付等研究问题。但在管理该服务项目的容量时，即使是该平台的预测机制也有局限性。 为了管理该服务的容量，该平台最初创建了一个系统，根据卖家管理库存的程度对其进行评分。
19010编辑于 2025-09-29- 来自专栏腾讯架构师的专栏
云硬盘存储系统容量管理实践
摘要 如果说云计算拼的就是运维的话，那么公有云的运维拼的就是容量管理。公有云上容量管理（以下容量管理特指公有云上容量管理）就是要保障有充足的资源可对外售卖，即“有货可卖”。 本文主要对容量管理相关问题进行总结和分析，同时介绍云硬盘存储系统容量管理实践方案。 造成碎片化最直接的原因是前端售卖装箱策略不合理，但容量管理系统本身也需要具备定期整理碎片、均衡资源的能力。 图2 全局资源看板示例 自动交付，弹性伸缩 图3 设备生命周期 设备一旦到货以及需要紧急扩容的情况下，我们需要具备快速自动交付能力，降低售罄风险的同时也能优化运维人力。 合理装箱，自动均衡 典型的部署模型提供的最小容量单位为Set，用户可购买的云盘的规格为2G-16T，这是一个很典型的装箱问题。
6K20发布于 2017-11-01 - 来自专栏漫漫架构路
为什么HashMap的容量为2的指数
为什么HashMap的容量为2的指数 一. HashMap的容量揭秘 我们知道，HashMap的容量要求为2的指数(16、32、256等)，默认为16。 此外，HashMap也支持在构造器中指定初始容量initialCapacity，并会将容量设置为大于等于initialCapacity的最小的2的指数。 HashMap会基于这个容量创建table数组： /** * The table, initialized on first use, and resized as * necessary 2的指数呢？ void main(String[] args) { //创建一个2的指数n int n = (int) Math.pow(2, ThreadLocalRandom.current()
53210发布于 2020-09-03 - 来自专栏章鱼的慢慢技术路
Linux命令_磁盘管理_查看磁盘或目录的容量
软件环境：虚拟机VM12，Linux版本 CentOS 7.3 命令 df （disk filesystem） 用于查看已挂载磁盘的总容量、使用容量、剩余容量等，可以不加任何参数，默认以KB为单位显示。 （具体可参照 Linux操作系统的安装） /dev、/dev/shm 为内存分区，默认大小为内存大小的1/2，将文件存在这个分区下相当于存在了内存中，优点是读写速度非常快，缺点是系统重启时文件就会丢失。 2，df -h：使用合适的单位显示，例如GB。 ? 3，df -k、-m：分别表示以KB和MB为单位显示。 ? 2，du -[bkmh] du -b：表示列出的值以B为单位输出。 du -k：表示以KB为单位输出（相当于du）。 du -m：表示以MB为单位输出。 du -h：表示系统自动调节单位输出。 ?
7.7K30发布于 2018-06-20 YashanDB数据库自动扩容与容量管理策略
因此，数据管理者迫切需要一种高效、灵活的策略来优化数据库的扩容与资源管理。YashanDB作为一种新兴的数据库解决方案，提供了高度自动化的扩容与容量管理策略，旨在帮助企业有效应对复杂的数据管理需求。 本文将探讨YashanDB的自动扩容机制及其容量管理策略，以期提供给开发人员和DBA深入的技术洞察。YashanDB自动扩容机制YashanDB的自动扩容机制允许系统根据当前存储需求动态调整资源分配。 自动扩容的步骤监控与分析：系统实时监控数据库的容量使用情况，分析数据增长速率。触发机制：当存储使用率接近预设的阈值（例如85%），触发扩容操作。 容量管理策略YashanDB的容量管理策略不仅关注于如何扩容，还考虑如何优化和合理使用现有资源。 结论YashanDB的自动扩容与容量管理策略为现代企业数据库管理提供了强有力的支持，允许在不影响业务连续性的情况下灵活应对数据增长带来的挑战。
20810编辑于 2025-09-04- 来自专栏Linyb极客之路
运维管理之怎么做容量规划
前言 当我们在做大促，类似于双十一的活动时候，老板就会跑过来问我们这些问题 1.线上服务能承受多大的访问量 2.单台服务器能承受多大的访问量 3.需要加机器吗？ 需要加多少台机器 这个时候，就体现出容量规划的重要性了。那到底什么是容量规划呢？ 容量规划是以当前的性能作为基线，来决定你需要什么及什么时候需要 容量 VS 性能 性能：决定一辆车能装什么东西 容量：决定需要多少量车 容量规划可以分解为下面 4 个步骤 明确目标 收集指标 趋势预测 容量部署 明确目标 在没有明确网站需求之前，不应该开始容量规划。 测试主要分为下面 2 个步骤 测试服务器的主要功能 ：业务维度 QPS、TPS 测试服务器硬件资源 ： CPU、内存、硬盘、网络 趋势预测 预测容量是一个持续的过程，需要靠数学与直觉来进行精确的预测。
4K30发布于 2018-07-26 - 来自专栏章鱼的慢慢技术路
Linux命令_磁盘管理_查看磁盘或目录的容量
软件环境：虚拟机VM12，Linux版本 CentOS 7.3 命令 df （disk filesystem） 用于查看已挂载磁盘的总容量、使用容量、剩余容量等，可以不加任何参数，默认以KB为单位显示。 （具体可参照 Linux操作系统的安装） /dev、/dev/shm 为内存分区，默认大小为内存大小的1/2，将文件存在这个分区下相当于存在了内存中，优点是读写速度非常快，缺点是系统重启时文件就会丢失。 2，df -h：使用合适的单位显示，例如GB。 ? 3，df -k、-m：分别表示以KB和MB为单位显示。 ? 2，du -[bkmh] du -b：表示列出的值以B为单位输出。 du -k：表示以KB为单位输出（相当于du）。 du -m：表示以MB为单位输出。 du -h：表示系统自动调节单位输出。 ?
6.5K50发布于 2018-06-04 基于市场设计的FBA容量管理新系统揭秘
新FBA容量管理系统背后的科学新的“由某中心履约”（FBA）系统通过应用市场原则，赋予卖家更多的透明度和控制权，以管理其在该中心庞大履约网络中的容量。 某中心需要找到一种方法，在匹配需求与可用容量的同时，建设额外的容量来满足卖家的需求。容量管理的挑战某中心结合机器学习、仿真和优化建模的预测能力已有充分记录。 科学家们已经解决了诸如如何管理高峰事件的库存以及如何在某中心履约网络中最佳分配产品以实现最快交付等研究问题。但是，在管理FBA计划的容量时，即使是某中心的预测机制也有局限性。 为了管理FBA的容量，某中心最初创建了一个根据卖家管理库存的绩效对其进行评分的系统。 “我们最初的系统在管理容量方面运行良好。
8100编辑于 2026-01-19- 来自专栏java小白
为什么hashMap的容量是2的幂次
int length) { // assert Integer.bitCount(length) == 1 : "length must be a non-zero power of 2" ; return h & (length-1); } 假设 HashMap的容量为16转化成二进制为10000，length-1得出的二进制为01111 哈希值为1111 可以得出索引的位置为15 ---- 假设 HashMap的容量为15转化成二进制为1111，length-1得出的二进制为1110 哈希值为1111和1110 ? 总结： 因为2的幂-1都是11111结尾的，所以碰撞几率小。
1.6K50发布于 2018-05-24 - 来自专栏老张的求知思考世界
浅谈容量测试与容量规划
2、如何理解 ①、系统的容量（处理能力）是有限的； ②、容量是可度量的； 二、如何统计容量指标？ 最大吞吐量）最大接受阈值每秒请求数/事务数（QPS/TPS）响应时间（ART/99%RT）事务成功率（一般要求99.99%甚至更高）超时/异常错误率配置参数，比如：最大连接数、最大线程数、JVM内存分配上限 2、 ； ③、通过线上采集的系统数据，分析出过去某段时间（或某个业务）的高峰流量，然后通过计算，得到容量扩容，需要投入的实际服务数量； 2、约束/停止条件 在测试过程中，只要限定的某项指标达到最大可接受阈值或某项资源达到最大使用状态 2、容量规划四步走 ①、业务流量预估阶段：通过分析历史数据以及实时的线上监控，预估未来某个时间点或者某个业务可能会有多少多少的流量冲击； ②、系统容量评估阶段：根据具体的业务场景，分析每个业务场景的流量配比 常见的方式有： 服务集群：服务器的数量由1→N（但需要重点关注负载均衡）； 分布式：提供服务的节点由统一集中管理部署，分散到不同的地点； 容器：提供更灵活的弹性扩容机制，根据具体的访问流量大小来弹性扩容或者缩容
4K10发布于 2019-12-02 HashMap的容量为什么一定是2^n？
HashMap 的容量被设计为 2^n，主要有如下几个优势：位运算效率：与使用取模（%）操作相比，使用位运算来计算索引位置更加高效。 扩容性能更佳：HashMap 的初始容量是2^n，扩容也是以 2 倍的形式进行扩容，这样在进行扩容重新分布元素时，我们只需要对参与计算的最高位进行检测，如果为 1 就向高位移动 2^(n-1) 位，为 详解HashMap 的默认容量是 1 << 4，也就是2^4，也就是16。当我们指定容量大小的时候，如果这个值不是 2^n，HashMap 就会将其处理为 2^n。 如果我们不将 HashMap 的容量约定为 2^n，是无法将 % 运算转换为 & 运算的。而x % 2^n = x & (2^ - 1)，可以把 % 运算转换为 & 运算，这样性能就大大提高了。 如果我们将 HashMap 的容量保持为 2^n，就避免了这个过程，会变得非常简单而又高效。
61210编辑于 2024-10-21- 来自专栏Zchannel
影驰发布旗下最大容量SSD：2TB
现在，主打性价比的将系列又推出旗下影驰最大容量SSD，容量达到2TB的新款铠甲战将。 ? 闪存颗粒搭载东芝的15nm NAND，单颗容量128GB，PCB双面共分布16颗，组成2TB容量。 同时，还有两颗美光的1GB独立缓存，无需划分OP冗余缓存，可提升SSD性能和寿命。 这款2TB的影驰铠甲战将定于5月份上市，具体价格未公布，相信仍会有很高的性价比。
68940发布于 2018-07-20
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号