- 综合排序
- 最热优先
- 最新优先
- 来自专栏Elastic Stack专栏
Elasticsearch最佳实践：通过调优来节省日志和指标存储成本
当我们使用Elasticsearch时，存储成本一直是需要考虑的重要因素。 在上一篇文章《Elasticsearch最佳实践：不同版本之间的存储成本对比》中，我们向大家展示了仅通过升级版本而无需进行任何调优配置，就能获得的提升效果。 些数据对比清晰地表明，Elasticsearch的不断更新和优化使得仅仅升级版本就能在存储成本上带来巨大的提升。但这并非我们持续优化道路上的终点，相反，这只是开始。 在本文中，我们将详细介绍我们在多个不同版本中引入的新特性，以及它们如何帮助我们持续优化存储成本。让我们一起来看看如何应用这些新特性吧！ 指标场景成本优化 而指标数据，则会更加明显，因为我们可以通过 synthetic _source 配置，直接把行存去掉。
3K45编辑于 2023-10-27 - 来自专栏大数据和云计算技术
硬盘存储衡量指标
1 存储衡量指标： 容量：决定因子是硬盘个数，单盘容量 IOPS：决定因子磁盘个数，cache命中率，阵列算法 I/O响应时间：R=T/(1-U) R是响应时间 T是I/O控制器服务一个块所用时间 吞吐量：决定因子是阵列架构，光纤通道大小，硬盘个数 2 IOPS计算方法 IOPS：IO系统每秒所执行IO操作的次数。 IOPS IOPS = 1/IO Time = 1/(Seek Time + 60 sec/Rotational Speed/2 + IO Chunk Size/Transfer Rate) Seek 一般10krpm 为5ms T ransfer Rate:40MB/s 2.2 顺序写对IOPS的影响： 上面计算公式都是实际情况中的随机读写，如果考虑一种相对极端的顺序读写操作，比如说在读取一个很大的存储连续分布在磁盘的的文件 ，因为文件的存储的分布是连续的，磁头在完成一个读IO操作之后，不需要从新的寻址，也不需要旋转延时，在这种情况下我们能到一个很大的IOPS值。
1.8K60发布于 2018-03-08 - 来自专栏云计算D1net
如何计算云存储成本
计算云存储成本似乎看起来很简单。当用户查看云计算供应商提供的存储服务的定价时，显而易见的成本是数据的存储成本。但是如果深入研究的话，就会发现与云存储成本相关的其他各种费用。 在云中存储数据的总拥有成本（TCO）通常比简单的存储费用高出许多。 云存储成本的增加可能比组织意识到的还要快，并且出乎意料。 计算云存储成本似乎看起来很简单。 云存储的直接成本 要确定云存储总拥有成本，应该首先量化直接成本。所谓直接成本是指有形的、易于计算的在云端存储数据的费用。 其中包括以下几种成本： 存储成本：用户为存储在云平台中的数据支付的费用。 云存储间接成本 上述直接云存储成本只是云存储总拥有成本的一部分。用户还必须考虑与设置和管理云存储相关的云存储间接成本。 这些云存储成本在很大程度上是无形的。用户无法像云存储直接成本那样确定地进行计算。 将云存储成本相加吗? 在用户将所有云存储直接成本和间接成本相加之后，可以确定云存储数据的总拥有成本是否低于内部部署存储数据的总拥有成本。
4.5K10发布于 2020-12-02 - 来自专栏Elastic Stack专栏
Elasticsearch & ClickHouse 存储成本比较
回到本文的重点，我们之前讨论过压缩率的问题，但对原始数据的压缩率与存储成本并不是划等号的，压缩率只是总体存储成本中的一个因素，在实际的场景中，我们有多种手段可以降低我们的存储成本，包括我们数据处理的方式 通过数据处理降低存储成本：Rollup + transform 但ES作为一个非常成熟的大数据产品，其提供了更多的方式协助我们降低成本。 此时，day1之后的数据成本是可以缩减的： [image.png] 通过存储方式和介质降低成本 我们可能要问，我们本身就有日志数据存储的需求，不够能只存储上卷和转置之后的数据，原始的数据还是要存储的。 ] 总结 本文中，我主要列出了在一些存储成本上我们可以采集的方法。 在进行成本估算的时候，我们不能只看压缩率一个指标，我们需要综合分析一个产品，或者说一个解决方案是不是给你提供了一套完整的，可用的，稳定的数据治理，数据维护的工具，方便我们能够更好的达成对数据的控制。
4.8K50发布于 2021-04-28 优化YashanDB的存储成本
在现代数据库系统中，存储成本是一个不容忽视的重要问题。随着数据规模的不断扩大，企业面临着如何有效管理和降低数据存储成本的挑战。 本文将探索YashanDB存储成本的优化方法，以帮助企业在降低存储成本的同时，保持数据库的性能与可用性。优化存储成本的核心技术点1. 这不仅降低了存储成本，还提升了系统性能，因为活跃数据与历史数据的物理分离允许更多优化，尤其是在删除或读取数据时。YashanDB还支持定期清理旧的数据，从而通过减少存储的冗余数据来进一步降低成本。 2. 多存储结构的合理应用YashanDB支持HEAP、BTREE、MCOL和SCOL等多种存储结构，每种结构在不同场景下的表现各有优势。 深入掌握不同存储结构的特性，可以在需求变化时进行动态调整，最终降低整体存储成本。3. 表空间与分区管理表空间和分区的合理管理是另一个降低存储成本的重要方面。
14900编辑于 2025-07-22- 来自专栏云计算行业
智能分层存储,自动优化您的存储成本
关注腾讯云大学，了解行业最新技术动态 近日，腾讯云正式发布对象存储新品——智能分层存储，能够根据用户数据的访问模式，自动地转换数据的冷热层级，为用户提供与标准存储一致的低延迟和高吞吐的产品体验，同时具有更低的存储成本 熟悉数据存储的用户都知道，访问频度高的数据为热数据，访问频度低的数据为冷数据。热数据使用标准存储类型存储，可以得到更优的访问体验；而冷数据一般用低频存储或归档存储类型，可以节省存储成本。 如果选择标准存储，存储成本就会偏高；如果选择低频存储，不仅需要数据取回费用，还会损害用户的访问体验。 但如果选择智能分层存储，就无需关注数据访问热度，由对象存储服务来监测数据访问频率，即可将数据智能地在冷热访问层之间转换，且无需数据取回费用，在不损害户访问体验的同时，有效降低存储成本。 数据自动沉降，存储成本更优 通过监测数据访问频率，自动化管理数据访问层，智能分层存储类型还参与对象存储生命周期流程，用户可以按需将智能分层存储沉降到归档存储中，进一步降低数据在云端的存储成本。
66920编辑于 2023-05-29 - 来自专栏python爱好部落
如何高效低成本存储附件
块存储通常用于需要高性能和低延迟的应用，如数据库和虚拟机。 文件级存储： 允许用户通过网络文件共享协议（如NFS或CIFS/SMB）访问和管理文件系统。 如何存储速度又快，成本更低呢？ 对象存储是一种数据存储架构，它将数据存储为对象，而不是传统的文件系统结构。对象存储通常用于存储大量的非结构化数据，如图片、视频、音频文件等。 多租户：对象存储支持多租户架构，允许多个用户或组织使用相同的存储基础设施，同时保持数据隔离。 成本效益：由于其可扩展性和管理效率，对象存储通常比传统的存储解决方案更具成本效益。 笔者构建了一个系统，架构如下： 这样文件就可以做到在一个系统，或者多个系统里存储或分发了。 这样做的好处： 提升系统性能和节约成本，存算分离，为系统减负。 统一分发和存储，而且对用户无感知，不改变用户使用习惯； 促进系统之间文档互通，消除数据孤岛； 异构系统统一，方便管理和维护，降低企业成本； 数据可以进一步做治理，数据备份，安全管理，权限管控，数据汇总，
1.2K10编辑于 2024-06-07 - 来自专栏腾讯云存储
对象存储COS成本优化方案
随着上云企业越来越多，企业对用云成本问题也越发重视。业务的发展会产生海量存储需求，在云端存储数据时，如何进行成本优化，减轻业务负担呢？ 在进行成本优化之前，首先需要了解腾讯云对象存储COS的成本构成。 以检索分析清单文件中的数据为例，当清单报告投递到指定存储桶后，您可以进入控制台对指定的清单报告进行分析： 1、进入文件列表，找到对应的清单报告，点击最右侧检索； 2、进入文件检索页面，配置好相应入参 操作步骤如下： 1、导出待处理文件列表，整合成csv格式文件； 2、创建COSBatch批量处理任务，导入文件列表； 3、执行批量处理任务，等候任务完成即可。 五、进行成本回顾 成本优化需要贯穿业务的全流程，而不仅仅只在业务上云时进行成本规划，客户需要不定时进行成本回顾，按照业务需求合理规划业务的云存储架构，有利于降低存储成本。
2K31发布于 2020-11-20 云存储成本自动优化技术解析
云存储优化初创公司获2000万美元种子轮融资自主云存储优化初创公司Datafy宣布完成2000万美元种子轮融资，并表示已准备好帮助企业实现大幅成本节约。本轮融资由知名投资机构领投，多家机构参与投资。 核心技术架构Datafy开发了自主存储优化引擎，声称可将企业云存储成本降低高达50%，且无需客户过多操作。该技术目前兼容某中心的云存储环境。客户只需将其连接到存储环境并选择需要优化成本的存储卷即可。 我们正在重建存储基础设施层，以全自动方式执行用户无法自行完成的操作，且不会造成任何中断或停机。”技术实现原理该平台基于零停机自动扩展引擎，结合专有传感器技术持续监控存储消耗。 未来发展计划本轮融资将帮助Datafy拓展美国市场，开发更有效的存储优化工具，并扩大其合作伙伴生态系统。投资机构代表认为，Datafy采用了“深度技术方法”，与云存储优化领域的其他公司截然不同。 “与其他仅在运营层面帮助客户节省云成本的公司不同，Datafy为最苛刻、最复杂的云存储用户开发了产品。”
13210编辑于 2025-10-11- 来自专栏Elastic Stack专栏
Elasticsearch 时间序列数据存储成本优化
这种重复存储对于度量指标来说效果不佳，因为度量指标通常通过聚合查询进行检查，而不会使用这个字段。 这些工具自动删除旧索引，而ILM还支持将索引移动到更便宜的存储层（例如使用机械硬盘或归档云存储）以降低存储成本，同时不影响常用度量指标的查询性能，并且用户参与最少。 修剪不必要的维度Elasticsearch架构使我们的度量服务在每个度量的时间序列数量（即维度基数的乘积）高达数百万或更多时，具有可管理的性能成本，远远超过竞争系统。 这种全自动方法减少了存储成本，无需更改索引映射或配置，因此强烈推荐。此外，值得考虑通过降采样以换取存储来处理数据老化。 虽然某些功能是度量特有的，如降采样，但我们仍希望通过日志特定的索引配置实现2-4倍的存储减少。尽管减少了所有Elasticsearch索引所需的元数据字段的存储开销，我们计划更加积极地修剪这些字段。
89720编辑于 2024-09-12 - 来自专栏c++与qt学习
SpringBoot2---指标监控
指标监控 1、SpringBoot Actuator 1、简介 2、1.x与2.x的不同 3、如何使用 2、Actuator Endpoint 1、最常使用的端点 最常用的Endpoint 2、Health 定制info信息---用于展示当前应用详细信息 方式一: 编写配置文件 方式二: 编写InfoContributor 3、定制Metrics信息 （运行时指标） 1、SpringBoot支持自动适配的 ---- 2、Actuator Endpoint 1、最常使用的端点 最常用的Endpoint Health：监控状况 Metrics：运行时指标 Loggers：日志记录 ---- 2、Health 整个就是宕机状态) 很多的健康检查默认已经自动配置好了，比如：数据库、redis等 可以很容易的添加自定义的健康检查机制 ---- 3、Metrics Endpoint 提供详细的、层级的、空间指标信息 Collections.singletonMap("key", "value")); } } 会输出以上方式返回的所有info信息，即配置文件和代码迭代的所有info信息 ---- 3、定制Metrics信息 （运行时指标
98130发布于 2021-11-15 - 来自专栏东风微鸣技术博客
如何精简 Prometheus 的指标和存储占用
前言 随着 Prometheus 监控的组件、数量、指标越来越多，Prometheus 对计算性能的要求会越来越高，存储占用也会越来越多。 但是实际上虽然集中存储、长期存储、存储降采样及存储压缩可以一定程度解决相关问题，但是治标不治本。 •真正的本，还是在于指标量（series）过于庞大。•治本之法，应该是减少指标量。 本次重点介绍第二种办法：如何根据实际的使用情况精简 Prometheus 的指标和存储占用？ 思路 1.分析当前 Prometheus 中存储的所有的 metric name（指标项）；2.分析展示环节用到的所有 metric name，即 Grafana 的 Dashboards 用到的所有指标 write_relabel_configs 仅 keep 2-4 中的指标, 以此大幅减少 Prometheus 需要存储的指标量.
1.8K30编辑于 2022-12-01 - 来自专栏Portworx云原生容器存储
云上跑容器，如何降低存储成本
PX-Autopilot: 自动化的存储容量管理，节省一半的云存储成本 不少客户都在使用K8S来管理容器，并且通过Portworx来管理容器存储。 通过PX-Autopilot扩展存储池 通过PX-Autopilot节省云成本 除了能帮用户节省操作存储集群扩容的近20个小时工作量，PX-Autopilot通过自动化的存储容量调整，可以帮助客户节省大量的存储成本 虽然公有云提供的是按使用量付费的方式，但是实际上客户必须手动的管理存储扩容来应对数据增长，通常会部署超出正常需要2~3倍的块存储。这意味着客户不得不对没有使用的存储去付费。 这个应用需要10,000 IOPS，gp2-volume的SSD存储。有10个类似这样的应用，每个卷需要1TB的存储容量。 这样的成本节约还没有考虑如果达到最大存储容量附加限制后，额外的计算资源的增加，以及其它与K8S部署有关的软件成本。
3.7K00发布于 2020-02-03 - 来自专栏用户5909132的专栏
智能存储重磅上线：低成本闲时转码
引言 视频相关行业飞速演进，视频化新场景不断涌现，在视频转码上投入的硬件与计算成本也与日俱增，面对此情况，腾讯云已在数据万象、媒体处理MPS两个产品上推出闲时转码，利用非峰值时间段的机器资源处理特定的任务 ，充分利用闲置资源，从而帮助客户大幅节省成本。 闲时转码利用非峰值时间段的空闲机器资源进行转码处理，可为客户降低70%以上的成本投入，适配对时效性没有严格要求的客户群体。 这类客户可将转码任务设置为闲时模式，该转码任务就会进入序列中等待不定时的空闲机器资源，并在约定的时间范围内完成处理，处理后的产物质量与普通转码无异，可保证用户业务流程的正常运转，通过采用闲时转码策略用户的使用成本大幅降低 目前闲时转码已在数据万象上线，用户可使用闲时转码批量存储于对象存储COS上的文件，提交工单申请白名单后即可使用闲时转码。 点击“阅读原文”立刻了解数据万象闲时转码更多信息
74720编辑于 2023-03-29 - 来自专栏大数据技术博文
【操作实践】使用JuiceFS降低Elasticsearch存储成本
元数据存储数据库准备 这里我们使用RDS作为JuiceFS的元数据存储，更多的其它元数据存储引擎可以参考：如何设置元数据引擎 | JuiceFS Document Center 三. -background \ --cache-dir /mnt/cache \ --cache-size 512000 \ "mysql://juicefs:Iic^%xxxxx2TR Elasticsearch 集群操作 配置warm节点 这里一共有5个es索引节点，分别为： cat /etc/hosts 172.1.0.xx es-data-1 172.1.0.7 es-data-2 100TB+，存储成本大约在0.8元/月/G（按照云厂商官网标准价格计算），整体算下来大概是5万左右的成本。 在使用JuiceFS之后，我们将一部分数据（取决于我们自身索引策略），迁移到了对象存储中，这部分的存储成本大约是0.12/月/1G（按照官网标准价格计算） 关于本文的一些核心知识点，可以自行网络搜索补充
1.1K30编辑于 2022-11-22 - 来自专栏云云众生s
对象存储是控制云成本的关键
对象存储被设计为高度可扩展且存储大量数据成本更低。与文件存储不同，对象存储更适合于多次读取且很少写入或修改的数据，因此非常适合用作归档。 对象存储带来的成本节省 平均而言，云对象存储比云文件存储低 2 到 10 倍。此外，如果你正在主动读取和写入文件（获取/放置操作），则这些操作的成本会累加到文件服务器上。 文件到对象分层策略 对象存储非常适合归档，因为冷数据通常不会被写入或修改。此外，对象存储成本低廉，但与磁带不同，数据可以在毫秒内检索。 大多数 数据分层 解决方案都是策略驱动的，并且持续运行，这使得它们非常适合将冷数据从快速昂贵的的文件系统移动到成本低得多的对象存储系统。 如果您出于归档目的迁移对象，则需要分析数据以识别具有“冷”对象的存储桶并确定要迁移的内容。 对象存储具有高度可扩展性，并且比文件存储成本更低。
54010编辑于 2024-06-19 - 来自专栏腾讯云存储
腾讯云对象存储COS新品发布——智能分层存储，自动优化您的存储成本
近日，腾讯云正式发布对象存储新品——智能分层存储，能够根据用户数据的访问模式，自动地转换数据的冷热层级，为用户提供与标准存储一致的低延迟和高吞吐的产品体验，同时具有更低的存储成本。 熟悉数据存储的用户都知道，访问频度高的数据为热数据，访问频度低的数据为冷数据。热数据使用标准存储类型存储，可以得到更优的访问体验；而冷数据一般用低频存储或归档存储类型，可以节省存储成本。 如果选择标准存储，存储成本就会偏高；如果选择低频存储，不仅需要数据取回费用，还会损害用户的访问体验。 2、低频数据无需取回，秒变高频数据 智能分层存储是文件对象级别的存储类型，COS会智能监控每一个处于该存储类型的对象，当检测到某对象的访问热度降低时，会自动将数据转换至低频存储，如果该对象若干时间后重新被人访问 3、数据自动沉降，存储成本更优 通过监测数据访问频率，自动化管理数据访问层，智能分层存储类型还参与对象存储生命周期流程，用户可以按需将智能分层存储沉降到归档存储中，进一步降低数据在云端的存储成本。
2.5K170发布于 2020-11-12 - 来自专栏码匠的流水账
springboot2增加diskspace指标
序 本文主要研究下如何在springboot2新增一个diskspace指标 disk health indicator DiskSpaceHealthIndicatorProperties spring-boot-actuator-autoconfigure "statistic": "VALUE", "value": 96.99886102691765 } ], "availableTags": [] } 小结 springboot2默认把 这里通过自定义micrometer的metrics，新增diskspace相关指标，这样就可以统一通过metrcis进行监控报警。
1.9K10发布于 2018-09-17 - 来自专栏腾讯云开发者社区推荐
存储成本降低80%，有赞数据中台成本治理怎么做的？
其中离线机器的成本占了将近 50% ，其他的部分相对来讲占的是小头。 2. 数据成本增速超业务 在我们上半年的治理中，主要是针对离线计算场景，实时计算的部分目前在规划启动中。 （2）扩缩容成本高 第二个问题是扩缩容的成本和能力。2019 年的时候，有赞容器化的程度不高，在很多场景基本上是要以月为维度来进行机器的采购和搭建。 另外就是把机器根据不同的计算场景进行标准化的处理，就像计算型、内存型、存储型等的标准。 提升利用率还有一个方式，就是把像跑批这样的任务进行合理的划分，从而起到削峰填谷的效果。 2. 我们 hadoop 目前还是 2.x 版本为主，目前也在往 3.x 上迁移。因为 3.x 提供了很好的存储压缩的方案，如果整体迁完，可以降低一半左右的空间。 有了单价指标之后，每一个跑批使用了多少资源，再乘以单价就可以得到成本的数据。 数据成本模型在成本治理中非常关键。
8.2K12857发布于 2020-08-05 - 来自专栏腾讯云存储专家服务
运维干货|对象存储COS成本管理秘籍
对象存储的监控可以在云监控产品进行配置，就成本管理而言，我们主要关注的对象存储监控指标 有存储量、流量、请求量；这几个计费项占据对象存储成本的大头。 当对象存储的成本，或者其他运维资源的成本达到一定量级的时候，我们就得建立相对于的成本运营体系，关联资源量指标与业务指标，制定成本优化的目标，严格控制成本增长。 3.1 关联业务指标与资源量指标 以周、月为周期，统计成本，持续关注成本变化趋势。 将业务指标与成本映射，在成本增长的同时关注业务指标是否相应的增长，以及增长趋势是否相对应，可以让我们准确把握成本增长是否符合业务增长预期； 例如用COS作为用户图片存储，那边存储量就应该是和用户数正相关的 3.2 合理规划存储桶的使用 切忌多个业务共用存储桶的情况，不同的业务存储数据不同，业务指标也可能不同，如果多个业务混用同一个存储桶，那么在成本运营这块会带来诸多不便，也无法资源量与业务指标相关联。
3.5K80发布于 2021-02-25
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号