- 综合排序
- 最热优先
- 最新优先
- 来自专栏Elastic Stack专栏
Elasticsearch最佳实践：通过调优来节省日志和指标存储成本
当我们使用Elasticsearch时，存储成本一直是需要考虑的重要因素。 在上一篇文章《Elasticsearch最佳实践：不同版本之间的存储成本对比》中，我们向大家展示了仅通过升级版本而无需进行任何调优配置，就能获得的提升效果。 些数据对比清晰地表明，Elasticsearch的不断更新和优化使得仅仅升级版本就能在存储成本上带来巨大的提升。但这并非我们持续优化道路上的终点，相反，这只是开始。 在本文中，我们将详细介绍我们在多个不同版本中引入的新特性，以及它们如何帮助我们持续优化存储成本。让我们一起来看看如何应用这些新特性吧！ 指标场景成本优化 而指标数据，则会更加明显，因为我们可以通过 synthetic _source 配置，直接把行存去掉。
3K45编辑于 2023-10-27 - 来自专栏大数据和云计算技术
硬盘存储衡量指标
1 存储衡量指标： 容量：决定因子是硬盘个数，单盘容量 IOPS：决定因子磁盘个数，cache命中率，阵列算法 I/O响应时间：R=T/(1-U) R是响应时间 T是I/O控制器服务一个块所用时间 1/IO Time = 1/(Seek Time + 60 sec/Rotational Speed/2 + IO Chunk Size/Transfer Rate) Seek Time寻址时间：一般10krpm 为5ms T ransfer Rate:40MB/s 2.2 顺序写对IOPS的影响： 上面计算公式都是实际情况中的随机读写，如果考虑一种相对极端的顺序读写操作，比如说在读取一个很大的存储连续分布在磁盘的的文件 ，因为文件的存储的分布是连续的，磁头在完成一个读IO操作之后，不需要从新的寻址，也不需要旋转延时，在这种情况下我们能到一个很大的IOPS值。 2.3 单盘的IOPS： 磁阵做RAID 10，15K SAS单盘IOPS为65 1）响应时间和IOPS: R=T/(1-U) R是响应时间 T是I/O控制器服务一个块所用时间，U是硬盘利用率。
1.8K60发布于 2018-03-08 - 来自专栏云计算D1net
如何计算云存储成本
计算云存储成本似乎看起来很简单。当用户查看云计算供应商提供的存储服务的定价时，显而易见的成本是数据的存储成本。但是如果深入研究的话，就会发现与云存储成本相关的其他各种费用。 在云中存储数据的总拥有成本（TCO）通常比简单的存储费用高出许多。 云存储成本的增加可能比组织意识到的还要快，并且出乎意料。 计算云存储成本似乎看起来很简单。 云存储的直接成本 要确定云存储总拥有成本，应该首先量化直接成本。所谓直接成本是指有形的、易于计算的在云端存储数据的费用。 其中包括以下几种成本： 存储成本：用户为存储在云平台中的数据支付的费用。 云存储间接成本 上述直接云存储成本只是云存储总拥有成本的一部分。用户还必须考虑与设置和管理云存储相关的云存储间接成本。 这些云存储成本在很大程度上是无形的。用户无法像云存储直接成本那样确定地进行计算。 将云存储成本相加吗? 在用户将所有云存储直接成本和间接成本相加之后，可以确定云存储数据的总拥有成本是否低于内部部署存储数据的总拥有成本。
4.5K10发布于 2020-12-02 - 来自专栏Elastic Stack专栏
Elasticsearch & ClickHouse 存储成本比较
回到本文的重点，我们之前讨论过压缩率的问题，但对原始数据的压缩率与存储成本并不是划等号的，压缩率只是总体存储成本中的一个因素，在实际的场景中，我们有多种手段可以降低我们的存储成本，包括我们数据处理的方式 通过数据处理降低存储成本：Rollup + transform 但ES作为一个非常成熟的大数据产品，其提供了更多的方式协助我们降低成本。 此时，day1之后的数据成本是可以缩减的： [image.png] 通过存储方式和介质降低成本 我们可能要问，我们本身就有日志数据存储的需求，不够能只存储上卷和转置之后的数据，原始的数据还是要存储的。 ] 总结 本文中，我主要列出了在一些存储成本上我们可以采集的方法。 在进行成本估算的时候，我们不能只看压缩率一个指标，我们需要综合分析一个产品，或者说一个解决方案是不是给你提供了一套完整的，可用的，稳定的数据治理，数据维护的工具，方便我们能够更好的达成对数据的控制。
4.8K50发布于 2021-04-28 优化YashanDB的存储成本
在现代数据库系统中，存储成本是一个不容忽视的重要问题。随着数据规模的不断扩大，企业面临着如何有效管理和降低数据存储成本的挑战。 YashanDB作为高性能数据库的一部分，其存储体系结构提供了灵活的管理选项，但若要达到存储成本的最优化，则需要对数据存储和管理策略进行深刻理解与合理应用。 本文将探索YashanDB存储成本的优化方法，以帮助企业在降低存储成本的同时，保持数据库的性能与可用性。优化存储成本的核心技术点1. 这不仅降低了存储成本，还提升了系统性能，因为活跃数据与历史数据的物理分离允许更多优化，尤其是在删除或读取数据时。YashanDB还支持定期清理旧的数据，从而通过减少存储的冗余数据来进一步降低成本。 深入掌握不同存储结构的特性，可以在需求变化时进行动态调整，最终降低整体存储成本。3. 表空间与分区管理表空间和分区的合理管理是另一个降低存储成本的重要方面。
14900编辑于 2025-07-22- 来自专栏云计算行业
智能分层存储,自动优化您的存储成本
关注腾讯云大学，了解行业最新技术动态 近日，腾讯云正式发布对象存储新品——智能分层存储，能够根据用户数据的访问模式，自动地转换数据的冷热层级，为用户提供与标准存储一致的低延迟和高吞吐的产品体验，同时具有更低的存储成本 熟悉数据存储的用户都知道，访问频度高的数据为热数据，访问频度低的数据为冷数据。热数据使用标准存储类型存储，可以得到更优的访问体验；而冷数据一般用低频存储或归档存储类型，可以节省存储成本。 如果选择标准存储，存储成本就会偏高；如果选择低频存储，不仅需要数据取回费用，还会损害用户的访问体验。 但如果选择智能分层存储，就无需关注数据访问热度，由对象存储服务来监测数据访问频率，即可将数据智能地在冷热访问层之间转换，且无需数据取回费用，在不损害户访问体验的同时，有效降低存储成本。 数据自动沉降，存储成本更优 通过监测数据访问频率，自动化管理数据访问层，智能分层存储类型还参与对象存储生命周期流程，用户可以按需将智能分层存储沉降到归档存储中，进一步降低数据在云端的存储成本。
66920编辑于 2023-05-29 - 来自专栏python爱好部落
如何高效低成本存储附件
块存储通常用于需要高性能和低延迟的应用，如数据库和虚拟机。 文件级存储： 允许用户通过网络文件共享协议（如NFS或CIFS/SMB）访问和管理文件系统。 如何存储速度又快，成本更低呢？ 对象存储是一种数据存储架构，它将数据存储为对象，而不是传统的文件系统结构。对象存储通常用于存储大量的非结构化数据，如图片、视频、音频文件等。 多租户：对象存储支持多租户架构，允许多个用户或组织使用相同的存储基础设施，同时保持数据隔离。 成本效益：由于其可扩展性和管理效率，对象存储通常比传统的存储解决方案更具成本效益。 笔者构建了一个系统，架构如下： 这样文件就可以做到在一个系统，或者多个系统里存储或分发了。 这样做的好处： 提升系统性能和节约成本，存算分离，为系统减负。 统一分发和存储，而且对用户无感知，不改变用户使用习惯； 促进系统之间文档互通，消除数据孤岛； 异构系统统一，方便管理和维护，降低企业成本； 数据可以进一步做治理，数据备份，安全管理，权限管控，数据汇总，
1.2K10编辑于 2024-06-07 - 来自专栏腾讯云存储
对象存储COS成本优化方案
随着上云企业越来越多，企业对用云成本问题也越发重视。业务的发展会产生海量存储需求，在云端存储数据时，如何进行成本优化，减轻业务负担呢？ 在进行成本优化之前，首先需要了解腾讯云对象存储COS的成本构成。 下表展示了使用不同存储类型存储一个月数据对应的存储成本，以在广州园区存储100TB业务数据为例： 从表中可以看到，如果业务数据下载量较低，则选择归档存储甚至深度归档能有效降低存储成本，最冷的深度归档存储相较标准存储可节省 以某客户图片存储业务为例，下表对比了100TB图片存储采用不同压缩方式后的成本支出情况： 从表中可以看到，使用图片压缩能力进行压缩后，尽管会付出一定压缩成本，但存储成本大幅度降低，实际总支出也降低了。 五、进行成本回顾 成本优化需要贯穿业务的全流程，而不仅仅只在业务上云时进行成本规划，客户需要不定时进行成本回顾，按照业务需求合理规划业务的云存储架构，有利于降低存储成本。
2K31发布于 2020-11-20 云存储成本自动优化技术解析
云存储优化初创公司获2000万美元种子轮融资自主云存储优化初创公司Datafy宣布完成2000万美元种子轮融资，并表示已准备好帮助企业实现大幅成本节约。本轮融资由知名投资机构领投，多家机构参与投资。 核心技术架构Datafy开发了自主存储优化引擎，声称可将企业云存储成本降低高达50%，且无需客户过多操作。该技术目前兼容某中心的云存储环境。客户只需将其连接到存储环境并选择需要优化成本的存储卷即可。 我们正在重建存储基础设施层，以全自动方式执行用户无法自行完成的操作，且不会造成任何中断或停机。”技术实现原理该平台基于零停机自动扩展引擎，结合专有传感器技术持续监控存储消耗。 未来发展计划本轮融资将帮助Datafy拓展美国市场，开发更有效的存储优化工具，并扩大其合作伙伴生态系统。投资机构代表认为，Datafy采用了“深度技术方法”，与云存储优化领域的其他公司截然不同。 “与其他仅在运营层面帮助客户节省云成本的公司不同，Datafy为最苛刻、最复杂的云存储用户开发了产品。”
13210编辑于 2025-10-11- 来自专栏Elasticsearch专栏
【Kafka专栏 10】Kafka消息压缩机制：从带宽保存到存储成本降低
2.2 增加硬件成本 由于未压缩消息占用的磁盘空间更多，因此为了存储这些消息，可能需要购买更多的存储设备或扩展现有的存储容量。 这不仅包括购买更多硬盘驱动器的成本，还可能包括与存储相关的其他基础设施成本，如存储区域网络（SAN）或网络附加存储（NAS）解决方案。 压缩后的数据大小会远小于原始数据大小，从而达到节省存储空间和网络带宽的目的。 （3）存储压缩数据：Kafka将压缩后的数据写入磁盘中的相应分区。 监控指标可以包括压缩率、网络带宽使用情况、磁盘存储空间占用以及I/O性能等。 4.4 评估解压缩开销 虽然压缩可以节省存储空间和带宽，但解压缩会增加消费者的CPU开销。 较高的复制因子会增加数据的冗余和存储空间占用，而压缩则可以减少存储空间的使用。因此，需要根据实际情况选择合适的复制因子和压缩策略。
1.1K10编辑于 2024-06-15 - 来自专栏Elastic Stack专栏
Elasticsearch 时间序列数据存储成本优化
这种重复存储对于度量指标来说效果不佳，因为度量指标通常通过聚合查询进行检查，而不会使用这个字段。 为此，TSDS修剪存储的值但保留倒排索引以支持文档检索查询。这导致了10-20%的存储减少，没有功能损失。生命周期集成TSDS可以与数据生命周期管理机制集成，如ILM和数据流生命周期。 这些工具自动删除旧索引，而ILM还支持将索引移动到更便宜的存储层（例如使用机械硬盘或归档云存储）以降低存储成本，同时不影响常用度量指标的查询性能，并且用户参与最少。 降采样存储收益降采样通过牺牲查询分辨率来换取存储收益，具体取决于降采样间隔。对TSDB轨迹的数据集（每10秒收集一次度量）进行1分钟间隔的降采样，生成的索引大小为748MB，提升了6倍。 这种全自动方法减少了存储成本，无需更改索引映射或配置，因此强烈推荐。此外，值得考虑通过降采样以换取存储来处理数据老化。
89720编辑于 2024-09-12 - 来自专栏东风微鸣技术博客
如何精简 Prometheus 的指标和存储占用
前言 随着 Prometheus 监控的组件、数量、指标越来越多，Prometheus 对计算性能的要求会越来越高，存储占用也会越来越多。 但是实际上虽然集中存储、长期存储、存储降采样及存储压缩可以一定程度解决相关问题，但是治标不治本。 •真正的本，还是在于指标量（series）过于庞大。•治本之法，应该是减少指标量。 本次重点介绍第二种办法：如何根据实际的使用情况精简 Prometheus 的指标和存储占用？ 思路 1.分析当前 Prometheus 中存储的所有的 metric name（指标项）；2.分析展示环节用到的所有 metric name，即 Grafana 的 Dashboards 用到的所有指标 write_relabel_configs 仅 keep 2-4 中的指标, 以此大幅减少 Prometheus 需要存储的指标量.
1.8K30编辑于 2022-12-01 - 来自专栏铭毅天下
干货 | Elasticsearch Top10 监控指标
合理的集群架构能支撑其数据存储及并发响应需求。相反，不合理的集群基础架构和错误配置可能导致集群性能下降、集群无法响应甚至集群崩溃。 4、节点运行状况维度：内存，磁盘和CPU指标 每个节点都运行物理硬件上，需要访问系统内存，磁盘存储和CPU周期，以便管理其控制下的数据并响应对集群的请求。 6、ElasticsearchTop10监控指标 经过上面的分析，Top10监控指标如下。使用英文是为了命令行返回一致，更好理解。 有效的监控可以节省公司因非响应或无法修复的集群问题而导致的停机时间成本和经济成本。 显然此篇是监控指标的全局思维。五个思维维度+10个指标维度剖析了Elasticsearch最常见的监控指标，在大规模集群实践中都会用的到。
7.1K70发布于 2019-05-16 - 来自专栏Portworx云原生容器存储
云上跑容器，如何降低存储成本
通过PX-Autopilot扩展存储池 通过PX-Autopilot节省云成本 除了能帮用户节省操作存储集群扩容的近20个小时工作量，PX-Autopilot通过自动化的存储容量调整，可以帮助客户节省大量的存储成本 这个应用需要10,000 IOPS，gp2-volume的SSD存储。有10个类似这样的应用，每个卷需要1TB的存储容量。 没有Portworx的话，你需要部署10个3.33TB的EBS卷，来达到所要求的IOPS （EBS提供每GB存储3 IOPS，所以提供每卷10,000 IOPS需要每卷3.33TB，虽然一共我们只需要每卷 在使用Portworx的情况下，我们可以先从10个1TB每卷的最小存储量开始。PX-Autopilot后续会根据数据量的增长，自动化的来扩容存储，这样可以在一年里节省54%的存储成本。 这样的成本节约还没有考虑如果达到最大存储容量附加限制后，额外的计算资源的增加，以及其它与K8S部署有关的软件成本。
3.7K00发布于 2020-02-03 - 来自专栏用户5909132的专栏
智能存储重磅上线：低成本闲时转码
引言 视频相关行业飞速演进，视频化新场景不断涌现，在视频转码上投入的硬件与计算成本也与日俱增，面对此情况，腾讯云已在数据万象、媒体处理MPS两个产品上推出闲时转码，利用非峰值时间段的机器资源处理特定的任务 ，充分利用闲置资源，从而帮助客户大幅节省成本。 闲时转码利用非峰值时间段的空闲机器资源进行转码处理，可为客户降低70%以上的成本投入，适配对时效性没有严格要求的客户群体。 这类客户可将转码任务设置为闲时模式，该转码任务就会进入序列中等待不定时的空闲机器资源，并在约定的时间范围内完成处理，处理后的产物质量与普通转码无异，可保证用户业务流程的正常运转，通过采用闲时转码策略用户的使用成本大幅降低 目前闲时转码已在数据万象上线，用户可使用闲时转码批量存储于对象存储COS上的文件，提交工单申请白名单后即可使用闲时转码。 点击“阅读原文”立刻了解数据万象闲时转码更多信息
74720编辑于 2023-03-29 - 来自专栏wujunmin
Power BI 表达指标升降10式
以下给出10个自定义升降图标度量值，供读者使用，原理是SVG矢量图配合指标生成图标。 使用方法非常简单，复制下方的度量值到你的模型，将度量值中的[增长率]替换为你的指标，度量值默认的颜色是红绿橙，你可以自行变更，颜色名称列表参考此文：Power BI 支持的颜色名称列表 调整完后，在表格矩阵如下图将你的指标的条件格式图标对应为刚才复制的图标度量值 10 10 10 5.515 0 10.001-4.486 10.001-10s-4.486-10-10-10.001zM12 19.994c-4.41 0-7.999-3.589-8-8 0-4.411 10 5.514 0 10-4.486 10-10s-4.485-10-10-10.001zm0 18.001c-4.411-.001-8-3.59-8-8 0-4.411 3.589-8 8-8.001 4.487-10 10.001s4.486 10 10.001 10c5.513 0 9.999-4.486 10-10 0-5.514-4.486-10-10.001-10.001zM12 19.994c
81420编辑于 2023-02-28 - 来自专栏大数据技术博文
【操作实践】使用JuiceFS降低Elasticsearch存储成本
本文更偏向于实践操作方向，主要介绍在部署和使用JuiceFS时候的过程记录，以及如何将JuiceFS作为Elasticsearch的冷存储介质。 提供完备的 POSIX 兼容性，可将几乎所有对象存储接入本地作为海量本地磁盘使用，亦可同时在跨平台、跨地区的不同主机上挂载读写 一. 元数据存储数据库准备 这里我们使用RDS作为JuiceFS的元数据存储，更多的其它元数据存储引擎可以参考：如何设置元数据引擎 | JuiceFS Document Center 三. 100TB+，存储成本大约在0.8元/月/G（按照云厂商官网标准价格计算），整体算下来大概是5万左右的成本。 在使用JuiceFS之后，我们将一部分数据（取决于我们自身索引策略），迁移到了对象存储中，这部分的存储成本大约是0.12/月/1G（按照官网标准价格计算） 关于本文的一些核心知识点，可以自行网络搜索补充
1.1K30编辑于 2022-11-22 - 来自专栏云云众生s
对象存储是控制云成本的关键
对象存储被设计为高度可扩展且存储大量数据成本更低。与文件存储不同，对象存储更适合于多次读取且很少写入或修改的数据，因此非常适合用作归档。 对象存储带来的成本节省 平均而言，云对象存储比云文件存储低 2 到 10 倍。此外，如果你正在主动读取和写入文件（获取/放置操作），则这些操作的成本会累加到文件服务器上。 文件到对象分层策略 对象存储非常适合归档，因为冷数据通常不会被写入或修改。此外，对象存储成本低廉，但与磁带不同，数据可以在毫秒内检索。 大多数 数据分层 解决方案都是策略驱动的，并且持续运行，这使得它们非常适合将冷数据从快速昂贵的的文件系统移动到成本低得多的对象存储系统。 如果您出于归档目的迁移对象，则需要分析数据以识别具有“冷”对象的存储桶并确定要迁移的内容。 对象存储具有高度可扩展性，并且比文件存储成本更低。
54010编辑于 2024-06-19 - 来自专栏腾讯云存储
腾讯云对象存储COS新品发布——智能分层存储，自动优化您的存储成本
近日，腾讯云正式发布对象存储新品——智能分层存储，能够根据用户数据的访问模式，自动地转换数据的冷热层级，为用户提供与标准存储一致的低延迟和高吞吐的产品体验，同时具有更低的存储成本。 熟悉数据存储的用户都知道，访问频度高的数据为热数据，访问频度低的数据为冷数据。热数据使用标准存储类型存储，可以得到更优的访问体验；而冷数据一般用低频存储或归档存储类型，可以节省存储成本。 如果选择标准存储，存储成本就会偏高；如果选择低频存储，不仅需要数据取回费用，还会损害用户的访问体验。 但如果选择智能分层存储，就无需关注数据访问热度，由对象存储服务来监测数据访问频率，即可将数据智能地在冷热访问层之间转换，且无需数据取回费用，在不损害用户访问体验的同时，有效降低存储成本。 3、数据自动沉降，存储成本更优 通过监测数据访问频率，自动化管理数据访问层，智能分层存储类型还参与对象存储生命周期流程，用户可以按需将智能分层存储沉降到归档存储中，进一步降低数据在云端的存储成本。
2.5K170发布于 2020-11-12 - 来自专栏腾讯云开发者社区推荐
存储成本降低80%，有赞数据中台成本治理怎么做的？
当然按需采购的成本也会略高于按月采购的成本，但只采购三分之一的时间，所以总体成本要比按月采购低非常多。 剩下的 10% 我们主要利用在线的计算资源来完成。这就是容器化给我们带来的比较大的价值。 3. 有了单价指标之后，每一个跑批使用了多少资源，再乘以单价就可以得到成本的数据。 数据成本模型在成本治理中非常关键。 损耗系数目前我们跑下来基本定在 10% 。 （4）运营 再结合我们刚才的公式，就可以得到不同任务数字资源的成本。 保持现状的话，只需要一人投入 10% 左右的精力来跟进，就能持续节省成本。但是我们还会持续探索更多降本点，扩⼤战场。这样的话，也只需要半个人⼒就够了。 Q：数据中台全上云了吗？ A：我们对⽐过存储上云和纯粹买机器的磁盘成本，上云的存储成本⽐磁盘成本会低⼀些(差距不⼤)，但由于买来的机器上往往会有 CPU 和空闲的内存在某些时间是⽆法充分利⽤的。
8.2K12857发布于 2020-08-05
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号