- 综合排序
- 最热优先
- 最新优先
- 来自专栏技术博文
成本直降 50%！TKE 日志分层存储实战：CLS 热冷存储 + 生命周期管理
以一个在线论坛应用为例，用户访问日志在生成后的 7 天内可能由于内容审核、热门话题追踪等原因频繁被访问，因此可划分为热数据；7 天至 30 天的日志访问频率逐渐降低，可视为温数据；而超过 30 天的日志则基本处于归档状态 例如，设置规则将热存储中的日志在生成后超过 7 天自动迁移至冷存储。在实现这一规则时，需要考虑如何精确地追踪每条日志的生成时间。可以通过在日志采集阶段为每条日志添加时间戳字段来实现。 基于时间的生命周期规则配置选择热存储桶，点击 “添加生命周期规则”。设置规则名称（如 “7 天热转冷”），过滤条件为全部日志。 在迁移动作中，选择 “迁移到冷存储”，设置触发时间为 “对象创建后 7 天”。保存规则后，系统将自动根据该规则对热存储中的日志进行迁移。 然后，在 CLS 控制台创建热存储桶和冷存储桶，并根据业务需求制定生命周期管理规则，将 7 天前的日志自动迁移至冷存储。
42410编辑于 2025-06-26 - 来自专栏Elastic Stack专栏
Elasticsearch最佳实践：通过调优来节省日志和指标存储成本
当我们使用Elasticsearch时，存储成本一直是需要考虑的重要因素。 在上一篇文章《Elasticsearch最佳实践：不同版本之间的存储成本对比》中，我们向大家展示了仅通过升级版本而无需进行任何调优配置，就能获得的提升效果。 在本文中，我们将详细介绍我们在多个不同版本中引入的新特性，以及它们如何帮助我们持续优化存储成本。让我们一起来看看如何应用这些新特性吧！ 日志场景成本优化 要对日志场景进行有效的优化，我们特别需要掌握日志数据中每个字段我们是如何使用的以及具体的使用频率（通过 _field_usage_stats API ），以及每个字段的磁盘占用情况（通过 （ 注意：Skywalking中大部分的数据都是base64格式，导致压缩的比率不高） 总结 至此，我们完成了一次简单的日志成本调优。
3K45编辑于 2023-10-27 日志存储成本大比拼！哪家性价比最高？最新实测结果来了
导语 企业在数字化转型过程中，日志数据呈爆炸式增长，如何高效、低成本地存储和分析日志成为关键难题。 本文将从存储成本、数据处理能力、附加服务、弹性伸缩、易用性五大维度，对比主流云服务商的日志存储方案，并结合腾讯云最新推出的日志服务CLS（Cloud Log Service）功能与活动，为您解析“性价比之王 正文 一、日志存储成本对比：五大维度拆解 以下是2025年最新实测数据（以日均存储1TB日志为例）： 对比维度 腾讯云CLS 阿里云日志服务 三、典型应用场景与客户案例 电商大促日志分析 某头部电商平台使用CLS存储10TB/日日志，结合智能沉降节省35%成本，告警延迟低于2秒。 结语 在日志存储成本战中，腾讯云CLS凭借极致性价比、全托管服务、智能分析能力，成为中小企业和开发者的首选。无论是初创公司还是大型企业，均可通过CLS实现“存储无忧、分析高效、成本可控”。
48410编辑于 2025-10-11- 来自专栏linux运维
日志存储问题：日志存储介质故障，导致日志数据丢失
检查当前日志存储介质状态首先，我们需要检查当前的日志存储介质状态，确保其正常工作。命令：sudo smartctl -a /dev/sda查看磁盘健康状态：sudo fdisk -l2. 常见的日志存储问题及解决方案2.1 硬盘故障问题：硬盘故障导致日志数据丢失。解决方案：定期检查硬盘健康状态，备份重要日志数据。 /var/log/2.2 存储介质容量不足问题：存储介质容量不足，导致日志文件无法写入。 ：存储介质损坏，导致日志数据丢失。 解决方案：更改日志文件存储位置。
61610编辑于 2025-02-07 - 来自专栏云计算D1net
如何计算云存储成本
计算云存储成本似乎看起来很简单。当用户查看云计算供应商提供的存储服务的定价时，显而易见的成本是数据的存储成本。但是如果深入研究的话，就会发现与云存储成本相关的其他各种费用。 在云中存储数据的总拥有成本（TCO）通常比简单的存储费用高出许多。 云存储成本的增加可能比组织意识到的还要快，并且出乎意料。 计算云存储成本似乎看起来很简单。 云存储的直接成本 要确定云存储总拥有成本，应该首先量化直接成本。所谓直接成本是指有形的、易于计算的在云端存储数据的费用。 其中包括以下几种成本： 存储成本：用户为存储在云平台中的数据支付的费用。 云存储间接成本 上述直接云存储成本只是云存储总拥有成本的一部分。用户还必须考虑与设置和管理云存储相关的云存储间接成本。 这些云存储成本在很大程度上是无形的。用户无法像云存储直接成本那样确定地进行计算。 将云存储成本相加吗? 在用户将所有云存储直接成本和间接成本相加之后，可以确定云存储数据的总拥有成本是否低于内部部署存储数据的总拥有成本。
4.5K10发布于 2020-12-02 - 来自专栏Elastic Stack专栏
Elasticsearch & ClickHouse 存储成本比较
回到本文的重点，我们之前讨论过压缩率的问题，但对原始数据的压缩率与存储成本并不是划等号的，压缩率只是总体存储成本中的一个因素，在实际的场景中，我们有多种手段可以降低我们的存储成本，包括我们数据处理的方式 在日志场景下，大多都有实时分析的需求，即对于day 0的当天实时数据，有做实时分析需求，这部分数据我们是不动的。 或者把以用户的行为日志，通过transform，group by为以用户为在不同埋点路径上的点击、耗时的汇总表。 此时，day1之后的数据成本是可以缩减的： [image.png] 通过存储方式和介质降低成本 我们可能要问，我们本身就有日志数据存储的需求，不够能只存储上卷和转置之后的数据，原始的数据还是要存储的。 此时，在没有高并发的日志分析场景，我们可以完全不适用副本。
4.8K50发布于 2021-04-28 优化YashanDB的存储成本
在现代数据库系统中，存储成本是一个不容忽视的重要问题。随着数据规模的不断扩大，企业面临着如何有效管理和降低数据存储成本的挑战。 YashanDB作为高性能数据库的一部分，其存储体系结构提供了灵活的管理选项，但若要达到存储成本的最优化，则需要对数据存储和管理策略进行深刻理解与合理应用。 本文将探索YashanDB存储成本的优化方法，以帮助企业在降低存储成本的同时，保持数据库的性能与可用性。优化存储成本的核心技术点1. 这不仅降低了存储成本，还提升了系统性能，因为活跃数据与历史数据的物理分离允许更多优化，尤其是在删除或读取数据时。YashanDB还支持定期清理旧的数据，从而通过减少存储的冗余数据来进一步降低成本。 深入掌握不同存储结构的特性，可以在需求变化时进行动态调整，最终降低整体存储成本。3. 表空间与分区管理表空间和分区的合理管理是另一个降低存储成本的重要方面。
14900编辑于 2025-07-22- 来自专栏云计算行业
智能分层存储,自动优化您的存储成本
关注腾讯云大学，了解行业最新技术动态 近日，腾讯云正式发布对象存储新品——智能分层存储，能够根据用户数据的访问模式，自动地转换数据的冷热层级，为用户提供与标准存储一致的低延迟和高吞吐的产品体验，同时具有更低的存储成本 熟悉数据存储的用户都知道，访问频度高的数据为热数据，访问频度低的数据为冷数据。热数据使用标准存储类型存储，可以得到更优的访问体验；而冷数据一般用低频存储或归档存储类型，可以节省存储成本。 如果选择标准存储，存储成本就会偏高；如果选择低频存储，不仅需要数据取回费用，还会损害用户的访问体验。 但如果选择智能分层存储，就无需关注数据访问热度，由对象存储服务来监测数据访问频率，即可将数据智能地在冷热访问层之间转换，且无需数据取回费用，在不损害户访问体验的同时，有效降低存储成本。 数据自动沉降，存储成本更优 通过监测数据访问频率，自动化管理数据访问层，智能分层存储类型还参与对象存储生命周期流程，用户可以按需将智能分层存储沉降到归档存储中，进一步降低数据在云端的存储成本。
66920编辑于 2023-05-29 - 来自专栏python爱好部落
如何高效低成本存储附件
块存储通常用于需要高性能和低延迟的应用，如数据库和虚拟机。 文件级存储： 允许用户通过网络文件共享协议（如NFS或CIFS/SMB）访问和管理文件系统。 如何存储速度又快，成本更低呢？ 多租户：对象存储支持多租户架构，允许多个用户或组织使用相同的存储基础设施，同时保持数据隔离。 成本效益：由于其可扩展性和管理效率，对象存储通常比传统的存储解决方案更具成本效益。 还有其他功能，比如：元数据、多租户、安全和策略、生命周期管理、原子更新、搜索、日志记录、通知、复制、加密、计费等。 笔者构建了一个系统，架构如下： 这样文件就可以做到在一个系统，或者多个系统里存储或分发了。 这样做的好处： 提升系统性能和节约成本，存算分离，为系统减负。 统一分发和存储，而且对用户无感知，不改变用户使用习惯； 促进系统之间文档互通，消除数据孤岛； 异构系统统一，方便管理和维护，降低企业成本； 数据可以进一步做治理，数据备份，安全管理，权限管控，数据汇总，
1.2K10编辑于 2024-06-07 - 来自专栏腾讯云存储
对象存储COS成本优化方案
下面我们将从5个方面介绍COS成本优化方案： 选择合适的存储类型 定期通过清单和访问日志功能分析数据访问模式 通过生命周期和批量处理沉降数据 通过文件压缩减少存储容量 进行成本回顾 一、选择合适的存储类型 二、定期通过清单和访问日志功能分析数据访问模式 分析数据的访问模式能够为选择合理的存储类型提供数据支撑。 COS提供了清单能力和访问日志功能，分别用于记录存储的文件元数据信息和文件访问记录，并将这些信息转存到用户的存储桶中。 有关清单功能的详细介绍，可以参考文档配置清单功能； 有关访问日志管理功能的详细介绍，可以参考文档配置访问日志管理。 from cosobject s where s._7 = select SUM(CAST(s._4 AS FLOAT))/1024/1024 from cosobject s where s._7
2K31发布于 2020-11-20 - 来自专栏开源部署
Kafka日志存储原理
每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的)，每个partition存储一部分Message。 接下来，本文将分析partition目录中的文件的存储格式和相关的代码所在的位置。 查找Message原理图： 比如：要查找绝对offset为7的Message： 首先是用二分查找确定它是在哪个LogSegment中，自然是在第一个Segment中。 打开数据文件，从位置为9807的那个地方开始顺序扫描直到找到offset为7的那条Message。 这套机制是建立在offset是有序的。索引文件被映射到内存中，所以查找的速度还是很快的。 一句话，Kafka的Message存储采用了分区(partition)，分段(LogSegment)和稀疏索引这几个手段来达到了高效性。
75310编辑于 2022-07-27 - 来自专栏悟空聊架构 | 公众号
PMBook - 7.项目成本管理
三点估算 最可能成本（cM）：比较现实的估算 最乐观成本（cO）：最好情况所得到的成本 最悲观成本（cP）：最差情况 预期成本（cE） 三角分布：cE = (cO+cM+cP)/3 贝塔分布：cE 项目文件更新 假设日志 经验教训登记册 风险登记册 7.3 制定预算 制定预算是汇总所有单个活动或工作包的估算成本，建立一个经批准的成本基准的过程。 AC 没有上限，为实现EV所花费的任何成本都要计算进去 偏差分析：审查目标绩效与实际绩效之间的差异（或偏差） CV 成本偏差（CV = EV - AC）。成本偏差 = 挣值 - 实际成本。 CPI 成本绩效指数（CPI = EV/AC）。测量预算资源的成本效率的一种指标，表示为挣值与实际成本之比。CPI小于1.0时说明已完成工作的成本超支；大于1.0时，说明到目前为止成本有结余。 项目文件更新 假设日志 估算依据 成本估算 经验教训登记册 风险登记册 作 者： Jackson0714 出 处：http://www.cnblogs.com/jackson0714
1.2K00发布于 2019-04-18 云存储成本自动优化技术解析
云存储优化初创公司获2000万美元种子轮融资自主云存储优化初创公司Datafy宣布完成2000万美元种子轮融资，并表示已准备好帮助企业实现大幅成本节约。本轮融资由知名投资机构领投，多家机构参与投资。 核心技术架构Datafy开发了自主存储优化引擎，声称可将企业云存储成本降低高达50%，且无需客户过多操作。该技术目前兼容某中心的云存储环境。客户只需将其连接到存储环境并选择需要优化成本的存储卷即可。 我们正在重建存储基础设施层，以全自动方式执行用户无法自行完成的操作，且不会造成任何中断或停机。”技术实现原理该平台基于零停机自动扩展引擎，结合专有传感器技术持续监控存储消耗。 未来发展计划本轮融资将帮助Datafy拓展美国市场，开发更有效的存储优化工具，并扩大其合作伙伴生态系统。投资机构代表认为，Datafy采用了“深度技术方法”，与云存储优化领域的其他公司截然不同。 “与其他仅在运营层面帮助客户节省云成本的公司不同，Datafy为最苛刻、最复杂的云存储用户开发了产品。”
13210编辑于 2025-10-11- 来自专栏Elastic Stack专栏
Elasticsearch 时间序列数据存储成本优化
这些工具自动删除旧索引，而ILM还支持将索引移动到更便宜的存储层（例如使用机械硬盘或归档云存储）以降低存储成本，同时不影响常用度量指标的查询性能，并且用户参与最少。 修剪不必要的维度Elasticsearch架构使我们的度量服务在每个度量的时间序列数量（即维度基数的乘积）高达数百万或更多时，具有可管理的性能成本，远远超过竞争系统。 这种全自动方法减少了存储成本，无需更改索引映射或配置，因此强烈推荐。此外，值得考虑通过降采样以换取存储来处理数据老化。 下一步过去几年中，我们在度量存储占用方面取得了显著改进。我们打算将这些优化应用于度量以外的数据类型，特别是日志数据。 虽然某些功能是度量特有的，如降采样，但我们仍希望通过日志特定的索引配置实现2-4倍的存储减少。尽管减少了所有Elasticsearch索引所需的元数据字段的存储开销，我们计划更加积极地修剪这些字段。
89720编辑于 2024-09-12 - 来自专栏运维小路
Docker-日志&存储(volume)
由于涉及到内容较多，就不一一列出来具体的细节，主要从以下几个方面来讲解： Docker基本情况 Docker基本命令 Dockerfile Docker镜像 Docker仓库 Docker原理 Docker网络&存储 Docker存储(volume) 我们前面在讲解Dockerfile的时候和Compose的时候都提过volume，如果我们手工配置volume应该怎么配置呢？ DRIVER VOLUME NAME local test 使用volume docker run -itd -v test:/data 192.168.31.43:5000/centos:7 这样容器里面的/data目录就直接持久化到了docker的存储volume里面。 Docker的日志和存储目前一般对它改动较少，只要能够理解即可。
22600编辑于 2024-12-19 - 来自专栏全栈程序员必看
centos 日志审计_CentOS7 – 审计日志
/var/log/audit/audit.log : 默认日志路径 1、监控文件或者目录的更改 auditctl -w /etc/passwd -p rwxa -w path : 指定要监控的路径，上面的命令指定了监控的文件路径 2、查找日志ausearch -a number #只显示事件ID为指定数字的日志信息，如只显示926事件：ausearch -a 926 -c commond #只显示和指定命令有关的事件，如只显示rm 命令产生的事件：auserach -c rm -i #显示出的信息更清晰，如事件时间、相关用户名都会直接显示出来，而不再是数字形式 -k #显示出和之前auditctl -k所定义的关键词相匹配的事件信息 3、日志字段说明
4K20编辑于 2022-08-31 - 来自专栏Portworx云原生容器存储
云上跑容器，如何降低存储成本
PX-Autopilot: 自动化的存储容量管理，节省一半的云存储成本 不少客户都在使用K8S来管理容器，并且通过Portworx来管理容器存储。 Portworx新发布的PX-Autopilot能够对存储基础架构进行更加有效的运营管理，并且降低一半的存储成本。 通过PX-Autopilot扩展存储池 通过PX-Autopilot节省云成本 除了能帮用户节省操作存储集群扩容的近20个小时工作量，PX-Autopilot通过自动化的存储容量调整，可以帮助客户节省大量的存储成本 这样的成本节约还没有考虑如果达到最大存储容量附加限制后，额外的计算资源的增加，以及其它与K8S部署有关的软件成本。 Portworx还可以帮助客户，根据自身应用实际使用状况，在需要情况下把卷指向更低类型的存储，或者通过快照把存档指向S3兼容类型的存储。从而进一步降低云存储成本。
3.7K00发布于 2020-02-03 - 来自专栏用户5909132的专栏
智能存储重磅上线：低成本闲时转码
引言 视频相关行业飞速演进，视频化新场景不断涌现，在视频转码上投入的硬件与计算成本也与日俱增，面对此情况，腾讯云已在数据万象、媒体处理MPS两个产品上推出闲时转码，利用非峰值时间段的机器资源处理特定的任务 ，充分利用闲置资源，从而帮助客户大幅节省成本。 闲时转码利用非峰值时间段的空闲机器资源进行转码处理，可为客户降低70%以上的成本投入，适配对时效性没有严格要求的客户群体。 这类客户可将转码任务设置为闲时模式，该转码任务就会进入序列中等待不定时的空闲机器资源，并在约定的时间范围内完成处理，处理后的产物质量与普通转码无异，可保证用户业务流程的正常运转，通过采用闲时转码策略用户的使用成本大幅降低 目前闲时转码已在数据万象上线，用户可使用闲时转码批量存储于对象存储COS上的文件，提交工单申请白名单后即可使用闲时转码。 点击“阅读原文”立刻了解数据万象闲时转码更多信息
74720编辑于 2023-03-29 - 来自专栏大数据技术博文
【操作实践】使用JuiceFS降低Elasticsearch存储成本
本文更偏向于实践操作方向，主要介绍在部署和使用JuiceFS时候的过程记录，以及如何将JuiceFS作为Elasticsearch的冷存储介质。 提供完备的 POSIX 兼容性，可将几乎所有对象存储接入本地作为海量本地磁盘使用，亦可同时在跨平台、跨地区的不同主机上挂载读写 一. 元数据存储数据库准备 这里我们使用RDS作为JuiceFS的元数据存储，更多的其它元数据存储引擎可以参考：如何设置元数据引擎 | JuiceFS Document Center 三. 100TB+，存储成本大约在0.8元/月/G（按照云厂商官网标准价格计算），整体算下来大概是5万左右的成本。 在使用JuiceFS之后，我们将一部分数据（取决于我们自身索引策略），迁移到了对象存储中，这部分的存储成本大约是0.12/月/1G（按照官网标准价格计算） 关于本文的一些核心知识点，可以自行网络搜索补充
1.1K30编辑于 2022-11-22 - 来自专栏云云众生s
对象存储是控制云成本的关键
对象存储被设计为高度可扩展且存储大量数据成本更低。与文件存储不同，对象存储更适合于多次读取且很少写入或修改的数据，因此非常适合用作归档。 对象存储带来的成本节省 平均而言，云对象存储比云文件存储低 2 到 10 倍。此外，如果你正在主动读取和写入文件（获取/放置操作），则这些操作的成本会累加到文件服务器上。 文件到对象分层策略 对象存储非常适合归档，因为冷数据通常不会被写入或修改。此外，对象存储成本低廉，但与磁带不同，数据可以在毫秒内检索。 大多数 数据分层 解决方案都是策略驱动的，并且持续运行，这使得它们非常适合将冷数据从快速昂贵的的文件系统移动到成本低得多的对象存储系统。 如果您出于归档目的迁移对象，则需要分析数据以识别具有“冷”对象的存储桶并确定要迁移的内容。 对象存储具有高度可扩展性，并且比文件存储成本更低。
54010编辑于 2024-06-19
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号