- 综合排序
- 最热优先
- 最新优先
- 来自专栏技术博文
成本直降 50%！TKE 日志分层存储实战：CLS 热冷存储 + 生命周期管理
传统的日志存储方式往往导致高昂的成本，而 CLS（Cloud Log Service）热冷存储结合生命周期管理为我们提供了一种高效的解决方案，能够显著降低日志存储成本，同时保障数据的可访问性与安全性。 （2）传统存储方式的弊端单一热存储成本高昂传统的日志存储往往采用单一的热存储方式，如将所有日志存储在高性能的云存储服务中，以确保实时可访问性。然而，这种存储方式的单位存储成本较高。 七、成本分析与收益评估（1）成本分析模型为了准确评估采用 CLS 热冷存储及生命周期管理前后的成本变化，我们建立以下成本分析模型。传统存储成本模型假设传统存储采用单一热存储方式。 每月日志存储成本 = 存储量（GB）× 热存储单位价格（元 / GB / 月）。 CLS 热冷存储成本模型月度日志存储成本 = 热存储量（GB）× 热存储单位价格（元 / GB / 月） + 冷存储量（GB）× 冷存储单位价格（元 / GB / 月）。
42410编辑于 2025-06-26 - 来自专栏Elastic Stack专栏
Elasticsearch最佳实践：通过调优来节省日志和指标存储成本
当我们使用Elasticsearch时，存储成本一直是需要考虑的重要因素。 在上一篇文章《Elasticsearch最佳实践：不同版本之间的存储成本对比》中，我们向大家展示了仅通过升级版本而无需进行任何调优配置，就能获得的提升效果。 在本文中，我们将详细介绍我们在多个不同版本中引入的新特性，以及它们如何帮助我们持续优化存储成本。让我们一起来看看如何应用这些新特性吧！ 日志场景成本优化 要对日志场景进行有效的优化，我们特别需要掌握日志数据中每个字段我们是如何使用的以及具体的使用频率（通过 _field_usage_stats API ），以及每个字段的磁盘占用情况（通过 （ 注意：Skywalking中大部分的数据都是base64格式，导致压缩的比率不高） 总结 至此，我们完成了一次简单的日志成本调优。
3K45编辑于 2023-10-27 日志存储成本大比拼！哪家性价比最高？最新实测结果来了
导语 企业在数字化转型过程中，日志数据呈爆炸式增长，如何高效、低成本地存储和分析日志成为关键难题。 本文将从存储成本、数据处理能力、附加服务、弹性伸缩、易用性五大维度，对比主流云服务商的日志存储方案，并结合腾讯云最新推出的日志服务CLS（Cloud Log Service）功能与活动，为您解析“性价比之王 正文 一、日志存储成本对比：五大维度拆解 以下是2025年最新实测数据（以日均存储1TB日志为例）： 对比维度 腾讯云CLS 阿里云日志服务 三、典型应用场景与客户案例 电商大促日志分析 某头部电商平台使用CLS存储10TB/日日志，结合智能沉降节省35%成本，告警延迟低于2秒。 结语 在日志存储成本战中，腾讯云CLS凭借极致性价比、全托管服务、智能分析能力，成为中小企业和开发者的首选。无论是初创公司还是大型企业，均可通过CLS实现“存储无忧、分析高效、成本可控”。
48410编辑于 2025-10-11- 来自专栏linux运维
日志存储问题：日志存储介质故障，导致日志数据丢失
检查当前日志存储介质状态首先，我们需要检查当前的日志存储介质状态，确保其正常工作。命令：sudo smartctl -a /dev/sda查看磁盘健康状态：sudo fdisk -l2. 常见的日志存储问题及解决方案2.1 硬盘故障问题：硬盘故障导致日志数据丢失。解决方案：定期检查硬盘健康状态，备份重要日志数据。 /var/log/2.2 存储介质容量不足问题：存储介质容量不足，导致日志文件无法写入。 ：存储介质损坏，导致日志数据丢失。 解决方案：更改日志文件存储位置。
61610编辑于 2025-02-07 - 来自专栏云计算D1net
如何计算云存储成本
计算云存储成本似乎看起来很简单。当用户查看云计算供应商提供的存储服务的定价时，显而易见的成本是数据的存储成本。但是如果深入研究的话，就会发现与云存储成本相关的其他各种费用。 在云中存储数据的总拥有成本（TCO）通常比简单的存储费用高出许多。 云存储成本的增加可能比组织意识到的还要快，并且出乎意料。 计算云存储成本似乎看起来很简单。 云存储的直接成本 要确定云存储总拥有成本，应该首先量化直接成本。所谓直接成本是指有形的、易于计算的在云端存储数据的费用。 其中包括以下几种成本： 存储成本：用户为存储在云平台中的数据支付的费用。 云存储间接成本 上述直接云存储成本只是云存储总拥有成本的一部分。用户还必须考虑与设置和管理云存储相关的云存储间接成本。 这些云存储成本在很大程度上是无形的。用户无法像云存储直接成本那样确定地进行计算。 将云存储成本相加吗? 在用户将所有云存储直接成本和间接成本相加之后，可以确定云存储数据的总拥有成本是否低于内部部署存储数据的总拥有成本。
4.5K10发布于 2020-12-02 - 来自专栏Elastic Stack专栏
Elasticsearch & ClickHouse 存储成本比较
回到本文的重点，我们之前讨论过压缩率的问题，但对原始数据的压缩率与存储成本并不是划等号的，压缩率只是总体存储成本中的一个因素，在实际的场景中，我们有多种手段可以降低我们的存储成本，包括我们数据处理的方式 在日志场景下，大多都有实时分析的需求，即对于day 0的当天实时数据，有做实时分析需求，这部分数据我们是不动的。 或者把以用户的行为日志，通过transform，group by为以用户为在不同埋点路径上的点击、耗时的汇总表。 此时，day1之后的数据成本是可以缩减的： [image.png] 通过存储方式和介质降低成本 我们可能要问，我们本身就有日志数据存储的需求，不够能只存储上卷和转置之后的数据，原始的数据还是要存储的。 此时，在没有高并发的日志分析场景，我们可以完全不适用副本。
4.8K50发布于 2021-04-28 优化YashanDB的存储成本
在现代数据库系统中，存储成本是一个不容忽视的重要问题。随着数据规模的不断扩大，企业面临着如何有效管理和降低数据存储成本的挑战。 YashanDB作为高性能数据库的一部分，其存储体系结构提供了灵活的管理选项，但若要达到存储成本的最优化，则需要对数据存储和管理策略进行深刻理解与合理应用。 本文将探索YashanDB存储成本的优化方法，以帮助企业在降低存储成本的同时，保持数据库的性能与可用性。优化存储成本的核心技术点1. 这不仅降低了存储成本，还提升了系统性能，因为活跃数据与历史数据的物理分离允许更多优化，尤其是在删除或读取数据时。YashanDB还支持定期清理旧的数据，从而通过减少存储的冗余数据来进一步降低成本。 深入掌握不同存储结构的特性，可以在需求变化时进行动态调整，最终降低整体存储成本。3. 表空间与分区管理表空间和分区的合理管理是另一个降低存储成本的重要方面。
14900编辑于 2025-07-22- 来自专栏云计算行业
智能分层存储,自动优化您的存储成本
关注腾讯云大学，了解行业最新技术动态 近日，腾讯云正式发布对象存储新品——智能分层存储，能够根据用户数据的访问模式，自动地转换数据的冷热层级，为用户提供与标准存储一致的低延迟和高吞吐的产品体验，同时具有更低的存储成本 熟悉数据存储的用户都知道，访问频度高的数据为热数据，访问频度低的数据为冷数据。热数据使用标准存储类型存储，可以得到更优的访问体验；而冷数据一般用低频存储或归档存储类型，可以节省存储成本。 如果选择标准存储，存储成本就会偏高；如果选择低频存储，不仅需要数据取回费用，还会损害用户的访问体验。 但如果选择智能分层存储，就无需关注数据访问热度，由对象存储服务来监测数据访问频率，即可将数据智能地在冷热访问层之间转换，且无需数据取回费用，在不损害户访问体验的同时，有效降低存储成本。 数据自动沉降，存储成本更优 通过监测数据访问频率，自动化管理数据访问层，智能分层存储类型还参与对象存储生命周期流程，用户可以按需将智能分层存储沉降到归档存储中，进一步降低数据在云端的存储成本。
66920编辑于 2023-05-29 - 来自专栏python爱好部落
如何高效低成本存储附件
块存储通常用于需要高性能和低延迟的应用，如数据库和虚拟机。 文件级存储： 允许用户通过网络文件共享协议（如NFS或CIFS/SMB）访问和管理文件系统。 如何存储速度又快，成本更低呢？ 多租户：对象存储支持多租户架构，允许多个用户或组织使用相同的存储基础设施，同时保持数据隔离。 成本效益：由于其可扩展性和管理效率，对象存储通常比传统的存储解决方案更具成本效益。 还有其他功能，比如：元数据、多租户、安全和策略、生命周期管理、原子更新、搜索、日志记录、通知、复制、加密、计费等。 笔者构建了一个系统，架构如下： 这样文件就可以做到在一个系统，或者多个系统里存储或分发了。 这样做的好处： 提升系统性能和节约成本，存算分离，为系统减负。 统一分发和存储，而且对用户无感知，不改变用户使用习惯； 促进系统之间文档互通，消除数据孤岛； 异构系统统一，方便管理和维护，降低企业成本； 数据可以进一步做治理，数据备份，安全管理，权限管控，数据汇总，
1.2K10编辑于 2024-06-07 - 来自专栏腾讯云存储
对象存储COS成本优化方案
下面我们将从5个方面介绍COS成本优化方案： 选择合适的存储类型 定期通过清单和访问日志功能分析数据访问模式 通过生命周期和批量处理沉降数据 通过文件压缩减少存储容量 进行成本回顾 一、选择合适的存储类型 极少量读场景（三个月读一次）：比如视频监控、日志数据归档等业务，读取频率极低，对读取性能要求较低，可使用归档存储类型。 二、定期通过清单和访问日志功能分析数据访问模式 分析数据的访问模式能够为选择合理的存储类型提供数据支撑。 COS提供了清单能力和访问日志功能，分别用于记录存储的文件元数据信息和文件访问记录，并将这些信息转存到用户的存储桶中。 有关清单功能的详细介绍，可以参考文档配置清单功能； 有关访问日志管理功能的详细介绍，可以参考文档配置访问日志管理。
2K31发布于 2020-11-20 - 来自专栏开源部署
Kafka日志存储原理
每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的)，每个partition存储一部分Message。 partition是以文件的形式存储在文件系统中，比如，创建了一个名为page_visits的topic，其有5个partition，那么在Kafka的数据目录中(由配置文件中的log.dirs指定的) 接下来，本文将分析partition目录中的文件的存储格式和相关的代码所在的位置。 自然offset为6的那个索引是我们要找的，通过索引文件我们知道offset为6的Message在数据文件中的位置为9807。 一句话，Kafka的Message存储采用了分区(partition)，分段(LogSegment)和稀疏索引这几个手段来达到了高效性。
75310编辑于 2022-07-27 - 来自专栏编程语言的世界
tp6请求日志,tp6记录详细日志
在tp5版本的时候日志中保存了全部的请求信息，保存了请求地址 请求方法 请求路由 请求头 请求参数，但是在tp6中官方取消了。 官方解释说由于日志记录了所有的运行错误，因此养成经常查看日志文件的习惯，可以避免和及早发现很多的错误隐患。 但是我觉得不方便我定位线上问题，于是把tp5源码中的部分移植到tp6中，tp5中大部分放在tp底层，为了不破坏tp框架我把代码放到中间件中进行继承，所有中间件全部继承此代码。自动记录请求信息。<? 生成的日志和tp5完全一样[2021-07-07T21:09:50+08:00][info] 127.0.0.1 POST learn.cn/api/v3/up_professions[ ROUTE ]
1.4K20编辑于 2023-06-03 - 来自专栏悠扬前奏的博客
MyBatis-6.日志
日志 Mybatis 的内置日志工厂提供日志功能，内置日志工厂将日志交给以下其中一种工具作代理： SLF4J Apache Commons Logging Log4j 2 Log4j JDK logging MyBatis 内置日志工厂基于运行时自省机制选择合适的日志工具。 日志配置 可以对包、映射类的全限定名、命名空间或全限定语句名开启日志功能来查看 MyBatis 的日志语句。 可以对包、映射类的全限定名、命名空间或全限定语句名开启日志功能来查看 MyBatis 的日志语句。具体方法，由使用的日志工具决定。 以下以 Log4J 为例。 为此，Mybatis 中 SQL 语句的日志级别被设为DEBUG（JDK 日志设为 FINE），结果的日志级别为 TRACE（JDK 日志设为 FINER)。
55030发布于 2019-05-30 云存储成本自动优化技术解析
云存储优化初创公司获2000万美元种子轮融资自主云存储优化初创公司Datafy宣布完成2000万美元种子轮融资，并表示已准备好帮助企业实现大幅成本节约。本轮融资由知名投资机构领投，多家机构参与投资。 核心技术架构Datafy开发了自主存储优化引擎，声称可将企业云存储成本降低高达50%，且无需客户过多操作。该技术目前兼容某中心的云存储环境。客户只需将其连接到存储环境并选择需要优化成本的存储卷即可。 我们正在重建存储基础设施层，以全自动方式执行用户无法自行完成的操作，且不会造成任何中断或停机。”技术实现原理该平台基于零停机自动扩展引擎，结合专有传感器技术持续监控存储消耗。 未来发展计划本轮融资将帮助Datafy拓展美国市场，开发更有效的存储优化工具，并扩大其合作伙伴生态系统。投资机构代表认为，Datafy采用了“深度技术方法”，与云存储优化领域的其他公司截然不同。 “与其他仅在运营层面帮助客户节省云成本的公司不同，Datafy为最苛刻、最复杂的云存储用户开发了产品。”
13210编辑于 2025-10-11- 来自专栏Elastic Stack专栏
Elasticsearch 时间序列数据存储成本优化
这些工具自动删除旧索引，而ILM还支持将索引移动到更便宜的存储层（例如使用机械硬盘或归档云存储）以降低存储成本，同时不影响常用度量指标的查询性能，并且用户参与最少。 降采样存储收益降采样通过牺牲查询分辨率来换取存储收益，具体取决于降采样间隔。对TSDB轨迹的数据集（每10秒收集一次度量）进行1分钟间隔的降采样，生成的索引大小为748MB，提升了6倍。 这种全自动方法减少了存储成本，无需更改索引映射或配置，因此强烈推荐。此外，值得考虑通过降采样以换取存储来处理数据老化。 下一步过去几年中，我们在度量存储占用方面取得了显著改进。我们打算将这些优化应用于度量以外的数据类型，特别是日志数据。 虽然某些功能是度量特有的，如降采样，但我们仍希望通过日志特定的索引配置实现2-4倍的存储减少。尽管减少了所有Elasticsearch索引所需的元数据字段的存储开销，我们计划更加积极地修剪这些字段。
89720编辑于 2024-09-12 - 来自专栏运维小路
Docker-日志&存储(volume)
由于涉及到内容较多，就不一一列出来具体的细节，主要从以下几个方面来讲解： Docker基本情况 Docker基本命令 Dockerfile Docker镜像 Docker仓库 Docker原理 Docker网络&存储 &日志(本小节属于) Docker-Compose Docker番外篇 Docker日志 我们在前面介绍的docker的时候有很多日志系统，但是一般情况下我们会很少去调整这个，维护调整的一般都是日志的轮询规则 Docker存储(volume) 我们前面在讲解Dockerfile的时候和Compose的时候都提过volume，如果我们手工配置volume应该怎么配置呢？ test 使用volume docker run -itd -v test:/data 192.168.31.43:5000/centos:7 这样容器里面的/data目录就直接持久化到了docker的存储 Docker的日志和存储目前一般对它改动较少，只要能够理解即可。
22600编辑于 2024-12-19 - 来自专栏Portworx云原生容器存储
云上跑容器，如何降低存储成本
PX-Autopilot: 自动化的存储容量管理，节省一半的云存储成本 不少客户都在使用K8S来管理容器，并且通过Portworx来管理容器存储。 Portworx新发布的PX-Autopilot能够对存储基础架构进行更加有效的运营管理，并且降低一半的存储成本。 通过PX-Autopilot扩展存储池 通过PX-Autopilot节省云成本 除了能帮用户节省操作存储集群扩容的近20个小时工作量，PX-Autopilot通过自动化的存储容量调整，可以帮助客户节省大量的存储成本 这样的成本节约还没有考虑如果达到最大存储容量附加限制后，额外的计算资源的增加，以及其它与K8S部署有关的软件成本。 Portworx还可以帮助客户，根据自身应用实际使用状况，在需要情况下把卷指向更低类型的存储，或者通过快照把存档指向S3兼容类型的存储。从而进一步降低云存储成本。
3.7K00发布于 2020-02-03 - 来自专栏用户5909132的专栏
智能存储重磅上线：低成本闲时转码
引言 视频相关行业飞速演进，视频化新场景不断涌现，在视频转码上投入的硬件与计算成本也与日俱增，面对此情况，腾讯云已在数据万象、媒体处理MPS两个产品上推出闲时转码，利用非峰值时间段的机器资源处理特定的任务 ，充分利用闲置资源，从而帮助客户大幅节省成本。 闲时转码利用非峰值时间段的空闲机器资源进行转码处理，可为客户降低70%以上的成本投入，适配对时效性没有严格要求的客户群体。 这类客户可将转码任务设置为闲时模式，该转码任务就会进入序列中等待不定时的空闲机器资源，并在约定的时间范围内完成处理，处理后的产物质量与普通转码无异，可保证用户业务流程的正常运转，通过采用闲时转码策略用户的使用成本大幅降低 目前闲时转码已在数据万象上线，用户可使用闲时转码批量存储于对象存储COS上的文件，提交工单申请白名单后即可使用闲时转码。 点击“阅读原文”立刻了解数据万象闲时转码更多信息
74720编辑于 2023-03-29 - 来自专栏iSharkFly
Confluence 6 配置日志 原
我们推荐你根据你的需求来配置你自己的 Confluence 日志。 打开或者关闭 SQL 语句日志。 为一个类或者包添加一个新的日志。 为一个类或者包删除一个新的日志。 为一个类或者包设置日志的级别（INFO, WARN, FATAL, ERROR 或者 DEBUG）。 重置所有的日志级别到 predefined 属性。 'Diagnostic' 属性定义了更多的属性配置，能够为你提供更多的日志信息。这个配置将会降低你系统的性能并且让你日志文件更快的填充满。 https://www.cwiki.us/display/CONF6ZH/Configuring+Logging
78120发布于 2019-01-30 - 来自专栏大数据技术博文
【操作实践】使用JuiceFS降低Elasticsearch存储成本
本文更偏向于实践操作方向，主要介绍在部署和使用JuiceFS时候的过程记录，以及如何将JuiceFS作为Elasticsearch的冷存储介质。 提供完备的 POSIX 兼容性，可将几乎所有对象存储接入本地作为海量本地磁盘使用，亦可同时在跨平台、跨地区的不同主机上挂载读写 一. 元数据存储数据库准备 这里我们使用RDS作为JuiceFS的元数据存储，更多的其它元数据存储引擎可以参考：如何设置元数据引擎 | JuiceFS Document Center 三. 100TB+，存储成本大约在0.8元/月/G（按照云厂商官网标准价格计算），整体算下来大概是5万左右的成本。 在使用JuiceFS之后，我们将一部分数据（取决于我们自身索引策略），迁移到了对象存储中，这部分的存储成本大约是0.12/月/1G（按照官网标准价格计算） 关于本文的一些核心知识点，可以自行网络搜索补充
1.1K30编辑于 2022-11-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号