首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏Elastic Stack专栏

    Elasticsearch 新的索引 mode: Logsdb 初体验

    Logsdb 模式的突破:从膨胀到精简Logsdb 索引模式是 Elasticsearch 针对日志存储需求专门设计的解决方案,旨在克服传统索引模式中因索引膨胀造成的存储压力。 Logsdb 模式,专门优化日志数据的存储和查询性能。 Logsdb 配置步骤与实践启用 Logsdb 模式相对简单,只需在索引配置中指定 index.mode 为 logsdb。 通常我们在预估日志大小的时候,会使用 1.2 的索引膨胀率Logsdb 模式的存储大小:启用 Logsdb 后,索引大小缩减至 10.82GB,实现了约 2.87 倍 的存储优化。 Logsdb 的出现表明,Elasticsearch 不仅仅是一个搜索引擎,更是一个持续创新、不断优化的日志分析平台。如果你还没有尝试 Logsdb 模式,现在正是时候。

    1.4K33编辑于 2024-09-10
  • 来自专栏Elastic Stack专栏

    三分钟带你了解ES降本利器-LogsDB

    LogsDB 的诞生与优势概述幸运的是,Elasticsearch 8.17 为我们带来了 LogsDB,这是日志存储的全新解决方案。 ZSTD 压缩:高效缩小数据体积ZSTD 压缩算法的应用也为 LogsDB 增色不少。它实现了快速无损压缩,能让数据体积大幅缩小。 实例见证 LogsDB 成效我们来看一个具体的例子,原始数据为 32GB 的 HTTP Logs 数据,在未启用 LogsDB 时索引的大小为 16.17GB,而在 LogsDB 持续迭代的过程后,一路降到了 LogsDB 的未来展望并且,LogsDB 还在不断发展,我们计划持续提升其效能,以帮助用户进一步降本增效。在 8.17 版本之后,它将继续为企业的日志存储带来更多优势。还等什么呢? 快来使用 LogsDB,让您的企业在日志管理方面迎来全新的变革!

    57231编辑于 2025-01-09
  • 来自专栏北京马哥教育

    有福了!六步使用Python写一个小小的自动化项目监控

    获取数据库的连接: defget_con(): host="127.0.0.1" port=3306 logsdb="logsdb" user="root" password="never tell you " con=MySQLdb.connect(host=host,user=user,passwd=password,db=logsdb,port=port,charset="utf8") returncon importsmtplib fromemail.mime.textimportMIMEText fromlogimportlogger defget_con(): host="127.0.0.1" port=3306 logsdb ="logsdb" user="root" password="never tell you" con=MySQLdb.connect(host=host,user=user,passwd=password ,db=logsdb,port=port,charset="utf8") returncon defcalculate_time(): now=time.mktime(datetime.now().timetuple

    3.5K100发布于 2018-05-02
  • 来自专栏python3

    python用作监控

    logging.getLogger('root')     return logger def get_con():     host = "120.138.75.88"     port = 5849     logsdb = "xxxx"     password = "xxxxx"     con = MySQLdb.connect(host=host, user=user, passwd=password, db=logsdb

    1.1K30发布于 2020-01-14
  • 来自专栏服务器运维笔记

    LogDevice:一种用于日志的分布式数据存储系统

    在LogDevice,它的本地日志存储被称为LogsDB,是一个写优化数据存储,旨在保持磁盘搜索的数量小和受控,并且存储设备上的写和读IO模式基本上是顺序的。 LogsDB是RocksDB之上的一个层,是基于LSM树的一种有序持久键值数据存储。LogsDB属于RocksDB列族按时间排序的集合,是完全成熟的RocksDB实例,共享一个共同的预写日志。 每个RocksDB实例被称为LogsDB分区。 LogsDB的控制读取放大,是以一种特别适合日志数据模型的方式:不可变的LSN识别的不可变记录并随时间而单调递增。 在控制文件数量方面,当SST文件的数量达到最大时,LogsDB不考虑分区,而是新创建一个最新分区,而不是通过合并排序(merge-sorting)成一个更大的有序LogsDB

    1.3K20发布于 2020-05-26
  • ES|QL LOOKUP JOIN实现日志去重现代方案

    在使用此方法移除高容量、重复内容后,可以在主数据流上启用logsdb索引模式(在9.0及更高版本的集群上默认启用)。

    25310编辑于 2025-08-31
  • 来自专栏Elastic Stack专栏

    拆解"ES已死"伪命题:Agentic RAG时代搜索引擎的终极形态

    自动推导“季度营收异常”与“广告投放时段”的空间相关性 生态扩展 无缝集成 LogsDB(分析PB级日志)、MetricDB(实时指标聚合)、APM(应用性能数据) 安全分析场景:1.

    55011编辑于 2025-02-06
  • 来自专栏云计算与大数据技术

    大数据日志收集框架之Flume实战

    sinks.k1.channel = c1 a1.sinks.k1.hive.metastore = thrift://127.0.0.1:9083 a1.sinks.k1.hive.database = logsdb

    1.2K20发布于 2021-04-27
领券