首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏Elastic Stack专栏

    Elasticsearch 新的索引 mode: Logsdb 初体验

    Logsdb 模式的突破:从膨胀到精简Logsdb 索引模式是 Elasticsearch 针对日志存储需求专门设计的解决方案,旨在克服传统索引模式中因索引膨胀造成的存储压力。 Logsdb 模式,专门优化日志数据的存储和查询性能。 Logsdb 配置步骤与实践启用 Logsdb 模式相对简单,只需在索引配置中指定 index.mode 为 logsdb。 通常我们在预估日志大小的时候,会使用 1.2 的索引膨胀率Logsdb 模式的存储大小:启用 Logsdb 后,索引大小缩减至 10.82GB,实现了约 2.87 倍 的存储优化。 Logsdb 的出现表明,Elasticsearch 不仅仅是一个搜索引擎,更是一个持续创新、不断优化的日志分析平台。如果你还没有尝试 Logsdb 模式,现在正是时候。

    1.5K33编辑于 2024-09-10
  • 来自专栏Elastic Stack专栏

    三分钟带你了解ES降本利器-LogsDB

    LogsDB 的诞生与优势概述幸运的是,Elasticsearch 8.17 为我们带来了 LogsDB,这是日志存储的全新解决方案。 ZSTD 压缩:高效缩小数据体积ZSTD 压缩算法的应用也为 LogsDB 增色不少。它实现了快速无损压缩,能让数据体积大幅缩小。 实例见证 LogsDB 成效我们来看一个具体的例子,原始数据为 32GB 的 HTTP Logs 数据,在未启用 LogsDB 时索引的大小为 16.17GB,而在 LogsDB 持续迭代的过程后,一路降到了 LogsDB 的未来展望并且,LogsDB 还在不断发展,我们计划持续提升其效能,以帮助用户进一步降本增效。在 8.17 版本之后,它将继续为企业的日志存储带来更多优势。还等什么呢? 快来使用 LogsDB,让您的企业在日志管理方面迎来全新的变革!

    62031编辑于 2025-01-09
  • 来自专栏北京马哥教育

    有福了!六步使用Python写一个小小的自动化项目监控

    获取数据库的连接: defget_con(): host="127.0.0.1" port=3306 logsdb="logsdb" user="root" password="never tell you " con=MySQLdb.connect(host=host,user=user,passwd=password,db=logsdb,port=port,charset="utf8") returncon importsmtplib fromemail.mime.textimportMIMEText fromlogimportlogger defget_con(): host="127.0.0.1" port=3306 logsdb ="logsdb" user="root" password="never tell you" con=MySQLdb.connect(host=host,user=user,passwd=password ,db=logsdb,port=port,charset="utf8") returncon defcalculate_time(): now=time.mktime(datetime.now().timetuple

    3.5K100发布于 2018-05-02
  • 来自专栏python3

    python用作监控

    logging.getLogger('root')     return logger def get_con():     host = "120.138.75.88"     port = 5849     logsdb = "xxxx"     password = "xxxxx"     con = MySQLdb.connect(host=host, user=user, passwd=password, db=logsdb

    1.1K30发布于 2020-01-14
  • 来自专栏服务器运维笔记

    LogDevice:一种用于日志的分布式数据存储系统

    在LogDevice,它的本地日志存储被称为LogsDB,是一个写优化数据存储,旨在保持磁盘搜索的数量小和受控,并且存储设备上的写和读IO模式基本上是顺序的。 LogsDB是RocksDB之上的一个层,是基于LSM树的一种有序持久键值数据存储。LogsDB属于RocksDB列族按时间排序的集合,是完全成熟的RocksDB实例,共享一个共同的预写日志。 每个RocksDB实例被称为LogsDB分区。 LogsDB的控制读取放大,是以一种特别适合日志数据模型的方式:不可变的LSN识别的不可变记录并随时间而单调递增。 在控制文件数量方面,当SST文件的数量达到最大时,LogsDB不考虑分区,而是新创建一个最新分区,而不是通过合并排序(merge-sorting)成一个更大的有序LogsDB

    1.4K20发布于 2020-05-26
  • 助力腾讯云打造业界首个十亿级向量RAG应用,实现成本降低超90%与性能显著提升

    其企业版提供以云为基础的全套功能(如可搜索快照、LogsDB、AutoOps),确保系统在高性能、高可用和安全合规的前提下,持续降低运维复杂度与成本。

    25610编辑于 2026-04-17
  • 腾讯云ES与Elastic合作构建十亿级向量RAG应用,实现90%成本降低与12倍查询提速

    选择腾讯云的三大技术优势 全链路自研AI能力:混元大模型在数理逻辑、代码生成等高难度场景表现业界领先,OCR解析准确率提升30%(效果全国第一) 云原生基础设施集成:提供运维编排平台、推理服务集成、LogsDB

    25220编辑于 2026-04-08
  • 腾讯云Elasticsearch解决方案:规模化AI搜索的性能与成本优化实践

    完整AI生态集成(含AI助手与知识库方案),首个支持复杂文档版面分析、元素排序,OCR解析大模型准确率提升30%,效果全国第一; 云为本功能:运维编排平台、推理服务集成、云基础设施集成、可搜索快照、LogsDB

    16610编辑于 2026-04-24
  • 腾讯云ES联合Elastic:以Agentic RAG技术构建高效AI应用平台

    在高质量内容创作、数理逻辑、代码生成、多轮对话性能业界领先,OCR解析准确率提升30%(效果全国第一);AI生态覆盖模型部署/训练/推理、NLP、语音识别等能力;以云为本功能(运维编排、推理服务集成、可搜索快照、LogsDB

    25010编辑于 2026-04-12
  • 腾讯云联合Elastic构建Agentic RAG解决方案 助力企业高效落地生成式AI应用

    —— 客户创新故事 选择腾讯云的核心优势 合作深度与稳定性:2019年启动合作,提供稳定基础设施+敏捷上层开发,覆盖运维编排、推理服务集成、云基础设施(可搜索快照、LogsDB、AutoOps、Otel

    19810编辑于 2026-04-08
  • 腾讯云联合Elastic构建首个“十亿级向量”RAG应用:统一架构驱动90%降本与搜索提效

    Elastic企业版底座:全面拥抱AI Search,提供业界领先的向量模型与重排模型集成,结合云基础设施(包含可搜索快照、LogsDB、Otel等),提供高弹性的底层架构支撑。

    20510编辑于 2026-04-17
  • ES|QL LOOKUP JOIN实现日志去重现代方案

    在使用此方法移除高容量、重复内容后,可以在主数据流上启用logsdb索引模式(在9.0及更高版本的集群上默认启用)。

    29210编辑于 2025-08-31
  • 来自专栏Elastic Stack专栏

    拆解"ES已死"伪命题:Agentic RAG时代搜索引擎的终极形态

    自动推导“季度营收异常”与“广告投放时段”的空间相关性 生态扩展 无缝集成 LogsDB(分析PB级日志)、MetricDB(实时指标聚合)、APM(应用性能数据) 安全分析场景:1.

    68011编辑于 2025-02-06
  • 来自专栏云计算与大数据技术

    大数据日志收集框架之Flume实战

    sinks.k1.channel = c1 a1.sinks.k1.hive.metastore = thrift://127.0.0.1:9083 a1.sinks.k1.hive.database = logsdb

    1.3K20发布于 2021-04-27
领券