首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏飞鸟的专栏

    loki ELK efk对比

    Loki、ELK、EFK是三种广泛使用的开源日志管理工具。这些工具可以帮助开发人员和运维人员更轻松地管理应用程序的日志数据,包括收集、存储、分析和可视化。 EFK EFK是ELK的变种,由Elasticsearch、Fluentd和Kibana三个组件组成。 EFK的优点在于它继承了ELK的完整日志管理生态系统,并且通过使用Fluentd代替Logstash实现了更轻量级和更快速的数据处理。 比较: 存储方式:Loki使用类似于散列表的内存数据结构,不需要进行索引,查询速度快;ELK和EFK使用Elasticsearch进行索引,查询速度可能比较慢。 扩展性:ELK和EFK具有广泛的扩展性和适应性,可以对多种数据源进行处理;Loki的扩展性相对较弱。 学习曲线:ELK和EFK相对于Loki具有更陡峭的学习曲线,因为它们具有更多的组件和功能。

    2.4K10编辑于 2023-03-29
  • 来自专栏liliane随笔

    日志收集方案EFK

    导语本文将介绍常见的分布式系统日志收集组件EFK的搭建,以及一些常见问题的处理。 概述EFK(ElasticSearch、Fluentd、Kibana)是常见的分布式系统日志收集方案,es 用于存储数据,kibana 用于展示数据,支持各种搜索及维度聚合。 restartPolicy: Always schedulerName: default-scheduler securityContext: {} serviceAccount: efk serviceAccountName: efk terminationGracePeriodSeconds: 30 volumes: - hostPath: OnDelete参考文献fluentd 文本解析规则在线测试工具:https://fluentular.herokuapp.com/fluentd官方文档:https://docs.fluentd.org/EFK

    3K30编辑于 2022-07-16
  • 来自专栏CloudComputing

    Kubernetes 1.19.0——部署EFK

    是一个开源和免费的web界面的工具,可以让用户浏览ES里的日志 Logstash性能低,消耗资源,且存在不支持消息队列缓存及存在数据丢失 所以Logstash一般可以用fluentd或者filebeat替代,这就有了EFK mirror.azure.cn/kubernetes/charts/ elastic https://helm.elastic.co                   [root@vms61 helm3]# mkdir efk [root@vms61 helm3]# cd efk [root@vms61 efk]# helm pull elastic/elasticsearch 图片2.png 图片3.png README.md filebeat/examples/security/test/goss.yaml filebeat/examples/security/values.yaml [root@vms61 efk [root@vms61 efk]# scp filebeat7.9.1.tar 192.168.135.63:~ root@192.168.135.63's password: filebeat7.9.1

    1.6K150发布于 2020-11-16
  • 来自专栏johnhuster

    efk收集docker nginx日志

    1、部署efk efk需要用到elasticsearch、fluentd以及kibana,nginx使用fluentd日志驱动将nginx docker日志转发到对应fluentd server端,fluentd

    79810编辑于 2022-03-28
  • 来自专栏伪架构师

    Loki Stack:乞丐版 EFK

    EFK 类似,Loki Stack 也由采集端、服务端和交互端三个部分构成,其中采集端是可变的,目前支持 Promtail、FluentBit 和 Fluentd 三种,服务端和交互端分别使用的是

    1.9K30发布于 2020-02-19
  • 来自专栏7DGroup

    Kubernetes 集群日志监控 EFK 安装

    Kubernetes 集群日志监控 EFK 安装 一、前言 Kubernetes 集群中会编排非常多的服务,各个服务不可能保证服务一定能稳定的运行,于是每个服务都会打印出各自的日志信息方便调试。 ELK 日志收集系统大家都知道,但是还有一种流行方案 EFK,肯定有很多朋友不知道! # 创建 Fluentd ConfigMap kubectl apply -f fluentd-es-config.yaml -n efk # 创建 Fluentd ServiceAccount -n efk # 创建 Fluentd DaemonSet kubectl apply -f fluentd.yaml -n efk 六、查看 Fluentd 相关资源 $ kubectl get pod,daemonset -n efk | grep fluent pod/fluentd-es-8ggfj 1/1 Running 0

    2K20发布于 2021-03-16
  • 来自专栏Kubernetes 与 Devops 干货分享

    EFK日志平台部署

    EFK 架构说明 日志收集方案是采用 Elasticsearch、Fluentd、Filebeat 和 Kibana(EFK)技术栈。 将官方提供的yaml下载到本地,如EFK目录下 https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/fluentd-elasticsearch kubernetes/master/cluster/addons/fluentd-elasticsearch/kibana-deployment.yaml 下载filebeat官方提供的yaml文件到本地目录下如EFK https://github.com/elastic/beats/blob/master/deploy/kubernetes/filebeat-kubernetes.yaml EFK 部署 创建 Elasticsearch

    1.7K20编辑于 2022-10-31
  • 来自专栏TKE学习分享

    TKE中部署EFK日志收集

    通过DaemonSet在每一台Node节点上跑一个Filebeat或fluentd,然后通过挂载的形式将容器日志与该Pod关联,从而处理发送至后端存储;

    77100发布于 2020-06-19
  • 来自专栏程序员同行者

    12-部署EFK插件

    配置和安装 EFK 官方文件目录:cluster/addons/fluentd-elasticsearch $ ls *.yaml es-controller.yaml es-service.yaml fluentd-es-ds.yaml kibana-controller.yaml kibana-service.yaml efk-rbac.yaml 同样EFK服务也需要一个efk-rbac.yaml 文件,配置serviceaccount为efk。 version: v1 kubernetes.io/cluster-service: "true" spec: serviceAccountName: efk 执行定义文件 $ kubectl create -f . serviceaccount "efk" created clusterrolebinding "efk" created replicationcontroller

    1.2K20发布于 2018-07-03
  • 来自专栏JAVA杂谈

    EFK实战二 - 日志集成

    file 前言 在EFK基础架构中,我们需要在客户端部署Filebeat,通过Filebeat将日志收集并传到LogStash中。 上文EFK实战一 - 基础环境搭建已经搭建好了EFK的基础环境,本文我们通过真实案例打通三者之间的数据传输以及解决EFK在使用过程中的一些常见问题。 weaver.filter.MonitorForbiddenUrlFilter.doFilter(MonitorForbiddenUrlFilter.java:133) 日志组成格式为: 时间 日志级别 日志详情 主要任务就是将这段日志正常写入EFK

    1.4K10发布于 2020-01-13
  • 来自专栏腾讯云容器运维

    TKE上搭建EFK日志采集系统

    1.创建新的namespace 创建一个新的namespace为logging,该命名空间来部署EFK image.png 2.创建ES的svc kind: Service apiVersion: v1

    1.1K40发布于 2020-06-10
  • EFK架构的数据安全性

            EFK架构(Elasticsearch + Filebeat + Kibana)的数据安全性需通过‌传输加密、访问控制、存储保护‌三层措施保障,其核心风险与加固方案如下: 一、数据传输安全风险与加固

    13910编辑于 2025-12-23
  • 来自专栏Python爬虫与算法进阶

    Docker通过EFK(Elasticsearch + Fluentd + Kibana)查询日志

    这篇文章主要是参考Docker Logging via EFK (Elasticsearch + Fluentd + Kibana) Stack with Docker Compose,并在其基础上做了一些修改 但是这都很难去做查询,本文介绍的EFK就可以解决这个问题。 我们会创建四个容器: httpd (发送日志给EFK) Fluentd Elasticsearch Kibana 环境准备 请安装最新的docker及docker-compose,老版本会有些问题。 所以我们首先需要找到我们现在创建的EFK的网络名, ➜ docker network ls NETWORK ID NAME DRIVER 最后想要做的就是如何在一台服务器上搜集所有的日志,理论上来说,只需要一台服务器部署上EFK,暴露端口,其他服务器去发送即可,实际上还没试过。 如果有好的意见,欢迎来提。

    1.6K30发布于 2019-05-07
  • 来自专栏k8s技术圈

    在 Kubernetes 上搭建 EFK 日志收集系统

    上节课和大家介绍了 Kubernetes 集群中的几种日志收集方案,Kubernetes 中比较流行的日志收集解决方案是 Elasticsearch、Fluentd 和 Kibana(EFK)技术栈,也是官方现在比较推荐的一种方案 如果你了解 EFK 的基本原理,只是为了测试可以直接使用 Kubernetes 官方提供的 addon 插件的资源清单,地址:https://github.com/kubernetes/kubernetes Active 244d logging Active 4h monitoring Active 35d 现在创建了一个命名空间来存放我们的日志相关资源,接下来可以部署 EFK

    5.8K11发布于 2020-06-13
  • 来自专栏JAVA杂谈

    EFK实战一 - 基础环境搭建

    在分布式系统中,由于节点服务会部署多台,一旦出现线上问题需要通过日志分析定位问题就需要登录服务器一台一台进行日志检索,非常不便利,这时候就需要用到EFK日志收集工具。 EFK基础版的架构如下: 本文主要是使用docker和docker-Compose部署EFK的基础环境,选择7.5.1作为EFK组件版本。 xxxxxx" 重启kibana docker-compose -f elk.yml restart kibana 重新访问kibana,并使用上面设置的elastic账号进行登录 至此我们顺利给EFK

    1.3K20发布于 2020-01-15
  • 来自专栏开源部署

    部署EFK pod日志分析系统

    EFK不是一个软件,而是一套解决方案,并且都是开源软件,之间互相配合使用,完美衔接,高效的满足了很多场合的应用,是目前主流的一种日志系统。 EFK是三个开源软件的缩写,分别表示:Elasticsearch , Fluentd, Kibana 组件说明: EFK由ElasticSearch、Fluentd和Kiabana三个开源工具组成。 ​ 一、环境准备 # 资源配置: Master: 4U4G Node-1: 4U4G Node-2: 4U4G mkdir efk cd efk kubectl create namespace efk --name ela --namespace=efk -f values.yaml # 测试一下: kubectl run cirror-$RANDOM --rm -it --image=cirros --name flu --namespace=efk -f values.yaml 完成后查看: 四、部署 kibana helm fetch bitnami/kibana # 这里要特别注意一下,

    80420编辑于 2022-09-15
  • 来自专栏小手冰凉

    Centos 7.3 简便搭建EFK日志分析

    EFK 不是一个软件,而是一套解决方案。EFK 是三个开源软件的缩写,Elasticsearch,FileBeat,Kibana。 系统下的各个组件都非常吃内存,后期根据业务需要,EFK 的架构可进行扩展,当 FileBeat 收集的日志越来越多时,为防止数据丢失,可引入 Redis,而 ElasticSearch 也可扩展为集群 一、开始部署 1、安装elasticsearch: [root@localhost /]# mkdir efk # 个人习惯 [root@localhost /]# cd efk/ tar.gz [root@localhost efk]# tar zxf elasticsearch-6.2.4.tar.gz -C /usr/local/ [root@localhost efk]# 至此EFK就搭建完毕了,可以点击descover来查看信息

    2K10发布于 2020-03-06
  • 来自专栏Lansonli技术博客

    云原生(四十) | Kubernetes篇之整合EFK

    ​整合EFK部署前预习 ElasticSearch 的 配置文件位置 简单的ElasticSearch 配置管理章节 ElasticStack 安装 kompose 转换 compose为k8s文件

    743141编辑于 2022-10-31
  • 来自专栏互联网-小阿宇

    EFK(Elasticsearch+Filebeat+Kibana)日志收集系统

    EFK简介 Elasticsearch 是一个实时的、分布式的可扩展的搜索引擎,允许进行全文、结构化搜索,它通常用于索引和搜索大量日志数据,也可用于搜索许多不同类型的文档。 EFK架构图 ELK和EFK的区别 ELK 是现阶段众多企业单位都在使用的一种日志分析系统,它能够方便的为我们收集你想要的日志并且展示出来 ELK是Elasticsearch、Logstash、Kibana EFK是ELK日志分析系统的一个变种,加入了filebeat 可以更好的收集到资源日志 来为我们的日志分析做好准备工作。 安装环境 此次实验用的一台服务器进行操作 准备安装包,EFK的三个安装包保持相同版本 安装es的节点一定安装java环境 通过yum安装java [root@localhost ~]# yum

    72510编辑于 2022-11-21
  • 来自专栏python3

    Docker通过EFK(Elasticsearch + Fluentd + Kibana)查询日志

    但是这都很难去做查询,本文介绍的EFK就可以解决这个问题。 二、docker-compose运行EFK 目录结构  创建一个空目录 mkdir /opt/efk/ 目录结构如下: ./ ├── docker-compose.yml └── fluentd      _1 ... done Starting efk_fluentd_1       ... done Starting efk_kibana_1        ... done Starting efk_web 所以我们首先需要找到我们现在创建的EFK的网络名, ? 我是在efk目录下创建的docker-compose.yml文件,所以这里默认的名字就是efk_default。

    4K40发布于 2020-04-08
领券