基于Docker搭建ELK日志搜集处理分析系统

简介

ELK=elasticsearch+logstash+kibana, 常作为大型分布式系统的日志分析收集处理的解决方案

• ElasticSearch是一个基于Lucene的搜索服务器. 它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，是一种流行的企业级搜索引擎.
• logstash是一个用于日志搜集, 分析, 过滤的工具. client端一般部署在用于搜集日志的主机上, server端负责将接收的到日志进行过滤, 然后转发到elasticsearch上.
• kibana是一个用于汇总分析和搜索日志的工具, 可以为elasticsearch和logstash提供友好的日志分析的web界面.

三者之间的关系如下所示:

搭建

搭建前提

• 腾讯云服务器(1核2G都可以) or 其它类型的服务器 or 虚拟机
• 安装Docker服务 ( 点击查看详细安装步骤 )
• 在防火墙以及安全组中开放5044, 9200, 5601端口

搭建步骤

服务器/虚拟机配置

安装配置elk镜像

项目整合

kibana使用

查看日志

使用技巧

1. 使用关键字查询 日志中出现的所有关键字都能够通过这个搜索到 => 可以用来搜索含有关键字的日志

1. 使用属性去查询 在Discover页面的左边的Available fields中, 如果想要过滤耨个属性, 则点击属性右侧的 “+”, 可以结合步骤一进行更细致的查询

属性过滤后的页面( 可以使用多个属性进行过滤展示 )

1. 通过使用日期对格式进行过滤 可以自定义也可以使用系统定义好的时间段, 方便我们按时间进行查看

后续如果有新东西get到了, 会继续补充哦, 觉得不错就点个赞吧~~~

docker elk安装ik中文分词器

在github上下载和es版本匹配的ik中文分词器 https://github.com/medcl/elasticsearch-analysis-ik/releases/tag/v7.10.0

# 创建目录
mkdir elasticsearch-analysis-ik-7.10.0
# 复制插件
cp elasticsearch-analysis-ik-7.10.0.zip elasticsearch-analysis-ik-7.10.0
cd elasticsearch-analysis-ik-7.10.0/
#解压
unzip elasticsearch-analysis-ik-7.10.0.zip
# 复制到docker elasticsearch上,elk为容器的名称
docker cp elasticsearch-analysis-ik-7.10.0  elk:/opt/elasticsearch/plugins
# 重启elk容器
docker restart elk

测试中文分词器 访问kibana的dev tools工具栏 , 输入下面内容测试

参考博客

https://zhuanlan.zhihu.com/p/107346014?from_voters_page=true

https://www.cnblogs.com/xiao987334176/p/13565790.html

https://blog.csdn.net/abc8125/article/details/106858862

https://blog.csdn.net/github_38924695/article/details/105348442