- 综合排序
- 最热优先
- 最新优先
- 来自专栏运维知识
Linux ContOS7 日志管理（rsyslog）
目录 01. rsyslog 记录日志程序 02.日志文件 03.日志等级 Linux 日志文件是记录 Linux 系统运行信息的文件。 Linux 日志文件通常存储在 /var/log/ 目录中。该目录包含许多不同的日志文件，每个文件记录不同类型的信息。 01. rsyslog 记录日志程序 日志是哪里来的？？ 日志服务是rsyslog程序提供的 是 Linux 系统中一个用于系统日志管理的工具。 .日志文件 这是/var/log下的不同日志文件 对应的 /var/log/messages *** 包含系统的一般日志消息 如：用户登录 进程启动 服务启动 /var/log/ 系统启动时的日志文件 /var/log/maillog 电子邮箱文件日志 举两个重要的例子 /var/log/messages 存放的是系统的日志信息 *
53310编辑于 2024-06-03 - 来自专栏golang探索者
CentOS 7 下搭建ELK日志分析平台
CentOS 7 下搭建ELK日志分析平台 2018-6-18 一、系统配置 Centos7 1核4G（个人开发机搭来自己分析压测日志的，若是公司级的建议32核64G以上。 //10.33.121.31:9200" # 配置es服务器的ip，如果是集群则配置该集群中主节点的ip logging.dest: /var/log/kibana.log # 配置kibana的日志文件路径 ，不然默认是messages里记录日志 #启动 systemctl start kibana 访问:http://10.33.121.31:5601/ 查看页面 五、安装logstash yum hosts => "localhost:9200" #ES地址 index => "matrixlog" #索引名称 } } 然后再执行，设置默认日志路径 ，并检查日志格式 .
1.1K30发布于 2021-10-21 - 来自专栏运维技术迷
CentOS7搭建ELK日志集中分析平台
通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，那你就有得玩了，虽然有像Ansible这样的自动化工具，但也不会很高效。 当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。例如：开源的syslog，将所有服务器上的日志收集汇总。 集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心 ---- ELK介绍 开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。 ELK平台搭建 一般ELK平台分为集群和单机，由于手头机器资源部够，所以本篇文章中以单机搭建为例。
1.7K80发布于 2018-03-26 - 来自专栏以Java架构赢天下
ELK + Filebeat + Kafka 分布式日志管理平台搭建
ELK + Filebeat + Kafka 分布式日志管理平台搭建 2. ELK + Filebeat + Kafka 分布式日志管理平台搭建 列表展示 ? ELK + Filebeat + Kafka 分布式日志管理平台搭建 进入kafka01 ? ELK + Filebeat + Kafka 分布式日志管理平台搭建 新建topic ? ELK + Filebeat + Kafka 分布式日志管理平台搭建 ? ELK + Filebeat + Kafka 分布式日志管理平台搭建 到此kafka的简单使用完成 3 ELK + Filebeat + Kafka 分布式日志管理平台使用测试 Filebeat发送日志到 ELK + Filebeat + Kafka 分布式日志管理平台搭建 kabana查看日志 ?
2.7K41发布于 2020-08-21 - 来自专栏Lcry个人博客
轻量级日志管理平台Grafana Loki搭建及应用
前言 在微服务以及云原生时代，由于应用部署到遍地是，为了不像传统的方式上每台应用服务器筛选日志，那么我们可以使用日志管理平台，将所有日志都采集到统一的平台，供运维和研发人员快速排查故障，进而提升效率。 这样的日志平台云厂商有提供，比如腾讯云的日志服务CLS，阿里云日志SLS，百度云日志服务BLS，天翼云日志服务CT-LTS，谷歌云Cloud Logging等等。 总结 本文通过对比不同的日志平台，最终实战搭建了Promtail + Loki + Grafana + Minio，实打实的可以用于生产，但是要注意生产环境的HA部署以及参考官方文档进行优化，比如不同租户的请求速度频率的限制大小 ，日志的保留时长，最大上传的日志大小等等配置，希望本文对大家有所帮助。 参考链接 Promtail+Loki+Grafana搭建轻量级日志管理平台 Request Validation and Rate-Limit Errors 日志监控系统 loki 配置文件详解 Loki
2.2K10编辑于 2024-08-31 - 来自专栏linux运维
日志管理
使用自动化工具使用自动化工具可以帮助您更高效地管理和应用安全补丁。AnsibleAnsible 是一个配置管理工具，可以用于自动化安全补丁的安装。 使用包管理器大多数操作系统都提供了包管理器，可以自动检查和安装安全补丁。 记录和审计记录和审计补丁管理过程，确保所有安全补丁都被正确安装和验证。使用日志文件大多数包管理器都会记录更新操作，可以查看日志文件以确认补丁是否成功安装。 APT 日志：cat /var/log/apt/term.log YUM 日志：cat /var/log/yum.log 使用审计工具使用审计工具（如 auditd）记录系统活动，确保补丁管理过程的透明性和可追溯性 建立补丁管理策略建立明确的补丁管理策略，确保所有系统和应用程序都能及时获得安全更新。补丁管理策略示例：定期检查更新：每周至少检查一次系统和应用程序的安全更新。
48810编辑于 2025-02-03 - 来自专栏北京马哥教育
CentOS 7下安装Logstash ELK Stack 日志管理系统（下）
filebeat客户端是一个轻量级的，从服务器上的文件收集日志资源的工具，这些日志转发到处理到Logstash服务器上。该Filebeat客户端使用安全的Beats协议与Logstash实例通信。 （node1）安装filebeat，拷贝证书，创建收集日志配置文件 [root@rsyslog elk]# yum localinstall filebeat-1.2.3-x86_64.rpm -y # conf.d目录下的2个配置文件是自定义监控日志的，下面看下各自的内容： filebeat.yml View Code authlogs.yml & syslogs.yml View Code 查看下两台机器的系统日志：node1的 ? node2的nginx 访问日志 ? 后续会继续学习，更新相关的监控过滤日志方法，日志分析，以及使用kafka 来进行存储的架构。
1.1K40发布于 2018-05-04 - 来自专栏开源部署
Centos7 之安装Logstash ELK stack 日志管理系统
一、介绍The Elastic Stack - 它不是一个软件，而是Elasticsearch，Logstash，Kibana 开源软件的集合，对外是作为一个日志管理系统的开源方案。 Elasticsearch：搜索，提供分布式全文搜索引擎Logstash: 日志收集，管理，存储Kibana ：日志的过滤web 展示Filebeat：监控日志文件、转发二、测试环境规划图环境：ip、主机名按照如上规划 下面是这次elk学习的部署安装目的：通过elk 主机收集监控主要server的系统日志、以及线上应用服务日志。 ，这些日志转发到处理到Logstash服务器上。 五、验证，访问kibana http://192.168.0.2:5601参考：Centos7 之安装Logstash ELK stack 日志管理系统
1.1K30编辑于 2022-06-18 - 来自专栏北京马哥教育
CentOS 7下安装Logstash ELK Stack 日志管理系统（上）
介绍 The Elastic Stack - 它不是一个软件，而是Elasticsearch，Logstash，Kibana 开源软件的集合，对外是作为一个日志管理系统的开源方案。 它可以从任何来源，任何格式进行日志搜索，分析获取数据，并实时进行展示。像盾牌（安全），监护者（警报）和Marvel（监测）一样为你的产品提供更多的可能。 Elasticsearch：搜索，提供分布式全文搜索引擎 Logstash: 日志收集，管理，存储 Kibana ：日志的过滤web 展示 Filebeat：监控日志文件、转发 测试环境规划图 环境：ip 下面是这次elk学习的部署安装 目的：通过elk 主机收集监控主要server的系统日志、以及线上应用服务日志。
1.1K60发布于 2018-05-04 - 来自专栏WalkingCloud
CentOS7下部署Graylog开源日志管理系统
Graylog是一个开源的日志聚合、分析、审计、展现和预警工具。 功能上和ELK类似，但又比ELK要简单，依靠着更加简洁，高效，部署使用简单的优势很快受到许多人的青睐 架构图如下 ? 下面介绍在CentOS7下部署Graylog 在安装和启动任何Graylog服务之前 请确保CentOS7下安装和配置以下软件： 1、Java（> = 8） 2、Elasticsearch（5.x或6. 1、安装JDK1.8和pwgen wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7. 系统日志 ? 3、在Graylog上Search页面观察有没有收到日志 ? 4、日志关键词搜索 ? 5、Dashboard功能 ?
8.8K73发布于 2020-05-15 - 来自专栏互联网老辛
日志管理及日志轮询
日志管理的意义 日志对于安全来说，非常重要，他记录了系统每天发生的各种各样的事情，你可以通过他来检查错误发生的原因，或者受到攻击时攻击者留下的痕迹。 日志主要的功能有：审计和监测。 in reboot system boot 3.10.0-1062.12.1 Thu Feb 27 16:18 - 14:30 (22:12) 清空日志文件 [root@centos7-xinsz08 news 新闻系统 local0~7 自定义的日志设备 local 0->local 7 8个系统保留的类， 供其它的程序使用 /或者是用户自定义 日志级别：重--轻 emery debug 调试级的信息，日志信息最多 日志服务： rhel5 服务名称：syslog 配置文件：/etc/syslog.conf RHEL6-RHEL7 服务名称：rsyslog 配置文件：/etc/ 修改配置文件 [root@centos7-xinsz08 log]# vim /etc/logrotate.conf /var/log/sshd.log { // 指定的是要切割的日志文件
2.2K20发布于 2020-05-14 - 来自专栏WalkingCloud
CentOS7下ELK日志分析平台的简单搭建步骤
root@vm ~]# cat /etc/profile.d/java11.sh export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-11.0.4.11-0.el7_ x] name=Elasticsearch repository for 7.x packages baseurl=https://artifacts.elastic.co/packages/7.x/yum /var/log/secure中收集ssh登录失败日志的配置 [root@vm ~]# cd /etc/logstash/conf.d/ [root@vm conf.d]# vi sshd.conf 验证elasticsearch对应的sshd登录失败日志的索引是否生成 curl localhost:9200/_cat/indices? pretty 可以看出已经有索引生成，接下来在Kibana上进行该索引的添加 下面就可以看到sshd登录失败的大数据分析效果了 CentOS7下ELK日志分析平台的简单搭建就介绍到这里，后面再介绍filebeat
3.9K10发布于 2019-08-20 - 来自专栏JAVA乐园
FileBeat + Kafka Logstash+ ElasticSearch+Kibana 搭建日志管理平台
管理平台流程 环境准备 elasticsearch-6.0.0.tar.gz filebeat-7.0.1-linux-x86_64.tar.gz kibana-6.0.0-linux-x86_64 ---- output.kafka: enabled: true hosts: ["127.0.0.1:9092"] topic: test # 并且修改相关配置 enabled: true # 获取日志的路径 paths: - /home/elk/log/access.log # 日志标签，在kibana中查看数据可以找到该标签，并且可以根据该tag标签过滤查找数据 tags: ["nginx-accesslog
97930编辑于 2022-03-08 - 来自专栏全栈程序员必看
Spring日志管理
SpringBoot关于日志的官方文档 1、简述 SpringBoot官方文档关于日志的整体说明 本博客基于SpringBoot_1.3.6 大家请先简单看下这篇英文的官方文档， SpringBoot官方文档关于配置Log级别的说明 官方文档中有提到， SpringBoot 的 Logging 配置的级别有7个： TRACE , DEBUG , INFO , WARN , 2.如果我们使用指定日志系统的配置文件， application.properties 中相关的日志配置是可以不要的。 SpringBoot官方文档关于配置Log级别的说明 官方文档中有提到， SpringBoot 的 Logging 配置的级别有7个： TRACE , DEBUG , INFO , WARN , 2.如果我们使用指定日志系统的配置文件， application.properties 中相关的日志配置是可以不要的。
1.7K30编辑于 2022-08-30 - 来自专栏劝学
Nodejs日志管理之日志切割
Foreback 现在nodejs在服务器上使用越来越广了，常用的框架有express、koa、eggjs等，nodejs进程管理工具是pm2。 下面就说下nodejs在实战中的日志管理 日志管理一般有两种，一种是上传到日志服务器，一种是本地保存。 每个公司实现情况不一样，下面只说下本地保存的方案。 基础pm2的日志切割 使用pm2自带的日志切割插件，pm2-logrotate， 安装 # CLI配置 pm2 set pm2-logrotate: // ~/.pm2/module_conf.json 前后两个文件名虽然一样，但inode不一样了，所以如果是使用pm2管理，还需要重启下pm2。 实现细节是把Log日志copy一份，再把原先的日志内容清空。 好处是不需要重启Pm2，缺点是从copy到清空这一时间段的日志是会丢失的。
2K20发布于 2021-01-21 - 来自专栏Linux运维学习之路
MySQL日志管理
MySQL日志管理 错误日志 配置方法： vim /etc/my.cnf [mysqld] log-error=/tmp/mysql.log 查看配置方式： show variables like '% 例如：ELK 二进制日志 建议刚部署mysql数据库的时候就开启二进制日志 二进制日志不依赖于存储引擎的，依赖于sql层，记录和sql语句有关的信息 在sql层已经执行完成的语句，如果是事务，应当是已经完成的事务 show binlog events in ''; 查看文件内容 show master status; 查看当前正在使用的二进制日志文件 二进制日志管理 默认情况下，不会删除旧的日志文件。 删除二进制日志 根据存在时间删除日志： SET GLOBAL expire_logs_days = 7; 或者PURGE BINARY LOGS BEFORE now() - INTERVAL 3 day ; reset master; 将所有binlog日志删除，并重新生成，从000001开始 根据文件名删除日志： PURGE BINARY LOGS TO 'mysql-bin.000010'; 刷新二进制日志
1.7K120发布于 2018-03-29 - 来自专栏花落的技术专栏
日志管理详解
支持的日志框架 每个公司所用的日志框架形形色色。TLog宣称支持了主流的三大日志框架：log4j，log4j2，logback 实际测试中，在这3个框架中，TLog也都能够正常打印出标签。 ("这是业务日志5"); } 只要在方法上加一个标签，那么这个方法下面所有的日志，包括之后的N个层级，都会自动加上你定义的标签 这个功能在对日志的排版和查找上，又能增加很多个标记。 7 甚至于自定义标签还支持对信息的逻辑处理，可以自定义类去处理这些信息 @TLogAspect(convert = CustomAspectLogConvert.class) public void demo 6.205771261 | 12.782565374 第5次 | 6.727208117 | 12.884360048 第6次 | 5.908489157 | 14.604699842 第7次 6.452949788 | 15.542794904 第5次 | 6.156225995 | 12.350440713 第6次 | 6.121611887 | 12.543883453 第7次
98000编辑于 2021-12-16 - 来自专栏linux技术分享
mysql日志管理
binlog 是逻辑日志 会记录整个数据库运行期间变更性的,语句 1备份恢复必须依赖二进制日志 2复制环境必须依赖二进制日志 3分析大事务 配置 log_bin binlog的开关和binlog的前缀 server_id 必须要打开 binlog_format binlog日志的格式 ROW/Statement/mixed 只影响dml语句记录格式 ddl只会记录 File_size 日志的大小,日志量当前日志文件偏移量 Encrypted 是不是加密的 binlog使用只会使用最后一个 show master status ; 当前在使用哪个binlog 日志文件记录了,所有库所有表的日志(可以用my2sql) gtid特性 是对于一个已提交事务的编号 ,并且是一个全局唯一的编号. www.percona.com/downloads/percona-toolkit/LATEST/ 官网下包 yum安装 yum localinstall percona-toolkit-3.3.1-1.el7.
2K31编辑于 2022-03-21 - 来自专栏全栈程序员必看
rsyslog日志管理
文章目录 简介 基本维护 核心概念 实例 配置客户端 日志服务器 输出日志到mysql 简介 rsyslog是一个快速的日志处理系统，具有卓越的性能和出色的安全性，采用模块化设计，他可以从各种数据源中接收输入 rsyslog是一个c/s架构，既可以作为日志客户端上报日志，也可以作为服务端接收日志 rsyslog是模块化设计，因此很多功能需要加载相关的模块 官方文档 基本维护 安装 一般主流linux系统都自带 /rpms.adiscon.com/v8-stable/rsyslog.repo yum install rsyslog 启停 systemctl start/stop rsyslog 查看日志 ,传入rsyslog的日志信息称为message，其属性有tag, facility, severity, input: 将外部数据传入rsyslog，常见输入模块如下 imfile: 处理文本类型的日志 ，常用于处理应用服务的日志 imdocker: 从docker中获取日志 imjournal: 从journal中获取日志 imtcp: 从tcp中获取日志 input(type="imfile"
2.5K10编辑于 2022-11-08 - 来自专栏菲宇
CentOS7上安装Elasticsearch+Logstash+Kibana日志管理系统
集中日志记录在尝试识别服务器或应用程序的问题时非常有用，因为它允许您在单个位置搜索所有日志。它也很有用，因为它允许您通过在特定时间范围内关联其日志来识别跨多个服务器的问题。 http://www.ibm.com/developerworks/cn/opensource/os-cn-elk/ 安装介绍 在本教程中，我们将在CentOS 7上安装Elasticsearch 安装 Elasticsearch Elasticsearch可以通过添加Elastic的软件包仓库与软件包管理器一起安装。 /nginx.repo 使用yum安装nginx和httpd-tools yum install nginx httpd-tools -y 使用htpasswd创建一个名为“kibanaadmin”的管理员用户 设置Filebeat（添加客户端服务器） 对于要将日志发送到ELK服务器的每个CentOS或RHEL 7服务器，请执行以下步骤。
3.9K51发布于 2019-06-13
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号