- 综合排序
- 最热优先
- 最新优先
- 来自专栏以Java架构赢天下
ELK + Filebeat + Kafka 分布式日志管理平台搭建
ELK + Filebeat + Kafka 分布式日志管理平台搭建 2. ELK + Filebeat + Kafka 分布式日志管理平台搭建 列表展示 ? ELK + Filebeat + Kafka 分布式日志管理平台搭建 进入kafka01 ? ELK + Filebeat + Kafka 分布式日志管理平台搭建 新建topic ? ELK + Filebeat + Kafka 分布式日志管理平台搭建 ? ELK + Filebeat + Kafka 分布式日志管理平台搭建 到此kafka的简单使用完成 3 ELK + Filebeat + Kafka 分布式日志管理平台使用测试 Filebeat发送日志到 ELK + Filebeat + Kafka 分布式日志管理平台搭建 3 总结 在部署的过程中可能会遇到各种情况，此时根据日志说明都可以百度处理（如部署的过程中不能分配内存的问题）。
2.7K41发布于 2020-08-21 - 来自专栏Lcry个人博客
轻量级日志管理平台Grafana Loki搭建及应用
前言 在微服务以及云原生时代，由于应用部署到遍地是，为了不像传统的方式上每台应用服务器筛选日志，那么我们可以使用日志管理平台，将所有日志都采集到统一的平台，供运维和研发人员快速排查故障，进而提升效率。 这样的日志平台云厂商有提供，比如腾讯云的日志服务CLS，阿里云日志SLS，百度云日志服务BLS，天翼云日志服务CT-LTS，谷歌云Cloud Logging等等。 version: "3" networks: loki: services: # minio对象存储 minio: image: minio/minio entrypoint 总结 本文通过对比不同的日志平台，最终实战搭建了Promtail + Loki + Grafana + Minio，实打实的可以用于生产，但是要注意生产环境的HA部署以及参考官方文档进行优化，比如不同租户的请求速度频率的限制大小 参考链接 Promtail+Loki+Grafana搭建轻量级日志管理平台 Request Validation and Rate-Limit Errors 日志监控系统 loki 配置文件详解 Loki
2.2K10编辑于 2024-08-31 - 来自专栏linux运维
日志管理
security_patches { package { 'all': ensure => latest, } } node 'webserver' { include security_patches }3. 使用包管理器大多数操作系统都提供了包管理器，可以自动检查和安装安全补丁。 记录和审计记录和审计补丁管理过程，确保所有安全补丁都被正确安装和验证。使用日志文件大多数包管理器都会记录更新操作，可以查看日志文件以确认补丁是否成功安装。 APT 日志：cat /var/log/apt/term.log YUM 日志：cat /var/log/yum.log 使用审计工具使用审计工具（如 auditd）记录系统活动，确保补丁管理过程的透明性和可追溯性 建立补丁管理策略建立明确的补丁管理策略，确保所有系统和应用程序都能及时获得安全更新。补丁管理策略示例：定期检查更新：每周至少检查一次系统和应用程序的安全更新。
48810编辑于 2025-02-03 - 来自专栏互联网老辛
日志管理及日志轮询
日志管理的意义 日志对于安全来说，非常重要，他记录了系统每天发生的各种各样的事情，你可以通过他来检查错误发生的原因，或者受到攻击时攻击者留下的痕迹。 日志主要的功能有：审计和监测。 **从未登录过** adm **从未登录过** 3. [root@centos7-xinsz08 ~]# vim /etc/ssh/sshd_config 添加的内容如下： SyslogFacility local0 3) 启动rsyslog和sshd服务 : 当日志达到某个特定的大小,我们将日志分类,之前的日志保留一个备份,再产生的日志创建一个同名的文件保存新的日志. sshd日志回滚实战 1） 修改配置文件 [root@centos7-xinsz08 ，保留两份历史数据 } 2） 重启rsyslog systemctl restart rsyslog 3） 强制切割 logrotate –vf /etc/logrotate.conf [root@centos7
2.2K20发布于 2020-05-14 - 来自专栏JAVA乐园
FileBeat + Kafka Logstash+ ElasticSearch+Kibana 搭建日志管理平台
管理平台流程 环境准备 elasticsearch-6.0.0.tar.gz filebeat-7.0.1-linux-x86_64.tar.gz kibana-6.0.0-linux-x86_64 ]# vi config/server.properties # 配置内容 broker.id=0 port=9092 host.name=127.0.0.1 num.network.threads=3 ---- output.kafka: enabled: true hosts: ["127.0.0.1:9092"] topic: test # 并且修改相关配置 enabled: true # 获取日志的路径 paths: - /home/elk/log/access.log # 日志标签，在kibana中查看数据可以找到该标签，并且可以根据该tag标签过滤查找数据 tags: ["nginx-accesslog
97930编辑于 2022-03-08 - 来自专栏NetCore 从壹开始
3-5 安装CICD管理平台：Jenkins
大家这里可以先安装gitlab工具，我就省事了，直接用gitee做源代码管理平台了。 毕竟为了保证我的开源项目稳定性和一致性，直接用github上的代码做展示，也很不错。 latest 2、初次登录查看默认密钥 docker exec -it jenkins bash cat /var/jenkins_home/secrets/initialAdminPassword 3、
31521编辑于 2023-01-09 - 来自专栏全栈程序员必看
Spring日志管理
-- Spring Boot应用启动器Starter-parent: 官方推荐 其中集成了： 1、使用java6编译级别 2、使用utf-8编码 3、实现了通用的测试框架 (JUnit, Hamcrest 3.支持的三种日志系统（ Logback , Log4j2 （ Log4j 也是支持的）, JDKLogging ）所识别的配置文件名。 3、扩展 #3.1使用Logback的指定配置文件实现更高级的日志配置： 如果我们的确要使用 Logback 的指定配置文件的话，那么说明 application.properties 中的配置功能已经不满足我们需求了 3.支持的三种日志系统（ Logback , Log4j2 （ Log4j 也是支持的）, JDKLogging ）所识别的配置文件名。 3、扩展 #3.1使用Logback的指定配置文件实现更高级的日志配置： 如果我们的确要使用 Logback 的指定配置文件的话，那么说明 application.properties 中的配置功能已经不满足我们需求了
1.7K30编辑于 2022-08-30 - 来自专栏劝学
Nodejs日志管理之日志切割
Foreback 现在nodejs在服务器上使用越来越广了，常用的框架有express、koa、eggjs等，nodejs进程管理工具是pm2。 下面就说下nodejs在实战中的日志管理 日志管理一般有两种，一种是上传到日志服务器，一种是本地保存。 每个公司实现情况不一样，下面只说下本地保存的方案。 基础pm2的日志切割 使用pm2自带的日志切割插件，pm2-logrotate， 安装 # CLI配置 pm2 set pm2-logrotate: // ~/.pm2/module_conf.json 前后两个文件名虽然一样，但inode不一样了，所以如果是使用pm2管理，还需要重启下pm2。 实现细节是把Log日志copy一份，再把原先的日志内容清空。 好处是不需要重启Pm2，缺点是从copy到清空这一时间段的日志是会丢失的。
2K20发布于 2021-01-21 - 来自专栏Linux运维学习之路
MySQL日志管理
MySQL日志管理 错误日志 配置方法： vim /etc/my.cnf [mysqld] log-error=/tmp/mysql.log 查看配置方式： show variables like '% /data 3、二进制日志文件名前缀mysql-bin 4、文件名名以“前缀”.000001~N 设置二进制日志记录格式（建议是ROW） 配置文件中修改： vim /etc/my.cnf binlog-format show binlog events in ''; 查看文件内容 show master status; 查看当前正在使用的二进制日志文件 二进制日志管理 默认情况下，不会删除旧的日志文件。 删除二进制日志 根据存在时间删除日志： SET GLOBAL expire_logs_days = 7; 或者PURGE BINARY LOGS BEFORE now() - INTERVAL 3 day master status; 查看当前正在使用的文件 （2）、show binlog events in ''; 从后往前看，找到误操作的事务，判断事务开启position和结束position （3）
1.7K120发布于 2018-03-29 - 来自专栏花落的技术专栏
日志管理详解
支持的日志框架 每个公司所用的日志框架形形色色。TLog宣称支持了主流的三大日志框架：log4j，log4j2，logback 实际测试中，在这3个框架中，TLog也都能够正常打印出标签。 只是在接入过程中，官方给出的接入方式有3种 5 测试下来，javaagent的方式对于有些项目的确不太稳定，有些复杂的项目会出现无效的情况。 1"); log.info("这是业务日志2"); log.info("这是业务日志3"); log.info("这是业务日志4"); log.info 第3次 | 6.116123718 | 13.559289437 第4次 | 6.205771261 | 12.782565374 第5次 | 6.727208117 | 12.884360048 第3次 | 6.228010581 | 12.385200456 第4次 | 6.452949788 | 15.542794904 第5次 | 6.156225995 | 12.350440713
98000编辑于 2021-12-16 - 来自专栏linux技术分享
mysql日志管理
binlog 是逻辑日志 会记录整个数据库运行期间变更性的,语句 1备份恢复必须依赖二进制日志 2复制环境必须依赖二进制日志 3分析大事务 配置 log_bin File_size 日志的大小,日志量当前日志文件偏移量 Encrypted 是不是加密的 binlog使用只会使用最后一个 show master status ; 当前在使用哪个binlog 跨多个文件 (分段截取,时间截取,gtid) 3. 日志文件记录了,所有库所有表的日志(可以用my2sql) gtid特性 是对于一个已提交事务的编号 ,并且是一个全局唯一的编号. 如何查看gtid信息 show master status; 在最后一列显示Executed_Gtid_Set 按照一个事务滚动一个gtid号码 无论夸多少文件号码都是一直增长的 如何截取gtid1-3号 .000006 截取1,3跳过2号 mysqlbinlog --include-gtids='94a10acd-44dc-11ec-85c0-00163e06d66f:1-3' --exclude-gtids
2K31编辑于 2022-03-21 - 来自专栏全栈程序员必看
rsyslog日志管理
文章目录 简介 基本维护 核心概念 实例 配置客户端 日志服务器 输出日志到mysql 简介 rsyslog是一个快速的日志处理系统，具有卓越的性能和出色的安全性，采用模块化设计，他可以从各种数据源中接收输入 rsyslog是一个c/s架构，既可以作为日志客户端上报日志，也可以作为服务端接收日志 rsyslog是模块化设计，因此很多功能需要加载相关的模块 官方文档 基本维护 安装 一般主流linux系统都自带 /rpms.adiscon.com/v8-stable/rsyslog.repo yum install rsyslog 启停 systemctl start/stop rsyslog 查看日志 ,传入rsyslog的日志信息称为message，其属性有tag, facility, severity, input: 将外部数据传入rsyslog，常见输入模块如下 imfile: 处理文本类型的日志 ，常用于处理应用服务的日志 imdocker: 从docker中获取日志 imjournal: 从journal中获取日志 imtcp: 从tcp中获取日志 input(type="imfile"
2.5K10编辑于 2022-11-08 - 来自专栏开源部署
linux日志管理
为了让 管理者可以随时监控服务所产生的信息，Linux 提供了一个日志服务，该服务可以收集（Collect）任何服务传递过来的信息，储存成为记录文件（Log File） 、或直接传送给某些用户，甚至也可以传送到其他计算机的系统日志服务 .* dnf软件包管理器相关日志 /var/log/firewalld 防火墙日志 /var/log/lastlog 所有用户最后一次登录信息,需要使用lastlog命令查看 /var/log/maillog 四、日志切割 日志切割介绍 随着系统时间使用的增长，日志文件的体积会越来越大，过大的日志文件对于查看或者备份来讲都是极为不便的。 现在linux系统采用systemd来管理系统服务，而systemd又是第一个启动的服务，所以现在我们通过一个systemd自带的，名字叫systemd-journald的服务来协助记录日志信息。 -S/--since 开始的时间 -U/--until 结束的时间 -p 指定日志等级0-7，（0=emerg，1=alert，2=crit，3=err，4=warninig，5=notice
2.1K20编辑于 2022-09-15 - 来自专栏Java后端开发博客
Linux 日志管理
# Linux 日志管理 # 基本介绍 日志文件是重要的系统信息文件，其中记录了许多重要的系统事件，包括用户的登录信息、系统的启动信息、系统的安全信息、邮件相关信息、各种服务相关信息等。 ，第二次使用正确的密码登录成功看看在日志文件/var/log/secure里有没有记录相关信息 # 日志管理服务 rsyslogd CentOS7.6日志服务是rsyslogd ,CentOS6.x日志服务是 日志，这个日志中记录的是用户验证和授权方面的信息来分析如何查看 日志管理服务应用实例 在/etc/rsyslog.conf 中添加一个日志文件/var/log/frx.log,当有事件发送时(比如 ，就会进行删除 # 日志轮替文件命名 centos7使用logrotate进行日志轮替管理，要想改变日志轮替文件名字，通过/etc/logrotate.conf配置文件中"dateext"参数: 如果配置文件中有 说明 journalctl 查看全部 journalctl -n 3 查看最新3条 journalctl --since 19:00 --until 19:10:10 查看起始时间到结束时间的日志可加日期
6.1K30编辑于 2022-12-25 - 来自专栏Kevinello的技术小站
Python日志管理
前言 一个长时间运行的项目，不管是从可维护性还是其他角度来说，日志管理都是必不可少的（我相信还有不少同学是直接输出日志到控制台的吧），将日志输出到日志文件中，不仅方便我们查看程序运行时的情况，也可以让我们在项目出现故障时根据运行时产生的日志快速定位问题出现的位置 否则将 Logger 对象设置为它的父 Logger 对象，重复上面的 3、4 两步，输出父类 Logger 对象中的日志输出，直到是 root Logger 为止 实际使用 硬编码方式配置logging logging.log(level=logging.DEBUG, msg="Exception occurred", exc_info=True) 自定义Logger basicConfig()方法只能用于简单日志管理 ，备份文件为 3 个 file_handler = logging.handlers.RotatingFileHandler("test.log", mode="w", maxBytes=1000, backupCount =3, encoding="utf-8") # 每隔 1小时 划分一个日志文件，interval 是时间间隔，备份文件为 10 个 handler2 = logging.handlers.TimedRotatingFileHandler
90431编辑于 2022-08-19 - 来自专栏梦在深巷
Linux日志管理
另一种则是由 Linux distribution 提供的登 录档管理服务来统一管理。 你只要将讯息丢给这个服务后，他就会自己分门别类的将各种讯息放置 到相关的登录档去! CentOS 提供 rsyslog.service 这个服务来统一管理登录档喔! CentOS 7.x 使用 systemd 提供的 journalctl 日志管理 CentOS 7 除了保有既有的 rsyslog.service 之外，其实最上游还使用了 systemd 自己的登录文件日志管理功能喔 记得一个好的系统管理员，要常常去『巡视』登录档的内容喔! 你得要注意的是，因为现在整个日志登录文件的容量会持续长大，因此你最好还是观察一下你系统能用的总容量喔!
9.7K20发布于 2020-04-23 - 来自专栏北京马哥教育
MySQL日志管理
一、日志类型： MySQL有几个不同的日志文件，可以帮助你找出mysqld内部发生的事情： 日志文件 记入文件中的信息类型 错误日志 记录启动、运行或停止时出现的问题。 二进制日志的管理： 日志的滚动： 在my.cnf中设定max_binlog_size = 200M，表示限制二进制日志最大尺寸为200M，超过200M后进行滚动。 -----+-----------+-------------+------------------------------------------------------------------+ 3 .000007 | 171 | | mysqld-binlog.000008 | 120 | +----------------------+-----------+ 3 relay_log_space_limit=# 设定用于存储所有中继日志文件的可用空间大小。默认为0，表示不限定。最大值取决于系统平台位数。作用范围为全局级别，可用于选项文件，属非动态变量。
2K60发布于 2018-05-04 - 来自专栏全栈程序员必看
日志管理ELK
运维架构日志管理ELK：ElasticSearch 、 Logstash 和 Kibana 介绍，结合redis安装配置及展示 一、 介绍 1、日志主要包括系统日志、应用程序日志和安全日志。 2、通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。 当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。 3、集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心 4、开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。
71020编辑于 2022-09-05 - 来自专栏全栈程序员必看
系统日志管理
1、日志的查看 日志可以记录下系统所产生的所有行为，并按照某种规范表达出来。我们可以使用日志系统所记录的信息为系统进行排错，优化系统的性能，或者根据这些信息调整系统的行为。 日志会成为在事故发生后查明“发生了什么”的一个很好的“取证”信息来源。日志可以为审计进行审计跟踪。 日志在linux中存放在/var/log/中，我们查看一下其中有哪些日志 系统日志主要是存放系统内置程序或系统内核之类的日志信息如 alternatives.log 、btmp 等等，应用日志主要是我们装的第三方应用所产生的日志如 删除git软件来查看日志： sudo apt-get remove --purge git 查看日志： 其他的日志和这个差不多，一般都是时间和操作。 2.日志的配置 日志的格式和输出位置有两种类型，一种是软件开发商自己定义的日志格式和输出位置，另一种是系统提供的日志服务程序。
2K30编辑于 2022-08-12 - 来自专栏全栈程序员必看
journalctl日志管理
Systemd 统一管理所有 Unit 的启动日志。带来的好处就是，可以只用journalctl一个命令，查看所有日志（内核日志和应用日志）。 # 查看所有日志（默认情况下 ，只保存本次启动的日志） $ sudo journalctl # 查看内核日志（不显示应用日志） $ sudo journalctl -k # 查看系统本次启动的日志 $ sudo journalctl -b $ sudo journalctl -b -0 # 查看上一次启动的日志（需更改设置） $ sudo journalctl -b -1 # 查看指定时间的日志 $ sudo journalctl -n # 显示尾部指定行数的日志 $ sudo journalctl -n 20 # 实时滚动显示最新日志 $ sudo journalctl -f # 查看指定服务的日志 --since today # 查看指定优先级（及其以上级别）的日志，共有8级 # 0: emerg # 1: alert # 2: crit # 3: err # 4: warning # 5:
59310编辑于 2022-08-31
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号