- 综合排序
- 最热优先
- 最新优先
- 来自专栏FreeBuf
SOC日志收集实践：企业邮件服务日志收集
平时我们利用日志系统收集了大量的各类的日志数据，如：Openresty访问日志、防护墙日志、V**日志、邮件服务器相关日志、用户权限审计日志、路由器操作日志、甚至包括办公区AP的日志，DHCP日志。 这些不能一一列举，如果要选出一个比较典型的日志收集例子， 企业邮件的日志收集可以作为例子。 0x02.架构业务 我们整体上要理解业务架构和运作原理，才能有针对性的收集相关日志的数据，遇到问题时，可以通过有效的日志数据指导问题的解决。 0x04.关键的日志数据收集 在整个系统的层次上，很多服务器都会相应的产生日志数据， 刨除负载均衡的日志数据，我们真正关心的是真实服务器的产生的日志(Real Server)，这些日志的收集才能完成最开始概要里所的那些功能 3. IMAP邮件协议日志。4.POP3邮件协议日志。5.管理员审计日志。
2.2K00发布于 2018-07-30 - 来自专栏运维记录点滴
Lync日志收集
Lync管理人员在部署Lync过程中，测试或多或少会遇到一些问题，通过Lync客户端可以收集测试项的日志，如下是收集日志的方法： 1、Lync 2010客户端打开日志记录（日志记录，勾选“在Lync中打开日志记录 2、Lync 2013客户端打开日志记录(Lync中的日志记录，下拉选择“完整”)，设置如下图： 遇到错误后截图后，在开始菜单运行中输入%userprofile%\AppData\Local\Microsoft
84620发布于 2019-03-05 - 来自专栏算法之名
Logstash日志收集
Logstash是一个数据收集处理引擎。 ETL工具 ? 它整个的处理流程如下 ? Pipeline input-filter-output的3阶段处理流程 队列管理 插件生命周期管理 Logstash Event 内部流转的数据表现形式 原始数据在input被转换为Event Batcher会收集很多的数据，当数据达到一定的数量的时候，会发送给Filter往后传递。
72930发布于 2021-06-09 - 来自专栏王念博客
Logstash收集日志
Logstash 的介绍 logstash是一种分布式日志收集框架，开发语言是JRuby，当然是为了与Java平台对接，不过与Ruby语法兼容良好，非常简洁强大，经常与ElasticSearch，Kibana 配置，组成著名的ELK技术栈，非常适合用来做日志数据的分析。 当然它可以单独出现，作为日志收集软件，你可以收集日志到多种存储系统或临时中转系统，如MySQL，redis，kakfa，HDFS, lucene，solr等并不一定是ElasticSearch。 stdout {} }' 启动成功提示 Settings: Default pipeline workers: 4 Pipeline main started Logstash配置 启动logstash收集需要创建自定义 :[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}) ACCESSTIMESTAMP %{MONTHDAY}\/%{MONTH}\/20%{YEAR}:%{HOUR
1.9K31发布于 2019-07-25 - 来自专栏数据库PG
Postgresql日志收集
PG安装完成后默认不会记录日志，必须修改对应的（${PGDATA}/postgresql.conf）配置才可以，这里只介绍常用的日志配置。 directory "/var/log/pg_log". root@localhost ~# ls /var/log/pg_log/ postgresql-2016-06-18_130611.log 3. ，默认1天，在日志文件大小没有达到log_rotation_size时，一天只生成一个日志文件 log_rotation_size = 10MB ---- 单个日志文件的大小，如果时间没有超过log_rotation_age ，一个日志文件最大只能到10M，否则将新生成一个日志文件。 6.log_truncate_on_rotation = off ---- 当日志文件已存在时，该配置如果为off，新生成的日志将在文件尾部追加，如果为on，则会覆盖原来的日志。
2.3K10发布于 2021-03-19 - 来自专栏Docker记录
ELK日志收集
Logstash 脚本配置 以收集nginx日志为例，在logstash的文件夹下新建pipelines.conf文件，填入下列内容： input { beats { port => [ "localhost:9200" ] index => "nginx-access-%{+YYYY.MM.dd}" } } Filebeat脚本配置 同样以收集 nginx日志为例： ###################### Filebeat Configuration Example ######################### # This file install apache2-utils 设置用户名和密码 sudo htpasswd -c /etc/nginx/passwd/kibana.passwd username 之后会要求输入密码 3.
78800发布于 2021-03-12 - 来自专栏全栈程序员必看
信息收集之后_es日志收集
Censys提供了search、view、report、query、export以及data六种API接口。
89210编辑于 2022-09-20 - 来自专栏Zephery
Kubernetes容器日志收集
日志采集方式 日志从传统方式演进到容器方式的过程就不详细讲了，可以参考一下这篇文章Docker日志收集最佳实践，由于容器的漂移、自动伸缩等特性，日志收集也就必须使用新的方式来实现，Kubernetes官方给出的方式基本是这三种 （3）.孤儿日志(在es中以.orphaned. sidecar模式用来解决日志收集的问题的话，需要将日志目录挂载到宿主机的目录上，然后再mount到收集agent的目录里面，以达到文件共享的目的，默认情况下，使用emptydir来实现文件共享的目的， 但是sidecar也有不完美的地方，每个pod里都要存在一个日志收集的agent实在是太消耗资源了，而且很多问题也难以解决，比如：主容器挂了，agent还没收集完，就把它给kill掉，这个时候日志怎么处理 参考： 1.Kubernetes日志官方文档 2.Kubernetes日志采集Sidecar模式介绍 3.Docker日志收集最佳实践
2.2K10发布于 2019-12-04 - 来自专栏liliane随笔
日志收集方案EFK
导语本文将介绍常见的分布式系统日志收集组件EFK的搭建，以及一些常见问题的处理。 fluentd 为日志收集工具，支持从各个数据源收集数据，对数据进行过滤、解析、转换、结构化后，写入 es。 由于团队使用基于k8s的容器化部署，为了收集容器内日志，我们通过挂载数据卷方式，将容器内的日志路径映射到节点本地磁盘固定位置。 为了保证每个节点的日志都能及时被收集，我们通过 daemonset 方式，部署 fluentd，确保每个节点都有一个日志收集进程。 fluentd 收集到日志后，根据配置文件，对日志进行处理和输出。
3.1K30编辑于 2022-07-16 - 来自专栏一点博客
Flume日志收集系统
Flume日志收集系统 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理 Flume提供了从console（控制台）、RPC（Thrift-RPC）、text（文件）、tail（UNIX tail）、syslog（syslog日志系统），支持TCP和UDP等2种模式，exec （命令执行）等数据源上收集数据的能力。 优势 Flume可以将应用产生的数据存储到任何集中存储器中，比如HDFS,HBase 当收集数据的速度超过将写入数据的时候，也就是当收集信息遇到峰值时，这时候收集的信息非常大，甚至超过了系统的写入数据能力 具有特征 Flume可以高效率的将多个网站服务器[1]中收集的日志信息存入HDFS/HBase中 使用Flume，我们可以将从多个服务器中获取的数据迅速的移交给Hadoop中 除了日志信息，Flume同时也可以用来接入收集规模宏大的社交网络节点事件数据
1.2K20编辑于 2022-03-29 - 来自专栏架构专题
日志收集的“DNA”
关于日志收集的文章，xjjdog已经写了不少了，比如下面这八篇文章。今天主要介绍一下关于日志的划分。工具虽然有力，落地才能有效。 [1] 这么多监控组件，总有一款适合你 [2] elkb实践经验，再赠送一套复杂的配置文件 [3] 昔日教人类用火的prometheus，如今在努力报警 [4] 你的野花，朕的kibana [5] 2w 但是，日志收集要收集哪些内容呢？我们要对这些信息一视同仁么？ 日志种类划分 一般说到日志，想到的都是后端日志。但是后端日志根据不同的需要和日志级别，最终的流向和处理方式也是不一样的。 ? 后端日志收集之后，大多数是为了辅助开发或者运维进行问题定位，减少分析问题的时间。 ? 我们着重说一下客户端日志收集。 收集其他软件的信息一个比较明显的例子就是cookie。举个例子，我在百度上搜索了下充气娃娃，结果打开京东，给我推荐的就是情趣用品。 3、功能监控 对一些灰度的，或者重要的功能进行监控。
76620发布于 2020-04-27 - 来自专栏Java实战博客
构建ELKS日志收集
logstash介绍Logstash – 安装 – 启动创建文件夹（用于放logstash配置文件）创建2个文件（一共需要创建2个文件，作用不一样）启动LogstashFileBeat 安装 – 启动制作日志文件塞入日志数据创建 FileBeat配置文件启动FileBeat使用ELK找到索引模式配置日志索引前往Discover查看日志分析特别说明：安装程序如果遇到问题补充命令容器启动时可查看容器日志查看容器内容地址特别说明，Mac filebeat通过4567端口将收集的日志发送给logstash,当然想用哪个端口随便你。FileBeat 安装 – 启动FileBeat日志采集器作用就是：收集好了日志，发往logstash。 然后交由logstash自己处理日志。 制作日志文件注意这个文件，使我们创建的日志文件这是nginx的文件mkdir -p /var/log/logapp && vim /var/log/logapp/app.info.log塞入日志数据数据点击展开
1.1K10编辑于 2023-06-05 - 来自专栏乔边故事
kubernetes日志收集方案
应用的日志应该被正常获取到。 但是kubernetes本身并不提供日志收集工作，但是它提供了三种方案。 一、在Node上部署logging agent 这种方案的架构如下： ? 这种架构的核心点就在logging-agent，通常情况下它会以DS的方式运行在节点上，然后将宿主机的容器日志目录挂载进去，然后由logging-agent将日志收集转发出去。 二、sidecar收集日志 由于第一种方式无法收集一些没有标准输出到stdout和stderr中，所以就有了第二种方式对这种特殊情况进行处理：当容器的日志只能输出到某些文件的时候，就可以通过一个sidecar 在这个方案中，应用可以直接把日志输出到一个文件中，我们的logging-agent可以使用fluentd收集日志转发到后端ElasticSearch中，不过这里的输入源变成了日志文件。
1.9K20发布于 2020-03-21 - 来自专栏Windows技术交流
windows如何收集日志
腾讯云有个内网收集日志的脚本 Windows Server 2008R2：安全性太差，用的人少，我放到本文结尾了 Windows Server 2012+： 在PowerShell中输入这2句 第一句 /QCloud_Windows_Status_Check_Script.ps1 image.png 如上图，dns不是平台默认dns影响内网域名解析，脚本收集不了日志的话 cmd命令行以管理员身份运行如下命令后 time2.tencentyun.com >> c:\windows\system32\drivers\etc\hosts echo 169.254.0.81 time3. tencentyun.com >> c:\windows\system32\drivers\etc\hosts s.yd.qcloud.com、l.yd.qcloud.com、u.yd.qcloud.com ，云镜的3个内网域名对应的 ，然后对那个新建文件夹压缩提供压缩包即可 这个对2008-2022、Vista-Win11是通用的 Windows Server 2008R2通过如下方式收集日志 在PowerShell中输入： 第一句
5K51编辑于 2022-03-02 - 来自专栏技巅
分布式日志收集系统： Facebook Scribe之日志收集方案
写入日志到Scribe的解决方案 1.概述 Scribe日志收集服务器只负责收集主动写入它的日志，它本身不会去主动抓取某一个日志，所以为了把日志写入到scribe服务器，我们必须主动向scribe 服务器发送日志信息。 （3）与其他应用系统集成 由于thrift框架支持多做语言，而且scribe是基于thrift实现的，所以只要thrift支持的开发语言都可以与相应的应用系统集成开发。 3.单独的抓取日志文件的客户端 写一个单独的客户端是一种适用于任何应用系统的解决方案，前提是应用系统需要产生相应的日志文件。 （2）单独的抓取日志文件客户端：具有很好的通用性，不需要每一个应用系统单独开发日志写入模块，只需要应用系统生成日志文件。而且这种方案对应用系统没有影响。
1.3K40发布于 2018-05-25 - 来自专栏流川疯编写程序的艺术
python日志动态收集
日志各式 2. 继承类 解决方案 3. 日志各式 日志的格式选择标准字典，default的级别设置为DEBUG,warn为WARN,error为ERROR。 解决方案 3. ': 5, # 日志文件备份的数量 'formatter': 'standard', # 日志输出格式 ': 5, # 日志文件备份的数量 'formatter': 'standard', # 日志格式 '
63320编辑于 2021-12-06 - 来自专栏kubernetes中文社区
Kubernetes之日志收集
(docker log-driver 支持log文件的rotate) Docker Daemon 收集容器的标准输出，当日志量过大时会导致Docker Daemon 成为日志收集的瓶颈，日志的收集速度受限 但是上述配置的日志收集也是通过Docker Daemon收集，收集日志的速度依然是瓶颈。 日志架构 通过上文对k8s日志收集方案的介绍，要想设计一个统一的日志收集系统，可以采用节点代理方式收集每个节点上容器的日志，日志的整体架构如图所示。 ? notifempty size 1G copytruncate } 第三个问题，关于二次开发filebeat，可以参考博文 jianshu.com/p/fe3ac68f4 总结 本文只是对k8s日志收集提供了一个简单的思路，关于日志收集可以根据公司的需求，因地制宜。
1.9K40发布于 2019-08-01 - 来自专栏Windows技术交流
如何收集IIS日志
如何收集IIS日志？ UTC+0，换算到北京时间需要+8小时比如我截图的时间是2023-3-1 02:24:52实际就是2023-3-1 10:24:52图片收集日志的办法：Step 1:以管理员身份启动命令行窗口Step 默认就是启用的，如果关闭了，就按上述办法启用在上述截图中找到IIS日志保存的位置，如果有多个IIS站点，请点击Sites，找到对应的站点ID，然后到日志路径下找到对应的W3SVC+ID的文件夹。 ID为1的，对应的日志就是C:\inetpub\logs\LogFiles\W3SVC1ID为2的，对应的日志就是C:\inetpub\logs\LogFiles\W3SVC2ID为3的，对应的日志就是 C:\inetpub\logs\LogFiles\W3SVC3HTTP Error日志：默认路径C:\Windows\System32\LogFiles\HTTPERR如果日志分析不出什么来，并且问题现象能稳定复现
2.5K20编辑于 2023-03-17 - 来自专栏码农UP2U
使用 ELK 收集日志
当我们要通过日志信息来排查错误时，可以根据出错应用在对应的机器上找报错相关的日志信息。但是，可能我们不具有相应服务器的访问权限，也可能相同的应用部署在多台服务器上，导致根本不知道在哪台服务器上找日志。 在这种情况下，ELK 为我们提供了统一的日志管理解决方案，它能很好的支持 Logback 等日志框架，使得我们可以集中的管理不同应用输出的日志信息。 ElasticSearch 主要用来存储日志信息，并提供检索功能；Logstash 用于收集应用发送的日志信息，并写入到 ElasticSearch 当中；Kibana 是一个可视化的日志查看、分析工具 } } output { elasticsearch { hosts => ["http://localhost:9200"] } } 其中 input 是用于收集日志信息的配置 ，output 是用于将收集的信息推送到 ES 中。
92240编辑于 2022-12-03 - 来自专栏云技术+云运维
vmware收集日志相关
VMware 中收集诊断信息，可能包含来自 ESXi 主机和 vCenter Server 的支持包。在主机支持包中收集的数据可能被视为敏感数据。 -w /vmfs/volumes/DATASTORE_NAME 注意：-f选项在 ESXi 5.x、ESXi/ESX 4.1 Update 3 及更高版本中不可用。 也可将日志包收集并下载到客户端后，将日志上载到 SFTP/FTP 站点。 ssh root@ESXHostnameOrIPAddress'vm-support -s >/vmfs/volumes/datastorexxx/vm-support-Hostname.tgz' 3、 将在客户端上的以下指定位置生成压缩日志包： wget https://10.11.12.13/cgi-bin/vm-support.cgi 在收集日志包并将其下载到客户端后，将日志上载到 SFTP
2K10发布于 2019-10-29
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号