- 综合排序
- 最热优先
- 最新优先
- 来自专栏技术杂记
日志服务器（2）
启动httpd服务并设置开机启动 [root@h105 log]# /etc/init.d/httpd start Starting httpd: httpd: Could not reliably [ OK ] [root@h105 log]# chkconfig httpd --list httpd 0:off 1:off 2: root@h105 log]# chkconfig httpd on [root@h105 log]# chkconfig httpd --list httpd 0:off 1:off 2: warning: Percona-Server-client-56-5.6.27-rel76.0.el6.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID cd2efd2a ########## [100%] 1:Percona-Server-shared-5########################################### [ 25%] 2:
1.3K20发布于 2021-10-19 - 来自专栏Hadoop实操
HiveServer2服务异常日志分析
Fayson的github： https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢 1.问题描述 HiveServer2服务在运行时经常抛出如下异常日志 2.异常分析 1.这是一个可以忽略的异常，不会影响HiveServer2服务的正常使用。 2.该异常会在Thrift0.9.2及更低版本的HiveServer2服务上出现。 这里Fayson告诉大家如何将这样的ERROR日志屏蔽。 1.登录CM进入Hive服务的配置页面，类别选择“HiveServer2” ? “No data or no sasl data in the stream”是一个对HiveServer2服务没有影响的ERROR日志，该日志主要是HiveServer2服务上的负载均衡器进行Tcp检查引起的 2.通过在HiveServer2的日志记录中增加配置过滤该ERROR日志， HiveServer2只会触发具有“org.apache.thrift.transport.TSaslTransportException
10.1K30发布于 2018-08-03 - 来自专栏机器学习/数据可视化
日志服务
日志是日志服务中处理的最小数据单元 日志组LogGroup 日志组是一组日志的集合，写入与读取的基本单位 日志主题Topic 日志库内的日志可以通过日志主题来进行划分。 用户在写入时指定日志主题，查询数据时候也可以指定日志主题 项目Project 项目是日志服务中的资源管理单元。用于资源隔离和控制。 它管理者用户的所有日志库LogStore，采集日志的机器配置等信息，同时也是用户访问日志服务资源的入口。 日志库LogStore 日志库是日志服务中日志数据的收集、存储和查询单元。 每个区间范围不会被覆盖 日志服务 定义 日志服务Log Service，简称SLS，是针对日志类数据的一站式服务。 产品应用场景 数据采集与消费 通过日志服务的 日志中枢（LogHub）功能，大规模低成本接入各种实时日志数据 ?
2.3K20发布于 2021-03-01 - 来自专栏日志服务CLS
【日志服务CLS】快速采集Linux日志到日志服务CLS
什么是日志服务CLS? 日志服务（Cloud Log Service，CLS）提供一站式的日志数据解决方案。 日志服务提供了多种采集方式： API方式采集：通过调用日志服务API上传结构化日志至日志服务 SDK方式采集：通过SKD的方式采集日志 LogListener 客户端采集：通过部署安装部署 LogListener ，可以方便快速地接入日志服务，无需修改应用程序运行逻辑，是一种对应用服务无侵入式的采集方式。 本文【快速采集Linux日志到日志服务CLS】将通过LogListener客户端采集Linux的日志。 /cls 点击立即开通 image.png 开通后进入概览页面，在此页面的左上角可以切换地域 image.png 2.安装专用日志采集器LogListener 安装环境：LogListener 仅支持
72.9K21发布于 2021-05-16 - 来自专栏日志服务CLS
【日志服务CLS】Nginx 访问日志接入腾讯云日志服务
0x01.产品简介 日志服务CLS： 稳定、可靠、便捷、易用的一站式日志服务平台，轻松管理海量日志数据，助力企业数字化升级 日志服务（Cloud Log Service，CLS）是腾讯云提供的一站式日志服务平台 ，提供了从日志采集、日志存储到日志检索，图表分析、监控告警、日志投递等多项服务，协助用户通过日志来解决业务运维、服务监控、日志审计等场景问题。 对于部分云产品已经接入了可以直接在对应的云产品出打开开关，其他云产品比如内网的云主机可以使用LogListener采集端，至于最后保本也提供有API的采集方式 0x02.日志接入 首先在控制台开通日志服务 bash: cd: loglistener/tools: No such file or directory [root@CentOS local]# ll total 76 drwxr-xr-x 2 参照【日志服务CLS】配置使用 Nginx 访问日志中的原始时间戳，可解决上述问题
6.8K20发布于 2021-05-06 - 来自专栏日志服务CLS
【日志服务CLS】腾讯云日志服务CLS尝鲜
通过页面介绍，我们可以知道，日志服务（CLS）是腾讯云提供的一站式日志服务平台，提供了从日志采集、日志存储到日志检索，图表分析、监控告警、日志投递等多项服务，协助用户通过运营日志来解决业务运维、服务监控 功能丰富 腾讯云日志服务 CLS 为用户提供了日志实时采集、内容结构化、稳定存储、极速检索、多维分析、定时投递等多项功能，同时也提供了健全的 API 和控制台方便用户管理使用日志。 2. 2. 另外，还支持用量统计图表展示，包括流量、存储量、服务请求数三个维度，同时还支持时间颗粒度设置，默认是一小时。但是，这里的统计图表不是实时的，大概有二十分钟左右的延时。 2. 日志主题 ? 日志服务CLS在商业化后，CLS为所有用户提供一定量免费额度，方便大家免费试用。 在这个界面，我们可以管理自己的日志主题，包括编辑、检索、删除、编辑标签。 2. 机器组管理 ?
7.9K32发布于 2021-05-16 - 来自专栏linux运维
服务日志问题：服务日志文件过大或丢失
检查日志文件大小首先，检查日志文件的大小，确认是否过大。 sudo find /var/log -name "<service_name>.log"ls -lh /var/log/<service_name>.log 2. 检查日志文件生成确保服务正在生成日志文件。 检查日志文件配置确保服务的配置文件中正确配置了日志文件路径。 检查日志文件存储位置确保日志文件存储位置有足够的磁盘空间。df -hsudo apt-get clean sudo journalctl --vacuum-time=2weeks9.
64710编辑于 2025-02-05 - 来自专栏日志服务CLS
【日志服务CLS】日志服务CLS日常操作体验
一、日志服务概述 日志服务为用户提供云服务日志采集、搜索、转储、监控、告警等功能，同时支持通过图表的方式进行图表转化，给用户提供云服务日志采集、API上传、日志搜索、日志分析的功能，用户无需开发，即可完成数据采集处理等 二、操作体验 1、界面操作提供日志整体概览功能，在此页面可快速查看读写流量、索引流量以及存储量，同时支持查看资源统计、流量统计、存储量统计等数据信息，用户通过概览页面可快速查看到日志服务的使用量等信息； 2、支持快速接入服务的日志信息，可减少用户在多个页面的操作，界面更友好； 3、日志对接支持采用客户端loglistener的方式进行日志采集，安装方式比较便捷，安装后可实时采集日志信息，使用比较好的功能点就是在界面上可根据日志格式等信息进行自动分离 SQL进行日志的聚合查询、支持设置日志的保存时间等； 7、支持下载日志进行分析； 8、同时支持对日志的关键字进行统计，在设定的时间内达到指定次数可出发告警通知，可实时掌握服务的运行状况，同时支持采用多个告警规则组合设置触发条件的方式设置告警 9、支持多种接入方式以及兼容多种日志格式，让服务对接变的更加容易； 10、支持将日志投递到对象存储中，可将日志长期进行保存，并源数据和对象存储中的数据异地存储，可提高可靠性，在源数据异常情况下，可通过对象存储的数据进行恢复查看
3.1K217发布于 2021-05-19 - 来自专栏日志服务CLS
【日志服务CLS】腾讯云CLS日志服务初体验
导读 日志服务（Cloud Log Service，CLS）是腾讯云提供的一站式日志服务平台，提供了从日志采集、日志存储到日志检索分析、实时消费、日志投递等多项服务，协助用户通过日志来解决业务运营、安全监控 本文就来分享一下关于使用CLS日志服务的初体验。 概念 日志服务中枢：腾讯云日志服务CLS，日志服务负责对日志的存储、过滤、推送等任务，推送和过滤操作都是由控制台操作。 1、安装Nginx服务 yum install nginx -y 2、更改配置 vim /etc/nginx/conf.d/default.conf //进入该配置文件 7 # listen 下载地址：https://main.qcloudimg.com/raw/ee52812a5bf211d08f7ed1a4c894a747/loglistener.2.2.0.tar.gz 2、安装上传文件的工具 ，具体操作如下所示： 004.jpeg 005.jpeg 006.jpeg 007.jpeg 2、索引配置设置 打开日志服务平台，找到左侧菜单栏里面的检索分析选项，点击进入 008.jpeg
2.7K71发布于 2021-05-17 - 来自专栏Kevinello的技术小站
Whosbug项目日志2
一个重要缺陷往往会在不同的人手中流转很多次，这会导致很多不必要的时间成本和人力成本，甚至在一些情况下会引发新的问题（如修复人在对模块不熟悉的情况下进行了不恰当的bugfix） 项目目标 whosbug致力于解决责任人归属这一问题的一个微服务 NewMonkey）、移动性能监控（QAPM）场景中接入了whosbug；近期也进行了一些更新，解决了下面提到的一些问题，不久后将会在内网发布，同时我们也将维护一个开源版本，为更多的人提供whosbug的服务 会造成内存装载量过大，容易导致流水线机器OOM 图片 解决措施： 减少单次内存装载数据量，处理完毕的数据及时抛弃（以及必要的手动GC） 优化数据流动的过程，减小重复的内存开销，提高数据结构的复用能力 2. 责任人归属算法的优化 whosbug中最重要的莫过于责任人归属算法了，算法的优劣决定了整个微服务的效果；初版发布后我们进行了一系列的测试，发现了老算法在一些场景下的局限性（如对没有第三方库调用的处理
57531编辑于 2022-08-19 - 来自专栏全栈程序员必看
rsyslog日志服务器_php日志系统
即使后面还有”:msg, contains,“test_message” /var/log/test2.log”，这条日志也不会再存在test2.log中。 的缘由： 1.防止系统崩溃无法获取系统日志分享崩溃原因，用rsyslog可以把日志传输到远程的日志服务器上 2.使用rsyslog日志可以减轻系统压力，因为使用rsyslog可以有效减轻系统的磁盘IO 安装前准备 1.下载rsyslog-5.6.2 2.准备两台机器(linux或者unix)，一台客户端，一台服务端 服务端和客户端的安装步骤： 1. #产生服务文件 2. chmod +x /etc/init.d/rsyslog 3. /sdns/log/目录里是否有日志产生 Yum安装 服务端：192.168.12.98 Centos6.2 客户端：192.168.12.57 Centos5.5 服务端安装
5.9K20编辑于 2022-09-21 - 来自专栏日志服务CLS
【日志服务CLS】容器服务TKE审计日志运维场景体验
作者：v神 导语：云原生日志服务（Cloud Log Service，CLS）是腾讯云提供的一站式日志数据解决平台，提供了从日志采集、日志存储到日志检索，图表分析、监控告警、日志投递等多项服务，协助用户通过日志来解决业务运维 、服务监控、日志审计等场景问题。 截屏2021-12-03 10.39.44.png 如何使用审计日志去排查问题 日志服务CLS提供针对kubernetes审计日志的一站式服务，包含采集，存储，检索分析能力。 场景2：Apiserver的负载突然变高，大量访问失败，集群中到底发生了什么？ CLS公众号.jpg 往期文章： 【日志服务CLS】Nginx日志数据全方位大解析 对象存储COS访问日志场景体验 【日志服务CLS】腾讯云日志服务CLS接入内容分发网络CDN 【日志服务CLS】应用TKE
1.9K20编辑于 2021-12-03 - 来自专栏大内老A
.NET Core下的日志（2）：日志模型详解
1: public interface ILogger 2: { 3: void Log(LogLevel logLevel, EventId eventId, object state 如果该类型是一个泛型类型(比如Foobar<T1,T2>)，泛型参数部分将不包含在日志类型名称中（日志类型为“Foobar”）。 && ReferenceEquals(logger2, logger3)); 如上面的代码片段所示，我们利用同一个LoggerFactory对象针对相同的日志类型（“App”）先后得到三个Logger 这样一个ServiceProvider在根据一个ServiceCollection对象构建之前，我们必然需要在后者之上实施针对LoggerFactory的服务注册，这样的服务注册可以通过针对接口IServiceCollection 如果创建ServiceProvider的ServiceCollection具有这两个服务注册，我们可以利用ServiceProvider直接提供一个Logger<T>，而不需要间接地利用ServiceProvider
1.2K100发布于 2018-01-15 - 来自专栏全栈程序员必看
db2 日志管理
TSM服务器 BAR APIs:第三方厂商提供的产品 DB2在版本8.2中增加了如下配置参数: 第一个日志归档方法 (LOGARCHMETH1) = LOGRETAIN 日志归档选项 1(logarchopt1)、日志归档选项 2(logarchopt2): 指定传递至 TSM 服务器或供应商 API 的字符串。 如果启用了无限日志记录，那么需要为更多活动日志文件提供额外空间，这样数据库服务器会在对日志文件归档后对其重命名。数据库管理器在活动日志路径中保留了多达 8 个额外日志文件以进行重命名。 必须以下例其中一种格式来提供字符串： 要在 TSM 服务器未配置为支持代理节点客户机时，检索不同 TSM 节点上生成的日志： 当未将 TSM 服务器配置成支持代理节点客户机时，对于检索通过不同的 CONFIGURATION 命令 5.4：通过日志归档管理日志文件 DB2® 服务器日志文件归档因为各种操作系统文件处理问题和安排问题而变得很复杂。
4.2K30编辑于 2022-07-01 - 来自专栏FreeBuf
SOC日志收集实践：企业邮件服务日志收集
第2层.域名解析：上面也说过，这个系统有两次负载均衡，有两次域名解析，问题是为什么有两个域名，mail_proxy.com和mail_server.com， mail_server.com是真正的邮件服务器的域名 第6层.邮件：经过前面阶段的处理才能到真实地的邮件，其实还有更深的一层交互没有在图上画出来就是附件服务器，正常的邮件服务，还会配置2或是3台邮件附件服务。 syslog方式： catkafka方式发送： 2.邮件服务器日志：邮件服务的日志种类相对就比较多了，1.Exchange IIS日志。2.Exchange Server系统日志。 2.Graylog服务：如果说Superset是Clickhouse的灵魂伴侣，Graylog也是ES一个很好应用，Graylog可以轻松开启各种数据监听服务，当然也包括UDP Syslog日志监听。 2.黑白名单处理： 这个是业务处理，我们在同时的威胁情报处理中，一定会遇到很多的误盼和数据噪音， 使用黑白名单机制可以改善噪音对我们的影响。
2.2K00发布于 2018-07-30 - 来自专栏漫漫架构路
2. 日志模块（上）
日志需求分析 无论对于业务系统还是中间件来说，日志都是必不可少的基础功能。完善、清晰地日志可以帮助我们观测系统运行的状态，并且快速定位问题。 第三方的日志框架种类繁多，常用的如 slf4j、log4j2、logback 等等，而且每种框架的日志级别定义、打印方式、配置格式都不尽相同。 extends Log> logConstructor; //按照顺序依次尝试加载Log实现类 //优先级为:slf4j -> commons-logging -> log4j2 -> log4j useSlf4jLogging); tryImplementation(LogFactory::useCommonsLogging); tryImplementation(LogFactory::useLog4J2Logging ...省略非必要代码 } 可以看到，在 LogFactory 的静态代码块中，按照指定的顺序尝试加载 Log 实现类，具体的优先级为：slf4j -> commons-logging -> log4j2
47660编辑于 2023-10-12 - 来自专栏日志服务CLS
【日志服务CLS】Nginx 访问日志检索、分析示例
0x01.前言 看到小编鼓励作者写连载，趁着截稿日期延长并且还有Apple Watch大奖的诱惑就又有动力再肝一篇出来了 2333…… 0x02.再看日志检索 想要检索自然需要提前知道都有哪些字段，这里针对所有的键依次进行说明 字段名称 字段含义 1 remote_addr 客户端 IP 地址 2 remote_user 客户端名称 3 time_local 服务器本地时间 4 request_method HTTP 请求方法 body_bytes_sent 发送给客户端的字节数 8 http_referer 访问来源的页面链接地址 9 http_user_agent 客户端浏览器信息 10 http_x_forwarded_for 当前端有代理服务器时 body_bytes_sent : 348 http_referer : "-" http_user_agent : "DNSPod-Monitor/2.0" http_x_forwarded_for : "-" 2， HISTOGRAM(CAST(msec*1000 AS TIMESTAMP), INTERVAL 1 MINUTE) AS dt, round(SUM(body_bytes_sent)*8/1000.0, 2)
1.1K21发布于 2021-05-22 - 来自专栏技术杂记
日志服务器（9）
===============> ] 402,243 15.6K/s in 2m Retrying. --2016-05-10 22:17:21-- (try: 2) http://download.adiscon.com/loganalyzer/loganalyzer-3.6.6
1.2K30发布于 2021-10-20 - 来自专栏全栈工程师修炼之路
Rsyslog服务日志审计留存
[TOC] 0x00 前言 Linux的rsyslog日志服务器配置： vi /etc/rsyslog.conf #将其中下面四行的注释取消 $ModLoad imudp $UDPServerRun #重新启动rsyslogd服务 service rsyslog restart Linux的rsyslog日志客户端配置： #vi /etc/rsyslog.conf local1.debug 命令记录发往Rsyslog服务器，即将Linux history 记录发往本地/远程Rsyslog 服务器的2种方法。 `意为对shell中的每一个activity都执行一遍log2syslog 函数 logger 是一个向syslog发送日志的接口:-p 表示syslog的Facility -t 表示tag - vim /etc/rsyslog.conf 增加修改配置后user.* @@192.168.1.88，重启rsyslog service rsyslog restart #log日志服务器 user
1.2K10编辑于 2022-09-28 - 来自专栏技术杂记
日志服务器（8）
qishToW6PlZC.UewgjQaLp9YPPTFqvLbh47F6QUhHqPhrLT6fqdEfqYr6TIGyOl0XuAiUnlvJflixfO/:16545:0:99999:7::: [root@h202 ~]# ---- 服务端检查日志 通过这种方式已经可以实现操作审记了 ---- 查看服务端数据库中的日志 检查数据库确保数据也写了一份到mysql中 [root@h105 ~]# mysql -u root -p Enter password -----------------+ | SystemEvents | | SystemEventsProperties | +------------------------+ 2 EventLogType: NULL GenericFileName: NULL SystemID: NULL *************************** 2. row *************************** ID: 2 CustomerID: NULL ReceivedAt: 2016
1.1K20发布于 2021-10-20
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号