首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏技术杂记

    日志服务器(5

    [root@h105 rsyslog-mysql-5.8.10]# Tip: 注意到这里并没有索引,应该是和日志的 append only 属性相关 ---- 查看表结构 [root@h105 rsyslog-mysql | | mysql | | performance_schema | | test | +--------------------+ 5

    97920发布于 2021-10-19
  • 来自专栏机器学习/数据可视化

    日志服务

    日志日志服务中处理的最小数据单元 日志组LogGroup 日志组是一组日志的集合,写入与读取的基本单位 日志主题Topic 日志库内的日志可以通过日志主题来进行划分。 它管理者用户的所有日志库LogStore,采集日志的机器配置等信息,同时也是用户访问日志服务资源的入口。 日志库LogStore 日志库是日志服务日志数据的收集、存储和查询单元。 每个日志库隶属于一个项目,每个项目可以创建多个日志库。 分区shard 每个日志库分为若干个分区shard,每个shard由MD5左闭右开的区间组成。 每个区间范围不会被覆盖 日志服务 定义 日志服务Log Service,简称SLS,是针对日志类数据的一站式服务。 产品应用场景 数据采集与消费 通过日志服务日志中枢(LogHub)功能,大规模低成本接入各种实时日志数据 ?

    2.3K20发布于 2021-03-01
  • 来自专栏日志服务CLS

    日志服务CLS】快速采集Linux日志日志服务CLS

    什么是日志服务CLS? 日志服务(Cloud Log Service,CLS)提供一站式的日志数据解决方案。 日志服务提供了多种采集方式: API方式采集:通过调用日志服务API上传结构化日志日志服务 SDK方式采集:通过SKD的方式采集日志 LogListener 客户端采集:通过部署安装部署 LogListener ,可以方便快速地接入日志服务,无需修改应用程序运行逻辑,是一种对应用服务无侵入式的采集方式。 本文【快速采集Linux日志日志服务CLS】将通过LogListener客户端采集Linux的日志。 image.png 到这里LogListener客户端的安装就完毕了 4.创建日志主题 找到日志主题选项卡,点击创建日志主题并填写相关信息 image.png image.png 5.设置采集配置

    72.9K21发布于 2021-05-16
  • 来自专栏日志服务CLS

    日志服务CLS】Nginx 访问日志接入腾讯云日志服务

    0x01.产品简介 日志服务CLS: 稳定、可靠、便捷、易用的一站式日志服务平台,轻松管理海量日志数据,助力企业数字化升级 日志服务(Cloud Log Service,CLS)是腾讯云提供的一站式日志服务平台 ,提供了从日志采集、日志存储到日志检索,图表分析、监控告警、日志投递等多项服务,协助用户通过日志来解决业务运维、服务监控、日志审计等场景问题。  对于部分云产品已经接入了可以直接在对应的云产品出打开开关,其他云产品比如内网的云主机可以使用LogListener采集端,至于最后保本也提供有API的采集方式 0x02.日志接入 首先在控制台开通日志服务 loglistener loglistener-2.5.6/bin/gethostip loglistener-2.5.6/bin/loglisteneru loglistener-2.5.6/bin/getmd5 参照【日志服务CLS】配置使用 Nginx 访问日志中的原始时间戳,可解决上述问题

    6.8K20发布于 2021-05-06
  • 来自专栏日志服务CLS

    日志服务CLS】腾讯云日志服务CLS尝鲜

    通过页面介绍,我们可以知道,日志服务(CLS)是腾讯云提供的一站式日志服务平台,提供了从日志采集、日志存储到日志检索,图表分析、监控告警、日志投递等多项服务,协助用户通过运营日志来解决业务运维、服务监控 快速响应 日志实时采集传输,写入 CLS 即可被查询分析,亿级的日志检索支持秒级返回结果,同时日志分析可一秒聚合亿级别的日志数据,方便用户快速地分析处理海量日志数据。 5. 四、服务使用攻略 上面讲了那么多关于腾讯云日志服务CLS的内容,那么具体怎么使用呢? 今天我就带领大家体验一下腾讯云的日志服务CLS。 1. 但是,我们又不能删除这些日志,所以,我们需要找个地方存储这些日志,于是就有了这个投递管理任务模块。 5. 监控告警 ? 另外,大家也可以关注“云原生日志服务CLS“公众号,第一时间了解日志服务CLS产品动态。

    7.9K32发布于 2021-05-16
  • 来自专栏linux运维

    服务日志问题:服务日志文件过大或丢失

    检查日志文件大小首先,检查日志文件的大小,确认是否过大。 清空日志文件如果需要清空日志文件,可以使用以下命令。sudo truncate -s 0 /var/log/<service_name>.log4. 配置日志轮转配置日志轮转,防止日志文件过大。 compress delaycompress missingok notifempty create 640 root adm}5. 检查日志文件生成确保服务正在生成日志文件。 检查日志文件配置确保服务的配置文件中正确配置了日志文件路径。

    64710编辑于 2025-02-05
  • 来自专栏日志服务CLS

    日志服务CLS】日志服务CLS日常操作体验

    一、日志服务概述 日志服务为用户提供云服务日志采集、搜索、转储、监控、告警等功能,同时支持通过图表的方式进行图表转化,给用户提供云服务日志采集、API上传、日志搜索、日志分析的功能,用户无需开发,即可完成数据采集处理等 二、操作体验 1、界面操作提供日志整体概览功能,在此页面可快速查看读写流量、索引流量以及存储量,同时支持查看资源统计、流量统计、存储量统计等数据信息,用户通过概览页面可快速查看到日志服务的使用量等信息; 2、支持快速接入服务日志信息,可减少用户在多个页面的操作,界面更友好; 3、日志对接支持采用客户端loglistener的方式进行日志采集,安装方式比较便捷,安装后可实时采集日志信息,使用比较好的功能点就是在界面上可根据日志格式等信息进行自动分离 、存储量等信息,便于用户去查看近期的使用量,可对流量、存储量等进行预测; 5、支持查看自定义时间的日志信息,用户可根据自己需要的日志时间进行日志查询; 6、提供实时日志采集功能,日志采集以后支持关键字快速查看日志信息以及使用 SQL进行日志的聚合查询、支持设置日志的保存时间等; 7、支持下载日志进行分析; 8、同时支持对日志的关键字进行统计,在设定的时间内达到指定次数可出发告警通知,可实时掌握服务的运行状况,同时支持采用多个告警规则组合设置触发条件的方式设置告警

    3.1K217发布于 2021-05-19
  • 来自专栏日志服务CLS

    日志服务CLS】腾讯云CLS日志服务初体验

    导读 日志服务(Cloud Log Service,CLS)是腾讯云提供的一站式日志服务平台,提供了从日志采集、日志存储到日志检索分析、实时消费、日志投递等多项服务,协助用户通过日志来解决业务运营、安全监控 用户无需关注资源扩容问题,五分钟便捷接入,即可享受稳定可靠的日志服务。 作为一个服务器小白来说,以入门的视角,简单的方式来看腾讯云的CLS日志服务。 本文就来分享一下关于使用CLS日志服务的初体验。 概念 日志服务中枢:腾讯云日志服务CLS,日志服务负责对日志的存储、过滤、推送等任务,推送和过滤操作都是由控制台操作。 下载地址:https://main.qcloudimg.com/raw/ee52812a5bf211d08f7ed1a4c894a747/loglistener.2.2.0.tar.gz 2、安装上传文件的工具 /install.sh $(SecretId) $(secretkey) $(region) 5、启动Agent服务 .

    2.7K71发布于 2021-05-17
  • 来自专栏前端迷

    webpack 5 更新日志

    ★webpack 团队于北京时间 10 月 12 日凌晨发布了 v5.0.0-beta.0 版本,本文译自 webpack/changelog-v5。 webpack 4 仅能于生成 ES5 的代码。webpack 5 现支持 ES5 或 ES2015 的代码。 默认配置将生成 ES2015 的代码。 如果你需要支持旧版浏览器(例如,IE11),则可以将其降为 output.ecmaVersion: 5。 (自 alpha.3 起) 更新解析器 enhanced-resolve 已更新至 v5。 在 webpack 5 中,有一个新的 experiments 配置项,允许启用实验性功能。这样可以清楚地了解启用/使用了哪些实验特性。

    1.7K10发布于 2019-10-22
  • 来自专栏全栈程序员必看

    rsyslog日志服务器_php日志系统

    的缘由: 1.防止系统崩溃无法获取系统日志分享崩溃原因,用rsyslog可以把日志传输到远程的日志服务器上 2.使用rsyslog日志可以减轻系统压力,因为使用rsyslog可以有效减轻系统的磁盘IO 安装前准备 1.下载rsyslog-5.6.2 2.准备两台机器(linux或者unix),一台客户端,一台服务服务端和客户端的安装步骤: 1. #启动服务 1. #产生服务文件 2. chmod +x /etc/init.d/rsyslog 3. #启动前先把syslog停止 4. service syslog stop 5. service rsyslog start #配置服务端 vi/etc/rsyslog.conf #在文件开始加上 /sdns/log/目录里是否有日志产生 Yum安装 服务端:192.168.12.98 Centos6.2 客户端:192.168.12.57 Centos5.5 服务端安装

    5.9K20编辑于 2022-09-21
  • 来自专栏日志服务CLS

    日志服务CLS】容器服务TKE审计日志运维场景体验

    作者:v神 导语:云原生日志服务(Cloud Log Service,CLS)是腾讯云提供的一站式日志数据解决平台,提供了从日志采集、日志存储到日志检索,图表分析、监控告警、日志投递等多项服务,协助用户通过日志来解决业务运维 、服务监控、日志审计等场景问题。 截屏2021-12-03 10.39.44.png 如何使用审计日志去排查问题 日志服务CLS提供针对kubernetes审计日志的一站式服务,包含采集,存储,检索分析能力。 前提条件:用户购买TKE容器服务,开启集群审计日志,请参考操作指南 场景1:集群中的某个应用被删除了,谁干的? 进入TKE容器服务控制台,点击左侧菜单中【集群运维】>【审计检索】。 CLS公众号.jpg 往期文章: 【日志服务CLS】Nginx日志数据全方位大解析 对象存储COS访问日志场景体验 【日志服务CLS】腾讯云日志服务CLS接入内容分发网络CDN 【日志服务CLS】应用TKE

    1.9K20编辑于 2021-12-03
  • 来自专栏FreeBuf

    SOC日志收集实践:企业邮件服务日志收集

    平时我们利用日志系统收集了大量的各类的日志数据,如:Openresty访问日志、防护墙日志、V**日志、邮件服务器相关日志、用户权限审计日志、路由器操作日志、甚至包括办公区AP的日志,DHCP日志。 第5层.邮件负载均衡与邮件真实服务器:如果我在内网机房,使用基于tcp协议的负载均衡,一旦遇到机房或是服务本身的原因造成一台服务断掉也不会影响整体邮件服务。 : 1.邮件代理服务日志:代理服务器使用的是基于Openresty的反向代量服务器。 IMAP邮件协议日志。4.POP3邮件协议日志5.管理员审计日志。 因为邮件服务器是基于Windows的,所以我们有一种日志发送方案是使用nxlog发送客户端代理服务,把邮件服务器上系统日志和文本文件日志发送到syslog服务器上。

    2.2K00发布于 2018-07-30
  • 来自专栏日志服务CLS

    日志服务CLS】Nginx 访问日志检索、分析示例

    0x01.前言 看到小编鼓励作者写连载,趁着截稿日期延长并且还有Apple Watch大奖的诱惑就又有动力再肝一篇出来了 2333…… 0x02.再看日志检索 想要检索自然需要提前知道都有哪些字段,这里针对所有的键依次进行说明 字段名称 字段含义 1 remote_addr 客户端 IP 地址 2 remote_user 客户端名称 3 time_local 服务器本地时间 4 request_method HTTP 请求方法 5 request_url URL 地址 6 status HTTP 请求状态码 7 body_bytes_sent 发送给客户端的字节数 8 http_referer 访问来源的页面链接地址 9 http_user_agent 客户端浏览器信息 10 http_x_forwarded_for 当前端有代理服务器时,追踪记录客户端真实 IP 地址的配置 11 LogParseFailure 解析失败日志的键 了解完全部字段后废话不多说 status:[400 TO 500} image.png 4,键值模糊搜索 举个例子,检索UA中含有baidu的日志 http_user_agent : *baidu* image.png 5,etc

    1.1K21发布于 2021-05-22
  • 来自专栏云计算教程系列

    5 种 Docker 日志最佳实践

    译者注:微服务和容器很好地结合了,但是它们的结合让日志记录也变成了一个难题。作者在本文描述了一些因素,在设置监控的时候是需要考虑的。 与容器紧密结合的是微服务,它代表了开发应用程序的一种更灵活的方式。微服务体系结构将应用程序构建为一组松耦合的服务,这些服务通过处理离散业务功能的API连接起来。 相反,容器必须将日志事件转发到集中式日志记录服务(比如Loggly),或者将日志事件存储在数据卷中。数据卷的定义为“容器内的一个标记目录,该目录用来保存持久或共享的数据”。 由于专用的日志容器可以从其他容器收集日志事件,聚合它们,然后将事件存储或转发到第三方服务,这种方法消除了对主机的依赖。 专用日志容器的其它优点是: 自动收集、监视和分析日志事件。 原文:5 Docker Logging Best Practices 作者:Jeffrey Walker 翻译:Vincent

    2.8K00发布于 2017-08-21
  • 来自专栏Sign

    精灵之息 开发日志5

    但是就算明白这个,也很难改,因为“精灵之息”或者说“独立游戏”身上带有的那种“不亲切感”是它吸引到一部分人的原因,那如果这个东西没了,那独立游戏还算独立游戏吗?

    47520发布于 2021-08-06
  • 来自专栏技术杂记

    日志服务器(2)

    启动httpd服务并设置开机启动 [root@h105 log]# /etc/init.d/httpd start Starting httpd: httpd: Could not reliably chkconfig httpd on [root@h105 log]# chkconfig httpd --list httpd 0:off 1:off 2:on 3:on 4:on 5: Preparing... ########################################### [100%] 1:Percona-Server-shared-5# ########################################## [ 25%] 2:Percona-Server-client-5####################### #################### [ 50%] 3:Percona-Server-server-5########################################### [

    1.3K20发布于 2021-10-19
  • 来自专栏技术杂记

    日志服务器(9)

    安装 LogAnalyzer LogAnalyzer 的下载地址可以参考 下载 ,安装过程可以参考 安装 ---- 下载 LogAnalyzer [root@h105 src]# wget http://download.adiscon.com/loganalyzer/loganalyzer-3.6.6.tar.gz --2016-05-10 22:15:18-- http://download.adiscon.com/loganalyzer/loganalyzer-3.6.6.tar.gz Resolv

    1.2K30发布于 2021-10-20
  • 来自专栏全栈工程师修炼之路

    Rsyslog服务日志审计留存

    [TOC] 0x00 前言 Linux的rsyslog日志服务器配置: vi /etc/rsyslog.conf #将其中下面四行的注释取消 $ModLoad imudp $UDPServerRun #重新启动rsyslogd服务 service rsyslog restart Linux的rsyslog日志客户端配置: #vi /etc/rsyslog.conf local1.debug @@192.168.0.66 #然后重新启动rsyslogd服务 service rsyslog restart 0x01 实际案例 Linux安全运维历史命令记录发往Rsyslog服务器 描述:将history 命令记录发往Rsyslog服务器,即将Linux history 记录发往本地/远程Rsyslog 服务器的2种方法。 表示执行命令时所在目录 2.vim /etc/rsyslog.conf 增加修改配置后user.* @@192.168.1.88,重启rsyslog service rsyslog restart #log日志服务

    1.2K10编辑于 2022-09-28
  • 来自专栏技术杂记

    日志服务器(8)

    qishToW6PlZC.UewgjQaLp9YPPTFqvLbh47F6QUhHqPhrLT6fqdEfqYr6TIGyOl0XuAiUnlvJflixfO/:16545:0:99999:7::: [root@h202 ~]# ---- 服务端检查日志 通过这种方式已经可以实现操作审记了 ---- 查看服务端数据库中的日志 检查数据库确保数据也写了一份到mysql中 [root@h105 ~]# mysql -u root -p Enter password ------+ | 54 | +----------+ 1 row in set (0.00 sec) mysql> select * from SystemEvents limit 5\ ReceivedAt: 2016-05-10 21:39:29 DeviceReportedTime: 2016-05-10 21:39:29 Facility: 5 (/etc/cron.daily)[3249]: EventLogType: NULL GenericFileName: NULL SystemID: NULL 5

    1.1K20发布于 2021-10-20
  • 来自专栏全栈程序员必看

    Linux 日志服务

    Linux 下的rsyslog有向远程发送日志的功能,出于安全和审计需要,可以将服务器的日志集中起来管理。 日志服务器的运作机制大致是这样的: 1、客户端将日志发送到服务器,服务端的日志里于是出现了客户端的日志 2、服务端将日志导入mysql,通过php程序进行日志分析并显示在网页上。 配置基本的日志服务器 1、在服务端开启接收日志选项,编辑/etc/rsyslog.conf,取消下面两行注释: $ModLoad imtcp $InputTCPServerRun 514 这会让rsyslog 全部日志发送的话,感觉有很多垃圾,比如cron日志,可以选择性的发送一些日志 *.info;mail.none;cron.none @@192.168.1.249 注意:上面有两个@,如果服务端采用 3、重启rsyslog服务 /etc/init.d/rsyslog restart 不出意外,在服务端应该就可以看到客户端的日志了。

    2.1K40编辑于 2022-07-05
领券