首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏SRE运维进阶之路

    Etcd 故障排查

    Etcd 磁盘空间爆满解决方案etcd默认的空间配额限制为2G,超出空间配额限制就会影响服务,所以需要定期清理设置环境变量ETCD_CA_CERT="/etc/kubernetes/pki/etcd/ca.crt"ETCD_CERT {HOST_1}" alarm list输出为:meberID:XXXXXXXXXXXXXXX alarm:NOSPACE此处 alarm 提示 NOSPACE,需要升级 ETCD 集群的空间(默认为2G 的磁盘使用空间),或者压缩老数据,升级空间后,需要使用 etcd命令,取消此报警信息,否则集群依旧无法使用解决方案一:增加etcd的容量修改 etcd.yaml 文件,由2G-->8G,增加以下三个参数

    86110编辑于 2023-06-23
  • 来自专栏数据和云

    MogDBopenGauss 故障排查思路

    前提 当我们收到反馈说数据库响应慢或者压测过程中数据库有报错,第一步先收集数据库服务器资源使用情况,这一步是处理所有故障的前提。 命令 htop 命令 --cpu lscpu 命令 --内存大小 free -g --磁盘大小 df-Th --磁盘使用跟踪 nohup iostat -xmt 1 > iostat.log 2> 备节点故障: 通过网络及数据库日志信息,判断节点故障原因,并尽快恢复主备节点之间的复制关系,当故障无法快速解决时,建议修改数据库参数来改变主库Xlog保留大小。 1、当前正在执行的SQL汇总 select query,count(*) from pg_stat_activity group by query order by 2 desc limit 5; 2、查看SQL的执行计划 explain (analyze,costs,buffers,timing) QUERY 3、SQL涉及的表是否有表膨胀、索引失效或缺失或重复 的情况,这步可以处理80%的慢

    1.5K51发布于 2021-10-13
  • 来自专栏linux

    网络问题故障排查

    网络问题故障排查 一、服务器网络卡慢 参考文档https://cloud.tencent.com/document/product/213/14633 1、检查本地访问域名速度 https://itango.tencent.com /huatuo) 2、检查ping指令是否ping通 ping ip地址/域名 3、检查端口情况 telnet ip地址 端口 4、使用nslookup查看DNS是否生效情况 nslookup 地址 5 、使用MTR分析网络延迟及丢包 https://cloud.tencent.com/document/product/213/14638 二、CDN网络访问故障 CDN网络故障原因排查https:// document/product/228/59530 1、检查CDN是否生效以及是否需要刷新预热 https://cloud.tencent.com/document/product/228/56144 2

    49410编辑于 2025-07-04
  • 来自专栏从入门到出门

    线上故障排查方案

    ⼀般包括以下⼏项,也可以将此理解为排查顺序:业务⽇志分析排查APM分析排查物理环境排查应⽤服务排查云⼚商或运营商问题排查1.1 业务⽇志分析排查这个没啥说的,看日志不会吗? 情况,找到读写异常的进程⽹络分析使⽤dstat、vmstat等命令查看⽹络流量、TCP连接等情况,分析异常流量1.4 应⽤服务排查应⽤排查排查应⽤本身最有可能引发的问题,针对各种场景进⾏对应分析CPU 分析使⽤jstack等命令进⾏JVM分析内存分析使⽤jmap等命令分析内存使⽤情况1.5 云⼚商或运营商问题排查排查到了这⼀步的话,只需关注云⼚商或运营商官⽅公告即可。 2. 使用Arthas诊断工具协助定位问题Arthas 是Alibaba开源的Java诊断⼯具,深受开发者喜爱。 1024m-Xms1024m设置最大空间2048m-Xmx2048m设置初始元空间20m-XX:MetaspaceSize=20m设置最大元空间512m-XX:MaxMetaspaceSize=512m2.

    1.2K20编辑于 2022-08-01
  • 来自专栏爱可生开源社区

    故障分析 | MySQL 无监听端口故障排查

    擅长数据库故障处理。对数据库技术和 python 有着浓厚的兴趣。本文来源:原创投稿*爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。 ---前言最近解决了一个比较基础的问题故障,由于排查过程挺有意思,于是就以此为素材写出了本篇文章。故障现场防火墙什么的均正常但是无法被远程访问到。简单的使用客户端登录了一下。 ERROR 2003 (HY000): Can't connect to MySQL server on '127.0.0.1' (111)根据以往经验大脑中浮现了几个常见的排查此类故障手法1.排查进程存在 41.095500-00:00 0 [Note] [MY-010308] [Server] Skipping generation of RSA key pair through -- caching_sha2_ 解决方案因为配置 skip-grants-tables 引起无法远程连接 mysql 服务端的故障,解决方法也是非常的简单注释重启。

    1.4K20编辑于 2022-09-08
  • 来自专栏杨建荣的学习笔记

    故障分析 | MySQL 无监听端口故障排查

    ---- 前言 最近解决了一个比较基础的问题故障,由于排查过程挺有意思,于是就以此为素材写出了本篇文章。 故障现场 防火墙什么的均正常但是无法被远程访问到。简单的使用客户端登录了一下。 ERROR 2003 (HY000): Can't connect to MySQL server on '127.0.0.1' (111) 根据以往经验大脑中浮现了几个常见的排查此类故障手法 1. mysql/data/3308/mysqld.pid --user=mysql -- socket=/mysqldata/mysql/data/3308/mysqld.sock --port=3308 2. 41.095500-00:00 0 [Note] [MY-010308] [Server] Skipping generation of RSA key pair through -- caching_sha2_ 本文关键字:#故障排查# ---- 文章推荐: ‍‍技术分享 | 国产麒麟 arm 上编译安装 xtrabackup8 技术分享 | MySQL 会受到“Unix千年虫“的影响吗‍ 技术分享 | MHA-MasterFailover

    2.8K30编辑于 2022-09-14
  • 来自专栏图南科技

    故障排查】nginx504

    2 作为服务提供者,自身服务访问数据库超时不返回或者PHP层面业务处理严重耗时,程序设计不合理,造成长时间延迟超时。 ?

    6.3K10发布于 2019-07-12
  • 数据库故障排查

    数据库故障排查的基本概念 数据库故障排查是指通过系统化的方法识别、分析和解决数据库运行过程中出现的问题。故障可能表现为性能下降、数据丢失、连接失败等。 常见数据库故障类型 性能问题:查询速度慢、资源占用高。 连接问题:无法连接数据库、连接超时。 数据一致性问题:数据丢失、数据损坏。 配置问题:参数设置不当、权限配置错误。 # 示例:查看MySQL慢查询日志 SHOW VARIABLES LIKE 'slow_query_log'; 性能问题的排查步骤 检查系统资源使用情况,确认是否存在资源瓶颈。 -- 示例:查看MySQL当前连接数 SHOW STATUS LIKE 'Threads_connected'; 数据一致性问题的排查步骤 检查备份和恢复策略,确保数据可恢复。 总结 数据库故障排查是一个系统化的过程,需要结合工具和方法,逐步分析和解决问题。通过掌握常见的故障类型和排查步骤,可以有效提高数据库的稳定性和性能。

    44110编辑于 2025-08-29
  • 来自专栏poslua

    TCP 常见故障排查

    发生错包的原因有很多,但是一般都是由于网线或者网卡等硬件故障造成。如果你的服务器在换了机房或者网络发生了变更之后,延迟明显增加。这个时候你就要怀疑是不是网卡丢包或者是错包引起的了。 另外,还可以通过下面这两个命令开查看每秒的错包和重传情况: # 丢包率、错包率 sar -n EDEV 1 # 重传 sar -n ETCP 1 2.

    2K30发布于 2019-08-19
  • 来自专栏网络工程师笔记

    排查光模块故障原因,少不了这2条命令!

    光模块故障定位常用命令 根据光模块的告警信息查找故障原因: display interface transceiver 查看光模块光功率是否正常 display interface transceiver (m) :30(62.5um/125um OM1) 80(50um/125um OM2) (m) :30(62.5um/125um OM1) 80(50um/125um OM2) ,超出了该光模块的传输距离,再排查光模块、光纤是否有损坏。 因此,在端口插入光模块并对接成功后,要对发送或接收光功率方面的告警信息进行排查,避免因功率过低或者过高造成流量或者光模块不正常。

    98710编辑于 2023-12-14
  • 来自专栏痴者工良

    零基础写框架(2):故障排查和日志基础

    故障排查和日志 .NET 程序进行故障排查的方式有很多,笔者个人总结常用的有以下方式: IDE 调试、Visual Studio 中的诊断工具、性能探测器 一般来说,使用 IDE 进行断点调试和诊断只适合在本地开发环境 打印日志 日志是程序进行故障排查最常用最不可缺少的一部分,也是最简单的故障排查方法。程序输出的日志可以为故障排查提供有用的信息,同时通过日志观察程序的运行状态,日志也可以记录审计信息供日后回溯查找。 日志对于排查问题是很有帮助的,可是开发者往往不重视打印日志,或者只是打印一些信息。 在线上排查问题比较麻烦,生产环境不能直接使用开发工具调试,也不能因为排查问题影响到用户的体验,因此开发者必须在日志中预留足够多的信息,或者使用各种监控工具收集程序运行信息,同时开发者需要掌握多种诊断工具的使用方法 ", args: "error"); logger2.LogError(new Exception("报错了"), message: "Hello World!

    57410编辑于 2024-06-06
  • 来自专栏入门小站

    Linux网络延迟故障排查

    案例展示 我们需要在此演示中托管 host1 和 host2 两个主机: host1 (192.168.0.30):托管两个 Nginx Web 应用程序(正常和延迟) host2 (192.168.0.2 run --network=host --name=good -itd nginx fb4ed7cb9177d10e270f8320a7fb64717eac3451114c9fab3c50e02be2e88ba2 80 端口: $ wrk --latency -c 100 -t 2 --timeout 2 http://192.168.0.30/ Running 10s test @ http://192.168.0.30 --timeout 2 http://192.168.0.30:8080/ Running 10s test @ http://192.168.0.30:8080/ 2 threads and 100 wrk 命令 $ wrk --latency -c 100 -t 2 --timeout 2 http://192.168.0.30:8080/ 当 wrk 命令完成后,再次切换回 Terminal

    1.8K40编辑于 2022-06-03
  • 来自专栏洁癖是一只狗

    面试-线上故障如何排查

    面试经常会被问到java应用出现了问题,如何排查,主要使用下面几个命令基本都能解决 执行top命令,查看所有进程占用cpu的排序 执行top -Hp pid,查看java进程下的所有线程占用cpu的情况

    85520编辑于 2022-12-01
  • 来自专栏GitHub专栏

    Linux 网络延迟故障排查

    案例展示 我们需要在此演示中托管 host1 和 host2 两个主机: host1 (192.168.0.30):托管两个 Nginx Web 应用程序(正常和延迟) host2 (192.168.0.2 run --network=host --name=good -itd nginx fb4ed7cb9177d10e270f8320a7fb64717eac3451114c9fab3c50e02be2e88ba2 80 端口: $ wrk --latency -c 100 -t 2 --timeout 2 http://192.168.0.30/ Running 10s test @ http://192.168.0.30 --timeout 2 http://192.168.0.30:8080/ Running 10s test @ http://192.168.0.30:8080/ 2 threads and 100 wrk 命令 $ wrk --latency -c 100 -t 2 --timeout 2 http://192.168.0.30:8080/ 当 wrk 命令完成后,再次切换回 Terminal

    3.3K10编辑于 2022-05-17
  • 来自专栏网络安全

    Xshell SSH 连接故障排查

    Xshell连接故障排雷指南(SSH典型问题汇总)一、SSH连接超时(ConnectionTimedOut)常见原因服务器未开机或SSH服务未启动IP地址或端口号错误防火墙/安全组未放行22端口网络不通 (路由、防火墙、VLAN隔离)排查步骤确认网络连通性展开代码语言:BashAI代码解释ping服务器IP确认SSH服务状态展开代码语言:BashAI代码解释systemctlstatussshd确认端口监听展开代码语言 permanent&&firewall-cmd--reload二、连接被拒绝(ConnectionRefused)常见原因SSH服务未启动SSH端口被修改但Xshell未同步SSH被TCPWrapper拒绝排查命令展开代码语言 grepPort展开代码语言:BashAI代码解释systemctlrestartsshd三、用户名或密码错误(AccessDenied)常见原因用户名拼写错误密码错误或账号被锁定Root账号禁止远程登录排查方式展开代码语言 etc/ssh/sshd_configsystemctlrestartsshd七、快速自检清单IP是否正确端口是否开放SSH服务是否运行防火墙/安全组是否放行密钥与权限是否正确八、总结XshellSSH故障排查应遵循网络

    1.5K10编辑于 2025-12-22
  • 来自专栏开源部署

    linux网络故障排查

    在日常使用中,经常会出现无法连通的情况,这个时候我们就需要找到问题出在哪里,这里面给各位提供一个生产环境排查网络故障的大体思路,一般情况下如果遇到网络故障,都是通过筛选的方式一点一点的确定问题所在,首先判断是本机的问题还是网络上其它设备的问题 1032 bytes from 192.168.2.220: icmp_seq=1 ttl=64 time=0.047 ms 1032 bytes from 192.168.2.220: icmp_seq=2 -b www.baidu.com -l 1000 -m 5 1: localhost (192.168.0.1) 18.324ms 2: 124.65.56.141) 16.020ms Too many hops: pmtu 1000 Resume: pmtu 1000 八、硬件故障

    2.4K21编辑于 2022-09-15
  • 来自专栏Ceph对象存储方案

    Bluestore下的SSD故障排查

    线上发现L版本一个OSD down,不确定是否磁盘故障,之前的filestore排查起来比较熟,换成Bluestore以后,有些细节上的操作不一样,因为用到的是SSD,所以有了这篇排查文档。 排查过程 定位故障节点 [root@demo-host ceph]# ceph osd tree|grep down 20 1.00000 osd.20 lvm2 a-- <5.46t 0 /dev/sdh ceph-2d626a29-6409-4edd-b3e0-df6dc0259629 lvm2 a-- <5.46t 0 lvm2 a-- <5.46t 0 /dev/sdh ceph-2d626a29-6409-4edd-b3e0-df6dc0259629 lvm2 a-- <5.46t 0 -wi-ao---- <5.46t 最后保守起见还是手工点亮故障灯,通知机房换盘 [root@demo-host ceph]# hpssacli ctrl slot=0 pd 2I:4:1 modify

    6.8K51发布于 2019-05-09
  • 来自专栏CNCF

    【图解】Kubernetes Deployment 故障排查指南

    如果你不知道从何下手,那么在 Kubernetes 中排查故障可能会是一项艰难的任务。文本以超详细的图解说明了如何对 Kubernetes Deployment 进行故障排查,相信会对你有启发。 K8sMeetup 3个步骤排查 kubernetes Deployment 故障 在深入探究有故障的 Deploymen 时,必须明确 Kubernetes 是如何工作的。 应该从最底层开始为 Deployment 做故障排查。首先,检查 Pod 是否已就绪并在运行中 ? 如果 Pod 已就绪,应该检查 Service 是否能将流量路由到 Pod ? 排查 Ingress 故障 如果已经到了这个阶段,那么意味着: Pod 在运行中且是就绪状态; Service 可以分发流量分配到 Pod。 但是你仍然看不到应用程序的响应。 K8sMeetup 总结 如果你不知从何下手,那么在 Kubernetes 中进行故障排查可能会是一项艰巨的任务。

    3.8K30发布于 2021-03-15
  • 来自专栏http://www.cnblogs.com

    网络故障基本排查步骤

    网络故障基本排查步骤:

    1.1K10编辑于 2022-03-11
  • 来自专栏架构驿站

    Kubernetes 故障排查工具- Robusta 解析

    Hello folks,我是 Luga,今天我们来分享一款用于 Kubernetes Cluster 故障排查的开源工具 - Robusta (罗布斯塔)。 作为一个用于多集群 Kubernetes 监控、故障排除和自动化的开源平台,就像 Docker 用于部署应用程序的基础设施即代码一样,Robusta 用于维护 Kubernetes Cluster 应用程序和处理其警报的基础设施即代码 — 01 — Robusta 概述 作为一款用于 Kubernetes Cluster 故障排查的开源平台,其本质是为了弄清楚我们当前所构建的 Kubernetes Cluster 的健康状况,并针对所出现的告警行为进行合理解释以及给予我们相关修复建议 2、Robusta-Runner‍‍‍‍‍‍‍‍‍ 此组件主要执行自定义的 Playbooks,依据相关的业务规则。 可以手动触发 Robusta 故障排除工作流程(例如,我们可以从任何 Java Pod 应用来获取相关堆转储信息,以供排障、分析之用)。

    4.3K101编辑于 2023-03-10
领券