Etcd 故障排查

MogDBopenGauss 故障排查思路

前提 当我们收到反馈说数据库响应慢或者压测过程中数据库有报错，第一步先收集数据库服务器资源使用情况，这一步是处理所有故障的前提。 备节点故障： 通过网络及数据库日志信息，判断节点故障原因，并尽快恢复主备节点之间的复制关系，当故障无法快速解决时，建议修改数据库参数来改变主库Xlog保留大小。 idx))[1] AS idx1, (array_agg(idx))[2] AS idx2, (array_agg(idx))[3] AS idx3, (array_agg(idx))[4] AS idx4 FROM ( SELECT indexrelid::regclass AS idx, (indrelid::text ||E'\n'|| indclass::text ||E' KEY FROM pg_index) sub GROUP BY KEY HAVING COUNT(*)>1 ORDER BY SUM(pg_relation_size(idx)) DESC; 4、

网络问题故障排查

网络问题故障排查 一、服务器网络卡慢 参考文档https://cloud.tencent.com/document/product/213/14633 1、检查本地访问域名速度 https://itango.tencent.com /huatuo) 2、检查ping指令是否ping通 ping ip地址/域名 3、检查端口情况 telnet ip地址 端口 4、使用nslookup查看DNS是否生效情况 nslookup 地址 5 、使用MTR分析网络延迟及丢包 https://cloud.tencent.com/document/product/213/14638 二、CDN网络访问故障 CDN网络故障原因排查https:// 检查加速域名是否加速生效 nslookup qt=cname 加速域名 3、查询节点是否命中 https://cloud.tencent.com/document/product/228/11203 4、

线上故障排查方案

Java常见线上问题总结绝⼤多数Java线上问题从表象来看通常可以归纳为4个方面：CPU、内存、磁盘、网络。 ⼀般包括以下⼏项，也可以将此理解为排查顺序：业务⽇志分析排查APM分析排查物理环境排查应⽤服务排查云⼚商或运营商问题排查1.1 业务⽇志分析排查这个没啥说的，看日志不会吗？ 情况，找到读写异常的进程⽹络分析使⽤dstat、vmstat等命令查看⽹络流量、TCP连接等情况，分析异常流量1.4 应⽤服务排查应⽤排查，排查应⽤本身最有可能引发的问题，针对各种场景进⾏对应分析CPU 分析使⽤jstack等命令进⾏JVM分析内存分析使⽤jmap等命令分析内存使⽤情况1.5 云⼚商或运营商问题排查排查到了这⼀步的话，只需关注云⼚商或运营商官⽅公告即可。 jps：查询当前机器所有Java进程信息jmap：输出某个 Java 进程内存情况jstack：打印某个 Java 线程的线程栈信息jinfo：⽤于查看 jvm 的配置参数4.

故障分析 | MySQL 无监听端口故障排查

擅长数据库故障处理。对数据库技术和 python 有着浓厚的兴趣。本文来源：原创投稿*爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。 ---前言最近解决了一个比较基础的问题故障，由于排查过程挺有意思，于是就以此为素材写出了本篇文章。故障现场防火墙什么的均正常但是无法被远程访问到。简单的使用客户端登录了一下。 ERROR 2003 (HY000): Can't connect to MySQL server on '127.0.0.1' (111)根据以往经验大脑中浮现了几个常见的排查此类故障手法1.排查进程存在 Version: '8.0.24' socket: '/mysqldata/mysql/data/3306/mysqld.sock' port: 0 MySQL Community Server - GPL.图片4. 解决方案因为配置 skip-grants-tables 引起无法远程连接 mysql 服务端的故障，解决方法也是非常的简单注释重启。

故障分析 | MySQL 无监听端口故障排查

---- 前言 最近解决了一个比较基础的问题故障，由于排查过程挺有意思，于是就以此为素材写出了本篇文章。 故障现场 防火墙什么的均正常但是无法被远程访问到。简单的使用客户端登录了一下。 ERROR 2003 (HY000): Can't connect to MySQL server on '127.0.0.1' (111) 根据以往经验大脑中浮现了几个常见的排查此类故障手法 1. 排查进程存在 [root@wx ~]# ps -ef|grep [m]ysql  mysql 25973 1 1 8月30 ?  Version: '8.0.24' socket: '/mysqldata/mysql/data/3306/mysqld.sock' port: 0 MySQL Community Server - GPL. 4. 本文关键字：#故障排查# ---- 文章推荐： ‍‍技术分享 | 国产麒麟 arm 上编译安装 xtrabackup8 技术分享 | MySQL 会受到“Unix千年虫“的影响吗‍ 技术分享 | MHA-MasterFailover

IPv4IPv6 双栈网络 IPv4 故障闭环排查指南

该现象核心指向：IPv4 与 IPv6 在地址获取、二层邻居发现、三层转发路径、安全策略/NAT 处理等环节存在差异化故障，需针对 IPv4 协议栈单独闭环排查。 一、 现象确认（终端侧必做四步） 在故障终端上完成以下操作，记录完整结果，为后续排障提供依据： 获取地址信息 IPv4 维度：检查是否获取到合法 IP 地址、子网掩码、默认网关、DNS 服务器地址；排查是否出现 二层转发故障排查检查交换机 MAC 地址表是否学习异常（如 MAC 漂移、端口安全限制）；排查广播域是否存在风暴抑制、未知单播丢弃等配置。 ARP 相关故障处置排查是否存在 ARP 欺骗、ARP 限速过严导致解析失败；网关侧可手动绑定终端 IP-MAC 地址进行测试。 排查 IPv4 特定安全限制检查是否存在针对 IPv4 的 IPS/IDS 规则、流量限速、连接数限制等配置，是否误拦截合法流量。

【故障排查】nginx504

upstream timed out (10060: A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond) while reading response header from upstream

数据库故障排查

数据库故障排查的基本概念 数据库故障排查是指通过系统化的方法识别、分析和解决数据库运行过程中出现的问题。故障可能表现为性能下降、数据丢失、连接失败等。 常见数据库故障类型 性能问题：查询速度慢、资源占用高。 连接问题：无法连接数据库、连接超时。 数据一致性问题：数据丢失、数据损坏。 配置问题：参数设置不当、权限配置错误。 # 示例：查看MySQL慢查询日志 SHOW VARIABLES LIKE 'slow_query_log'; 性能问题的排查步骤 检查系统资源使用情况，确认是否存在资源瓶颈。 -- 示例：查看MySQL当前连接数 SHOW STATUS LIKE 'Threads_connected'; 数据一致性问题的排查步骤 检查备份和恢复策略，确保数据可恢复。 总结 数据库故障排查是一个系统化的过程，需要结合工具和方法，逐步分析和解决问题。通过掌握常见的故障类型和排查步骤，可以有效提高数据库的稳定性和性能。

TCP 常见故障排查

发生错包的原因有很多，但是一般都是由于网线或者网卡等硬件故障造成。如果你的服务器在换了机房或者网络发生了变更之后，延迟明显增加。这个时候你就要怀疑是不是网卡丢包或者是错包引起的了。 滑动窗口很小 为了提升服务器的吞吐能力，我们一般都会优化系统的 TCP 缓冲区大小，比如： net.ipv4.tcp_rmem = 4096 87380 16777216 net.ipv4.tcp_wmem 4. 单个数据包大于 MTU 在使用 tcpdump 抓包时，可能会经常看到一些大包，就像下面这样： ? 这些包的长度都达到了 8K 大小，为什么没有分片呢？

Xshell SSH 连接故障排查

Xshell连接故障排雷指南（SSH典型问题汇总）一、SSH连接超时（ConnectionTimedOut）常见原因服务器未开机或SSH服务未启动IP地址或端口号错误防火墙/安全组未放行22端口网络不通 （路由、防火墙、VLAN隔离）排查步骤确认网络连通性展开代码语言：BashAI代码解释ping服务器IP确认SSH服务状态展开代码语言：BashAI代码解释systemctlstatussshd确认端口监听展开代码语言 permanent&&firewall-cmd--reload二、连接被拒绝（ConnectionRefused）常见原因SSH服务未启动SSH端口被修改但Xshell未同步SSH被TCPWrapper拒绝排查命令展开代码语言 grepPort展开代码语言：BashAI代码解释systemctlrestartsshd三、用户名或密码错误（AccessDenied）常见原因用户名拼写错误密码错误或账号被锁定Root账号禁止远程登录排查方式展开代码语言 etc/ssh/sshd_configsystemctlrestartsshd七、快速自检清单IP是否正确端口是否开放SSH服务是否运行防火墙/安全组是否放行密钥与权限是否正确八、总结XshellSSH故障排查应遵循网络

linux网络故障排查

在日常使用中，经常会出现无法连通的情况，这个时候我们就需要找到问题出在哪里，这里面给各位提供一个生产环境排查网络故障的大体思路，一般情况下如果遇到网络故障，都是通过筛选的方式一点一点的确定问题所在，首先判断是本机的问题还是网络上其它设备的问题 nslookup dig host 七、追踪数据包 tracepath [参数选项] hostname，域名或 IP地址 #替代了以前的traceroute 参数选项： -4 使用IPV4 -6 使用IPV6=tracepath6 -l 设置初始包的大小 默认IPV4 65535，ipv6 128000 -m 设置检测数据包的TTL，默认值为30次； -n 显示IP地址， 15.622ms 3: localhost (10.70.0.1) 18.640ms 4: 124.65.56.141) 16.020ms Too many hops: pmtu 1000 Resume: pmtu 1000 八、硬件故障

Linux 网络延迟故障排查

hops max, 60 byte packets 1 * * * 2 240.1.236.34 0.198 ms * * 3 * * 243.254.11.5 0.189 ms 4 它们分别是官方 Nginx 和具有延迟版本的 Nginx： # Official nginx $ docker run --network=host --name=good -itd nginx fb4ed7cb9177d10e270f8320a7fb64717eac3451114c9fab3c50e02be2e88ba2 run --name nginx --network=host -itd feisky/nginx:latency b99bd136dcfd907747d9c803fdc0255e578bad6d66f4e9c32b826d75b6812724 latency -c 100 -t 2 --timeout 2 http://192.168.0.30:8080/ ... setsockopt(52, SOL_TCP, TCP_NODELAY, [1], 4)

面试-线上故障如何排查

面试经常会被问到java应用出现了问题,如何排查,主要使用下面几个命令基本都能解决 执行top命令，查看所有进程占用cpu的排序 执行top -Hp pid,查看java进程下的所有线程占用cpu的情况

Linux网络延迟故障排查

hops max, 60 byte packets 1 * * * 2 240.1.236.34 0.198 ms * * 3 * * 243.254.11.5 0.189 ms 4 它们分别是官方 Nginx 和具有延迟版本的 Nginx： # Official nginx $ docker run --network=host --name=good -itd nginx fb4ed7cb9177d10e270f8320a7fb64717eac3451114c9fab3c50e02be2e88ba2 run --name nginx --network=host -itd feisky/nginx:latency b99bd136dcfd907747d9c803fdc0255e578bad6d66f4e9c32b826d75b6812724 latency -c 100 -t 2 --timeout 2 http://192.168.0.30:8080/ ... setsockopt(52, SOL_TCP, TCP_NODELAY, [1], 4)

Bluestore下的SSD故障排查

线上发现L版本一个OSD down，不确定是否磁盘故障，之前的filestore排查起来比较熟，换成Bluestore以后，有些细节上的操作不一样，因为用到的是SSD，所以有了这篇排查文档。 排查过程 定位故障节点 [root@demo-host ceph]# ceph osd tree|grep down 20 1.00000 osd.20 0 ceph-9a7d0101-f451-4e86-b1c0-3a4e4fced4bd 1 1 0 wz--n- <5.46t 0 ceph-a150e02b-ec98 ceph 7 Feb 27 16:32 /dev/ceph-72de7913-115e-4df5-868d-7f4cf7ea2b37/osd-block-a99bc25c-4cf4-5429-9171 ceph-dfe4f8f2-880f-414d-af58-5b3c77ed2628 -wi-ao---- <5.46t 最后保守起见还是手工点亮故障灯，通知机房换盘 [root@demo-host ceph

【图解】Kubernetes Deployment 故障排查指南

如果你不知道从何下手，那么在 Kubernetes 中排查故障可能会是一项艰难的任务。文本以超详细的图解说明了如何对 Kubernetes Deployment 进行故障排查，相信会对你有启发。 K8sMeetup 3个步骤排查 kubernetes Deployment 故障 在深入探究有故障的 Deploymen 时，必须明确 Kubernetes 是如何工作的。 以下 4 个命令可以对 Pod 做故障排查： kubectl logs <pod name> 有助于检索 Pod 中容器的日志； kubectl describe pod <pod name> 对检索与 排查 Ingress 故障 如果已经到了这个阶段，那么意味着： Pod 在运行中且是就绪状态； Service 可以分发流量分配到 Pod。 但是你仍然看不到应用程序的响应。 K8sMeetup 总结 如果你不知从何下手，那么在 Kubernetes 中进行故障排查可能会是一项艰巨的任务。

网络故障基本排查步骤

网络故障基本排查步骤：

Kubernetes 故障排查工具- Robusta 解析

Hello folks，我是 Luga，今天我们来分享一款用于 Kubernetes Cluster 故障排查的开源工具 - Robusta （罗布斯塔）。 — 01 — Robusta 概述 作为一款用于 Kubernetes Cluster 故障排查的开源平台，其本质是为了弄清楚我们当前所构建的 Kubernetes Cluster 的健康状况，并针对所出现的告警行为进行合理解释以及给予我们相关修复建议 以下为常用的场景，具体如下： 1、Pod 崩溃 2、系统磁盘空间不足 3、OOMKill 4、请求超时 5、其他事件场景 示例：内存溢出场景 4、Web UI‍‍‍‍ 此组件为可选项，我们可以依据实际的情况，进行 Web UI 配置，基于此，能够为我们提供一个单一的管理面板来观测跨多个 K8s Cluster 的所有警报和 Pod /generated_values.yaml \ --set clusterName=devops-cluster 4、查看 Robusta 资源 [leonli@Leon robusta

网站无法访问故障排查

场景4:网站业务问题，导致网站无法访问原因：网站本身业务问题，服务没起来，服务器有问题，导致网站无法访问排障方法：直接通过IP进行访问，若无法访问，仔细排查网站的业务是否有问题解决方案：业务问题各种各样