Kubernetes 疑难问题排查 - 10s 延迟

我们首先通过Chrome的F12开发工具来进行查看，发现正是上边的这个请求耗时10s，且10s都是在Waitting(TTFR) 如下图: 3. 然后就出问题了, PSH+ACK的动作是在10s后才发出的!!! 7. 项目组老师重点提到, 根据他们的日志来看, 是第3步慢了10s. 所以每次都是等待10s才进入系统. 如下图: 原因总结¶¶ 需求系统访问单点登录10.1.XX.XX:XXXX花了10s, 是因为那次请求会进行反向dns解析。结果解析2次不成功。 我之所以知道这个事情, 是因为有次某寿险公司有一次生产DNS出故障了, 排查的时候发现海量的反向DNS解析来自weblogic. 有时间可以再来一篇相关的内容. 解决方案¶¶ 1.

第10课 Kubernetes之Service不能访问排查流程实践

除了本身服务问题外，还有可能是CNI网络组件部署问题，现象是：curl访问10次，可能只有两三次能访问，能访问时候正好Pod是在当前节点，这并没有走跨主机网络。 0.089/0.009 ms # curl -I 10.103.246.193 HTTP/1.1 200 OK Server: Tengine Date: Sun, 22 Aug 2021 13:10 keep-alive Vary: Accept-Encoding ETag: "59005463-52e" Accept-Ranges: bytes 参考 （1）K8s常见问题：Service 不能访问排查流程

ping容易忽略的10点用法和排查问题技巧

10.1.1.1 10.1.1.255 # 或者用 CIDR 的方式 fping -g 10.1.1.0/24 # 或者从文件中读取 fping --file=add.txt 用法10 ：设置 TTL，检查中间网络设备情况 这条硬凑的，10看起来比较完整点。。。 最后咱们来说说， 如何用 ping 来排查网络故障： 1. ping 本机环回地址127.0.0.1： 如果 ping 不通，说明本机 TCP/IP 协议栈 不能正常工作，请重新编译安装。 如果通，继续排查第 2 步。 2. ping 本机对外的 IP 地址： 如果 ping 不通，说明本机的 网卡或网络适配器（Modem） 出现故障，如果通，继续排查第 3 步。 3. ping 本机的网关地址： ping 之前，需要先检查下网关路由器是否禁 ping，检查防火墙是否禁 ping，确定可 ping 的情况下，如果不通，说明 网线或者路由器 有问题，如果通，继续排查第

Linux CPU 飙高的 10 大根因与排查思路！

Linux CPU 飙高的 10 大根因与排查思路：从监控告警到根本修复 适用场景与前置条件 • 应用场景：CPU 使用率超过 80%、某个进程莫名消耗大量 CPU、系统响应变慢。 • [ ] 第4步：收集历史性能数据排查波动规律。 • [ ] 第5步：分析代码/系统调用热点（火焰图）。 • [ ] 第6步：判断根因（业务逻辑、死循环、I/O 阻塞、内核 bug）。 Step 4：收集历史 CPU 数据排查规律 使用 sar 查看历史 CPU 数据： # 需先启用 sysstat（编辑 /etc/cron.d/sysstat 或系统服务） sudo yum install • 系统 CPU：< 10%（正常运维开销）。 • I/O 等待：< 5%（高效磁盘/网络配置）。 最佳实践 1. 分层排查：先看全局负载，再定位进程，最后深入代码。 2. 采样法排查：不要盲目优化，用 perf/火焰图找真正的热点。 3. 隔离问题进程：使用 cgroup 限制其他进程 CPU，确保主要服务可用。 4.

Linux使用SSH连接后10s断开连接，有什么排查思路

今天我们就整理了一个快速排查表格，帮助需要的朋友获取定位问题的思路： 可能原因 具体表现 优先排查方向 SSH服务空闲超时设置 精确地在闲置约10秒后断开 服务器端 sshd_config中的 ClientAliveInterval 如果这个值被设置为 10，服务器就会每10秒检查一次客户端是否存活。 ClientAliveCountMax：在服务器判定连接已死亡之前，允许客户端无响应的最大“保活”信号次数。 检查这些参数是否被设成了类似 ClientAliveInterval 10和 ClientAliveCountMax 1的组合，这会导致大约10秒后断开。 测试网络稳定性：从你的客户端持续 ping服务器地址，观察在连接断开的10秒期间是否有丢包或延迟陡增的情况。 单次连接命令：也可以在使用 ssh命令时直接附加选项： ssh -o ServerAliveInterval=50 username@your_server_ip 五、启用详细日志进行深度排查 如果以上方法均未解决问题

mysqlimport导入报错的排查(r10笔记第58天)

今天有个同事问我一个mysqlimport导入的问题，看起来还是蛮奇怪的。同事在客户端导入一个文件。文件大小是2.8G，然后报错mysqlimport: Error: 2013, Lost connection to MySQL server during query 对于这个问题我的第一感觉是一台云服务器，是不是没有配置swap造成的原因，因为在之前的一次迁移中，被这类问题折磨坏了，遭遇了OOM-Killer的问题，最后发现是swap没有配置导致的。 但是同事经过确认，这是一台实体机，而且查看硬件情况，

手眼标定问题排查_圆网格数据排查

经过昨天晚上的调试，发现了一个主要问题：使用圆网格标定板标定时，不能使用cornerSubPix()函数，否则寻找角点时，会导致图一的情况(裁剪为30万像素)。就找到能参考的程序，推进还是很快的。

线上问题排查一接口拒绝连接排查思路

排查思路： 检查目标服务器防火墙配置，开启目标端口，重启防火墙 检查目标服务器服务状态 解决过程： 查看服务器调用者日志，当出现接口拒绝连接时，可参考以下方案： 使用ping IP命令查看目标服务器是否宕机

JAVA死锁排查-性能测试问题排查思路

Java发生死锁的根本原因是：在申请锁时发生了交叉闭环申请。即线程在获得了锁A并且没有释放的情况下去申请锁B，这时，另一个线程已经获得了锁B，在释放锁B之前又要先获得锁A，因此闭环发生，陷入死锁循环。

centos磁盘排查

今天发现服务器磁盘满了，使用du命令排查，首先找到根目录 du -h --max-depth=1 / 然后发现/usr下面最大，接着找/usr目录下 du -h --max-depth=1 /usr 发现/usr/local目录最大，我们挨个排查下去，发现是jpom的历史构建产物占用空间太多，去Jpom里删除就好了

JVM排查定位

排查总结 7.1 CPU过高 top P M X 找到占用高的进程id top -Hp pid 找到占用高的线程nid，转换16进制，（printf '%x\n' pid） jstack pid 来查看线程的详细信息 自动设置的快照-XX：-XX：+HeadDumpOnOutOfMemoryError 用分析工具分析：查看哪个类和实例数过大，本来就定位线程了，只需看该线程的对象信息即可 7.3 死锁 直接JConsole排查死锁

死锁问题排查

既然已知道异常服务，那可以从这里入手进行分析，又与同事沟通一番，确定了与该服务相关的一些后台模块，接下来重点排查这些模块。 排查方法 日志中出现了sync. time.Second) lock1.Lock() defer lock1.Unlock() fmt.Println("func2 end") }() time.Sleep(time.Second*10

堆栈溢出排查

-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/home/d5000/eas/easDmSync/heapdump.hprof

CPU 飙升排查

CPU飙升 线上资源cpu飙升是我们工作中常见的问题，一篇文章搞定排查方法 一、问题复现 现在我有两个接口，代码如下 @RestController public class CPUCheck { 二、测试 我们将项目打包部署在服务器上，并启动 测试接口 curl http://localhost:9901/thing-test/hello pid 三、排查 通过top命令可以查看到有一个java 需要将其转化为十六进制 命令：printf "%x\n" 【十进制tid】 实例：printf "%x\n" 32327 nid 根据pid 和 tid查询导致cpu飙升的代码 命令：jstack 【10

排查Maven问题

排查Maven问题 mvn dependency:tree 三大技巧 第一板斧:找到传递依赖的鬼出在哪里？

jvm异常排查

Linux日志排查

因为懒，很多时候排查问题起来太依赖可视化工具了，就导致很多Linux命令忘记了。

Redis Bigkey排查

字符串类型：它的 big 体现在单个 value 值很大，超过 10KB。如果 key 过大也是不行的。 非字符串类型：哈希、列表、集合、有序集合，元素超过 5000 个。 #count - 可选，用于指定每次迭代返回的 key 的数量，默认值为 10 。 "key:8" 3) "key:4" 4) "key:14" 5) "key:16" 6) "key:17" 7) "key:15" 8) "key:10 2 = "Set Encoding" # 3 = "Sorted Set Encoding" # 4 = "Hash Encoding" # 9 = "Zipmap Encoding" # 10 当发现 Redis 变慢了，可以通过下面的 checklist 来排查问题： 使用复杂度过高的命令或一次查询全量数据； 操作 bigkey； 大量 key 集中过期； 内存达到 maxmemory； 客户端使用短连接和

排查挖矿病毒

排查分析 经top 查看原来是一个叫269 的进程一直抢占CPU，占比高达4000%。而该269 进程则是挖矿病毒进行高度伪装，即使是kill 掉该进程也无济于事，后面又会自动跑起来。 10 ；比如269； 2、kill 掉该挖矿进程；sudo kill -9 48124； 3、通过关键词查找挖矿病毒，一般在/tmp 目录底下，如果不清楚查找，直接删除/tmp 目录底下的所有文件； 4、要排查和删掉相关的定时脚本 10

线上问题排查

8、old区实例查询： jmap -histo pid | sort -n -r -k 2 | head -10 ?