首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏kl的专栏

    j2Cache线上异常问题排查记录

    (Pool.java:49) ... 3 more j2Cache:红薯开源的2阶段缓存框架:https://gitee.com/ld/J2Cache 问题分析 从异常日志表象上看,很明显是由于jedis , 变成了必然性的事件了,那么根据上面这些分析,先假设问题就是由于程序中连接池使用不当导致的问题。 小心求证 通过对问题的假设,我们需要在程序中找到从jedis pool中获取资源的代码,那首先需要找到初始化连接池的地方,j2Cache里是通过RedisCacheProvider来维护jedis pool 重新假设 如果不是连接泄漏导致的,那么肯定是并发问题了,最终的异常是j2Cache抛出来的,从j2Cache里获取连接的地方如下: 可以看到最上面红框里的是之前说的有问题,其实没有问题,他们都被包在了try 最终解决 设置连接池的maxTotal参数即可,但是有个问题是,这个项目使用的j2Cache的版本比较老,代码的配置信息限定死了就那么个几个,而且没有预留maxTotal的设置。

    61230编辑于 2023-11-18
  • 来自专栏杨建荣的学习笔记

    sqlldr加载性能问题排查 (r22天)

    没有太大问题。 <HHMISS>.dat rows=1000 有了以上的信息,就可以从cpu,io等方面来排查了。 cpu,io都没有问题。 测试2个文件,开始在150KB/秒的样子,过了一会速度就降下来了。最低的时候再20kb左右的样子。 想象也是,可能有些复杂的问题的原因其实很简单。

    1K50发布于 2018-03-13
  • 来自专栏数据小冰

    死锁问题排查

    既然已知道异常服务,那可以从这里入手进行分析,又与同事沟通一番,确定了与该服务相关的一些后台模块,接下来重点排查这些模块。 下面是出现问题的参考日志,关键点已包含其中,因为原日志不方便展示。 排查方法 日志中出现了sync. 问题本质 上面问题的根因是死锁导致的,死锁也是计算机中常见出现的问题。 往往改动代码引发的死锁问题比较容易出现,像本文中出现的问题就是代码改动导致的,添加功能需求的时候关注点集中在了业务逻辑上,容易忽视锁的问题。 goroutine 1和goroutine 2都在对lock1和lock2加锁,不过它们获取锁的顺序是不同的,一个先获取lock1在获取lock2,另一个先获取lock2在获取lock1.这会导致它们形成了一个环

    1.6K10编辑于 2022-08-15
  • 来自专栏后端码事

    线上问题排查

    2、找到线程pid top -Hp 进程pid ? 快捷键“R”进行排序,可以通过快捷键“H”查看帮助信息。 快捷键“1” 查看每个cpu使用情况: ? 8、old区实例查询: jmap -histo pid | sort -n -r -k 2 | head -10 ?

    92110发布于 2020-09-10
  • 来自专栏dcmickey小站

    排查Maven问题

    排查Maven问题 mvn dependency:tree 三大技巧 第一板斧:找到传递依赖的鬼出在哪里? com.fasterxml.jackson.module:jackson-module-jaxb-annotations:jar:2.2.3:compile [INFO] | \- org.codehaus.woodstox:stax2- api:jar:3.1.1:compile [INFO] | \- javax.xml.stream:stax-api:jar:1.0-2:compile 刚才吹嘘 mvn dependency (这一步非常重要哦,经常项目组pom.xml是相同的,但是就是有些人可以运行,有些人不能运行,俗称人品问题,其实都是IDE的缓存造成的了 idea清除缓存,为了提高效率不建议采用reimport重新起开启项目的方式

    77320编辑于 2022-06-09
  • 来自专栏PHP开发者那些事

    redis问题排查

    当出现异常以后,可以从以下几个原因入手排查。 API或数据结构使用不合理 慢查询。命令slowlog get [n]。 1)使用了复杂读为O(n)的命令导致,如hgetall等。 2)调整大对象,拆分为更小的对象。使用redis-cli -h{ip} -p{port} --bigkeys来扫描大对象。 CPU饱和的问题。 1)fork阻塞 2)AOF刷盘阻塞,可以用info persistence统计aof_delayed_fsync指标。 3)HugePage写操作阻塞。 内存交换 网络问题

    60920发布于 2020-06-23
  • 来自专栏OSChina

    线上问题排查

    1 查看当前系统的cpu,内存占用情况 [root@localhost ~]# top 2 平均加载时间 [root@localhost ~]# uptime 16:45:18 up 18 days , 45 min, 4 users, load average: 0.03, 0.20, 0.64 3 查看cpu [root@localhost ~]# vmstat -n 2 3 procs - 633616 0 0 0 10 2846 9886 10 7 83 0 0 4 查看cpu核信息 [root@localhost ~]# mpstat -P ALL 2 秒 1 10.10 0.00 6.06 0.00 0.00 0.00 0.00 0.00 0.00 83.84 17时14分48秒 2 00:00:39 java -jar insight-iec-server-1.0.jar 5 root 6976 22153 0 17:30 pts/2 00:00:00 grep

    1K20发布于 2019-10-09
  • 来自专栏解Bug之路

    日常问题排查-调用超时日常问题排查-调用超时

    日常问题排查-调用超时 前言 日常Bug排查系列都是一些简单Bug排查,笔者将在这里介绍一些排查Bug的简单技巧,同时顺便积累素材^_^。 Bug现场 这次的Bug是大家喜闻乐见的调用超时。 开始排查 那么这5秒钟时间到底消失在哪里呢?有3个可能的点: 1)A日志打点到真正发出请求包 2)网络上 3)B真正接收请求包到B日志打点。 可是这又引入了一个新的问题,为什么一次Full GC能达到6s之巨。 为什么这么慢 观察监控,笔者发现Full GC有时候快有时候慢。翻出对应6s的那条gc监控日志。 所以看上去是概率上出现GC慢的问题。 另一个机房没出问题 这时候巧的是,业务开发向笔者反映,另一个机房的相同应用确不会出现此问题。捞了下对应日志,发现其class unloading只有0.9s左右。 另外, 对于一个偶发性的问题,我们应该通过监控等手段去寻找规律,这样就很容易找到突破点。

    1.6K30编辑于 2021-12-24
  • 来自专栏Pou光明

    手眼标定问题排查_圆网格数据排查

    经过昨天晚上的调试,发现了一个主要问题:使用圆网格标定板标定时,不能使用cornerSubPix()函数,否则寻找角点时,会导致图一的情况(裁剪为30万像素)。就找到能参考的程序,推进还是很快的。 , 0.9611877685128729] 第1幅图像的平移向量: [-76.45090666433144; -13.574103850496; 434.3319646871819] 第2幅图像的旋转向量 Rodrigues : [-0.1439470290365807; -0.01668449089763162; 0.2466768023889751] 第2幅图像的旋转矩阵: [0.9696439912038159 0.9594923296042489, 0.1399475657760062; -0.001175609778911589, -0.1440352472627967, 0.9895718596886195] 第2幅图像的平移向量 下次把有问题的数据列下。 上面数据均未使用图片校准。 目前这个相机标定程序比较OK,至此棋盘格和圆网格两种标定板。有需要的同志可在公众号后台留言“改进的相机标定程序”。

    43410编辑于 2024-04-13
  • 来自专栏运维开发故事

    Docker EOF问题排查

    一、前言 问题排查过程,源码部分均由我的开发同事排查和记录;在征得其同意后,由我发表在此。 二、问题 某天接到客户反馈,pod的事件中出现大量的 warning event: Readiness probe failed: OCI runtime exec failed: exec failed count := 0 for { inspect, err2 := client.InspectExec(execObj.ID) if err2 ! 经过排查,发现 runc exec 在运行期间会读取 container 的 state.json,并使用 json decode 时出现异常。 ? 此时排查 runc EOF 和 kubelet cpu-manager update container(默认每 10s 更新一次) 的时间,发现时间点刚好吻合,验证猜想。

    5.7K10发布于 2021-06-24
  • 来自专栏linux

    网络问题故障排查

    网络问题故障排查 一、服务器网络卡慢 参考文档https://cloud.tencent.com/document/product/213/14633 1、检查本地访问域名速度 https://itango.tencent.com /huatuo) 2、检查ping指令是否ping通 ping ip地址/域名 3、检查端口情况 telnet ip地址 端口 4、使用nslookup查看DNS是否生效情况 nslookup 地址 5 、使用MTR分析网络延迟及丢包 https://cloud.tencent.com/document/product/213/14638 二、CDN网络访问故障 CDN网络故障原因排查https:// document/product/228/59530 1、检查CDN是否生效以及是否需要刷新预热 https://cloud.tencent.com/document/product/228/56144 2

    45610编辑于 2025-07-04
  • 来自专栏Windows技术交流

    windows update问题排查

    msiserverren c:\windows\softwaredistribution softwaredistribution.oldren c:\windows\system32\catroot2 catroot2.old如果重命名的时候报错,注意此时是当前有更新已进行一部分的时候,所以无论如何都无法重命名softwaredistribution,需要从左下角(下图品红色圈出的地方)那里会有"更新并关机 ,在catalog里分别搜"Windows Server 2008 R2 服务堆栈更新 x64"、"Windows Server 2008 R2 安全更新程序 x64"(2008R2已经end of life ,如果没有从微软购买ESU,是无法更新的)2012 R2的话,在catalog里分别搜"在catalog里分别搜"Windows Server 2012 R2 服务堆栈更新 x64"、"Windows Server 2012 R2 安全更新程序 x64"(2012R2已经end of life,如果没有从微软购买ESU,是无法更新的)2016的话,在catalog里分别搜"Windows Server

    1.1K10编辑于 2024-08-21
  • 来自专栏伟大程序猿的诞生

    Android 混淆问题排查

    ZygoteInit.java:888) at com.android.internal.os.ZygoteInit.main(ZygoteInit.java:749) 思路 1、通过上面的错误信息首先会去排查 2、考虑到关闭混淆正常,开启混淆异常,那么就定位到时混淆的问题 3、既然是混淆问题那就查看混淆配置文件proguard-rules.pro,基本的配置都已经防混淆了 4、接下来的思路就是通过反编译来查看 BaseApplication到底出了啥额问题 过程 第一步 我们看到下面反编译的代码 ? declaration of 'com.xzxj.frame.base.BaseApplication' appears in /data/app/com.xzxj-1/base.apk:classes2. 所以以后遇到混淆的问题就按照提示一步一步排查,一定要反编译文件来分析问题,不然无法定位原因。 还有第一次混淆后建议反编译查看一下包里面的代码,有没有需要混淆的核心代码被keep掉了。

    2.7K20发布于 2019-01-21
  • 【系统问题排查方法】

    常见系统问题排查方法 系统问题排查通常涉及多个层面,包括代码、数据库、网络、服务器等。以下是一些常见的排查方法: 日志分析:检查系统日志、应用日志、数据库日志等,查找异常信息或错误堆栈。 日志是排查问题的第一手资料,能够快速定位问题发生的具体位置。 数据库性能问题往往是系统瓶颈之一。 网络排查:使用ping、traceroute、netstat等工具检查网络连接是否正常,排查网络延迟或丢包问题排查步骤: 检查数据库连接池配置,发现最大连接数设置过低,无法应对大促期间的高并发请求。通过调整连接池配置,增加最大连接数,问题得到缓解。 总结 系统问题排查需要结合日志分析、性能监控、代码审查等多种手段,针对不同的问题场景采取相应的解决方案。通过案例分析,可以更好地理解问题排查的思路和方法,提升系统稳定性和性能。

    65010编辑于 2025-08-29
  • 来自专栏第三方工具

    线上问题排查方法

    线上问题排查方法 1 OOM问题 1.1 堆内存OOM 1.2 栈内存OOM 1.3 栈内存溢出 1.4 GC OOM 1.5 元空间OOM 2 CPU100%问题 3 接口超时问题 4 索引失效问题 link: ElasticSearch服务Java内存异常分析和排查解决 https://www.cnblogs.com/oktokeep/p/18205278 1.2 栈内存OOM 出现栈内存OOM问题的异常信息如下 如果生产环境中,出现了这个问题,可以排查一下递归调用是否正常,有可能出现了无限递归的情况。 OOM异常演示 https://www.cnblogs.com/oktokeep/p/18205280 2 CPU100%问题 3 接口超时问题 4 索引失效问题 我们可以通过explain关键字,查看 如果MQ生产者没有批量发送消息,则需要排查MQ消费者的业务逻辑中,哪些地方出现了性能问题,需要做代码优化。

    75010编辑于 2024-11-29
  • 来自专栏cywhat

    Java线上问题排查

    1、top 查看占用资源信息以及pid top 2、查看pid下绑定线程 top -Hp pid1(进程id) 3、拿到需要查询的线程pid,转换成16进制 printf '%x' pid2(线程id)

    56610编辑于 2022-11-22
  • 来自专栏运维小白

    1.8 网络问题排查

    1.8 网络问题排查 在NAT模式下变成为桥接模式(右下角,网络适配器) 桥接模式下的方框,不用去选择,打钩。

    1K60发布于 2018-02-06
  • 来自专栏苏三说技术

    线上问题排查指南

    前言 最近经常有小伙伴问我,遇到了线上问题要如何快速排查。 这非常考验工作经验了。 有些问题你以前遇到,如果再遇到类似的问题,就能很快排查出导致问题的原因。 2 CPU100%问题 线上服务出现CPU100%问题,也很常见。 出现这个问题,是由于服务长时间占用CPU资源导致的。 比如有些接口名称改了,或者接口路径中/v1/user/query改成了/v2/user/query,版本号升级了。 如果没有通知所有的接口调用方,都可能会出现请求接口返回码为404的情况。 还有一种可能也会导致请求接口报404的问题,接口地址之前注册到了API网关中,但API网关的配置出现了问题。 优先排查接口url是否修改,然后排查网关或者Nginx配置是否有问题。 我们只能查看接口的错误日志,来定位和排查问题。 建议出现异常时,把接口请求参数打印出来,方便后面复现问题。 导致这种问题的原因有很多,我们只能根据服务器上的错误日志,和相关的业务代码逐一排查

    1.2K10编辑于 2024-08-14
  • 来自专栏k-cloud-labs

    docker hang问题排查

    2.重启kubelet变更宿主状态 kubelet重启后宿主状态从Ready变为NotReady,这个问题相较docker hang死而言,没有那么复杂,所以我们先排查这个问题。 因此单纯依赖协程调用链路定位问题这条路被堵死了。 截至目前,我们已经收集了部分关键信息,同时也将问题排查范围更进一步地缩小在containerd-shim与runc之间。 接下来我们换一种思路继续排查。 3.2 进程排查 当组件的运行状态无法继续获取时,我们转换一下思维,获取容器的运行状态,也即异常容器此时的进程状态。 但是,现在我们还有如下问题并未解决: 为什么runc init会往2号FD (对应go语言的os.Stderr) 中写入超过linux pipe大小限制的数据? 后续 docker hang死的原因远非这一种,本次排查的结果也并非适用于所有场景。希望各位看官能够根据自己的现场排查问题

    1.9K50编辑于 2023-03-06
  • 来自专栏小白debug

    502问题怎么排查

    反过来,如果是服务器有问题,就返回5xx状态码。 4xx和5xx的区别 但问题就来了。 服务端都有问题了,搞严重点,服务器可能直接就崩溃了,那它还怎么给你返回状态码? 2s内处理完并将结果写到响应中,如果等不到,就会将连接给断掉。 遇到这种问题,最重要的是找出崩溃的原因,崩溃的原因就多种多样了,比如,对未初始化的内存地址进行写操作,或者内存访问越界(数组arr长度明明只有2,代码却读arr[3])。 这种情况几乎都是程序有代码逻辑问题,崩溃一般也会留下代码堆栈,可以根据堆栈报错去排查问题,修复之后就好了。比如下面这张图是golang的报错堆栈信息,其他语言的也类似。 实例已经销毁但配置没删IP 要排查这种问题也不难。 这个时候,你可以看下nginx侧是否有打印相关的日志,看下转发的IP端口是否符合预期。

    2.5K20编辑于 2022-12-02
领券