- 综合排序
- 最热优先
- 最新优先
- 来自专栏YP小站
K8S 问题排查：cgroup 内存泄露问题
3、因为3.10 的内核已经明确提示 kmem 是实验性质，我们仍然使用该特性，所以这其实不算内核的问题，是 k8s 兼容问题。 2、这个问题归根结底是软件兼容问题，3.x 自己都说了不成熟，不建议你使用该特性，k8s、docker却 还要开启这个属性，那就不是内核的责任，因为我们是云上机器，想替换4.x 内核需要虚机团队做足够的测试和评审 影响范围 k8s在 1.9版本开启了对 kmem 的支持，因此 1.9 以后的所有版本都有该问题，但必须搭配 3.x内核的机器才会出问题。 、docker 而言，kmem 属性属于正常迭代和优化，至于 3.x 的内核上存在 bug 不能兼容，不是k8s 关心的问题。 避免掉这个问题。
10.3K41发布于 2020-11-03 - 来自专栏DevOps
通过 AI Agent 自动排查 K8s 问题
原文通过 AI Agent 自动排查 K8s 问题郭子龙 发表于 2025/11/18一、背景与痛点现状痛点（Dev & Ops）：研发：排查 K8s 问题需要熟悉 kubectl/日志命令，遇到 CrashLoopBackOff @机器人 排查告警信息。自动回复结构化诊断结论、建议和关键日志片段2. @机器人，提出任何k8s相关需求，如资源优化。3. @机器人 排查容器异常退出。 三、实现方式技术流程：能力覆盖：场景支持：Pod 异常、Node 状态、Service 网络、镜像拉取、调度失败等常见问题信息聚合：容器日志、K8s 事件、资源状态、配置信息、调度详情、网络连通性等关键排查数据一次性呈现核心能力 链路追踪）、资源变更历史与回滚建议、DBA 能力（慢查询分析、锁等待排查、索引优化建议等）、打造"一站式"运维助手，统一入口解决跨域问题。 Agent 能解决日常大部分琐碎问题，显著提高排查效率，但个别疑难杂症仍需人工介入 —— 它是第一道防线和效率工具，而非完全替代。
56410编辑于 2025-11-18 - 来自专栏TKE
TKE操作指南 - TKE K8S问题排查（十八）
如果出现terminating状态的话，可以提供让容器专家进行排查，不建议直接强行删除，会可能导致一些业务上问题。 问题三：Pod 状态一直 Terminating，存在 Finalizers 问题描述：k8s 资源的 metadata 里如果存在 finalizers，那么该资源一般是由某程序创建的，并且在其创建的资源的 code = Unknown desc = failed to create a sandbox for pod "apigateway-6dc48bf8b6-l8xrw": Error response 可以在 pod 里 telnet 一下 dns 的 53 端口 # telnet 172.16.1.2 53 //连 dns service 的 cluster ip 如果检查到是网络不通，就需要排查下网络设置 解决方案：更正 service 的 targetPort 问题二十二：服务不能被访问，k8s 支持 ipvs 的 bug 问题描述：node上直接访问pod能通，访问 service 不行且集群开启了
6.7K20发布于 2019-08-14 - 来自专栏数据小冰
死锁问题排查
问题背景 最近有同事说平台的某个服务出现超时异常，让我帮忙看下原因。我进入平台后触发了该服务，并没有发现超时异常，那可能是在特定操作场景下会出现或者是一个非必现问题。 既然已知道异常服务，那可以从这里入手进行分析，又与同事沟通一番，确定了与该服务相关的一些后台模块，接下来重点排查这些模块。 下面是出现问题的参考日志，关键点已包含其中，因为原日志不方便展示。 排查方法 日志中出现了sync. 问题本质 上面问题的根因是死锁导致的，死锁也是计算机中常见出现的问题。 往往改动代码引发的死锁问题比较容易出现，像本文中出现的问题就是代码改动导致的，添加功能需求的时候关注点集中在了业务逻辑上，容易忽视锁的问题。
1.6K10编辑于 2022-08-15 - 来自专栏后端码事
线上问题排查
8、old区实例查询： jmap -histo pid | sort -n -r -k 2 | head -10 ?
92110发布于 2020-09-10 - 来自专栏dcmickey小站
排查Maven问题
排查Maven问题 mvn dependency:tree 三大技巧 第一板斧:找到传递依赖的鬼出在哪里？ } return result.toString(); } } 随便写一个测试，设置好断点，在执行到断点处按alt+F8动态执行代码 （这一步非常重要哦，经常项目组pom.xml是相同的，但是就是有些人可以运行，有些人不能运行，俗称人品问题，其实都是IDE的缓存造成的了 idea清除缓存,为了提高效率不建议采用reimport重新起开启项目的方式
77320编辑于 2022-06-09 - 来自专栏PHP开发者那些事
redis问题排查
当出现异常以后，可以从以下几个原因入手排查。 API或数据结构使用不合理 慢查询。命令slowlog get [n]。 1）使用了复杂读为O(n)的命令导致，如hgetall等。 CPU饱和的问题。 内存交换 网络问题
60920发布于 2020-06-23 - 来自专栏OSChina
线上问题排查
4565 2582 265 587 2581 Swap: 7935 1 7934 8
1K20发布于 2019-10-09 - 来自专栏解Bug之路
日常问题排查-调用超时日常问题排查-调用超时
日常问题排查-调用超时 前言 日常Bug排查系列都是一些简单Bug排查，笔者将在这里介绍一些排查Bug的简单技巧，同时顺便积累素材^_^。 Bug现场 这次的Bug是大家喜闻乐见的调用超时。 B系统在将近8s后才收到请求，也就是说B系统还没开始处理，A系统就超时了。 开始排查 那么这5秒钟时间到底消失在哪里呢？ 于是笔者，就尝试着搜索了一下 https://blogs.oracle.com/poonam/long-class-unloading-pauses-with-jdk8 发现，官方也发现了这个问题，并给予了解释 为什么会有swap 实际上对应机器的内存使用率并不高，一共8G的内存，JVM只占用到了4G左右。但swap的逻辑并仅仅是内存吃紧了才使用swap分区。 所以看上去是概率上出现GC慢的问题。 另一个机房没出问题 这时候巧的是，业务开发向笔者反映，另一个机房的相同应用确不会出现此问题。捞了下对应日志，发现其class unloading只有0.9s左右。
1.6K30编辑于 2021-12-24 - 来自专栏Pou光明
手眼标定问题排查_圆网格数据排查
经过昨天晚上的调试，发现了一个主要问题：使用圆网格标定板标定时，不能使用cornerSubPix()函数，否则寻找角点时，会导致图一的情况(裁剪为30万像素)。就找到能参考的程序，推进还是很快的。 下次把有问题的数据列下。 上面数据均未使用图片校准。 目前这个相机标定程序比较OK，至此棋盘格和圆网格两种标定板。有需要的同志可在公众号后台留言“改进的相机标定程序”。
43410编辑于 2024-04-13 - 来自专栏运维开发故事
Docker EOF问题排查
一、前言 问题排查过程，源码部分均由我的开发同事排查和记录；在征得其同意后，由我发表在此。 二、问题 某天接到客户反馈，pod的事件中出现大量的 warning event: Readiness probe failed: OCI runtime exec failed: exec failed 三、环境 特别说明：客户在负责运行业务的k8s节点上坚持开启了cpu-manager 组件 版本 k8s 1.14.x 四、排查 1、接到客户反馈后，检查该pod所在节点的kubelet日志，如下 from a closed fifo" time="2021-05-06T16:51:40.170676532+08:00" level=error msg="Error running exec 8e34e8b910694abe95a467b2936b37635fdabd2f7b7c464d 经过排查，发现 runc exec 在运行期间会读取 container 的 state.json，并使用 json decode 时出现异常。 ?
5.7K10发布于 2021-06-24 - 来自专栏linux
网络问题故障排查
网络问题故障排查 一、服务器网络卡慢 参考文档https://cloud.tencent.com/document/product/213/14633 1、检查本地访问域名速度 https://itango.tencent.com nslookup 地址 5、使用MTR分析网络延迟及丢包 https://cloud.tencent.com/document/product/213/14638 二、CDN网络访问故障 CDN网络故障原因排查
45710编辑于 2025-07-04 - 来自专栏Windows技术交流
windows update问题排查
Get-WindowsUpdateLog执行报错的时候，可以拿日志C:\Windows\Logs\WindowsUpdate\ （压缩成.7z格式）到正常的系统使用Get-WindowsUpdateLog 加参数指定源和目标位置导出
1.1K10编辑于 2024-08-21 - 来自专栏伟大程序猿的诞生
Android 混淆问题排查
问题 近期在开发过程中，突然出现混淆后程序出现运行时异常，编译是正常的，不混淆也是正常的， 错误信息如下提示 12-07 14:10:27.056 10603-10603/? ZygoteInit.java:888) at com.android.internal.os.ZygoteInit.main(ZygoteInit.java:749) 思路 1、通过上面的错误信息首先会去排查 2、考虑到关闭混淆正常，开启混淆异常，那么就定位到时混淆的问题 3、既然是混淆问题那就查看混淆配置文件proguard-rules.pro，基本的配置都已经防混淆了 4、接下来的思路就是通过反编译来查看 BaseApplication到底出了啥额问题 过程 第一步 我们看到下面反编译的代码 ? 所以以后遇到混淆的问题就按照提示一步一步排查，一定要反编译文件来分析问题，不然无法定位原因。 还有第一次混淆后建议反编译查看一下包里面的代码，有没有需要混淆的核心代码被keep掉了。
2.7K20发布于 2019-01-21 【系统问题排查方法】
常见系统问题排查方法 系统问题排查通常涉及多个层面，包括代码、数据库、网络、服务器等。以下是一些常见的排查方法： 日志分析：检查系统日志、应用日志、数据库日志等，查找异常信息或错误堆栈。 日志是排查问题的第一手资料，能够快速定位问题发生的具体位置。 数据库性能问题往往是系统瓶颈之一。 网络排查：使用ping、traceroute、netstat等工具检查网络连接是否正常，排查网络延迟或丢包问题。 排查步骤： 检查数据库连接池配置，发现最大连接数设置过低，无法应对大促期间的高并发请求。通过调整连接池配置，增加最大连接数，问题得到缓解。 总结 系统问题排查需要结合日志分析、性能监控、代码审查等多种手段，针对不同的问题场景采取相应的解决方案。通过案例分析，可以更好地理解问题排查的思路和方法，提升系统稳定性和性能。
65010编辑于 2025-08-29- 来自专栏cywhat
Java线上问题排查
1、top 查看占用资源信息以及pid top 2、查看pid下绑定线程 top -Hp pid1(进程id) 3、拿到需要查询的线程pid,转换成16进制 printf '%x' pid2(线程id) ==> 6a4 #6a4为输出结果 4、通过jstack讲java信息输出到文本 jstack pid1(进程id) > t.txt 如果jstack报错,请查看 jstack不存在 5、在t.txt文件中查找6a4 vim t.txt /6a4 6、然后找到自己的collectorl业务代码层
56610编辑于 2022-11-22 - 来自专栏第三方工具
线上问题排查方法
线上问题排查方法 1 OOM问题 1.1 堆内存OOM 1.2 栈内存OOM 1.3 栈内存溢出 1.4 GC OOM 1.5 元空间OOM 2 CPU100%问题 3 接口超时问题 4 索引失效问题 5 死锁问题 6 磁盘问题 7 MQ消息积压问题 8 调用接口报错 8.1 返回401 8.2 返回403 8.3 返回404 8.4 返回405 8.5 返回500 8.6 返回502 link: ElasticSearch服务Java内存异常分析和排查解决 https://www.cnblogs.com/oktokeep/p/18205278 1.2 栈内存OOM 出现栈内存OOM问题的异常信息如下 如果生产环境中，出现了这个问题，可以排查一下递归调用是否正常，有可能出现了无限递归的情况。 如果MQ生产者没有批量发送消息，则需要排查MQ消费者的业务逻辑中，哪些地方出现了性能问题，需要做代码优化。
75010编辑于 2024-11-29 - 来自专栏运维小白
1.8 网络问题排查
1.8 网络问题排查 在NAT模式下变成为桥接模式（右下角，网络适配器） 桥接模式下的方框，不用去选择，打钩。 ping，看是否联网 若还是不能联网，我们就还先选择为NAT模式，（因为NAT模式不会受到网络环境的影响，都可以联网） 搜ipconfig，查看IP 然后选择编辑—>网络适配器，删除vmnet8 然后选择添加网络，新建vmnet8 然后继续执行dhclient -r——>再次自动获取IP，我们输入dhclient 我们输入ifconfig，查看IP 这时，来测试下是否联网，可以先测试下网关
1K60发布于 2018-02-06 - 来自专栏苏三说技术
线上问题排查指南
前言 最近经常有小伙伴问我，遇到了线上问题要如何快速排查。 这非常考验工作经验了。 有些问题你以前遇到，如果再遇到类似的问题，就能很快排查出导致问题的原因。 1.5 元空间OOM 出现元空间OOM问题时异常信息如下： java.lang.OutOfMemoryError: Metaspace JDK8之后使用Metaspace来代替永久代，Metaspace 8 调用接口报错 我们生产环境的程序，有时候会出现，之前调用某个API一直都是正常的，但突然出现报错的情况，即返回码不是200。 那么，这种问题，我们该如何排查呢？ 还有一种可能也会导致请求接口报404的问题，接口地址之前注册到了API网关中，但API网关的配置出现了问题。 优先排查接口url是否修改，然后排查网关或者Nginx配置是否有问题。 我们只能查看接口的错误日志，来定位和排查问题。 建议出现异常时，把接口请求参数打印出来，方便后面复现问题。 导致这种问题的原因有很多，我们只能根据服务器上的错误日志，和相关的业务代码逐一排查。
1.2K10编辑于 2024-08-14 - 来自专栏k-cloud-labs
docker hang问题排查
2.重启kubelet变更宿主状态 kubelet重启后宿主状态从Ready变为NotReady，这个问题相较docker hang死而言，没有那么复杂，所以我们先排查这个问题。 以往针对docker 1.13.1版本的排查都发现了一些线索，但是并没有定位到根因，最终绝大多数也是通过重启docker解决。 因此单纯依赖协程调用链路定位问题这条路被堵死了。 截至目前，我们已经收集了部分关键信息，同时也将问题排查范围更进一步地缩小在containerd-shim与runc之间。 接下来我们换一种思路继续排查。 3.2 进程排查 当组件的运行状态无法继续获取时，我们转换一下思维，获取容器的运行状态，也即异常容器此时的进程状态。 后续 docker hang死的原因远非这一种，本次排查的结果也并非适用于所有场景。希望各位看官能够根据自己的现场排查问题。
1.9K50编辑于 2023-03-06
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号