- 综合排序
- 最热优先
- 最新优先
- 来自专栏编程从踩坑到跳坑
Mysql生产死锁问题定位
# Mysql生产死锁问题定位 生产上一个消费mq消息的服务出现了死锁问题，通过命令获取到的mysql日志如下： ===================================== 2023-06
41330编辑于 2023-11-09 - 来自专栏日常杂记
生产集群spark报错问题
5、考虑是否存在数据倾斜的问题 总结 1、org.apache.spark.shuffle.FetchFailedException 1、问题描述 这种问题一般发生在有大量shuffle操作的时候,task connect to spark047215/192.168.47.215:50268 当前的配置为每个executor使用1cpu,5GRAM,启动了20个executor 3、解决方案 一般遇到这种问题提高 2、Executor&Task Lost 1、问题描述 因为网络或者gc的原因,worker或executor没有接收到executor或task的心跳反馈 2、报错提示 executor lost WARN spark.storage.blockManagerSlaveTimeoutMs spark.shuffle.io.connectionTimeout spark.rpc.askTimeout or spark.rpc.lookupTimeout 3、倾斜 1、问题描述
2.9K20发布于 2021-03-17 - 来自专栏句小芒的学习专栏
php 生产kafka 不生效问题
记录一下php 调用 kafka 生产者代码但是消费者端口收不到数据的情况 PHP代码如下： <? 结论： 在生产者还未将 缓冲区数据数据发送到主题中时，该进程已经结束导致消费者终端不能接收到数据。 ---- 6/10 更新 调用flush() 函数来 ，使kafka生产者发送缓冲区中的消息记录（record）可以被立即发送。并且一直阻塞，直到这些消息记录都发送完成。 <?
2.2K20编辑于 2022-12-29 - 来自专栏JavaEdge
大厂的线上生产问题排查指南
生产环境 排查难度最大： 生产环境权限管控严格，一般不允许调试工具从远程附加进程 生产环境出现问题要求以恢复为先，难以给你充足时间排查问题。 但，因为生产环境的流量真实、访问量大、网络权限管控严格、环境复杂，因此更容易出问题，也是出问题最多的环境。 监控 生产环境出现问题时，因为要尽快恢复应用，就不可能保留完整现场用于排查和测试。 、WARN用于需要关注的问题、ERROR用于阻断流程的错误 对于监控，在生产环境排查问题时，首先就需要开发和运维团队做好完备的监控方案： 主机层面，对CPU、内存、磁盘、网络等资源做监控。 通常情况下，我们会为生产环境的Java应用设置-XX:+HeapDumpOnOutOfMemoryError和-XX:HeapDumpPath=…这2个JVM参数，用于在出现OOM时保留堆快照。 重点回顾 今天，我和你总结分享了分析生产环境问题的套路。 第一，分析问题一定是需要依据的，靠猜是猜不出来的，需要提前做好基础监控的建设。监控的话，需要在基础运维层、应用层、业务层等多个层次进行。
4K21发布于 2021-02-23 - 来自专栏运维ABC
生产环境自启动失败问题排查
startapp.sh脚本内容模拟生产上应用用户app启动的两个进程，分别用新建的目录test01和文件test.txt替换，若能正常生成文件且文件属主为app:app，则自启脚本达到目标。 二、生产复现 1.重启前系统检查 重启服务器，复现生产遇到的问题，重启前检查： [root@node01 ]# route -n [root@node01 ]# cd /tmp [ route -n [root@node01 ]# cd /tmp [root@node01 /tmp]# l 发现路由新增正常，两个文件也有生成，但是属主为root，不是希望的app，和生产出现的问题一致 三、问题排查解决 1.排查思路 路由新增了，而且test01和test.txt两个文件也产生了，证明脚本startall.sh执行没有问题，重点查看脚本startapp.sh。 /tmp]# ll|grep tes 验证前删除路由信息并删除test目录和文件 再次重启并验证 [root@node01 /tmp]# init 6 发现新生成的文件属主为app，符合预期，问题解决
63310编辑于 2021-12-16 - 来自专栏捡田螺的小男孩
遇到生产问题，你会慌嘛？
刚毕业的孩子或者工作没多久的程序员，遇到生产问题，很容易就惊慌失措。其实，我们都知道，着急是没有用，因为急是解决不了问题的。 今天田螺哥跟大家一起来聊聊，如何应对生产问题。 遇到生产问题时，着急是人的一种正常反应，我们要做的是，冷静一下。一定要调整好自己的心态。 还有一点，着急的话，很容易就分散你解决问题的精力！所以遇到生产问题，需要先调整好自己心态，泰然处之。 2. 专注于解决问题！ 调整好心态之后呢，我们需要专注于如何解决问题。 我们要的，就是快速解决问题！ 5. 技术输出，多总结生产问题 解决完生产问题后，建议大家可以写写技术总结，为什么会出现这个问题，如何规避解决这个问题等等。 之前有篇生产问题的技术总结，大家可以看下哈： 生产问题分析！delete in子查询不走索引？！ 6. 平时开发设计时，统筹兼顾！ 从出现的生产问题，可以反思我们平时开发设计时，要怎么想得周全一点。
46520发布于 2021-11-19 - 来自专栏软件开发 -- 分享 互助 成长
生产者-消费者问题
接上一篇进程之间的同步和互斥，生产者-消费者问题常常用来解决多进程并发执行过程中的同步和互斥问题。 原理如下： 把一个长度为n(n>0)的有界缓冲区与一群生产者进程P1,P2,…,Pm和一群消费者进程C1,C2,…,Ck联系起来，只要缓冲区未满，生产者就可以往缓冲区中放产品，只要缓冲区未空，消费者就可以从中取走产品消耗 (1)同步条件：生产者只有在至少有一个临界区的单元为空的时候，才能生产产品，消费者只有在至少有一个临界区被填上产品的时候，才能消耗产品，所以设置两个同步变量，avail为生产者的私有变量，初值为n，full (2)互斥条件:生产者和消费者不能同时访问临界资源，所以设置一个互斥变量mutex初始值为1. 生产者进程： 消费者进程： p(avail) p(full) p(mutex)
1K80发布于 2018-02-05 - 来自专栏Java学习录
生产者消费者问题
生产者消费者模型具体来讲，就是在一个系统中，存在生产者和消费者两种角色，他们通过内存缓冲区进行通信（解耦），生产者将消费者需要的资源生产出来放到缓冲区，消费者把从缓冲区把资源拿走消费。 在这个模型中，最关键就是内存缓冲区为空的时候消费者必须等待，而内存缓冲区满的时候，生产者必须等待。其他时候就是一边在生产一边在消费。 当生产者调用add方法时，i+1，即代表生产出了一件资源。当生产了一个资源以后就使用notifyAll通知所有等待在此资源文件的线程。 p1号线程生产一件资源,当前资源1个生产者p2号线程生产一件资源,当前资源2个生产者p3号线程生产一件资源,当前资源3个消费者c1号线程拿走了一件资源,当前资源2个消费者c2号线程拿走了一件资源,当前资源 1个生产者p1号线程生产一件资源,当前资源2个生产者p3号线程生产一件资源,当前资源3个生产者p2号线程生产一件资源,当前资源4个。。。
79000发布于 2019-04-18 - 来自专栏java架构计划训练营
生产者消费者问题
问题背景 生产者和消费者共享同一个资源，并且生产者和消费者之间相互依赖，互为条件 对于生产者，生产了产品之后，又需要马上通知消费者消费，而生产足量时，暂停生产，等待消费者消费 对于消费者，在消费之后，要通知生产者生产 ；而无产品消费时，暂停消费，等待生产者生产 在生产者消费者问题中，仅有synchronized是不够的 synchronized可以阻止并发更新同一个共享资源，实现了同步 synchronized不能用来实现不同线程之间的消息传递 /消费者模式"（管程法） 生产者：负责生产数据的模块（可能是方法、对象、线程、进程） 消费者：负责处理数据的模块（可能是方法、对象、线程、进程） 缓冲区：消费者不能直接使用生产者生产的产品，他们之间设立了 "缓冲区"；生产者将生产好的产品放入缓冲区，消费者从缓冲区获得产品 public class TestPC { public static void main(String[] args) { } count--; //数量减少 Product product = products[count]; //此次消费的产品 //消费完，通知生产者生产
77410编辑于 2022-06-14 - 来自专栏魔都程序缘
RocketMQ生产问题一般如何排查？
从RocketMQ架构来看，用户在使用客户端生产时时不时会遇到一些问题，这里做了一些总结，大家参考初始化生产者实例报错在使用rocketmq spring boot starter或者rocketmq ，如果有重复的生产者注册进来会注册失败。 ：启动生产者，启动路由定时更新检查线程， 检查缓存topicPublishInfoTable中的topic的路由信息是否变化用户第一次调用生产者send方法，send方法内部查询topicPublishInfoTable 原因很多， 这里例举常见的问题：客户端访问Broker网络不通这种情况客户端处理不了，最好找服务维护人员发送到Broker报错可能的问题和分析处理：在确定可以ping通Broker后，一般Broker报错会有错误信息 以上是生产报错， 下一篇我们分享消费失败的问题排查方式。生产耗时比较大怎么定位？https://cloud.tencent.com/developer/article/2192667
2.8K40编辑于 2023-03-03 - 来自专栏LieBrother
复盘一次生产问题
今天讲讲上周末一次生产问题的复盘。 1 事情经过 周日中午从外伶仃岛回来就直奔公司，因为生产出了些问题。问题是这样的：HBase 的一些节点挂了，导致一些数据丢失。 2 复盘 这周也是持续在跟进这个生产历史问题，最终发现是系统框架的 Bug，在数据处理的时候，私有的数据被公共的数据覆盖导致的。 这段时间也一直在思考这次生产问题，从马后炮来说，其实可以很快就把卡件问题解决，但是其中却经历了整整 10 个小时的折腾，肯定是有原因的，通过这篇文章复盘一下。 另外一处则是我对待生产出现的历史问题，一直在通过检查业务代码和 SQL 配置去尝试解决这个问题，因为以前也是这样使用的，以前没出现问题。 2.2 明确轻重缓急 当时最紧要的事情是解决生产卡件的问题。
64520发布于 2019-03-29 - 来自专栏大数据，java，Python和前端
sqoop生产常见问题及优化总结
在前期数仓建设中，尤其是DB库（MySQL）数据同步时，对Sqoop生产中遇到的常见问题进行总结并做好记录以便后续查看。 1、Sqoop 空值问题 Hive中的null在底层是以“\N”来存储，而MySQL中的null在底层就是null，这就导致了两边同步数据时存储不一致问题。 2、Sqoop 数据一致性问题 （1）：如在Sqoop在导出到Mysql时，使用4个Map任务，过程中有2个任务失败，那此时MySQL中存储了另外两个Map任务导入的数据，此时运营正好看到了这个报表数据 而开发工程师发现任务失败后，会调试问题并最终将全部数据正确的导入MySQL，那后面老板再次看报表数据，发现本次看到的数据与之前的不一致，这在生产环境是不允许的。 您可以通过--staging-table选项指定登台表来解决此问题，该选项充当用于暂存导出数据的辅助表，分阶段数据最终在单个事务中移动到目标表。
34510编辑于 2025-07-11 - 来自专栏软件生产异常问题排查分享
生产环境消费kafka消息异常问题分析
问题描述： 某个客户在针对生产环境中，对ECIF数据库同步改造为使用kafka进行数据同步后，测试环境也偶尔发生消费数据存在空的问题，当时以为是调度系统间隔太慢，导致数据没有读取到，但是在上线之后 ，生产存在同样的问题，无法消费消息数据； 问题分析： 1.由于问题比较突然，对于kafka的问题分析需要结合消费端和生产端以及服务节点同时分析。 ，将地址换成具体的生产IP和端口) kafka-consumer-groups.sh --bootstrap-server XXX.XXX.XXX.XXX:9092 --describe --group 7.这个问题比较棘手的是，生产上不能随意进行分析和调试，好在测试环境有可以复现这个问题的情况。 8.所以需要紧急在测试环境进行问题复现，然后进行可能出现的问题进行分析。 17.总结，以上问题是借助了详细的框架日志分析出了具体的交互过程，从而排查出问题出在服务端处理慢，导致超时无法拿到后续的应答数据做处理；
50730编辑于 2023-11-08 如何解决生产计划做不好，生产管理混乱的问题？
在制造业生产管理中，生产计划混乱是常见难题：车间任务优先级不明、采购与生产衔接脱节、库存积压与缺料并存，导致重复生产、漏单停摆等问题频发。 、一键下发，为企业提供理顺生产计划的实用方案，助力解决计划混乱、效率低下的问题。 注：本文示例所用方案模板：简道云生产管理系统，给大家示例的是一些通用的功能和模块，都是支持自定义修改的，你可以根据自己的需求修改里面的功能。一、生产计划混乱，问题通常有三个为什么计划总是做不好？ 聚焦于装配流程的顺序、精度、完整性；通常处于生产流程的最后阶段，直接关系产品交付；对装配效率、质量、人员安排要求较高。三、生产任务的计算逻辑，按BOM层级拆解那问题来了：知道有三种任务，到底怎么拆？ 五、结语很多工厂的管理者，都在为“计划乱”“现场乱”焦头烂额， 但其实，解决这些问题的答案，从来不是加班、靠人熬，也不是多招几个计划员、仓管员。
50212编辑于 2025-07-21- 来自专栏Java放弃之路
如何快速定位Java生产环境中的问题
前言作为一名略懂Java的大数据开发，生产环境出问题几乎是家常便饭。在处理大数据量的开发前提下， 上线程序之后CPU 飙高、内存溢出、数据错乱 的问题时常发生。 为了降低上线对系统的影响，通常时间窗口都在凌晨而且较短，这就要求我们具备快速定位和修复问题的能力。思路当生产环境出现问题的时候，首先要先确定问题的范围，并考虑以下问题：这个问题有多严重？ 查看监控和日志如果在本地的开发环境中，能够复现问题的话，我们可以复现问题。 其次，查看系统或者程序中的日志（特别是 ERROR 级别的日志），生产环境通常会有 ELK（Elasticsearch + Logstash + Kibana），如果没有，也可以远程 SSH 连接服务器 服务器CPU负载过高我曾经遇到过这样的问题：程序在开发环境和生产环境都没有问题，但是在运行一段时间之后，服务器的 CPU 就开始占用过高，96线程的CPU排队的任务（load）居然有200多，超出了CPU
65110编辑于 2025-03-21 - 来自专栏图灵技术域
生产者消费者问题Java实现
生产消费者模型 多线程并发应用程序有一个经典的模型，即生产者/消费者模型。系统中，产生消息的是生产者，处理消息的是消费者，消费者和生产者通过一个缓冲区进行消息传递。 生产者产生消息后提交到缓冲区，然后通知消费者可以从中取出消息进行处理。消费者处理完信息后，通知生产者可以继续提供消息。 要实现这个模型，关键在于消费者和生产者这两个线程进行同步。 也就是说：只有缓冲区中有消息时，消费者才能够提取消息；只有消息已被处理，生产者才能产生消息提交到缓冲区。 生产消费者模式如下图。 ? public void run() { try { int i = 1; while (true) { System.out.println("生产者生产
61910发布于 2021-05-21 - 来自专栏一猿小讲
定位生产问题时，异常堆栈莫名丢了，何解？
今天分享的这个知识有点冷，相信很多 Java 程序员很少遇到，废话不多说，直接进入排查问题的真实讨论现场。 小 猿：有个 NPE 异常，有空帮忙看看是哪里出的？ 小 猿：有堆栈我就自己找问题了，就不劳驾您老啦（捂嘴笑）。 架构狮：是不是 NPE 报了好多次？ 小 猿：是。 思考一：查问题也太不方面了，如何让异常堆栈信息展示呢？ 首先要清楚，JVM 会默认开启 Fast Throw 优化。 ArrayIndexOutOfBoundsException ArrayStoreException ClassCastException 烟味灭，酒过半，Java 攻城狮小猿彻底掌握了技巧，嘴角洋溢着笑容，此番操作不但解决了生产问题 ，而且又 get 一装逼技能... ... 3 寄语写最后 本次，主要对小猿在排查生产上遇到的一个匪夷所思的问题，作为基础进行展开，简单对 JVM 特定类型的异常的 fast throw 优化进行了解
1.5K20发布于 2020-08-18 - 来自专栏民工哥技术之路
Linux企业生产常见问题集合（一）答案
之前民工哥发过关于企业生产问题集合一，很多小伙伴们在后台问我，民工哥啊，后面会有答案出来吗？ 写出步骤 先说下出现的原因吧，出现这类情况原因很多 总结三大类： 1：网络问题 2：代码问题 3：配置问题 解决方法如下： location / {
61320发布于 2020-09-16 - 来自专栏JAVA乐园
生产环境 OOM 与 GC 问题的处理思路
有一定 Java 工作经验的朋友们，免不了要遇到过，或者处理过 OOM 和 GC 问题。OOM 和 GC 问题也是面试时，经常被面试官问题的问题。分享一下多年积累的一些小经验，共同进步。 0x01：未雨绸缪 部署到生产环境的应用，无论是 C/S 结构，还是 B/S 结构的应用服务。肯定有基于 Shell 脚本编写的启动脚本。 怎么对线上的 OOM 和 GC 问题进行未雨绸缪呢？那就是认为自己部署的任何服务都是会发生 OOM 和 GC 问题的。在启动脚本里加上相应的参数，防止真的出现 OOM 和 GC 问题时，无证可查。 这时对这些正在提供生成服务的应用服务进行分析就需要额外小心，稍不留神就造成更严重的生产事故，给公司带来严重的损失，同时也给自己的考核带来不利影响。 这么多监视工具和故障排除工具中，常用的是 jps、jstat、jstack 和 jmap 0x03：线下分析 通过未雨绸缪和线上分析还没法肉眼看出一些问题的端倪来的话，为了不影响生产。
1.3K30发布于 2021-03-22 - 来自专栏用户画像
Java实现生产者消费者问题
队列的应用场景为： 一个生产者线程将int类型的数入列，一个消费者线程将int类型的数出列 image.png 1、Consumer.java package com.week.pv; import int temp = r.nextInt(100); System.out.println(Thread.currentThread().getId() + " 生产了
60330发布于 2018-08-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号