- 综合排序
- 最热优先
- 最新优先
- 来自专栏编程从踩坑到跳坑
Mysql生产死锁问题定位
# Mysql生产死锁问题定位 生产上一个消费mq消息的服务出现了死锁问题，通过命令获取到的mysql日志如下： ===================================== 2023-06 -28 09:53:31 0x7f6ca09ff700 INNODB MONITOR OUTPUT ===================================== Per second averages ------------------------ LATEST DETECTED DEADLOCK ------------------------ 2023-06-27 21:38:31 0x7f6ca0387700 len 30; hex 326339653430386538383935663563313031383864366334656464343166; asc 2c9e408e8895f5c10188d6c4edd41f len 30; hex 326339653430386538383935663563313031383864366334656464343166; asc 2c9e408e8895f5c10188d6c4edd41f
41530编辑于 2023-11-09 - 来自专栏日常杂记
生产集群spark报错问题
5、考虑是否存在数据倾斜的问题 总结 1、org.apache.spark.shuffle.FetchFailedException 1、问题描述 这种问题一般发生在有大量shuffle操作的时候,task connect to spark047215/192.168.47.215:50268 当前的配置为每个executor使用1cpu,5GRAM,启动了20个executor 3、解决方案 一般遇到这种问题提高 2、Executor&Task Lost 1、问题描述 因为网络或者gc的原因,worker或executor没有接收到executor或task的心跳反馈 2、报错提示 executor lost WARN spark.storage.blockManagerSlaveTimeoutMs spark.shuffle.io.connectionTimeout spark.rpc.askTimeout or spark.rpc.lookupTimeout 3、倾斜 1、问题描述
2.9K20发布于 2021-03-17 - 来自专栏iSharkFly
Confluence 6 生产环境备份策略 原
一旦你的 Confluence 安装实例中超过了上千的页面，相对数据库自带的数据备份来说，XML 的备份方案就显得没有那么有效了。XML 的备份方法需要占用服务器的大量内存来运行，同时在恢复的时候也比较容易失败。
51320发布于 2019-01-31 - 来自专栏千里行走
pulsar-6：生产环境解决pulsar-flink-connector导致磁盘满的问题
目录 (1).pulsar生产集群规模 (2).集群磁盘爆炸原因与解决 1.磁盘爆炸原因 2.恢复集群 3.解决方式 (1).pulsar生产集群规模 生产环境集群（为了省钱是一个最小集群）： 在aws 注意这里我设置1秒是因为业务是内测阶段所以可以，生产这么设你可以跑路了！！！ create-partitioned-topic -p 12 persistent://xxx/flink/topic 处理完后也得到了pulsar官方的回复（pulsar官方还是很给力的），并且在相关issue中看到类似问题和解决方式
94110发布于 2021-11-10 - 来自专栏句小芒的学习专栏
php 生产kafka 不生效问题
记录一下php 调用 kafka 生产者代码但是消费者端口收不到数据的情况 PHP代码如下： <? 结论： 在生产者还未将 缓冲区数据数据发送到主题中时，该进程已经结束导致消费者终端不能接收到数据。 ---- 6/10 更新 调用flush() 函数来 ，使kafka生产者发送缓冲区中的消息记录（record）可以被立即发送。并且一直阻塞，直到这些消息记录都发送完成。 <?
2.2K20编辑于 2022-12-29 - 来自专栏SAP最佳业务实践
SAP最佳业务实践:生产订单拆分-按库存生产(248)-6生产订单结算
一般工厂期末结算(181)（可选） 在此活动中，执行工厂的期末财务会计核算活动。 作为月末结算的一部分集中执行这些活动。有关月末结算过程的更多信息，请参阅期末结算“一般”工厂的业务流程文档。 请注意，
1.1K60发布于 2018-03-27 - 来自专栏JavaEdge
大厂的线上生产问题排查指南
生产环境 排查难度最大： 生产环境权限管控严格，一般不允许调试工具从远程附加进程 生产环境出现问题要求以恢复为先，难以给你充足时间排查问题。 但，因为生产环境的流量真实、访问量大、网络权限管控严格、环境复杂，因此更容易出问题，也是出问题最多的环境。 监控 生产环境出现问题时，因为要尽快恢复应用，就不可能保留完整现场用于排查和测试。 、WARN用于需要关注的问题、ERROR用于阻断流程的错误 对于监控，在生产环境排查问题时，首先就需要开发和运维团队做好完备的监控方案： 主机层面，对CPU、内存、磁盘、网络等资源做监控。 通常情况下，我们会为生产环境的Java应用设置-XX:+HeapDumpOnOutOfMemoryError和-XX:HeapDumpPath=…这2个JVM参数，用于在出现OOM时保留堆快照。 重点回顾 今天，我和你总结分享了分析生产环境问题的套路。 第一，分析问题一定是需要依据的，靠猜是猜不出来的，需要提前做好基础监控的建设。监控的话，需要在基础运维层、应用层、业务层等多个层次进行。
4K21发布于 2021-02-23 - 来自专栏精益六西格玛资讯
6个工具，搞定生产现场管理和改善！
近期，收到很多留言问：哪些工具方法可以助力生产现场管理和改善？本文，简析如下：1、5W2H法。是一种综合分析的方法，适用于解决问题。什么事情（What）？什么地方（Where）？什么时间（What）？ 6、5S管理。5S是整理、整顿、清扫、清洁、素养的简称。5S活动是一项基本活动，是现场一切活动的基础。 7、现场异常处理“三即三现”，现场发现问题时，一旦发现问题应：● 立即赶往现场● 即时了解现场（从而切中要害，产生解决问题的对策)● 即刻处理现况目的是帮助生产现场的管理者，端正正确的管理作风，准确把握问题 、查明真相，实施最有效的对策，到现场解决实际问题。
79630编辑于 2023-02-02 - 来自专栏运维ABC
生产环境自启动失败问题排查
startapp.sh脚本内容模拟生产上应用用户app启动的两个进程，分别用新建的目录test01和文件test.txt替换，若能正常生成文件且文件属主为app:app，则自启脚本达到目标。 二、生产复现 1.重启前系统检查 重启服务器，复现生产遇到的问题，重启前检查： [root@node01 ]# route -n [root@node01 ]# cd /tmp [ route -n [root@node01 ]# cd /tmp [root@node01 /tmp]# l 发现路由新增正常，两个文件也有生成，但是属主为root，不是希望的app，和生产出现的问题一致 三、问题排查解决 1.排查思路 路由新增了，而且test01和test.txt两个文件也产生了，证明脚本startall.sh执行没有问题，重点查看脚本startapp.sh。 ]# cd /tmp [root@node01 /tmp]# ll|grep tes 验证前删除路由信息并删除test目录和文件 再次重启并验证 [root@node01 /tmp]# init 6
64010编辑于 2021-12-16 - 来自专栏捡田螺的小男孩
遇到生产问题，你会慌嘛？
刚毕业的孩子或者工作没多久的程序员，遇到生产问题，很容易就惊慌失措。其实，我们都知道，着急是没有用，因为急是解决不了问题的。 今天田螺哥跟大家一起来聊聊，如何应对生产问题。 遇到生产问题时，着急是人的一种正常反应，我们要做的是，冷静一下。一定要调整好自己的心态。 还有一点，着急的话，很容易就分散你解决问题的精力！所以遇到生产问题，需要先调整好自己心态，泰然处之。 2. 专注于解决问题！ 调整好心态之后呢，我们需要专注于如何解决问题。 我们要的，就是快速解决问题！ 5. 技术输出，多总结生产问题 解决完生产问题后，建议大家可以写写技术总结，为什么会出现这个问题，如何规避解决这个问题等等。 之前有篇生产问题的技术总结，大家可以看下哈： 生产问题分析！delete in子查询不走索引？！ 6. 平时开发设计时，统筹兼顾！ 从出现的生产问题，可以反思我们平时开发设计时，要怎么想得周全一点。
47320发布于 2021-11-19 - 来自专栏软件开发 -- 分享 互助 成长
生产者-消费者问题
接上一篇进程之间的同步和互斥，生产者-消费者问题常常用来解决多进程并发执行过程中的同步和互斥问题。 原理如下： 把一个长度为n(n>0)的有界缓冲区与一群生产者进程P1,P2,…,Pm和一群消费者进程C1,C2,…,Ck联系起来，只要缓冲区未满，生产者就可以往缓冲区中放产品，只要缓冲区未空，消费者就可以从中取走产品消耗 (1)同步条件：生产者只有在至少有一个临界区的单元为空的时候，才能生产产品，消费者只有在至少有一个临界区被填上产品的时候，才能消耗产品，所以设置两个同步变量，avail为生产者的私有变量，初值为n，full (2)互斥条件:生产者和消费者不能同时访问临界资源，所以设置一个互斥变量mutex初始值为1. 生产者进程： 消费者进程： p(avail) p(full) p(mutex)
1K80发布于 2018-02-05 - 来自专栏Java学习录
生产者消费者问题
生产者消费者模型具体来讲，就是在一个系统中，存在生产者和消费者两种角色，他们通过内存缓冲区进行通信（解耦），生产者将消费者需要的资源生产出来放到缓冲区，消费者把从缓冲区把资源拿走消费。 在这个模型中，最关键就是内存缓冲区为空的时候消费者必须等待，而内存缓冲区满的时候，生产者必须等待。其他时候就是一边在生产一边在消费。 当生产者调用add方法时，i+1，即代表生产出了一件资源。当生产了一个资源以后就使用notifyAll通知所有等待在此资源文件的线程。 p1号线程生产一件资源,当前资源1个生产者p2号线程生产一件资源,当前资源2个生产者p3号线程生产一件资源,当前资源3个消费者c1号线程拿走了一件资源,当前资源2个消费者c2号线程拿走了一件资源,当前资源 1个生产者p1号线程生产一件资源,当前资源2个生产者p3号线程生产一件资源,当前资源3个生产者p2号线程生产一件资源,当前资源4个。。。
79500发布于 2019-04-18 - 来自专栏java架构计划训练营
生产者消费者问题
问题背景 生产者和消费者共享同一个资源，并且生产者和消费者之间相互依赖，互为条件 对于生产者，生产了产品之后，又需要马上通知消费者消费，而生产足量时，暂停生产，等待消费者消费 对于消费者，在消费之后，要通知生产者生产 ；而无产品消费时，暂停消费，等待生产者生产 在生产者消费者问题中，仅有synchronized是不够的 synchronized可以阻止并发更新同一个共享资源，实现了同步 synchronized不能用来实现不同线程之间的消息传递 /消费者模式"（管程法） 生产者：负责生产数据的模块（可能是方法、对象、线程、进程） 消费者：负责处理数据的模块（可能是方法、对象、线程、进程） 缓冲区：消费者不能直接使用生产者生产的产品，他们之间设立了 "缓冲区"；生产者将生产好的产品放入缓冲区，消费者从缓冲区获得产品 public class TestPC { public static void main(String[] args) { } count--; //数量减少 Product product = products[count]; //此次消费的产品 //消费完，通知生产者生产
78510编辑于 2022-06-14 - 来自专栏iSharkFly
Confluence 6 确定一个生产系统备份方案
为了避免数据不完整和备份中断，我们推荐你在备份和恢复 Confluence 数据库的时候关闭 Confluence 实例。
49220发布于 2019-01-31 - 来自专栏魔都程序缘
RocketMQ生产问题一般如何排查？
从RocketMQ架构来看，用户在使用客户端生产时时不时会遇到一些问题，这里做了一些总结，大家参考初始化生产者实例报错在使用rocketmq spring boot starter或者rocketmq ，如果有重复的生产者注册进来会注册失败。 ：启动生产者，启动路由定时更新检查线程， 检查缓存topicPublishInfoTable中的topic的路由信息是否变化用户第一次调用生产者send方法，send方法内部查询topicPublishInfoTable 原因很多， 这里例举常见的问题：客户端访问Broker网络不通这种情况客户端处理不了，最好找服务维护人员发送到Broker报错可能的问题和分析处理：在确定可以ping通Broker后，一般Broker报错会有错误信息 以上是生产报错， 下一篇我们分享消费失败的问题排查方式。生产耗时比较大怎么定位？https://cloud.tencent.com/developer/article/2192667
2.8K40编辑于 2023-03-03 - 来自专栏LieBrother
复盘一次生产问题
今天讲讲上周末一次生产问题的复盘。 1 事情经过 周日中午从外伶仃岛回来就直奔公司，因为生产出了些问题。问题是这样的：HBase 的一些节点挂了，导致一些数据丢失。 2 复盘 这周也是持续在跟进这个生产历史问题，最终发现是系统框架的 Bug，在数据处理的时候，私有的数据被公共的数据覆盖导致的。 这段时间也一直在思考这次生产问题，从马后炮来说，其实可以很快就把卡件问题解决，但是其中却经历了整整 10 个小时的折腾，肯定是有原因的，通过这篇文章复盘一下。 另外一处则是我对待生产出现的历史问题，一直在通过检查业务代码和 SQL 配置去尝试解决这个问题，因为以前也是这样使用的，以前没出现问题。 2.2 明确轻重缓急 当时最紧要的事情是解决生产卡件的问题。
65020发布于 2019-03-29 - 来自专栏大数据，java，Python和前端
sqoop生产常见问题及优化总结
在前期数仓建设中，尤其是DB库（MySQL）数据同步时，对Sqoop生产中遇到的常见问题进行总结并做好记录以便后续查看。 1、Sqoop 空值问题 Hive中的null在底层是以“\N”来存储，而MySQL中的null在底层就是null，这就导致了两边同步数据时存储不一致问题。 2、Sqoop 数据一致性问题 （1）：如在Sqoop在导出到Mysql时，使用4个Map任务，过程中有2个任务失败，那此时MySQL中存储了另外两个Map任务导入的数据，此时运营正好看到了这个报表数据 而开发工程师发现任务失败后，会调试问题并最终将全部数据正确的导入MySQL，那后面老板再次看报表数据，发现本次看到的数据与之前的不一致，这在生产环境是不允许的。 您可以通过--staging-table选项指定登台表来解决此问题，该选项充当用于暂存导出数据的辅助表，分阶段数据最终在单个事务中移动到目标表。
36210编辑于 2025-07-11 - 来自专栏RocketMQ原理与应用
RocketMQ实战—6.生产优化及运维方案
增加消息限流功能保证其高可用6.从Kafka迁移到RocketMQ的双写双读方案1.RocketMQ集群如何进行权限机制的控制(1)RocketMQ进行权限控制的必要性(2)在RocketMQ中实现权限控制的步骤 步骤四：最后在生产者和消费者中，指定分配到的RocketMQ账号。这样，当生产者或消费者使用一个账号时，就只能访问有权限的Topic。 3.如何处理RocketMQ的百万消息积压问题(1)产生消息积压问题的案例背景(2)直接丢弃消息来解决消息积压问题(3)在旧Topic上扩容消费者来解决消息积压问题(4)通过新Topic扩容消费者来解决消息积压问题 (5)消息积压问题的处理总结(1)产生消息积压问题的案例背景曾经有一个系统，它就是由生产者和消费者两部分组成的。 6.从Kafka迁移到RocketMQ的双写双读方案假设系统原来使用的MQ是Kafka，现在要从Kafka迁移到RocketMQ，那么这个迁移过程应该怎么做？
50410编辑于 2025-04-15 - 来自专栏软件生产异常问题排查分享
生产环境消费kafka消息异常问题分析
问题描述： 某个客户在针对生产环境中，对ECIF数据库同步改造为使用kafka进行数据同步后，测试环境也偶尔发生消费数据存在空的问题，当时以为是调度系统间隔太慢，导致数据没有读取到，但是在上线之后 ，生产存在同样的问题，无法消费消息数据； 问题分析： 1.由于问题比较突然，对于kafka的问题分析需要结合消费端和生产端以及服务节点同时分析。 ，将地址换成具体的生产IP和端口) kafka-consumer-groups.sh --bootstrap-server XXX.XXX.XXX.XXX:9092 --describe --group defaultConsumerGroup 来查看消息的情况： 6.通过运维查找结果，看到队列中存在消息堆积的都是和理财相关的节点，此时问题基本上是消费端的概率比较大。 7.这个问题比较棘手的是，生产上不能随意进行分析和调试，好在测试环境有可以复现这个问题的情况。 8.所以需要紧急在测试环境进行问题复现，然后进行可能出现的问题进行分析。
51630编辑于 2023-11-08 - 来自专栏全栈程序员必看
Eric6安装问题
但是最近又发现了一个开发环境Eric6,使用起来更加方便，但是安装比较麻烦。 网址：https://sourceforge.net/projects/eric-ide/files/eric6/stable/6.1.9/ 注意安装对应的版本,下载红色标注的文件，一个是Eric6的压缩包 解压Eric6压缩文件，把解压后的文件名改为eric6,然后把它拷贝到python的安装根目录下（D:\Python），再解压汉化包，把里面的文件都拷贝到eric6目录下，注意有同样的文件就全部替换。 复制完成后检查…Python\eric6\eric\i18n目录下文件eric6_zh_CN.GB.qm和eric6_zh_CN.GB.ts，以及eric6目录下文件install.py和install-i18n.py 4、配置Eric6并汉化 双击D:\python\eric6\eric\eric6_configure.py,配置信息 最后双击D:\python\eric6\eric\eric6.py
78330编辑于 2022-07-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号