- 综合排序
- 最热优先
- 最新优先
- 来自专栏苏三说技术
生产环境一次诡异的NPE问题，反转了4次
确认了那条有问题的mq消息,它的header信息中确实没有userId和userName字段。 莫非是mq生产者没有往header中塞用户信息？这是需要重点怀疑的地方。 因为mq生产者是另外一个团队写的代码，在EOA（签报系统）回调他们系统时，会给我们发mq消息，通知我们签报状态。 而EOA是第三方的系统，用户体系没有跟我们打通。 4.第三次反转 终于有点思路，我带着一份喜悦，准备开始证明刚刚的猜测。 但事实证明，我真的高兴的太早了，马上被啪啪打脸。 这次是反转最快的一次。 怎么回事呢？ 这次抱着试一下的心态，根据messageID去查了mq生产者的日志，查到了一条消息的发送日志。 这次眼睛擦得雪亮，发现了一个小细节：时间不对。 最后的那条消息不可能是其他的mq生产者发出的，因为messageID是唯一的，其他的生产者不可能产生一样的messageID。 那么接下来，只有一种可能，那就是人为发了条消息。
64030编辑于 2022-08-25 - 来自专栏编程从踩坑到跳坑
Mysql生产死锁问题定位
# Mysql生产死锁问题定位 生产上一个消费mq消息的服务出现了死锁问题，通过命令获取到的mysql日志如下： ===================================== 2023-06 len 30; hex 326339653430386538383935663563313031383864366334656464343166; asc 2c9e408e8895f5c10188d6c4edd41f len 30; hex 326339653430386538383935663563313031383864366334656464343166; asc 2c9e408e8895f5c10188d6c4edd41f len 30; hex 326339653430386538383935663563313031383864366334656464343166; asc 2c9e408e8895f5c10188d6c4edd41f
41530编辑于 2023-11-09 - 来自专栏日常杂记
生产集群spark报错问题
4、提高executor的内存 在spark-submit提交任务时，适当提高executor的memory值，例如15G或者20G。 5、考虑是否存在数据倾斜的问题 总结 1、org.apache.spark.shuffle.FetchFailedException 1、问题描述 这种问题一般发生在有大量shuffle操作的时候,task connect to spark047215/192.168.47.215:50268 当前的配置为每个executor使用1cpu,5GRAM,启动了20个executor 3、解决方案 一般遇到这种问题提高 2、Executor&Task Lost 1、问题描述 因为网络或者gc的原因,worker或executor没有接收到executor或task的心跳反馈 2、报错提示 executor lost WARN spark.storage.blockManagerSlaveTimeoutMs spark.shuffle.io.connectionTimeout spark.rpc.askTimeout or spark.rpc.lookupTimeout 3、倾斜 1、问题描述
2.9K20发布于 2021-03-17 - 来自专栏Java架构学习路线
只需4个步骤，分析解决在生产环境下JVM内存泄露问题
，开始查找问题。 fullGC的频率越来越高 最终占用达到100%，服务完全瘫痪 分析处理 使用指令：jmap -histo:live *** | more 查看堆内存中的对象数量和大小 发现Log4jLogEvent mat分析内存结构： 可以看到主要占据堆内存的对象信息，果然是Flume异步传输日志堵塞的问题。 总结 对jvm内存泄露这类问题的解决，主要是要善于利用jvm提供的类似jstat、jmap等工具来分析查找问题。这次问题虽然解决，但是后续还是存在出现此类问题的风险。 所以除了加强jvm问题排查能力的同时，我们也将建立应用监控平台的计划提上日程，希望能对jvm内存、线程等应用实时运行指标进行监控，便于尽早发现问题。
1.9K00发布于 2019-08-05 - 来自专栏句小芒的学习专栏
php 生产kafka 不生效问题
记录一下php 调用 kafka 生产者代码但是消费者端口收不到数据的情况 PHP代码如下： <? 结论： 在生产者还未将 缓冲区数据数据发送到主题中时，该进程已经结束导致消费者终端不能接收到数据。 ---- 6/10 更新 调用flush() 函数来 ，使kafka生产者发送缓冲区中的消息记录（record）可以被立即发送。并且一直阻塞，直到这些消息记录都发送完成。 <?
2.2K20编辑于 2022-12-29 - 来自专栏肘子的Swift记事本
Swift Playgrounds 4 娱乐还是生产力
Swift Playgrounds 4 娱乐还是生产力 访问我的博客 www.fatbobman.com[1] ，获得更好的阅读体验。 本文将对 Swift Playgrounds 4 的新功能做以介绍，并探讨将其作为开发工具的可行性。 本文中的 Swift Playgrounds 4 特指 iPad 版本。 Swift Playgrounds 是典型的寓教于乐型产品，最初的设计目标并不涉及专业开发所需的生产力方面需求。 Swift Playgrounds 4 的适用人群或场景 既然 Swift Playgrounds 4 已经提供了如此多针对专业开发需求的功能，是否可以将其作为严肃的生产力工具来对待呢？ Swift Playgrounds 在保留了快乐教育的功能前提下，满足了部分场景下的生产力需求。 希望本文能够对你有所帮助。
1.2K20编辑于 2022-07-28 - 来自专栏JavaEdge
大厂的线上生产问题排查指南
生产环境 排查难度最大： 生产环境权限管控严格，一般不允许调试工具从远程附加进程 生产环境出现问题要求以恢复为先，难以给你充足时间排查问题。 但，因为生产环境的流量真实、访问量大、网络权限管控严格、环境复杂，因此更容易出问题，也是出问题最多的环境。 监控 生产环境出现问题时，因为要尽快恢复应用，就不可能保留完整现场用于排查和测试。 、WARN用于需要关注的问题、ERROR用于阻断流程的错误 对于监控，在生产环境排查问题时，首先就需要开发和运维团队做好完备的监控方案： 主机层面，对CPU、内存、磁盘、网络等资源做监控。 通常情况下，我们会为生产环境的Java应用设置-XX:+HeapDumpOnOutOfMemoryError和-XX:HeapDumpPath=…这2个JVM参数，用于在出现OOM时保留堆快照。 重点回顾 今天，我和你总结分享了分析生产环境问题的套路。 第一，分析问题一定是需要依据的，靠猜是猜不出来的，需要提前做好基础监控的建设。监控的话，需要在基础运维层、应用层、业务层等多个层次进行。
4K21发布于 2021-02-23 - 来自专栏运维ABC
生产环境自启动失败问题排查
startapp.sh脚本内容模拟生产上应用用户app启动的两个进程，分别用新建的目录test01和文件test.txt替换，若能正常生成文件且文件属主为app:app，则自启脚本达到目标。 二、生产复现 1.重启前系统检查 重启服务器，复现生产遇到的问题，重启前检查： [root@node01 ]# route -n [root@node01 ]# cd /tmp [ route -n [root@node01 ]# cd /tmp [root@node01 /tmp]# l 发现路由新增正常，两个文件也有生成，但是属主为root，不是希望的app，和生产出现的问题一致 三、问题排查解决 1.排查思路 路由新增了，而且test01和test.txt两个文件也产生了，证明脚本startall.sh执行没有问题，重点查看脚本startapp.sh。 /tmp]# ll|grep tes 验证前删除路由信息并删除test目录和文件 再次重启并验证 [root@node01 /tmp]# init 6 发现新生成的文件属主为app，符合预期，问题解决
64010编辑于 2021-12-16 - 来自专栏捡田螺的小男孩
遇到生产问题，你会慌嘛？
刚毕业的孩子或者工作没多久的程序员，遇到生产问题，很容易就惊慌失措。其实，我们都知道，着急是没有用，因为急是解决不了问题的。 今天田螺哥跟大家一起来聊聊，如何应对生产问题。 遇到生产问题时，着急是人的一种正常反应，我们要做的是，冷静一下。一定要调整好自己的心态。 生产上的问题，是会影响到用户的，我们需要分析影响到哪些用户，影响的功能点是什么，以及补救方案。如你的一个空指针异常，影响到客户信息展示，然后你的补救方案，是不是补数就可以了。 4. 乐于沟通！ 我们要的，就是快速解决问题！ 5. 技术输出，多总结生产问题 解决完生产问题后，建议大家可以写写技术总结，为什么会出现这个问题，如何规避解决这个问题等等。 之前有篇生产问题的技术总结，大家可以看下哈： 生产问题分析！delete in子查询不走索引？！ 6. 平时开发设计时，统筹兼顾！ 从出现的生产问题，可以反思我们平时开发设计时，要怎么想得周全一点。
47320发布于 2021-11-19 - 来自专栏软件开发 -- 分享 互助 成长
生产者-消费者问题
接上一篇进程之间的同步和互斥，生产者-消费者问题常常用来解决多进程并发执行过程中的同步和互斥问题。 原理如下： 把一个长度为n(n>0)的有界缓冲区与一群生产者进程P1,P2,…,Pm和一群消费者进程C1,C2,…,Ck联系起来，只要缓冲区未满，生产者就可以往缓冲区中放产品，只要缓冲区未空，消费者就可以从中取走产品消耗 (1)同步条件：生产者只有在至少有一个临界区的单元为空的时候，才能生产产品，消费者只有在至少有一个临界区被填上产品的时候，才能消耗产品，所以设置两个同步变量，avail为生产者的私有变量，初值为n，full (2)互斥条件:生产者和消费者不能同时访问临界资源，所以设置一个互斥变量mutex初始值为1. 生产者进程： 消费者进程： p(avail) p(full) p(mutex)
1K80发布于 2018-02-05 - 来自专栏SAP最佳业务实践
SAP最佳业务实践:联产品的生产(235)-4联合生产
4. 如果不希望为给定订单执行更多的收货过帐，则在选项页 订单数据 的字段 "交货已完成"标识. 中设置标识 2 设置。 5. 设置 项目确定 标识。 6. 对其他项目重复步骤 4 至 6。 7. 3、MD04检查联产品的剩余库存 在联合生产期间，可同时生产多个物料。通常，物料需求不会完全按比例与所有生产数量匹配。尽管需求会通过生产或采购自动触发补货建议，但不会自动检查剩余库存累计。 4. 选择 选定的库存/需求清单。 ? 副产品没收货之前，MMBE会看到交货计划 10个 ? 副产品收货之后 ? 5. 选择 显示概览树(Shift + F7)。 4、收货过帐后的生产确认按库存生产 - 离散行业 (145) 生产订单确认允许您记录操作的消耗和偏差。此外，订单状态还可控制成本，以便进一步执行订单结算。 完成该业务情景的业务流程文档 中描述的以下操作 按库存生产 - 离散行业(145)： 生产的最终确认 使用生产订单编号访问订单确认，并确认缺省值（也可以更改时间）。
2.9K110发布于 2018-03-27 - 来自专栏Java学习录
生产者消费者问题
生产者消费者模型具体来讲，就是在一个系统中，存在生产者和消费者两种角色，他们通过内存缓冲区进行通信（解耦），生产者将消费者需要的资源生产出来放到缓冲区，消费者把从缓冲区把资源拿走消费。 在这个模型中，最关键就是内存缓冲区为空的时候消费者必须等待，而内存缓冲区满的时候，生产者必须等待。其他时候就是一边在生产一边在消费。 当生产者调用add方法时，i+1，即代表生产出了一件资源。当生产了一个资源以后就使用notifyAll通知所有等待在此资源文件的线程。 p1号线程生产一件资源,当前资源1个生产者p2号线程生产一件资源,当前资源2个生产者p3号线程生产一件资源,当前资源3个消费者c1号线程拿走了一件资源,当前资源2个消费者c2号线程拿走了一件资源,当前资源 1个生产者p1号线程生产一件资源,当前资源2个生产者p3号线程生产一件资源,当前资源3个生产者p2号线程生产一件资源,当前资源4个。。。
79500发布于 2019-04-18 - 来自专栏java架构计划训练营
生产者消费者问题
问题背景 生产者和消费者共享同一个资源，并且生产者和消费者之间相互依赖，互为条件 对于生产者，生产了产品之后，又需要马上通知消费者消费，而生产足量时，暂停生产，等待消费者消费 对于消费者，在消费之后，要通知生产者生产 ；而无产品消费时，暂停消费，等待生产者生产 在生产者消费者问题中，仅有synchronized是不够的 synchronized可以阻止并发更新同一个共享资源，实现了同步 synchronized不能用来实现不同线程之间的消息传递 /消费者模式"（管程法） 生产者：负责生产数据的模块（可能是方法、对象、线程、进程） 消费者：负责处理数据的模块（可能是方法、对象、线程、进程） 缓冲区：消费者不能直接使用生产者生产的产品，他们之间设立了 "缓冲区"；生产者将生产好的产品放入缓冲区，消费者从缓冲区获得产品 public class TestPC { public static void main(String[] args) { } count--; //数量减少 Product product = products[count]; //此次消费的产品 //消费完，通知生产者生产
78510编辑于 2022-06-14 - 来自专栏SAP最佳业务实践
SAP最佳业务实践:生产订单拆分-按库存生产(248)-4订单拆分
image.png 订单拆分 选项 1：按相同物料拆分 使用此功能可以将一份现有生产订单拆分成多份订单，所有这些订单都用于生产相同的物料（但在开始日期和时间等方面存在差别）。 CO02执行订单拆分 角色车间主任 后勤 ®生产 ®车间现场控制 ®订单 ®更改 1. 在 生产订单更改: 初始屏幕上输入前面记录的生产订单编号，然后选择 回车。 2. 选择按钮 工序概览。 3. 在 生产订单更改: 工序总览 屏幕上选择工序 0020，然后选择(NWBC: 更多…®)功能 ®分解订单。 ? 在 订单分解 屏幕上选择拆分方法“相同物料的分解”。 4. 选择按钮 订单表头返回。在订单表头屏幕的左侧显示含拆分关系的树控制。在该树控制中将显示含临时子订单编号的节点。 5. 拆分订单（父订单）的状态现在应该是 分解。 检查生产订单是否采用计算所得的副产品价格进行贷记。 订单已拆分。
5.2K21发布于 2018-03-27 - 来自专栏johnhuster
knife4j生产环境禁止打开页面
Knife4j是一个集Swagger2 和 OpenAPI3为一体的增强解决方案，官网地址：Knife4j · 集Swagger2及OpenAPI3为一体的增强解决方案. | Knife4j 考虑到安全性问题 ，在实际服务部署到生产环境后就需要禁用到swagger页面的展示，这个时候只需要进行如下配置即可实现该功能： knife4j: production: true 是的，通过设置knife4j.production 为true就意味着在生产环境下，这个时候就无法打开swagger对应页面，当你输入http://localhost:8081/doc.html页面会返回如下错误信息： 下面简单看下knife4j是如何实现该功能的 ，找到Knife4jAutoConfiguration这个类，看如下的Bean创建即可 // knife4j.productio为true时创建ProductionSecurityFilter对象 if (knife4jProperties == null) { if (environment !
2K10编辑于 2024-03-09 - 来自专栏pangguoming
Neo4j 2.0 生产环境集群搭建
（例如F:\） 4、修改Neo4j配置文件(F:\neo4j-enterprise-2.0.0-M04-windows\neo4j-enterprise-2.0.0-M04\conf\neo4j.properties 2、ping 10.230.9.91和10.230.9.93，看是否能ping通 3、解压Neo4j 安装文件到某一目录下（例如F:\） 4、修改Neo4j配置文件(F:\neo4j-enterprise 3、解压Neo4j 安装文件到某一目录下（例如F:\） 4、修改Neo4j配置文件(F:\neo4j-enterprise-2.0.0-M04-windows\neo4j-enterprise-2.0.0 注：按照neo4j manual的写法，windows和linux生产环境集群，搭建后的验证方法相同。 8、配置相互间ssh无密码登陆： 将neo4j-01上的/home/neo4j/.ssh/authorized_keys的内容追加到neo4j-02和neo4j-03上的此文件中。
2K40发布于 2018-03-07 - 来自专栏魔都程序缘
RocketMQ生产问题一般如何排查？
从RocketMQ架构来看，用户在使用客户端生产时时不时会遇到一些问题，这里做了一些总结，大家参考初始化生产者实例报错在使用rocketmq spring boot starter或者rocketmq ，如果有重复的生产者注册进来会注册失败。 ：启动生产者，启动路由定时更新检查线程， 检查缓存topicPublishInfoTable中的topic的路由信息是否变化用户第一次调用生产者send方法，send方法内部查询topicPublishInfoTable 原因很多， 这里例举常见的问题：客户端访问Broker网络不通这种情况客户端处理不了，最好找服务维护人员发送到Broker报错可能的问题和分析处理：在确定可以ping通Broker后，一般Broker报错会有错误信息 以上是生产报错， 下一篇我们分享消费失败的问题排查方式。生产耗时比较大怎么定位？https://cloud.tencent.com/developer/article/2192667
2.8K40编辑于 2023-03-03 - 来自专栏LieBrother
复盘一次生产问题
今天讲讲上周末一次生产问题的复盘。 1 事情经过 周日中午从外伶仃岛回来就直奔公司，因为生产出了些问题。问题是这样的：HBase 的一些节点挂了，导致一些数据丢失。 2 复盘 这周也是持续在跟进这个生产历史问题，最终发现是系统框架的 Bug，在数据处理的时候，私有的数据被公共的数据覆盖导致的。 这段时间也一直在思考这次生产问题，从马后炮来说，其实可以很快就把卡件问题解决，但是其中却经历了整整 10 个小时的折腾，肯定是有原因的，通过这篇文章复盘一下。 另外一处则是我对待生产出现的历史问题，一直在通过检查业务代码和 SQL 配置去尝试解决这个问题，因为以前也是这样使用的，以前没出现问题。 2.2 明确轻重缓急 当时最紧要的事情是解决生产卡件的问题。
65020发布于 2019-03-29 - 来自专栏大数据，java，Python和前端
sqoop生产常见问题及优化总结
在前期数仓建设中，尤其是DB库（MySQL）数据同步时，对Sqoop生产中遇到的常见问题进行总结并做好记录以便后续查看。 1、Sqoop 空值问题 Hive中的null在底层是以“\N”来存储，而MySQL中的null在底层就是null，这就导致了两边同步数据时存储不一致问题。 2、Sqoop 数据一致性问题 （1）：如在Sqoop在导出到Mysql时，使用4个Map任务，过程中有2个任务失败，那此时MySQL中存储了另外两个Map任务导入的数据，此时运营正好看到了这个报表数据 而开发工程师发现任务失败后，会调试问题并最终将全部数据正确的导入MySQL，那后面老板再次看报表数据，发现本次看到的数据与之前的不一致，这在生产环境是不允许的。 建议： 数据量500w以下使用4个map即可。 数据量500w以上使用8个map即可，太多会对数据库加压，造成其他场景使用性能降低。如果是为了专门导数据，和下游计算的并行度，可以适当调大。
36210编辑于 2025-07-11 - 来自专栏软件生产异常问题排查分享
生产环境消费kafka消息异常问题分析
问题描述： 某个客户在针对生产环境中，对ECIF数据库同步改造为使用kafka进行数据同步后，测试环境也偶尔发生消费数据存在空的问题，当时以为是调度系统间隔太慢，导致数据没有读取到，但是在上线之后 ，生产存在同样的问题，无法消费消息数据； 问题分析： 1.由于问题比较突然，对于kafka的问题分析需要结合消费端和生产端以及服务节点同时分析。 ，所以尽可能少的牵扯到运维的过程问题是有必要的； 4.由于问题的现象是业务系统作为消费端，无法拿到服务节点中的数据，所以需要证明，队列中是否存在数据； 5.使用命令(以下命令，需要运维检查理财对应的队列中数据的情况 ，将地址换成具体的生产IP和端口) kafka-consumer-groups.sh --bootstrap-server XXX.XXX.XXX.XXX:9092 --describe --group 7.这个问题比较棘手的是，生产上不能随意进行分析和调试，好在测试环境有可以复现这个问题的情况。 8.所以需要紧急在测试环境进行问题复现，然后进行可能出现的问题进行分析。
51630编辑于 2023-11-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号