- 综合排序
- 最热优先
- 最新优先
- 来自专栏后端架构师
9.队列-生产消费模式
[1z4v6nypg0.gif] 点击上方蓝色字体，关注我们 队列：生产消费模式及线程池的运用 ❝关注公众号 MageByte，设置星标获取最新干货。“加群” 进入技术交流群获更多技术成长。 [cyz6nq9xsw.png] 队列与栈 队列也是一种操作受限的线性表数据结构。 顺序队列与链式队列 队列是跟栈一样，是一种抽象的数据结构。「具有先进先出的特性，在队头删除数据，在队尾插入数据。」 这个问题该如何解决呢？」 当出现这种情况的时候我们就需要做数据迁移。如图所示：当 abcd 入队后，对应的指针位置。 [m6wqrheqai.png] 现在我们执行出队操作 [r9kbqw69t6.png] 当我们调用两次出队操作之后，队列中 head 指针指向下标为 2 的位置，tail 指针仍然指向下标为 4 的位置
96910发布于 2020-05-17 - 来自专栏编程从踩坑到跳坑
Mysql生产死锁问题定位
# Mysql生产死锁问题定位 生产上一个消费mq消息的服务出现了死锁问题，通过命令获取到的mysql日志如下： ===================================== 2023-06 asc 2222247927;; 1: len 30; hex 326339653430386538383935663563313031383864366334656464343166; asc 2c9e408e8895f5c10188d6c4edd41f asc 2222247927;; 1: len 30; hex 326339653430386538383935663563313031383864366334656464343166; asc 2c9e408e8895f5c10188d6c4edd41f asc 2222247927;; 1: len 30; hex 326339653430386538383935663563313031383864366334656464343166; asc 2c9e408e8895f5c10188d6c4edd41f
41530编辑于 2023-11-09 - 来自专栏日常杂记
生产集群spark报错问题
5、考虑是否存在数据倾斜的问题 总结 1、org.apache.spark.shuffle.FetchFailedException 1、问题描述 这种问题一般发生在有大量shuffle操作的时候,task connect to spark047215/192.168.47.215:50268 当前的配置为每个executor使用1cpu,5GRAM,启动了20个executor 3、解决方案 一般遇到这种问题提高 2、Executor&Task Lost 1、问题描述 因为网络或者gc的原因,worker或executor没有接收到executor或task的心跳反馈 2、报错提示 executor lost WARN spark.storage.blockManagerSlaveTimeoutMs spark.shuffle.io.connectionTimeout spark.rpc.askTimeout or spark.rpc.lookupTimeout 3、倾斜 1、问题描述
2.9K20发布于 2021-03-17 - 来自专栏句小芒的学习专栏
php 生产kafka 不生效问题
记录一下php 调用 kafka 生产者代码但是消费者端口收不到数据的情况 PHP代码如下： <? 结论： 在生产者还未将 缓冲区数据数据发送到主题中时，该进程已经结束导致消费者终端不能接收到数据。 ---- 6/10 更新 调用flush() 函数来 ，使kafka生产者发送缓冲区中的消息记录（record）可以被立即发送。并且一直阻塞，直到这些消息记录都发送完成。 <?
2.2K20编辑于 2022-12-29 - 来自专栏运维经验分享
生产环境：tomcat9,jdk8优化配置
wget http://mirrors.aliyun.com/apache/apr/apr-util-1.6.1.tar.gz mkdir /usr/local/apr 将tomcat9的
4.1K22发布于 2019-03-16 - 来自专栏yeedomliu
《Learning ELK Stack》9 生产环境的ELK技术栈
9 生产环境的ELK技术栈 当我们说到生产级别实施ELK技术栈时，有一些隐含的前提条件 防止数据丢失 数据保护 可扩展性的解决方案 数据保留 ---- 防止数据丢失 Logstash的索引器之前引入一层消息中间件可以防止数据丢失 %d' ---- ELK技术栈实施案例（LinkedIn） https://www.slideshare.net/tinle1/elk-atlinked-in 问题描述 LinkedIn拥有多个数据中心 集团研发并生产具有可持续性的个人护理用品、纸巾和林业产品。在SCA，使用elk记录用户在内部网站和外部网站中的搜索、对结果文档的点击行为及用户反馈。 现在运维人员可以很快得到问题的答案，如“我是否可以安全地关闭这个开关，向1500个客户恢复电力供应”或“一场风暴正在从南方袭来，从风暴袭击的地方拿回我的吊半车需要多久”。
1.5K20发布于 2020-07-07 - 来自专栏JavaEdge
大厂的线上生产问题排查指南
生产环境 排查难度最大： 生产环境权限管控严格，一般不允许调试工具从远程附加进程 生产环境出现问题要求以恢复为先，难以给你充足时间排查问题。 但，因为生产环境的流量真实、访问量大、网络权限管控严格、环境复杂，因此更容易出问题，也是出问题最多的环境。 监控 生产环境出现问题时，因为要尽快恢复应用，就不可能保留完整现场用于排查和测试。 、WARN用于需要关注的问题、ERROR用于阻断流程的错误 对于监控，在生产环境排查问题时，首先就需要开发和运维团队做好完备的监控方案： 主机层面，对CPU、内存、磁盘、网络等资源做监控。 通常情况下，我们会为生产环境的Java应用设置-XX:+HeapDumpOnOutOfMemoryError和-XX:HeapDumpPath=…这2个JVM参数，用于在出现OOM时保留堆快照。 重点回顾 今天，我和你总结分享了分析生产环境问题的套路。 第一，分析问题一定是需要依据的，靠猜是猜不出来的，需要提前做好基础监控的建设。监控的话，需要在基础运维层、应用层、业务层等多个层次进行。
4K21发布于 2021-02-23 - 来自专栏运维ABC
生产环境自启动失败问题排查
startapp.sh脚本内容模拟生产上应用用户app启动的两个进程，分别用新建的目录test01和文件test.txt替换，若能正常生成文件且文件属主为app:app，则自启脚本达到目标。 二、生产复现 1.重启前系统检查 重启服务器，复现生产遇到的问题，重启前检查： [root@node01 ]# route -n [root@node01 ]# cd /tmp [ route -n [root@node01 ]# cd /tmp [root@node01 /tmp]# l 发现路由新增正常，两个文件也有生成，但是属主为root，不是希望的app，和生产出现的问题一致 三、问题排查解决 1.排查思路 路由新增了，而且test01和test.txt两个文件也产生了，证明脚本startall.sh执行没有问题，重点查看脚本startapp.sh。 /tmp]# ll|grep tes 验证前删除路由信息并删除test目录和文件 再次重启并验证 [root@node01 /tmp]# init 6 发现新生成的文件属主为app，符合预期，问题解决
64010编辑于 2021-12-16 - 来自专栏捡田螺的小男孩
遇到生产问题，你会慌嘛？
刚毕业的孩子或者工作没多久的程序员，遇到生产问题，很容易就惊慌失措。其实，我们都知道，着急是没有用，因为急是解决不了问题的。 今天田螺哥跟大家一起来聊聊，如何应对生产问题。 遇到生产问题时，着急是人的一种正常反应，我们要做的是，冷静一下。一定要调整好自己的心态。 还有一点，着急的话，很容易就分散你解决问题的精力！所以遇到生产问题，需要先调整好自己心态，泰然处之。 2. 专注于解决问题！ 调整好心态之后呢，我们需要专注于如何解决问题。 我们要的，就是快速解决问题！ 5. 技术输出，多总结生产问题 解决完生产问题后，建议大家可以写写技术总结，为什么会出现这个问题，如何规避解决这个问题等等。 之前有篇生产问题的技术总结，大家可以看下哈： 生产问题分析！delete in子查询不走索引？！ 6. 平时开发设计时，统筹兼顾！ 从出现的生产问题，可以反思我们平时开发设计时，要怎么想得周全一点。
47320发布于 2021-11-19 - 来自专栏软件开发 -- 分享 互助 成长
生产者-消费者问题
接上一篇进程之间的同步和互斥，生产者-消费者问题常常用来解决多进程并发执行过程中的同步和互斥问题。 原理如下： 把一个长度为n(n>0)的有界缓冲区与一群生产者进程P1,P2,…,Pm和一群消费者进程C1,C2,…,Ck联系起来，只要缓冲区未满，生产者就可以往缓冲区中放产品，只要缓冲区未空，消费者就可以从中取走产品消耗 (1)同步条件：生产者只有在至少有一个临界区的单元为空的时候，才能生产产品，消费者只有在至少有一个临界区被填上产品的时候，才能消耗产品，所以设置两个同步变量，avail为生产者的私有变量，初值为n，full (2)互斥条件:生产者和消费者不能同时访问临界资源，所以设置一个互斥变量mutex初始值为1. 生产者进程： 消费者进程： p(avail) p(full) p(mutex)
1K80发布于 2018-02-05 - 来自专栏Java学习录
生产者消费者问题
生产者消费者模型具体来讲，就是在一个系统中，存在生产者和消费者两种角色，他们通过内存缓冲区进行通信（解耦），生产者将消费者需要的资源生产出来放到缓冲区，消费者把从缓冲区把资源拿走消费。 在这个模型中，最关键就是内存缓冲区为空的时候消费者必须等待，而内存缓冲区满的时候，生产者必须等待。其他时候就是一边在生产一边在消费。 当生产者调用add方法时，i+1，即代表生产出了一件资源。当生产了一个资源以后就使用notifyAll通知所有等待在此资源文件的线程。 p1号线程生产一件资源,当前资源1个生产者p2号线程生产一件资源,当前资源2个生产者p3号线程生产一件资源,当前资源3个消费者c1号线程拿走了一件资源,当前资源2个消费者c2号线程拿走了一件资源,当前资源 1个生产者p1号线程生产一件资源,当前资源2个生产者p3号线程生产一件资源,当前资源3个生产者p2号线程生产一件资源,当前资源4个。。。
79500发布于 2019-04-18 - 来自专栏java架构计划训练营
生产者消费者问题
问题背景 生产者和消费者共享同一个资源，并且生产者和消费者之间相互依赖，互为条件 对于生产者，生产了产品之后，又需要马上通知消费者消费，而生产足量时，暂停生产，等待消费者消费 对于消费者，在消费之后，要通知生产者生产 ；而无产品消费时，暂停消费，等待生产者生产 在生产者消费者问题中，仅有synchronized是不够的 synchronized可以阻止并发更新同一个共享资源，实现了同步 synchronized不能用来实现不同线程之间的消息传递 /消费者模式"（管程法） 生产者：负责生产数据的模块（可能是方法、对象、线程、进程） 消费者：负责处理数据的模块（可能是方法、对象、线程、进程） 缓冲区：消费者不能直接使用生产者生产的产品，他们之间设立了 "缓冲区"；生产者将生产好的产品放入缓冲区，消费者从缓冲区获得产品 public class TestPC { public static void main(String[] args) { } count--; //数量减少 Product product = products[count]; //此次消费的产品 //消费完，通知生产者生产
78510编辑于 2022-06-14 - 来自专栏悠扬前奏的博客
LintCode-9.Fizz Buzz 问题
题目 描述 给你一个整数n. 从 1 到 n 按照下面的规则打印每个数： 如果这个数被3整除，打印fizz. 如果这个数被5整除，打印buzz. 如果这个数能同时被3和5整除，打印fizz buzz. 样例 比如 n = 15, 返回一个字符串数组： [ "1", "2", "fizz", "4", "buzz", "fizz", "7", "8", "fizz", "buzz", "11", "fizz", "13", "14", "fizz buzz" ] 解答 思路 代码 clas
52520发布于 2019-05-31 - 来自专栏惊羽-布壳儿
算法练习(9) - TwoSum问题变换
题目 有一个数组[1,2,5,7,8,8,9,4,4,6]，求元素 m+n = 12 的组合，将所有的 m n 组合下标打印出来，需要过滤下标重复的组合，例如 4,7 7,4 是重复组合；时间复杂度需要是 public class TwoSumTest { @Test public void twoSum_test() { int[] arr = {1,2,5,7,8,8,9,4,4,6
22410编辑于 2022-06-15 - 来自专栏千里行走
aws生产实践-9：使用msk托管服务创建kafka集群
目录： (1).创建kafka生产集群 (2).msk简单使用 (1).创建kafka生产集群 MSK 是采用的滚动升级的方式 版本升级过程中是可以继续使用的。 cluster/arn%3Aaws%3Akafka%3Aap-northeast-1%3A332170830573%3Acluster%2Fkafka-biz-cluster%2F797f0e7c-aa9c
1.4K20发布于 2021-11-11 - 来自专栏魔都程序缘
RocketMQ生产问题一般如何排查？
从RocketMQ架构来看，用户在使用客户端生产时时不时会遇到一些问题，这里做了一些总结，大家参考初始化生产者实例报错在使用rocketmq spring boot starter或者rocketmq ，如果有重复的生产者注册进来会注册失败。 ：启动生产者，启动路由定时更新检查线程， 检查缓存topicPublishInfoTable中的topic的路由信息是否变化用户第一次调用生产者send方法，send方法内部查询topicPublishInfoTable 原因很多， 这里例举常见的问题：客户端访问Broker网络不通这种情况客户端处理不了，最好找服务维护人员发送到Broker报错可能的问题和分析处理：在确定可以ping通Broker后，一般Broker报错会有错误信息 以上是生产报错， 下一篇我们分享消费失败的问题排查方式。生产耗时比较大怎么定位？https://cloud.tencent.com/developer/article/2192667
2.8K40编辑于 2023-03-03 - 来自专栏编程一生
排查线上问题的9种方式
这个励志故事告诉咱们要懂得如何排查问题的重要价值。今天咱们就来总结一下排查问题的9种方法： 基础方法 监控告警 问题发生常用的手段有生产测试、监控告警和人工客诉。 linux命令可以作为排查问题的利器，比如我在《懂得三境界-使用dubbo时请求超过问题》里提到的netstat -s ，但是要注意不要对线上造成影响。 线上调试 举个例子，有次我们在进行测试环境演练，出现了个怪异的问题。后来有同事说其他一个同事也在用这个环境做调试，所以才会调用哪个接口的地方卡住，出现问题。这种问题要是出现在线上，就是故障了。 高级方法 代码走查 排查问题的最高境界是只通过review代码来发现问题 逻辑推理 但很多大神的解决步骤是：第一，听别人讲述问题现象；第二，提出问题以求证；第三，推理出大致原因并给出可选方案及方案的注意点 为啥是他人，能达到这种境界多是领导或者帮别人排查问题的救火队长，问题发生和自己并没有直接关系。 想达到这种境界还是需要平时的积累和深入理解和深耕。
1K10编辑于 2022-05-06 - 来自专栏LieBrother
复盘一次生产问题
今天讲讲上周末一次生产问题的复盘。 1 事情经过 周日中午从外伶仃岛回来就直奔公司，因为生产出了些问题。问题是这样的：HBase 的一些节点挂了，导致一些数据丢失。 2 复盘 这周也是持续在跟进这个生产历史问题，最终发现是系统框架的 Bug，在数据处理的时候，私有的数据被公共的数据覆盖导致的。 这段时间也一直在思考这次生产问题，从马后炮来说，其实可以很快就把卡件问题解决，但是其中却经历了整整 10 个小时的折腾，肯定是有原因的，通过这篇文章复盘一下。 另外一处则是我对待生产出现的历史问题，一直在通过检查业务代码和 SQL 配置去尝试解决这个问题，因为以前也是这样使用的，以前没出现问题。 2.2 明确轻重缓急 当时最紧要的事情是解决生产卡件的问题。
65020发布于 2019-03-29 - 来自专栏大数据，java，Python和前端
sqoop生产常见问题及优化总结
在前期数仓建设中，尤其是DB库（MySQL）数据同步时，对Sqoop生产中遇到的常见问题进行总结并做好记录以便后续查看。 1、Sqoop 空值问题 Hive中的null在底层是以“\N”来存储，而MySQL中的null在底层就是null，这就导致了两边同步数据时存储不一致问题。 2、Sqoop 数据一致性问题 （1）：如在Sqoop在导出到Mysql时，使用4个Map任务，过程中有2个任务失败，那此时MySQL中存储了另外两个Map任务导入的数据，此时运营正好看到了这个报表数据 而开发工程师发现任务失败后，会调试问题并最终将全部数据正确的导入MySQL，那后面老板再次看报表数据，发现本次看到的数据与之前的不一致，这在生产环境是不允许的。 您可以通过--staging-table选项指定登台表来解决此问题，该选项充当用于暂存导出数据的辅助表，分阶段数据最终在单个事务中移动到目标表。
36210编辑于 2025-07-11 - 来自专栏软件生产异常问题排查分享
生产环境消费kafka消息异常问题分析
问题描述： 某个客户在针对生产环境中，对ECIF数据库同步改造为使用kafka进行数据同步后，测试环境也偶尔发生消费数据存在空的问题，当时以为是调度系统间隔太慢，导致数据没有读取到，但是在上线之后 ，生产存在同样的问题，无法消费消息数据； 问题分析： 1.由于问题比较突然，对于kafka的问题分析需要结合消费端和生产端以及服务节点同时分析。 ，将地址换成具体的生产IP和端口) kafka-consumer-groups.sh --bootstrap-server XXX.XXX.XXX.XXX:9092 --describe --group 7.这个问题比较棘手的是，生产上不能随意进行分析和调试，好在测试环境有可以复现这个问题的情况。 8.所以需要紧急在测试环境进行问题复现，然后进行可能出现的问题进行分析。 9.由于代码中使用的是kafka的架构，调用客户端的接口进行连接和数据的消费获取，如果想了解这个过程中，具体的运行流程，通常我们需要看是否有相关的日志. 10.但是由于开发过程中单元测试没有问题，可以正常获取消息
51630编辑于 2023-11-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号