- 综合排序
- 最热优先
- 最新优先
- 来自专栏尼莫的AI小站
Spark 频繁模式挖掘
Frequent Pattern Mining 官方文档：https://spark.apache.org/docs/2.2.0/ml-frequent-pattern-mining.html 挖掘频繁项 项集、子序列或者其他子结构通常是大规模数据分析的第一步，这也是近些年数据挖掘领域的活跃研究话题； 目录： FP-Growth FP-Growth FP-Growth算法基于这篇论文，“FP”的意思就是频繁模式 ，提供一个处理后的数据集，FP-Growth第一步是计算项的频率，同时标识频繁项，因为一些目的与类似Apriori算法在设计上有不同之处，FP-Growth第二步是使用一个后缀树（FP树）结构在没有生成显示候选集的情况下进行编码转换 FP-Growth算法，叫做PFP，PFP基于后缀转换来分配FP树的生长工作，因此相对比单机版本更有扩展性； spark.ml的FP-Growth实现了以下超参数： minSupport：一个项集被定义为频繁的最小支持度 ，但是会影响从频繁项集中生成关联规则； numPartitions：使用多少分区来分配任务，默认不设置该参数，使用输入数据集的分区数； FPGrowthModel提供如下属性： freqItemsets
1.6K53发布于 2020-10-10 - 来自专栏苏三说技术
频繁Full GC如何优化？
前言 我们在面试时，经常会被面试官问到：线上服务频繁Full GC该如何优化？ 今天这篇文章跟大家一起聊聊这个话题，希望对你会有所帮助。 1. 什么是Full GC？ Xmx8g -Xms8g -Xmn3g # 新生代3G (8*3/8≈3) -XX:SurvivorRatio=8 # Eden:Survivor=8:1:1 方案4：卸载无用类 场景：热部署频繁的应用 gc*:file=gc.log 效果对比： 指标 CMS ZGC Full GC次数 15次/天 0次/天 最大暂停 2.8秒 1.2毫秒 方案6：堆外内存治理 现象：堆内存正常，但Full GC频繁
47120编辑于 2025-08-09 - 来自专栏JavaEdge
JVM频繁fullgc优化策略
是内存溢出还是实际有大对象，内存溢出就dump分析解决掉。大对象如果有业务需求，用offheap.
60620发布于 2021-03-28 - 来自专栏跨平台全栈俱乐部
Mysql写入频繁，怎么破？
Mysql在写入压力很大，怎么办？ 高并发下的性能最大的问题，大都在数据库，以前我们做二十万超级群，mongodb每个月都会出事故. 我们聊聊,高并发下如何缓解mysql的压力 ⚠️：mysql是锁锁表不锁库，sqlite是锁库不锁表 环境准备 Mac mysql navicat wrk压测工具 node.js环境 下载wrk brew install wrk 如果这里卡住，可以调整 `替换brew.git: cd "$(brew --repo)" git remote set-url origin htt
3.7K20发布于 2020-06-04 - 来自专栏python进阶学习
如何应对爬虫请求频繁
相信很多爬虫工作者在进行数据爬取过程中经常会遇到“您的请求太过频繁，请稍后再试”，这个时候心里莫名的慌和烦躁、明明爬虫代码也没有问题啊，怎么突然爬不动了呢？ 但是有时候没有爬多久又被提示“您的请求太过频繁，请稍后再试”。再换IP还是被封，再换再封，封的越来越快，效率非常低下，这是为什么呢？ 那是因为，你用的代理IP凑巧也是别人用来访问相同的网站的，而且用的还比较频繁。可能你们使用了共享ip池，或者使用的代理ip池很小。 所以，当您遇到“您的请求太过频繁，请稍后再试”时，不要慌，要镇定，检查下自己的爬虫策略，是否真的访问太过频繁，检查下自己的代理IP是否真的比较干净，调整自己的策略，选择更加纯净的IP，就能有效的避免这个错误了
66210编辑于 2024-06-08 - 来自专栏Laoqi's Linux运维专列
cpu频繁有序的忽高忽低
今天有空给大家分享一个我刚刚遇到的小问题，标题就是今天的问题。上图： image.png CPU 忽高忽低的发现了吧，对于我这个纠结者，必须得弄清楚是怎么回事。 先看看进程 top -c （一切都是显得那么正常） vmstat 2 1000 也没有查出任何不对的地方，且平均负载很小。 最后使用sar -u 2 1000 终于查到了 每到每分钟的1秒开始，有大量的CPU消耗。 image.png 最终想起来了，之前为了防止爆破狗设定的cron计划就是每分钟去执行一次。（硬件吗，比较低，所
1.5K100发布于 2018-05-09 - 来自专栏JavaEdge
线上MySQL为何频繁“抖擞”？
一条SQL平时明明执行很快，但总有那么几个时刻，变得特别慢，看起来随机持续时间又短，难以复现。
1.2K20发布于 2021-02-23 - 来自专栏后端沉思录
生产应用频繁fullgc分析
生产有应用频繁的fullgc，怀疑系统存在异常。 结论 在使用本地缓存时，一定要注意缓存时间设置，否则会导致对象晋升到老年代过快而频繁导致FGC，根据实际的业务场景需要，可以把缓存设置永不过期（缓存的更新可以用定时任务去更新或者配置变更时通过消息方式去更新本地缓存
71920编辑于 2022-08-30 - 来自专栏二马读书
JVM 频繁GC快速排查捷径
在分享案例前，先聊聊哪些场景会导致频繁full gc： 1，内存泄漏（代码有问题，对象引用没及时释放，导致对象不能及时回收） 2，死循环 3，大对象
81630发布于 2020-11-04 - 来自专栏Python编程 pyqt matplotlib
985校训中的频繁词
本篇通过爬虫和Fp-growth的简单应用，从网页上记载的985校训中发现频繁词。 ? 首先利用requests模块爬取上述指定网页的全部html内容。 最后利用FP-growth算法 发现校训中的频繁项集： import fpGrowth_py36 as fpG def findFreq(dataset, minSup): initSet = return freqList dataset = words minSup = 4 freqList = findFreq(dataset, minSup) print("支持度为%d时，频繁项数为 %d:"%(minSup, len(freqList))) print("频繁项集为:\n", freqList) ?
58410发布于 2019-10-30 - 来自专栏大数据平台TBDS
Regionserver频繁挂掉故障处理实践
导语： 近期腾讯云的一家大客户频繁出现HBase regionserver 挂掉，影响业务正常使用。通过调整堆栈大小、gc优化、超时时间等都无法解决该问题。 一、故障现象 1、 首先regionserver频繁爆出两类错误： wal.FSHLog: Error syncing, request close of WAL: 1.png 以及出现错误： regionserver.MemStoreFlusher CMSInitiatingOccupancyFraction=70 -Xms{{regionserver_heapsize}} -Xmx{{regionserver_heapsize}}" 经过参数优化之后，regionserver 频繁挂掉的情况有所改善 三、分析故障原因 既然通过优化hbase本身无法解决regionserver频繁挂掉的原因，那就必须将分析扩大到hbase相关的进程。与hbase密切相关的是zookeeper。 经过调整zk的tickTime为6秒，相应的zookeeper.session.timeout为120秒，最终解决regionserver 频繁挂掉的故障。
8.3K71发布于 2018-01-28 - 来自专栏JavaEdge
OOM和频繁GC预防方案
如把收到请求的Request对象在业务流程中一直传递下去，而非每执行一个步骤，就创建一个和Request对象差不多的新对象 那些需频繁使用，占用内存较大的一次性对象，可考虑自行回收并重用这些对象。 收到请求后，在对象池内申请一个对象，使用完后再放回对象池，这就能复用这些对象，有效避免频繁触发GC 使用更大内存的服务器。 根本解决该问题，办法只有一个：绕开自动GC机制，自己实现内存管理。 这种一般不要求时延，大部分都能异步处理，更注重服务吞吐率，服务可在更大内存服务器部署，然后把新生代的eden设置更大，因为这些文本处理完不会再拿来复用，朝生夕灭，可在新生代Minor GC，防止对象晋升到老年代，防止频繁 Major GC，如果晋升的对象过多大于老年代的连续内存空间也会有触发Full Gc，然后在这些处理文本的业务流程中，防止频繁的创建一次性的大对象，把文本对象做为业务流程直接传递下去，如果这些文本需要复用可以将他保存起来 ，防止频繁的创建。
72340编辑于 2022-09-14 - 来自专栏敏捷测试
如何有效管理频繁变更的需求
尤其在互联网、金融、电商等快速迭代的行业中，频繁变更的需求不仅考验团队的执行力，也直接影响项目成本、进度和产品质量。 一、频繁变更需求的本质与挑战需求频繁变更通常来源于以下几个方面：市场与业务变化例如电商促销策略变化、金融监管政策调整、用户行为变化等，会导致原先设计的功能需求不再适用。 案例：某电商平台在双十一期间，促销规则频繁调整。团队通过风险优先级管理，将核心支付和库存功能置于高优先级变更处理，次要展示功能置于低优先级，保证核心业务稳定上线。 案例：在一家互联网支付公司，采用两周一次迭代交付，配合自动化回归测试，实现每次业务规则调整在一周内完成开发、测试和上线，极大降低了因频繁变更导致的延误和缺陷。 6.跨团队协作与沟通频繁变更要求产品、开发、测试、运维保持紧密沟通：跨职能会议：每周固定召开变更评审会。明确责任人：对每次变更指定开发、测试和运维负责人。
33011编辑于 2025-12-11 - 来自专栏Java技术栈
CPU飙高，频繁GC，怎么排查？
这里我们基本上可以确定，当前系统缓慢的原因主要是垃圾回收过于频繁，导致GC停顿时间较长。 CPU过高 在前面第一点中，我们讲到，CPU过高可能是系统频繁的进行Full GC，导致系统缓慢。而我们平常也肯能遇到比较耗时的计算，导致CPU过高的情况，此时查看方式其实与上面的非常类似。
5K30发布于 2019-11-09 - 来自专栏微观技术
线上问题排查，Redis 频繁重连...
考虑到报错的是一台从节点，所以是第二种情况：从节点频繁跟主节点重连。
1.4K10编辑于 2021-12-13 - 来自专栏Java架构师必看
JVM 频繁 FULL GC 快速排查整理
在分享此案例前，先聊聊哪些场景会导致频繁Full GC： 内存泄漏（代码有问题，对象引用没及时释放，导致对象不能及时回收） 死循环 大对象 程序执行了System.gc() 尤其是大对象，
6K10发布于 2021-05-14 - 来自专栏关于XXX我们需要知道的
服务器常见问题排查（一）——CPU占用高、上下文频繁切换、频繁GC
原因包括业务逻辑问题(死循环)、频繁gc以及上下文切换过多。而最常见的往往是业务逻辑(或者框架逻辑)导致的，可以使用jstack来分析对应的堆栈情况。 频繁GC问题通过使用jstat工具的-gc选项，我们可以观察GC的分代变化情况，以便确定GC是否过于频繁。 如果发现GC过于频繁或存在其他问题，我们可以进一步分析并采取相应的优化措施。频繁上下文切换上下文切换会消耗CPU的时间，并导致进程真正运行的时间缩短，从而成为系统性能下降的一个因素。
1.9K30编辑于 2023-10-26 - 来自专栏机器学习养成记
关联分析(2):Apriori产生频繁项集
如果一个项集频繁，则其所有子集也频繁。 比如｛a,b｝是频繁项集，则包含｛a,b｝的事务一定包含其子集｛a｝和｛b｝，因此如果｛a,b｝频繁，其子集一定频繁。 反单调性。 如果一个项集非频繁，则其所有超集也非频繁。 比如｛a,b｝是非频繁项集，则他的所有子集也是非频繁的。即项集的支持度不超过其子集的支持度。根据支持度的反单调性，可以通过剪枝减少候选项集的数量。 步骤二 根据先验原理与支持度反单调性，非频繁1-项集的超集都非频繁，所以使用频繁1-项集来产生候选2-项集。 ? 步骤三 同理，使用频繁2-项集来产生候选3-项集。 从1-项集开始，直到可以产生的最长频繁项集。 2，产生测试策略。每次新的候选项集都由前一次产生的频繁项集生成，然后根据支持度要求，得到新的频繁项集。 这样，只有在两个频繁k－项集的前（k－1）项都相同时，才进行合并，产生（k＋1）项集，然后验证子集是否频繁，对非频繁子集进行剪枝，生成候选（k＋1）项集。
1.7K20发布于 2018-07-23 - 来自专栏DBA随笔
频繁AOF重写
容器化Redis服务频繁AOF重写 今天来看线上的一个Redis案例。 01背景介绍 线上的一个Redis实例频繁进行aof重写，进入redis的数据目录，可以看到下面的场景： 我们可以看到: 1、在redis的数据目录，生成了很多个temp-xxx.aof文件。
1.5K30编辑于 2022-01-04 - 来自专栏IPIDEA
导致代理IP频繁掉线的常见原因
随着互联网高速发展，越来越多人投身于互联网工作行业，大家常常会需要用到各类工具来提高工作效率，像代理IP就是目前互联网从业人员使用较为频繁的工具之一。 然而使用的人数多了之后，问题也会接踵而至，其中最令人“头秃”的便是代理IP频繁掉线的问题，不只影响用户的正常使用，还可能造成封号等更严重的影响。那么到底是什么原因导致的代理IP频繁掉线呢？ 2.代理IP服务器不稳定导致的频繁掉线 在排除自身网问题的情况下，就需要在代理IP身上找答案了。
1.1K20编辑于 2022-10-20
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号