首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏得物技术

    得物热点探测技术架构设计与实践

    这里就需要聊到热点探测技术。3.1 热点探测可以带来什么好处?3.1.1 提升性能解决热点问题通常会使用分布式缓存,但是在读取时还是需要进行网络通讯,就会有额外的时间开销。 针对于这种突发性的大流量,单纯的机器扩容并不是一个有效的解决手段,我们需要一个集热点探测热点感知,热点数据推送,热点数据预热,热点监控分析等功能于一体的热点探测中间件,因此Burning应运而生。 4.1 价值意义Burning作为得物的热点探测中间件,提供可供业务方接入的SDK包和管理台规则配置,用于对热点数据的实时性监控,探测,操作和本地缓存等。 2.高性能:热点探测往往需要处理大量的热点探测请求和热点计算,因此热点探测中间件的性能要求较高,才能满足巨量的并发并有效降低成本3.准确性:热点探测需要精准的探测符合规则热Key,实时监听规则的变化,正确的进行热 所以我们要善于利用热点探测中间件进行热Key探测,通过预置本地缓存解决突发流量导致的系统瓶颈,也能通过热点数据监控分析进行针对性的系统调优。

    1.1K20编辑于 2023-03-22
  • 来自专栏程序猿DD

    京东的热点key探测系统发布,单机 QPS 提升至 37 万

    京东APP后台热数据探测框架,历经多次高压压测和2020年京东618大促考验。 在上线运行的这段时间内,每天探测的key数量数十亿计,精准捕获了大量爬虫、刷子用户,另准确探测大量热门商品并毫秒级推送到各个服务端内存,大幅降低了热数据对数据层的查询压力,提升了应用性能。 该框架历经多次压测,性能指标主要有两个: 1 探测性能:8核单机worker端每秒可接收处理16万个key探测任务,16核单机至少每秒平稳处理30万以上,实际压测达到37万,CPU平稳支撑,框架无异常。 介绍 对任意突发性的无法预先感知的热点请求,包括并不限于热点数据(如突发大量请求同一个商品)、热用户(如爬虫、刷子)、热接口(突发海量请求同一个接口)等,进行毫秒级精准探测到。 核心功能:热数据探测并推送至集群各个服务器。

    1.1K10发布于 2020-10-09
  • 来自专栏音视频直播技术专家

    网络探测

    探测路由 在进行网络探测之前,我们一般要先了解一下整个网络链路从源IP到目的IP的路由跳数。在 Windows和 Linux下使用的命令略有区别,不过原理都是一样的。 还可以通过它来探测丢包率。

    1.5K20发布于 2020-04-02
  • 来自专栏glm的全栈学习之路

    哈希表之线性探测和二次探测

    (H(key) + di) MOD m, i=1,2,…, k(k<=m-1),其中H(key)为散列函数,m为散列表长,di为增量序列,可有下列三种取法: 1.di=1,2,3,…, m-1,称线性探测再散列 ; 2.di=1^2, -1^2, 2^2,-2^2, 3^2, …, ±(k)^2,(k<=m/2)称二次探测再散列; 3.di=伪随机数序列,称伪随机探测再散列。

    4K20发布于 2020-09-28
  • 来自专栏数据结构与算法

    04:错误探测

    04:错误探测 总时间限制: 1000ms 内存限制: 65536kB描述 给定n*n由0和1组成的矩阵,如果矩阵的每一行和每一列的1的数量都是偶数,则认为符合条件。 

    1.7K50发布于 2018-04-03
  • 来自专栏网络安全攻防

    Fastjson探测简介

    Fastjson探测作用 在渗透测试中遇到json数据一般都会测试下有没有反序列化,然而JSON库有Fastjson,JackJson,Gson等等,那么怎么判断后端不是Fastjson呢? 可以构造特定的payload来进行探测分析,下面介绍一些常用的payload,且这些Payload可以在AutoType关闭的情况下进行测试~~~ Fastjson探测方法 方法一:java.net.Inet4Address

    1.6K40发布于 2021-07-21
  • 来自专栏首富手记

    网络探测:Blackbox Exporter

    网络探测:Blackbox Exporter 什么是 blackbox exporter? [ fail_if_ssl: <boolean> | default = false ] # 如果不存在SSL,则探测失败。 [ fail_if_not_ssl: <boolean> | default = false ] # 如果响应主体与正则表达式匹配,则探测失败。 对于不同类型的HTTP的探测需要管理员能够对HTTP探针的行为进行更多的自定义设置,包括:HTTP请求方法、HTTP头信息、请求参数等。 对于某些启用了安全认证的服务还需要能够对HTTP探测设置相应的Auth支持。对于HTTPS类型的服务还需要能够对证书进行自定义设置。

    5K53发布于 2020-02-06
  • 来自专栏磐创AI技术团队的专栏

    热点 | github近期热点项目汇总

    作者 | Walker 编辑 | 安可 【磐创AI导读】:我们总结了过去一年近8000个开源机器学习项目,从中选择了前30个最热点的项目推荐给大家。想要获取更多的机器学习、深度学习资源。 本文是近期Github热点项目的汇总,如果你想了解更多优秀的github项目,请关注我们公众号的github系列文章。 推荐 | 7个你最应该知道的机器学习相关github项目 热点 | 六月Github热点项目库总结 热点 | 四月最佳Github项目库与最有趣Reddit热点讨论(文末免费送百G数据集) 开源项目对于数据科学家来说是非常的重要

    1.6K10发布于 2018-09-20
  • 来自专栏首富手记

    网络探测:Blackbox Exporter

    网络探测:Blackbox Exporter 什么是 blackbox exporter? [ fail_if_ssl: <boolean> | default = false ] # 如果不存在SSL,则探测失败。 [ fail_if_not_ssl: <boolean> | default = false ] # 如果响应主体与正则表达式匹配,则探测失败。 对于不同类型的HTTP的探测需要管理员能够对HTTP探针的行为进行更多的自定义设置,包括:HTTP请求方法、HTTP头信息、请求参数等。 对于某些启用了安全认证的服务还需要能够对HTTP探测设置相应的Auth支持。对于HTTPS类型的服务还需要能够对证书进行自定义设置。

    2.8K30发布于 2020-02-17
  • 来自专栏cultureSun学安全

    WEB指纹探测工具

    探测工具 whatweb 这时一款kali自带的工具,使用非常简单。 plugin-development/alexa-top-100.txt \ --url-suffix /crossdomain.xml -p crossdomain_xml Other 操作实例: 可以看到探测到 浏览器插件 可以使用浏览器插件来探测,使用更加的方便快捷。 最常用的是 Wappalyzer ,听说还有一款插件也可以 whatruns 。有兴趣可以用用 whatruns 插件。 操作实例: 浏览器打开某个网页,点开插件自动就探测了web指纹。 Wafw00f 这个工具是探测Waf指纹的,在之前的博客有讲解过这个博客,可自行翻阅。 结语 指纹探测在web渗透测试中非常重要,属于渗透测试中的信息收集阶段。信息收集越全面之后的渗透越方便。

    1.1K30编辑于 2023-05-18
  • 来自专栏yulate的网络安全技术分析

    静默内网存活探测

    静默内网存活探测 一、前言 临近教育护网,再次来研究一个之前没有细究过的内容:静默内网存活探测,当你突破边界服务器进入内网的时候就会面临着这个问题,如何在不被发现的情况下进行内网探测。 如果使用如fscan等内网自动化探测工具产生大量的异常流量那么就必然会被发现,被发现那十有八九这台好不容易被拿下的服务器肯定就无了,毕竟蓝队最喜欢关机。这篇文章就来探讨如何这个问题。 二、正文 本文仅探究静默内网存活探测,不对前期的内网信息收集做过多的介绍 1、icmp协议探测 windows使用如下命令扫描192.168.1.0/24网段下存活主机,该方法流量和正常ping流量相似 ,但探测速度极慢 for /L %I in (1,1,254) Do @ping -w 1 -n 1 192.168.1. $k|grep "ttl"|awk -F "[ :]+" '{print $4}'; done 2、arp探测 通过arp可以探测出一些信息,也没动静 arp -a 3、PowerShell 使用powershell

    1.6K20编辑于 2023-05-02
  • 16.2 ARP 主机探测技术

    ARP主机探测原理是通过发送 ARP 查询报文,来获取目标主机的 MAC 地址,进而获取目标主机的 IP 地址。 主机探测的具体实现步骤如下:构造一个ARP查询报文,报文中的目标IP地址为需要探测的主机IP地址,源IP地址为探测主机的IP地址,源MAC地址为探测主机网卡的MAC地址。发送ARP查询报文。 在Windows系统下,我们可以调用SendARP()函数实现ARP探测,该函数用于发送ARP请求到指定的 IP 地址,以获取其 MAC 地址。 代码中使用 SendARP() 函数来探测目标主机是否存活,并使用多线程方式来加快扫描速度,同时使用临界区来控制多线程条件下的输出效果。 在循环中,使用 CreateThread() 函数来创建多个线程,每个线程负责探测其中一台主机是否在线。

    81920编辑于 2023-10-21
  • 来自专栏summerking的专栏

    批量ping探测网段ip

    判断 192.168.0.0/24 网络里,当前在线的 IP 有哪些,能 ping 通则认为在线

    3.2K40编辑于 2022-09-19
  • 来自专栏专注网络研发

    TCP的KeepAlive探测详解

    其中SO_KEEPALIVE用于打开或者关闭KeepAlive功能,TCP_KEEPIDLE用于设置空闲时间——即有多久没有发送报文就进行探测,TCP_KEEPCNT用于设置KeepAlive的尝试次数 这里容易搞混的是TCP_KEEPIDLE和TCP_KEEPINTVL,前者是需要进行KeepAlive探测的空闲时间,而后者是在某次KeepAlive探测失败,再次重试的间隔时间。 对于上面的程序来说,当该TCP连接有5秒没有进行数据传输时,就会发送KeepAlive探测报文。当探测报文失败时,会隔2秒再次发送探测报文,3次探测失败就判断连接失败。 再间隔5秒后,再次发送KeepAlive探测报文,即第6个报文。 当探测超时,就会调用tcp_send_active_reset向对端发送RST报文,中止连接,然后调用tcp_write_err。 ?

    5.8K50发布于 2019-04-10
  • 开放地址法(Open Addressing,如线性探测、二次探测等)

    探测方法: 线性探测法: 线性探测的增量序列为di = 1, ..., m - 1。 当发生冲突时,从当前位置开始,逐个探测每个单元(必要时可以绕回)以查找出一个空单元。 二次探测法: 为了解决线性探测可能带来的聚集问题,二次探测探测相距较远的单元,而不是和原始位置相邻的单元。 探测的过程是x+1, x+4, x+9, x+16...到原始位置的距离是步数的平方。 处理冲突: 如果初始位置不为空(即发生冲突),则使用开放地址法中的探测策略(如线性探测、二次探测等)来查找下一个空位置。 探测策略通常涉及在哈希表中按照一定的增量序列查找空闲位置。 线性探测中,增量序列为di = 1, 2, 3, ..., m-1(其中m为哈希表长度)。 二次探测中,增量序列为di = ±i^2, ±2i^2, ...(其中i为探测次数)。 不同的探测方法有不同的特点和适用场景,可以根据实际需求选择适合的探测方法。

    76210编辑于 2025-04-05
  • 来自专栏MySQL技术

    【MySQL】探测mysqldump详细过程

    前言:相信大家对mysqldump应该不陌生,但是大家对mysqldump的原理及备份过程真的熟悉吗?今天,我们一起来深入理解一下mysqldump的备份原理及备份过程以及不同参数产生的效果。

    1K10发布于 2019-09-08
  • 来自专栏charlieroro

    Linux探测工具BCC(网络)

    Linux探测工具BCC(网络) Icmp的探测 首先看下促使我学习bcc的这篇文章中的程序traceicmpsoftirq.py,使用该程序的本意是找出对ping响应的进程位于哪个CPU core上, try: b.kprobe_poll() except KeyboardInterrupt: exit() 上面程序对icmp_echo内核函数进行打点探测 TCP的探测 下面看一下TCP的探测,用于跟踪内核代码tcp_v4_connect或tcp_v6_connect,代码源自官方库tools/tcpconnect #!

    2.9K30发布于 2020-07-13
  • 来自专栏WhITECat安全团队

    如何探测内网存活主机

    在渗透中,当我们拿下一台服务器作为跳板机进一步进行内网渗透时,往往需要通过主机存活探测和端口扫描来收集内网资产。 我们将主机扫描的场景大致可分为三种,1)直接在webshell下执行,通过系统自带命令或上传脚本工具进行扫描探测 ;2)通过反弹shell进行内网渗透,msf等渗透测试框架自带一些扫描模块;3)通过socks 比如支持存活探测的协议,包括了 ARP、ICMP、SMB、 UDP、NETBIOS、SNMP协议等;支持端口扫描的方式,包括ACK扫描、SYN扫描、TCP扫描、UDP扫描、ICMP扫描等。 ? 使用系统自带的命令来完成C段探测,虽然效率低,但不容易触发安全规则。如果服务器开启了防火墙或者禁ping,那么就会影响探测结果。 2>$null} 03、基于MSF的内网主机探测 使用msf进行反弹shell进行内网渗透时,通过msf自带的扫描模块进行快速扫描。

    2.5K20发布于 2020-09-27
  • 来自专栏全栈程序员必看

    散列表采用线性探测法会出现_平方探测法解决冲突

    第四、ThreadLocalMap中的set() ThreadLocalMap使用闭散列:(开放地址法或者也叫线性探测法)解决哈希冲突,线性探测法的地址增量di = 1, 2, … 其中,i为探测次数 该方法一次探测下一个地址,直到有空的地址后插入,若整个空间都找不到空余的地址,则产生溢出。 先看一下线性探测相关的代码,从中也可以看出来table实际是一个环: private static int nextIndex(int i, int len) { return ((i + 1 < key.threadLocalHashCode & (len-1); /**根据获取到的索引进行循环,如果当前索引上的table[i]不为空,在没有return的情况下, * 就使用nextIndex()获取下一个(上面提到到线性探测法 当我们要往哈希表中插入一个数据时,通过哈希函数计算该值的哈希地址,当我们找到哈希地址时却发现该位置已经被别的数据插入了,那么此时我们就找紧跟着这一位置的下一个位置,看是否能够插入,如果能则插入,不能则继续探测紧跟着当前位置的下一个位置

    48720编辑于 2022-11-01
  • 来自专栏人人都是极客

    利用eBPF探测Rootkit漏洞

    作者简介:许庆伟,Linux Kernel Security Researcher & Performance Develope 如今,云原生平台越来越多的使用了基于eBPF的安全探测技术。 目标是看看Tracee的探测结果。

    1.8K10编辑于 2022-07-12
领券