- 综合排序
- 最热优先
- 最新优先
网络流量处理中的协议解析:流量处理模型
这里所说的网络流量处理，包括常说的IDS，IPS，NTA, NDR，XDR，DPI，网络行为审计，防火墙之类需要在数据包层面对流量进行判断审计之类的操作。 如果只需要简单的处理比如流量统计，那只需要++就行了。如果要做更准确深入的分析判断，就得需要对这些数据解码。从IP TCP 一直到应用层如SMTP。 IDS，IPS等流量处理引擎各有不同的侧重点，所以对协议解析的要求也各不相同，但大概来说，完整，准确，详细地提取出协议中的字段，比如邮件的标题，收件人，发件人是更好的。 解析提取的实现方式也各有各的办法，但解析部分的实现方式会受到流量处理模型的影响。这里把协议解析的实现建立在通常的处理模型之上。所以先简单描述一下这个处理模型。 可能有其他处理模型，那这里讨论的协议解析方式有可能不适用。通常，流量处理模型分为以下几个部分,每抓到一个数据包，就会逐个功能调用一遍，也就是数据包会逐次经过每个模块，每个模块被数据包触发。
36510编辑于 2025-04-18- 来自专栏高防
什么是流量攻击? 流量攻击怎么处理？
● 应用攻击：利用TCP和HTTP等协议定义的行为来不断占用计算资源以阻止它们处理正常事务和请求。HTTP半开和HTTP错误就是应用攻击的两个典型例子。 以下是一些应对流量攻击的方法：1.使用DDoS防护服务： 考虑使用专门的DDoS防护服务或设备。这些服务能够检测异常的流量并将其分离，确保合法用户可以继续访问你的服务。 2.增加带宽和服务器容量： 增加网络带宽和服务器容量可以帮助你承受更多的流量。这对于应对小型DDoS攻击可能会有帮助。3.负载均衡： 使用负载均衡设备来分发流量，将流量均匀地分散到多个服务器上。 4.网络流量分析： 使用流量分析工具监测网络流量，以检测异常活动。这可以帮助你快速识别DDoS攻击。 5.黑洞路由： 一种应急措施是将攻击流量路由到“黑洞”，即一个不处理流量的虚拟位置，从而使攻击者无法影响正常流量。
2.2K00编辑于 2023-12-24 - 来自专栏黑伞安全
高效处理流量加解密——Burpy
做项目时，如果遇到上面的流量，是不是觉得有点无从下手？ 今儿就看下如何使用Burpy来高效处理流量加解密。 •解析python脚本，并新建Burpy类的一个实例 •将脚本中的一些函数加载到BurpSuite右键菜单 •当点击Burpy菜单项时，整个HTTP数据包通过RPC传给python脚本的对应函数进行处理 ，返回处理后的HTTP数据包，并更新BurpSuite 分析目标 这是个Webpack之后的H5界面，前端使用VueJS编写的： 我们将上面的几个JS脚本文件下载到本地，使用prettier进行美化格式之后 解密时有两个参数，K1和K2，K1就是密文，K2是通过一个计算（md5）K1变换之后与提交的K2是否相等，如果相等就进行解密，是一个解密带签名的操作。 （这也是Burpy脚本要写成Python类的主要原因） 效果 点击解密： 点击加密： 自动加解密： 打开这个开关： OJBK： 总结 到此，加密的流量变成了明文，妈妈再也不用担心我无法进行渗透测试了
2.8K40发布于 2021-01-04 - 来自专栏计算机主机服务器
香港主机大流量处理能力分析
随着互联网的普及和移动互联网的发展，人们对于网站访问速度和响应速度的要求越来越高，尤其对于那些有着高访问量和大流量的网站来说，网站的处理能力就显得尤为重要。 香港主机通常会采用高速的SSD硬盘，以提高数据的读写速度和处理效率。SSD硬盘具有快速的读写速度和较短的响应时间，可以提高网站的性能和响应速度，是大流量网站的首选。 图片 网络带宽：香港主机通常会配置高速的网络带宽，以应对高流量的访问需求。其中，直连中国内地网络的香港主机尤其受到中国用户的青睐，因为它们可以提供更快的访问速度和更低的延迟。 高速的网络带宽可以保证网站的快速响应和稳定性，对于大流量网站来说尤其重要。 二、抗DDoS能力 DDoS攻击是网络安全领域的一个热点话题。 主机提供商会采用不同的DDoS防护技术，比如流量重定向和黑洞路由等，以减轻DDoS攻击对网站的影响。 以上两点是香港主机大流量处理能力的重要方面。
4.4K30编辑于 2023-05-05 - 来自专栏Clive的技术分享
PHP高并发大流量常规处理
增加服务器，提升服务器性能； nginx负载均衡； php、html静态化； 优化mysql，优化索引，mysql查询缓存； 引入redis、memcache； 访问ip限制； 限制大文件下载； 前端资源缓存。
1.6K60发布于 2018-04-19 - 来自专栏灰子学技术
Envoy：关于outbound流量的处理逻辑
本篇文章，笔者试图讲清楚流量在经过Envoy之后，outbound的流量处理过程是什么样子的。 envoy通过静态配置或者XDS动态配置进行加载起来，然后在流量过来的时候，通过Ip+port的方式去找到当前归属的是哪一个LDS。
50610编辑于 2023-10-30 - 来自专栏charlieroro
流量控制--2.传统的流量控制元素
整流器会尝试限制或分配流量，使其满足但不会超过配置的速率(通常为每秒报文数或每秒的比特/字节数)。也正是因为其运作机制，整流器可以使突发流量变得平滑。对带宽进行整流的好处是可以控制报文的延迟。 3.3 分类 分类器用于对进入队列的流量进行分类或分割。 分类是一种以不同的方式处理报文的机制，通常对应不同的输出队列。在处理过程中，当路由和传输一个报文时，网络设备可以使用多种方式对报文进行分类。 Linux模型(参见Section 4.3, “filter”)允许报文在流量控制结构中级联多个分类器，并与策略器一起进行分类(另请参见Section 4.5, “policer”) 3.4 策略 策略器用于衡量或限制特定队列的流量 策略是流量控制的一个元素，是一种限制流量的简单机制。策略广泛运用到网络边界，用于保证对端占用的带宽不会超配额。一个策略器会以一定的速率接收流量，当超过该速率之后会执行某些动作。 一个比较严格的方案是直接丢弃流量(虽然流量可以通过重新分类进行处理，而不用简单地丢弃)。
1.1K10发布于 2020-11-24 - 来自专栏高防
网站被流量攻击了,该怎么处理
2、服务中断通过网站黑客攻击，攻击者可以让网站对合法用户无用或不可用，DDoS 攻击是攻击者中断服务的最好例子。 在网络服务中断期间，黑客可以将其用作其他非法活动（窃取信息、修改网站、故意破坏、敲诈勒索等），或者干脆关闭网站或将网络流量重新路由到竞争对手/垃圾邮件网站。 此类黑客攻击风险较高的网站是：没有关于用户特权和授权的强有力的策略和配置过程没有要求强制使用强密码不需要强制执行双因素/多因素身份验证策略没有强制要求定期更改密码，尤其是在员工离开组织后不需要 HTTPS 连接2、 2、获取网站渗透测试处理大数据的企业会考虑特定于应用程序的业务逻辑缺陷，只有安全专家才能测试并建议针对此缺陷的缓解步骤。每当您对应用程序进行重大更改时，请请求经过认证的专家进行网站渗透测试。 定期监控网站流量和分析模式有助于识别僵尸机器人流量。检测到后，应立即采取措施阻止这些恶意来源并将其列入黑名单。一旦识别出僵尸机器人流量，请确保您能迅速响应阻止它。
2K10编辑于 2023-11-26 - 来自专栏灰子学技术
Envoy流量劫持后outbound部分处理逻辑
本篇文章主要来讲解下流量劫持到envoy之后，envoy层面是如何处理，并成功找到它的下一跳服务的，当然也是我们平时说的upstream。 因为iptables劫持流量的时候，只会在Envoy中基于outbound流量出口15006创建一个真实的物理连接socket，所有的流量到了这个socket之后，会先匹配到对应Listener。 Listener可以理解成一个逻辑连接，存储在内存中，通过流量中的带下来的Host+Port进行匹配，命中的话，就会走这个Listener进行处理。 Listener下面会挂载很多filterchains链，这些filterchains是用户根据不同的需求设置的filter数组，而每一个filter表示的是对流量某一段处理的逻辑对象。 例如:处理http的filter，它会先将http包进行decode，然后去匹配RDS和CDS，以便找到这个服务对应的下一跳upstream。
1K10发布于 2021-10-13 - 来自专栏大大刺猬
SSH端口转发2, 转发https流量.
ssh 用法 man ssh #查看帮助文档最快 2020-07-06_140540.png 看起来比较麻烦,我都总结如下 ssh -R [HOST_1_IP]:HOST_1_PORT:HOST_2_ IP:HOST_2_PORT HOST_1_IP[:HOST_1_PORT] -Nf 解释(参考图一): -R 关键词 -Nf 后台启用，不打开shell HOST_1_IP 拥有公网IP 的服务器(SERVER_A) HOST_1_PORT 拥有公网IP的服务器(SERVER_A)的端口 HOST_2_IP 私网服务器的IP(SERVER_C) HOST_2_PORT 154513.png 测试: 访问https://129.28.x.x 2020-07-06_154839.png 2020-07-06_154939.png 总结: ssh本质上是转发的tcp流量 , haproxy也是转发的tcp流量, 所以ssl认证是内网服务器和客户端进行的.
4.7K30发布于 2020-07-06 - 来自专栏红蓝对抗
流量加密之C2隐藏
所以我们需要加密流量保护CS服务器以免被防守方的安全监控检测出来甚至溯源我们的CS服务器，目前常用的隐藏手段包括域前置、CDN、云函数等，接下来我将介绍这几种常见的隐藏C2的方式。 CS 服务器定制 malleable C2 以用于隐藏流量。 malleable C2 主要通过修改 C2 配置文件、更改 beacon 的 payload 的属性和行为来伪造正常的通信流量。 与云函数类似，域前置技术主要通过CDN节点将流量转发给真实的C2服务器，CDN节点ip可通过识别请求的Host头进行流量转发，利用我们配置域名的高可信度，那么就可以有效躲避针对DLP、agent等流量监测 WireShark 抓包在 WireShark 中跑的都是TLS加密流量、目的地址为随机的CDN节点，因此无法溯源到我们C2服务器的真实IP0x03 总结通过这段时间针对流量加密的学习，我发现网络攻击与防守总是在不断转换
13.4K111编辑于 2022-06-21 网络流量处理中的协议解析:解析
= 0) { if (state == ERROR) return; if (state == HEAD) { // 处理head的过程 state = BODY ; continue; } if (state == BODY) { // 处理body的过程 state = END; continue ; } // 其他部分处理 if (state == END) { // 结束退出处理过程 }}其中的state用例记录解析的状态，但邮件头还未处理完的时候state 当处理完头部的时候把state改为头部的后续阶段BODY，就进入邮件正文的解析。解析的问题这部分伪代码看起来还算清晰。但是真正实现的时候会遇到很多麻烦。 状态转换过程将在下一篇文章：网络流量处理中的协议解析:状态机 中详细描述。参考: protolens@gitee protolens@github
25210编辑于 2025-04-18- 来自专栏伪架构师
在 Linkerd2 中进行流量拆分
最新发布的 Linkerd 2.4，加入了对流量拆分的支持。 安装最新版本之后，可以看到这个流量拆分功能所使用的 API 资源并非来自 Linkerd，而是 SMI 规范的一部分。 例如我们要从 flaskapp 服务分流到 v1 和 v2 两个版本，在 Istio 中，需要定义一个 flaskapp 服务，然后使用标签，在 Service 的标签子集中，选择两组 Subset 作为目的地 而在 Linkerd/SMI 中，就需要分别定义三个服务了，例如 flaskapp、flaskapp-v1、flaskapp-v2。下面简单操练一下。 labels: app: flaskapp spec: selector: app: flaskapp version: v2 ports: - name: spec: service: flaskapp backends: - service: flaskapp-v1 weight: 1 - service: flaskapp-v2
57020发布于 2019-07-22 - 来自专栏python+前端 知识分享
异常处理「2」
三、异常的传递3.1概念：异常的传递——当函数/方法执行出现异常，会即将异常 传递给函数/方法的调用一方，如果传递到主程序仍然没有异常处理，程序才会被终止。 (demo2())错误执行结果：流程理解：整数转换时出现了错误，出现错误的代码仍然是第二行，当第二行代码出现错误后会把异常交给第六行，这行带妈妈是在demo2函数内部调用demo1函数，当异常被传递到demo2 之后并没有在demo2函数内部处理异常，既然没有处理异常就会把这个异常继续向上传递，传递给代码的第九行，第九行是在主程序中调用demo2这个函数。 这个就是异常一级一级传递的过程，如果某个函数出现了异常，会把这个异常向上传递，传递给这个函数的调用一方，一直传递到主程序之后如果发现异常没有被处理程序才会被终止。 示例：需求：提示用户输入密码，如果长度少于8，抛出异常注意：当前函数只负责提示用户输入密码，如果密码长度不正确，需要其他函数进行额外处理。因此可以抛出异常，由其他需要处理的函数捕获异常。
60830编辑于 2022-09-30 - 来自专栏CNCF
在 Linkerd2 中进行流量拆分
最新发布的 Linkerd 2.4，加入了对流量拆分的支持。 安装最新版本之后，可以看到这个流量拆分功能所使用的 API 资源并非来自 Linkerd，而是 SMI 规范的一部分。 例如我们要从 flaskapp 服务分流到 v1 和 v2 两个版本，在 Istio 中，需要定义一个 flaskapp 服务，然后使用标签，在 Service 的标签子集中，选择两组 Subset 作为目的地 而在 Linkerd/SMI 中，就需要分别定义三个服务了，例如 flaskapp、flaskapp-v1、flaskapp-v2。下面简单操练一下。 labels: app: flaskapp spec: selector: app: flaskapp version: v2 ports: - name: spec: service: flaskapp backends: - service: flaskapp-v1 weight: 1 - service: flaskapp-v2
48120发布于 2019-12-03 网络流量处理中的协议解析:asyncawait
看起来像是为每一个链接都实现了一个微型的执行体，使得在同一个执行路径中，让流量处理程序可以并发处理大量的链接。这其实和async/await的异步模式很像。 流量中的协议解析又是一个典型的异步操作。只不过在用async/await之前，我们先用简陋的状态机来实现了。那么接下来，可以用更好的方式来实现协议解析。 前面的解析状态机可以看到，驱动状态机执行的过程并不需要很复杂，因为基于的流量处理模型仅仅需要对解析过程异步操作即可。所以我们只需要实现一个简单的执行器就可以了。
22210编辑于 2025-04-18- 来自专栏YO大数据
【Spark手机流量日志处理】使用SparkSQL按月统计流量使用量最多的用户
基础到进阶的内容 内容涉及到Spark的入门集群搭建，核心组件，RDD，算子的使用，底层原理，SparkCore，SparkSQL，SparkStreaming等，Spark专栏地址.欢迎小伙伴们订阅 手机流量日志处理 SparkSQL简介 依赖引入 SparkSQL快速入门案例 手机流量日志数据格式与处理要求 处理程序 SparkSQL简介 Spark SQL是Apache Spark的一个模块，提供了一种基于结构化数据的编程接口 日志字段与字段说明如下 1.需要实现的需求1.按月统计流量使用量最多的用户（每个月使用流量最多的用户） 2.将结果数据持久化到硬盘 处理程序 /** * @Description * 下行流量 状态码 //2020-03-10 15707126156 QK-X7-7N-G2-1N-QZ:CMCC 212.188.187.220 33 40 67584 81920 200 //使用量 =上+下 手机号码就是用户 RDD处理方式->((月，号码),(上行+下行)) //1.下载手机流量日志 //2.按月统计流量使用量最多的用户 //3.将结果数据持久化到硬盘
1.1K30编辑于 2023-03-30 - 来自专栏网络安全与可视化
PF_RING ZC | 高速流量处理DPDK替代方案
简介 目前大多需要进行高速流量处理的场景，基本都是使用DPDK进行数据包处理加速，DPDK虽然是开源免费的，但是DPDK提供的API很简单，进行开发十分复杂，耗时，应用困难，于是许多人开始寻找替代方案– 当您启用巨型帧时，NIC 将返回 2K 长的 RX 数据包（因此，如果您有一个入口 5k 数据包，您将收到部分 2 x 2K 缓冲区和剩余的 1k 缓冲区），如果您想发送一个数据包，则大小为 9K（因此您需要发送 本质上，开发人员必须知道这一点，准备用应用程序来处理这些问题，并确保当您移动到另一个不能以这种方式工作的 NIC（例如 Intel X520/X540）时，您能够处理巨型帧。 Zeek还支持安全领域以外的各种流量分析任务，包括性能评估和故障排除。使用PF_RING ZC（zero copy）驱动程序可实现极高的数据包捕获/传输速度，极大提升Zeek的流量处理能力。 Suricata引擎能够进行实时入侵检测(IDS)、内联入侵预防(IPS)、网络安全监控(NSM)和离线pcap处理。Suricata使用强大而广泛的规则和签名语言来检查网络流量，应用十分广泛。
2.9K41发布于 2021-06-04 网络流量处理中的协议解析七: Protolens
我们把这个库限定在这样的使用场景之下：作为一个库，被通常的多线程流量处理引擎调用。但库本身没有必要跨线程使用，也就是说流量处理引擎的每个线程都有自己的协议解析库的实例。 协议识别能力由流量处理引擎提供。协议解析和协议识别看似很接近，但这两个功能如果搅合在一起，显然是个错误的思路。解码器的输入是数据包，输出是解码后的协议数据。解码器通过回调函数把协议数据返回给用户。 既然调用者是流量处理引擎，那么流量处理引擎应该早已具备这些功能。库内部如果再做一遍，就会造成重复做功，浪费性能。为此，库可以设置一个传入数据包的trait，要求调用者实现这个trait。 使用方式Protolens用于处理数据包，tcp流重组，协议解析，协议还原的场景。作为一个库，通常用在网络安全监控，网络流量分析，网络流量还原等引擎当中。 因为通常的流量处理引擎中，肯定会为数据包实现高性能的clone属性，和包装结构。否则流量处理引擎本身也没办法高效处理数据包。那么，Protolens完全可以直接接收用户的Packet。
24210编辑于 2025-05-23网络流量处理中的协议解析:流重组
虽然在绝大多数邮件服务器的实现中都会表现如上面描述，但是如果你想故意逃避被流量检测程序还原你的邮件通信，你完全可以手动telnet上去，然后一个字符一个字符地发送，使mailfrom分散在多个包中。 就好像处理一个文件一样。这样的实现最简单直接。 如果流量处理程序需要处理大量链接，那内存消耗会无法接受。还有一个问题，就是等链接结束才开始解析，如果需要根据提取出来的字段作出针对链接的动作（比如阻断），为时已晚。所以需要更合适的重组方式。 MAILCOMPRESS250 8BITMIMEAUTH LOGIN334 VXNlcm5hbWU6dXNlcjEyMzQ1QGV4YW1wbGUxMjMuY29t334 UGFzc3dvcmQ6MTIzNDU2Nzg
32410编辑于 2025-04-18
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号