首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏云原生实验室

    Nginx 流量镜像使用技巧

    基础流量镜像配置 现在我们向后端添加一个测试服务,并将发往源后端的流量复制一份到测试后端。 ? 可以得出结论:镜像流量不会影响源站请求的响应。 3. 将流量复制到故障后端 到目前为止,测试结果都很符合预期。 只复制流量的一部分 如果你不确定镜像后端是否能够正确处理原始请求,你可以只复制一部分流量镜像后端,例如 10%。 这样我们就实现了只复制部分流量镜像后端,如果 $mirror_backend 变量的值为空字符串,就不复制流量;其他情况就会将流量镜像后端。 这个方法的奇妙之处在于 split_client 对流量的拆分结果是保持恒定的,apikey=1 的请求会一直被复制到镜像后端。 6.

    13.7K72发布于 2019-08-29
  • 来自专栏方亮

    AWS攻略——初识流量镜像

    在实际应用场景下,我们可能需要建立一个测试环境,既能接线上流量,又不希望影响线上业务,这个时候流量镜像就派上用场。 100.0.0.16/28 eu-west-1a TrafficMirrorTargetPrivateSubnet 100.0.0.32/28 eu-west-1a 创建EC2 这儿需要注意一点,被镜像流量的实例需要是基于 type vxlan id 1 dev eth0 dstport 4789 sudo ip link set vxlan0 up 这儿特别需要注意下倒数第二行 vxlan id 1这个,需要和后续创建的流量镜像 /vxlan-to-http-request -destination "http://100.0.0.37" -filter-request-port "80" 创建流量镜像 创建筛选条件 我们只检测 80端的入站流量 创建目标 我们需要把流量镜像到Adapter层EC2的网络接口。

    1.9K10编辑于 2023-03-16
  • 来自专栏云原生技术社区

    Kube-OVN 0.6.0 发布,支持 IPv6流量镜像及更多功能

    支持流量镜像 在安装 Kube-OVN 时可以开启 mirror 选项,会自动在每个节点创建 mirror0 网卡,该网卡复制了该节点上所有的容器网络流量。 可以通过监控 mirror0 网卡来获取该节点所有容器网络流量信息,便于之后审计,流量回放等功能实现。 2. IPv6 beta 支持 子网可以选择 IP 协议,部署时可将默认子网以及主机子网设置成 IPv6 格式地址,即可自动分配 IPv6 容器 IP。

    62440发布于 2019-07-30
  • 来自专栏运维研习社

    利用Nginx流量镜像,优雅的接入waf

    这里就要参考网络防火墙,或者入侵检测系统的方法,通过流量镜像的方式,在网络故障处理中,为了更好的分析定位网络问题,我们通常会做流量镜像或者端口镜像,来保存镜像流量,用于分析恶意请求、或抓包故障定位等,我们 web上也可以通过这种方式来做 怎么做呢,有很多开源的流量复制/镜像工具,比如gor、tcpcopy等,都可以用来做流量镜像 但是在Nginx下面,你就没必要这么麻烦了,Nginx早在1.13版本的时候就添加了 Nginx的流量镜像模块,很简单,就两个指令 ? mirror用来指定请求将被镜像到哪个uri,可以指定多个镜像,uri也可以用相同的,相同的uri就表示将流量放大了一倍,也就是多复制了一份流量到uri,这个也是可以用来测试流量放大的情况下,后端的负载情况 结合这个特性,我们就可以把waf配置在镜像流量下 ?

    2.5K30发布于 2020-06-15
  • 来自专栏全栈程序员必看

    docker(6镜像的使用

    docker 面向对象 镜像 类 容器 实例 当运行容器时,使用的镜像如果在本地中不存在,docker 就会自动从 docker 镜像仓库中下载,默认是从 Docker Hub 公共镜像源下载。 查看镜像列表 使用docker images查看本地已经下载的镜像 REPOSITORY:表示镜像的仓库源 TAG:镜像的标签,区分不同版本 IMAGE ID:镜像ID,16进制组成,唯一标识 CREATED 5 years ago 349MB 我们本地下载的镜像文件是从仓库下载过来的,每个镜像在仓库源都有个名称,也就是 REPOSITORY,同一个镜像源可以有不同的版本,同标签 5 years ago 349MB [root@jkc docker]# 创建镜像 当我们从 docker 镜像仓库中下载的镜像不能满足我们的需求时,我们可以通过以下两种方式对镜像进行更改 1、从已经创建的容器中更新镜像,并且提交这个镜像 2、使用 Dockerfile 指令来创建一个新的镜像 更新镜像 更新镜像之前,我们需要使用镜像来创建一个容器。

    74210编辑于 2022-09-19
  • 来自专栏运维小路

    Web服务器-Nginx流量镜像(Mirror)

    在实际的业务环境中,为了验证新功能等操作,需要引入一定的流量进行测试。但是手工模拟流量很难模拟真实的生产环境。所以就衍生出来一个需求就是把生产流量引入测试环境,他就是我们今天要讲的流量镜像功能。 把流量从生产引入到测试环境以后,就可以根据自己的对测试工作进行进一步细分,可做流量压测,蓝绿发布等操作。但是需要注意,这个会增加Nginx的负载压力。 下面就是我们使用Nginx的mirror功能来实现流量镜像功能。 to: $upstream_addr Status: $status'; access_log /var/log/nginx/mirror.log mirror_log; # 配置流量镜像规则 (镜像所有请求) location / { # 镜像配置 mirror /mirror; # 镜像请求发送到内部location

    1.3K10编辑于 2025-04-13
  • 来自专栏大大刺猬

    MYSQL SSL连接 (含mysql流量镜像脚本)

    /5.7/en/creating-ssl-files-using-openssl.html图片执行脚本python mysql_monitor.py图片注: TLS继承自SSL看下我们Print出来的流量

    7.7K111编辑于 2023-03-24
  • 来自专栏jeremy的技术点滴

    制作CentOS6基础镜像

    搭建私有云时需要制作一些操作系统的基础镜像,这里也有一些持巧,在这里记录下来以备忘。 安装CentOS6操作系统 这里没有太多好说的,我是从这里下载最小安装ISO进行安装的,安装的硬盘大小为20G。 qemu-img convert -f qcow2 -O qcow2 centos6.img centos6_c.img mv centos6_c.img centos6.img 对镜像文件预处理 使用虚拟机平台基于上述centos6基础镜像文件创建虚拟机后,在虚拟机启动前需对镜像文件进行预处理,我这里写个脚本处理这件事 执行脚本前需安装libguestfs-tools yum install - linux操作系统及windows系统 要是能扩展虚拟化管理平台WebVirtMgr,能在首次启动时执行指定的脚本对镜像进行预处理就好了。 参考 深度实践KVM/第16章 虚拟机镜像制作、配置与测试/16.2 Linux镜像制作方法 http://www.361way.com/kvm-libguestfs-tools/3175.html

    2.9K60发布于 2018-05-10
  • 来自专栏技术那些事

    Nginx Mirror 模块实现流量镜像,把生产流量复制到测试环境

    在微服务与持续交付场景中,流量镜像(Traffic Mirroring) 是评估新版本、压测与采集数据的重要手段。 本文讲解如何使用 Nginx 原生的 mirror 模块实现流量镜像,包含原理、配置示例、按条件/按比例镜像以及生产注意事项。 1、什么是流量镜像流量镜像 是指在真实用户访问业务系统时,将请求同时复制一份,异步地发送到另一个后端系统进行处理,而不影响主请求的响应。 6、进阶用法:多目标镜像支持将同一请求复制到多个后端系统:location / { proxy_pass http://main_backend; mirror /mirror_a; ,对主请求影响极小 限制镜像响应结果不会被使用,也不会出现在日志中⚠️ 风险若镜像目标不可达,会增加 Nginx 异步队列压力 建议大体量流量建议独立部署 Nginx 作为“流量复制层”9、日志与验证可以为镜像目标服务单独设置日志

    83830编辑于 2025-10-28
  • 来自专栏FreeBuf

    Linux内核实现多路镜像流量聚合和复制

    作者 linxinsnow 应用场景 我们在进行安全性监控、测试的过程中,难免会遇到这样的问题:需要部署大量基于镜像流量的安全设备,如IPS,异常流量,数据库审计,流量分析等,可是交换机上可以做镜像流量的端口数量有限制 和eth4的流量,聚合给eth5 MIRROR内核模块中,只需要实现参数读取,配置分析,网卡判断(源,目的)即可。 同时用一个全局的8字节变量,来存储哪些网卡是镜像流量口,防止多余的资源浪费。 __read_mostly__u8 ifindex_bits = 0; Skb包复制和转发 ? 当Linux内核收到一个skb结构的数据包时,判断这个数据包是不是在转发列表里,也就是网卡是不是镜像源。 ? 镜像流量效果 ? 这里可以看到流量统计由于网卡速率,时间差等,并不会100%一样,是正常的。 CPU占用 当流量已经达到400M左右的时候,CPU占用仍然比较低。 ?

    2.7K50发布于 2018-02-05
  • 来自专栏硬核项目经理的专栏

    【Nginx26】Nginx学习:日志与镜像流量复制

    Nginx学习:日志与镜像流量复制 总算到了日志模块,其实这个模块的指令之前我们就用过了,而且也是是非常常见的指令。相信这一块的学习大家应该不会有什么难度。 : form-data; name=\x22aaa\x22\x0D\x0A\x0D\x0A555\x0D\x0A--------------------------02b9bcad6dd94cb3--\ 其实呀,它就是可以将我们的请求再发给另一个镜像地址,它只管发送,不管那边会有什么响应。就相当于是将流量复制了一份。我们先来看它的配置。 mirror 设置原始请求将被镜像到的 URI。 镜像流量复制测试 好了,直接来测试吧,这个东西要是上面没看懂,那就手动测试一下,不动手,光看概念,不懂的始终还是不懂。我们先准备一个镜像 location 。 那么这个镜像功能可以有什么实际的应用吗?一是可以做流量放大,比如多次请求;二是灰度发布验证,通过镜像到新版来验证新版本是否会报错;三是忽略响应很重要,可以发送一些回调验证之类的请求。

    1.9K20编辑于 2023-09-18
  • 来自专栏陈琛的Redis文章

    Docker系列——6.docker 制作镜像

    在前面我们使用了docker commit在制作了一个镜像cutegirl,但是这是要在提交的基础上修改的,但是如果没有一个基本的镜像,就不能用这个方法,这就要引入一个新的方式,采用dockerfile 第三行:就是要这个镜像实现什么功能?现在实现的功能就是打印Hello Docker。 ? 写好之后,我们来打包。 ? 执行完打包命令之后,我们看一下执行结果是什么?

    72820发布于 2020-06-12
  • 来自专栏DevOps运维

    6-docker镜像仓库和标签tag

    一 docker仓库和镜像tag A. docker仓库分类 docker镜像是需要放到一个统一的仓库的,以便不同的主机可以下载和使用相同的镜像而不必每次都用dockerfile自己做,docker镜像仓库按如下方式划分 每个镜像可以有多个 tag,而多个 tag 可能对应的是同一个镜像。下面介绍 Docker 社区普遍使用的 tag 方案。 TAG IMAGE ID CREATED SIZE luoxiaogang/c7-nginx v2 669691018aa6 Pushed 2de8d3b18deb: Pushed f903e5a29540: Pushed 228f6119c990: Pushed 54470def7538: Pushed d69483a6face : Pushed v2: digest: sha256:12843dfd....6 size: 1782 三 私有仓库(命令行) A.

    2.6K10发布于 2021-11-16
  • 来自专栏charlieroro

    流量控制--6.Classful Queuing Disciplines (qdiscs)

    HTB使用了令牌和桶的概念,并使用了基于类的系统和过滤器对流量进行复杂和细粒度的控制。通过一个复杂的借用模型,HTB可以实现各种复杂的流量控制技术。另一种最简单的方式是在整流时使用HTB。 修改该值会对竞争下的借用和整流造成巨大的影响(因为它会在流量超过rate(且低于ceil)的子类间对流量进行分割,并传输这些子类的报文)。 Bulk 2 0xe 7 mmc+mr+mt 2 Bulk 2 0x10 8 Minimize Delay (md) 6 Interactive 0 0x12 9 mmc+md 6 Interactive 0 0x14 10 mr+md 6 Interactive 0 0x16 11 mmc+mr+md 6 Interactive 0 0x18 12 mt+md 4 Int. weight weightvalue 当入队列到底层时,将以循环方式使用类处理流量。通常具有更高权重的qdisc的类在一轮循环中可以发送更多的流量,因此该类也可以入队列更多的流量

    1.3K10发布于 2020-12-02
  • 来自专栏全栈工程师修炼之路

    6.Docker镜像与容器安全最佳实践

    Namespaces、Cgroup、SElinux 主机级别的:服务最小化、禁止挂载宿主机敏感目录、挂载目录权限设置为644 网络级别的:禁止映射特权端口、通过iptable设定规则并禁止容器之间的网络流量 默认值: 默认情况下,Docker相关的文件和目录不会被审计,文件 docker.service 可能在系统上不可用 ---- 2.docker守护进程配置 2.1 限制默认网桥上容器之间的网络流量 描述 5.11 确保进入容器的流量绑定到特定的网卡 描述: 默认情况下,Docker容器可以连接到外部,但外部无法连接到容器。每个传出连接都源自主机自己的IP地址。 很多时候,特定的端口暴露在外部,并且在这些端口上运行诸如入侵检测,入侵防护,防火墙,负载均衡等服务以筛选传入的公共流量。因此,只允许来自特定外部接口的传入连接。 HostConfig.UTSMode}}' 5d8e597549062d7709b667457e278e33f15221cb5c8e112bcbb648b3bca59f04:UTSMode= b28b6bd4264d9aad4eff7214df6d368c44b5c252a6d61bb7fd85ebc75ffdc957

    4.2K20编辑于 2022-09-28
  • 来自专栏用户10693341的专栏

    【端午惊喜】2024年66日 docker 国内镜像源集体失效

    文章目录 概述 中科大镜像源 阿里镜像源 其他镜像源 可用的镜像源 写在最后 概述 大家都知道使用docker hub官方镜像需要魔法,虽然大部人有魔法,但是网速也是很慢,还有部分同学没有,全靠国内各大厂商的镜像源 中科大镜像源 2024-06-06 ,暂时关闭 Docker Hub 镜像缓存服务,GCR 与 Quay 暂不受影响 阿里镜像源 其他镜像源 其他源也已经不可用,很多没有更新推送 可用的镜像源 目前还有部分可用

    19.6K31编辑于 2024-06-12
  • 来自专栏园区网络

    硬件级加密:NPB 2.0如何用MACsec守护长距镜像流量安全

    在多点采集场景中,汇聚流量往往需要经过长距离传输,而这些镜像流量本身通常包含敏感数据,如何在传输过程中保障安全成为关键问题。 MACsec:当需要对所有以太网流量,无论涉及的上层协议如何,都进行加密时,则需要在硬件级别(链路或媒体访问层 2)执行加密。 硬件MACsec,保障长距镜像流量传输安全在 NPB 2.0 中,我们所使用的设备(运行NPB增强功能的SONiC交换机)依托交换芯片的MACsec能力,支持端口级别启用,由硬件加速引擎执行加解密操作, 对于通过暗光纤或租赁物理专线进行跨区长距离流量采集传输的场景,可有效抵御中间人攻击、链路窃听等风险。 在NPB 2.0架构中,通过交换芯片原生支持MACsec,不仅实现了对敏感镜像流量的全程加密与完整性保护,更在性能与安全之间取得了理想平衡。

    19310编辑于 2026-01-04
  • 来自专栏challenge filter

    在k8s中上线gatling镜像并在内网发送流量

    在k8s中上线gatling镜像并在内网发送流量 很多时候我们会面临一个问题,即外网的带宽是有限的,虽然未来有扩容的可能,但是短时间内也不能直接扩容,而测试本身是无限的。 如果我没有记错,k8s中的pod暴露端口主要是为了转发流量,那容器自己往外发流量应该是不用暴露端口的,因此直接上k8s是没有问题的。 进阶流量压力测试镜像构造 下面的任务为: 在镜像文件中配置环境变量,该变量最好是能够在docker build的时候修改而不是要手动改写Docerfile,这样后续写bash脚本之类的会比较方便。 因为我赶时间,所以是选择使用sleep infinity代替了原来的镜像,手动进入这个容器内去执行代码,从而实现在k8s集群中发送流量的操作。之后看有没有时间继续完善。 而且如果不小心生成了两个实例,那就是双倍的流量,可能会造成一些问题。

    1K30编辑于 2022-06-17
  • 来自专栏赵化冰的技术博客

    在 Istio 中实现 Redis 集群的数据分片、读写分离和流量镜像

    利用 Istio 和 Envoy ,我们可以在不修改客户端代码的前提下实现客户端无感知的 Redis Cluster 数据分片,并提供读写分离、流量镜像等高级流量管理功能。 Pilot 中已经支持了 Redis 协议,但功能较弱,只能为 Redis 代理配置一个缺省路由,而且不支持 Redis Cluster 模式,无法实现 Redis filter 的数据分片、读写分离、流量镜像等高级流量管理功能 Redis 流量镜像 Envoy Redis Proxy 支持流量镜像,即将客户端发送的请求同时发送到一个镜像 Redis 服务器/集群上。 流量镜像是一个非常有用的功能,我们可以使用流量镜像将生产环境中的线上数据导入到测试环境中,以使用线上数据对应用进行尽可能真实的模拟测试,同时又不会影响到线上用户的正常使用。 该 Redis Proxy 的缺省路由指向 “custom-redis-cluster”,并且配置了读写分离策略和流量镜像策略。

    1.1K20编辑于 2022-08-01
  • 来自专栏腾讯云原生团队

    在 Istio 中实现 Redis 集群的数据分片、读写分离和流量镜像

    利用 Istio 和 Envoy ,我们可以在不修改客户端代码的前提下实现客户端无感知的 Redis Cluster 数据分片,并提供读写分离、流量镜像等高级流量管理功能。 Pilot 中已经支持了 Redis 协议,但功能较弱,只能为 Redis 代理配置一个缺省路由,而且不支持 Redis Cluster 模式,无法实现 Redis filter 的数据分片、读写分离、流量镜像等高级流量管理功能 Redis 流量镜像 Envoy Redis Proxy 支持流量镜像,即将客户端发送的请求同时发送到一个镜像 Redis 服务器/集群上。 流量镜像是一个非常有用的功能,我们可以使用流量镜像将生产环境中的线上数据导入到测试环境中,以使用线上数据对应用进行尽可能真实的模拟测试,同时又不会影响到线上用户的正常使用。 该 RedisProxy 的缺省路由指向 "custom-redis-cluster",并且配置了读写分离策略和流量镜像策略。

    1.7K116发布于 2020-10-22
领券