首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏云原生实验室

    Nginx 流量镜像使用技巧

    基础流量镜像配置 现在我们向后端添加一个测试服务,并将发往源后端的流量复制一份到测试后端。 ? 可以得出结论:镜像流量不会影响源站请求的响应。 3. 将流量复制到故障后端 到目前为止,测试结果都很符合预期。 只复制流量的一部分 如果你不确定镜像后端是否能够正确处理原始请求,你可以只复制一部分流量镜像后端,例如 10%。 这样我们就实现了只复制部分流量镜像后端,如果 $mirror_backend 变量的值为空字符串,就不复制流量;其他情况就会将流量镜像后端。 如果你想真正区分用户,那么 remote address 可能不适合作为拆分镜像流量的依据,因为用户可能会更换 IP。这时你最好使用用户粘性密钥来拆分镜像流量,例如 API key。

    13.7K72发布于 2019-08-29
  • 来自专栏方亮

    AWS攻略——初识流量镜像

    在实际应用场景下,我们可能需要建立一个测试环境,既能接线上流量,又不希望影响线上业务,这个时候流量镜像就派上用场。 100.0.0.16/28 eu-west-1a TrafficMirrorTargetPrivateSubnet 100.0.0.32/28 eu-west-1a 创建EC2 这儿需要注意一点,被镜像流量的实例需要是基于 type vxlan id 1 dev eth0 dstport 4789 sudo ip link set vxlan0 up 这儿特别需要注意下倒数第二行 vxlan id 1这个,需要和后续创建的流量镜像 /vxlan-to-http-request -destination "http://100.0.0.37" -filter-request-port "80" 创建流量镜像 创建筛选条件 我们只检测 80端的入站流量 创建目标 我们需要把流量镜像到Adapter层EC2的网络接口。

    1.9K10编辑于 2023-03-16
  • 来自专栏禅境花园

    Centos 9 镜像

    适用于 CentOS 9 Stream 的完整镜像源配置。CentOS 9 Stream 使用 dnf 包管理器来安装和更新软件包。 你需要编辑或创建 /etc/yum.repos.d/CentOS-Stream.repo 文件来配置你的镜像源。 完整的 CentOS 9 Stream 镜像源配置 方法一:使用阿里云镜像源 阿里云提供了快速稳定的镜像源,以下是配置文件的内容: # CentOS-Stream.repo # # The mirror 如果你更倾向于使用其他镜像源,如清华大学开源软件镜像站、网易等,可以参考以下配置: 清华大学镜像源 [baseos] name=CentOS Stream $releasever - BaseOS - 选择最接近你地理位置或网络条件最好的镜像源可以获得最佳效果。

    3.1K10编辑于 2024-12-21
  • 来自专栏全栈程序员必看

    docker(9)Dockerfile制作镜像

    docker build 命令用于使用 Dockerfile 创建镜像。 OPTIONS说明: -f :指定要使用的Dockerfile路径; –pull :尝试去更新镜像的新版本; –quiet, -q :安静模式,成功后只输出镜像 ID; –tag, -t: 镜像的名字及标签 ,通常 name:tag 或者 name 格式;可以在一次构建中为一个镜像设置多个标签。 -t参数设置镜像名称jkc_pytest和tag标签名称v1,注意最后面有个点. more-itertools>=4.0.0 Downloading https://pypi.doubanio.com/packages/66/58/63146600d8c35188f2c4de3f1e2fe77a54e9c9ac99ac3b652f09e042f637

    2.3K30编辑于 2022-09-19
  • 来自专栏运维研习社

    利用Nginx流量镜像,优雅的接入waf

    这里就要参考网络防火墙,或者入侵检测系统的方法,通过流量镜像的方式,在网络故障处理中,为了更好的分析定位网络问题,我们通常会做流量镜像或者端口镜像,来保存镜像流量,用于分析恶意请求、或抓包故障定位等,我们 web上也可以通过这种方式来做 怎么做呢,有很多开源的流量复制/镜像工具,比如gor、tcpcopy等,都可以用来做流量镜像 但是在Nginx下面,你就没必要这么麻烦了,Nginx早在1.13版本的时候就添加了 Nginx的流量镜像模块,很简单,就两个指令 ? mirror用来指定请求将被镜像到哪个uri,可以指定多个镜像,uri也可以用相同的,相同的uri就表示将流量放大了一倍,也就是多复制了一份流量到uri,这个也是可以用来测试流量放大的情况下,后端的负载情况 结合这个特性,我们就可以把waf配置在镜像流量下 ?

    2.5K30发布于 2020-06-15
  • 来自专栏大大刺猬

    MYSQL SSL连接 (含mysql流量镜像脚本)

    /5.7/en/creating-ssl-files-using-openssl.html图片执行脚本python mysql_monitor.py图片注: TLS继承自SSL看下我们Print出来的流量

    7.7K111编辑于 2023-03-24
  • 来自专栏运维小路

    Web服务器-Nginx流量镜像(Mirror)

    在实际的业务环境中,为了验证新功能等操作,需要引入一定的流量进行测试。但是手工模拟流量很难模拟真实的生产环境。所以就衍生出来一个需求就是把生产流量引入测试环境,他就是我们今天要讲的流量镜像功能。 把流量从生产引入到测试环境以后,就可以根据自己的对测试工作进行进一步细分,可做流量压测,蓝绿发布等操作。但是需要注意,这个会增加Nginx的负载压力。 下面就是我们使用Nginx的mirror功能来实现流量镜像功能。 to: $upstream_addr Status: $status'; access_log /var/log/nginx/mirror.log mirror_log; # 配置流量镜像规则 (镜像所有请求) location / { # 镜像配置 mirror /mirror; # 镜像请求发送到内部location

    1.3K10编辑于 2025-04-13
  • 来自专栏Tacc

    Debian9安装163镜像

    Debian 9(代号为 Stretch),镜像源已由原来的jessie更新为了stretch,为了安全起见需要先备份,再进行配置新的镜像源。 修改debian9镜像源方法如下: 1、备份原有镜像源配置文件: cp /etc/apt/sources.list  /etc/apt/sources.list.bak 2、打开sources.list 文件,注释原有CD源代码,更新镜像源地址为163镜像源,代码如下: deb http://mirrors.163.com/debian/ stretch main non-free contrib deb ://mirrors.163.com/debian-security/ stretch/updates main non-free contrib 配置完毕之后输入:apt update 命令更新系统镜像源配置文件

    3.1K10编辑于 2022-05-05
  • 来自专栏技术那些事

    Nginx Mirror 模块实现流量镜像,把生产流量复制到测试环境

    在微服务与持续交付场景中,流量镜像(Traffic Mirroring) 是评估新版本、压测与采集数据的重要手段。 本文讲解如何使用 Nginx 原生的 mirror 模块实现流量镜像,包含原理、配置示例、按条件/按比例镜像以及生产注意事项。 1、什么是流量镜像流量镜像 是指在真实用户访问业务系统时,将请求同时复制一份,异步地发送到另一个后端系统进行处理,而不影响主请求的响应。 (灰度场景)map $request_id $enable_mirror { default 0; ~^[0-9]*[13579]$ 1; # 模拟约 50% 流量}location ,对主请求影响极小 限制镜像响应结果不会被使用,也不会出现在日志中⚠️ 风险若镜像目标不可达,会增加 Nginx 异步队列压力 建议大体量流量建议独立部署 Nginx 作为“流量复制层”9、日志与验证可以为镜像目标服务单独设置日志

    83830编辑于 2025-10-28
  • 来自专栏FreeBuf

    Linux内核实现多路镜像流量聚合和复制

    作者 linxinsnow 应用场景 我们在进行安全性监控、测试的过程中,难免会遇到这样的问题:需要部署大量基于镜像流量的安全设备,如IPS,异常流量,数据库审计,流量分析等,可是交换机上可以做镜像流量的端口数量有限制 和eth4的流量,聚合给eth5 MIRROR内核模块中,只需要实现参数读取,配置分析,网卡判断(源,目的)即可。 同时用一个全局的8字节变量,来存储哪些网卡是镜像流量口,防止多余的资源浪费。 __read_mostly__u8 ifindex_bits = 0; Skb包复制和转发 ? 当Linux内核收到一个skb结构的数据包时,判断这个数据包是不是在转发列表里,也就是网卡是不是镜像源。 ? 镜像流量效果 ? 这里可以看到流量统计由于网卡速率,时间差等,并不会100%一样,是正常的。 CPU占用 当流量已经达到400M左右的时候,CPU占用仍然比较低。 ?

    2.7K50发布于 2018-02-05
  • 来自专栏硬核项目经理的专栏

    【Nginx26】Nginx学习:日志与镜像流量复制

    Nginx学习:日志与镜像流量复制 总算到了日志模块,其实这个模块的指令之前我们就用过了,而且也是是非常常见的指令。相信这一块的学习大家应该不会有什么难度。 压缩级别可以设置在 1(最快,较少压缩)和 9(最慢,最佳压缩)之间。默认情况下,缓冲区大小等于 64K 字节,压缩级别设置为 1。 其实呀,它就是可以将我们的请求再发给另一个镜像地址,它只管发送,不管那边会有什么响应。就相当于是将流量复制了一份。我们先来看它的配置。 mirror 设置原始请求将被镜像到的 URI。 镜像流量复制测试 好了,直接来测试吧,这个东西要是上面没看懂,那就手动测试一下,不动手,光看概念,不懂的始终还是不懂。我们先准备一个镜像 location 。 那么这个镜像功能可以有什么实际的应用吗?一是可以做流量放大,比如多次请求;二是灰度发布验证,通过镜像到新版来验证新版本是否会报错;三是忽略响应很重要,可以发送一些回调验证之类的请求。

    1.9K20编辑于 2023-09-18
  • 来自专栏后台及大数据开发

    kubernetes集群搭建(9):docker 镜像的导入与导出

    由于K8s搭建时官方提供的镜像不FQ是访问不了的,所以搭建过程中很多时间都耗费在去找镜像去了 下面是我搭建k8s集群用到的镜像  没有采用之前我用的二进制文件搭建(dns没成功),这里采用的Kubeadm 我导出的镜像下载地址: https://pan.baidu.com/s/1LIAno-aC1cuJLDxFadTrTQ docker 镜像导出 docker save $(docker images | grep -v REPOSITORY | awk 'BEGIN{OFS=":";ORS=" "}{print $1,$2}') -o k8s-images.tar docker 镜像导入 docker port: 80 targetPort: 8080 selector: app: default-http-backend tomcat-svc.yaml 用于创建一个Tomcat镜像

    3.2K10发布于 2018-08-02
  • 来自专栏运维记录

    Cobbler 2.8版本添加rocky9 系统镜像

    修改Cobbler配置 vim /var/lib/cobbler/distro_signatures.json 添加下面内容 "rhel9": { "signatures":["BaseOS"], notes)([\\w]*-)*9[\\.-]+(.*)\\.rpm", "version_file_regex":null, "kernel_arch":"kernel-(.*).rpm", " 挂载iso镜像 mount Rocky-9.2-x86_64-dvd.iso /mnt 3. 添加cobbler镜像 cobbler import --path=/mnt --name=Rocky-9.2 --arch=x86_64 4.

    53400编辑于 2024-05-24
  • 来自专栏北京马哥教育

    刚刚发布的Debian 9 安装镜像存在 bug !

    Debian 9 前俩天发布了正式版,许多用户都在准备下载和体验新版本。不过据 外媒报道 ,Debian 9 的所有镜像中似乎都存在一个 bug 。 /w/work/free/gnomepool/main/libl/libzlo2-2-udeb/libzlo2-2-udeb_2.08-1.2+b2_amd64.udeb` 在尝试下载 Debian 9 Debian 论坛上的其他用户也确认了所有其他的 Debian 镜像的问题。 GNOME、KDE、LXDE、XFCE、Cinnamon ..所有 live 镜像都受到影响。 ? 他也在测试一个修复,如果进展顺利,Debian 9 的所有镜像都将重建。 作者:开源中国 来源:https://www.oschina.net/news/86045/all-debian9-live-images-are-brokenkaiu

    1.4K70发布于 2018-05-04
  • 来自专栏园区网络

    硬件级加密:NPB 2.0如何用MACsec守护长距镜像流量安全

    在多点采集场景中,汇聚流量往往需要经过长距离传输,而这些镜像流量本身通常包含敏感数据,如何在传输过程中保障安全成为关键问题。 MACsec:当需要对所有以太网流量,无论涉及的上层协议如何,都进行加密时,则需要在硬件级别(链路或媒体访问层 2)执行加密。 硬件MACsec,保障长距镜像流量传输安全在 NPB 2.0 中,我们所使用的设备(运行NPB增强功能的SONiC交换机)依托交换芯片的MACsec能力,支持端口级别启用,由硬件加速引擎执行加解密操作, 对于通过暗光纤或租赁物理专线进行跨区长距离流量采集传输的场景,可有效抵御中间人攻击、链路窃听等风险。 在NPB 2.0架构中,通过交换芯片原生支持MACsec,不仅实现了对敏感镜像流量的全程加密与完整性保护,更在性能与安全之间取得了理想平衡。

    19310编辑于 2026-01-04
  • 来自专栏challenge filter

    在k8s中上线gatling镜像并在内网发送流量

    在k8s中上线gatling镜像并在内网发送流量 很多时候我们会面临一个问题,即外网的带宽是有限的,虽然未来有扩容的可能,但是短时间内也不能直接扩容,而测试本身是无限的。 如果我没有记错,k8s中的pod暴露端口主要是为了转发流量,那容器自己往外发流量应该是不用暴露端口的,因此直接上k8s是没有问题的。 进阶流量压力测试镜像构造 下面的任务为: 在镜像文件中配置环境变量,该变量最好是能够在docker build的时候修改而不是要手动改写Docerfile,这样后续写bash脚本之类的会比较方便。 因为我赶时间,所以是选择使用sleep infinity代替了原来的镜像,手动进入这个容器内去执行代码,从而实现在k8s集群中发送流量的操作。之后看有没有时间继续完善。 而且如果不小心生成了两个实例,那就是双倍的流量,可能会造成一些问题。

    1K30编辑于 2022-06-17
  • 来自专栏赵化冰的技术博客

    在 Istio 中实现 Redis 集群的数据分片、读写分离和流量镜像

    利用 Istio 和 Envoy ,我们可以在不修改客户端代码的前提下实现客户端无感知的 Redis Cluster 数据分片,并提供读写分离、流量镜像等高级流量管理功能。 Pilot 中已经支持了 Redis 协议,但功能较弱,只能为 Redis 代理配置一个缺省路由,而且不支持 Redis Cluster 模式,无法实现 Redis filter 的数据分片、读写分离、流量镜像等高级流量管理功能 Redis 流量镜像 Envoy Redis Proxy 支持流量镜像,即将客户端发送的请求同时发送到一个镜像 Redis 服务器/集群上。 流量镜像是一个非常有用的功能,我们可以使用流量镜像将生产环境中的线上数据导入到测试环境中,以使用线上数据对应用进行尽可能真实的模拟测试,同时又不会影响到线上用户的正常使用。 该 Redis Proxy 的缺省路由指向 “custom-redis-cluster”,并且配置了读写分离策略和流量镜像策略。

    1.1K20编辑于 2022-08-01
  • 来自专栏腾讯云原生团队

    在 Istio 中实现 Redis 集群的数据分片、读写分离和流量镜像

    利用 Istio 和 Envoy ,我们可以在不修改客户端代码的前提下实现客户端无感知的 Redis Cluster 数据分片,并提供读写分离、流量镜像等高级流量管理功能。 Pilot 中已经支持了 Redis 协议,但功能较弱,只能为 Redis 代理配置一个缺省路由,而且不支持 Redis Cluster 模式,无法实现 Redis filter 的数据分片、读写分离、流量镜像等高级流量管理功能 Redis 流量镜像 Envoy Redis Proxy 支持流量镜像,即将客户端发送的请求同时发送到一个镜像 Redis 服务器/集群上。 流量镜像是一个非常有用的功能,我们可以使用流量镜像将生产环境中的线上数据导入到测试环境中,以使用线上数据对应用进行尽可能真实的模拟测试,同时又不会影响到线上用户的正常使用。 该 RedisProxy 的缺省路由指向 "custom-redis-cluster",并且配置了读写分离策略和流量镜像策略。

    1.7K116发布于 2020-10-22
  • 来自专栏从零学习云计算

    openshiftorigin学习记录(9)——S2I镜像定制(基于Git)

    run:S2I流程生成的最终镜像将以这个脚本作为容器的启动命令。 usage:打印帮助信息,一般作为S2I Builder镜像的启动命令。 编写Dockerfile 编写一个制作Tomcat的S2I镜像。 执行镜像构建 下载对应版本的Tomcat安装包。 导入镜像 将tomcat-s2i镜像推送到自己的镜像仓库。 此步省略。 将tomcat-s2i镜像导入Openshift中生成相应的Image Stream。 为了让OpenShift识别出这个镜像是S2I的Builder镜像,需要编辑刚导入的Image Stream,添加注解“tags” # oc edit is/tomcat-s2i -n openshift

    2K00发布于 2017-12-28
  • 来自专栏盛开在夏天的太阳

    9.亿级流量电商系统JVM模型参数预估方案

    需求分析 大促在即,拥有亿级流量的电商平台开发了一个订单系统,我们应该如何来预估其并发量?如何根据并发量来合理配置JVM参数呢? 假设,现在有一个场景,一个电商平台,比如京东,需要承担每天上亿的流量。 先来分析一下 每日亿级流量,平均一个用户点击量在20-30左右,通过这个计算出日活用户数约1亿/20=500万, 看的人多,买的人少,通常下单率不超过10%,我们按照留存率10%来计算,日均订单约50 这是分两种情况: 一种是普通流量,非特殊节假日,通常早上、中午、晚上非工作时间有1个小时的时间集中购买。我们按照早上1小时,中午1小时,晚上1小时来计算,也就是3小时。 另一种是大促流量,比如双十一,基本流量都集中在双十一当天的投几分钟。这时每秒的并发量大概在50万/10/60=866,平均每秒并发量不到1000。 在第10s触发MinorGC的时候,前9s的720M数据都已经变成垃圾了,会被回收掉,最后1s的80M数据由于还有对象引用,只是暂停了业务线程,因此不是垃圾,不能被回收。会被放入S1区。

    74630发布于 2021-10-18
领券