首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏python3

    Python3网络爬虫实战-13、部署

    ScrapydClient的安装 在将 Scrapy 代码部署到远程 Scrapyd 的时候,其第一步就是要将代码打包为 Egg 文件,其次需要将 Egg 文件上传到远程主机,这个过程如果我们用程序来实现是完全可以的 Pip安装 推荐使用 Pip 安装,命令如下: pip3 install scrapyd-client 3. 验证安装 安装成功后会有一个可用命令,叫做 scrapyd-deploy,即部署命令。 Pip安装 推荐使用 Pip 安装,命令如下: pip install python-scrapyd-api 3.

    47620发布于 2020-01-03
  • 来自专栏python3

    Python3网络爬虫实战-14、部署

    Pip安装 推荐使用 Pip 安装,命令如下: pip3 install scrapyrt 命令执行完毕之后即可完成安装。 3. Pip安装 推荐使用 Pip 安装,命令如下: pip3 install gerapy 3. 测试安装 安装完成之后,可以在 Python 命令行下测试。 $ python3 >>> import gerapy Python资源分享qun 784758214 ,内有安装包,PDF,学习视频,这里是Python学习者的聚集地,零基础,进阶,都欢迎 如果没有错误报出

    44320发布于 2020-01-03
  • 来自专栏python3

    Python3网络爬虫实战-12、部署

    那么我们需要做的就是将一份代码同时部署到多台主机上来协同运行,那么怎么去部署就又是一个值得思考的问题。 另外还有 ScrapydClient 和 ScrapydAPI 来帮助我们更方便地完成部署和监听操作。 另外还有一种部署方式就是 Docker 集群部署,我们只需要将爬虫制作为 Docker 镜像,只要主机安装了 Docker,就可以直接运行爬虫,而无需再去担心环境配置、版本问题。 3. Mac下的安装 Mac 平台同样有两种选择,Docker for Mac 和 Docker Toolbox。 Pip安装 推荐使用 Pip 安装,命令如下: pip3 install scrapyd 3.

    1K20发布于 2020-01-03
  • 来自专栏sktj

    Kubernetes(3:部署)

    1 3个节点: k8s-master k8s-node1 k8s-node2 2 yum install -y docker 3 所有节点安装kubelet kubeadm kubectl 4 master执行:105为MASTER的IP,网络方案是flannel kubeadm init --apiserver-advertise-address 192.168.56.105 -- chown ubuntu:root xx/.kube/config echo "source <(kubectl completion bash)" >>~/.bashrc 6 master安装pod网络

    72230发布于 2019-09-24
  • 来自专栏建站达人秀

    如何部署 CDN 网络

    内容分发网络(Content Delivery Network),是在现有 Internet 中增加的一层新的网络架构,由遍布全国的高性能加速节点构成。 内容分发网络另外一个好处在于有异地备援。当某个服务器故障时,系统将会调用其他邻近地区的服务器服务,进而提供接近100%的可靠度。 测试 在部署CDN前后,我们的服务器部署在四川成都,基本在居中的地理位置。我使用第三方测速工具站长之家-站长工具对当前网络进行测试,分为网站访问速度测试及Ping延迟测试,两次访问延迟都是越低越好。 未部署CDN前 我们先来看看未部署CDN前的情况吧。 当然,本次教大家只是使用的是静态内容加速,如果你有其他需求,可以试试负责下载加速的下载分发加速 DD,负责音视频加速的音视频点播加速 VCD,负责海外市场加速的海外加速 GCD,负责全链路网络加速的动态加速网络

    16.9K12184发布于 2018-10-25
  • 来自专栏运维监控日志分析

    网络部署案例1

    Device Info H3C S5560S-28S-EIRG-WALL 1600-M6600 网络架构 ? 两台H3C S5560S-28S-EI 交换机作为交换核心采用IRF虚拟化技术,并使用BFD Mad 防止两台设备分裂。 UP 2 GigabitEthernet2/0/22 UP MAD 检测 为了防止万一IRF链路故障导致IRF分裂、网络中存在两个配置冲突的 版本升级 背景 在新的系统架构中实现需进行多用户网络的二层和三层的隔离。二层采用vlan,三层则采用vpn-instanse 多实例实现路由隔离。

    1.2K40发布于 2020-04-26
  • 来自专栏北京马哥教育

    Kubernetes网络部署方案

    现在网络上流传很多Kubernetes的部署和搭建的文档,其中比较出名就是Kubernetes The Hard Way (https://github.com/kelseyhightower/kubernetes-the-hard-way 为啥只说明以下两种方案的部署模式,因为其他网络方案不争气。 Flanneld [Systemd部署模式] Flannel部署相对来说简单容易、坑少,直接上配置。 etcd-keyfile=/etc/kubernetes/ssl/kubernetes-key.pem \ -etcd-endpoints=https://{Etcd IP}:2379 \ -iface=ens3 Calico [Systemd部署模式] 其实吧,Calico在Kubernetes网络方案用用的比Flanneld多,Calico懂得玩伸缩,技术也比较牛,在很多物理设备不开启BGP的情况下做了折中, RR部署模式 其实就是在以上的基础上多部署一个RR容器。

    1.9K80发布于 2018-05-04
  • 来自专栏python3

    python3 部署

    前几天去听了北京python-conf,老师们都在宣传python3的各种好处,和自力讨论之后,决定把自己的小项目都升级到python3。其实代码改起来还好,因为都是比较小的项目,问题主要卡在部署。 我使用的云服务器都是ubuntu14.04的,上面默认的python3是3.4版本,而我本地的是3.6.3版本。 python3.6.3 安装py3.6 然后用推荐的python3.6 -m venv virtualenv_name 的方法来创建虚拟环境 此时报错提示apt-get install python3-

    76120发布于 2020-01-06
  • 配置iSCSI部署网络存储

    SAN网络:Storage Area Network 存储区域网络,多采用高速光纤通道,对速率、冗余性要求高.使用iscsi存储协议块级传输. NAS网络:Network Attachment Storage 网络附件存储,采用普通以太网,对速率、冗余无特别要求,使用NFS、CIFS共享协议文件级传输. SAN和NAS的区别:SAN一般特指存储网络的构建方式,NAS一般特指产品.SAN有单独的存储网络,NAS使用现有网络,家庭网络存储设备:FREENAS,用的是FREEBSD系统. 由于/dev/sdb/是一个网络设备,而iSCSI是基于TCP/IP网络传输数据的,因此在配置自动挂载是应该加入_netdev参数,说明其是一个网络设备 [root@localhost /]# ll / /sr0 lrwxrwxrwx. 1 root root 10 Nov 4 11:45 3d4eea6b-1db9-4d30-9174-bfac6faa4cab -> ../..

    4.5K10编辑于 2022-12-28
  • 来自专栏python3

    3.redis集群部署33

    redis集群部署  一:安装redis (使用redis3.0.6版本),同《1.redis安装》 1.下载源码 $ tar xzf redis-3.0.6.tar.gz $ cd redis-3.0.6 每台放3个节点。 分别是16和17 另外一台配置相同、 3.节点部署 A.基础文件 cd /usr/local/ mkdir redis-cluster 创建集群目录 cd redis-cluster mkdir 7003 " b.日志显示报错 无法在10.1.114.17上无法连接10.1.114.16:7000 》》》修改配置文件redis.conf bind 10.1.114.17   只需要绑定本机 4.校验集群部署情况错误 redis-cli -p 6379     127.0.0.1:6379> cluster info 对于我的目录来说在 cd /root/redis/redis-3.0.6/src 校验方法:判断集群是否部署成功

    1.4K40发布于 2020-01-07
  • 来自专栏程序员同行者

    07-部署Flanneld网络

    部署Flanneld网络 Flanneld:用于解决容器之间网络互通,这里我们要配置TLS认证。 Docker1.12.5:docker的安装很简单,这里也不说了。 配置Flanneld 这里我们使用yum的方式部署Flanneld和docker # yum install flannel docker -y service配置文件/etc/systemd/system 10%左右,而配置没有什么不同,只是要保证kubernetes的所有node都在同一个二层网络中。 BackendData":{"VtepMAC":"52:ad:8d:17:23:7a"}} 可以使用ip addr查看网卡ip,比如如下: 使用docker0的ip能互相ping通flanneld就算搭建完毕 3: :ff:ff:ff inet 172.30.25.1/24 scope global docker0 valid_lft forever preferred_lft forever ``` 3:

    1.1K50发布于 2018-07-03
  • 配置iSCSI部署网络存储

    SAN网络:Storage Area Network 存储区域网络,多采用高速光纤通道,对速率、冗余性要求高。使用iscsi存储协议,块级传输。 NAS网络:Network Attachment Storage,网络附件存储,采用普通以太网,对速率、冗余无特别要求,使用NFS、CIFS共享协议,文件级传输。 SAN有单独的存储网络,NAS使用现有网络,家庭网络存储设备:FREENAS,用的是FREEBSD系统 NFS 与 ISCSI 的区别 NFS 是以文件为单位的,共享出去的是文件 ISCSI是以block 为单位,共享出去的是设备,端口:3260/tcp iSCSI 部署网络存储 iSCSI 网络存储,在工作上分为服务端(target)和客户端(initiator).iSCSI服务端用于存放硬盘存储资源的服务器 在标签末尾加上自定义的字符,此处为:client --> 单击确定 4.单击目标选项卡 --> 单击下方的连接按钮 5.单击此电脑 --> 右键选择管理 --> 选择磁盘管理 --> 即可看到磁盘信息 部署

    70000编辑于 2025-05-02
  • 来自专栏云深知网络 可编程P4君

    基于 GNS3 网络模拟工具的 SONiC 测试与部署文档下载!

    一方面 不是每个人 都有条件购买硬件设备 所以网络仿真始终是个刚需 GNS3 当仁不让属于头把金交椅 致敬Kubernetes! 感谢拯救网络仿真 另一方面 SONiC已经成为 开放网络设备NOS的首选 成为网工进入大厂最好的敲门砖 SONiC部署加速,数据中心交换机报告出炉 所以 是时候尝试 在GNS3中集成SONiC 其灵活的架构和强大的功能集使其成为构建可扩展和高效网络的首选。本文旨在通过GNS3对SONiC的L2和L3功能进行全面探讨,特别关注其部署、配置和行为测试。 在本文中,我们将深入探讨部署和配置SONiC的步骤,展示其使用GNS3模拟复杂网络环境的普适能力。 通过实际演示和分步指南,我们旨在让读者掌握必要的知识和常识,以便在自己的网络环境中成功实施SONiC。 重点内容将包括部署过程,包括testbed的设置和SONiC的初始配置。

    1.2K20编辑于 2023-09-05
  • 来自专栏changxin7

    3.网络编程 网络编程

    就在此时,突然灵感来了,我可以通过qq、云盘、微信等发送给他啊,可是人家说了,让你用自己写的程序啊,嗯,这是个问题,此时又来一个灵感,我给他发送文件肯定是通过网络啊,这就产生了网络,对吧,那我怎么让我的程序能够通过网络来联系到我的朋友呢 首先,查询结果是对的,socket就是网络通信的工具,也叫套接字,任何一门语言都有socket,他不是任何一个语言的专有名词,而是大家通过自己的程序与其他电脑进行网络通信的时候都用它。 套接字有两种(或者称为有两个种族),分别是基于文件型的和基于网络型的。 TCP协议独立于 write()/send() 函数,数据有可能刚被写入缓冲区就发送到网络,也可能在缓冲区中不断积压,多次写入的数据被一次性发送到网络,这取决于当时的网络情况、当前线程是否空闲等诸多因素 网络编程的作业   好了同学们,到了这儿,我们的网络编程socket就讲完了,大致就是这些内容,给大家留个作业:(你的努力的成果你自己是看的到的~!)   

    2.9K21发布于 2019-08-20
  • 来自专栏python3

    DNS部署3)---------源码b

    其实一般使用redhat或centos中自带的rpm安装bind是十分简单的,但是源码安装可以让你对bind文件的整体结构有了更好的认识

    70720发布于 2020-01-06
  • 来自专栏Ywrby

    3-Docker应用部署

    Docker应用部署 一般部署步骤 搜索镜像 拉取镜像 创建容器 操作容器 部署MySQL 前文说到,Docker容器本身不能直接与外部机器通信,其只能与宿主机直接通信,而宿主机又可以直接与外部机器通信 ROOT用户密码(此处等号不可省) mysql:latest # 指定容器镜像 创建完成后,Docker容器的3306端口已经映射到宿主机的3306端口,可以通过外网访问3306端口对mysql进行操作 部署 c_tomcat \ -v $PWD:/usr/local/tomcat/webapps \ # 配置数据卷 -p 8080:8080 \ # 配置映射端口 tomcat:latest # Tomcat部署并启动后默认会启动服务器

    49010编辑于 2022-10-27
  • 来自专栏网络之路

    如何规划、部署AC AP融入进网络3):两个实际场景案例

    我们前面两篇讲解了各种规划、部署的,比如数据采用什么方式转发、AC是旁挂还是直连、然后交换机对接AP、以及AC的口采用access还是Trunk的方式,这次我们就来举例几个常见经典场景,整体的讲解下。 在2的基础上面,完成有线跟无线的网段区分,采用学到的知识点(猫可以用路由器代替) 经典场景二:已有有线网络,如何融入进无线网 可以从配置得知,目前整个网络情况 防火墙负责上外网,核心交换机负责内网两个部门的接入互访跟防火墙对接 ,而接入交换机则用来连接电脑,非常简单的网络,唯一不知道配置的是部门2那台交换机,密码不知道,暂时还不能重启恢复,下面是客户那边已经知道的配置。 客户希望在这个基础上面增加一台AC6003,以及几个AP,融入到网络中去,要求接在部门1下面的AP跟部门1有线在同一个网段,接在部门2下面的AP跟部门2的有线在同一个网段,但是要同时发送一个扫描枪用的SSID 实际配置的思路 1、三层交换机,需要创建VLAN4以及对应VLANIF开启DHCP,对接G0/0/3的口配置成trunk,允许4与255通过,关于VLAN 3的DHCP要加入option 43的功能 2

    58610编辑于 2024-12-05
  • 来自专栏星融元

    私有云边界网络部署实践

    网络中的Border角色如何与防火墙、负载均衡为典型的边界设备进行对接实现不同VPC租户业务需求,是私有云网络设计中一个关键问题。 Border边界网络对接方案简介在私有云网络解决方案中,低时延交换机作为Border角色支持VLAN与VXLAN之间、VXLAN与VXLAN之间的映射和封装转换;采用“共享VTEP+物理横联设计”和“不同 VTEP+无横连设计”两种基础架构设计,并可以进行混合部署使用;案例01、需求承载网的Border设备与边界两台防火墙、边界出口路由器旁挂对接,同时保证设备和链路层面的高可用性;承载网的Border设备同时下挂 (该方案适用于防火墙双主、部分主备场景以及采用静态路由方式的对接场景)<Border部署方案二>两台Border配置不同的VTEP地址,利用物理三层接口以及三层子接口和边界防火墙和边界路由器对接;同时组建 (该方案适用于防火墙主备场景以及采用动态路由协议的对接场景)VPC承载:Border建立L3 VXLAN与VLAN的映射关系,同一对L3 VXLAN和VLAN对应的L3VNI虚接口和VLAN虚接口会绑定至一个相同的

    12.7K30编辑于 2023-11-14
  • 来自专栏7DGroup

    Kubernetes 集群部署 NFS 网络存储

    为了使 Pod 在任何节点上都能够使用同一份持久化存储数据,我们需要使用网络存储的解决方案为 Pod 提供数据卷。常用的网络存储方案有:NFS/cephfs/glusterfs。 2、配置要求 本文以手动模式部署一个开发测试用集群为例,如果使用通过 Rook 支持 Ceph 存储方案,则不需要准备存储主机。 每个主机的用途和需求是: 配置要求 3、配置NFS服务器 3.1、配置环境 本文中所有命令都以 root 身份执行 关闭防火墙服务 # 停止并禁用防火墙 systemctl stop firewalld 这里 NFS 服务端环境为: IP地址:172.16.106.205 存储目录:/nfs/data 存储目录:/nfs/helm_data 3部署 NFS Provisioner 3.1、创建 ServiceAccount Namespace kubectl apply -f nfs-rbac.yaml -n nfs 3.2、部署 NFS Provisioner 创建 NFS Provisioner 部署文件,这里将其部署

    6.9K21发布于 2020-11-30
  • 来自专栏小陈运维

    KubeSphere离线无网络环境部署

    KubeSphere离线无网络环境部署 KubeSphere 是 GitHub 上的一个开源项目,是成千上万名社区用户的聚集地。很多用户都在使用 KubeSphere 运行工作负载。 对于在 Linux 上的安装,KubeSphere 既可以部署在云端,也可以部署在本地环境中,例如 AWS EC2、Azure VM 和裸机等。 ~3-0~ubuntu-focal_amd64.deb -rw-r--r-- 1 root root 40652850 Jan 12 07:16 docker-ce-cli_5%3a20.10.12~3 .deb root@cby:~/package# root@cby:~/package# apt install ./* 复制代码 部署镜像仓库 # 导入镜像 root@cby:~/cby# docker dockerhub.kubekey.local"] } #重载配置,并重启 root@cby:~# systemctl daemon-reload root@cby:~# systemctl restart docker 复制代码 部署

    1.6K10编辑于 2022-01-13
领券