NPB 2.0 解决方案,基于开放的 SONiC 操作系统与容器化 NPB深度融合,显著提升了网络可视化系统的灵活性与成本效益,助力企业高效构建智能化网络监控体系。 NPB 2.0:交换机承载容器化 NPB为与传统 NPB 方案区分,我们将这一创新架构定义为 NPB 2.0。 无需专用采集硬件在 NPB 2.0 架构中,用户可直接在已部署企业级 SONiC/AsterNOS 的交换机上运行 NPB 容器,使其具备 NPB 服务能力。 典型应用场景云化园区网络(基于 SONiC)NPB 2.0 已适配星融元 CX-M 系列园区交换机,可与现有云化园区网络无缝集成,将 NPB 功能完全融入业务网络。 在 Spine 交换机上部署 Packet Broker,实现流量镜像与一级预处理,分担 NPB Leaf 的负载;对于小规模网络,NPB Spine 也可直接连接后端系统。
传统NPB配置方式的挑战在传统网络流量监测场景中,分流器(TAP)或网络数据包代理(NPB)设备通常依赖Web界面进行手动配置。 即便部分NPB设备已支持集群内批量同步,但基于Web界面的“拖拽点选”式操作依然无法从根本上提升运维效率与可靠性,自动化转型已成为必然趋势。 NPB 2.0:架构革新与自动化赋能星融元在NPB 2.0方案中实现了架构与运维的双重突破:在架构上摒弃了传统专用硬件,转为在交换机上以容器化方式部署NPB功能组件;在运维上引入Ansible自动化工具 运维人员根据实际需求使用上述的 CLI 模块编写 Playbook 任务并运行,即可快速完成 NPB 策略下发、ACL 更新、端口配置等批量操作,几秒钟内即可将规则同步到所有 NPB 设备(SONiC 通过引入Ansible自动化运维体系,星融元NPB 2.0方案实现了从“手工配置”到“代码化运维”的转型。
随着微信、淘宝、微博、抖音等最终用户对高带宽的需求的增长,对复杂的网络管理和流量监控的需求也随之增加。 服务提供商希望通过主动识别网络中的问题,使网络安全并提取第三方应用程序的元数据来为客户提供更好的用户体验。
二、网络数据包代理(NPB)网络数据包代理(NPB)是一种主动设备,它设计用于接收、处理和分发网络流量,以实现更高级的网络可视性和优化。 2.1 NPB特点高级流量处理:NPB可以根据预定义的规则和策略对流量进行处理,例如过滤、负载均衡、数据包修复、流量切片等。 2.3 NPB应用领域网络性能优化:NPB可以帮助优化网络性能,通过负载均衡、流量切片和过滤,确保监控工具获得最相关的数据,提高性能分析的效率。 管理员需要定义规则和策略,以确保NPB按预期工作。此外,NPB通常是较昂贵的解决方案,适用于对高级流量管理和处理有需求的组织。 3.2 NPB主动性:NPB是主动设备,可以处理和分发流量,提供更高级的功能。高级处理:NPB可以根据预定义规则进行流量处理,包括过滤、负载均衡、数据包修复等。
但这些物理NPB能否有效在虚拟网络基础设施运行?并且,NPB功能本身是否可以虚拟化以用于软件定义网络中的“白盒”交换机吗? 第一个问题的答案取决于用于创建虚拟网络流量的工具和协议的要求。 为了适应这一需求,NPB一直支持各种网络分段、封装和隧道协议,例如虚拟局域网、多协议标签交换和GPRS隧道协议。 现在NPB可以很好地处理这些需求,对于SDN和NFV,这些相同的要求将继续存在。 对于虚拟化NPB功能本身的第二个问题,开放网络基金会(ONF)在2014年3月推出了Sample Tap应用程序,而OpenFlow 1.4版本已经包括一个用例,用于使用类似NPB的功能来配置交换机。 NPB的配置和控制被虚拟化作为这项工作的一部分,而专门的NPB或者在“白盒”硬件中运行的简装NPB则可以处理对流量的实时线速复制和转发。
传统做法是通过NPB的高级功能对报文 Payload 进行加密,但这种方式依赖软件处理,极大消耗系统性能,难以在大规模场景下推广。 NPB 2.0 采用了全新的思路:充分利用交换芯片内置的 MACsec(Media Access Control Security) 能力,不在业务层执行“软件加密”,而是在链路层对整个以太网帧进行硬件级加密 硬件MACsec,保障长距镜像流量传输安全在 NPB 2.0 中,我们所使用的设备(运行NPB增强功能的SONiC交换机)依托交换芯片的MACsec能力,支持端口级别启用,由硬件加速引擎执行加解密操作, 在NPB 2.0架构中,通过交换芯片原生支持MACsec,不仅实现了对敏感镜像流量的全程加密与完整性保护,更在性能与安全之间取得了理想平衡。
Administrator@USC2VG2F9NPB650 MINGW64 /e/webProject/web-jd-mobile (master) $ git pull origin master - Administrator@USC2VG2F9NPB650 MINGW64 /e/webProject/web-jd-mobile (master) $ git remote add origin git Administrator@USC2VG2F9NPB650 MINGW64 /e/webProject/web-jd-mobile (master) $ git add . Administrator@USC2VG2F9NPB650 MINGW64 /e/webProject/web-jd-mobile (master) $ git checkout init-css-js Administrator@USC2VG2F9NPB650 MINGW64 /e/webProject/web-jd-mobile (init-css-js) $ git add .
为方便人们管理和监控数据中心的运营情况,通常采用可视化方案,以便管理员直观地了解数据中心的整体状态、各项指标的变化趋势以及故障的发生情况,从而及时做出调整和应对;然而传统的可视方案依靠专用的汇聚分流设备来采集、汇聚和过滤需要监控的流量,这样的方案带来了巨大的成本、极高的复杂性和频繁的维护。
阅读过《这份价值八百美刀的NPB网络可视化平台报告到底讲了啥?》相信对NPB与分流交换机有了基本概念,但是SDPB又是啥?是Sha Dan Packet Brokers吗? 网络报文代理(NPB)在提高网络运营(NetOps)和安全运营(SecOps)团队的网络可视性和可观察性方面很有价值,通过聚合、过滤并分发网络流量流到多个工具,可以方便的对网络和安全进行监控和分析,NPB 根据美国企业管理协会(EMA)的数据,使用NPB的IT团队可以更好应对所面临的挑战: 正常运行时间提高了46% 降低安全风险43% 安全团队生产力提升36% 创收29% 遗憾的是,传统的专用NPB设备成本非常高 ,导致甲方爸爸无法随心所欲地部署NPB,IT团队也因而无法获得全面的网络可视性。 所以高成本是广泛部署NPB解决方案的主要障碍。 广泛实施NPB的另一个障碍是给IT人员带来了额外的工作量。传统的NPB配置起来很麻烦,而且随着网络的发展和监控要求的变化,传统NPB很难扩展。
所有需要监视的业务都需要部署专门的智能网络数据包监视解决方案,即网络数据包代理(NPB)。NPB的部署方式有多种。一种分类方法是串联的,其中NPB位于业务路径中并执行某些功能。 网络数据包代理(NPB)通过向监控和安全平台提供来自整个网络堆栈中的数据,提高了监视和安全平台的效率。 直到不久前,NPB体系结构完全基于专有硬件。但是,如今一些企业选择通用白盒,因为他们认为这可以节省金钱并为提供不断发展的网络所需的规模。 有关NPB的最佳实践建议包括找到可提供真正链路层可见性的解决方案。在某些情况下,这仅意味着实施工具来监视网络设备和各个链接。在其他情况下,则需要一直监控到应用层。
NPB提供的情境感知过滤通过引入高级应用智能,帮助您更快地发现和确定问题的根本原因。 但实际上,智能NPB可以执行非常复杂的功能,从而产生以指数级增高的效率和安全收益。 负载均衡流量是其中的功能之一。 NPB执行的其他强大功能包括: 冗余数据包去重 分析和安全工具支持接收从多个分路器转发来的大量重复的数据包。NPB可以消除重复,以防止工具在处理冗余数据时浪费处理能力。 报头剥离 NPB可以去除VLAN、VXLAN、L3V**等报头,因此无法处理这些协议的工具仍然可以接收和处理数据包数据。 NPB为您带来的益处 易于使用和管理 消除团队负担的智能 无丢包——运行高级功能时100%可靠性 高性能架构
EXA40(D)和EXA24160A是下一代网络数据包代理(NPB),支持基于会话的更高层功能。 该图显示了高级网络数据包代理(NPB)如何分析SIP邀请消息并查找所有其他SIP消息以及该特定呼叫的RTP数据包。 VOIP-network-1.png SIP RTP相关性 VOIP-network-2.png 高级网络数据包(NPB)可以并行处理多达100,000条规则-同时过滤多达100,000个用户。 使用高级网络数据包代理(NPB),您可以从不需要的流量中释放现有的监视工具。高级网络数据包代理(NPB)仅捕获/分析相关数据,从而降低了监视工具的成本。 网络数据包代理Network Packet Brokers(网络数据包代理NPB)可以收集这些数据,以便将流量聚合、复制和过滤到监控系统和安全工具; 包括隔离和检查DNS流量的功能。
NAS Parallel BenchMark NAS Parallel BenchMark(下文称之为NPB)是美国航天局NASA推出的高性能计算机的基准测试软件,其中包含了科学计算、高性能计算领域常用的的算法与任务 使用NPB可以对超级计算机的在高性能计算领域中的能力以及缺陷做出一个初步系统评估,这也是本次项目的意义。可以对腾讯云THPC计算环境进行一个初步评估,方便对后续要进行的高性能计算项目做出系统优化。 NPB涉及的任务五个高性能计算常用内核(Kernel):IS内核:用于评估整形排序与随机内存访问性能EP内核:用于评估复杂复杂并行逻辑下的并行性能CG内核:用于评估超级计算机共轭梯度计算以及中间出现的不规则内存访问和通信的性能
django-pratice>celery -A celery_tasks worker -l info -P eventlet -Q queue1 -------------- celery@USC2VG2F9NPB650 01,422: INFO/MainProcess] mingle: all alone [2019-08-04 01:42:01,547: INFO/MainProcess] celery@USC2VG2F9NPB650 Connected to redis://127.0.0.1:6379/8. [2019-08-04 01:42:56,323: INFO/MainProcess] celery@USC2VG2F9NPB650 celery -A celery_tasks worker -l info -P eventlet -Q queue1,queue2 -------------- celery@USC2VG2F9NPB650 \control.py:54: DuplicateNodenameWarning: Received multiple replies from node name: celery@USC2VG2F9NPB650
django-pratice>celery -A celery_tasks worker -l info -P eventlet -Q queue1 -------------- celery@USC2VG2F9NPB650 01,422: INFO/MainProcess] mingle: all alone [2019-08-04 01:42:01,547: INFO/MainProcess] celery@USC2VG2F9NPB650 Connected to redis://127.0.0.1:6379/8. [2019-08-04 01:42:56,323: INFO/MainProcess] celery@USC2VG2F9NPB650 celery -A celery_tasks worker -l info -P eventlet -Q queue1,queue2 -------------- celery@USC2VG2F9NPB650 \control.py:54: DuplicateNodenameWarning: Received multiple replies from node name: celery@USC2VG2F9NPB650
IPv4地址共享,无状态IPv4到IPv6转换内置分层QoS(HQoS)提供精细化流量整形与优先级管理运行 PPPoE 客户端与服务器实现宽带接入,支持认证、计费及IP地址分配FusionNOS + NPB2.0 :网络可视化用户也可以选择在 DPU 上安装 FusionNOS,搭配 AsterNOS 的 NPB2.0 增强(什么是NPB2.0?) 输出,对接已有后端监控工具如果配置场景允许,用户还可在另一块 DPU 部署 Ntopng工具(基于Ubuntu OS),直接实现对 20K 用户规模下的实时网络流量行为分析和可视化呈现,无需额外TAP/NPB
同时基于开源SONiC的网络操作系统支持二次开发,这样就可以整合其它开源或定制的分析套件,将汇聚分流平台打造成为真正的网络报文代理(NPB)产品。 下面分享两则应用案例。 案例分享一:基于可编程平台的开放NPB产品 汇聚分流器会从整网设备上收集流量,过滤后的数据包分配给网络监控和性能管理工具,比如做应用分析、网络优化和取证、应用性能管理或者网络性能管理等。 图1.1、传统模式 图1.2 NPB模式 如图1.2所示,为了更加自动化和智能化, OpenMesh可编程交换机运行OpenNPB分流软件后就可以变身为NPB设备,前文手动操作转换为SDN的方式,故障排除时间可以相应地大幅缩减 NPB交换机以线速进行报文的过滤,只有被交换机过滤后的数据包被记录并进行离线分析。 案例分享二:基于国产交换平台的NPB产品 SONiC网络操作系统区别于传统操作系统的一个明显不同就是在社区的推动下实现了标准的交换机抽象层,保证不同芯片平台都可以运行相同的SONiC软件。
流量深度分析:NPB 2.0的革新传统流量分析需部署专用网络数据包代理(NPB)硬件,而云化园区通过软件定义能力实现降本增效:交换机“一机双用”:在SONiC系统(如AsterNOS)中部署Docker 形态的NPB应用,直接利用交换机镜像端口采集流量,无需额外硬件;开放架构分析:后端结合ntopng等开源工具,实现流量分类、异常检测与可视化报表生成。
pythonProject\django-pratice>celery -A celery_tasks worker -l info -P eventlet -------------- celery@USC2VG2F9NPB650 54,073: INFO/MainProcess] mingle: all alone [2019-08-03 17:26:54,196: INFO/MainProcess] celery@USC2VG2F9NPB650
eyJqdGkiOiJKV1Q6NmJlNmE3ODUtMmNiZS00NTkwLThkYmQtMzI4MTI0ZTRjZDBiIiwiaWF0IjoxNTExMTU3NTkzLCJzdWIiOiJ7XCJjcmVhdGVUaW1lXCI6XCIyMDE3LTA3LTEwIDA5OjU5OjMyXCIsXCJlbWFpbFwiOlwiYWRtaW5AbTJjLmNvbVwiLFwibmFtZVwiOlwiYWRtaW5cIixcIm5vdGVcIjpcIm5vdGVcIixcInBlcm1pc3Npb25LZXlcIjpcIkpXVDpTWVNURU06UEVSTUlTU0lPTpkYmRjMjQ1ZGM5Mjg0MmY3OTAxY2ZjNGZiOWU3ZmY1OVwiLFwicm9sZUlkXCI6XCIxXCIsXCJ0ZWxOb1wiOlwiMTM4Mjg3NDk3NTVcIixcInVwZGF0ZVRpbWVcIjpcIjIwMTctMTEtMTcgMTY6MTY6MTdcIixcInVzZXJJZFwiOlwiNmM3MTFlOGUzZjA1MTIzNDUwZDgzMGI5NGM3MDRjY2E3OTlmXCIsXCJ1c2VyTmFtZVwiOlwiYWRtaW5cIixcInVzZXJOb1wilwiMVwiLFwidXNlclN0YXR1c1wiOlwiTk9STUFMXCJ9IiwiZXhwIjoxNTExMjAwNzkzfQ.ZrUmlI0FSC0FjUwXvReuj4YlHYyCdJrDx9e9B1OEazO3avmMEsGjZoWxxxxxxxAbtqv5sFa64 eyJqdGkiOiJKV1Q6NmJlNmE3ODUtMmNiZS00NTkwLThkYmQtMzI4MTI0ZTRjZDBiIiwiaWF0IjoxNTExMTU3NTkzLCJzdWIiOiJ7XCJjcmVhdGVUaW1lXCI6XCIyMDE3LTA3LTEwIDA5OjU5OjMyXCIsXCJlbWFpbFwiOlwiYWRtaW5AbTJjLmNvbVwiLFwibmFtZVwiOlwiYWRtaW5cIixcIm5vdGVcIjpcIm5vdGVcIixcInBlcm1pc3Npb25LZXlcIjpcIkpXVDpTWVNURU06UEVSTUlTU0lPTjpkYmRjMjQ1ZGM5Mjg0MmY3OTAxY2ZjNGZiOWU3ZmY1OVwiLFwicm9sZUlkXCI6XCIxXCIsXCJ0ZWxOb1wiOlwiMTM4Mjg3NDk3NTVcIixcInVwZG0ZVRpbWVcIjpcIjIwMTctMTEtMTcgMTY6MTY6MTdcIixcInVzZXJJZFwiOlwiNmM3MTFlOGUzZjA1MTIzNDUwZDgzMGINGM3MDRjY2E3OTlmXCIsXCJ1c2VyTmFtZVwiOlwiYWRtaW5cIixcInVzZXJOb1wiOlwiMVwiLFwidXNlclN0YXR1c1wiOlwiTk9STUFMXCJ9IiwiZXhwIjoxNTExMjAwNzkzfQ.ZrUmlI0FSC0FjUwXvReuj4YlHYyCdJrDx9e9B1OEazO3avmMEsGjZoWxxxxxxxAbtqv5sFa64