首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏周末程序猿

    Linux高性能网络编程十谈|9个C++的开源的网络框架

    周末程序猿 鹅厂程序猿,专注后台开发和人工智能领域~~ 100篇原创内容 公众号 继续上一篇《Linux高性能网络编程十谈|C++11实现22种高并发模型》,大家对于 C++ 实现各种 Server 比较感兴趣 ,于是我把工作这些年接触的高性能开源的网络框架整理了一遍,基于9个C++网络框架实现 Echo Server 样例。 C++ 标准 特点 代表的开源项目 libevent 事件驱动 C++11 跨平台、轻量级、广泛使用 Memcached, Tor, Chromium, tmux libev 事件驱动 C++11 高性能 特点: 极致性能: 专为高性能设计,最小化系统调用开销 Linux 优化: 深度优化 epoll 性能,支持 Linux 特有功能 轻量级设计: 代码简洁,内存占用极小 多种事件类型: 支持 I/O、 请求生命周期 RequestHandlerFactory: 处理器工厂,创建请求处理器 ResponseBuilder: 响应构建器,构建 HTTP 响应 HTTP/2 特性: 流复用、服务器推送、头部压缩 9.

    1.5K12编辑于 2025-06-23
  • 来自专栏wOw的Android小站

    Charpter 9:卷积网络

    卷积网络convolutional network,也叫做卷积神经网络convolutional neural network CNN 专门用来处理类似网格结构数据的神经网络. 比如 时间序列,轴上的一维网格 图像数据,二维像素网格 我们把至少在网络中一层中使用卷积运算来替代一般的矩阵乘法运算的神经网络 称为 卷积网络 卷积 convolution CNN中用到的卷积和其他领域的定义并不完全一致 我们可以把卷积网络类比成全连接网络,但对于这个全连接网络的权重有一个无限强的先验。这个无限强的先验是说一个隐藏单元的权重必须和它邻居的权重相同,但可以在空间上移动。 当然,把卷积神经网络当作一个具有无限强先验的全连接网络来实现会导致极大的计算浪费。但把卷积神经网络想成具有无限强先验的全连接网络可以帮助我们更好地洞察卷积神经网络是如何工作的。 因为卷积网络通常使用多通道的卷积,所以即使使用了核翻转,也不一定保证网络的线性运算是可交换的。

    1.2K10发布于 2018-09-18
  • 来自专栏杰哥技术分享

    高性能网络通讯原理

    本篇主要探讨高性能网络通讯框架的一些必要知识和底层操作系统相关的原理。在探讨如何做之前,我们先讨论下为什么要做。 随着互联网的高速发展,用户量呈指数形式递增,从原来的PC普及到现在的移动设备普及。 一个高性能网络通讯框架从硬件设备到操作系统内核以及用户模式都需要精心设计。只要有任何地方有疏漏都会出现短板效应。 因此如何使得单机网络并发连接数达到10K成为通讯开发者热门的讨论话题。 总结 本文通过I/O访问方式,I/O模型,线程模型三个方面解释了操作系统为实现高性能I/O做了哪些事情,通过提高CPU使用效率,减少内存复制是提高性能的关键点。 参考文档 新手入门:目前为止最透彻的的Netty高性能原理和框架架构解析 高性能网络编程(二):上一个10年,著名的C10K并发连接问题 NIO的epoll空轮询bug 两种高效的服务器设计模型:Reactor

    81620发布于 2019-12-16
  • 来自专栏喔家ArchiSelf

    微秒级高性能网络初探

    如果我们的预期是将网络延时从10ms 降低到1ms,那么应该先分析这些时延的具体构成,很有可能瓶颈并不是网络传输;如果目标是将网络延时降低到微秒级或者百微秒级,那么我们才可能使用到高性能网络,例如RDMA 高性能IB网络高性能计算集群中,网络协议一般不是Ethernet+TCP/IP,而是Infiniband(IB)协议,是从物理层到传输层的一整套协议栈。 3.4 RDMA 的典型应用场景 RDMA当前最主要的应用场景有两类:一是高性能计算,包括分布式机器学习训练(尤其是使用GPU的时候);二是计算存储分离。 4 小结 对于高性能网络而言,通过kernel bypass和zero copy,RDMA实现了网络传输的低时延、高带宽与低CPU消耗。 一般地,应用程序需要通过特殊的API来使用RDMA,而RDMA则需要底层网络具备无丢包配置,其主要应用场景包括了高性能计算以及计算存储分离。

    86310编辑于 2025-01-07
  • 来自专栏JAVA高级架构

    9高性能可用高并发的技术架构

    6、安全   网站在安全架构方面有许多模式:通过密码和手机校验码进行身份认证;登录、交易需要对网络通信进行加密;为了防止机器人程序滥用资源,需要使用验证码进行识别;对常见的XSS攻击、SQL注入需要编码转换 9、缓存   缓存目的就是减轻服务器的计算,使数据直接返回给用户。在现在的软件设计中,缓存已经无处不在。具体实现有CDN、反向代理、本地缓存、分布式缓存等。   

    747110发布于 2018-04-19
  • 来自专栏企鹅号快讯

    9高性能可用高并发的技术架构

    6、安全 网站在安全架构方面有许多模式:通过密码和手机校验码进行身份认证;登录、交易需要对网络通信进行加密;为了防止机器人程序滥用资源,需要使用验证码进行识别;对常见的XSS攻击、SQL注入需要编码转换 9、缓存 缓存目的就是减轻服务器的计算,使数据直接返回给用户。在现在的软件设计中,缓存已经无处不在。具体实现有CDN、反向代理、本地缓存、分布式缓存等。

    71881发布于 2018-02-26
  • 来自专栏云社区全球资讯抢先看

    9高性能可用高并发的技术架构

    6、安全 网站在安全架构方面有许多模式:通过密码和手机校验码进行身份认证;登录、交易需要对网络通信进行加密;为了防止机器人程序滥用资源,需要使用验证码进行识别;对常见的XSS攻击、SQL注入需要编码转换 9、缓存 缓存目的就是减轻服务器的计算,使数据直接返回给用户。在现在的软件设计中,缓存已经无处不在。具体实现有CDN、反向代理、本地缓存、分布式缓存等。

    2.3K00发布于 2017-12-25
  • 来自专栏DotNet NB && CloudNative

    .NET 9网络改进

    .NET 9 中的网络改进 继续我们的传统,我们很高兴分享一篇博客文章,重点介绍新 .NET 发布版本中网络领域的最新和最有趣的变更。 QUIC .NET 9 中 QUIC 领域的显著变更包括使库公开化、更多的连接配置选项和多项性能改进。 在 .NET 9 之前,唯一可用的保持活动策略是未经请求的 PONG。 .NET Framework 兼容性 在网络领域,从 .NET Framework 迁移项目到 .NET Core 时最大的障碍之一是 HTTP 栈之间的差异。 网络原语 本节涵盖了 System.Net 命名空间中的变更。我们正在引入新的服务器发送事件支持和一些小的 API 添加,例如新的 MIME 类型。

    1.1K00编辑于 2025-03-27
  • 来自专栏冷环渊的全栈工程师历程

    Netty高性能网络通信:NIO

    认识Netty Netty 网络编程框架 他可以做到什么? 自定义通信协议 自定义编码/解码字节流 没有netty之前我们是用什么的? java.net + java .io java.nio Mina /Grizzly Netty的特点 并发高 基于 NIO网络通信框架,比较BIO性能得到了提升 传输快 NIO的特性之一, FileChannel 文件管道的数据 Pipe.SinkChannel Pipe.SourceChannel 线程间通信的管道 ServerSocketChannel SocketChannel 用于TCP网络通信的管道 DatagramChannel 用于UDP网络通信的管道 Buffer capacity 总体容量大小 limit 存储容量的大小,是可读写和不可读写的界线 position 已读容量的大小,

    89120发布于 2021-11-15
  • 来自专栏6G

    高性能网络的基础知识

    同样的逻辑也适用于高性能网络(High-Performance Networking, HPN)。然而,HPN失效的负面影响可能会更为显著。 本文将探讨高性能网络的组成部分、可用的传输技术以及使其真正实现高速运行的“秘诀”。 高性能网络由哪些部分组成? 目前,高性能网络的最低要求是400Gbps,预计在未来两年内将跃升至800Gbps至1600Gbps。 尽管如此,尽管实现这种带宽的工程和物理原理相当复杂,且管道的大小确实很重要,但带宽本身并不是使网络高性能”的因素。 如果不是延迟和带宽,那么是什么让应用程序运行得更快呢? 标准数据中心网络的“尽力而为”服务等级协议(SLA)是不够的。这就是高性能网络中“高性能”部分的体现。 那么,什么是高性能网络呢? 定义高性能网络的问题并非仅仅是延迟或带宽的问题,尽管这两者都是因素。

    69310编辑于 2025-02-12
  • 来自专栏人工智能应用

    使用asyncio构建高性能网络爬虫

    引言 在当今数据驱动的时代,高效获取网络数据已成为开发者必备技能。

    37310编辑于 2025-08-01
  • 来自专栏小徐学爬虫

    使用Golang构建高性能网络爬虫

    所谓的高性能网络爬虫就是一种能够快速、高效地从互联网上抓取大量网页数据的程序。网络爬虫通常被用于搜索引擎、数据挖掘、信息检索等领域,用于收集和分析互联网上的信息。 使用Golang构建高性能网络爬虫可以充分利用Golang的并发特性和高效的网络库,实现快速、高效地爬取网页数据。 以下是一个简单的示例,展示如何使用Golang构建一个基本的网络爬虫:package mainimport ("fmt""net/http""golang.org/x/net/html""sync")func 当然,实际的网络爬虫可能需要更复杂的处理,比如处理页面解析错误、限制并发数量、处理重定向、处理异常情况等。但是这个简单的示例可以帮助你了解如何使用Golang构建一个基本的网络爬虫。

    54810编辑于 2023-11-29
  • 来自专栏活动盒子

    9高性能高可用高并发的技术架构

    为此,在实践中提出了许多解决方案,以实现独立商城网站建设高性能、高可靠性、易伸缩、可扩展、安全等各种网上电子商城技术架构目标。 6、安全 网站在安全架构方面有许多模式: 1、通过密码和手机校验码进行身份认证; 2、登录、交易需要对网络通信进行加密; 3、为了防止机器人程序滥用资源,需要使用验证码进行识别; 4、对常见的XSS攻击 9、缓存 缓存目的就是减轻服务器的计算,使数据直接返回给用户。在现在的软件设计中,缓存已经无处不在。具体实现有CDN、反向代理、本地缓存、分布式缓存等。

    2.1K30发布于 2019-04-18
  • 来自专栏IT大咖说

    Golang 高性能网络库 evio 源码解析

    evio 是一个基于事件驱动的网络框架,它非常轻量而且相比 Go net 标准库更快。其底层使用epoll 和 kqueue 系统调度实现。 关于这边的更多细节,可以看我的另一篇文章 【Golang 网络库 evio 一些问题/bug和思考】(https://note.mogutou.xyz/articles/2019/08/15/1565876205121 但是其实关于 loopWrite 和 loopRead 的处理是会有 bug 的,详细可以看另一篇文章 【Golang 网络库 evio 一些问题/bug和思考】(https://note.mogutou.xyz

    1.9K40发布于 2021-04-08
  • 来自专栏Rainbond开源「容器云平台」

    ​Kubernetes集群中的高性能网络策略

    本文针对K8s的网络策略进行介绍并对网络性能进行测试。 网络策略 K8s的网络策略应用于通过常用标签标识的pod组。 但是,它需要一个能够应用策略的网络后端。例如,简单路由网络或常用的 [flannel](https://github.com/coreos/flannel) 网络程序本身不能应用网络策略。 因此,网络策略可以直接由Linux内核中的主机使用iptables规则应用。这个结果是一个高性能,易于管理的网络。 测试网络策略的性能影响 在应用网络策略之后,需要根据这些策略来检查网络分组,以验证这种类型的业务是允许的。但是,对每个数据包应用网络策略的性能损失是多少? 网络性能损耗在可以接受的范围之内。 好雨云帮目前的生产环境使用的是k8s 1.2.x版本,我们在使用个版本的时候k8s还没有网络策略控制的功能,因此我们是基于网络插件的方式来实现访问控制的。

    1.1K30发布于 2018-05-31
  • 来自专栏小工匠聊架构

    高性能网络编程 - select、 poll 、epoll 、libevent

    概述 Select(选择): Select 是一种传统的 I/O 多路复用机制,用于在类 Unix 操作系统(如 Linux)中同时管理多个文件描述符(如网络套接字或文件)。 与 select 和 poll 不同,epoll 专为高性能 I/O 事件处理而设计。它可以有效地管理大量文件描述符而不会显著降低性能。 Epoll 特别适用于构建可扩展和高性能网络服务器和应用程序。 Epoll 优点: 高性能:Epoll 针对大规模并发连接进行了优化,性能较高。 有效地管理大量文件描述符,不会随连接数增加而降低性能。 在性能方面,可以利用底层高性能机制,如Epoll,以提高性能。 缺点: 与直接使用底层机制相比,可能引入轻微的性能开销。 需要学习Libevent的API和概念。

    1.1K81编辑于 2023-11-09
  • 来自专栏JavaEdge

    Java NIO高性能网络编程(三)-Channel

    DatagramChannel 通过UDP读写网络中的数据。 SocketChannel 通过TCP读写网络中的数据。

    73220发布于 2021-02-22
  • 来自专栏星融元

    高性能私有云网络解决方案

    在本案例中主要用到了CX306支持的以下高级功能: 最大支持64路基于权重的ECMP(实现流量的负载均衡,保证网络转发的高性能)。 按需自由扩展的扁平化云网络 在 Scale-wide 的云网络中,不需要再为价格高昂的框式 Spine 交换机支付超额的成本,并且将网络的规划、部署、调整、优化、扩展的主动权牢牢掌握在自己手中。 CX系列构建的扁平云网络极大地简化了云网络基础架构的复杂性,同时具备超强的横向扩展能力,使云计算 Pay-as-you-grow 的基本理念在云网络中得以体现。 易用、多样的网络操作系统支撑二次开发 基于对网络应用的深刻理解,提供的网络操作系统AsterNOS之上开发了从操作系统内核适配、驱动适配、接口适配、虚拟化网络协议、高可靠控制协议等多种功能特性,以改善开源的 与云计算无缝融合的云网络 运行在每一台CX系列云交换机上的 AsterNOS 是基于纯粹的 SDN 理念为云计算时代设计开发的一款开放、智能、易用、高性能网络操作系统。

    11.2K20编辑于 2023-07-04
  • 来自专栏用户2442861的专栏

    高性能网络编程(一)—-ACCEPT建立连接

    http://taohui.pub/2016/01/25/%E9%AB%98%E6%80%A7%E8%83%BD%E7%BD%91%E7%BB%9C%E7%BC%96%E7%A8%8B%EF%BC%88% E4%B8%80%EF%BC%89-accept%E5%BB%BA%E7%AB%8B%E8%BF%9E%E6%8E%A5/ ? 高性能网络编程(一)—-ACCEPT建立连接 高性能网络编程(一)—-ACCEPT建立连接 2016年1月25日  陶辉 Comments 1条评论 最近在部门内做了个高性能网络编程的培训,近日整理了下 掌握高性能网络编程,涉及到对网络、操作系统协议栈、进程与线程、常见的网络组件等知识点,需要有丰富的项目开发经验,能够权衡服务器运行效率与项目开发效率。以下图来谈谈我个人对高性能网络编程的理解。 ? 使用tcpdump等抓包工具分析各网络分组。 一般掌握以上3点,就可以挥洒自如的实现高性能网络服务器了。 下面具体谈谈如何做到高性能网络编程。

    1.2K10发布于 2018-09-19
  • 来自专栏Python每日一库

    netius:功能丰富的高性能网络

    netius 是一个基于 Python 的高性能网络库,它为网络应用提供了丰富的功能,包括 HTTP 客户端和服务器、WebSocket 支持、FTP 客户端和服务器以及其他多种协议的支持。 netius 的特点如下:高性能:采用异步事件循环机制,能够处理大量并发连接。易用性:API 设计简洁明了,易于理解和使用。多协议支持:支持 HTTP、WebSocket、FTP 等多种网络协议。 Netius 是一个基于 Python 编写的网络库,用于创建和维护各种网络连接。 Netius 在实际开发中的应用场景Netius 是一个强大的 Python 网络库,它为开发者提供了一系列用于构建网络应用的便利工具。 实现网络爬虫Netius 也适用于实现网络爬虫,通过使用 HTTP 客户端,可以轻松地发送请求并获取网页数据。

    29800编辑于 2025-01-29
领券