- 综合排序
- 最热优先
- 最新优先
- 来自专栏小工匠聊架构
高性能网络编程 - 解读5种IO模型
4）； 3）返回数据，服务器将已构建好的响应再通过内核空间的网络 I/O 发还给客户端（5-7）。 它通常用于网络编程中，特别是在UDP协议中。这个函数会阻塞应用程序的进程，直到有数据报准备好可以被接收。 具体来说，recvfrom 通常用于接收来自网络的数据报，例如从套接字（socket）中接收数据。 众所周之，Nginx这样的高性能互联网反向代理服务器大获成功的关键就是得益于Epoll。 5 种 I/O 模型总结 从上图中我们可以看出，越往后，阻塞越少，理论上效率也是最优。
86230编辑于 2023-11-11 - 来自专栏DPU
libfabric_ofa_简介_指南_设计思想_高性能网络5
此外，提供商可以与资源管理实体或结构管理器代理进行通信，以获得服务质量或有关结构的其他信息，以提高网络利用率。 一个同样重要的目标是确保生成的接口，特别是数据传输操作，快速且易于使用。
46600编辑于 2025-06-13 - 来自专栏用户2442861的专栏
高性能网络编程5--IO复用与并发编程
但如果像我上面举例所说的，有时它不单纯是一个网络问题，跟应用场景相关。当然，大部分开源框架都是基于ET写的，框架嘛，它追求的是纯技术问题，当然力求尽善尽美。
97510发布于 2018-09-20 - 来自专栏杰哥技术分享
高性能网络通讯原理
本篇主要探讨高性能网络通讯框架的一些必要知识和底层操作系统相关的原理。在探讨如何做之前，我们先讨论下为什么要做。 随着互联网的高速发展，用户量呈指数形式递增，从原来的PC普及到现在的移动设备普及。 一个高性能的网络通讯框架从硬件设备到操作系统内核以及用户模式都需要精心设计。只要有任何地方有疏漏都会出现短板效应。 对于I/O访问感兴趣的同学可以看《操作系统精髓与设计原理(第5版)》第十一章I/O管理相关内容和《WINDOWS内核原理与实现》第六章I/O论述相关内容 I/O模型 在讨论I/O模型之前，首先引出一个叫做 参考文档 新手入门：目前为止最透彻的的Netty高性能原理和框架架构解析 高性能网络编程(二)：上一个10年，著名的C10K并发连接问题 NIO的epoll空轮询bug 两种高效的服务器设计模型：Reactor 和Proactor模型 TCP的发送缓冲区和接收缓冲区 IDE（电子集成驱动器） 《操作系统精髓与设计原理(第5版)》 《WINDOWS内核原理与实现》
81620发布于 2019-12-16 - 来自专栏喔家ArchiSelf
微秒级高性能网络初探
如果我们的预期是将网络延时从10ms 降低到1ms，那么应该先分析这些时延的具体构成，很有可能瓶颈并不是网络传输；如果目标是将网络延时降低到微秒级或者百微秒级，那么我们才可能使用到高性能网络，例如RDMA 高性能IB网络 在高性能计算集群中，网络协议一般不是Ethernet+TCP/IP，而是Infiniband（IB）协议，是从物理层到传输层的一整套协议栈。 3.4 RDMA 的典型应用场景 RDMA当前最主要的应用场景有两类：一是高性能计算，包括分布式机器学习训练（尤其是使用GPU的时候）；二是计算存储分离。 4 小结 对于高性能网络而言，通过kernel bypass和zero copy，RDMA实现了网络传输的低时延、高带宽与低CPU消耗。 一般地，应用程序需要通过特殊的API来使用RDMA，而RDMA则需要底层网络具备无丢包配置，其主要应用场景包括了高性能计算以及计算存储分离。
86610编辑于 2025-01-07 5 分钟了解 kafka 高性能基础
Kafka 的高性能主要依赖因素 批量处理 生产者通过批量压缩后再批量发送的方式，将一批消息作为一个整体（“批消息”）提交给 broker 处理。 • 4、数据从磁盘加载到操作系统缓存 • 5、数据从操作系统缓存复制到 Kafka 应用程序 • 6、Kafka 应用程序将数据复制到套接字缓冲区 • 7、数据从套接字缓冲区复制到网络卡 • 8、网络卡将数据发送给消费者 • 4、数据从磁盘加载到操作系统缓存 • 5、操作系统缓存通过 sendfile() 命令直接将数据复制到网络卡 • 6、网络卡将数据发送给消费者 零拷贝是一种节省应用程序上下文和内核上下文之间多次数据复制的方法
27900编辑于 2025-06-09- 来自专栏冷环渊的全栈工程师历程
Netty高性能网络通信：NIO
认识Netty Netty 网络编程框架 他可以做到什么？ 自定义通信协议 自定义编码/解码字节流 没有netty之前我们是用什么的？ java.net + java .io java.nio Mina /Grizzly Netty的特点 并发高 基于 NIO网络通信框架，比较BIO性能得到了提升 传输快 NIO的特性之一， FileChannel 文件管道的数据 Pipe.SinkChannel Pipe.SourceChannel 线程间通信的管道 ServerSocketChannel SocketChannel 用于TCP网络通信的管道 DatagramChannel 用于UDP网络通信的管道 Buffer capacity 总体容量大小 limit 存储容量的大小，是可读写和不可读写的界线 position 已读容量的大小，
89220发布于 2021-11-15 - 来自专栏6G
高性能网络的基础知识
同样的逻辑也适用于高性能网络（High-Performance Networking, HPN）。然而，HPN失效的负面影响可能会更为显著。 本文将探讨高性能网络的组成部分、可用的传输技术以及使其真正实现高速运行的“秘诀”。 高性能网络由哪些部分组成？ 目前，高性能网络的最低要求是400Gbps，预计在未来两年内将跃升至800Gbps至1600Gbps。 尽管如此，尽管实现这种带宽的工程和物理原理相当复杂，且管道的大小确实很重要，但带宽本身并不是使网络“高性能”的因素。 如果不是延迟和带宽，那么是什么让应用程序运行得更快呢？ 标准数据中心网络的“尽力而为”服务等级协议（SLA）是不够的。这就是高性能网络中“高性能”部分的体现。 那么，什么是高性能网络呢？ 定义高性能网络的问题并非仅仅是延迟或带宽的问题，尽管这两者都是因素。
69610编辑于 2025-02-12 - 来自专栏人工智能应用
使用asyncio构建高性能网络爬虫
引言 在当今数据驱动的时代，高效获取网络数据已成为开发者必备技能。
37410编辑于 2025-08-01 - 来自专栏小徐学爬虫
使用Golang构建高性能网络爬虫
所谓的高性能网络爬虫就是一种能够快速、高效地从互联网上抓取大量网页数据的程序。网络爬虫通常被用于搜索引擎、数据挖掘、信息检索等领域，用于收集和分析互联网上的信息。 使用Golang构建高性能网络爬虫可以充分利用Golang的并发特性和高效的网络库，实现快速、高效地爬取网页数据。 以下是一个简单的示例，展示如何使用Golang构建一个基本的网络爬虫：package mainimport ("fmt""net/http""golang.org/x/net/html""sync")func 当然，实际的网络爬虫可能需要更复杂的处理，比如处理页面解析错误、限制并发数量、处理重定向、处理异常情况等。但是这个简单的示例可以帮助你了解如何使用Golang构建一个基本的网络爬虫。
54910编辑于 2023-11-29 - 来自专栏前端导学
高性能HTML5读书笔记
编写符合当代浏览器性能的代码 用CSS来布局 使用渐进增强的方法 各司其职
64720发布于 2019-05-26 - 来自专栏星融元
高性能私有云网络解决方案
1RU的标准机身，Asterfusion CX5系列下一代云交换机可以提供32个100G/40G高速以太网接口，向下接入服务器和/或向上连接到骨干层的Spine交换机。 在本案例中主要用到了CX306支持的以下高级功能： 最大支持64路基于权重的ECMP（实现流量的负载均衡，保证网络转发的高性能）。 CX系列构建的扁平云网络极大地简化了云网络基础架构的复杂性，同时具备超强的横向扩展能力，使云计算 Pay-as-you-grow 的基本理念在云网络中得以体现。 易用、多样的网络操作系统支撑二次开发 基于对网络应用的深刻理解，提供的网络操作系统AsterNOS之上开发了从操作系统内核适配、驱动适配、接口适配、虚拟化网络协议、高可靠控制协议等多种功能特性，以改善开源的 与云计算无缝融合的云网络 运行在每一台CX系列云交换机上的 AsterNOS 是基于纯粹的 SDN 理念为云计算时代设计开发的一款开放、智能、易用、高性能的网络操作系统。
11.2K20编辑于 2023-07-04 - 来自专栏小工匠聊架构
高性能网络编程 - select、 poll 、epoll 、libevent
概述 Select（选择）： Select 是一种传统的 I/O 多路复用机制，用于在类 Unix 操作系统（如 Linux）中同时管理多个文件描述符（如网络套接字或文件）。 与 select 和 poll 不同，epoll 专为高性能 I/O 事件处理而设计。它可以有效地管理大量文件描述符而不会显著降低性能。 Epoll 特别适用于构建可扩展和高性能的网络服务器和应用程序。 Epoll 优点： 高性能：Epoll 针对大规模并发连接进行了优化，性能较高。 有效地管理大量文件描述符，不会随连接数增加而降低性能。 在性能方面，可以利用底层高性能机制，如Epoll，以提高性能。 缺点： 与直接使用底层机制相比，可能引入轻微的性能开销。 需要学习Libevent的API和概念。
1.1K81编辑于 2023-11-09 - 来自专栏Rainbond开源「容器云平台」
Kubernetes集群中的高性能网络策略
本文针对K8s的网络策略进行介绍并对网络性能进行测试。 网络策略 K8s的网络策略应用于通过常用标签标识的pod组。 因此，网络策略可以直接由Linux内核中的主机使用iptables规则应用。这个结果是一个高性能，易于管理的网络。 测试网络策略的性能影响 在应用网络策略之后，需要根据这些策略来检查网络分组，以验证这种类型的业务是允许的。但是，对每个数据包应用网络策略的性能损失是多少？ 测试步骤： **硬件** 两台服务器采用IntelCore i5-5250U CPU（2核，每核2个线程），运行速度1.60GHz，16GBRAM和512GB SSD。 - NIC：Intel以太网连接I218-V（rev 03） - Ubuntu14.04.5 - Kubernetes 1.3（[v1.4.0-beta.5](http://v1.4.0-beta.5
1.1K30发布于 2018-05-31 - 来自专栏IT大咖说
Golang 高性能网络库 evio 源码解析
evio 是一个基于事件驱动的网络框架，它非常轻量而且相比 Go net 标准库更快。其底层使用epoll 和 kqueue 系统调度实现。 关于这边的更多细节，可以看我的另一篇文章 【Golang 网络库 evio 一些问题/bug和思考】(https://note.mogutou.xyz/articles/2019/08/15/1565876205121 但是其实关于 loopWrite 和 loopRead 的处理是会有 bug 的，详细可以看另一篇文章 【Golang 网络库 evio 一些问题/bug和思考】(https://note.mogutou.xyz
1.9K40发布于 2021-04-08 - 来自专栏JavaEdge
Java NIO高性能网络编程(三)-Channel
DatagramChannel 通过UDP读写网络中的数据。 SocketChannel 通过TCP读写网络中的数据。
73220发布于 2021-02-22 - 来自专栏Python每日一库
netius：功能丰富的高性能网络库
netius 是一个基于 Python 的高性能网络库，它为网络应用提供了丰富的功能，包括 HTTP 客户端和服务器、WebSocket 支持、FTP 客户端和服务器以及其他多种协议的支持。 netius 的特点如下：高性能：采用异步事件循环机制，能够处理大量并发连接。易用性：API 设计简洁明了，易于理解和使用。多协议支持：支持 HTTP、WebSocket、FTP 等多种网络协议。 Netius 是一个基于 Python 编写的网络库，用于创建和维护各种网络连接。 Netius 在实际开发中的应用场景Netius 是一个强大的 Python 网络库，它为开发者提供了一系列用于构建网络应用的便利工具。 实现网络爬虫Netius 也适用于实现网络爬虫，通过使用 HTTP 客户端，可以轻松地发送请求并获取网页数据。
29800编辑于 2025-01-29 - 来自专栏用户2442861的专栏
高性能网络编程（一）—-ACCEPT建立连接
BB%BA%E7%AB%8B%E8%BF%9E%E6%8E%A5/ ? 高性能网络编程（一）—-ACCEPT建立连接 高性能网络编程（一）—-ACCEPT建立连接 2016年1月25日 陶辉 Comments 1条评论 最近在部门内做了个高性能网络编程的培训，近日整理了下 掌握高性能网络编程，涉及到对网络、操作系统协议栈、进程与线程、常见的网络组件等知识点，需要有丰富的项目开发经验，能够权衡服务器运行效率与项目开发效率。以下图来谈谈我个人对高性能网络编程的理解。 ? 使用tcpdump等抓包工具分析各网络分组。 一般掌握以上3点，就可以挥洒自如的实现高性能网络服务器了。 下面具体谈谈如何做到高性能网络编程。 要掌握住这5个功能，不仅仅需要熟悉一些API的使用，更要理解底层网络如何与上层API之间互相发生影响。同时，还需要对不同的场景下，如何权衡开发效率、进程、线程与这些API的组合使用。
1.2K10发布于 2018-09-19 - 来自专栏golang与云原生
【笔记】Linux高性能网络详解之DPDK
计算校验和后直接传递给网络层。5. 从整个过程中可以看出，包括网卡间的数据传递，数据的复制行为共进行了 5 次。第 1 次和第 5 次数据复制是在主机内存芯片内部进行的，在理论上是可以避免的。 这避免了中断开销，是高性能的关键5. 当驱动通过轮询发现某个描述符的 DD 位为 1，它就知道一个新的数据包已经到了。驱动通过描述符的索引，从 sw_ring 中找到对应的 mbuf 指针。 5. ReferenceLinux 高性能网络详解：从 DPDK、RDMA 到 XDPLinux 系统如何收发网络包_linux 网络编程的数据收发接口-CSDN 博客DPDK 收发包流程分析_dpdk 开发流程
6.7K13编辑于 2025-08-29 - 来自专栏猫头虎博客专区
《CNI 揭秘：打造高性能的容器网络》
在容器化的时代，网络性能变得至关重要。我发现越来越多的技术爱好者在搜索 “CNI 介绍”、“容器网络优化” 或 “CNI 最佳实践”。 为此，我决定深入研究 CNI，与大家分享如何打造一个高效的容器网络环境。从 CNI 的基础到实际应用，一切尽在本文。 引言 容器网络接口 (CNI) 是一个用于配置容器网络的规范。 灵活性: 支持各种网络解决方案，如桥接、路由、VLAN 等。 2. CNI 插件类型 2.1 主要插件 bridge: 创建一个桥接网络，将容器连接到宿主机。 Flannel: 创建一个虚拟网络，使所有容器都在同一个逻辑网络中。 Weave: 提供简单、健壮的网络解决方案。 3. 3.3 优化网络性能 使用网络策略、限速和 QoS，确保容器的网络性能满足需求。 4. CNI 未来展望 4.1 更多的集成 随着容器技术的发展，CNI 预计将与更多的云原生项目集成。
86910编辑于 2024-04-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号