- 综合排序
- 最热优先
- 最新优先
- 来自专栏陶辉笔记
高性能网络编程2—-TCP消息的发送
1、MSS与TCP的分片 由上一篇文中可知，TCP层是第4层传输层，第3层IP网络层、第2层数据链路层具备的约束条件同样对TCP层生效。下面来看看数据链路层中的一个概念：最大传输单元MTU。 看看IP头部的格式： 图2 IP头部格式 可以看到，其指定IP包总长度的是一个16位（2字节）的字段，这意味一个IP包最大可以是65535字节。 2、发送方法返回成功后，数据一定发送到了TCP的另一端吗？ 答案当然是否定的。解释这个问题前，先来看看TCP是如何保证可靠传输的。 （2）内核主要通过tcp_sendmsg方法来完成。 （3）（4）内核真正执行报文的发送，与send方法的调用并不是同步的。即，send方法返回成功了，也不一定把IP报文都发送到网络中了。 after(end_seq, tp->snd_una + tp->snd_wnd); } （2）慢启动和拥塞窗口 由于两台主机间的网络可能很复杂，通过广域网时，中间的路由器转发能力可能是瓶颈。
1.3K31发布于 2019-06-21 - 来自专栏用户2442861的专栏
高性能网络编程2----TCP消息的发送
1、MSS与TCP的分片 由上一篇文中可知，TCP层是第4层传输层，第3层IP网络层、第2层数据链路层具备的约束条件同样对TCP层生效。下面来看看数据链路层中的一个概念：最大传输单元MTU。 图2 IP头部格式 可以看到，其指定IP包总长度的是一个16位（2字节）的字段，这意味一个IP包最大可以是65535字节。 2、发送方法返回成功后，数据一定发送到了TCP的另一端吗？ 答案当然是否定的。解释这个问题前，先来看看TCP是如何保证可靠传输的。 （2）内核主要通过tcp_sendmsg方法来完成。 （3）（4）内核真正执行报文的发送，与send方法的调用并不是同步的。即，send方法返回成功了，也不一定把IP报文都发送到网络中了。 after(end_seq, tp->snd_una + tp->snd_wnd); } （2）慢启动和拥塞窗口 由于两台主机间的网络可能很复杂，通过广域网时，中间的路由器转发能力可能是瓶颈
1.2K21发布于 2018-09-20 - 来自专栏DPU
libfabric_ofa_简介_指南_设计思想_高性能网络2
通过减少支持应用程序所需的内存占用，消除网络缓冲不仅有助于提高性能，还有助于提高可扩展性。 虽然网络内存缓冲随着应用程序的扩展而增加，但通常可以将其配置为固定大小。 随着我们不断发展的网络 API，在某些情况下公开不同的顺序语义可以提高性能。 这些细节将在下面进一步讨论。 So, bytes 2k-3k could be received before bytes 1k-2k. 对于希望针对高性能网络的 libfabric 功能但可能仍需要在连接的小型集群（例如通过以太网）上运行的应用程序，套接字提供程序也可以用作后备机制。 内存注册通常在高性能网络中扮演次要角色。为了让 NIC 直接读取或写入应用程序内存，它必须访问支持应用程序地址空间的物理内存页。
47810编辑于 2025-06-13 - 来自专栏杰哥技术分享
高性能网络通讯原理
本篇主要探讨高性能网络通讯框架的一些必要知识和底层操作系统相关的原理。在探讨如何做之前，我们先讨论下为什么要做。 随着互联网的高速发展，用户量呈指数形式递增，从原来的PC普及到现在的移动设备普及。 一个高性能的网络通讯框架从硬件设备到操作系统内核以及用户模式都需要精心设计。只要有任何地方有疏漏都会出现短板效应。 因此如何使得单机网络并发连接数达到10K成为通讯开发者热门的讨论话题。 总结 本文通过I/O访问方式，I/O模型，线程模型三个方面解释了操作系统为实现高性能I/O做了哪些事情，通过提高CPU使用效率，减少内存复制是提高性能的关键点。 参考文档 新手入门：目前为止最透彻的的Netty高性能原理和框架架构解析 高性能网络编程(二)：上一个10年，著名的C10K并发连接问题 NIO的epoll空轮询bug 两种高效的服务器设计模型：Reactor
81620发布于 2019-12-16 - 来自专栏喔家ArchiSelf
微秒级高性能网络初探
如果我们的预期是将网络延时从10ms 降低到1ms，那么应该先分析这些时延的具体构成，很有可能瓶颈并不是网络传输；如果目标是将网络延时降低到微秒级或者百微秒级，那么我们才可能使用到高性能网络，例如RDMA 因此，在小数据量的传输时延中，主要延时并非是在物理网络上的传输时延，而是在发送/接收软件协议栈中的处理时延。 2. 高性能IB网络 在高性能计算集群中，网络协议一般不是Ethernet+TCP/IP，而是Infiniband（IB）协议，是从物理层到传输层的一整套协议栈。 4 小结 对于高性能网络而言，通过kernel bypass和zero copy，RDMA实现了网络传输的低时延、高带宽与低CPU消耗。 一般地，应用程序需要通过特殊的API来使用RDMA，而RDMA则需要底层网络具备无丢包配置，其主要应用场景包括了高性能计算以及计算存储分离。
86410编辑于 2025-01-07 - 来自专栏冷环渊的全栈工程师历程
Netty高性能网络通信：NIO
认识Netty Netty 网络编程框架 他可以做到什么？ 自定义通信协议 自定义编码/解码字节流 没有netty之前我们是用什么的？ java.net + java .io java.nio Mina /Grizzly Netty的特点 并发高 基于 NIO网络通信框架，比较BIO性能得到了提升 传输快 NIO的特性之一， FileChannel 文件管道的数据 Pipe.SinkChannel Pipe.SourceChannel 线程间通信的管道 ServerSocketChannel SocketChannel 用于TCP网络通信的管道 DatagramChannel 用于UDP网络通信的管道 Buffer capacity 总体容量大小 limit 存储容量的大小，是可读写和不可读写的界线 position 已读容量的大小，
89120发布于 2021-11-15 - 来自专栏6G
高性能网络的基础知识
同样的逻辑也适用于高性能网络（High-Performance Networking, HPN）。然而，HPN失效的负面影响可能会更为显著。 本文将探讨高性能网络的组成部分、可用的传输技术以及使其真正实现高速运行的“秘诀”。 高性能网络由哪些部分组成？ 目前，高性能网络的最低要求是400Gbps，预计在未来两年内将跃升至800Gbps至1600Gbps。 标准数据中心网络的“尽力而为”服务等级协议（SLA）是不够的。这就是高性能网络中“高性能”部分的体现。 那么，什么是高性能网络呢？ 定义高性能网络的问题并非仅仅是延迟或带宽的问题，尽管这两者都是因素。 2022年，Meta进行了一项研究，比较了其LLAMA2人工智能模型的预训练时间。研究中构建了两个相同的集群：一个基于InfiniBand，另一个基于RoCEv2。
69410编辑于 2025-02-12 - 来自专栏人工智能应用
使用asyncio构建高性能网络爬虫
引言 在当今数据驱动的时代，高效获取网络数据已成为开发者必备技能。
37310编辑于 2025-08-01 - 来自专栏小徐学爬虫
使用Golang构建高性能网络爬虫
所谓的高性能网络爬虫就是一种能够快速、高效地从互联网上抓取大量网页数据的程序。网络爬虫通常被用于搜索引擎、数据挖掘、信息检索等领域，用于收集和分析互联网上的信息。 使用Golang构建高性能网络爬虫可以充分利用Golang的并发特性和高效的网络库，实现快速、高效地爬取网页数据。 以下是一个简单的示例，展示如何使用Golang构建一个基本的网络爬虫：package mainimport ("fmt""net/http""golang.org/x/net/html""sync")func main() {urls := []string{"https://example.com/page1", "https://example.com/page2", "https://example.com 当然，实际的网络爬虫可能需要更复杂的处理，比如处理页面解析错误、限制并发数量、处理重定向、处理异常情况等。但是这个简单的示例可以帮助你了解如何使用Golang构建一个基本的网络爬虫。
54910编辑于 2023-11-29 - 来自专栏InvQ的专栏
Netty 高性能内存管理设计（2）
Netty 的内存规格分类以及内存管理的核心组件，今天我们继续介绍 Netty 内存分配与回收的实现原理。有了上节课的基础，相信接下来的学习过程会事半功倍。
68220发布于 2020-12-08 - 来自专栏星融元
高性能私有云网络解决方案
图片 图１为私有云一期网络拓扑，CX532 设备做Spine，CX306 设备做Leaf 线上使用区域：２台Spine，2台Leaf，15台服务器。 在本案例中主要用到了CX306支持的以下高级功能： 最大支持64路基于权重的ECMP（实现流量的负载均衡，保证网络转发的高性能）。 服务器4台部署Openstack云平台，2台做INT网络监测方面的测试，1台做Firewall、其余3台做裸金属。 通过将L2/L3网络功能(网络overlay)卸载至CX交换机上，提高云环境下计算节点的性能。插件依赖于AFC软件，通过该软件所提供接口配置CX交换机。 与云计算无缝融合的云网络 运行在每一台CX系列云交换机上的 AsterNOS 是基于纯粹的 SDN 理念为云计算时代设计开发的一款开放、智能、易用、高性能的网络操作系统。
11.2K20编辑于 2023-07-04 - 来自专栏小工匠聊架构
高性能网络编程 - select、 poll 、epoll 、libevent
概述 Select（选择）： Select 是一种传统的 I/O 多路复用机制，用于在类 Unix 操作系统（如 Linux）中同时管理多个文件描述符（如网络套接字或文件）。 与 select 和 poll 不同，epoll 专为高性能 I/O 事件处理而设计。它可以有效地管理大量文件描述符而不会显著降低性能。 Epoll 特别适用于构建可扩展和高性能的网络服务器和应用程序。 Epoll 优点： 高性能：Epoll 针对大规模并发连接进行了优化，性能较高。 有效地管理大量文件描述符，不会随连接数增加而降低性能。 在性能方面，可以利用底层高性能机制，如Epoll，以提高性能。 缺点： 与直接使用底层机制相比，可能引入轻微的性能开销。 需要学习Libevent的API和概念。
1.1K81编辑于 2023-11-09 - 来自专栏Rainbond开源「容器云平台」
Kubernetes集群中的高性能网络策略
本文针对K8s的网络策略进行介绍并对网络性能进行测试。 网络策略 K8s的网络策略应用于通过常用标签标识的pod组。 因此，网络策略可以直接由Linux内核中的主机使用iptables规则应用。这个结果是一个高性能，易于管理的网络。 测试网络策略的性能影响 在应用网络策略之后，需要根据这些策略来检查网络分组，以验证这种类型的业务是允许的。但是，对每个数据包应用网络策略的性能损失是多少？ 测试步骤： **硬件** 两台服务器采用IntelCore i5-5250U CPU（2核，每核2个线程），运行速度1.60GHz，16GBRAM和512GB SSD。 对于测试，我们有一个客户端pod向服务器pod发送2,000个HTTP请求。 HTTP请求由客户端pod以确保服务器和网络均未饱和的速率发送。
1.1K30发布于 2018-05-31 - 来自专栏IT大咖说
Golang 高性能网络库 evio 源码解析
evio 是一个基于事件驱动的网络框架，它非常轻量而且相比 Go net 标准库更快。其底层使用epoll 和 kqueue 系统调度实现。 = nil { panic(err) } l.fd = p r0, _, e0 := syscall.Syscall(syscall.SYS_EVENTFD2, 0, 0, 0) if e0 ) panic(err) } l.wfd = int(r0) l.AddRead(l.wfd) return l } syscall.Syscall(syscall.SYS_EVENTFD2, 关于这边的更多细节，可以看我的另一篇文章 【Golang 网络库 evio 一些问题/bug和思考】(https://note.mogutou.xyz/articles/2019/08/15/1565876205121 但是其实关于 loopWrite 和 loopRead 的处理是会有 bug 的，详细可以看另一篇文章 【Golang 网络库 evio 一些问题/bug和思考】(https://note.mogutou.xyz
1.9K40发布于 2021-04-08 - 来自专栏JavaEdge
Java NIO高性能网络编程(三)-Channel
DatagramChannel 通过UDP读写网络中的数据。 SocketChannel 通过TCP读写网络中的数据。
73220发布于 2021-02-22 - 来自专栏Python每日一库
netius：功能丰富的高性能网络库
netius 是一个基于 Python 的高性能网络库，它为网络应用提供了丰富的功能，包括 HTTP 客户端和服务器、WebSocket 支持、FTP 客户端和服务器以及其他多种协议的支持。 netius 的特点如下：高性能：采用异步事件循环机制，能够处理大量并发连接。易用性：API 设计简洁明了，易于理解和使用。多协议支持：支持 HTTP、WebSocket、FTP 等多种网络协议。 Netius 是一个基于 Python 编写的网络库，用于创建和维护各种网络连接。 //example.com/example.jpg"save_path = "downloaded_example.jpg"download_file(download_url, save_path)2. 2. 构建 RESTful APINetius 提供了许多用于构建 RESTful API 的功能，例如请求和响应的处理、路由、中间件等。
29800编辑于 2025-01-29 - 来自专栏用户2442861的专栏
高性能网络编程（一）—-ACCEPT建立连接
高性能网络编程（一）—-ACCEPT建立连接 高性能网络编程（一）—-ACCEPT建立连接 2016年1月25日 陶辉 Comments 1条评论 最近在部门内做了个高性能网络编程的培训，近日整理了下 掌握高性能网络编程，涉及到对网络、操作系统协议栈、进程与线程、常见的网络组件等知识点，需要有丰富的项目开发经验，能够权衡服务器运行效率与项目开发效率。以下图来谈谈我个人对高性能网络编程的理解。 ? 2、通用组件只是在封装套接字，操作系统是通过提供套接字来为进程提供网络通讯能力的。所以，不了解套接字编程，往往对组件的性能就没有原理上的认识。 使用tcpdump等抓包工具分析各网络分组。 一般掌握以上3点，就可以挥洒自如的实现高性能网络服务器了。 下面具体谈谈如何做到高性能网络编程。 当然会，如果上图中第1步执行的速度大于第2步执行的速度，SYN队列就会不断增大直到队列满；如果第2步执行的速度远大于第3步执行的速度，ACCEPT队列同样会达到上限。
1.2K10发布于 2018-09-19 - 来自专栏golang与云原生
【笔记】Linux高性能网络详解之DPDK
这避免了中断开销，是高性能的关键5. 当驱动通过轮询发现某个描述符的 DD 位为 1，它就知道一个新的数据包已经到了。驱动通过描述符的索引，从 sw_ring 中找到对应的 mbuf 指针。 nb-cores=2 --nb-ports=2iface=ens2f0 和 iface=ens2f1 指定了两个目标网络接口，其中的 ens2fX 就是执行 ifconfig 命令看到的操作系统中抽象的两个网络接口的名称 如果没有指定其他参数，DPDK 会把 2 个核按照编号依次分配给两个接口，分别负责接收两个接口的数据包，并从另一个接口发送出去。--nb-ports=2 表示本次测试使用两个网络接口。5.3. 禁用网络接口sudo ifconfig ens2f0 downsudo ifconfig ens2f1 down9. ReferenceLinux 高性能网络详解：从 DPDK、RDMA 到 XDPLinux 系统如何收发网络包_linux 网络编程的数据收发接口-CSDN 博客DPDK 收发包流程分析_dpdk 开发流程
6.7K13编辑于 2025-08-29 - 来自专栏猫头虎博客专区
《CNI 揭秘：打造高性能的容器网络》
在容器化的时代，网络性能变得至关重要。我发现越来越多的技术爱好者在搜索 “CNI 介绍”、“容器网络优化” 或 “CNI 最佳实践”。 为此，我决定深入研究 CNI，与大家分享如何打造一个高效的容器网络环境。从 CNI 的基础到实际应用，一切尽在本文。 引言 容器网络接口 (CNI) 是一个用于配置容器网络的规范。 灵活性: 支持各种网络解决方案，如桥接、路由、VLAN 等。 2. CNI 插件类型 2.1 主要插件 bridge: 创建一个桥接网络，将容器连接到宿主机。 Flannel: 创建一个虚拟网络，使所有容器都在同一个逻辑网络中。 Weave: 提供简单、健壮的网络解决方案。 3. 3.3 优化网络性能 使用网络策略、限速和 QoS，确保容器的网络性能满足需求。 4. CNI 未来展望 4.1 更多的集成 随着容器技术的发展，CNI 预计将与更多的云原生项目集成。
86910编辑于 2024-04-09 - 来自专栏陶辉笔记
高性能网络编程（一）—-accept建立连接
最近在部门内做了个高性能网络编程的培训，近日整理了下PPT，欲写成一系列文章从应用角度谈谈它。 掌握高性能网络编程，涉及到对网络、操作系统协议栈、进程与线程、常见的网络组件等知识点，需要有丰富的项目开发经验，能够权衡服务器运行效率与项目开发效率。以下图来谈谈我个人对高性能网络编程的理解。 ? 2、通用组件只是在封装套接字，操作系统是通过提供套接字来为进程提供网络通讯能力的。所以，不了解套接字编程，往往对组件的性能就没有原理上的认识。 使用tcpdump等抓包工具分析各网络分组。 一般掌握以上3点，就可以挥洒自如的实现高性能网络服务器了。 下面具体谈谈如何做到高性能网络编程。 当然会，如果上图中第1步执行的速度大于第2步执行的速度，SYN队列就会不断增大直到队列满；如果第2步执行的速度远大于第3步执行的速度，ACCEPT队列同样会达到上限。
1.3K40发布于 2019-06-21
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号