大家好,又见面了,我是你们的朋友全栈君。 #include “SOCKET.h” #include <Windows.h> DWORD WINAPI ThreadProc(LPVOID pvParam); #define PORT 8080 #define LISTEN_QUEUE 200 // AcceptEx 和 GetAcceptExSockaddrs 的函数指针,用于调用这两个扩展函数 LPFN_ACCEPTEX lpfnAcceptEx; LPFN_GETACCEPTEXSOCKADDRS lpfnGetAcceptExSockAddrs; void PostAcceptEx(IOCPHandle_s & listenHandle) { IO_DATA_s * p_io_data = new IO_DATA_s; p_io_data->socket = socket(AF_INET,SOCK_STREAM,IPPROTO_TCP); listenHandle.Push(p_io_data); p_io_data->type = ACCEPT; lpfnAcceptEx(listenHandle.socket, p_io_data->socket, &p_io_data->addr, 0, 0, sizeof(SOCKADDR_IN) + 16, &p_io_data->len, &p_io_data->ol); } int main() { SocketInit(); IOCPHandle_s listenHandle; listenHandle.socket = socket(AF_INET,SOCK_STREAM,IPPROTO_TCP); listenHandle.addr.sin_family = AF_INET; listenHandle.addr.sin_addr.S_un.S_addr = htonl(INADDR_ANY); listenHandle.addr.sin_port = htons(PORT); HANDLE IOCPhandle; IOCPhandle = CreateIoCompletionPort(INVALID_HANDLE_VALUE, NULL, 0, 0 ); ::CreateThread(0, 0, ThreadProc, (void *)IOCPhandle, 0, 0); ::bind(listenHandle.socket, (SOCKADDR *)&listenHandle.addr, sizeof(SOCKADDR)); ::listen(listenHandle.socket, LISTEN_QUEUE); CreateIoCompletionPort((HANDLE)listenHandle.socket, IOCPhandle, (unsigned long)&listenHandle, 0); // 使用AcceptEx函数,因为这个是属于WinSock2规范之外的微软另外提供的扩展函数 // 所以需要额外获取一下函数的指针, // 获取AcceptEx函数指针 GUID GuidAcceptEx = WSAID_ACCEPTEX; GUID GuidGetAcceptExSockAddrs = WSAID_GETACCEPTEXSOCKADDRS; DWORD dwBytes = 0; WSAIoctl( listenHandle.socket, SIO_GET_EXTENSION_FUNCTION_POINTER, &GuidAcceptEx, sizeof(GuidAcceptEx), &lpfnAcceptEx, sizeof(lpfnAcceptEx), &dwBytes, NULL, NULL); // 获取GetAcceptExSockAddrs函数指针,也是同理 WSAIoctl( listenHandle.socket, SIO_GET_EXTENSION_FUNCTION_POINTER, &GuidGetAcceptExSockAddrs, sizeof(GuidGetAcceptExSockAddrs), &lpfnGetAcceptExSockAddrs, sizeof(lpfnGetAcceptExSockAddrs),
所以对于IO密集型的操作(IO-Bound Operation)的优化,我们的思路是使用IOCP(I/O Completion Port)。 IOCP翻译了中文是IO完成端口,它是一种异步形态,原理是这样的:当前工作者线程在进行IO处理时,委托给某个设备驱动程序,然后自己返回线程池,当IO完成后,OS会通过IOCP提醒CLR它工作已经完成,当 在IO密集型的操作(IO-Bound Operation)中,我们推荐使用IOCP模式。 之前说到过,在CLR内部维护了一个IOCP(I/O completion port),它提供了处理多个异步I/O请求的线程模型,可以把这个IOCP看做是一个消息队列,当一个进程创建了一个IOCP,即创建了一个队列 还有一个队列是线程队列,IOCP会预分配一些线程在这个队列中,这样会比即时创建线程处理I/O请求速度更快。
主线程创建监听套接字,创建额外工作线程,关联IOCP,负责等待和接受到来的连接。
IOCP底层机理还没有透彻的理解,现将部分内容记录如下 2014.7.22 16:50 把完成端口理解为完成队列。 投递的异步IO请求完成后会携带三参数返回。 网上很多IOCP模型:主线程循环accept等待连接的到来,然后将Client socket加入IOCP,同时在Client socket上投递WSARecv等待数据到来。 其他worker线程GetQueuedCompletionStatus阻塞在IOCP上等待请求的完成。 连接进行得更快,可以用少量的线程处理大量的Client连接 整体过程: 1.创建listenSocket,与本地地址绑定,开始监听; 2.将listenSocket添加到IOCP 没有任何请求完成时,IOCP让worker沉睡;当请求到来时,IOCP唤醒最后入睡的worker线程起来执行处理。
这两天学习了一下IOCP网络模型。 blog.csdn.net/neicole/article/details/7549497/和http://blog.csdn.net/piggyxp/article/details/6922277 IOCP 是我见过的最复杂的网络模型了,在Windows里肯定就是boss了,而且一开始我感觉IOCP甚至比epoll还要复杂(其实epoll也不复杂,全部都不复杂,只是不懂的人觉得复杂~)。 当仔细研究一下之后,觉得也就 也像我很纠结的公事 此际回头看 原来并没有事 真想不到当初我们也讨厌吃苦瓜 今天竟吃得出那睿智愈来愈记挂 私以为,掌握IOCP的关键应该是异步的概念和回调。 \n"); system("pause"); return -1; } //创建IOCP的内核对象 /** * 需要用到的函数的原型: *
代码部分疑惑说明 说明:①WSAAcceptEx函数作用是投递accept操作到完成端口内核,只有该函数可以完成此功能
最近太忙,所以没有机会来写IOCP的后续文章。今天好不容易有了时间来写IOCP的粘包处理问题。 TCP数据粘包的产生原因在于TCP是一种流协议。在以太网中一个TCP的数据包长度是1500位。 我写的IOCP的代码已经在我编写的网络游戏中使用,运行稳定。 下次我会讲使用IOCP发送数据的方法。 同时祝大家新年快乐!
这篇文档我非常详细并且图文并茂的介绍了关于网络编程模型中完成端口的方方面面的信息,从API的用法到使用的步骤,从完成端口的实现机理到实际使用的注意事项,都有所涉及,并且为了让朋友们更直观的体会完成端口的用法,本文附带了有详尽注释的使用MFC编写的图形界面的示例代码。
线程池,简单来说就是有一堆已经创建好的线程(最大数目一定),初始时他们都处于空闲状态,当有新的任务进来,从线程池中取出一个空闲的线程处理任务,然后当任务处理完成之后,该线程被重新放回到线程池中,供其他的任务使用,当线程池中的线程都在处理任务时,就没有空闲线程供使用,此时,若有新的任务产生,只能等待线程池中有线程结束任务空闲才能执行。
系列目录 关于windows完成端口(IOCP)的一些理解(一) 关于windows完成端口(IOCP)的一些理解(二) 关于windows完成端口(IOCP)的一些理解(三) 关于windows完成端口 (IOCP)的一些理解(四) 关于windows完成端口(IOCP)的一些理解(五) 关于windows完成端口(IOCP)的一些理解(六) 本人很多年前接触完成端口以来,期间学习和练习了很多次,本以为自己真正地理解了其原理 PER_IO_CONTEXT, m_Overlapped); 系列目录 关于windows完成端口(IOCP )的一些理解(一) 关于windows完成端口(IOCP)的一些理解(二) 关于windows完成端口(IOCP)的一些理解(三) 关于windows完成端口(IOCP)的一些理解(四) 关于windows 完成端口(IOCP)的一些理解(五) 关于windows完成端口(IOCP)的一些理解(六) 欢迎关注公众号『easyserverdev』。
异步IO图示: *nix系统很少有支持的,windows的IOCP是此模型 ? 五种模型对比 ? 从左向右,可以看到用户线程的阻塞是越来越少的,理论上说阻塞越少,其执行效率就越高。 下面我们来看下select,poll,epoll,kqueue,iocp分别属于那种模型: select,poll属于第三种IO复用模型,iocp属于第5种异步io模型,那么epoll和kqueue呢? 最后来聊聊windows的iocp的异步IO模型,目前很少有支持asynchronous I/O的系统,即使windows上的iocp非常出色,但由于其系统本身的局限性和微软的之前的闭源策略,导致主流市场大部分用的还是 unix系统,与mac系统的kqueue和linux系统的epoll相比,iocp做到了真正的纯异步io的概念,即在io操作的第二阶段也不阻塞应用程序,但性能好坏,其实取决于copy数据的大小,如果数据包本来就很小
1 不知道你是否记得前面中说过每消耗一个预先准备客户端的socket,就要补上一个。这个代码现在看来就应该放在连接成功事件里面了: DWORD ThreadFunction() { OVERLAPPED *pOverlapped = NULL; PER_SOCKET_CONTEXT *pSocketContext = NULL; DWORD dwBytesTransfered = 0; BOOL bR
本章就来讲讲Linux下的epoll技术和Windows下的IOCP模型。 一:IOCP和Epoll之间的异同。 异: 1:IOCP是WINDOWS系统下使用。 2:IOCP是IO操作完毕之后,通过Get函数获得一个完成的事件通知。 上面描述的依然是I/O模型并非IOCP,那么IOCP是什么呢,全称 IO完成端口。 使用IOCP的基本步骤很简单: 1:创建IOCP对象,由它负责管理多个Socket和I/O请求。CreateIoCompletionPort需要将IOCP对象和IOCP句柄绑定。 注意:将Socket和IOCP进行关联的函数和创建IOCP的函数一样,都是CreateIoCompletionPort,不过注意传参必然是不同的。
系列目录 关于windows完成端口(IOCP)的一些理解(一) 关于windows完成端口(IOCP)的一些理解(二) 关于windows完成端口(IOCP)的一些理解(三) 关于windows完成端口 (IOCP)的一些理解(四) 关于windows完成端口(IOCP)的一些理解(五) 关于windows完成端口(IOCP)的一些理解(六) 1 现在还剩下最后一个问题,就是工作线程如何退出。 由于公众号文章字数有限,您可以接着阅读下一篇:《关于windows完成端口(IOCP)的一些理解(四)》 系列目录 关于windows完成端口(IOCP)的一些理解(一) 关于windows完成端口(IOCP )的一些理解(二) 关于windows完成端口(IOCP)的一些理解(三) 关于windows完成端口(IOCP)的一些理解(四) 关于windows完成端口(IOCP)的一些理解(五) 关于windows 完成端口(IOCP)的一些理解(六)
系列目录 关于windows完成端口(IOCP)的一些理解(一) 关于windows完成端口(IOCP)的一些理解(二) 关于windows完成端口(IOCP)的一些理解(三) 关于windows完成端口 (IOCP)的一些理解(四) 关于windows完成端口(IOCP)的一些理解(五) 关于windows完成端口(IOCP)的一些理解(六) #include "StdAfx.h" #include if (false == _InitializeIOCP()) { this->_ShowMessage(_T("初始化IOCP失败! )的一些理解(六)》 系列目录 关于windows完成端口(IOCP)的一些理解(一) 关于windows完成端口(IOCP)的一些理解(二) 关于windows完成端口(IOCP)的一些理解(三) 关于 windows完成端口(IOCP)的一些理解(四) 关于windows完成端口(IOCP)的一些理解(五) 关于windows完成端口(IOCP)的一些理解(六)
用 Rust 来诠释 Epoll, Kqueue 和 IOCP 这其实是一本书,旨在说明 Epoll,Kqueue 和 IOCP 的工作原理,我们可以将其用于高效率、高性能的 I/O。 其中一些实现将会使用 rust,原文地址:https://cfsamsonbooks.gitbook.io/epoll-kqueue-iocp-explained/ 扩展阅读:Green Threads Explained in 200 Lines of Rust reddit 上参与讨论:https://www.reddit.com/r/rust/comments/ephm4t/epoll_kqueue_and_iocp_explained_with_rust
Pre 高性能网络编程 - select、 poll 、epoll 、libevent select、poll、epoll、kqueue、iocp(windows) 这里我将对比一下常见的多路复用技术: select、poll、epoll、kqueue 和 IOCP(Windows)。 IOCP(Windows): 优点: 高性能,适用于 Windows 平台。 采用了异步 I/O 模型,不会阻塞工作线程。 可以处理大量并发连接。 而对于 Windows 平台,IOCP 是首选的高性能多路复用技术。
最基础的IOCP例子, 没有使用扩展函数AcceptEx: IOCP模型 * 关于iocp的核心就一点: GetQueuedCompletionStatus 将携带返回2个重要的参数, 一个lpCompletionKey 同样的 , AcceptEx 也要传递一个Overlapped结构,现在问题来了,如果只调用了AcceptEx , GetQueuedCompletionStatus 是不会返回的, 因为只有跟 iocp ; Per_Sock_Data():sock(INVALID_SOCKET), iocp(INVALID_HANDLE_VALUE){} }; struct Per_IO_Data{ OVERLAPPED 走错地方了把" << endl; } } unsigned iocp_thread(void *arg){ HANDLE iocp = *(HANDLE*)arg; Per_IO_Data * pData , 都由iocp来完成,就像其他socket一样 Per_Sock_Data * pSock = new Per_Sock_Data; //给监听套接字绑定一个key pSock->iocp = iocp
在 .NET 环境下,实际上只由一个 IOCP 来完成。然后,几个 I/O 完成线程(由 ThreadPool 管理)观察这个单一的 IOCP。 IOCP 线程的典型数量大约等于逻辑处理器的数量,但 ThreadPool 默认设置下可以创建多达 1000 个线程(我们可以改变这个最大值)。 I/O 操作的回调是在其中一个 IOCP 线程上执行的,它设置操作的结果并决定: 在 IOCP 线程上原地执行 continuation 操作,这样做有一定好处,因为它不会产生上下文切换,避免了缓存回收 ,但有可能出现用户代码污染 IOCP 线程(并导致线程泄漏)。 事实上也确实如此,虽然有评论中提到,有 IOCP 线程被阻塞,用于处理 I/O 完成端口通知,但几乎可以视为没有线程。
在 .NET 环境下,实际上只由一个 IOCP 来完成。然后,几个 I/O 完成线程(由 ThreadPool 管理)观察这个单一的 IOCP。 IOCP 线程的典型数量大约等于逻辑处理器的数量,但 ThreadPool 默认设置下可以创建多达 1000 个线程(我们可以改变这个最大值)。 I/O 操作的回调是在其中一个 IOCP 线程上执行的,它设置操作的结果并决定: 在 IOCP 线程上原地执行 continuation 操作,这样做有一定好处,因为它不会产生上下文切换,避免了缓存回收 ,但有可能出现用户代码污染 IOCP 线程(并导致线程泄漏)。 事实上也确实如此,虽然有评论中提到,有 IOCP 线程被阻塞,用于处理 I/O 完成端口通知,但几乎可以视为没有线程。