1e18a033bSKonstantin Ananyev
2e18a033bSKonstantin Ananyev/*
3e18a033bSKonstantin Ananyev * Copyright (C) Igor Sysoev
4e18a033bSKonstantin Ananyev * Copyright (C) Nginx, Inc.
5e18a033bSKonstantin Ananyev */
6e18a033bSKonstantin Ananyev
7e18a033bSKonstantin Ananyev
8e18a033bSKonstantin Ananyev#include <ngx_config.h>
9e18a033bSKonstantin Ananyev#include <ngx_core.h>
10e18a033bSKonstantin Ananyev#include <ngx_event.h>
11e18a033bSKonstantin Ananyev
12e18a033bSKonstantin Ananyev
13e18a033bSKonstantin Ananyev#define NGX_MAX_PENDING_CONN  10
14e18a033bSKonstantin Ananyev
15e18a033bSKonstantin Ananyev
16e18a033bSKonstantin Ananyevstatic CRITICAL_SECTION  connect_lock;
17e18a033bSKonstantin Ananyevstatic int               nconnects;
18e18a033bSKonstantin Ananyevstatic ngx_connection_t  pending_connects[NGX_MAX_PENDING_CONN];
19e18a033bSKonstantin Ananyev
20e18a033bSKonstantin Ananyevstatic HANDLE            pending_connect_event;
21e18a033bSKonstantin Ananyev
22e18a033bSKonstantin Ananyev__declspec(thread) int                nevents = 0;
23e18a033bSKonstantin Ananyev__declspec(thread) WSAEVENT           events[WSA_MAXIMUM_WAIT_EVENTS + 1];
24e18a033bSKonstantin Ananyev__declspec(thread) ngx_connection_t  *conn[WSA_MAXIMUM_WAIT_EVENTS + 1];
25e18a033bSKonstantin Ananyev
26e18a033bSKonstantin Ananyev
27e18a033bSKonstantin Ananyev
28e18a033bSKonstantin Ananyevint ngx_iocp_wait_connect(ngx_connection_t *c)
29e18a033bSKonstantin Ananyev{
30e18a033bSKonstantin Ananyev    for ( ;; ) {
31e18a033bSKonstantin Ananyev        EnterCriticalSection(&connect_lock);
32e18a033bSKonstantin Ananyev
33e18a033bSKonstantin Ananyev        if (nconnects < NGX_MAX_PENDING_CONN) {
34e18a033bSKonstantin Ananyev            pending_connects[--nconnects] = c;
35e18a033bSKonstantin Ananyev            LeaveCriticalSection(&connect_lock);
36e18a033bSKonstantin Ananyev
37e18a033bSKonstantin Ananyev            if (SetEvent(pending_connect_event) == 0) {
38e18a033bSKonstantin Ananyev                ngx_log_error(NGX_LOG_ALERT, c->log, ngx_errno,
39e18a033bSKonstantin Ananyev                              "SetEvent() failed");
40e18a033bSKonstantin Ananyev                return NGX_ERROR;
41e18a033bSKonstantin Ananyev
42e18a033bSKonstantin Ananyev            break;
43e18a033bSKonstantin Ananyev        }
44e18a033bSKonstantin Ananyev
45e18a033bSKonstantin Ananyev        LeaveCriticalSection(&connect_lock);
46e18a033bSKonstantin Ananyev        ngx_log_error(NGX_LOG_NOTICE, c->log, 0,
47e18a033bSKonstantin Ananyev                      "max number of pending connect()s is %d",
48e18a033bSKonstantin Ananyev                      NGX_MAX_PENDING_CONN);
49e18a033bSKonstantin Ananyev        msleep(100);
50e18a033bSKonstantin Ananyev    }
51e18a033bSKonstantin Ananyev
52e18a033bSKonstantin Ananyev    if (!started) {
53e18a033bSKonstantin Ananyev        if (ngx_iocp_new_thread(1) == NGX_ERROR) {
54e18a033bSKonstantin Ananyev            return NGX_ERROR;
55e18a033bSKonstantin Ananyev        }
56e18a033bSKonstantin Ananyev        started = 1;
57e18a033bSKonstantin Ananyev    }
58e18a033bSKonstantin Ananyev
59e18a033bSKonstantin Ananyev    return NGX_OK;
60e18a033bSKonstantin Ananyev}
61e18a033bSKonstantin Ananyev
62e18a033bSKonstantin Ananyev
63e18a033bSKonstantin Ananyevint ngx_iocp_new_thread(int main)
64e18a033bSKonstantin Ananyev{
65e18a033bSKonstantin Ananyev    u_int  id;
66e18a033bSKonstantin Ananyev
67e18a033bSKonstantin Ananyev    if (main) {
68e18a033bSKonstantin Ananyev        pending_connect_event = CreateEvent(NULL, 0, 1, NULL);
69e18a033bSKonstantin Ananyev        if (pending_connect_event == INVALID_HANDLE_VALUE) {
70e18a033bSKonstantin Ananyev            ngx_log_error(NGX_LOG_ALERT, c->log, ngx_errno,
71e18a033bSKonstantin Ananyev                          "CreateThread() failed");
72e18a033bSKonstantin Ananyev            return NGX_ERROR;
73e18a033bSKonstantin Ananyev        }
74e18a033bSKonstantin Ananyev    }
75e18a033bSKonstantin Ananyev
76e18a033bSKonstantin Ananyev    if (CreateThread(NULL, 0, ngx_iocp_wait_events, main, 0, &id)
77e18a033bSKonstantin Ananyev                                                       == INVALID_HANDLE_VALUE)
78e18a033bSKonstantin Ananyev    {
79e18a033bSKonstantin Ananyev        ngx_log_error(NGX_LOG_ALERT, c->log, ngx_errno,
80e18a033bSKonstantin Ananyev                      "CreateThread() failed");
81e18a033bSKonstantin Ananyev        return NGX_ERROR;
82e18a033bSKonstantin Ananyev    }
83e18a033bSKonstantin Ananyev
84e18a033bSKonstantin Ananyev    SetEvent(event) {
85e18a033bSKonstantin Ananyev        ngx_log_error(NGX_LOG_ALERT, c->log, ngx_errno,
86e18a033bSKonstantin Ananyev                      "SetEvent() failed");
87e18a033bSKonstantin Ananyev        return NGX_ERROR;
88e18a033bSKonstantin Ananyev    }
89e18a033bSKonstantin Ananyev
90e18a033bSKonstantin Ananyev    return NGX_OK;
91e18a033bSKonstantin Ananyev}
92e18a033bSKonstantin Ananyev
93e18a033bSKonstantin Ananyev
94e18a033bSKonstantin Ananyevint ngx_iocp_new_connect()
95e18a033bSKonstantin Ananyev{
96e18a033bSKonstantin Ananyev    EnterCriticalSection(&connect_lock);
97e18a033bSKonstantin Ananyev    c = pending_connects[--nconnects];
98e18a033bSKonstantin Ananyev    LeaveCriticalSection(&connect_lock);
99e18a033bSKonstantin Ananyev
100e18a033bSKonstantin Ananyev    conn[nevents] = c;
101e18a033bSKonstantin Ananyev
102e18a033bSKonstantin Ananyev    events[nevents] = WSACreateEvent();
103e18a033bSKonstantin Ananyev    if (events[nevents] == INVALID_HANDLE_VALUE) {
104e18a033bSKonstantin Ananyev        ngx_log_error(NGX_LOG_ALERT, c->log, ngx_socket_errno,
105e18a033bSKonstantin Ananyev                      "WSACreateEvent() failed");
106e18a033bSKonstantin Ananyev        return NGX_ERROR;
107e18a033bSKonstantin Ananyev    }
108e18a033bSKonstantin Ananyev
109e18a033bSKonstantin Ananyev    if (WSAEventSelect(c->fd, events[nevents], FD_CONNECT) == -1)
110e18a033bSKonstantin Ananyev        ngx_log_error(NGX_LOG_ALERT, c->log, ngx_socket_errno,
111e18a033bSKonstantin Ananyev                      "WSAEventSelect() failed");
112e18a033bSKonstantin Ananyev        return NGX_ERROR;
113e18a033bSKonstantin Ananyev    }
114e18a033bSKonstantin Ananyev
115e18a033bSKonstantin Ananyev    nevents++;
116e18a033bSKonstantin Ananyev
117e18a033bSKonstantin Ananyev    return NGX_OK;
118e18a033bSKonstantin Ananyev}
119e18a033bSKonstantin Ananyev
120e18a033bSKonstantin Ananyev
121e18a033bSKonstantin Ananyevvoid ngx_iocp_wait_events(int main)
122e18a033bSKonstantin Ananyev{
123e18a033bSKonstantin Ananyev    WSANETWORKEVENTS  ne;
124e18a033bSKonstantin Ananyev
125e18a033bSKonstantin Ananyev    nevents = 1;
126e18a033bSKonstantin Ananyev    events[0] = pending_connect_event;
127e18a033bSKonstantin Ananyev    conn[0] = NULL;
128e18a033bSKonstantin Ananyev
129e18a033bSKonstantin Ananyev    for ( ;; ) {
130e18a033bSKonstantin Ananyev        offset = (nevents == WSA_MAXIMUM_WAIT_EVENTS + 1) ? 1: 0;
131e18a033bSKonstantin Ananyev        timeout = (nevents == 1 && !first) ? 60000: INFINITE;
132e18a033bSKonstantin Ananyev
133e18a033bSKonstantin Ananyev        n = WSAWaitForMultipleEvents(nevents - offset, events[offset],
134e18a033bSKonstantin Ananyev                                     0, timeout, 0);
135e18a033bSKonstantin Ananyev        if (n == WAIT_FAILED) {
136e18a033bSKonstantin Ananyev            ngx_log_error(NGX_LOG_ALERT, log, ngx_socket_errno,
137e18a033bSKonstantin Ananyev                          "WSAWaitForMultipleEvents() failed");
138e18a033bSKonstantin Ananyev            continue;
139e18a033bSKonstantin Ananyev        }
140e18a033bSKonstantin Ananyev
141e18a033bSKonstantin Ananyev        if (n == WAIT_TIMEOUT) {
142e18a033bSKonstantin Ananyev            if (nevents == 2 && !main) {
143e18a033bSKonstantin Ananyev                ExitThread(0);
144e18a033bSKonstantin Ananyev            }
145e18a033bSKonstantin Ananyev
146e18a033bSKonstantin Ananyev            ngx_log_error(NGX_LOG_ALERT, log, 0,
147e18a033bSKonstantin Ananyev                          "WSAWaitForMultipleEvents() "
148e18a033bSKonstantin Ananyev                          "returned unexpected WAIT_TIMEOUT");
149e18a033bSKonstantin Ananyev            continue;
150e18a033bSKonstantin Ananyev        }
151e18a033bSKonstantin Ananyev
152e18a033bSKonstantin Ananyev        n -= WSA_WAIT_EVENT_0;
153e18a033bSKonstantin Ananyev
154e18a033bSKonstantin Ananyev        if (events[n] == NULL) {
155e18a033bSKonstantin Ananyev
156e18a033bSKonstantin Ananyev            /* the pending_connect_event */
157e18a033bSKonstantin Ananyev
158e18a033bSKonstantin Ananyev            if (nevents == WSA_MAXIMUM_WAIT_EVENTS) {
159e18a033bSKonstantin Ananyev                ngx_iocp_new_thread(0);
160e18a033bSKonstantin Ananyev            } else {
161e18a033bSKonstantin Ananyev                ngx_iocp_new_connect();
162e18a033bSKonstantin Ananyev            }
163e18a033bSKonstantin Ananyev
164e18a033bSKonstantin Ananyev            continue;
165e18a033bSKonstantin Ananyev        }
166e18a033bSKonstantin Ananyev
167e18a033bSKonstantin Ananyev        if (WSAEnumNetworkEvents(c[n].fd, events[n], &ne) == -1) {
168e18a033bSKonstantin Ananyev            ngx_log_error(NGX_LOG_ALERT, log, ngx_socket_errno,
169e18a033bSKonstantin Ananyev                          "WSAEnumNetworkEvents() failed");
170e18a033bSKonstantin Ananyev            continue;
171e18a033bSKonstantin Ananyev        }
172e18a033bSKonstantin Ananyev
173e18a033bSKonstantin Ananyev        if (ne.lNetworkEvents & FD_CONNECT) {
174e18a033bSKonstantin Ananyev            conn[n].write->ovlp.error = ne.iErrorCode[FD_CONNECT_BIT];
175e18a033bSKonstantin Ananyev
176e18a033bSKonstantin Ananyev            if (PostQueuedCompletionStatus(iocp, 0, NGX_IOCP_CONNECT,
177e18a033bSKonstantin Ananyev                                           &conn[n].write->ovlp) == 0)
178e18a033bSKonstantin Ananyev            {
179e18a033bSKonstantin Ananyev                ngx_log_error(NGX_LOG_ALERT, log, ngx_socket_errno,
180e18a033bSKonstantin Ananyev                              "PostQueuedCompletionStatus() failed");
181e18a033bSKonstantin Ananyev                continue;
182e18a033bSKonstantin Ananyev            }
183e18a033bSKonstantin Ananyev
184e18a033bSKonstantin Ananyev            if (n < nevents) {
185e18a033bSKonstantin Ananyev                conn[n] = conn[nevents];
186e18a033bSKonstantin Ananyev                events[n] = events[nevents];
187e18a033bSKonstantin Ananyev            }
188e18a033bSKonstantin Ananyev
189e18a033bSKonstantin Ananyev            nevents--;
190e18a033bSKonstantin Ananyev            continue;
191e18a033bSKonstantin Ananyev        }
192e18a033bSKonstantin Ananyev
193e18a033bSKonstantin Ananyev        if (ne.lNetworkEvents & FD_ACCEPT) {
194e18a033bSKonstantin Ananyev
195e18a033bSKonstantin Ananyev            /* CHECK ERROR ??? */
196e18a033bSKonstantin Ananyev
197e18a033bSKonstantin Ananyev            ngx_event_post_acceptex(conn[n].listening, 1);
198e18a033bSKonstantin Ananyev            continue;
199e18a033bSKonstantin Ananyev        }
200e18a033bSKonstantin Ananyev
201e18a033bSKonstantin Ananyev        ngx_log_error(NGX_LOG_ALERT, c[n].log, 0,
202e18a033bSKonstantin Ananyev                      "WSAWaitForMultipleEvents() "
203e18a033bSKonstantin Ananyev                      "returned unexpected network event %ul",
204e18a033bSKonstantin Ananyev                      ne.lNetworkEvents);
205e18a033bSKonstantin Ananyev    }
206e18a033bSKonstantin Ananyev}
207