1e18a033bSKonstantin Ananyev
2e18a033bSKonstantin Ananyev/*
3e18a033bSKonstantin Ananyev * Copyright (C) Maxim Dounin
4e18a033bSKonstantin Ananyev * Copyright (C) Nginx, Inc.
5e18a033bSKonstantin Ananyev */
6e18a033bSKonstantin Ananyev
7e18a033bSKonstantin Ananyev
8e18a033bSKonstantin Ananyev#include <ngx_config.h>
9e18a033bSKonstantin Ananyev#include <ngx_core.h>
10e18a033bSKonstantin Ananyev#include <ngx_stream.h>
11e18a033bSKonstantin Ananyev
12e18a033bSKonstantin Ananyev
13e18a033bSKonstantin Ananyevstatic ngx_int_t ngx_stream_upstream_init_least_conn_peer(
14e18a033bSKonstantin Ananyev    ngx_stream_session_t *s, ngx_stream_upstream_srv_conf_t *us);
15e18a033bSKonstantin Ananyevstatic ngx_int_t ngx_stream_upstream_get_least_conn_peer(
16e18a033bSKonstantin Ananyev    ngx_peer_connection_t *pc, void *data);
17e18a033bSKonstantin Ananyevstatic char *ngx_stream_upstream_least_conn(ngx_conf_t *cf, ngx_command_t *cmd,
18e18a033bSKonstantin Ananyev    void *conf);
19e18a033bSKonstantin Ananyev
20e18a033bSKonstantin Ananyev
21e18a033bSKonstantin Ananyevstatic ngx_command_t  ngx_stream_upstream_least_conn_commands[] = {
22e18a033bSKonstantin Ananyev
23e18a033bSKonstantin Ananyev    { ngx_string("least_conn"),
24e18a033bSKonstantin Ananyev      NGX_STREAM_UPS_CONF|NGX_CONF_NOARGS,
25e18a033bSKonstantin Ananyev      ngx_stream_upstream_least_conn,
26e18a033bSKonstantin Ananyev      0,
27e18a033bSKonstantin Ananyev      0,
28e18a033bSKonstantin Ananyev      NULL },
29e18a033bSKonstantin Ananyev
30e18a033bSKonstantin Ananyev      ngx_null_command
31e18a033bSKonstantin Ananyev};
32e18a033bSKonstantin Ananyev
33e18a033bSKonstantin Ananyev
34e18a033bSKonstantin Ananyevstatic ngx_stream_module_t  ngx_stream_upstream_least_conn_module_ctx = {
35e18a033bSKonstantin Ananyev    NULL,                                    /* preconfiguration */
36e18a033bSKonstantin Ananyev    NULL,                                    /* postconfiguration */
37e18a033bSKonstantin Ananyev
38e18a033bSKonstantin Ananyev    NULL,                                    /* create main configuration */
39e18a033bSKonstantin Ananyev    NULL,                                    /* init main configuration */
40e18a033bSKonstantin Ananyev
41e18a033bSKonstantin Ananyev    NULL,                                    /* create server configuration */
42e18a033bSKonstantin Ananyev    NULL                                     /* merge server configuration */
43e18a033bSKonstantin Ananyev};
44e18a033bSKonstantin Ananyev
45e18a033bSKonstantin Ananyev
46e18a033bSKonstantin Ananyevngx_module_t  ngx_stream_upstream_least_conn_module = {
47e18a033bSKonstantin Ananyev    NGX_MODULE_V1,
48e18a033bSKonstantin Ananyev    &ngx_stream_upstream_least_conn_module_ctx, /* module context */
49e18a033bSKonstantin Ananyev    ngx_stream_upstream_least_conn_commands, /* module directives */
50e18a033bSKonstantin Ananyev    NGX_STREAM_MODULE,                       /* module type */
51e18a033bSKonstantin Ananyev    NULL,                                    /* init master */
52e18a033bSKonstantin Ananyev    NULL,                                    /* init module */
53e18a033bSKonstantin Ananyev    NULL,                                    /* init process */
54e18a033bSKonstantin Ananyev    NULL,                                    /* init thread */
55e18a033bSKonstantin Ananyev    NULL,                                    /* exit thread */
56e18a033bSKonstantin Ananyev    NULL,                                    /* exit process */
57e18a033bSKonstantin Ananyev    NULL,                                    /* exit master */
58e18a033bSKonstantin Ananyev    NGX_MODULE_V1_PADDING
59e18a033bSKonstantin Ananyev};
60e18a033bSKonstantin Ananyev
61e18a033bSKonstantin Ananyev
62e18a033bSKonstantin Ananyevstatic ngx_int_t
63e18a033bSKonstantin Ananyevngx_stream_upstream_init_least_conn(ngx_conf_t *cf,
64e18a033bSKonstantin Ananyev    ngx_stream_upstream_srv_conf_t *us)
65e18a033bSKonstantin Ananyev{
66e18a033bSKonstantin Ananyev    ngx_log_debug0(NGX_LOG_DEBUG_STREAM, cf->log, 0,
67e18a033bSKonstantin Ananyev                   "init least conn");
68e18a033bSKonstantin Ananyev
69e18a033bSKonstantin Ananyev    if (ngx_stream_upstream_init_round_robin(cf, us) != NGX_OK) {
70e18a033bSKonstantin Ananyev        return NGX_ERROR;
71e18a033bSKonstantin Ananyev    }
72e18a033bSKonstantin Ananyev
73e18a033bSKonstantin Ananyev    us->peer.init = ngx_stream_upstream_init_least_conn_peer;
74e18a033bSKonstantin Ananyev
75e18a033bSKonstantin Ananyev    return NGX_OK;
76e18a033bSKonstantin Ananyev}
77e18a033bSKonstantin Ananyev
78e18a033bSKonstantin Ananyev
79e18a033bSKonstantin Ananyevstatic ngx_int_t
80e18a033bSKonstantin Ananyevngx_stream_upstream_init_least_conn_peer(ngx_stream_session_t *s,
81e18a033bSKonstantin Ananyev    ngx_stream_upstream_srv_conf_t *us)
82e18a033bSKonstantin Ananyev{
83e18a033bSKonstantin Ananyev    ngx_log_debug0(NGX_LOG_DEBUG_STREAM, s->connection->log, 0,
84e18a033bSKonstantin Ananyev                   "init least conn peer");
85e18a033bSKonstantin Ananyev
86e18a033bSKonstantin Ananyev    if (ngx_stream_upstream_init_round_robin_peer(s, us) != NGX_OK) {
87e18a033bSKonstantin Ananyev        return NGX_ERROR;
88e18a033bSKonstantin Ananyev    }
89e18a033bSKonstantin Ananyev
90e18a033bSKonstantin Ananyev    s->upstream->peer.get = ngx_stream_upstream_get_least_conn_peer;
91e18a033bSKonstantin Ananyev
92e18a033bSKonstantin Ananyev    return NGX_OK;
93e18a033bSKonstantin Ananyev}
94e18a033bSKonstantin Ananyev
95e18a033bSKonstantin Ananyev
96e18a033bSKonstantin Ananyevstatic ngx_int_t
97e18a033bSKonstantin Ananyevngx_stream_upstream_get_least_conn_peer(ngx_peer_connection_t *pc, void *data)
98e18a033bSKonstantin Ananyev{
99e18a033bSKonstantin Ananyev    ngx_stream_upstream_rr_peer_data_t *rrp = data;
100e18a033bSKonstantin Ananyev
101e18a033bSKonstantin Ananyev    time_t                           now;
102e18a033bSKonstantin Ananyev    uintptr_t                        m;
103e18a033bSKonstantin Ananyev    ngx_int_t                        rc, total;
104e18a033bSKonstantin Ananyev    ngx_uint_t                       i, n, p, many;
105e18a033bSKonstantin Ananyev    ngx_stream_upstream_rr_peer_t   *peer, *best;
106e18a033bSKonstantin Ananyev    ngx_stream_upstream_rr_peers_t  *peers;
107e18a033bSKonstantin Ananyev
108e18a033bSKonstantin Ananyev    ngx_log_debug1(NGX_LOG_DEBUG_STREAM, pc->log, 0,
109e18a033bSKonstantin Ananyev                   "get least conn peer, try: %ui", pc->tries);
110e18a033bSKonstantin Ananyev
111e18a033bSKonstantin Ananyev    if (rrp->peers->single) {
112e18a033bSKonstantin Ananyev        return ngx_stream_upstream_get_round_robin_peer(pc, rrp);
113e18a033bSKonstantin Ananyev    }
114e18a033bSKonstantin Ananyev
115e18a033bSKonstantin Ananyev    pc->connection = NULL;
116e18a033bSKonstantin Ananyev
117e18a033bSKonstantin Ananyev    now = ngx_time();
118e18a033bSKonstantin Ananyev
119e18a033bSKonstantin Ananyev    peers = rrp->peers;
120e18a033bSKonstantin Ananyev
121e18a033bSKonstantin Ananyev    ngx_stream_upstream_rr_peers_wlock(peers);
122e18a033bSKonstantin Ananyev
123e18a033bSKonstantin Ananyev    best = NULL;
124e18a033bSKonstantin Ananyev    total = 0;
125e18a033bSKonstantin Ananyev
126e18a033bSKonstantin Ananyev#if (NGX_SUPPRESS_WARN)
127e18a033bSKonstantin Ananyev    many = 0;
128e18a033bSKonstantin Ananyev    p = 0;
129e18a033bSKonstantin Ananyev#endif
130e18a033bSKonstantin Ananyev
131e18a033bSKonstantin Ananyev    for (peer = peers->peer, i = 0;
132e18a033bSKonstantin Ananyev         peer;
133e18a033bSKonstantin Ananyev         peer = peer->next, i++)
134e18a033bSKonstantin Ananyev    {
135e18a033bSKonstantin Ananyev        n = i / (8 * sizeof(uintptr_t));
136e18a033bSKonstantin Ananyev        m = (uintptr_t) 1 << i % (8 * sizeof(uintptr_t));
137e18a033bSKonstantin Ananyev
138e18a033bSKonstantin Ananyev        if (rrp->tried[n] & m) {
139e18a033bSKonstantin Ananyev            continue;
140e18a033bSKonstantin Ananyev        }
141e18a033bSKonstantin Ananyev
142e18a033bSKonstantin Ananyev        if (peer->down) {
143e18a033bSKonstantin Ananyev            continue;
144e18a033bSKonstantin Ananyev        }
145e18a033bSKonstantin Ananyev
146e18a033bSKonstantin Ananyev        if (peer->max_fails
147e18a033bSKonstantin Ananyev            && peer->fails >= peer->max_fails
148e18a033bSKonstantin Ananyev            && now - peer->checked <= peer->fail_timeout)
149e18a033bSKonstantin Ananyev        {
150e18a033bSKonstantin Ananyev            continue;
151e18a033bSKonstantin Ananyev        }
152e18a033bSKonstantin Ananyev
153e18a033bSKonstantin Ananyev        if (peer->max_conns && peer->conns >= peer->max_conns) {
154e18a033bSKonstantin Ananyev            continue;
155e18a033bSKonstantin Ananyev        }
156e18a033bSKonstantin Ananyev
157e18a033bSKonstantin Ananyev        /*
158e18a033bSKonstantin Ananyev         * select peer with least number of connections; if there are
159e18a033bSKonstantin Ananyev         * multiple peers with the same number of connections, select
160e18a033bSKonstantin Ananyev         * based on round-robin
161e18a033bSKonstantin Ananyev         */
162e18a033bSKonstantin Ananyev
163e18a033bSKonstantin Ananyev        if (best == NULL
164e18a033bSKonstantin Ananyev            || peer->conns * best->weight < best->conns * peer->weight)
165e18a033bSKonstantin Ananyev        {
166e18a033bSKonstantin Ananyev            best = peer;
167e18a033bSKonstantin Ananyev            many = 0;
168e18a033bSKonstantin Ananyev            p = i;
169e18a033bSKonstantin Ananyev
170e18a033bSKonstantin Ananyev        } else if (peer->conns * best->weight == best->conns * peer->weight) {
171e18a033bSKonstantin Ananyev            many = 1;
172e18a033bSKonstantin Ananyev        }
173e18a033bSKonstantin Ananyev    }
174e18a033bSKonstantin Ananyev
175e18a033bSKonstantin Ananyev    if (best == NULL) {
176e18a033bSKonstantin Ananyev        ngx_log_debug0(NGX_LOG_DEBUG_STREAM, pc->log, 0,
177e18a033bSKonstantin Ananyev                       "get least conn peer, no peer found");
178e18a033bSKonstantin Ananyev
179e18a033bSKonstantin Ananyev        goto failed;
180e18a033bSKonstantin Ananyev    }
181e18a033bSKonstantin Ananyev
182e18a033bSKonstantin Ananyev    if (many) {
183e18a033bSKonstantin Ananyev        ngx_log_debug0(NGX_LOG_DEBUG_STREAM, pc->log, 0,
184e18a033bSKonstantin Ananyev                       "get least conn peer, many");
185e18a033bSKonstantin Ananyev
186e18a033bSKonstantin Ananyev        for (peer = best, i = p;
187e18a033bSKonstantin Ananyev             peer;
188e18a033bSKonstantin Ananyev             peer = peer->next, i++)
189e18a033bSKonstantin Ananyev        {
190e18a033bSKonstantin Ananyev            n = i / (8 * sizeof(uintptr_t));
191e18a033bSKonstantin Ananyev            m = (uintptr_t) 1 << i % (8 * sizeof(uintptr_t));
192e18a033bSKonstantin Ananyev
193e18a033bSKonstantin Ananyev            if (rrp->tried[n] & m) {
194e18a033bSKonstantin Ananyev                continue;
195e18a033bSKonstantin Ananyev            }
196e18a033bSKonstantin Ananyev
197e18a033bSKonstantin Ananyev            if (peer->down) {
198e18a033bSKonstantin Ananyev                continue;
199e18a033bSKonstantin Ananyev            }
200e18a033bSKonstantin Ananyev
201e18a033bSKonstantin Ananyev            if (peer->conns * best->weight != best->conns * peer->weight) {
202e18a033bSKonstantin Ananyev                continue;
203e18a033bSKonstantin Ananyev            }
204e18a033bSKonstantin Ananyev
205e18a033bSKonstantin Ananyev            if (peer->max_fails
206e18a033bSKonstantin Ananyev                && peer->fails >= peer->max_fails
207e18a033bSKonstantin Ananyev                && now - peer->checked <= peer->fail_timeout)
208e18a033bSKonstantin Ananyev            {
209e18a033bSKonstantin Ananyev                continue;
210e18a033bSKonstantin Ananyev            }
211e18a033bSKonstantin Ananyev
212e18a033bSKonstantin Ananyev            if (peer->max_conns && peer->conns >= peer->max_conns) {
213e18a033bSKonstantin Ananyev                continue;
214e18a033bSKonstantin Ananyev            }
215e18a033bSKonstantin Ananyev
216e18a033bSKonstantin Ananyev            peer->current_weight += peer->effective_weight;
217e18a033bSKonstantin Ananyev            total += peer->effective_weight;
218e18a033bSKonstantin Ananyev
219e18a033bSKonstantin Ananyev            if (peer->effective_weight < peer->weight) {
220e18a033bSKonstantin Ananyev                peer->effective_weight++;
221e18a033bSKonstantin Ananyev            }
222e18a033bSKonstantin Ananyev
223e18a033bSKonstantin Ananyev            if (peer->current_weight > best->current_weight) {
224e18a033bSKonstantin Ananyev                best = peer;
225e18a033bSKonstantin Ananyev                p = i;
226e18a033bSKonstantin Ananyev            }
227e18a033bSKonstantin Ananyev        }
228e18a033bSKonstantin Ananyev    }
229e18a033bSKonstantin Ananyev
230e18a033bSKonstantin Ananyev    best->current_weight -= total;
231e18a033bSKonstantin Ananyev
232e18a033bSKonstantin Ananyev    if (now - best->checked > best->fail_timeout) {
233e18a033bSKonstantin Ananyev        best->checked = now;
234e18a033bSKonstantin Ananyev    }
235e18a033bSKonstantin Ananyev
236e18a033bSKonstantin Ananyev    pc->sockaddr = best->sockaddr;
237e18a033bSKonstantin Ananyev    pc->socklen = best->socklen;
238e18a033bSKonstantin Ananyev    pc->name = &best->name;
239e18a033bSKonstantin Ananyev
240e18a033bSKonstantin Ananyev    best->conns++;
241e18a033bSKonstantin Ananyev
242e18a033bSKonstantin Ananyev    rrp->current = best;
243e18a033bSKonstantin Ananyev
244e18a033bSKonstantin Ananyev    n = p / (8 * sizeof(uintptr_t));
245e18a033bSKonstantin Ananyev    m = (uintptr_t) 1 << p % (8 * sizeof(uintptr_t));
246e18a033bSKonstantin Ananyev
247e18a033bSKonstantin Ananyev    rrp->tried[n] |= m;
248e18a033bSKonstantin Ananyev
249e18a033bSKonstantin Ananyev    ngx_stream_upstream_rr_peers_unlock(peers);
250e18a033bSKonstantin Ananyev
251e18a033bSKonstantin Ananyev    return NGX_OK;
252e18a033bSKonstantin Ananyev
253e18a033bSKonstantin Ananyevfailed:
254e18a033bSKonstantin Ananyev
255e18a033bSKonstantin Ananyev    if (peers->next) {
256e18a033bSKonstantin Ananyev        ngx_log_debug0(NGX_LOG_DEBUG_STREAM, pc->log, 0,
257e18a033bSKonstantin Ananyev                       "get least conn peer, backup servers");
258e18a033bSKonstantin Ananyev
259e18a033bSKonstantin Ananyev        rrp->peers = peers->next;
260e18a033bSKonstantin Ananyev
261e18a033bSKonstantin Ananyev        n = (rrp->peers->number + (8 * sizeof(uintptr_t) - 1))
262e18a033bSKonstantin Ananyev                / (8 * sizeof(uintptr_t));
263e18a033bSKonstantin Ananyev
264e18a033bSKonstantin Ananyev        for (i = 0; i < n; i++) {
265e18a033bSKonstantin Ananyev            rrp->tried[i] = 0;
266e18a033bSKonstantin Ananyev        }
267e18a033bSKonstantin Ananyev
268e18a033bSKonstantin Ananyev        ngx_stream_upstream_rr_peers_unlock(peers);
269e18a033bSKonstantin Ananyev
270e18a033bSKonstantin Ananyev        rc = ngx_stream_upstream_get_least_conn_peer(pc, rrp);
271e18a033bSKonstantin Ananyev
272e18a033bSKonstantin Ananyev        if (rc != NGX_BUSY) {
273e18a033bSKonstantin Ananyev            return rc;
274e18a033bSKonstantin Ananyev        }
275e18a033bSKonstantin Ananyev
276e18a033bSKonstantin Ananyev        ngx_stream_upstream_rr_peers_wlock(peers);
277e18a033bSKonstantin Ananyev    }
278e18a033bSKonstantin Ananyev
279e18a033bSKonstantin Ananyev    ngx_stream_upstream_rr_peers_unlock(peers);
280e18a033bSKonstantin Ananyev
281e18a033bSKonstantin Ananyev    pc->name = peers->name;
282e18a033bSKonstantin Ananyev
283e18a033bSKonstantin Ananyev    return NGX_BUSY;
284e18a033bSKonstantin Ananyev}
285e18a033bSKonstantin Ananyev
286e18a033bSKonstantin Ananyev
287e18a033bSKonstantin Ananyevstatic char *
288e18a033bSKonstantin Ananyevngx_stream_upstream_least_conn(ngx_conf_t *cf, ngx_command_t *cmd, void *conf)
289e18a033bSKonstantin Ananyev{
290e18a033bSKonstantin Ananyev    ngx_stream_upstream_srv_conf_t  *uscf;
291e18a033bSKonstantin Ananyev
292e18a033bSKonstantin Ananyev    uscf = ngx_stream_conf_get_module_srv_conf(cf, ngx_stream_upstream_module);
293e18a033bSKonstantin Ananyev
294e18a033bSKonstantin Ananyev    if (uscf->peer.init_upstream) {
295e18a033bSKonstantin Ananyev        ngx_conf_log_error(NGX_LOG_WARN, cf, 0,
296e18a033bSKonstantin Ananyev                           "load balancing method redefined");
297e18a033bSKonstantin Ananyev    }
298e18a033bSKonstantin Ananyev
299e18a033bSKonstantin Ananyev    uscf->peer.init_upstream = ngx_stream_upstream_init_least_conn;
300e18a033bSKonstantin Ananyev
301e18a033bSKonstantin Ananyev    uscf->flags = NGX_STREAM_UPSTREAM_CREATE
302e18a033bSKonstantin Ananyev                  |NGX_STREAM_UPSTREAM_WEIGHT
303e18a033bSKonstantin Ananyev                  |NGX_STREAM_UPSTREAM_MAX_CONNS
304e18a033bSKonstantin Ananyev                  |NGX_STREAM_UPSTREAM_MAX_FAILS
305e18a033bSKonstantin Ananyev                  |NGX_STREAM_UPSTREAM_FAIL_TIMEOUT
306e18a033bSKonstantin Ananyev                  |NGX_STREAM_UPSTREAM_DOWN
307e18a033bSKonstantin Ananyev                  |NGX_STREAM_UPSTREAM_BACKUP;
308e18a033bSKonstantin Ananyev
309e18a033bSKonstantin Ananyev    return NGX_CONF_OK;
310e18a033bSKonstantin Ananyev}
311