1e18a033bSKonstantin Ananyev
2e18a033bSKonstantin Ananyev/*
3e18a033bSKonstantin Ananyev * Copyright (C) Maxim Dounin
4e18a033bSKonstantin Ananyev * Copyright (C) Nginx, Inc.
5e18a033bSKonstantin Ananyev */
6e18a033bSKonstantin Ananyev
7e18a033bSKonstantin Ananyev
8e18a033bSKonstantin Ananyev#include <ngx_config.h>
9e18a033bSKonstantin Ananyev#include <ngx_core.h>
10e18a033bSKonstantin Ananyev#include <ngx_http.h>
11e18a033bSKonstantin Ananyev
12e18a033bSKonstantin Ananyev
13e18a033bSKonstantin Ananyevstatic ngx_int_t ngx_http_upstream_init_least_conn_peer(ngx_http_request_t *r,
14e18a033bSKonstantin Ananyev    ngx_http_upstream_srv_conf_t *us);
15e18a033bSKonstantin Ananyevstatic ngx_int_t ngx_http_upstream_get_least_conn_peer(
16e18a033bSKonstantin Ananyev    ngx_peer_connection_t *pc, void *data);
17e18a033bSKonstantin Ananyevstatic char *ngx_http_upstream_least_conn(ngx_conf_t *cf, ngx_command_t *cmd,
18e18a033bSKonstantin Ananyev    void *conf);
19e18a033bSKonstantin Ananyev
20e18a033bSKonstantin Ananyev
21e18a033bSKonstantin Ananyevstatic ngx_command_t  ngx_http_upstream_least_conn_commands[] = {
22e18a033bSKonstantin Ananyev
23e18a033bSKonstantin Ananyev    { ngx_string("least_conn"),
24e18a033bSKonstantin Ananyev      NGX_HTTP_UPS_CONF|NGX_CONF_NOARGS,
25e18a033bSKonstantin Ananyev      ngx_http_upstream_least_conn,
26e18a033bSKonstantin Ananyev      0,
27e18a033bSKonstantin Ananyev      0,
28e18a033bSKonstantin Ananyev      NULL },
29e18a033bSKonstantin Ananyev
30e18a033bSKonstantin Ananyev      ngx_null_command
31e18a033bSKonstantin Ananyev};
32e18a033bSKonstantin Ananyev
33e18a033bSKonstantin Ananyev
34e18a033bSKonstantin Ananyevstatic ngx_http_module_t  ngx_http_upstream_least_conn_module_ctx = {
35e18a033bSKonstantin Ananyev    NULL,                                  /* preconfiguration */
36e18a033bSKonstantin Ananyev    NULL,                                  /* postconfiguration */
37e18a033bSKonstantin Ananyev
38e18a033bSKonstantin Ananyev    NULL,                                  /* create main configuration */
39e18a033bSKonstantin Ananyev    NULL,                                  /* init main configuration */
40e18a033bSKonstantin Ananyev
41e18a033bSKonstantin Ananyev    NULL,                                  /* create server configuration */
42e18a033bSKonstantin Ananyev    NULL,                                  /* merge server configuration */
43e18a033bSKonstantin Ananyev
44e18a033bSKonstantin Ananyev    NULL,                                  /* create location configuration */
45e18a033bSKonstantin Ananyev    NULL                                   /* merge location configuration */
46e18a033bSKonstantin Ananyev};
47e18a033bSKonstantin Ananyev
48e18a033bSKonstantin Ananyev
49e18a033bSKonstantin Ananyevngx_module_t  ngx_http_upstream_least_conn_module = {
50e18a033bSKonstantin Ananyev    NGX_MODULE_V1,
51e18a033bSKonstantin Ananyev    &ngx_http_upstream_least_conn_module_ctx, /* module context */
52e18a033bSKonstantin Ananyev    ngx_http_upstream_least_conn_commands, /* module directives */
53e18a033bSKonstantin Ananyev    NGX_HTTP_MODULE,                       /* module type */
54e18a033bSKonstantin Ananyev    NULL,                                  /* init master */
55e18a033bSKonstantin Ananyev    NULL,                                  /* init module */
56e18a033bSKonstantin Ananyev    NULL,                                  /* init process */
57e18a033bSKonstantin Ananyev    NULL,                                  /* init thread */
58e18a033bSKonstantin Ananyev    NULL,                                  /* exit thread */
59e18a033bSKonstantin Ananyev    NULL,                                  /* exit process */
60e18a033bSKonstantin Ananyev    NULL,                                  /* exit master */
61e18a033bSKonstantin Ananyev    NGX_MODULE_V1_PADDING
62e18a033bSKonstantin Ananyev};
63e18a033bSKonstantin Ananyev
64e18a033bSKonstantin Ananyev
65e18a033bSKonstantin Ananyevstatic ngx_int_t
66e18a033bSKonstantin Ananyevngx_http_upstream_init_least_conn(ngx_conf_t *cf,
67e18a033bSKonstantin Ananyev    ngx_http_upstream_srv_conf_t *us)
68e18a033bSKonstantin Ananyev{
69e18a033bSKonstantin Ananyev    ngx_log_debug0(NGX_LOG_DEBUG_HTTP, cf->log, 0,
70e18a033bSKonstantin Ananyev                   "init least conn");
71e18a033bSKonstantin Ananyev
72e18a033bSKonstantin Ananyev    if (ngx_http_upstream_init_round_robin(cf, us) != NGX_OK) {
73e18a033bSKonstantin Ananyev        return NGX_ERROR;
74e18a033bSKonstantin Ananyev    }
75e18a033bSKonstantin Ananyev
76e18a033bSKonstantin Ananyev    us->peer.init = ngx_http_upstream_init_least_conn_peer;
77e18a033bSKonstantin Ananyev
78e18a033bSKonstantin Ananyev    return NGX_OK;
79e18a033bSKonstantin Ananyev}
80e18a033bSKonstantin Ananyev
81e18a033bSKonstantin Ananyev
82e18a033bSKonstantin Ananyevstatic ngx_int_t
83e18a033bSKonstantin Ananyevngx_http_upstream_init_least_conn_peer(ngx_http_request_t *r,
84e18a033bSKonstantin Ananyev    ngx_http_upstream_srv_conf_t *us)
85e18a033bSKonstantin Ananyev{
86e18a033bSKonstantin Ananyev    ngx_log_debug0(NGX_LOG_DEBUG_HTTP, r->connection->log, 0,
87e18a033bSKonstantin Ananyev                   "init least conn peer");
88e18a033bSKonstantin Ananyev
89e18a033bSKonstantin Ananyev    if (ngx_http_upstream_init_round_robin_peer(r, us) != NGX_OK) {
90e18a033bSKonstantin Ananyev        return NGX_ERROR;
91e18a033bSKonstantin Ananyev    }
92e18a033bSKonstantin Ananyev
93e18a033bSKonstantin Ananyev    r->upstream->peer.get = ngx_http_upstream_get_least_conn_peer;
94e18a033bSKonstantin Ananyev
95e18a033bSKonstantin Ananyev    return NGX_OK;
96e18a033bSKonstantin Ananyev}
97e18a033bSKonstantin Ananyev
98e18a033bSKonstantin Ananyev
99e18a033bSKonstantin Ananyevstatic ngx_int_t
100e18a033bSKonstantin Ananyevngx_http_upstream_get_least_conn_peer(ngx_peer_connection_t *pc, void *data)
101e18a033bSKonstantin Ananyev{
102e18a033bSKonstantin Ananyev    ngx_http_upstream_rr_peer_data_t  *rrp = data;
103e18a033bSKonstantin Ananyev
104e18a033bSKonstantin Ananyev    time_t                         now;
105e18a033bSKonstantin Ananyev    uintptr_t                      m;
106e18a033bSKonstantin Ananyev    ngx_int_t                      rc, total;
107e18a033bSKonstantin Ananyev    ngx_uint_t                     i, n, p, many;
108e18a033bSKonstantin Ananyev    ngx_http_upstream_rr_peer_t   *peer, *best;
109e18a033bSKonstantin Ananyev    ngx_http_upstream_rr_peers_t  *peers;
110e18a033bSKonstantin Ananyev
111e18a033bSKonstantin Ananyev    ngx_log_debug1(NGX_LOG_DEBUG_HTTP, pc->log, 0,
112e18a033bSKonstantin Ananyev                   "get least conn peer, try: %ui", pc->tries);
113e18a033bSKonstantin Ananyev
114e18a033bSKonstantin Ananyev    if (rrp->peers->single) {
115e18a033bSKonstantin Ananyev        return ngx_http_upstream_get_round_robin_peer(pc, rrp);
116e18a033bSKonstantin Ananyev    }
117e18a033bSKonstantin Ananyev
118e18a033bSKonstantin Ananyev    pc->cached = 0;
119e18a033bSKonstantin Ananyev    pc->connection = NULL;
120e18a033bSKonstantin Ananyev
121e18a033bSKonstantin Ananyev    now = ngx_time();
122e18a033bSKonstantin Ananyev
123e18a033bSKonstantin Ananyev    peers = rrp->peers;
124e18a033bSKonstantin Ananyev
125e18a033bSKonstantin Ananyev    ngx_http_upstream_rr_peers_wlock(peers);
126e18a033bSKonstantin Ananyev
127e18a033bSKonstantin Ananyev    best = NULL;
128e18a033bSKonstantin Ananyev    total = 0;
129e18a033bSKonstantin Ananyev
130e18a033bSKonstantin Ananyev#if (NGX_SUPPRESS_WARN)
131e18a033bSKonstantin Ananyev    many = 0;
132e18a033bSKonstantin Ananyev    p = 0;
133e18a033bSKonstantin Ananyev#endif
134e18a033bSKonstantin Ananyev
135e18a033bSKonstantin Ananyev    for (peer = peers->peer, i = 0;
136e18a033bSKonstantin Ananyev         peer;
137e18a033bSKonstantin Ananyev         peer = peer->next, i++)
138e18a033bSKonstantin Ananyev    {
139e18a033bSKonstantin Ananyev        n = i / (8 * sizeof(uintptr_t));
140e18a033bSKonstantin Ananyev        m = (uintptr_t) 1 << i % (8 * sizeof(uintptr_t));
141e18a033bSKonstantin Ananyev
142e18a033bSKonstantin Ananyev        if (rrp->tried[n] & m) {
143e18a033bSKonstantin Ananyev            continue;
144e18a033bSKonstantin Ananyev        }
145e18a033bSKonstantin Ananyev
146e18a033bSKonstantin Ananyev        if (peer->down) {
147e18a033bSKonstantin Ananyev            continue;
148e18a033bSKonstantin Ananyev        }
149e18a033bSKonstantin Ananyev
150e18a033bSKonstantin Ananyev        if (peer->max_fails
151e18a033bSKonstantin Ananyev            && peer->fails >= peer->max_fails
152e18a033bSKonstantin Ananyev            && now - peer->checked <= peer->fail_timeout)
153e18a033bSKonstantin Ananyev        {
154e18a033bSKonstantin Ananyev            continue;
155e18a033bSKonstantin Ananyev        }
156e18a033bSKonstantin Ananyev
157e18a033bSKonstantin Ananyev        if (peer->max_conns && peer->conns >= peer->max_conns) {
158e18a033bSKonstantin Ananyev            continue;
159e18a033bSKonstantin Ananyev        }
160e18a033bSKonstantin Ananyev
161e18a033bSKonstantin Ananyev        /*
162e18a033bSKonstantin Ananyev         * select peer with least number of connections; if there are
163e18a033bSKonstantin Ananyev         * multiple peers with the same number of connections, select
164e18a033bSKonstantin Ananyev         * based on round-robin
165e18a033bSKonstantin Ananyev         */
166e18a033bSKonstantin Ananyev
167e18a033bSKonstantin Ananyev        if (best == NULL
168e18a033bSKonstantin Ananyev            || peer->conns * best->weight < best->conns * peer->weight)
169e18a033bSKonstantin Ananyev        {
170e18a033bSKonstantin Ananyev            best = peer;
171e18a033bSKonstantin Ananyev            many = 0;
172e18a033bSKonstantin Ananyev            p = i;
173e18a033bSKonstantin Ananyev
174e18a033bSKonstantin Ananyev        } else if (peer->conns * best->weight == best->conns * peer->weight) {
175e18a033bSKonstantin Ananyev            many = 1;
176e18a033bSKonstantin Ananyev        }
177e18a033bSKonstantin Ananyev    }
178e18a033bSKonstantin Ananyev
179e18a033bSKonstantin Ananyev    if (best == NULL) {
180e18a033bSKonstantin Ananyev        ngx_log_debug0(NGX_LOG_DEBUG_HTTP, pc->log, 0,
181e18a033bSKonstantin Ananyev                       "get least conn peer, no peer found");
182e18a033bSKonstantin Ananyev
183e18a033bSKonstantin Ananyev        goto failed;
184e18a033bSKonstantin Ananyev    }
185e18a033bSKonstantin Ananyev
186e18a033bSKonstantin Ananyev    if (many) {
187e18a033bSKonstantin Ananyev        ngx_log_debug0(NGX_LOG_DEBUG_HTTP, pc->log, 0,
188e18a033bSKonstantin Ananyev                       "get least conn peer, many");
189e18a033bSKonstantin Ananyev
190e18a033bSKonstantin Ananyev        for (peer = best, i = p;
191e18a033bSKonstantin Ananyev             peer;
192e18a033bSKonstantin Ananyev             peer = peer->next, i++)
193e18a033bSKonstantin Ananyev        {
194e18a033bSKonstantin Ananyev            n = i / (8 * sizeof(uintptr_t));
195e18a033bSKonstantin Ananyev            m = (uintptr_t) 1 << i % (8 * sizeof(uintptr_t));
196e18a033bSKonstantin Ananyev
197e18a033bSKonstantin Ananyev            if (rrp->tried[n] & m) {
198e18a033bSKonstantin Ananyev                continue;
199e18a033bSKonstantin Ananyev            }
200e18a033bSKonstantin Ananyev
201e18a033bSKonstantin Ananyev            if (peer->down) {
202e18a033bSKonstantin Ananyev                continue;
203e18a033bSKonstantin Ananyev            }
204e18a033bSKonstantin Ananyev
205e18a033bSKonstantin Ananyev            if (peer->conns * best->weight != best->conns * peer->weight) {
206e18a033bSKonstantin Ananyev                continue;
207e18a033bSKonstantin Ananyev            }
208e18a033bSKonstantin Ananyev
209e18a033bSKonstantin Ananyev            if (peer->max_fails
210e18a033bSKonstantin Ananyev                && peer->fails >= peer->max_fails
211e18a033bSKonstantin Ananyev                && now - peer->checked <= peer->fail_timeout)
212e18a033bSKonstantin Ananyev            {
213e18a033bSKonstantin Ananyev                continue;
214e18a033bSKonstantin Ananyev            }
215e18a033bSKonstantin Ananyev
216e18a033bSKonstantin Ananyev            if (peer->max_conns && peer->conns >= peer->max_conns) {
217e18a033bSKonstantin Ananyev                continue;
218e18a033bSKonstantin Ananyev            }
219e18a033bSKonstantin Ananyev
220e18a033bSKonstantin Ananyev            peer->current_weight += peer->effective_weight;
221e18a033bSKonstantin Ananyev            total += peer->effective_weight;
222e18a033bSKonstantin Ananyev
223e18a033bSKonstantin Ananyev            if (peer->effective_weight < peer->weight) {
224e18a033bSKonstantin Ananyev                peer->effective_weight++;
225e18a033bSKonstantin Ananyev            }
226e18a033bSKonstantin Ananyev
227e18a033bSKonstantin Ananyev            if (peer->current_weight > best->current_weight) {
228e18a033bSKonstantin Ananyev                best = peer;
229e18a033bSKonstantin Ananyev                p = i;
230e18a033bSKonstantin Ananyev            }
231e18a033bSKonstantin Ananyev        }
232e18a033bSKonstantin Ananyev    }
233e18a033bSKonstantin Ananyev
234e18a033bSKonstantin Ananyev    best->current_weight -= total;
235e18a033bSKonstantin Ananyev
236e18a033bSKonstantin Ananyev    if (now - best->checked > best->fail_timeout) {
237e18a033bSKonstantin Ananyev        best->checked = now;
238e18a033bSKonstantin Ananyev    }
239e18a033bSKonstantin Ananyev
240e18a033bSKonstantin Ananyev    pc->sockaddr = best->sockaddr;
241e18a033bSKonstantin Ananyev    pc->socklen = best->socklen;
242e18a033bSKonstantin Ananyev    pc->name = &best->name;
243e18a033bSKonstantin Ananyev
244e18a033bSKonstantin Ananyev    best->conns++;
245e18a033bSKonstantin Ananyev
246e18a033bSKonstantin Ananyev    rrp->current = best;
247e18a033bSKonstantin Ananyev
248e18a033bSKonstantin Ananyev    n = p / (8 * sizeof(uintptr_t));
249e18a033bSKonstantin Ananyev    m = (uintptr_t) 1 << p % (8 * sizeof(uintptr_t));
250e18a033bSKonstantin Ananyev
251e18a033bSKonstantin Ananyev    rrp->tried[n] |= m;
252e18a033bSKonstantin Ananyev
253e18a033bSKonstantin Ananyev    ngx_http_upstream_rr_peers_unlock(peers);
254e18a033bSKonstantin Ananyev
255e18a033bSKonstantin Ananyev    return NGX_OK;
256e18a033bSKonstantin Ananyev
257e18a033bSKonstantin Ananyevfailed:
258e18a033bSKonstantin Ananyev
259e18a033bSKonstantin Ananyev    if (peers->next) {
260e18a033bSKonstantin Ananyev        ngx_log_debug0(NGX_LOG_DEBUG_HTTP, pc->log, 0,
261e18a033bSKonstantin Ananyev                       "get least conn peer, backup servers");
262e18a033bSKonstantin Ananyev
263e18a033bSKonstantin Ananyev        rrp->peers = peers->next;
264e18a033bSKonstantin Ananyev
265e18a033bSKonstantin Ananyev        n = (rrp->peers->number + (8 * sizeof(uintptr_t) - 1))
266e18a033bSKonstantin Ananyev                / (8 * sizeof(uintptr_t));
267e18a033bSKonstantin Ananyev
268e18a033bSKonstantin Ananyev        for (i = 0; i < n; i++) {
269e18a033bSKonstantin Ananyev            rrp->tried[i] = 0;
270e18a033bSKonstantin Ananyev        }
271e18a033bSKonstantin Ananyev
272e18a033bSKonstantin Ananyev        ngx_http_upstream_rr_peers_unlock(peers);
273e18a033bSKonstantin Ananyev
274e18a033bSKonstantin Ananyev        rc = ngx_http_upstream_get_least_conn_peer(pc, rrp);
275e18a033bSKonstantin Ananyev
276e18a033bSKonstantin Ananyev        if (rc != NGX_BUSY) {
277e18a033bSKonstantin Ananyev            return rc;
278e18a033bSKonstantin Ananyev        }
279e18a033bSKonstantin Ananyev
280e18a033bSKonstantin Ananyev        ngx_http_upstream_rr_peers_wlock(peers);
281e18a033bSKonstantin Ananyev    }
282e18a033bSKonstantin Ananyev
283e18a033bSKonstantin Ananyev    ngx_http_upstream_rr_peers_unlock(peers);
284e18a033bSKonstantin Ananyev
285e18a033bSKonstantin Ananyev    pc->name = peers->name;
286e18a033bSKonstantin Ananyev
287e18a033bSKonstantin Ananyev    return NGX_BUSY;
288e18a033bSKonstantin Ananyev}
289e18a033bSKonstantin Ananyev
290e18a033bSKonstantin Ananyev
291e18a033bSKonstantin Ananyevstatic char *
292e18a033bSKonstantin Ananyevngx_http_upstream_least_conn(ngx_conf_t *cf, ngx_command_t *cmd, void *conf)
293e18a033bSKonstantin Ananyev{
294e18a033bSKonstantin Ananyev    ngx_http_upstream_srv_conf_t  *uscf;
295e18a033bSKonstantin Ananyev
296e18a033bSKonstantin Ananyev    uscf = ngx_http_conf_get_module_srv_conf(cf, ngx_http_upstream_module);
297e18a033bSKonstantin Ananyev
298e18a033bSKonstantin Ananyev    if (uscf->peer.init_upstream) {
299e18a033bSKonstantin Ananyev        ngx_conf_log_error(NGX_LOG_WARN, cf, 0,
300e18a033bSKonstantin Ananyev                           "load balancing method redefined");
301e18a033bSKonstantin Ananyev    }
302e18a033bSKonstantin Ananyev
303e18a033bSKonstantin Ananyev    uscf->peer.init_upstream = ngx_http_upstream_init_least_conn;
304e18a033bSKonstantin Ananyev
305e18a033bSKonstantin Ananyev    uscf->flags = NGX_HTTP_UPSTREAM_CREATE
306e18a033bSKonstantin Ananyev                  |NGX_HTTP_UPSTREAM_WEIGHT
307e18a033bSKonstantin Ananyev                  |NGX_HTTP_UPSTREAM_MAX_CONNS
308e18a033bSKonstantin Ananyev                  |NGX_HTTP_UPSTREAM_MAX_FAILS
309e18a033bSKonstantin Ananyev                  |NGX_HTTP_UPSTREAM_FAIL_TIMEOUT
310e18a033bSKonstantin Ananyev                  |NGX_HTTP_UPSTREAM_DOWN
311e18a033bSKonstantin Ananyev                  |NGX_HTTP_UPSTREAM_BACKUP;
312e18a033bSKonstantin Ananyev
313e18a033bSKonstantin Ananyev    return NGX_CONF_OK;
314e18a033bSKonstantin Ananyev}
315