1e18a033bSKonstantin Ananyev
2e18a033bSKonstantin Ananyev/*
3e18a033bSKonstantin Ananyev * Copyright (C) Igor Sysoev
4e18a033bSKonstantin Ananyev * Copyright (C) Nginx, Inc.
5e18a033bSKonstantin Ananyev */
6e18a033bSKonstantin Ananyev
7e18a033bSKonstantin Ananyev
8e18a033bSKonstantin Ananyev#include <ngx_config.h>
9e18a033bSKonstantin Ananyev#include <ngx_core.h>
10e18a033bSKonstantin Ananyev#include <ngx_http.h>
11e18a033bSKonstantin Ananyev
12e18a033bSKonstantin Ananyev
13e18a033bSKonstantin Ananyevtypedef struct {
14e18a033bSKonstantin Ananyev    /* the round robin data must be first */
15e18a033bSKonstantin Ananyev    ngx_http_upstream_rr_peer_data_t   rrp;
16e18a033bSKonstantin Ananyev
17e18a033bSKonstantin Ananyev    ngx_uint_t                         hash;
18e18a033bSKonstantin Ananyev
19e18a033bSKonstantin Ananyev    u_char                             addrlen;
20e18a033bSKonstantin Ananyev    u_char                            *addr;
21e18a033bSKonstantin Ananyev
22e18a033bSKonstantin Ananyev    u_char                             tries;
23e18a033bSKonstantin Ananyev
24e18a033bSKonstantin Ananyev    ngx_event_get_peer_pt              get_rr_peer;
25e18a033bSKonstantin Ananyev} ngx_http_upstream_ip_hash_peer_data_t;
26e18a033bSKonstantin Ananyev
27e18a033bSKonstantin Ananyev
28e18a033bSKonstantin Ananyevstatic ngx_int_t ngx_http_upstream_init_ip_hash_peer(ngx_http_request_t *r,
29e18a033bSKonstantin Ananyev    ngx_http_upstream_srv_conf_t *us);
30e18a033bSKonstantin Ananyevstatic ngx_int_t ngx_http_upstream_get_ip_hash_peer(ngx_peer_connection_t *pc,
31e18a033bSKonstantin Ananyev    void *data);
32e18a033bSKonstantin Ananyevstatic char *ngx_http_upstream_ip_hash(ngx_conf_t *cf, ngx_command_t *cmd,
33e18a033bSKonstantin Ananyev    void *conf);
34e18a033bSKonstantin Ananyev
35e18a033bSKonstantin Ananyev
36e18a033bSKonstantin Ananyevstatic ngx_command_t  ngx_http_upstream_ip_hash_commands[] = {
37e18a033bSKonstantin Ananyev
38e18a033bSKonstantin Ananyev    { ngx_string("ip_hash"),
39e18a033bSKonstantin Ananyev      NGX_HTTP_UPS_CONF|NGX_CONF_NOARGS,
40e18a033bSKonstantin Ananyev      ngx_http_upstream_ip_hash,
41e18a033bSKonstantin Ananyev      0,
42e18a033bSKonstantin Ananyev      0,
43e18a033bSKonstantin Ananyev      NULL },
44e18a033bSKonstantin Ananyev
45e18a033bSKonstantin Ananyev      ngx_null_command
46e18a033bSKonstantin Ananyev};
47e18a033bSKonstantin Ananyev
48e18a033bSKonstantin Ananyev
49e18a033bSKonstantin Ananyevstatic ngx_http_module_t  ngx_http_upstream_ip_hash_module_ctx = {
50e18a033bSKonstantin Ananyev    NULL,                                  /* preconfiguration */
51e18a033bSKonstantin Ananyev    NULL,                                  /* postconfiguration */
52e18a033bSKonstantin Ananyev
53e18a033bSKonstantin Ananyev    NULL,                                  /* create main configuration */
54e18a033bSKonstantin Ananyev    NULL,                                  /* init main configuration */
55e18a033bSKonstantin Ananyev
56e18a033bSKonstantin Ananyev    NULL,                                  /* create server configuration */
57e18a033bSKonstantin Ananyev    NULL,                                  /* merge server configuration */
58e18a033bSKonstantin Ananyev
59e18a033bSKonstantin Ananyev    NULL,                                  /* create location configuration */
60e18a033bSKonstantin Ananyev    NULL                                   /* merge location configuration */
61e18a033bSKonstantin Ananyev};
62e18a033bSKonstantin Ananyev
63e18a033bSKonstantin Ananyev
64e18a033bSKonstantin Ananyevngx_module_t  ngx_http_upstream_ip_hash_module = {
65e18a033bSKonstantin Ananyev    NGX_MODULE_V1,
66e18a033bSKonstantin Ananyev    &ngx_http_upstream_ip_hash_module_ctx, /* module context */
67e18a033bSKonstantin Ananyev    ngx_http_upstream_ip_hash_commands,    /* module directives */
68e18a033bSKonstantin Ananyev    NGX_HTTP_MODULE,                       /* module type */
69e18a033bSKonstantin Ananyev    NULL,                                  /* init master */
70e18a033bSKonstantin Ananyev    NULL,                                  /* init module */
71e18a033bSKonstantin Ananyev    NULL,                                  /* init process */
72e18a033bSKonstantin Ananyev    NULL,                                  /* init thread */
73e18a033bSKonstantin Ananyev    NULL,                                  /* exit thread */
74e18a033bSKonstantin Ananyev    NULL,                                  /* exit process */
75e18a033bSKonstantin Ananyev    NULL,                                  /* exit master */
76e18a033bSKonstantin Ananyev    NGX_MODULE_V1_PADDING
77e18a033bSKonstantin Ananyev};
78e18a033bSKonstantin Ananyev
79e18a033bSKonstantin Ananyev
80e18a033bSKonstantin Ananyevstatic u_char ngx_http_upstream_ip_hash_pseudo_addr[3];
81e18a033bSKonstantin Ananyev
82e18a033bSKonstantin Ananyev
83e18a033bSKonstantin Ananyevstatic ngx_int_t
84e18a033bSKonstantin Ananyevngx_http_upstream_init_ip_hash(ngx_conf_t *cf, ngx_http_upstream_srv_conf_t *us)
85e18a033bSKonstantin Ananyev{
86e18a033bSKonstantin Ananyev    if (ngx_http_upstream_init_round_robin(cf, us) != NGX_OK) {
87e18a033bSKonstantin Ananyev        return NGX_ERROR;
88e18a033bSKonstantin Ananyev    }
89e18a033bSKonstantin Ananyev
90e18a033bSKonstantin Ananyev    us->peer.init = ngx_http_upstream_init_ip_hash_peer;
91e18a033bSKonstantin Ananyev
92e18a033bSKonstantin Ananyev    return NGX_OK;
93e18a033bSKonstantin Ananyev}
94e18a033bSKonstantin Ananyev
95e18a033bSKonstantin Ananyev
96e18a033bSKonstantin Ananyevstatic ngx_int_t
97e18a033bSKonstantin Ananyevngx_http_upstream_init_ip_hash_peer(ngx_http_request_t *r,
98e18a033bSKonstantin Ananyev    ngx_http_upstream_srv_conf_t *us)
99e18a033bSKonstantin Ananyev{
100e18a033bSKonstantin Ananyev    struct sockaddr_in                     *sin;
101e18a033bSKonstantin Ananyev#if (NGX_HAVE_INET6)
102e18a033bSKonstantin Ananyev    struct sockaddr_in6                    *sin6;
103e18a033bSKonstantin Ananyev#endif
104e18a033bSKonstantin Ananyev    ngx_http_upstream_ip_hash_peer_data_t  *iphp;
105e18a033bSKonstantin Ananyev
106e18a033bSKonstantin Ananyev    iphp = ngx_palloc(r->pool, sizeof(ngx_http_upstream_ip_hash_peer_data_t));
107e18a033bSKonstantin Ananyev    if (iphp == NULL) {
108e18a033bSKonstantin Ananyev        return NGX_ERROR;
109e18a033bSKonstantin Ananyev    }
110e18a033bSKonstantin Ananyev
111e18a033bSKonstantin Ananyev    r->upstream->peer.data = &iphp->rrp;
112e18a033bSKonstantin Ananyev
113e18a033bSKonstantin Ananyev    if (ngx_http_upstream_init_round_robin_peer(r, us) != NGX_OK) {
114e18a033bSKonstantin Ananyev        return NGX_ERROR;
115e18a033bSKonstantin Ananyev    }
116e18a033bSKonstantin Ananyev
117e18a033bSKonstantin Ananyev    r->upstream->peer.get = ngx_http_upstream_get_ip_hash_peer;
118e18a033bSKonstantin Ananyev
119e18a033bSKonstantin Ananyev    switch (r->connection->sockaddr->sa_family) {
120e18a033bSKonstantin Ananyev
121e18a033bSKonstantin Ananyev    case AF_INET:
122e18a033bSKonstantin Ananyev        sin = (struct sockaddr_in *) r->connection->sockaddr;
123e18a033bSKonstantin Ananyev        iphp->addr = (u_char *) &sin->sin_addr.s_addr;
124e18a033bSKonstantin Ananyev        iphp->addrlen = 3;
125e18a033bSKonstantin Ananyev        break;
126e18a033bSKonstantin Ananyev
127e18a033bSKonstantin Ananyev#if (NGX_HAVE_INET6)
128e18a033bSKonstantin Ananyev    case AF_INET6:
129e18a033bSKonstantin Ananyev        sin6 = (struct sockaddr_in6 *) r->connection->sockaddr;
130e18a033bSKonstantin Ananyev        iphp->addr = (u_char *) &sin6->sin6_addr.s6_addr;
131e18a033bSKonstantin Ananyev        iphp->addrlen = 16;
132e18a033bSKonstantin Ananyev        break;
133e18a033bSKonstantin Ananyev#endif
134e18a033bSKonstantin Ananyev
135e18a033bSKonstantin Ananyev    default:
136e18a033bSKonstantin Ananyev        iphp->addr = ngx_http_upstream_ip_hash_pseudo_addr;
137e18a033bSKonstantin Ananyev        iphp->addrlen = 3;
138e18a033bSKonstantin Ananyev    }
139e18a033bSKonstantin Ananyev
140e18a033bSKonstantin Ananyev    iphp->hash = 89;
141e18a033bSKonstantin Ananyev    iphp->tries = 0;
142e18a033bSKonstantin Ananyev    iphp->get_rr_peer = ngx_http_upstream_get_round_robin_peer;
143e18a033bSKonstantin Ananyev
144e18a033bSKonstantin Ananyev    return NGX_OK;
145e18a033bSKonstantin Ananyev}
146e18a033bSKonstantin Ananyev
147e18a033bSKonstantin Ananyev
148e18a033bSKonstantin Ananyevstatic ngx_int_t
149e18a033bSKonstantin Ananyevngx_http_upstream_get_ip_hash_peer(ngx_peer_connection_t *pc, void *data)
150e18a033bSKonstantin Ananyev{
151e18a033bSKonstantin Ananyev    ngx_http_upstream_ip_hash_peer_data_t  *iphp = data;
152e18a033bSKonstantin Ananyev
153e18a033bSKonstantin Ananyev    time_t                        now;
154e18a033bSKonstantin Ananyev    ngx_int_t                     w;
155e18a033bSKonstantin Ananyev    uintptr_t                     m;
156e18a033bSKonstantin Ananyev    ngx_uint_t                    i, n, p, hash;
157e18a033bSKonstantin Ananyev    ngx_http_upstream_rr_peer_t  *peer;
158e18a033bSKonstantin Ananyev
159e18a033bSKonstantin Ananyev    ngx_log_debug1(NGX_LOG_DEBUG_HTTP, pc->log, 0,
160e18a033bSKonstantin Ananyev                   "get ip hash peer, try: %ui", pc->tries);
161e18a033bSKonstantin Ananyev
162e18a033bSKonstantin Ananyev    /* TODO: cached */
163e18a033bSKonstantin Ananyev
164e18a033bSKonstantin Ananyev    ngx_http_upstream_rr_peers_wlock(iphp->rrp.peers);
165e18a033bSKonstantin Ananyev
166e18a033bSKonstantin Ananyev    if (iphp->tries > 20 || iphp->rrp.peers->single) {
167e18a033bSKonstantin Ananyev        ngx_http_upstream_rr_peers_unlock(iphp->rrp.peers);
168e18a033bSKonstantin Ananyev        return iphp->get_rr_peer(pc, &iphp->rrp);
169e18a033bSKonstantin Ananyev    }
170e18a033bSKonstantin Ananyev
171e18a033bSKonstantin Ananyev    now = ngx_time();
172e18a033bSKonstantin Ananyev
173e18a033bSKonstantin Ananyev    pc->cached = 0;
174e18a033bSKonstantin Ananyev    pc->connection = NULL;
175e18a033bSKonstantin Ananyev
176e18a033bSKonstantin Ananyev    hash = iphp->hash;
177e18a033bSKonstantin Ananyev
178e18a033bSKonstantin Ananyev    for ( ;; ) {
179e18a033bSKonstantin Ananyev
180e18a033bSKonstantin Ananyev        for (i = 0; i < (ngx_uint_t) iphp->addrlen; i++) {
181e18a033bSKonstantin Ananyev            hash = (hash * 113 + iphp->addr[i]) % 6271;
182e18a033bSKonstantin Ananyev        }
183e18a033bSKonstantin Ananyev
184e18a033bSKonstantin Ananyev        w = hash % iphp->rrp.peers->total_weight;
185e18a033bSKonstantin Ananyev        peer = iphp->rrp.peers->peer;
186e18a033bSKonstantin Ananyev        p = 0;
187e18a033bSKonstantin Ananyev
188e18a033bSKonstantin Ananyev        while (w >= peer->weight) {
189e18a033bSKonstantin Ananyev            w -= peer->weight;
190e18a033bSKonstantin Ananyev            peer = peer->next;
191e18a033bSKonstantin Ananyev            p++;
192e18a033bSKonstantin Ananyev        }
193e18a033bSKonstantin Ananyev
194e18a033bSKonstantin Ananyev        n = p / (8 * sizeof(uintptr_t));
195e18a033bSKonstantin Ananyev        m = (uintptr_t) 1 << p % (8 * sizeof(uintptr_t));
196e18a033bSKonstantin Ananyev
197e18a033bSKonstantin Ananyev        if (iphp->rrp.tried[n] & m) {
198e18a033bSKonstantin Ananyev            goto next;
199e18a033bSKonstantin Ananyev        }
200e18a033bSKonstantin Ananyev
201e18a033bSKonstantin Ananyev        ngx_log_debug2(NGX_LOG_DEBUG_HTTP, pc->log, 0,
202e18a033bSKonstantin Ananyev                       "get ip hash peer, hash: %ui %04XL", p, (uint64_t) m);
203e18a033bSKonstantin Ananyev
204e18a033bSKonstantin Ananyev        if (peer->down) {
205e18a033bSKonstantin Ananyev            goto next;
206e18a033bSKonstantin Ananyev        }
207e18a033bSKonstantin Ananyev
208e18a033bSKonstantin Ananyev        if (peer->max_fails
209e18a033bSKonstantin Ananyev            && peer->fails >= peer->max_fails
210e18a033bSKonstantin Ananyev            && now - peer->checked <= peer->fail_timeout)
211e18a033bSKonstantin Ananyev        {
212e18a033bSKonstantin Ananyev            goto next;
213e18a033bSKonstantin Ananyev        }
214e18a033bSKonstantin Ananyev
215e18a033bSKonstantin Ananyev        if (peer->max_conns && peer->conns >= peer->max_conns) {
216e18a033bSKonstantin Ananyev            goto next;
217e18a033bSKonstantin Ananyev        }
218e18a033bSKonstantin Ananyev
219e18a033bSKonstantin Ananyev        break;
220e18a033bSKonstantin Ananyev
221e18a033bSKonstantin Ananyev    next:
222e18a033bSKonstantin Ananyev
223e18a033bSKonstantin Ananyev        if (++iphp->tries > 20) {
224e18a033bSKonstantin Ananyev            ngx_http_upstream_rr_peers_unlock(iphp->rrp.peers);
225e18a033bSKonstantin Ananyev            return iphp->get_rr_peer(pc, &iphp->rrp);
226e18a033bSKonstantin Ananyev        }
227e18a033bSKonstantin Ananyev    }
228e18a033bSKonstantin Ananyev
229e18a033bSKonstantin Ananyev    iphp->rrp.current = peer;
230e18a033bSKonstantin Ananyev
231e18a033bSKonstantin Ananyev    pc->sockaddr = peer->sockaddr;
232e18a033bSKonstantin Ananyev    pc->socklen = peer->socklen;
233e18a033bSKonstantin Ananyev    pc->name = &peer->name;
234e18a033bSKonstantin Ananyev
235e18a033bSKonstantin Ananyev    peer->conns++;
236e18a033bSKonstantin Ananyev
237e18a033bSKonstantin Ananyev    if (now - peer->checked > peer->fail_timeout) {
238e18a033bSKonstantin Ananyev        peer->checked = now;
239e18a033bSKonstantin Ananyev    }
240e18a033bSKonstantin Ananyev
241e18a033bSKonstantin Ananyev    ngx_http_upstream_rr_peers_unlock(iphp->rrp.peers);
242e18a033bSKonstantin Ananyev
243e18a033bSKonstantin Ananyev    iphp->rrp.tried[n] |= m;
244e18a033bSKonstantin Ananyev    iphp->hash = hash;
245e18a033bSKonstantin Ananyev
246e18a033bSKonstantin Ananyev    return NGX_OK;
247e18a033bSKonstantin Ananyev}
248e18a033bSKonstantin Ananyev
249e18a033bSKonstantin Ananyev
250e18a033bSKonstantin Ananyevstatic char *
251e18a033bSKonstantin Ananyevngx_http_upstream_ip_hash(ngx_conf_t *cf, ngx_command_t *cmd, void *conf)
252e18a033bSKonstantin Ananyev{
253e18a033bSKonstantin Ananyev    ngx_http_upstream_srv_conf_t  *uscf;
254e18a033bSKonstantin Ananyev
255e18a033bSKonstantin Ananyev    uscf = ngx_http_conf_get_module_srv_conf(cf, ngx_http_upstream_module);
256e18a033bSKonstantin Ananyev
257e18a033bSKonstantin Ananyev    if (uscf->peer.init_upstream) {
258e18a033bSKonstantin Ananyev        ngx_conf_log_error(NGX_LOG_WARN, cf, 0,
259e18a033bSKonstantin Ananyev                           "load balancing method redefined");
260e18a033bSKonstantin Ananyev    }
261e18a033bSKonstantin Ananyev
262e18a033bSKonstantin Ananyev    uscf->peer.init_upstream = ngx_http_upstream_init_ip_hash;
263e18a033bSKonstantin Ananyev
264e18a033bSKonstantin Ananyev    uscf->flags = NGX_HTTP_UPSTREAM_CREATE
265e18a033bSKonstantin Ananyev                  |NGX_HTTP_UPSTREAM_WEIGHT
266e18a033bSKonstantin Ananyev                  |NGX_HTTP_UPSTREAM_MAX_CONNS
267e18a033bSKonstantin Ananyev                  |NGX_HTTP_UPSTREAM_MAX_FAILS
268e18a033bSKonstantin Ananyev                  |NGX_HTTP_UPSTREAM_FAIL_TIMEOUT
269e18a033bSKonstantin Ananyev                  |NGX_HTTP_UPSTREAM_DOWN;
270e18a033bSKonstantin Ananyev
271e18a033bSKonstantin Ananyev    return NGX_CONF_OK;
272e18a033bSKonstantin Ananyev}
273