1e18a033bSKonstantin Ananyev
2e18a033bSKonstantin Ananyev/*
3e18a033bSKonstantin Ananyev * Copyright (C) Igor Sysoev
4e18a033bSKonstantin Ananyev * Copyright (C) Nginx, Inc.
5e18a033bSKonstantin Ananyev */
6e18a033bSKonstantin Ananyev
7e18a033bSKonstantin Ananyev
8e18a033bSKonstantin Ananyev#include <ngx_config.h>
9e18a033bSKonstantin Ananyev#include <ngx_core.h>
10e18a033bSKonstantin Ananyev#include <ngx_event.h>
11e18a033bSKonstantin Ananyev
12e18a033bSKonstantin Ananyev
13e18a033bSKonstantin Ananyevstatic ngx_chain_t *ngx_udp_output_chain_to_iovec(ngx_iovec_t *vec,
14e18a033bSKonstantin Ananyev    ngx_chain_t *in, ngx_log_t *log);
15e18a033bSKonstantin Ananyevstatic ssize_t ngx_sendmsg(ngx_connection_t *c, ngx_iovec_t *vec);
16e18a033bSKonstantin Ananyev
17e18a033bSKonstantin Ananyev
18e18a033bSKonstantin Ananyevngx_chain_t *
19e18a033bSKonstantin Ananyevngx_udp_unix_sendmsg_chain(ngx_connection_t *c, ngx_chain_t *in, off_t limit)
20e18a033bSKonstantin Ananyev{
21e18a033bSKonstantin Ananyev    ssize_t        n;
22e18a033bSKonstantin Ananyev    off_t          send;
23e18a033bSKonstantin Ananyev    ngx_chain_t   *cl;
24e18a033bSKonstantin Ananyev    ngx_event_t   *wev;
25e18a033bSKonstantin Ananyev    ngx_iovec_t    vec;
26e18a033bSKonstantin Ananyev    struct iovec   iovs[NGX_IOVS_PREALLOCATE];
27e18a033bSKonstantin Ananyev
28e18a033bSKonstantin Ananyev    wev = c->write;
29e18a033bSKonstantin Ananyev
30e18a033bSKonstantin Ananyev    if (!wev->ready) {
31e18a033bSKonstantin Ananyev        return in;
32e18a033bSKonstantin Ananyev    }
33e18a033bSKonstantin Ananyev
34e18a033bSKonstantin Ananyev#if (NGX_HAVE_KQUEUE)
35e18a033bSKonstantin Ananyev
36e18a033bSKonstantin Ananyev    if ((ngx_event_flags & NGX_USE_KQUEUE_EVENT) && wev->pending_eof) {
37e18a033bSKonstantin Ananyev        (void) ngx_connection_error(c, wev->kq_errno,
38e18a033bSKonstantin Ananyev                               "kevent() reported about an closed connection");
39e18a033bSKonstantin Ananyev        wev->error = 1;
40e18a033bSKonstantin Ananyev        return NGX_CHAIN_ERROR;
41e18a033bSKonstantin Ananyev    }
42e18a033bSKonstantin Ananyev
43e18a033bSKonstantin Ananyev#endif
44e18a033bSKonstantin Ananyev
45e18a033bSKonstantin Ananyev    /* the maximum limit size is the maximum size_t value - the page size */
46e18a033bSKonstantin Ananyev
47e18a033bSKonstantin Ananyev    if (limit == 0 || limit > (off_t) (NGX_MAX_SIZE_T_VALUE - ngx_pagesize)) {
48e18a033bSKonstantin Ananyev        limit = NGX_MAX_SIZE_T_VALUE - ngx_pagesize;
49e18a033bSKonstantin Ananyev    }
50e18a033bSKonstantin Ananyev
51e18a033bSKonstantin Ananyev    send = 0;
52e18a033bSKonstantin Ananyev
53e18a033bSKonstantin Ananyev    vec.iovs = iovs;
54e18a033bSKonstantin Ananyev    vec.nalloc = NGX_IOVS_PREALLOCATE;
55e18a033bSKonstantin Ananyev
56e18a033bSKonstantin Ananyev    for ( ;; ) {
57e18a033bSKonstantin Ananyev
58e18a033bSKonstantin Ananyev        /* create the iovec and coalesce the neighbouring bufs */
59e18a033bSKonstantin Ananyev
60e18a033bSKonstantin Ananyev        cl = ngx_udp_output_chain_to_iovec(&vec, in, c->log);
61e18a033bSKonstantin Ananyev
62e18a033bSKonstantin Ananyev        if (cl == NGX_CHAIN_ERROR) {
63e18a033bSKonstantin Ananyev            return NGX_CHAIN_ERROR;
64e18a033bSKonstantin Ananyev        }
65e18a033bSKonstantin Ananyev
66e18a033bSKonstantin Ananyev        if (cl && cl->buf->in_file) {
67e18a033bSKonstantin Ananyev            ngx_log_error(NGX_LOG_ALERT, c->log, 0,
68e18a033bSKonstantin Ananyev                          "file buf in sendmsg "
69e18a033bSKonstantin Ananyev                          "t:%d r:%d f:%d %p %p-%p %p %O-%O",
70e18a033bSKonstantin Ananyev                          cl->buf->temporary,
71e18a033bSKonstantin Ananyev                          cl->buf->recycled,
72e18a033bSKonstantin Ananyev                          cl->buf->in_file,
73e18a033bSKonstantin Ananyev                          cl->buf->start,
74e18a033bSKonstantin Ananyev                          cl->buf->pos,
75e18a033bSKonstantin Ananyev                          cl->buf->last,
76e18a033bSKonstantin Ananyev                          cl->buf->file,
77e18a033bSKonstantin Ananyev                          cl->buf->file_pos,
78e18a033bSKonstantin Ananyev                          cl->buf->file_last);
79e18a033bSKonstantin Ananyev
80e18a033bSKonstantin Ananyev            ngx_debug_point();
81e18a033bSKonstantin Ananyev
82e18a033bSKonstantin Ananyev            return NGX_CHAIN_ERROR;
83e18a033bSKonstantin Ananyev        }
84e18a033bSKonstantin Ananyev
85e18a033bSKonstantin Ananyev        if (cl == in) {
86e18a033bSKonstantin Ananyev            return in;
87e18a033bSKonstantin Ananyev        }
88e18a033bSKonstantin Ananyev
89e18a033bSKonstantin Ananyev        send += vec.size;
90e18a033bSKonstantin Ananyev
91e18a033bSKonstantin Ananyev        n = ngx_sendmsg(c, &vec);
92e18a033bSKonstantin Ananyev
93e18a033bSKonstantin Ananyev        if (n == NGX_ERROR) {
94e18a033bSKonstantin Ananyev            return NGX_CHAIN_ERROR;
95e18a033bSKonstantin Ananyev        }
96e18a033bSKonstantin Ananyev
97e18a033bSKonstantin Ananyev        if (n == NGX_AGAIN) {
98e18a033bSKonstantin Ananyev            wev->ready = 0;
99e18a033bSKonstantin Ananyev            return in;
100e18a033bSKonstantin Ananyev        }
101e18a033bSKonstantin Ananyev
102e18a033bSKonstantin Ananyev        c->sent += n;
103e18a033bSKonstantin Ananyev
104e18a033bSKonstantin Ananyev        in = ngx_chain_update_sent(in, n);
105e18a033bSKonstantin Ananyev
106e18a033bSKonstantin Ananyev        if (send >= limit || in == NULL) {
107e18a033bSKonstantin Ananyev            return in;
108e18a033bSKonstantin Ananyev        }
109e18a033bSKonstantin Ananyev    }
110e18a033bSKonstantin Ananyev}
111e18a033bSKonstantin Ananyev
112e18a033bSKonstantin Ananyev
113e18a033bSKonstantin Ananyevstatic ngx_chain_t *
114e18a033bSKonstantin Ananyevngx_udp_output_chain_to_iovec(ngx_iovec_t *vec, ngx_chain_t *in, ngx_log_t *log)
115e18a033bSKonstantin Ananyev{
116e18a033bSKonstantin Ananyev    size_t         total, size;
117e18a033bSKonstantin Ananyev    u_char        *prev;
118e18a033bSKonstantin Ananyev    ngx_uint_t     n, flush;
119e18a033bSKonstantin Ananyev    ngx_chain_t   *cl;
120e18a033bSKonstantin Ananyev    struct iovec  *iov;
121e18a033bSKonstantin Ananyev
122e18a033bSKonstantin Ananyev    cl = in;
123e18a033bSKonstantin Ananyev    iov = NULL;
124e18a033bSKonstantin Ananyev    prev = NULL;
125e18a033bSKonstantin Ananyev    total = 0;
126e18a033bSKonstantin Ananyev    n = 0;
127e18a033bSKonstantin Ananyev    flush = 0;
128e18a033bSKonstantin Ananyev
129e18a033bSKonstantin Ananyev    for ( /* void */ ; in && !flush; in = in->next) {
130e18a033bSKonstantin Ananyev
131e18a033bSKonstantin Ananyev        if (in->buf->flush || in->buf->last_buf) {
132e18a033bSKonstantin Ananyev            flush = 1;
133e18a033bSKonstantin Ananyev        }
134e18a033bSKonstantin Ananyev
135e18a033bSKonstantin Ananyev        if (ngx_buf_special(in->buf)) {
136e18a033bSKonstantin Ananyev            continue;
137e18a033bSKonstantin Ananyev        }
138e18a033bSKonstantin Ananyev
139e18a033bSKonstantin Ananyev        if (in->buf->in_file) {
140e18a033bSKonstantin Ananyev            break;
141e18a033bSKonstantin Ananyev        }
142e18a033bSKonstantin Ananyev
143e18a033bSKonstantin Ananyev        if (!ngx_buf_in_memory(in->buf)) {
144e18a033bSKonstantin Ananyev            ngx_log_error(NGX_LOG_ALERT, log, 0,
145e18a033bSKonstantin Ananyev                          "bad buf in output chain "
146e18a033bSKonstantin Ananyev                          "t:%d r:%d f:%d %p %p-%p %p %O-%O",
147e18a033bSKonstantin Ananyev                          in->buf->temporary,
148e18a033bSKonstantin Ananyev                          in->buf->recycled,
149e18a033bSKonstantin Ananyev                          in->buf->in_file,
150e18a033bSKonstantin Ananyev                          in->buf->start,
151e18a033bSKonstantin Ananyev                          in->buf->pos,
152e18a033bSKonstantin Ananyev                          in->buf->last,
153e18a033bSKonstantin Ananyev                          in->buf->file,
154e18a033bSKonstantin Ananyev                          in->buf->file_pos,
155e18a033bSKonstantin Ananyev                          in->buf->file_last);
156e18a033bSKonstantin Ananyev
157e18a033bSKonstantin Ananyev            ngx_debug_point();
158e18a033bSKonstantin Ananyev
159e18a033bSKonstantin Ananyev            return NGX_CHAIN_ERROR;
160e18a033bSKonstantin Ananyev        }
161e18a033bSKonstantin Ananyev
162e18a033bSKonstantin Ananyev        size = in->buf->last - in->buf->pos;
163e18a033bSKonstantin Ananyev
164e18a033bSKonstantin Ananyev        if (prev == in->buf->pos) {
165e18a033bSKonstantin Ananyev            iov->iov_len += size;
166e18a033bSKonstantin Ananyev
167e18a033bSKonstantin Ananyev        } else {
168e18a033bSKonstantin Ananyev            if (n == vec->nalloc) {
169e18a033bSKonstantin Ananyev                ngx_log_error(NGX_LOG_ALERT, log, 0,
170e18a033bSKonstantin Ananyev                              "too many parts in a datagram");
171e18a033bSKonstantin Ananyev                return NGX_CHAIN_ERROR;
172e18a033bSKonstantin Ananyev            }
173e18a033bSKonstantin Ananyev
174e18a033bSKonstantin Ananyev            iov = &vec->iovs[n++];
175e18a033bSKonstantin Ananyev
176e18a033bSKonstantin Ananyev            iov->iov_base = (void *) in->buf->pos;
177e18a033bSKonstantin Ananyev            iov->iov_len = size;
178e18a033bSKonstantin Ananyev        }
179e18a033bSKonstantin Ananyev
180e18a033bSKonstantin Ananyev        prev = in->buf->pos + size;
181e18a033bSKonstantin Ananyev        total += size;
182e18a033bSKonstantin Ananyev    }
183e18a033bSKonstantin Ananyev
184e18a033bSKonstantin Ananyev    if (!flush) {
185e18a033bSKonstantin Ananyev#if (NGX_SUPPRESS_WARN)
186e18a033bSKonstantin Ananyev        vec->size = 0;
187e18a033bSKonstantin Ananyev        vec->count = 0;
188e18a033bSKonstantin Ananyev#endif
189e18a033bSKonstantin Ananyev        return cl;
190e18a033bSKonstantin Ananyev    }
191e18a033bSKonstantin Ananyev
192e18a033bSKonstantin Ananyev    vec->count = n;
193e18a033bSKonstantin Ananyev    vec->size = total;
194e18a033bSKonstantin Ananyev
195e18a033bSKonstantin Ananyev    return in;
196e18a033bSKonstantin Ananyev}
197e18a033bSKonstantin Ananyev
198e18a033bSKonstantin Ananyev
199e18a033bSKonstantin Ananyevstatic ssize_t
200e18a033bSKonstantin Ananyevngx_sendmsg(ngx_connection_t *c, ngx_iovec_t *vec)
201e18a033bSKonstantin Ananyev{
202e18a033bSKonstantin Ananyev    ssize_t        n;
203e18a033bSKonstantin Ananyev    ngx_err_t      err;
204e18a033bSKonstantin Ananyev    struct msghdr  msg;
205e18a033bSKonstantin Ananyev
206e18a033bSKonstantin Ananyev    ngx_memzero(&msg, sizeof(struct msghdr));
207e18a033bSKonstantin Ananyev
208e18a033bSKonstantin Ananyev    if (c->socklen) {
209e18a033bSKonstantin Ananyev        msg.msg_name = c->sockaddr;
210e18a033bSKonstantin Ananyev        msg.msg_namelen = c->socklen;
211e18a033bSKonstantin Ananyev    }
212e18a033bSKonstantin Ananyev
213e18a033bSKonstantin Ananyev    msg.msg_iov = vec->iovs;
214e18a033bSKonstantin Ananyev    msg.msg_iovlen = vec->count;
215e18a033bSKonstantin Ananyev
216e18a033bSKonstantin Ananyeveintr:
217e18a033bSKonstantin Ananyev
218e18a033bSKonstantin Ananyev    n = sendmsg(c->fd, &msg, 0);
219e18a033bSKonstantin Ananyev
220e18a033bSKonstantin Ananyev    ngx_log_debug2(NGX_LOG_DEBUG_EVENT, c->log, 0,
221e18a033bSKonstantin Ananyev                   "sendmsg: %z of %uz", n, vec->size);
222e18a033bSKonstantin Ananyev
223e18a033bSKonstantin Ananyev    if (n == -1) {
224e18a033bSKonstantin Ananyev        err = ngx_errno;
225e18a033bSKonstantin Ananyev
226e18a033bSKonstantin Ananyev        switch (err) {
227e18a033bSKonstantin Ananyev        case NGX_EAGAIN:
228e18a033bSKonstantin Ananyev            ngx_log_debug0(NGX_LOG_DEBUG_EVENT, c->log, err,
229e18a033bSKonstantin Ananyev                           "sendmsg() not ready");
230e18a033bSKonstantin Ananyev            return NGX_AGAIN;
231e18a033bSKonstantin Ananyev
232e18a033bSKonstantin Ananyev        case NGX_EINTR:
233e18a033bSKonstantin Ananyev            ngx_log_debug0(NGX_LOG_DEBUG_EVENT, c->log, err,
234e18a033bSKonstantin Ananyev                           "sendmsg() was interrupted");
235e18a033bSKonstantin Ananyev            goto eintr;
236e18a033bSKonstantin Ananyev
237e18a033bSKonstantin Ananyev        default:
238e18a033bSKonstantin Ananyev            c->write->error = 1;
239e18a033bSKonstantin Ananyev            ngx_connection_error(c, err, "sendmsg() failed");
240e18a033bSKonstantin Ananyev            return NGX_ERROR;
241e18a033bSKonstantin Ananyev        }
242e18a033bSKonstantin Ananyev    }
243e18a033bSKonstantin Ananyev
244e18a033bSKonstantin Ananyev    return n;
245e18a033bSKonstantin Ananyev}
246