1e18a033bSKonstantin Ananyev
2e18a033bSKonstantin Ananyev/*
3e18a033bSKonstantin Ananyev * Copyright (C) Igor Sysoev
4e18a033bSKonstantin Ananyev * Copyright (C) Nginx, Inc.
5e18a033bSKonstantin Ananyev */
6e18a033bSKonstantin Ananyev
7e18a033bSKonstantin Ananyev
8e18a033bSKonstantin Ananyev#include <ngx_config.h>
9e18a033bSKonstantin Ananyev#include <ngx_core.h>
10e18a033bSKonstantin Ananyev#include <ngx_event.h>
11e18a033bSKonstantin Ananyev
12e18a033bSKonstantin Ananyev
13e18a033bSKonstantin Ananyevngx_chain_t *
14e18a033bSKonstantin Ananyevngx_writev_chain(ngx_connection_t *c, ngx_chain_t *in, off_t limit)
15e18a033bSKonstantin Ananyev{
16e18a033bSKonstantin Ananyev    ssize_t        n, sent;
17e18a033bSKonstantin Ananyev    off_t          send, prev_send;
18e18a033bSKonstantin Ananyev    ngx_chain_t   *cl;
19e18a033bSKonstantin Ananyev    ngx_event_t   *wev;
20e18a033bSKonstantin Ananyev    ngx_iovec_t    vec;
21e18a033bSKonstantin Ananyev    struct iovec   iovs[NGX_IOVS_PREALLOCATE];
22e18a033bSKonstantin Ananyev
23e18a033bSKonstantin Ananyev    wev = c->write;
24e18a033bSKonstantin Ananyev
25e18a033bSKonstantin Ananyev    if (!wev->ready) {
26e18a033bSKonstantin Ananyev        return in;
27e18a033bSKonstantin Ananyev    }
28e18a033bSKonstantin Ananyev
29e18a033bSKonstantin Ananyev#if (NGX_HAVE_KQUEUE)
30e18a033bSKonstantin Ananyev
31e18a033bSKonstantin Ananyev    if ((ngx_event_flags & NGX_USE_KQUEUE_EVENT) && wev->pending_eof) {
32e18a033bSKonstantin Ananyev        (void) ngx_connection_error(c, wev->kq_errno,
33e18a033bSKonstantin Ananyev                               "kevent() reported about an closed connection");
34e18a033bSKonstantin Ananyev        wev->error = 1;
35e18a033bSKonstantin Ananyev        return NGX_CHAIN_ERROR;
36e18a033bSKonstantin Ananyev    }
37e18a033bSKonstantin Ananyev
38e18a033bSKonstantin Ananyev#endif
39e18a033bSKonstantin Ananyev
40e18a033bSKonstantin Ananyev    /* the maximum limit size is the maximum size_t value - the page size */
41e18a033bSKonstantin Ananyev
42e18a033bSKonstantin Ananyev    if (limit == 0 || limit > (off_t) (NGX_MAX_SIZE_T_VALUE - ngx_pagesize)) {
43e18a033bSKonstantin Ananyev        limit = NGX_MAX_SIZE_T_VALUE - ngx_pagesize;
44e18a033bSKonstantin Ananyev    }
45e18a033bSKonstantin Ananyev
46e18a033bSKonstantin Ananyev    send = 0;
47e18a033bSKonstantin Ananyev
48e18a033bSKonstantin Ananyev    vec.iovs = iovs;
49e18a033bSKonstantin Ananyev    vec.nalloc = NGX_IOVS_PREALLOCATE;
50e18a033bSKonstantin Ananyev
51e18a033bSKonstantin Ananyev    for ( ;; ) {
52e18a033bSKonstantin Ananyev        prev_send = send;
53e18a033bSKonstantin Ananyev
54e18a033bSKonstantin Ananyev        /* create the iovec and coalesce the neighbouring bufs */
55e18a033bSKonstantin Ananyev
56e18a033bSKonstantin Ananyev        cl = ngx_output_chain_to_iovec(&vec, in, limit - send, c->log);
57e18a033bSKonstantin Ananyev
58e18a033bSKonstantin Ananyev        if (cl == NGX_CHAIN_ERROR) {
59e18a033bSKonstantin Ananyev            return NGX_CHAIN_ERROR;
60e18a033bSKonstantin Ananyev        }
61e18a033bSKonstantin Ananyev
62e18a033bSKonstantin Ananyev        if (cl && cl->buf->in_file) {
63e18a033bSKonstantin Ananyev            ngx_log_error(NGX_LOG_ALERT, c->log, 0,
64e18a033bSKonstantin Ananyev                          "file buf in writev "
65e18a033bSKonstantin Ananyev                          "t:%d r:%d f:%d %p %p-%p %p %O-%O",
66e18a033bSKonstantin Ananyev                          cl->buf->temporary,
67e18a033bSKonstantin Ananyev                          cl->buf->recycled,
68e18a033bSKonstantin Ananyev                          cl->buf->in_file,
69e18a033bSKonstantin Ananyev                          cl->buf->start,
70e18a033bSKonstantin Ananyev                          cl->buf->pos,
71e18a033bSKonstantin Ananyev                          cl->buf->last,
72e18a033bSKonstantin Ananyev                          cl->buf->file,
73e18a033bSKonstantin Ananyev                          cl->buf->file_pos,
74e18a033bSKonstantin Ananyev                          cl->buf->file_last);
75e18a033bSKonstantin Ananyev
76e18a033bSKonstantin Ananyev            ngx_debug_point();
77e18a033bSKonstantin Ananyev
78e18a033bSKonstantin Ananyev            return NGX_CHAIN_ERROR;
79e18a033bSKonstantin Ananyev        }
80e18a033bSKonstantin Ananyev
81e18a033bSKonstantin Ananyev        send += vec.size;
82e18a033bSKonstantin Ananyev
83e18a033bSKonstantin Ananyev        n = ngx_writev(c, &vec);
84e18a033bSKonstantin Ananyev
85e18a033bSKonstantin Ananyev        if (n == NGX_ERROR) {
86e18a033bSKonstantin Ananyev            return NGX_CHAIN_ERROR;
87e18a033bSKonstantin Ananyev        }
88e18a033bSKonstantin Ananyev
89e18a033bSKonstantin Ananyev        sent = (n == NGX_AGAIN) ? 0 : n;
90e18a033bSKonstantin Ananyev
91e18a033bSKonstantin Ananyev        c->sent += sent;
92e18a033bSKonstantin Ananyev
93e18a033bSKonstantin Ananyev        in = ngx_chain_update_sent(in, sent);
94e18a033bSKonstantin Ananyev
95e18a033bSKonstantin Ananyev        if (send - prev_send != sent) {
96e18a033bSKonstantin Ananyev            wev->ready = 0;
97e18a033bSKonstantin Ananyev            return in;
98e18a033bSKonstantin Ananyev        }
99e18a033bSKonstantin Ananyev
100e18a033bSKonstantin Ananyev        if (send >= limit || in == NULL) {
101e18a033bSKonstantin Ananyev            return in;
102e18a033bSKonstantin Ananyev        }
103e18a033bSKonstantin Ananyev    }
104e18a033bSKonstantin Ananyev}
105e18a033bSKonstantin Ananyev
106e18a033bSKonstantin Ananyev
107e18a033bSKonstantin Ananyevngx_chain_t *
108e18a033bSKonstantin Ananyevngx_output_chain_to_iovec(ngx_iovec_t *vec, ngx_chain_t *in, size_t limit,
109e18a033bSKonstantin Ananyev    ngx_log_t *log)
110e18a033bSKonstantin Ananyev{
111e18a033bSKonstantin Ananyev    size_t         total, size;
112e18a033bSKonstantin Ananyev    u_char        *prev;
113e18a033bSKonstantin Ananyev    ngx_uint_t     n;
114e18a033bSKonstantin Ananyev    struct iovec  *iov;
115e18a033bSKonstantin Ananyev
116e18a033bSKonstantin Ananyev    iov = NULL;
117e18a033bSKonstantin Ananyev    prev = NULL;
118e18a033bSKonstantin Ananyev    total = 0;
119e18a033bSKonstantin Ananyev    n = 0;
120e18a033bSKonstantin Ananyev
121e18a033bSKonstantin Ananyev    for ( /* void */ ; in && total < limit; in = in->next) {
122e18a033bSKonstantin Ananyev
123e18a033bSKonstantin Ananyev        if (ngx_buf_special(in->buf)) {
124e18a033bSKonstantin Ananyev            continue;
125e18a033bSKonstantin Ananyev        }
126e18a033bSKonstantin Ananyev
127e18a033bSKonstantin Ananyev        if (in->buf->in_file) {
128e18a033bSKonstantin Ananyev            break;
129e18a033bSKonstantin Ananyev        }
130e18a033bSKonstantin Ananyev
131e18a033bSKonstantin Ananyev        if (!ngx_buf_in_memory(in->buf)) {
132e18a033bSKonstantin Ananyev            ngx_log_error(NGX_LOG_ALERT, log, 0,
133e18a033bSKonstantin Ananyev                          "bad buf in output chain "
134e18a033bSKonstantin Ananyev                          "t:%d r:%d f:%d %p %p-%p %p %O-%O",
135e18a033bSKonstantin Ananyev                          in->buf->temporary,
136e18a033bSKonstantin Ananyev                          in->buf->recycled,
137e18a033bSKonstantin Ananyev                          in->buf->in_file,
138e18a033bSKonstantin Ananyev                          in->buf->start,
139e18a033bSKonstantin Ananyev                          in->buf->pos,
140e18a033bSKonstantin Ananyev                          in->buf->last,
141e18a033bSKonstantin Ananyev                          in->buf->file,
142e18a033bSKonstantin Ananyev                          in->buf->file_pos,
143e18a033bSKonstantin Ananyev                          in->buf->file_last);
144e18a033bSKonstantin Ananyev
145e18a033bSKonstantin Ananyev            ngx_debug_point();
146e18a033bSKonstantin Ananyev
147e18a033bSKonstantin Ananyev            return NGX_CHAIN_ERROR;
148e18a033bSKonstantin Ananyev        }
149e18a033bSKonstantin Ananyev
150e18a033bSKonstantin Ananyev        size = in->buf->last - in->buf->pos;
151e18a033bSKonstantin Ananyev
152e18a033bSKonstantin Ananyev        if (size > limit - total) {
153e18a033bSKonstantin Ananyev            size = limit - total;
154e18a033bSKonstantin Ananyev        }
155e18a033bSKonstantin Ananyev
156e18a033bSKonstantin Ananyev        if (prev == in->buf->pos) {
157e18a033bSKonstantin Ananyev            iov->iov_len += size;
158e18a033bSKonstantin Ananyev
159e18a033bSKonstantin Ananyev        } else {
160e18a033bSKonstantin Ananyev            if (n == vec->nalloc) {
161e18a033bSKonstantin Ananyev                break;
162e18a033bSKonstantin Ananyev            }
163e18a033bSKonstantin Ananyev
164e18a033bSKonstantin Ananyev            iov = &vec->iovs[n++];
165e18a033bSKonstantin Ananyev
166e18a033bSKonstantin Ananyev            iov->iov_base = (void *) in->buf->pos;
167e18a033bSKonstantin Ananyev            iov->iov_len = size;
168e18a033bSKonstantin Ananyev        }
169e18a033bSKonstantin Ananyev
170e18a033bSKonstantin Ananyev        prev = in->buf->pos + size;
171e18a033bSKonstantin Ananyev        total += size;
172e18a033bSKonstantin Ananyev    }
173e18a033bSKonstantin Ananyev
174e18a033bSKonstantin Ananyev    vec->count = n;
175e18a033bSKonstantin Ananyev    vec->size = total;
176e18a033bSKonstantin Ananyev
177e18a033bSKonstantin Ananyev    return in;
178e18a033bSKonstantin Ananyev}
179e18a033bSKonstantin Ananyev
180e18a033bSKonstantin Ananyev
181e18a033bSKonstantin Ananyevssize_t
182e18a033bSKonstantin Ananyevngx_writev(ngx_connection_t *c, ngx_iovec_t *vec)
183e18a033bSKonstantin Ananyev{
184e18a033bSKonstantin Ananyev    ssize_t    n;
185e18a033bSKonstantin Ananyev    ngx_err_t  err;
186e18a033bSKonstantin Ananyev
187e18a033bSKonstantin Ananyeveintr:
188e18a033bSKonstantin Ananyev
189e18a033bSKonstantin Ananyev    n = writev(c->fd, vec->iovs, vec->count);
190e18a033bSKonstantin Ananyev
191e18a033bSKonstantin Ananyev    ngx_log_debug2(NGX_LOG_DEBUG_EVENT, c->log, 0,
192e18a033bSKonstantin Ananyev                   "writev: %z of %uz", n, vec->size);
193e18a033bSKonstantin Ananyev
194e18a033bSKonstantin Ananyev    if (n == -1) {
195e18a033bSKonstantin Ananyev        err = ngx_errno;
196e18a033bSKonstantin Ananyev
197e18a033bSKonstantin Ananyev        switch (err) {
198e18a033bSKonstantin Ananyev        case NGX_EAGAIN:
199e18a033bSKonstantin Ananyev            ngx_log_debug0(NGX_LOG_DEBUG_EVENT, c->log, err,
200e18a033bSKonstantin Ananyev                           "writev() not ready");
201e18a033bSKonstantin Ananyev            return NGX_AGAIN;
202e18a033bSKonstantin Ananyev
203e18a033bSKonstantin Ananyev        case NGX_EINTR:
204e18a033bSKonstantin Ananyev            ngx_log_debug0(NGX_LOG_DEBUG_EVENT, c->log, err,
205e18a033bSKonstantin Ananyev                           "writev() was interrupted");
206e18a033bSKonstantin Ananyev            goto eintr;
207e18a033bSKonstantin Ananyev
208e18a033bSKonstantin Ananyev        default:
209e18a033bSKonstantin Ananyev            c->write->error = 1;
210e18a033bSKonstantin Ananyev            ngx_connection_error(c, err, "writev() failed");
211e18a033bSKonstantin Ananyev            return NGX_ERROR;
212e18a033bSKonstantin Ananyev        }
213e18a033bSKonstantin Ananyev    }
214e18a033bSKonstantin Ananyev
215e18a033bSKonstantin Ananyev    return n;
216e18a033bSKonstantin Ananyev}
217