]> sjero.net Git - wget/blob - src/openssl.c
openssl: Retry to read if a non-blocking socket returns immediately.
[wget] / src / openssl.c
1 /* SSL support via OpenSSL library.
2    Copyright (C) 2000, 2001, 2002, 2003, 2004, 2005, 2006, 2007, 2008,
3    2009, 2010, 2011 Free Software Foundation, Inc.
4    Originally contributed by Christian Fraenkel.
5
6 This file is part of GNU Wget.
7
8 GNU Wget is free software; you can redistribute it and/or modify
9 it under the terms of the GNU General Public License as published by
10 the Free Software Foundation; either version 3 of the License, or
11 (at your option) any later version.
12
13 GNU Wget is distributed in the hope that it will be useful,
14 but WITHOUT ANY WARRANTY; without even the implied warranty of
15 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
16 GNU General Public License for more details.
17
18 You should have received a copy of the GNU General Public License
19 along with Wget.  If not, see <http://www.gnu.org/licenses/>.
20
21 Additional permission under GNU GPL version 3 section 7
22
23 If you modify this program, or any covered work, by linking or
24 combining it with the OpenSSL project's OpenSSL library (or a
25 modified version of that library), containing parts covered by the
26 terms of the OpenSSL or SSLeay licenses, the Free Software Foundation
27 grants you additional permission to convey the resulting work.
28 Corresponding Source for a non-source form of such a combination
29 shall include the source code for the parts of OpenSSL used as well
30 as that of the covered work.  */
31
32 #include "wget.h"
33
34 #include <assert.h>
35 #include <errno.h>
36 #include <unistd.h>
37 #include <string.h>
38
39 #include <openssl/ssl.h>
40 #include <openssl/x509v3.h>
41 #include <openssl/err.h>
42 #include <openssl/rand.h>
43
44 #include "utils.h"
45 #include "connect.h"
46 #include "url.h"
47 #include "ssl.h"
48
49 #ifdef WINDOWS
50 # include <w32sock.h>
51 #endif
52
53 /* Application-wide SSL context.  This is common to all SSL
54    connections.  */
55 static SSL_CTX *ssl_ctx;
56
57 /* Initialize the SSL's PRNG using various methods. */
58
59 static void
60 init_prng (void)
61 {
62   char namebuf[256];
63   const char *random_file;
64
65   if (RAND_status ())
66     /* The PRNG has been seeded; no further action is necessary. */
67     return;
68
69   /* Seed from a file specified by the user.  This will be the file
70      specified with --random-file, $RANDFILE, if set, or ~/.rnd, if it
71      exists.  */
72   if (opt.random_file)
73     random_file = opt.random_file;
74   else
75     {
76       /* Get the random file name using RAND_file_name. */
77       namebuf[0] = '\0';
78       random_file = RAND_file_name (namebuf, sizeof (namebuf));
79     }
80
81   if (random_file && *random_file)
82     /* Seed at most 16k (apparently arbitrary value borrowed from
83        curl) from random file. */
84     RAND_load_file (random_file, 16384);
85
86   if (RAND_status ())
87     return;
88
89   /* Get random data from EGD if opt.egd_file was used.  */
90   if (opt.egd_file && *opt.egd_file)
91     RAND_egd (opt.egd_file);
92
93   if (RAND_status ())
94     return;
95
96 #ifdef WINDOWS
97   /* Under Windows, we can try to seed the PRNG using screen content.
98      This may or may not work, depending on whether we'll calling Wget
99      interactively.  */
100
101   RAND_screen ();
102   if (RAND_status ())
103     return;
104 #endif
105
106 #if 0 /* don't do this by default */
107   {
108     int maxrand = 500;
109
110     /* Still not random enough, presumably because neither /dev/random
111        nor EGD were available.  Try to seed OpenSSL's PRNG with libc
112        PRNG.  This is cryptographically weak and defeats the purpose
113        of using OpenSSL, which is why it is highly discouraged.  */
114
115     logprintf (LOG_NOTQUIET, _("WARNING: using a weak random seed.\n"));
116
117     while (RAND_status () == 0 && maxrand-- > 0)
118       {
119         unsigned char rnd = random_number (256);
120         RAND_seed (&rnd, sizeof (rnd));
121       }
122   }
123 #endif
124 }
125
126 /* Print errors in the OpenSSL error stack. */
127
128 static void
129 print_errors (void)
130 {
131   unsigned long err;
132   while ((err = ERR_get_error ()) != 0)
133     logprintf (LOG_NOTQUIET, "OpenSSL: %s\n", ERR_error_string (err, NULL));
134 }
135
136 /* Convert keyfile type as used by options.h to a type as accepted by
137    SSL_CTX_use_certificate_file and SSL_CTX_use_PrivateKey_file.
138
139    (options.h intentionally doesn't use values from openssl/ssl.h so
140    it doesn't depend specifically on OpenSSL for SSL functionality.)  */
141
142 static int
143 key_type_to_ssl_type (enum keyfile_type type)
144 {
145   switch (type)
146     {
147     case keyfile_pem:
148       return SSL_FILETYPE_PEM;
149     case keyfile_asn1:
150       return SSL_FILETYPE_ASN1;
151     default:
152       abort ();
153     }
154 }
155
156 /* Create an SSL Context and set default paths etc.  Called the first
157    time an HTTP download is attempted.
158
159    Returns true on success, false otherwise.  */
160
161 bool
162 ssl_init ()
163 {
164   SSL_METHOD *meth;
165
166   if (ssl_ctx)
167     /* The SSL has already been initialized. */
168     return true;
169
170   /* Init the PRNG.  If that fails, bail out.  */
171   init_prng ();
172   if (RAND_status () != 1)
173     {
174       logprintf (LOG_NOTQUIET,
175                  _("Could not seed PRNG; consider using --random-file.\n"));
176       goto error;
177     }
178
179   SSL_library_init ();
180   SSL_load_error_strings ();
181   SSLeay_add_all_algorithms ();
182   SSLeay_add_ssl_algorithms ();
183
184   switch (opt.secure_protocol)
185     {
186     case secure_protocol_auto:
187       meth = SSLv23_client_method ();
188       break;
189     case secure_protocol_sslv2:
190       meth = SSLv2_client_method ();
191       break;
192     case secure_protocol_sslv3:
193       meth = SSLv3_client_method ();
194       break;
195     case secure_protocol_tlsv1:
196       meth = TLSv1_client_method ();
197       break;
198     default:
199       abort ();
200     }
201
202   ssl_ctx = SSL_CTX_new (meth);
203   if (!ssl_ctx)
204     goto error;
205
206   SSL_CTX_set_default_verify_paths (ssl_ctx);
207   SSL_CTX_load_verify_locations (ssl_ctx, opt.ca_cert, opt.ca_directory);
208
209   /* SSL_VERIFY_NONE instructs OpenSSL not to abort SSL_connect if the
210      certificate is invalid.  We verify the certificate separately in
211      ssl_check_certificate, which provides much better diagnostics
212      than examining the error stack after a failed SSL_connect.  */
213   SSL_CTX_set_verify (ssl_ctx, SSL_VERIFY_NONE, NULL);
214
215   /* Use the private key from the cert file unless otherwise specified. */
216   if (opt.cert_file && !opt.private_key)
217     {
218       opt.private_key = opt.cert_file;
219       opt.private_key_type = opt.cert_type;
220     }
221
222   if (opt.cert_file)
223     if (SSL_CTX_use_certificate_file (ssl_ctx, opt.cert_file,
224                                       key_type_to_ssl_type (opt.cert_type))
225         != 1)
226       goto error;
227   if (opt.private_key)
228     if (SSL_CTX_use_PrivateKey_file (ssl_ctx, opt.private_key,
229                                      key_type_to_ssl_type (opt.private_key_type))
230         != 1)
231       goto error;
232
233   /* Since fd_write unconditionally assumes partial writes (and
234      handles them correctly), allow them in OpenSSL.  */
235   SSL_CTX_set_mode (ssl_ctx, SSL_MODE_ENABLE_PARTIAL_WRITE);
236
237   /* The OpenSSL library can handle renegotiations automatically, so
238      tell it to do so.  */
239   SSL_CTX_set_mode (ssl_ctx, SSL_MODE_AUTO_RETRY);
240
241   return true;
242
243  error:
244   if (ssl_ctx)
245     SSL_CTX_free (ssl_ctx);
246   print_errors ();
247   return false;
248 }
249
250 struct openssl_transport_context {
251   SSL *conn;                    /* SSL connection handle */
252   char *last_error;             /* last error printed with openssl_errstr */
253 };
254
255 static int
256 openssl_read (int fd, char *buf, int bufsize, void *arg)
257 {
258   int ret;
259   struct openssl_transport_context *ctx = arg;
260   SSL *conn = ctx->conn;
261   do
262     ret = SSL_read (conn, buf, bufsize);
263   while (ret == -1
264          && (SSL_get_error (conn, ret) == SSL_ERROR_WANT_READ
265              || (SSL_get_error (conn, ret) == SSL_ERROR_SYSCALL
266                  && errno == EINTR)));
267
268   return ret;
269 }
270
271 static int
272 openssl_write (int fd, char *buf, int bufsize, void *arg)
273 {
274   int ret = 0;
275   struct openssl_transport_context *ctx = arg;
276   SSL *conn = ctx->conn;
277   do
278     ret = SSL_write (conn, buf, bufsize);
279   while (ret == -1
280          && SSL_get_error (conn, ret) == SSL_ERROR_SYSCALL
281          && errno == EINTR);
282   return ret;
283 }
284
285 static int
286 openssl_poll (int fd, double timeout, int wait_for, void *arg)
287 {
288   struct openssl_transport_context *ctx = arg;
289   SSL *conn = ctx->conn;
290   if (timeout == 0)
291     return 1;
292   if (SSL_pending (conn))
293     return 1;
294   return select_fd (fd, timeout, wait_for);
295 }
296
297 static int
298 openssl_peek (int fd, char *buf, int bufsize, void *arg)
299 {
300   int ret;
301   struct openssl_transport_context *ctx = arg;
302   SSL *conn = ctx->conn;
303   do
304     ret = SSL_peek (conn, buf, bufsize);
305   while (ret == -1
306          && SSL_get_error (conn, ret) == SSL_ERROR_SYSCALL
307          && errno == EINTR);
308   return ret;
309 }
310
311 static const char *
312 openssl_errstr (int fd, void *arg)
313 {
314   struct openssl_transport_context *ctx = arg;
315   unsigned long errcode;
316   char *errmsg = NULL;
317   int msglen = 0;
318
319   /* If there are no SSL-specific errors, just return NULL. */
320   if ((errcode = ERR_get_error ()) == 0)
321     return NULL;
322
323   /* Get rid of previous contents of ctx->last_error, if any.  */
324   xfree_null (ctx->last_error);
325
326   /* Iterate over OpenSSL's error stack and accumulate errors in the
327      last_error buffer, separated by "; ".  This is better than using
328      a static buffer, which *always* takes up space (and has to be
329      large, to fit more than one error message), whereas these
330      allocations are only performed when there is an actual error.  */
331
332   for (;;)
333     {
334       const char *str = ERR_error_string (errcode, NULL);
335       int len = strlen (str);
336
337       /* Allocate space for the existing message, plus two more chars
338          for the "; " separator and one for the terminating \0.  */
339       errmsg = xrealloc (errmsg, msglen + len + 2 + 1);
340       memcpy (errmsg + msglen, str, len);
341       msglen += len;
342
343       /* Get next error and bail out if there are no more. */
344       errcode = ERR_get_error ();
345       if (errcode == 0)
346         break;
347
348       errmsg[msglen++] = ';';
349       errmsg[msglen++] = ' ';
350     }
351   errmsg[msglen] = '\0';
352
353   /* Store the error in ctx->last_error where openssl_close will
354      eventually find it and free it.  */
355   ctx->last_error = errmsg;
356
357   return errmsg;
358 }
359
360 static void
361 openssl_close (int fd, void *arg)
362 {
363   struct openssl_transport_context *ctx = arg;
364   SSL *conn = ctx->conn;
365
366   SSL_shutdown (conn);
367   SSL_free (conn);
368   xfree_null (ctx->last_error);
369   xfree (ctx);
370
371   close (fd);
372
373   DEBUGP (("Closed %d/SSL 0x%0*lx\n", fd, PTR_FORMAT (conn)));
374 }
375
376 /* openssl_transport is the singleton that describes the SSL transport
377    methods provided by this file.  */
378
379 static struct transport_implementation openssl_transport = {
380   openssl_read, openssl_write, openssl_poll,
381   openssl_peek, openssl_errstr, openssl_close
382 };
383
384 /* Perform the SSL handshake on file descriptor FD, which is assumed
385    to be connected to an SSL server.  The SSL handle provided by
386    OpenSSL is registered with the file descriptor FD using
387    fd_register_transport, so that subsequent calls to fd_read,
388    fd_write, etc., will use the corresponding SSL functions.
389
390    Returns true on success, false on failure.  */
391
392 bool
393 ssl_connect_wget (int fd)
394 {
395   SSL *conn;
396   struct openssl_transport_context *ctx;
397
398   DEBUGP (("Initiating SSL handshake.\n"));
399
400   assert (ssl_ctx != NULL);
401   conn = SSL_new (ssl_ctx);
402   if (!conn)
403     goto error;
404 #ifndef FD_TO_SOCKET
405 # define FD_TO_SOCKET(X) (X)
406 #endif
407   if (!SSL_set_fd (conn, FD_TO_SOCKET (fd)))
408     goto error;
409   SSL_set_connect_state (conn);
410   if (SSL_connect (conn) <= 0 || conn->state != SSL_ST_OK)
411     goto error;
412
413   ctx = xnew0 (struct openssl_transport_context);
414   ctx->conn = conn;
415
416   /* Register FD with Wget's transport layer, i.e. arrange that our
417      functions are used for reading, writing, and polling.  */
418   fd_register_transport (fd, &openssl_transport, ctx);
419   DEBUGP (("Handshake successful; connected socket %d to SSL handle 0x%0*lx\n",
420            fd, PTR_FORMAT (conn)));
421   return true;
422
423  error:
424   DEBUGP (("SSL handshake failed.\n"));
425   print_errors ();
426   if (conn)
427     SSL_free (conn);
428   return false;
429 }
430
431 #define ASTERISK_EXCLUDES_DOT   /* mandated by rfc2818 */
432
433 /* Return true is STRING (case-insensitively) matches PATTERN, false
434    otherwise.  The recognized wildcard character is "*", which matches
435    any character in STRING except ".".  Any number of the "*" wildcard
436    may be present in the pattern.
437
438    This is used to match of hosts as indicated in rfc2818: "Names may
439    contain the wildcard character * which is considered to match any
440    single domain name component or component fragment. E.g., *.a.com
441    matches foo.a.com but not bar.foo.a.com. f*.com matches foo.com but
442    not bar.com [or foo.bar.com]."
443
444    If the pattern contain no wildcards, pattern_match(a, b) is
445    equivalent to !strcasecmp(a, b).  */
446
447 static bool
448 pattern_match (const char *pattern, const char *string)
449 {
450   const char *p = pattern, *n = string;
451   char c;
452   for (; (c = c_tolower (*p++)) != '\0'; n++)
453     if (c == '*')
454       {
455         for (c = c_tolower (*p); c == '*'; c = c_tolower (*++p))
456           ;
457         for (; *n != '\0'; n++)
458           if (c_tolower (*n) == c && pattern_match (p, n))
459             return true;
460 #ifdef ASTERISK_EXCLUDES_DOT
461           else if (*n == '.')
462             return false;
463 #endif
464         return c == '\0';
465       }
466     else
467       {
468         if (c != c_tolower (*n))
469           return false;
470       }
471   return *n == '\0';
472 }
473
474 /* Verify the validity of the certificate presented by the server.
475    Also check that the "common name" of the server, as presented by
476    its certificate, corresponds to HOST.  (HOST typically comes from
477    the URL and is what the user thinks he's connecting to.)
478
479    This assumes that ssl_connect_wget has successfully finished, i.e. that
480    the SSL handshake has been performed and that FD is connected to an
481    SSL handle.
482
483    If opt.check_cert is true (the default), this returns 1 if the
484    certificate is valid, 0 otherwise.  If opt.check_cert is 0, the
485    function always returns 1, but should still be called because it
486    warns the user about any problems with the certificate.  */
487
488 bool
489 ssl_check_certificate (int fd, const char *host)
490 {
491   X509 *cert;
492   GENERAL_NAMES *subjectAltNames;
493   char common_name[256];
494   long vresult;
495   bool success = true;
496   bool alt_name_checked = false;
497
498   /* If the user has specified --no-check-cert, we still want to warn
499      him about problems with the server's certificate.  */
500   const char *severity = opt.check_cert ? _("ERROR") : _("WARNING");
501
502   struct openssl_transport_context *ctx = fd_transport_context (fd);
503   SSL *conn = ctx->conn;
504   assert (conn != NULL);
505
506   cert = SSL_get_peer_certificate (conn);
507   if (!cert)
508     {
509       logprintf (LOG_NOTQUIET, _("%s: No certificate presented by %s.\n"),
510                  severity, quotearg_style (escape_quoting_style, host));
511       success = false;
512       goto no_cert;             /* must bail out since CERT is NULL */
513     }
514
515   IF_DEBUG
516     {
517       char *subject = X509_NAME_oneline (X509_get_subject_name (cert), 0, 0);
518       char *issuer = X509_NAME_oneline (X509_get_issuer_name (cert), 0, 0);
519       DEBUGP (("certificate:\n  subject: %s\n  issuer:  %s\n",
520                quotearg_n_style (0, escape_quoting_style, subject),
521                quotearg_n_style (1, escape_quoting_style, issuer)));
522       OPENSSL_free (subject);
523       OPENSSL_free (issuer);
524     }
525
526   vresult = SSL_get_verify_result (conn);
527   if (vresult != X509_V_OK)
528     {
529       char *issuer = X509_NAME_oneline (X509_get_issuer_name (cert), 0, 0);
530       logprintf (LOG_NOTQUIET,
531                  _("%s: cannot verify %s's certificate, issued by %s:\n"),
532                  severity, quotearg_n_style (0, escape_quoting_style, host),
533                  quote_n (1, issuer));
534       /* Try to print more user-friendly (and translated) messages for
535          the frequent verification errors.  */
536       switch (vresult)
537         {
538         case X509_V_ERR_UNABLE_TO_GET_ISSUER_CERT_LOCALLY:
539           logprintf (LOG_NOTQUIET,
540                      _("  Unable to locally verify the issuer's authority.\n"));
541           break;
542         case X509_V_ERR_SELF_SIGNED_CERT_IN_CHAIN:
543         case X509_V_ERR_DEPTH_ZERO_SELF_SIGNED_CERT:
544           logprintf (LOG_NOTQUIET,
545                      _("  Self-signed certificate encountered.\n"));
546           break;
547         case X509_V_ERR_CERT_NOT_YET_VALID:
548           logprintf (LOG_NOTQUIET, _("  Issued certificate not yet valid.\n"));
549           break;
550         case X509_V_ERR_CERT_HAS_EXPIRED:
551           logprintf (LOG_NOTQUIET, _("  Issued certificate has expired.\n"));
552           break;
553         default:
554           /* For the less frequent error strings, simply provide the
555              OpenSSL error message.  */
556           logprintf (LOG_NOTQUIET, "  %s\n",
557                      X509_verify_cert_error_string (vresult));
558         }
559       success = false;
560       /* Fall through, so that the user is warned about *all* issues
561          with the cert (important with --no-check-certificate.)  */
562     }
563
564   /* Check that HOST matches the common name in the certificate.
565      #### The following remains to be done:
566
567      - When matching against common names, it should loop over all
568        common names and choose the most specific one, i.e. the last
569        one, not the first one, which the current code picks.
570
571      - Ensure that ASN1 strings from the certificate are encoded as
572        UTF-8 which can be meaningfully compared to HOST.  */
573
574   subjectAltNames = X509_get_ext_d2i (cert, NID_subject_alt_name, NULL, NULL);
575
576   if (subjectAltNames)
577     {
578       /* Test subject alternative names */
579
580       /* Do we want to check for dNSNAmes or ipAddresses (see RFC 2818)?
581        * Signal it by host_in_octet_string. */
582       ASN1_OCTET_STRING *host_in_octet_string = a2i_IPADDRESS (host);
583
584       int numaltnames = sk_GENERAL_NAME_num (subjectAltNames);
585       int i;
586       for (i=0; i < numaltnames; i++)
587         {
588           const GENERAL_NAME *name =
589             sk_GENERAL_NAME_value (subjectAltNames, i);
590           if (name)
591             {
592               if (host_in_octet_string)
593                 {
594                   if (name->type == GEN_IPADD)
595                     {
596                       /* Check for ipAddress */
597                       /* TODO: Should we convert between IPv4-mapped IPv6
598                        * addresses and IPv4 addresses? */
599                       alt_name_checked = true;
600                       if (!ASN1_STRING_cmp (host_in_octet_string,
601                             name->d.iPAddress))
602                         break;
603                     }
604                 }
605               else if (name->type == GEN_DNS)
606                 {
607                   /* dNSName should be IA5String (i.e. ASCII), however who
608                    * does trust CA? Convert it into UTF-8 for sure. */
609                   unsigned char *name_in_utf8 = NULL;
610
611                   /* Check for dNSName */
612                   alt_name_checked = true;
613
614                   if (0 <= ASN1_STRING_to_UTF8 (&name_in_utf8, name->d.dNSName))
615                     {
616                       /* Compare and check for NULL attack in ASN1_STRING */
617                       if (pattern_match ((char *)name_in_utf8, host) &&
618                             (strlen ((char *)name_in_utf8) ==
619                                 ASN1_STRING_length (name->d.dNSName)))
620                         {
621                           OPENSSL_free (name_in_utf8);
622                           break;
623                         }
624                       OPENSSL_free (name_in_utf8);
625                     }
626                 }
627             }
628         }
629       sk_GENERAL_NAME_free (subjectAltNames);
630       if (host_in_octet_string)
631         ASN1_OCTET_STRING_free(host_in_octet_string);
632
633       if (alt_name_checked == true && i >= numaltnames)
634         {
635           logprintf (LOG_NOTQUIET,
636               _("%s: no certificate subject alternative name matches\n"
637                 "\trequested host name %s.\n"),
638                      severity, quote_n (1, host));
639           success = false;
640         }
641     }
642   
643   if (alt_name_checked == false)
644     {
645       /* Test commomName */
646       X509_NAME *xname = X509_get_subject_name(cert);
647       common_name[0] = '\0';
648       X509_NAME_get_text_by_NID (xname, NID_commonName, common_name,
649                                  sizeof (common_name));
650
651       if (!pattern_match (common_name, host))
652         {
653           logprintf (LOG_NOTQUIET, _("\
654     %s: certificate common name %s doesn't match requested host name %s.\n"),
655                      severity, quote_n (0, common_name), quote_n (1, host));
656           success = false;
657         }
658       else
659         {
660           /* We now determine the length of the ASN1 string. If it
661            * differs from common_name's length, then there is a \0
662            * before the string terminates.  This can be an instance of a
663            * null-prefix attack.
664            *
665            * https://www.blackhat.com/html/bh-usa-09/bh-usa-09-archives.html#Marlinspike
666            * */
667
668           int i = -1, j;
669           X509_NAME_ENTRY *xentry;
670           ASN1_STRING *sdata;
671
672           if (xname) {
673             for (;;)
674               {
675                 j = X509_NAME_get_index_by_NID (xname, NID_commonName, i);
676                 if (j == -1) break;
677                 i = j;
678               }
679           }
680
681           xentry = X509_NAME_get_entry(xname,i);
682           sdata = X509_NAME_ENTRY_get_data(xentry);
683           if (strlen (common_name) != ASN1_STRING_length (sdata))
684             {
685               logprintf (LOG_NOTQUIET, _("\
686     %s: certificate common name is invalid (contains a NUL character).\n\
687     This may be an indication that the host is not who it claims to be\n\
688     (that is, it is not the real %s).\n"),
689                          severity, quote (host));
690               success = false;
691             }
692         }
693     }
694
695
696   if (success)
697     DEBUGP (("X509 certificate successfully verified and matches host %s\n",
698              quotearg_style (escape_quoting_style, host)));
699   X509_free (cert);
700
701  no_cert:
702   if (opt.check_cert && !success)
703     logprintf (LOG_NOTQUIET, _("\
704 To connect to %s insecurely, use `--no-check-certificate'.\n"),
705                quotearg_style (escape_quoting_style, host));
706
707   /* Allow --no-check-cert to disable certificate checking. */
708   return opt.check_cert ? success : true;
709 }
710
711 /*
712  * vim: tabstop=2 shiftwidth=2 softtabstop=2
713  */