sjero.net Git - wget/blob - src/main.c

   1 /* Command line parsing.
   2    Copyright (C) 2003, 2004, 2005 Free Software Foundation, Inc.
   3
   4 This file is part of GNU Wget.
   5
   6 GNU Wget is free software; you can redistribute it and/or modify
   7 it under the terms of the GNU General Public License as published by
   8 the Free Software Foundation; either version 2 of the License, or
   9 (at your option) any later version.
  10
  11 GNU Wget is distributed in the hope that it will be useful,
  12 but WITHOUT ANY WARRANTY; without even the implied warranty of
  13 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14 GNU General Public License for more details.
  15
  16 You should have received a copy of the GNU General Public License
  17 along with Wget; if not, write to the Free Software
  18 Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  19
  20 In addition, as a special exception, the Free Software Foundation
  21 gives permission to link the code of its release of Wget with the
  22 OpenSSL project's "OpenSSL" library (or with modified versions of it
  23 that use the same license as the "OpenSSL" library), and distribute
  24 the linked executables.  You must obey the GNU General Public License
  25 in all respects for all of the code used other than "OpenSSL".  If you
  26 modify this file, you may extend this exception to your version of the
  27 file, but you are not obligated to do so.  If you do not wish to do
  28 so, delete this exception statement from your version.  */
  29
  30 #include <config.h>
  31
  32 #include <stdio.h>
  33 #include <stdlib.h>
  34 #ifdef HAVE_UNISTD_H
  35 # include <unistd.h>
  36 #endif /* HAVE_UNISTD_H */
  37 #include <sys/types.h>
  38 #ifdef HAVE_STRING_H
  39 # include <string.h>
  40 #else
  41 # include <strings.h>
  42 #endif /* HAVE_STRING_H */
  43 #ifdef HAVE_SIGNAL_H
  44 # include <signal.h>
  45 #endif
  46 #ifdef HAVE_NLS
  47 #ifdef HAVE_LOCALE_H
  48 # include <locale.h>
  49 #endif /* HAVE_LOCALE_H */
  50 #endif /* HAVE_NLS */
  51 #include <assert.h>
  52
  53 #include <errno.h>
  54 #ifndef errno
  55 extern int errno;
  56 #endif
  57
  58 #include "wget.h"
  59 #include "utils.h"
  60 #include "init.h"
  61 #include "retr.h"
  62 #include "recur.h"
  63 #include "host.h"
  64 #include "url.h"
  65 #include "progress.h"           /* for progress_handle_sigwinch */
  66 #include "convert.h"
  67
  68 /* On GNU system this will include system-wide getopt.h. */
  69 #include "getopt.h"
  70
  71 #ifndef PATH_SEPARATOR
  72 # define PATH_SEPARATOR '/'
  73 #endif
  74
  75 struct options opt;
  76
  77 extern LARGE_INT total_downloaded_bytes;
  78 extern char *version_string;
  79
  80 extern struct cookie_jar *wget_cookie_jar;
  81
  82 static RETSIGTYPE redirect_output_signal PARAMS ((int));
  83
  84 const char *exec_name;
  85 \f
  86 /* Initialize I18N.  The initialization amounts to invoking
  87    setlocale(), bindtextdomain() and textdomain().
  88    Does nothing if NLS is disabled or missing.  */
  89 static void
  90 i18n_initialize (void)
  91 {
  92   /* If HAVE_NLS is defined, assume the existence of the three
  93      functions invoked here.  */
  94 #ifdef HAVE_NLS
  95   /* Set the current locale.  */
  96   /* Here we use LC_MESSAGES instead of LC_ALL, for two reasons.
  97      First, message catalogs are all of I18N Wget uses anyway.
  98      Second, setting LC_ALL has a dangerous potential of messing
  99      things up.  For example, when in a foreign locale, Solaris
 100      strptime() fails to handle international dates correctly, which
 101      makes http_atotm() malfunction.  */
 102 #ifdef LC_MESSAGES
 103   setlocale (LC_MESSAGES, "");
 104   setlocale (LC_CTYPE, "");
 105 #else
 106   setlocale (LC_ALL, "");
 107 #endif
 108   /* Set the text message domain.  */
 109   bindtextdomain ("wget", LOCALEDIR);
 110   textdomain ("wget");
 111 #endif /* HAVE_NLS */
 112 }
 113 \f
 114 /* Definition of command-line options. */
 115
 116 static void print_help PARAMS ((void));
 117 static void print_version PARAMS ((void));
 118
 119 #ifdef HAVE_SSL
 120 # define IF_SSL(x) x
 121 #else
 122 # define IF_SSL(x) NULL
 123 #endif
 124
 125 #ifdef ENABLE_DEBUG
 126 # define IF_DEBUG(x) x
 127 #else
 128 # define IF_DEBUG(x) NULL
 129 #endif
 130
 131 struct cmdline_option {
 132   const char *long_name;
 133   char short_name;
 134   enum {
 135     OPT_VALUE,
 136     OPT_BOOLEAN,
 137     OPT_FUNCALL,
 138     /* Non-standard options that have to be handled specially in
 139        main().  */
 140     OPT__APPEND_OUTPUT,
 141     OPT__CLOBBER,
 142     OPT__DONT_REMOVE_LISTING,
 143     OPT__EXECUTE,
 144     OPT__NO,
 145     OPT__PARENT,
 146   } type;
 147   const void *data;             /* for standard options */
 148   int argtype;                  /* for non-standard options */
 149 };
 150
 151 struct cmdline_option option_data[] =
 152   {
 153     { "accept", 'A', OPT_VALUE, "accept", -1 },
 154     { "append-output", 'a', OPT__APPEND_OUTPUT, NULL, required_argument },
 155     { "background", 'b', OPT_BOOLEAN, "background", -1 },
 156     { "backup-converted", 'K', OPT_BOOLEAN, "backupconverted", -1 },
 157     { "backups", 0, OPT_BOOLEAN, "backups", -1 },
 158     { "base", 'B', OPT_VALUE, "base", -1 },
 159     { "bind-address", 0, OPT_VALUE, "bindaddress", -1 },
 160     { IF_SSL ("ca-certificate"), 0, OPT_VALUE, "cacertificate", -1 },
 161     { IF_SSL ("ca-directory"), 0, OPT_VALUE, "cadirectory", -1 },
 162     { "cache", 0, OPT_BOOLEAN, "cache", -1 },
 163     { IF_SSL ("certificate"), 0, OPT_VALUE, "certificate", -1 },
 164     { IF_SSL ("certificate-type"), 0, OPT_VALUE, "certificatetype", -1 },
 165     { IF_SSL ("check-certificate"), 0, OPT_BOOLEAN, "checkcertificate", -1 },
 166     { "clobber", 0, OPT__CLOBBER, NULL, optional_argument },
 167     { "connect-timeout", 0, OPT_VALUE, "connecttimeout", -1 },
 168     { "continue", 'c', OPT_BOOLEAN, "continue", -1 },
 169     { "convert-links", 'k', OPT_BOOLEAN, "convertlinks", -1 },
 170     { "cookies", 0, OPT_BOOLEAN, "cookies", -1 },
 171     { "cut-dirs", 0, OPT_VALUE, "cutdirs", -1 },
 172     { IF_DEBUG ("debug"), 'd', OPT_BOOLEAN, "debug", -1 },
 173     { "delete-after", 0, OPT_BOOLEAN, "deleteafter", -1 },
 174     { "directories", 0, OPT_BOOLEAN, "dirstruct", -1 },
 175     { "directory-prefix", 'P', OPT_VALUE, "dirprefix", -1 },
 176     { "dns-cache", 0, OPT_BOOLEAN, "dnscache", -1 },
 177     { "dns-timeout", 0, OPT_VALUE, "dnstimeout", -1 },
 178     { "domains", 'D', OPT_VALUE, "domains", -1 },
 179     { "dont-remove-listing", 0, OPT__DONT_REMOVE_LISTING, NULL, no_argument },
 180     { "dot-style", 0, OPT_VALUE, "dotstyle", -1 },
 181     { "egd-file", 0, OPT_VALUE, "egdfile", -1 },
 182     { "exclude-directories", 'X', OPT_VALUE, "excludedirectories", -1 },
 183     { "exclude-domains", 0, OPT_VALUE, "excludedomains", -1 },
 184     { "execute", 'e', OPT__EXECUTE, NULL, required_argument },
 185     { "follow-ftp", 0, OPT_BOOLEAN, "followftp", -1 },
 186     { "follow-tags", 0, OPT_VALUE, "followtags", -1 },
 187     { "force-directories", 'x', OPT_BOOLEAN, "dirstruct", -1 },
 188     { "force-html", 'F', OPT_BOOLEAN, "forcehtml", -1 },
 189     { "ftp-password", 0, OPT_VALUE, "ftppasswd", -1 },
 190     { "ftp-user", 0, OPT_VALUE, "ftpuser", -1 },
 191     { "glob", 0, OPT_BOOLEAN, "glob", -1 },
 192     { "header", 0, OPT_VALUE, "header", -1 },
 193     { "help", 'h', OPT_FUNCALL, (void *)print_help, no_argument },
 194     { "host-directories", 0, OPT_BOOLEAN, "addhostdir", -1 },
 195     { "html-extension", 'E', OPT_BOOLEAN, "htmlextension", -1 },
 196     { "htmlify", 0, OPT_BOOLEAN, "htmlify", -1 },
 197     { "http-keep-alive", 0, OPT_BOOLEAN, "httpkeepalive", -1 },
 198     { "http-passwd", 0, OPT_VALUE, "httppasswd", -1 }, /* deprecated */
 199     { "http-password", 0, OPT_VALUE, "httppasswd", -1 },
 200     { "http-user", 0, OPT_VALUE, "httpuser", -1 },
 201     { "ignore-length", 0, OPT_BOOLEAN, "ignorelength", -1 },
 202     { "ignore-tags", 0, OPT_VALUE, "ignoretags", -1 },
 203     { "include-directories", 'I', OPT_VALUE, "includedirectories", -1 },
 204 #ifdef ENABLE_IPV6
 205     { "inet4-only", '4', OPT_BOOLEAN, "inet4only", -1 },
 206     { "inet6-only", '6', OPT_BOOLEAN, "inet6only", -1 },
 207 #endif
 208     { "input-file", 'i', OPT_VALUE, "input", -1 },
 209     { "keep-session-cookies", 0, OPT_BOOLEAN, "keepsessioncookies", -1 },
 210     { "level", 'l', OPT_VALUE, "reclevel", -1 },
 211     { "limit-rate", 0, OPT_VALUE, "limitrate", -1 },
 212     { "load-cookies", 0, OPT_VALUE, "loadcookies", -1 },
 213     { "mirror", 'm', OPT_BOOLEAN, "mirror", -1 },
 214     { "no", 'n', OPT__NO, NULL, required_argument },
 215     { "no-clobber", 0, OPT_BOOLEAN, "noclobber", -1 },
 216     { "no-parent", 0, OPT_BOOLEAN, "noparent", -1 },
 217     { "output-document", 'O', OPT_VALUE, "outputdocument", -1 },
 218     { "output-file", 'o', OPT_VALUE, "logfile", -1 },
 219     { "page-requisites", 'p', OPT_BOOLEAN, "pagerequisites", -1 },
 220     { "parent", 0, OPT__PARENT, NULL, optional_argument },
 221     { "passive-ftp", 0, OPT_BOOLEAN, "passiveftp", -1 },
 222     { "password", 0, OPT_VALUE, "password", -1 },
 223     { "post-data", 0, OPT_VALUE, "postdata", -1 },
 224     { "post-file", 0, OPT_VALUE, "postfile", -1 },
 225     { "prefer-family", 0, OPT_VALUE, "preferfamily", -1 },
 226     { "preserve-permissions", 0, OPT_BOOLEAN, "preservepermissions", -1 },
 227     { IF_SSL ("private-key"), 0, OPT_VALUE, "privatekey", -1 },
 228     { IF_SSL ("private-key-type"), 0, OPT_VALUE, "privatekeytype", -1 },
 229     { "progress", 0, OPT_VALUE, "progress", -1 },
 230     { "protocol-directories", 0, OPT_BOOLEAN, "protocoldirectories", -1 },
 231     { "proxy", 0, OPT_BOOLEAN, "useproxy", -1 },
 232     { "proxy__compat", 'Y', OPT_VALUE, "useproxy", -1 }, /* back-compatible */
 233     { "proxy-passwd", 0, OPT_VALUE, "proxypasswd", -1 }, /* deprecated */
 234     { "proxy-password", 0, OPT_VALUE, "proxypasswd", -1 },
 235     { "proxy-user", 0, OPT_VALUE, "proxyuser", -1 },
 236     { "quiet", 'q', OPT_BOOLEAN, "quiet", -1 },
 237     { "quota", 'Q', OPT_VALUE, "quota", -1 },
 238     { "random-file", 0, OPT_VALUE, "randomfile", -1 },
 239     { "random-wait", 0, OPT_BOOLEAN, "randomwait", -1 },
 240     { "read-timeout", 0, OPT_VALUE, "readtimeout", -1 },
 241     { "recursive", 'r', OPT_BOOLEAN, "recursive", -1 },
 242     { "referer", 0, OPT_VALUE, "referer", -1 },
 243     { "reject", 'R', OPT_VALUE, "reject", -1 },
 244     { "relative", 'L', OPT_BOOLEAN, "relativeonly", -1 },
 245     { "remove-listing", 0, OPT_BOOLEAN, "removelisting", -1 },
 246     { "restrict-file-names", 0, OPT_BOOLEAN, "restrictfilenames", -1 },
 247     { "retr-symlinks", 0, OPT_BOOLEAN, "retrsymlinks", -1 },
 248     { "retry-connrefused", 0, OPT_BOOLEAN, "retryconnrefused", -1 },
 249     { "save-cookies", 0, OPT_VALUE, "savecookies", -1 },
 250     { "save-headers", 0, OPT_BOOLEAN, "saveheaders", -1 },
 251     { IF_SSL ("secure-protocol"), 0, OPT_VALUE, "secureprotocol", -1 },
 252     { "server-response", 'S', OPT_BOOLEAN, "serverresponse", -1 },
 253     { "span-hosts", 'H', OPT_BOOLEAN, "spanhosts", -1 },
 254     { "spider", 0, OPT_BOOLEAN, "spider", -1 },
 255     { "strict-comments", 0, OPT_BOOLEAN, "strictcomments", -1 },
 256     { "timeout", 'T', OPT_VALUE, "timeout", -1 },
 257     { "timestamping", 'N', OPT_BOOLEAN, "timestamping", -1 },
 258     { "tries", 't', OPT_VALUE, "tries", -1 },
 259     { "user", 0, OPT_VALUE, "user", -1 },
 260     { "user-agent", 'U', OPT_VALUE, "useragent", -1 },
 261     { "verbose", 'v', OPT_BOOLEAN, "verbose", -1 },
 262     { "verbose", 0, OPT_BOOLEAN, "verbose", -1 },
 263     { "version", 'V', OPT_FUNCALL, (void *) print_version, no_argument },
 264     { "wait", 'w', OPT_VALUE, "wait", -1 },
 265     { "waitretry", 0, OPT_VALUE, "waitretry", -1 },
 266   };
 267
 268 #undef IF_DEBUG
 269 #undef IF_SSL
 270
 271 /* Return a string that contains S with "no-" prepended.  The string
 272    is NUL-terminated and allocated off static storage at Wget
 273    startup.  */
 274
 275 static char *
 276 no_prefix (const char *s)
 277 {
 278   static char buffer[1024];
 279   static char *p = buffer;
 280
 281   char *cp = p;
 282   int size = 3 + strlen (s) + 1;  /* "no-STRING\0" */
 283   if (p + size >= buffer + sizeof (buffer))
 284     abort ();
 285
 286   cp[0] = 'n', cp[1] = 'o', cp[2] = '-';
 287   strcpy (cp + 3, s);
 288   p += size;
 289   return cp;
 290 }
 291
 292 /* The arguments that that main passes to getopt_long. */
 293 static struct option long_options[2 * countof (option_data) + 1];
 294 static char short_options[128];
 295
 296 /* Mapping between short option chars and option_data indices. */
 297 static unsigned char optmap[96];
 298
 299 /* Marker for `--no-FOO' values in long_options.  */
 300 #define BOOLEAN_NEG_MARKER 1024
 301
 302 /* Initialize the long_options array used by getopt_long from the data
 303    in option_data.  */
 304
 305 static void
 306 init_switches (void)
 307 {
 308   char *p = short_options;
 309   int i, o = 0;
 310   for (i = 0; i < countof (option_data); i++)
 311     {
 312       struct cmdline_option *opt = &option_data[i];
 313       struct option *longopt;
 314
 315       if (!opt->long_name)
 316         /* The option is disabled. */
 317         continue;
 318
 319       longopt = &long_options[o++];
 320       longopt->name = opt->long_name;
 321       longopt->val = i;
 322       if (opt->short_name)
 323         {
 324           *p++ = opt->short_name;
 325           optmap[opt->short_name - 32] = longopt - long_options;
 326         }
 327       switch (opt->type)
 328         {
 329         case OPT_VALUE:
 330           longopt->has_arg = required_argument;
 331           if (opt->short_name)
 332             *p++ = ':';
 333           break;
 334         case OPT_BOOLEAN:
 335           /* Specify an optional argument for long options, so that
 336              --option=off works the same as --no-option, for
 337              compatibility with pre-1.10 Wget.  However, don't specify
 338              optional arguments short-option booleans because they
 339              prevent combining of short options.  */
 340           longopt->has_arg = optional_argument;
 341           /* For Boolean options, add the "--no-FOO" variant, which is
 342              identical to "--foo", except it has opposite meaning and
 343              it doesn't allow an argument.  */
 344           longopt = &long_options[o++];
 345           longopt->name = no_prefix (opt->long_name);
 346           longopt->has_arg = no_argument;
 347           /* Mask the value so we'll be able to recognize that we're
 348              dealing with the false value.  */
 349           longopt->val = i | BOOLEAN_NEG_MARKER;
 350           break;
 351         default:
 352           assert (opt->argtype != -1);
 353           longopt->has_arg = opt->argtype;
 354           if (opt->short_name)
 355             {
 356               if (longopt->has_arg == required_argument)
 357                 *p++ = ':';
 358               /* Don't handle optional_argument */
 359             }
 360         }
 361     }
 362   /* Terminate short_options. */
 363   *p = '\0';
 364   /* No need for xzero(long_options[o]) because its storage is static
 365      and it will be zeroed by default.  */
 366   assert (o <= countof (long_options));
 367 }
 368
 369 /* Print the usage message.  */
 370 static void
 371 print_usage (void)
 372 {
 373   printf (_("Usage: %s [OPTION]... [URL]...\n"), exec_name);
 374 }
 375
 376 /* Print the help message, describing all the available options.  If
 377    you add an option, be sure to update this list.  */
 378 static void
 379 print_help (void)
 380 {
 381   /* We split the help text this way to ease translation of individual
 382      entries.  */
 383   static const char *help[] = {
 384     "\n",
 385     N_("\
 386 Mandatory arguments to long options are mandatory for short options too.\n\n"),
 387     N_("\
 388 Startup:\n"),
 389     N_("\
 390   -V,  --version           display the version of Wget and exit.\n"),
 391     N_("\
 392   -h,  --help              print this help.\n"),
 393     N_("\
 394   -b,  --background        go to background after startup.\n"),
 395     N_("\
 396   -e,  --execute=COMMAND   execute a `.wgetrc'-style command.\n"),
 397     "\n",
 398
 399     N_("\
 400 Logging and input file:\n"),
 401     N_("\
 402   -o,  --output-file=FILE    log messages to FILE.\n"),
 403     N_("\
 404   -a,  --append-output=FILE  append messages to FILE.\n"),
 405 #ifdef ENABLE_DEBUG
 406     N_("\
 407   -d,  --debug               print lots of debugging information.\n"),
 408 #endif
 409     N_("\
 410   -q,  --quiet               quiet (no output).\n"),
 411     N_("\
 412   -v,  --verbose             be verbose (this is the default).\n"),
 413     N_("\
 414   -nv, --no-verbose          turn off verboseness, without being quiet.\n"),
 415     N_("\
 416   -i,  --input-file=FILE     download URLs found in FILE.\n"),
 417     N_("\
 418   -F,  --force-html          treat input file as HTML.\n"),
 419     N_("\
 420   -B,  --base=URL            prepends URL to relative links in -F -i file.\n"),
 421     "\n",
 422
 423     N_("\
 424 Download:\n"),
 425     N_("\
 426   -t,  --tries=NUMBER            set number of retries to NUMBER (0 unlimits).\n"),
 427     N_("\
 428        --retry-connrefused       retry even if connection is refused.\n"),
 429     N_("\
 430   -O,  --output-document=FILE    write documents to FILE.\n"),
 431     N_("\
 432   -nc, --no-clobber              skip downloads that would download to\n\
 433                                  existing files.\n"),
 434     N_("\
 435   -c,  --continue                resume getting a partially-downloaded file.\n"),
 436     N_("\
 437        --progress=TYPE           select progress gauge type.\n"),
 438     N_("\
 439   -N,  --timestamping            don't re-retrieve files unless newer than\n\
 440                                  local.\n"),
 441     N_("\
 442   -S,  --server-response         print server response.\n"),
 443     N_("\
 444        --spider                  don't download anything.\n"),
 445     N_("\
 446   -T,  --timeout=SECONDS         set all timeout values to SECONDS.\n"),
 447     N_("\
 448        --dns-timeout=SECS        set the DNS lookup timeout to SECS.\n"),
 449     N_("\
 450        --connect-timeout=SECS    set the connect timeout to SECS.\n"),
 451     N_("\
 452        --read-timeout=SECS       set the read timeout to SECS.\n"),
 453     N_("\
 454   -w,  --wait=SECONDS            wait SECONDS between retrievals.\n"),
 455     N_("\
 456        --waitretry=SECONDS       wait 1..SECONDS between retries of a retrieval.\n"),
 457     N_("\
 458        --random-wait             wait from 0...2*WAIT secs between retrievals.\n"),
 459     N_("\
 460   -Y,  --proxy                   explicitly turn on proxy.\n"),
 461     N_("\
 462        --no-proxy                explicitly turn off proxy.\n"),
 463     N_("\
 464   -Q,  --quota=NUMBER            set retrieval quota to NUMBER.\n"),
 465     N_("\
 466        --bind-address=ADDRESS    bind to ADDRESS (hostname or IP) on local host.\n"),
 467     N_("\
 468        --limit-rate=RATE         limit download rate to RATE.\n"),
 469     N_("\
 470        --no-dns-cache            disable caching DNS lookups.\n"),
 471     N_("\
 472        --restrict-file-names=OS  restrict chars in file names to ones OS allows.\n"),
 473 #ifdef ENABLE_IPV6
 474     N_("\
 475   -4,  --inet4-only              connect only to IPv4 addresses.\n"),
 476     N_("\
 477   -6,  --inet6-only              connect only to IPv6 addresses.\n"),
 478     N_("\
 479        --prefer-family=FAMILY    connect first to addresses of specified family,\n\
 480                                  one of IPv6, IPv4, or none.\n"),
 481 #endif
 482     "\n",
 483
 484     N_("\
 485 Directories:\n"),
 486     N_("\
 487   -nd, --no-directories           don't create directories.\n"),
 488     N_("\
 489   -x,  --force-directories        force creation of directories.\n"),
 490     N_("\
 491   -nH, --no-host-directories      don't create host directories.\n"),
 492     N_("\
 493        --protocol-directories     use protocol name in directories.\n"),
 494     N_("\
 495   -P,  --directory-prefix=PREFIX  save files to PREFIX/...\n"),
 496     N_("\
 497        --cut-dirs=NUMBER          ignore NUMBER remote directory components.\n"),
 498     "\n",
 499
 500     N_("\
 501 HTTP options:\n"),
 502     N_("\
 503        --http-user=USER        set http user to USER.\n"),
 504     N_("\
 505        --http-password=PASS    set http password to PASS.\n"),
 506     N_("\
 507        --no-cache              disallow server-cached data.\n"),
 508     N_("\
 509   -E,  --html-extension        save HTML documents with `.html' extension.\n"),
 510     N_("\
 511        --ignore-length         ignore `Content-Length' header field.\n"),
 512     N_("\
 513        --header=STRING         insert STRING among the headers.\n"),
 514     N_("\
 515        --proxy-user=USER       set USER as proxy username.\n"),
 516     N_("\
 517        --proxy-password=PASS   set PASS as proxy password.\n"),
 518     N_("\
 519        --referer=URL           include `Referer: URL' header in HTTP request.\n"),
 520     N_("\
 521        --save-headers          save the HTTP headers to file.\n"),
 522     N_("\
 523   -U,  --user-agent=AGENT      identify as AGENT instead of Wget/VERSION.\n"),
 524     N_("\
 525        --no-http-keep-alive    disable HTTP keep-alive (persistent connections).\n"),
 526     N_("\
 527        --no-cookies            don't use cookies.\n"),
 528     N_("\
 529        --load-cookies=FILE     load cookies from FILE before session.\n"),
 530     N_("\
 531        --save-cookies=FILE     save cookies to FILE after session.\n"),
 532     N_("\
 533        --keep-session-cookies  load and save session (non-permanent) cookies.\n"),
 534     N_("\
 535        --post-data=STRING      use the POST method; send STRING as the data.\n"),
 536     N_("\
 537        --post-file=FILE        use the POST method; send contents of FILE.\n"),
 538     "\n",
 539
 540 #ifdef HAVE_SSL
 541     N_("\
 542 HTTPS (SSL/TLS) options:\n"),
 543     N_("\
 544        --secure-protocol=PR     choose SSL protocol, one of auto, SSLv2, SSLv3,\n\
 545                                 and TLSv1.\n"),
 546     N_("\
 547        --no-check-certificate   don't validate the server's certificate.\n"),
 548     N_("\
 549        --certificate=FILE       client certificate file.\n"),
 550     N_("\
 551        --certificate-type=TYPE  client certificate type, PEM or DER.\n"),
 552     N_("\
 553        --private-key=FILE       private key file.\n"),
 554     N_("\
 555        --private-key-type=TYPE  private key type, PEM or DER.\n"),
 556     N_("\
 557        --ca-certificate=FILE    file with the bundle of CA's.\n"),
 558     N_("\
 559        --ca-directory=DIR       directory where hash list of CA's is stored.\n"),
 560     N_("\
 561        --random-file=FILE       file with random data for seeding the SSL PRNG.\n"),
 562     N_("\
 563        --egd-file=FILE          file naming the EGD socket with random data.\n"),
 564     "\n",
 565 #endif /* HAVE_SSL */
 566
 567     N_("\
 568 FTP options:\n"),
 569     N_("\
 570        --ftp-user=USER         set ftp user to USER.\n"),
 571     N_("\
 572        --ftp-password=PASS     set ftp password to PASS.\n"),
 573     N_("\
 574        --no-remove-listing     don't remove `.listing' files.\n"),
 575     N_("\
 576        --no-glob               turn off FTP file name globbing.\n"),
 577     N_("\
 578        --no-passive-ftp        disable the \"passive\" transfer mode.\n"),
 579     N_("\
 580        --retr-symlinks         when recursing, get linked-to files (not dir).\n"),
 581     N_("\
 582        --preserve-permissions  preserve remote file permissions.\n"),
 583     "\n",
 584
 585     N_("\
 586 Recursive download:\n"),
 587     N_("\
 588   -r,  --recursive          specify recursive download.\n"),
 589     N_("\
 590   -l,  --level=NUMBER       maximum recursion depth (inf or 0 for infinite).\n"),
 591     N_("\
 592        --delete-after       delete files locally after downloading them.\n"),
 593     N_("\
 594   -k,  --convert-links      make links in downloaded HTML point to local files.\n"),
 595     N_("\
 596   -K,  --backup-converted   before converting file X, back up as X.orig.\n"),
 597     N_("\
 598   -m,  --mirror             shortcut option equivalent to -r -N -l inf -nr.\n"),
 599     N_("\
 600   -p,  --page-requisites    get all images, etc. needed to display HTML page.\n"),
 601     N_("\
 602        --strict-comments    turn on strict (SGML) handling of HTML comments.\n"),
 603     "\n",
 604
 605     N_("\
 606 Recursive accept/reject:\n"),
 607     N_("\
 608   -A,  --accept=LIST               comma-separated list of accepted extensions.\n"),
 609     N_("\
 610   -R,  --reject=LIST               comma-separated list of rejected extensions.\n"),
 611     N_("\
 612   -D,  --domains=LIST              comma-separated list of accepted domains.\n"),
 613     N_("\
 614        --exclude-domains=LIST      comma-separated list of rejected domains.\n"),
 615     N_("\
 616        --follow-ftp                follow FTP links from HTML documents.\n"),
 617     N_("\
 618        --follow-tags=LIST          comma-separated list of followed HTML tags.\n"),
 619     N_("\
 620        --ignore-tags=LIST          comma-separated list of ignored HTML tags.\n"),
 621     N_("\
 622   -H,  --span-hosts                go to foreign hosts when recursive.\n"),
 623     N_("\
 624   -L,  --relative                  follow relative links only.\n"),
 625     N_("\
 626   -I,  --include-directories=LIST  list of allowed directories.\n"),
 627     N_("\
 628   -X,  --exclude-directories=LIST  list of excluded directories.\n"),
 629     N_("\
 630   -np, --no-parent                 don't ascend to the parent directory.\n"),
 631     "\n",
 632
 633     N_("Mail bug reports and suggestions to <bug-wget@gnu.org>.\n")
 634   };
 635
 636   int i;
 637
 638   printf (_("GNU Wget %s, a non-interactive network retriever.\n"),
 639           version_string);
 640   print_usage ();
 641
 642   for (i = 0; i < countof (help); i++)
 643     fputs (_(help[i]), stdout);
 644
 645   exit (0);
 646 }
 647
 648 static void
 649 print_version (void)
 650 {
 651   printf ("GNU Wget %s\n\n", version_string);
 652   fputs (_("\
 653 Copyright (C) 2005 Free Software Foundation, Inc.\n"), stdout);
 654   fputs (_("\
 655 This program is distributed in the hope that it will be useful,\n\
 656 but WITHOUT ANY WARRANTY; without even the implied warranty of\n\
 657 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the\n\
 658 GNU General Public License for more details.\n"), stdout);
 659   fputs (_("\nOriginally written by Hrvoje Niksic <hniksic@xemacs.org>.\n"),
 660          stdout);
 661   exit (0);
 662 }
 663 \f
 664 int
 665 main (int argc, char *const *argv)
 666 {
 667   char **url, **t;
 668   int i, ret, longindex;
 669   int nurl, status;
 670   int append_to_log = 0;
 671
 672   i18n_initialize ();
 673
 674   /* Construct the name of the executable, without the directory part.  */
 675   exec_name = strrchr (argv[0], PATH_SEPARATOR);
 676   if (!exec_name)
 677     exec_name = argv[0];
 678   else
 679     ++exec_name;
 680
 681 #ifdef WINDOWS
 682   /* Drop extension (typically .EXE) from executable filename. */
 683   windows_main (&argc, (char **) argv, (char **) &exec_name);
 684 #endif
 685
 686   /* Set option defaults; read the system wgetrc and ~/.wgetrc.  */
 687   initialize ();
 688
 689   init_switches ();
 690   longindex = -1;
 691   while ((ret = getopt_long (argc, argv,
 692                              short_options, long_options, &longindex)) != -1)
 693     {
 694       int val;
 695       struct cmdline_option *opt;
 696
 697       /* If LONGINDEX is unchanged, it means RET is referring a short
 698          option.  */
 699       if (longindex == -1)
 700         {
 701           if (ret == '?')
 702             {
 703               print_usage ();
 704               printf ("\n");
 705               printf (_("Try `%s --help' for more options.\n"), exec_name);
 706               exit (2);
 707             }
 708           /* Find the short option character in the mapping.  */
 709           longindex = optmap[ret - 32];
 710         }
 711       val = long_options[longindex].val;
 712
 713       /* Use the retrieved value to locate the option in the
 714          option_data array, and to see if we're dealing with the
 715          negated "--no-FOO" variant of the boolean option "--foo".  */
 716       opt = &option_data[val & ~BOOLEAN_NEG_MARKER];
 717       switch (opt->type)
 718         {
 719         case OPT_VALUE:
 720           setoptval (opt->data, optarg);
 721           break;
 722         case OPT_BOOLEAN:
 723           if (optarg)
 724             /* The user has specified a value -- use it. */
 725             setoptval (opt->data, optarg);
 726           else
 727             {
 728               /* NEG is true for `--no-FOO' style boolean options. */
 729               int neg = val & BOOLEAN_NEG_MARKER;
 730               setoptval (opt->data, neg ? "0" : "1");
 731             }
 732           break;
 733         case OPT_FUNCALL:
 734           {
 735             void (*func) PARAMS ((void)) = (void (*) PARAMS ((void))) opt->data;
 736             func ();
 737           }
 738           break;
 739         case OPT__APPEND_OUTPUT:
 740           setoptval ("logfile", optarg);
 741           append_to_log = 1;
 742           break;
 743         case OPT__EXECUTE:
 744           run_command (optarg);
 745           break;
 746         case OPT__NO:
 747           {
 748             /* We support real --no-FOO flags now, but keep these
 749                short options for convenience and backward
 750                compatibility.  */
 751             char *p;
 752             for (p = optarg; *p; p++)
 753               switch (*p)
 754                 {
 755                 case 'v':
 756                   setoptval ("verbose", "0");
 757                   break;
 758                 case 'H':
 759                   setoptval ("addhostdir", "0");
 760                   break;
 761                 case 'd':
 762                   setoptval ("dirstruct", "0");
 763                   break;
 764                 case 'c':
 765                   setoptval ("noclobber", "1");
 766                   break;
 767                 case 'p':
 768                   setoptval ("noparent", "1");
 769                   break;
 770                 default:
 771                   printf (_("%s: illegal option -- `-n%c'\n"), exec_name, *p);
 772                   print_usage ();
 773                   printf ("\n");
 774                   printf (_("Try `%s --help' for more options.\n"), exec_name);
 775                   exit (1);
 776                 }
 777             break;
 778           }
 779         case OPT__PARENT:
 780         case OPT__CLOBBER:
 781           {
 782             /* The wgetrc commands are named noparent and noclobber,
 783                so we must revert the meaning of the cmdline options
 784                before passing the value to setoptval.  */
 785             int flag = 1;
 786             if (optarg)
 787               flag = (*optarg == '1' || TOLOWER (*optarg) == 'y'
 788                       || (TOLOWER (optarg[0]) == 'o'
 789                           && TOLOWER (optarg[1]) == 'n'));
 790             setoptval (opt->type == OPT__PARENT ? "noparent" : "noclobber",
 791                        flag ? "0" : "1");
 792             break;
 793           }
 794         case OPT__DONT_REMOVE_LISTING:
 795           setoptval ("removelisting", "0");
 796           break;
 797         }
 798
 799       longindex = -1;
 800     }
 801
 802   /* All user options have now been processed, so it's now safe to do
 803      interoption dependency checks. */
 804
 805   if (opt.reclevel == 0)
 806     opt.reclevel = INFINITE_RECURSION; /* see recur.h for commentary on this */
 807
 808   if (opt.page_requisites && !opt.recursive)
 809     {
 810       /* Don't set opt.recursive here because it would confuse the FTP
 811          code.  Instead, call retrieve_tree below when either
 812          page_requisites or recursive is requested.  */
 813       opt.reclevel = 0;
 814       if (!opt.no_dirstruct)
 815         opt.dirstruct = 1;      /* normally handled by cmd_spec_recursive() */
 816     }
 817
 818   if (opt.verbose == -1)
 819     opt.verbose = !opt.quiet;
 820
 821   /* Sanity checks.  */
 822   if (opt.verbose && opt.quiet)
 823     {
 824       printf (_("Can't be verbose and quiet at the same time.\n"));
 825       print_usage ();
 826       exit (1);
 827     }
 828   if (opt.timestamping && opt.noclobber)
 829     {
 830       printf (_("\
 831 Can't timestamp and not clobber old files at the same time.\n"));
 832       print_usage ();
 833       exit (1);
 834     }
 835 #ifdef ENABLE_IPV6
 836   if (opt.ipv4_only && opt.ipv6_only)
 837     {
 838       printf (_("Cannot specify both --inet4-only and --inet6-only.\n"));
 839       print_usage ();
 840       exit (1);
 841     }
 842 #endif
 843
 844   nurl = argc - optind;
 845   if (!nurl && !opt.input_filename)
 846     {
 847       /* No URL specified.  */
 848       printf (_("%s: missing URL\n"), exec_name);
 849       print_usage ();
 850       printf ("\n");
 851       /* #### Something nicer should be printed here -- similar to the
 852          pre-1.5 `--help' page.  */
 853       printf (_("Try `%s --help' for more options.\n"), exec_name);
 854       exit (1);
 855     }
 856
 857   if (opt.background)
 858     fork_to_background ();
 859
 860   /* Initialize progress.  Have to do this after the options are
 861      processed so we know where the log file is.  */
 862   if (opt.verbose)
 863     set_progress_implementation (opt.progress_type);
 864
 865   /* Fill in the arguments.  */
 866   url = alloca_array (char *, nurl + 1);
 867   for (i = 0; i < nurl; i++, optind++)
 868     {
 869       char *rewritten = rewrite_shorthand_url (argv[optind]);
 870       if (rewritten)
 871         url[i] = rewritten;
 872       else
 873         url[i] = xstrdup (argv[optind]);
 874     }
 875   url[i] = NULL;
 876
 877   /* Initialize logging.  */
 878   log_init (opt.lfilename, append_to_log);
 879
 880   DEBUGP (("DEBUG output created by Wget %s on %s.\n\n", version_string,
 881            OS_TYPE));
 882
 883   /* Open the output filename if necessary.  */
 884   if (opt.output_document)
 885     {
 886       extern FILE *output_stream;
 887       extern int output_stream_regular;
 888
 889       if (HYPHENP (opt.output_document))
 890         output_stream = stdout;
 891       else
 892         {
 893           struct_stat st;
 894           output_stream = fopen (opt.output_document,
 895                                  opt.always_rest ? "ab" : "wb");
 896           if (output_stream == NULL)
 897             {
 898               perror (opt.output_document);
 899               exit (1);
 900             }
 901           if (fstat (fileno (output_stream), &st) == 0 && S_ISREG (st.st_mode))
 902             output_stream_regular = 1;
 903         }
 904     }
 905
 906 #ifdef WINDOWS
 907   ws_startup ();
 908 #endif
 909
 910   /* Setup the signal handler to redirect output when hangup is
 911      received.  */
 912 #ifdef HAVE_SIGNAL
 913   if (signal(SIGHUP, SIG_IGN) != SIG_IGN)
 914     signal(SIGHUP, redirect_output_signal);
 915   /* ...and do the same for SIGUSR1.  */
 916   signal (SIGUSR1, redirect_output_signal);
 917   /* Writing to a closed socket normally signals SIGPIPE, and the
 918      process exits.  What we want is to ignore SIGPIPE and just check
 919      for the return value of write().  */
 920   signal (SIGPIPE, SIG_IGN);
 921 #ifdef SIGWINCH
 922   signal (SIGWINCH, progress_handle_sigwinch);
 923 #endif
 924 #endif /* HAVE_SIGNAL */
 925
 926   status = RETROK;              /* initialize it, just-in-case */
 927   /* Retrieve the URLs from argument list.  */
 928   for (t = url; *t; t++)
 929     {
 930       char *filename = NULL, *redirected_URL = NULL;
 931       int dt;
 932
 933       if ((opt.recursive || opt.page_requisites)
 934           && url_scheme (*t) != SCHEME_FTP)
 935         status = retrieve_tree (*t);
 936       else
 937         status = retrieve_url (*t, &filename, &redirected_URL, NULL, &dt);
 938
 939       if (opt.delete_after && file_exists_p(filename))
 940         {
 941           DEBUGP (("Removing file due to --delete-after in main():\n"));
 942           logprintf (LOG_VERBOSE, _("Removing %s.\n"), filename);
 943           if (unlink (filename))
 944             logprintf (LOG_NOTQUIET, "unlink: %s\n", strerror (errno));
 945         }
 946
 947       xfree_null (redirected_URL);
 948       xfree_null (filename);
 949     }
 950
 951   /* And then from the input file, if any.  */
 952   if (opt.input_filename)
 953     {
 954       int count;
 955       status = retrieve_from_file (opt.input_filename, opt.force_html, &count);
 956       if (!count)
 957         logprintf (LOG_NOTQUIET, _("No URLs found in %s.\n"),
 958                    opt.input_filename);
 959     }
 960   /* Print the downloaded sum.  */
 961   if (opt.recursive || opt.page_requisites
 962       || nurl > 1
 963       || (opt.input_filename && total_downloaded_bytes != 0))
 964     {
 965       logprintf (LOG_NOTQUIET,
 966                  _("\nFINISHED --%s--\nDownloaded: %s bytes in %d files\n"),
 967                  time_str (NULL), with_thousand_seps_large (total_downloaded_bytes),
 968                  opt.numurls);
 969       /* Print quota warning, if exceeded.  */
 970       if (opt.quota && total_downloaded_bytes > opt.quota)
 971         logprintf (LOG_NOTQUIET,
 972                    _("Download quota (%s bytes) EXCEEDED!\n"),
 973                    with_thousand_seps_large (opt.quota));
 974     }
 975
 976   if (opt.cookies_output)
 977     save_cookies ();
 978
 979   if (opt.convert_links && !opt.delete_after)
 980     convert_all_links ();
 981
 982   log_close ();
 983   for (i = 0; i < nurl; i++)
 984     xfree (url[i]);
 985   cleanup ();
 986
 987 #ifdef DEBUG_MALLOC
 988   print_malloc_debug_stats ();
 989 #endif
 990   if (status == RETROK)
 991     return 0;
 992   else
 993     return 1;
 994 }
 995 \f
 996 #ifdef HAVE_SIGNAL
 997 /* Hangup signal handler.  When wget receives SIGHUP or SIGUSR1, it
 998    will proceed operation as usual, trying to write into a log file.
 999    If that is impossible, the output will be turned off.
1000
1001    #### It is unsafe to do call libc functions from a signal handler.
1002    What we should do is, set a global variable, and have the code in
1003    log.c pick it up.  */
1004
1005 static RETSIGTYPE
1006 redirect_output_signal (int sig)
1007 {
1008   const char *signal_name = (sig == SIGHUP ? "SIGHUP" :
1009                              (sig == SIGUSR1 ? "SIGUSR1" :
1010                               "WTF?!"));
1011   log_request_redirect_output (signal_name);
1012   progress_schedule_redirect ();
1013   signal (sig, redirect_output_signal);
1014 }
1015 #endif /* HAVE_SIGNAL */