sjero.net Git - wget/blob - src/main.c

   1 /* Command line parsing.
   2    Copyright (C) 2003, 2004, 2005 Free Software Foundation, Inc.
   3
   4 This file is part of GNU Wget.
   5
   6 GNU Wget is free software; you can redistribute it and/or modify
   7 it under the terms of the GNU General Public License as published by
   8 the Free Software Foundation; either version 2 of the License, or
   9 (at your option) any later version.
  10
  11 GNU Wget is distributed in the hope that it will be useful,
  12 but WITHOUT ANY WARRANTY; without even the implied warranty of
  13 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14 GNU General Public License for more details.
  15
  16 You should have received a copy of the GNU General Public License
  17 along with Wget; if not, write to the Free Software
  18 Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  19
  20 In addition, as a special exception, the Free Software Foundation
  21 gives permission to link the code of its release of Wget with the
  22 OpenSSL project's "OpenSSL" library (or with modified versions of it
  23 that use the same license as the "OpenSSL" library), and distribute
  24 the linked executables.  You must obey the GNU General Public License
  25 in all respects for all of the code used other than "OpenSSL".  If you
  26 modify this file, you may extend this exception to your version of the
  27 file, but you are not obligated to do so.  If you do not wish to do
  28 so, delete this exception statement from your version.  */
  29
  30 #include <config.h>
  31
  32 #include <stdio.h>
  33 #include <stdlib.h>
  34 #ifdef HAVE_UNISTD_H
  35 # include <unistd.h>
  36 #endif /* HAVE_UNISTD_H */
  37 #include <string.h>
  38 #include <signal.h>
  39 #ifdef HAVE_NLS
  40 #ifdef HAVE_LOCALE_H
  41 # include <locale.h>
  42 #endif /* HAVE_LOCALE_H */
  43 #endif /* HAVE_NLS */
  44 #include <assert.h>
  45 #include <errno.h>
  46
  47 #include "wget.h"
  48 #include "utils.h"
  49 #include "init.h"
  50 #include "retr.h"
  51 #include "recur.h"
  52 #include "host.h"
  53 #include "url.h"
  54 #include "progress.h"           /* for progress_handle_sigwinch */
  55 #include "convert.h"
  56
  57 /* On GNU system this will include system-wide getopt.h. */
  58 #include "getopt.h"
  59
  60 #ifndef PATH_SEPARATOR
  61 # define PATH_SEPARATOR '/'
  62 #endif
  63
  64 struct options opt;
  65
  66 extern LARGE_INT total_downloaded_bytes;
  67 extern char *version_string;
  68
  69 extern struct cookie_jar *wget_cookie_jar;
  70
  71 static void redirect_output_signal (int);
  72
  73 const char *exec_name;
  74 \f
  75 /* Initialize I18N/L10N.  That amounts to invoking setlocale, and
  76    setting up gettext's message catalog using bindtextdomain and
  77    textdomain.  Does nothing if NLS is disabled or missing.  */
  78
  79 static void
  80 i18n_initialize (void)
  81 {
  82   /* HAVE_NLS implies existence of functions invoked here.  */
  83 #ifdef HAVE_NLS
  84   /* Set the current locale.  */
  85   /* Where possible, sets only LC_MESSAGES and LC_CTYPE.  Other
  86      categories, such as numeric, time, or collation, break code that
  87      parses data received from the network and relies on C-locale
  88      behavior of libc functions.  For example, Solaris strptime fails
  89      to recognize English month names in non-English locales, which
  90      breaks http_atotm.  Some implementations of fnmatch perform
  91      unwanted case folding in non-C locales.  ctype macros, while they
  92      were used, provided another example against LC_ALL.  */
  93 #if defined(LC_MESSAGES) && defined(LC_CTYPE)
  94   setlocale (LC_MESSAGES, "");
  95   setlocale (LC_CTYPE, "");     /* safe because we use safe-ctype */
  96 #else
  97   setlocale (LC_ALL, "");
  98 #endif
  99   /* Set the text message domain.  */
 100   bindtextdomain ("wget", LOCALEDIR);
 101   textdomain ("wget");
 102 #endif /* HAVE_NLS */
 103 }
 104 \f
 105 /* Definition of command-line options. */
 106
 107 static void print_help (void);
 108 static void print_version (void);
 109
 110 #ifdef HAVE_SSL
 111 # define IF_SSL(x) x
 112 #else
 113 # define IF_SSL(x) NULL
 114 #endif
 115
 116 #ifdef ENABLE_DEBUG
 117 # define IF_DEBUG(x) x
 118 #else
 119 # define IF_DEBUG(x) NULL
 120 #endif
 121
 122 struct cmdline_option {
 123   const char *long_name;
 124   char short_name;
 125   enum {
 126     OPT_VALUE,
 127     OPT_BOOLEAN,
 128     OPT_FUNCALL,
 129     /* Non-standard options that have to be handled specially in
 130        main().  */
 131     OPT__APPEND_OUTPUT,
 132     OPT__CLOBBER,
 133     OPT__DONT_REMOVE_LISTING,
 134     OPT__EXECUTE,
 135     OPT__NO,
 136     OPT__PARENT
 137   } type;
 138   const void *data;             /* for standard options */
 139   int argtype;                  /* for non-standard options */
 140 };
 141
 142 struct cmdline_option option_data[] =
 143   {
 144     { "accept", 'A', OPT_VALUE, "accept", -1 },
 145     { "append-output", 'a', OPT__APPEND_OUTPUT, NULL, required_argument },
 146     { "background", 'b', OPT_BOOLEAN, "background", -1 },
 147     { "backup-converted", 'K', OPT_BOOLEAN, "backupconverted", -1 },
 148     { "backups", 0, OPT_BOOLEAN, "backups", -1 },
 149     { "base", 'B', OPT_VALUE, "base", -1 },
 150     { "bind-address", 0, OPT_VALUE, "bindaddress", -1 },
 151     { IF_SSL ("ca-certificate"), 0, OPT_VALUE, "cacertificate", -1 },
 152     { IF_SSL ("ca-directory"), 0, OPT_VALUE, "cadirectory", -1 },
 153     { "cache", 0, OPT_BOOLEAN, "cache", -1 },
 154     { IF_SSL ("certificate"), 0, OPT_VALUE, "certificate", -1 },
 155     { IF_SSL ("certificate-type"), 0, OPT_VALUE, "certificatetype", -1 },
 156     { IF_SSL ("check-certificate"), 0, OPT_BOOLEAN, "checkcertificate", -1 },
 157     { "clobber", 0, OPT__CLOBBER, NULL, optional_argument },
 158     { "connect-timeout", 0, OPT_VALUE, "connecttimeout", -1 },
 159     { "continue", 'c', OPT_BOOLEAN, "continue", -1 },
 160     { "convert-links", 'k', OPT_BOOLEAN, "convertlinks", -1 },
 161     { "cookies", 0, OPT_BOOLEAN, "cookies", -1 },
 162     { "cut-dirs", 0, OPT_VALUE, "cutdirs", -1 },
 163     { IF_DEBUG ("debug"), 'd', OPT_BOOLEAN, "debug", -1 },
 164     { "delete-after", 0, OPT_BOOLEAN, "deleteafter", -1 },
 165     { "directories", 0, OPT_BOOLEAN, "dirstruct", -1 },
 166     { "directory-prefix", 'P', OPT_VALUE, "dirprefix", -1 },
 167     { "dns-cache", 0, OPT_BOOLEAN, "dnscache", -1 },
 168     { "dns-timeout", 0, OPT_VALUE, "dnstimeout", -1 },
 169     { "domains", 'D', OPT_VALUE, "domains", -1 },
 170     { "dont-remove-listing", 0, OPT__DONT_REMOVE_LISTING, NULL, no_argument },
 171     { "dot-style", 0, OPT_VALUE, "dotstyle", -1 },
 172     { "egd-file", 0, OPT_VALUE, "egdfile", -1 },
 173     { "exclude-directories", 'X', OPT_VALUE, "excludedirectories", -1 },
 174     { "exclude-domains", 0, OPT_VALUE, "excludedomains", -1 },
 175     { "execute", 'e', OPT__EXECUTE, NULL, required_argument },
 176     { "follow-ftp", 0, OPT_BOOLEAN, "followftp", -1 },
 177     { "follow-tags", 0, OPT_VALUE, "followtags", -1 },
 178     { "force-directories", 'x', OPT_BOOLEAN, "dirstruct", -1 },
 179     { "force-html", 'F', OPT_BOOLEAN, "forcehtml", -1 },
 180     { "ftp-password", 0, OPT_VALUE, "ftppassword", -1 },
 181     { "ftp-user", 0, OPT_VALUE, "ftpuser", -1 },
 182     { "glob", 0, OPT_BOOLEAN, "glob", -1 },
 183     { "header", 0, OPT_VALUE, "header", -1 },
 184     { "help", 'h', OPT_FUNCALL, (void *)print_help, no_argument },
 185     { "host-directories", 0, OPT_BOOLEAN, "addhostdir", -1 },
 186     { "html-extension", 'E', OPT_BOOLEAN, "htmlextension", -1 },
 187     { "htmlify", 0, OPT_BOOLEAN, "htmlify", -1 },
 188     { "http-keep-alive", 0, OPT_BOOLEAN, "httpkeepalive", -1 },
 189     { "http-passwd", 0, OPT_VALUE, "httppassword", -1 }, /* deprecated */
 190     { "http-password", 0, OPT_VALUE, "httppassword", -1 },
 191     { "http-user", 0, OPT_VALUE, "httpuser", -1 },
 192     { "ignore-length", 0, OPT_BOOLEAN, "ignorelength", -1 },
 193     { "ignore-tags", 0, OPT_VALUE, "ignoretags", -1 },
 194     { "include-directories", 'I', OPT_VALUE, "includedirectories", -1 },
 195 #ifdef ENABLE_IPV6
 196     { "inet4-only", '4', OPT_BOOLEAN, "inet4only", -1 },
 197     { "inet6-only", '6', OPT_BOOLEAN, "inet6only", -1 },
 198 #endif
 199     { "input-file", 'i', OPT_VALUE, "input", -1 },
 200     { "keep-session-cookies", 0, OPT_BOOLEAN, "keepsessioncookies", -1 },
 201     { "level", 'l', OPT_VALUE, "reclevel", -1 },
 202     { "limit-rate", 0, OPT_VALUE, "limitrate", -1 },
 203     { "load-cookies", 0, OPT_VALUE, "loadcookies", -1 },
 204     { "mirror", 'm', OPT_BOOLEAN, "mirror", -1 },
 205     { "no", 'n', OPT__NO, NULL, required_argument },
 206     { "no-clobber", 0, OPT_BOOLEAN, "noclobber", -1 },
 207     { "no-parent", 0, OPT_BOOLEAN, "noparent", -1 },
 208     { "output-document", 'O', OPT_VALUE, "outputdocument", -1 },
 209     { "output-file", 'o', OPT_VALUE, "logfile", -1 },
 210     { "page-requisites", 'p', OPT_BOOLEAN, "pagerequisites", -1 },
 211     { "parent", 0, OPT__PARENT, NULL, optional_argument },
 212     { "passive-ftp", 0, OPT_BOOLEAN, "passiveftp", -1 },
 213     { "password", 0, OPT_VALUE, "password", -1 },
 214     { "post-data", 0, OPT_VALUE, "postdata", -1 },
 215     { "post-file", 0, OPT_VALUE, "postfile", -1 },
 216     { "prefer-family", 0, OPT_VALUE, "preferfamily", -1 },
 217     { "preserve-permissions", 0, OPT_BOOLEAN, "preservepermissions", -1 },
 218     { IF_SSL ("private-key"), 0, OPT_VALUE, "privatekey", -1 },
 219     { IF_SSL ("private-key-type"), 0, OPT_VALUE, "privatekeytype", -1 },
 220     { "progress", 0, OPT_VALUE, "progress", -1 },
 221     { "protocol-directories", 0, OPT_BOOLEAN, "protocoldirectories", -1 },
 222     { "proxy", 0, OPT_BOOLEAN, "useproxy", -1 },
 223     { "proxy__compat", 'Y', OPT_VALUE, "useproxy", -1 }, /* back-compatible */
 224     { "proxy-passwd", 0, OPT_VALUE, "proxypassword", -1 }, /* deprecated */
 225     { "proxy-password", 0, OPT_VALUE, "proxypassword", -1 },
 226     { "proxy-user", 0, OPT_VALUE, "proxyuser", -1 },
 227     { "quiet", 'q', OPT_BOOLEAN, "quiet", -1 },
 228     { "quota", 'Q', OPT_VALUE, "quota", -1 },
 229     { "random-file", 0, OPT_VALUE, "randomfile", -1 },
 230     { "random-wait", 0, OPT_BOOLEAN, "randomwait", -1 },
 231     { "read-timeout", 0, OPT_VALUE, "readtimeout", -1 },
 232     { "recursive", 'r', OPT_BOOLEAN, "recursive", -1 },
 233     { "referer", 0, OPT_VALUE, "referer", -1 },
 234     { "reject", 'R', OPT_VALUE, "reject", -1 },
 235     { "relative", 'L', OPT_BOOLEAN, "relativeonly", -1 },
 236     { "remove-listing", 0, OPT_BOOLEAN, "removelisting", -1 },
 237     { "restrict-file-names", 0, OPT_BOOLEAN, "restrictfilenames", -1 },
 238     { "retr-symlinks", 0, OPT_BOOLEAN, "retrsymlinks", -1 },
 239     { "retry-connrefused", 0, OPT_BOOLEAN, "retryconnrefused", -1 },
 240     { "save-cookies", 0, OPT_VALUE, "savecookies", -1 },
 241     { "save-headers", 0, OPT_BOOLEAN, "saveheaders", -1 },
 242     { IF_SSL ("secure-protocol"), 0, OPT_VALUE, "secureprotocol", -1 },
 243     { "server-response", 'S', OPT_BOOLEAN, "serverresponse", -1 },
 244     { "span-hosts", 'H', OPT_BOOLEAN, "spanhosts", -1 },
 245     { "spider", 0, OPT_BOOLEAN, "spider", -1 },
 246     { "strict-comments", 0, OPT_BOOLEAN, "strictcomments", -1 },
 247     { "timeout", 'T', OPT_VALUE, "timeout", -1 },
 248     { "timestamping", 'N', OPT_BOOLEAN, "timestamping", -1 },
 249     { "tries", 't', OPT_VALUE, "tries", -1 },
 250     { "user", 0, OPT_VALUE, "user", -1 },
 251     { "user-agent", 'U', OPT_VALUE, "useragent", -1 },
 252     { "verbose", 'v', OPT_BOOLEAN, "verbose", -1 },
 253     { "verbose", 0, OPT_BOOLEAN, "verbose", -1 },
 254     { "version", 'V', OPT_FUNCALL, (void *) print_version, no_argument },
 255     { "wait", 'w', OPT_VALUE, "wait", -1 },
 256     { "waitretry", 0, OPT_VALUE, "waitretry", -1 },
 257   };
 258
 259 #undef IF_DEBUG
 260 #undef IF_SSL
 261
 262 /* Return a string that contains S with "no-" prepended.  The string
 263    is NUL-terminated and allocated off static storage at Wget
 264    startup.  */
 265
 266 static char *
 267 no_prefix (const char *s)
 268 {
 269   static char buffer[1024];
 270   static char *p = buffer;
 271
 272   char *cp = p;
 273   int size = 3 + strlen (s) + 1;  /* "no-STRING\0" */
 274   if (p + size >= buffer + sizeof (buffer))
 275     abort ();
 276
 277   cp[0] = 'n', cp[1] = 'o', cp[2] = '-';
 278   strcpy (cp + 3, s);
 279   p += size;
 280   return cp;
 281 }
 282
 283 /* The arguments that that main passes to getopt_long. */
 284 static struct option long_options[2 * countof (option_data) + 1];
 285 static char short_options[128];
 286
 287 /* Mapping between short option chars and option_data indices. */
 288 static unsigned char optmap[96];
 289
 290 /* Marker for `--no-FOO' values in long_options.  */
 291 #define BOOLEAN_NEG_MARKER 1024
 292
 293 /* Initialize the long_options array used by getopt_long from the data
 294    in option_data.  */
 295
 296 static void
 297 init_switches (void)
 298 {
 299   char *p = short_options;
 300   int i, o = 0;
 301   for (i = 0; i < countof (option_data); i++)
 302     {
 303       struct cmdline_option *opt = &option_data[i];
 304       struct option *longopt;
 305
 306       if (!opt->long_name)
 307         /* The option is disabled. */
 308         continue;
 309
 310       longopt = &long_options[o++];
 311       longopt->name = opt->long_name;
 312       longopt->val = i;
 313       if (opt->short_name)
 314         {
 315           *p++ = opt->short_name;
 316           optmap[opt->short_name - 32] = longopt - long_options;
 317         }
 318       switch (opt->type)
 319         {
 320         case OPT_VALUE:
 321           longopt->has_arg = required_argument;
 322           if (opt->short_name)
 323             *p++ = ':';
 324           break;
 325         case OPT_BOOLEAN:
 326           /* Specify an optional argument for long options, so that
 327              --option=off works the same as --no-option, for
 328              compatibility with pre-1.10 Wget.  However, don't specify
 329              optional arguments short-option booleans because they
 330              prevent combining of short options.  */
 331           longopt->has_arg = optional_argument;
 332           /* For Boolean options, add the "--no-FOO" variant, which is
 333              identical to "--foo", except it has opposite meaning and
 334              it doesn't allow an argument.  */
 335           longopt = &long_options[o++];
 336           longopt->name = no_prefix (opt->long_name);
 337           longopt->has_arg = no_argument;
 338           /* Mask the value so we'll be able to recognize that we're
 339              dealing with the false value.  */
 340           longopt->val = i | BOOLEAN_NEG_MARKER;
 341           break;
 342         default:
 343           assert (opt->argtype != -1);
 344           longopt->has_arg = opt->argtype;
 345           if (opt->short_name)
 346             {
 347               if (longopt->has_arg == required_argument)
 348                 *p++ = ':';
 349               /* Don't handle optional_argument */
 350             }
 351         }
 352     }
 353   /* Terminate short_options. */
 354   *p = '\0';
 355   /* No need for xzero(long_options[o]) because its storage is static
 356      and it will be zeroed by default.  */
 357   assert (o <= countof (long_options));
 358 }
 359
 360 /* Print the usage message.  */
 361 static void
 362 print_usage (void)
 363 {
 364   printf (_("Usage: %s [OPTION]... [URL]...\n"), exec_name);
 365 }
 366
 367 /* Print the help message, describing all the available options.  If
 368    you add an option, be sure to update this list.  */
 369 static void
 370 print_help (void)
 371 {
 372   /* We split the help text this way to ease translation of individual
 373      entries.  */
 374   static const char *help[] = {
 375     "\n",
 376     N_("\
 377 Mandatory arguments to long options are mandatory for short options too.\n\n"),
 378     N_("\
 379 Startup:\n"),
 380     N_("\
 381   -V,  --version           display the version of Wget and exit.\n"),
 382     N_("\
 383   -h,  --help              print this help.\n"),
 384     N_("\
 385   -b,  --background        go to background after startup.\n"),
 386     N_("\
 387   -e,  --execute=COMMAND   execute a `.wgetrc'-style command.\n"),
 388     "\n",
 389
 390     N_("\
 391 Logging and input file:\n"),
 392     N_("\
 393   -o,  --output-file=FILE    log messages to FILE.\n"),
 394     N_("\
 395   -a,  --append-output=FILE  append messages to FILE.\n"),
 396 #ifdef ENABLE_DEBUG
 397     N_("\
 398   -d,  --debug               print lots of debugging information.\n"),
 399 #endif
 400     N_("\
 401   -q,  --quiet               quiet (no output).\n"),
 402     N_("\
 403   -v,  --verbose             be verbose (this is the default).\n"),
 404     N_("\
 405   -nv, --no-verbose          turn off verboseness, without being quiet.\n"),
 406     N_("\
 407   -i,  --input-file=FILE     download URLs found in FILE.\n"),
 408     N_("\
 409   -F,  --force-html          treat input file as HTML.\n"),
 410     N_("\
 411   -B,  --base=URL            prepends URL to relative links in -F -i file.\n"),
 412     "\n",
 413
 414     N_("\
 415 Download:\n"),
 416     N_("\
 417   -t,  --tries=NUMBER            set number of retries to NUMBER (0 unlimits).\n"),
 418     N_("\
 419        --retry-connrefused       retry even if connection is refused.\n"),
 420     N_("\
 421   -O,  --output-document=FILE    write documents to FILE.\n"),
 422     N_("\
 423   -nc, --no-clobber              skip downloads that would download to\n\
 424                                  existing files.\n"),
 425     N_("\
 426   -c,  --continue                resume getting a partially-downloaded file.\n"),
 427     N_("\
 428        --progress=TYPE           select progress gauge type.\n"),
 429     N_("\
 430   -N,  --timestamping            don't re-retrieve files unless newer than\n\
 431                                  local.\n"),
 432     N_("\
 433   -S,  --server-response         print server response.\n"),
 434     N_("\
 435        --spider                  don't download anything.\n"),
 436     N_("\
 437   -T,  --timeout=SECONDS         set all timeout values to SECONDS.\n"),
 438     N_("\
 439        --dns-timeout=SECS        set the DNS lookup timeout to SECS.\n"),
 440     N_("\
 441        --connect-timeout=SECS    set the connect timeout to SECS.\n"),
 442     N_("\
 443        --read-timeout=SECS       set the read timeout to SECS.\n"),
 444     N_("\
 445   -w,  --wait=SECONDS            wait SECONDS between retrievals.\n"),
 446     N_("\
 447        --waitretry=SECONDS       wait 1..SECONDS between retries of a retrieval.\n"),
 448     N_("\
 449        --random-wait             wait from 0...2*WAIT secs between retrievals.\n"),
 450     N_("\
 451   -Y,  --proxy                   explicitly turn on proxy.\n"),
 452     N_("\
 453        --no-proxy                explicitly turn off proxy.\n"),
 454     N_("\
 455   -Q,  --quota=NUMBER            set retrieval quota to NUMBER.\n"),
 456     N_("\
 457        --bind-address=ADDRESS    bind to ADDRESS (hostname or IP) on local host.\n"),
 458     N_("\
 459        --limit-rate=RATE         limit download rate to RATE.\n"),
 460     N_("\
 461        --no-dns-cache            disable caching DNS lookups.\n"),
 462     N_("\
 463        --restrict-file-names=OS  restrict chars in file names to ones OS allows.\n"),
 464 #ifdef ENABLE_IPV6
 465     N_("\
 466   -4,  --inet4-only              connect only to IPv4 addresses.\n"),
 467     N_("\
 468   -6,  --inet6-only              connect only to IPv6 addresses.\n"),
 469     N_("\
 470        --prefer-family=FAMILY    connect first to addresses of specified family,\n\
 471                                  one of IPv6, IPv4, or none.\n"),
 472 #endif
 473     N_("\
 474        --user=USER               set both ftp and http user to USER.\n"),
 475     N_("\
 476        --password=PASS           set both ftp and http password to PASS.\n"),
 477     "\n",
 478
 479     N_("\
 480 Directories:\n"),
 481     N_("\
 482   -nd, --no-directories           don't create directories.\n"),
 483     N_("\
 484   -x,  --force-directories        force creation of directories.\n"),
 485     N_("\
 486   -nH, --no-host-directories      don't create host directories.\n"),
 487     N_("\
 488        --protocol-directories     use protocol name in directories.\n"),
 489     N_("\
 490   -P,  --directory-prefix=PREFIX  save files to PREFIX/...\n"),
 491     N_("\
 492        --cut-dirs=NUMBER          ignore NUMBER remote directory components.\n"),
 493     "\n",
 494
 495     N_("\
 496 HTTP options:\n"),
 497     N_("\
 498        --http-user=USER        set http user to USER.\n"),
 499     N_("\
 500        --http-password=PASS    set http password to PASS.\n"),
 501     N_("\
 502        --no-cache              disallow server-cached data.\n"),
 503     N_("\
 504   -E,  --html-extension        save HTML documents with `.html' extension.\n"),
 505     N_("\
 506        --ignore-length         ignore `Content-Length' header field.\n"),
 507     N_("\
 508        --header=STRING         insert STRING among the headers.\n"),
 509     N_("\
 510        --proxy-user=USER       set USER as proxy username.\n"),
 511     N_("\
 512        --proxy-password=PASS   set PASS as proxy password.\n"),
 513     N_("\
 514        --referer=URL           include `Referer: URL' header in HTTP request.\n"),
 515     N_("\
 516        --save-headers          save the HTTP headers to file.\n"),
 517     N_("\
 518   -U,  --user-agent=AGENT      identify as AGENT instead of Wget/VERSION.\n"),
 519     N_("\
 520        --no-http-keep-alive    disable HTTP keep-alive (persistent connections).\n"),
 521     N_("\
 522        --no-cookies            don't use cookies.\n"),
 523     N_("\
 524        --load-cookies=FILE     load cookies from FILE before session.\n"),
 525     N_("\
 526        --save-cookies=FILE     save cookies to FILE after session.\n"),
 527     N_("\
 528        --keep-session-cookies  load and save session (non-permanent) cookies.\n"),
 529     N_("\
 530        --post-data=STRING      use the POST method; send STRING as the data.\n"),
 531     N_("\
 532        --post-file=FILE        use the POST method; send contents of FILE.\n"),
 533     "\n",
 534
 535 #ifdef HAVE_SSL
 536     N_("\
 537 HTTPS (SSL/TLS) options:\n"),
 538     N_("\
 539        --secure-protocol=PR     choose secure protocol, one of auto, SSLv2,\n\
 540                                 SSLv3, and TLSv1.\n"),
 541     N_("\
 542        --no-check-certificate   don't validate the server's certificate.\n"),
 543     N_("\
 544        --certificate=FILE       client certificate file.\n"),
 545     N_("\
 546        --certificate-type=TYPE  client certificate type, PEM or DER.\n"),
 547     N_("\
 548        --private-key=FILE       private key file.\n"),
 549     N_("\
 550        --private-key-type=TYPE  private key type, PEM or DER.\n"),
 551     N_("\
 552        --ca-certificate=FILE    file with the bundle of CA's.\n"),
 553     N_("\
 554        --ca-directory=DIR       directory where hash list of CA's is stored.\n"),
 555     N_("\
 556        --random-file=FILE       file with random data for seeding the SSL PRNG.\n"),
 557     N_("\
 558        --egd-file=FILE          file naming the EGD socket with random data.\n"),
 559     "\n",
 560 #endif /* HAVE_SSL */
 561
 562     N_("\
 563 FTP options:\n"),
 564     N_("\
 565        --ftp-user=USER         set ftp user to USER.\n"),
 566     N_("\
 567        --ftp-password=PASS     set ftp password to PASS.\n"),
 568     N_("\
 569        --no-remove-listing     don't remove `.listing' files.\n"),
 570     N_("\
 571        --no-glob               turn off FTP file name globbing.\n"),
 572     N_("\
 573        --no-passive-ftp        disable the \"passive\" transfer mode.\n"),
 574     N_("\
 575        --retr-symlinks         when recursing, get linked-to files (not dir).\n"),
 576     N_("\
 577        --preserve-permissions  preserve remote file permissions.\n"),
 578     "\n",
 579
 580     N_("\
 581 Recursive download:\n"),
 582     N_("\
 583   -r,  --recursive          specify recursive download.\n"),
 584     N_("\
 585   -l,  --level=NUMBER       maximum recursion depth (inf or 0 for infinite).\n"),
 586     N_("\
 587        --delete-after       delete files locally after downloading them.\n"),
 588     N_("\
 589   -k,  --convert-links      make links in downloaded HTML point to local files.\n"),
 590     N_("\
 591   -K,  --backup-converted   before converting file X, back up as X.orig.\n"),
 592     N_("\
 593   -m,  --mirror             shortcut option equivalent to -r -N -l inf -nr.\n"),
 594     N_("\
 595   -p,  --page-requisites    get all images, etc. needed to display HTML page.\n"),
 596     N_("\
 597        --strict-comments    turn on strict (SGML) handling of HTML comments.\n"),
 598     "\n",
 599
 600     N_("\
 601 Recursive accept/reject:\n"),
 602     N_("\
 603   -A,  --accept=LIST               comma-separated list of accepted extensions.\n"),
 604     N_("\
 605   -R,  --reject=LIST               comma-separated list of rejected extensions.\n"),
 606     N_("\
 607   -D,  --domains=LIST              comma-separated list of accepted domains.\n"),
 608     N_("\
 609        --exclude-domains=LIST      comma-separated list of rejected domains.\n"),
 610     N_("\
 611        --follow-ftp                follow FTP links from HTML documents.\n"),
 612     N_("\
 613        --follow-tags=LIST          comma-separated list of followed HTML tags.\n"),
 614     N_("\
 615        --ignore-tags=LIST          comma-separated list of ignored HTML tags.\n"),
 616     N_("\
 617   -H,  --span-hosts                go to foreign hosts when recursive.\n"),
 618     N_("\
 619   -L,  --relative                  follow relative links only.\n"),
 620     N_("\
 621   -I,  --include-directories=LIST  list of allowed directories.\n"),
 622     N_("\
 623   -X,  --exclude-directories=LIST  list of excluded directories.\n"),
 624     N_("\
 625   -np, --no-parent                 don't ascend to the parent directory.\n"),
 626     "\n",
 627
 628     N_("Mail bug reports and suggestions to <bug-wget@gnu.org>.\n")
 629   };
 630
 631   int i;
 632
 633   printf (_("GNU Wget %s, a non-interactive network retriever.\n"),
 634           version_string);
 635   print_usage ();
 636
 637   for (i = 0; i < countof (help); i++)
 638     fputs (_(help[i]), stdout);
 639
 640   exit (0);
 641 }
 642
 643 static void
 644 print_version (void)
 645 {
 646   printf ("GNU Wget %s\n\n", version_string);
 647   fputs (_("\
 648 Copyright (C) 2005 Free Software Foundation, Inc.\n"), stdout);
 649   fputs (_("\
 650 This program is distributed in the hope that it will be useful,\n\
 651 but WITHOUT ANY WARRANTY; without even the implied warranty of\n\
 652 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the\n\
 653 GNU General Public License for more details.\n"), stdout);
 654   fputs (_("\nOriginally written by Hrvoje Niksic <hniksic@xemacs.org>.\n"),
 655          stdout);
 656   exit (0);
 657 }
 658 \f
 659 int
 660 main (int argc, char *const *argv)
 661 {
 662   char **url, **t;
 663   int i, ret, longindex;
 664   int nurl, status;
 665   int append_to_log = 0;
 666
 667   i18n_initialize ();
 668
 669   /* Construct the name of the executable, without the directory part.  */
 670   exec_name = strrchr (argv[0], PATH_SEPARATOR);
 671   if (!exec_name)
 672     exec_name = argv[0];
 673   else
 674     ++exec_name;
 675
 676 #ifdef WINDOWS
 677   /* Drop extension (typically .EXE) from executable filename. */
 678   windows_main (&argc, (char **) argv, (char **) &exec_name);
 679 #endif
 680
 681   /* Set option defaults; read the system wgetrc and ~/.wgetrc.  */
 682   initialize ();
 683
 684   init_switches ();
 685   longindex = -1;
 686   while ((ret = getopt_long (argc, argv,
 687                              short_options, long_options, &longindex)) != -1)
 688     {
 689       int val;
 690       struct cmdline_option *opt;
 691
 692       /* If LONGINDEX is unchanged, it means RET is referring a short
 693          option.  */
 694       if (longindex == -1)
 695         {
 696           if (ret == '?')
 697             {
 698               print_usage ();
 699               printf ("\n");
 700               printf (_("Try `%s --help' for more options.\n"), exec_name);
 701               exit (2);
 702             }
 703           /* Find the short option character in the mapping.  */
 704           longindex = optmap[ret - 32];
 705         }
 706       val = long_options[longindex].val;
 707
 708       /* Use the retrieved value to locate the option in the
 709          option_data array, and to see if we're dealing with the
 710          negated "--no-FOO" variant of the boolean option "--foo".  */
 711       opt = &option_data[val & ~BOOLEAN_NEG_MARKER];
 712       switch (opt->type)
 713         {
 714         case OPT_VALUE:
 715           setoptval (opt->data, optarg, opt->long_name);
 716           break;
 717         case OPT_BOOLEAN:
 718           if (optarg)
 719             /* The user has specified a value -- use it. */
 720             setoptval (opt->data, optarg, opt->long_name);
 721           else
 722             {
 723               /* NEG is true for `--no-FOO' style boolean options. */
 724               int neg = val & BOOLEAN_NEG_MARKER;
 725               setoptval (opt->data, neg ? "0" : "1", opt->long_name);
 726             }
 727           break;
 728         case OPT_FUNCALL:
 729           {
 730             void (*func) (void) = (void (*) (void)) opt->data;
 731             func ();
 732           }
 733           break;
 734         case OPT__APPEND_OUTPUT:
 735           setoptval ("logfile", optarg, opt->long_name);
 736           append_to_log = 1;
 737           break;
 738         case OPT__EXECUTE:
 739           run_command (optarg);
 740           break;
 741         case OPT__NO:
 742           {
 743             /* We support real --no-FOO flags now, but keep these
 744                short options for convenience and backward
 745                compatibility.  */
 746             char *p;
 747             for (p = optarg; *p; p++)
 748               switch (*p)
 749                 {
 750                 case 'v':
 751                   setoptval ("verbose", "0", opt->long_name);
 752                   break;
 753                 case 'H':
 754                   setoptval ("addhostdir", "0", opt->long_name);
 755                   break;
 756                 case 'd':
 757                   setoptval ("dirstruct", "0", opt->long_name);
 758                   break;
 759                 case 'c':
 760                   setoptval ("noclobber", "1", opt->long_name);
 761                   break;
 762                 case 'p':
 763                   setoptval ("noparent", "1", opt->long_name);
 764                   break;
 765                 default:
 766                   printf (_("%s: illegal option -- `-n%c'\n"), exec_name, *p);
 767                   print_usage ();
 768                   printf ("\n");
 769                   printf (_("Try `%s --help' for more options.\n"), exec_name);
 770                   exit (1);
 771                 }
 772             break;
 773           }
 774         case OPT__PARENT:
 775         case OPT__CLOBBER:
 776           {
 777             /* The wgetrc commands are named noparent and noclobber,
 778                so we must revert the meaning of the cmdline options
 779                before passing the value to setoptval.  */
 780             int flag = 1;
 781             if (optarg)
 782               flag = (*optarg == '1' || TOLOWER (*optarg) == 'y'
 783                       || (TOLOWER (optarg[0]) == 'o'
 784                           && TOLOWER (optarg[1]) == 'n'));
 785             setoptval (opt->type == OPT__PARENT ? "noparent" : "noclobber",
 786                        flag ? "0" : "1", opt->long_name);
 787             break;
 788           }
 789         case OPT__DONT_REMOVE_LISTING:
 790           setoptval ("removelisting", "0", opt->long_name);
 791           break;
 792         }
 793
 794       longindex = -1;
 795     }
 796
 797   /* All user options have now been processed, so it's now safe to do
 798      interoption dependency checks. */
 799
 800   if (opt.reclevel == 0)
 801     opt.reclevel = INFINITE_RECURSION; /* see recur.h for commentary on this */
 802
 803   if (opt.page_requisites && !opt.recursive)
 804     {
 805       /* Don't set opt.recursive here because it would confuse the FTP
 806          code.  Instead, call retrieve_tree below when either
 807          page_requisites or recursive is requested.  */
 808       opt.reclevel = 0;
 809       if (!opt.no_dirstruct)
 810         opt.dirstruct = 1;      /* normally handled by cmd_spec_recursive() */
 811     }
 812
 813   if (opt.verbose == -1)
 814     opt.verbose = !opt.quiet;
 815
 816   /* Sanity checks.  */
 817   if (opt.verbose && opt.quiet)
 818     {
 819       printf (_("Can't be verbose and quiet at the same time.\n"));
 820       print_usage ();
 821       exit (1);
 822     }
 823   if (opt.timestamping && opt.noclobber)
 824     {
 825       printf (_("\
 826 Can't timestamp and not clobber old files at the same time.\n"));
 827       print_usage ();
 828       exit (1);
 829     }
 830 #ifdef ENABLE_IPV6
 831   if (opt.ipv4_only && opt.ipv6_only)
 832     {
 833       printf (_("Cannot specify both --inet4-only and --inet6-only.\n"));
 834       print_usage ();
 835       exit (1);
 836     }
 837 #endif
 838
 839   nurl = argc - optind;
 840   if (!nurl && !opt.input_filename)
 841     {
 842       /* No URL specified.  */
 843       printf (_("%s: missing URL\n"), exec_name);
 844       print_usage ();
 845       printf ("\n");
 846       /* #### Something nicer should be printed here -- similar to the
 847          pre-1.5 `--help' page.  */
 848       printf (_("Try `%s --help' for more options.\n"), exec_name);
 849       exit (1);
 850     }
 851
 852   if (opt.background)
 853     fork_to_background ();
 854
 855   /* Initialize progress.  Have to do this after the options are
 856      processed so we know where the log file is.  */
 857   if (opt.verbose)
 858     set_progress_implementation (opt.progress_type);
 859
 860   /* Fill in the arguments.  */
 861   url = alloca_array (char *, nurl + 1);
 862   for (i = 0; i < nurl; i++, optind++)
 863     {
 864       char *rewritten = rewrite_shorthand_url (argv[optind]);
 865       if (rewritten)
 866         url[i] = rewritten;
 867       else
 868         url[i] = xstrdup (argv[optind]);
 869     }
 870   url[i] = NULL;
 871
 872   /* Initialize logging.  */
 873   log_init (opt.lfilename, append_to_log);
 874
 875   DEBUGP (("DEBUG output created by Wget %s on %s.\n\n", version_string,
 876            OS_TYPE));
 877
 878   /* Open the output filename if necessary.  */
 879   if (opt.output_document)
 880     {
 881       extern FILE *output_stream;
 882       extern int output_stream_regular;
 883
 884       if (HYPHENP (opt.output_document))
 885         output_stream = stdout;
 886       else
 887         {
 888           struct_stat st;
 889           output_stream = fopen (opt.output_document,
 890                                  opt.always_rest ? "ab" : "wb");
 891           if (output_stream == NULL)
 892             {
 893               perror (opt.output_document);
 894               exit (1);
 895             }
 896           if (fstat (fileno (output_stream), &st) == 0 && S_ISREG (st.st_mode))
 897             output_stream_regular = 1;
 898         }
 899     }
 900
 901 #ifdef WINDOWS
 902   ws_startup ();
 903 #endif
 904
 905   /* Setup the signal handler to redirect output when hangup is
 906      received.  */
 907 #ifdef HAVE_SIGNAL
 908   if (signal(SIGHUP, SIG_IGN) != SIG_IGN)
 909     signal(SIGHUP, redirect_output_signal);
 910   /* ...and do the same for SIGUSR1.  */
 911   signal (SIGUSR1, redirect_output_signal);
 912   /* Writing to a closed socket normally signals SIGPIPE, and the
 913      process exits.  What we want is to ignore SIGPIPE and just check
 914      for the return value of write().  */
 915   signal (SIGPIPE, SIG_IGN);
 916 #ifdef SIGWINCH
 917   signal (SIGWINCH, progress_handle_sigwinch);
 918 #endif
 919 #endif /* HAVE_SIGNAL */
 920
 921   status = RETROK;              /* initialize it, just-in-case */
 922   /* Retrieve the URLs from argument list.  */
 923   for (t = url; *t; t++)
 924     {
 925       char *filename = NULL, *redirected_URL = NULL;
 926       int dt;
 927
 928       if ((opt.recursive || opt.page_requisites)
 929           && url_scheme (*t) != SCHEME_FTP)
 930         status = retrieve_tree (*t);
 931       else
 932         status = retrieve_url (*t, &filename, &redirected_URL, NULL, &dt);
 933
 934       if (opt.delete_after && file_exists_p(filename))
 935         {
 936           DEBUGP (("Removing file due to --delete-after in main():\n"));
 937           logprintf (LOG_VERBOSE, _("Removing %s.\n"), filename);
 938           if (unlink (filename))
 939             logprintf (LOG_NOTQUIET, "unlink: %s\n", strerror (errno));
 940         }
 941
 942       xfree_null (redirected_URL);
 943       xfree_null (filename);
 944     }
 945
 946   /* And then from the input file, if any.  */
 947   if (opt.input_filename)
 948     {
 949       int count;
 950       status = retrieve_from_file (opt.input_filename, opt.force_html, &count);
 951       if (!count)
 952         logprintf (LOG_NOTQUIET, _("No URLs found in %s.\n"),
 953                    opt.input_filename);
 954     }
 955   /* Print the downloaded sum.  */
 956   if (opt.recursive || opt.page_requisites
 957       || nurl > 1
 958       || (opt.input_filename && total_downloaded_bytes != 0))
 959     {
 960       logprintf (LOG_NOTQUIET,
 961                  _("\nFINISHED --%s--\nDownloaded: %s bytes in %d files\n"),
 962                  time_str (NULL), with_thousand_seps_large (total_downloaded_bytes),
 963                  opt.numurls);
 964       /* Print quota warning, if exceeded.  */
 965       if (opt.quota && total_downloaded_bytes > opt.quota)
 966         logprintf (LOG_NOTQUIET,
 967                    _("Download quota (%s bytes) EXCEEDED!\n"),
 968                    with_thousand_seps_large (opt.quota));
 969     }
 970
 971   if (opt.cookies_output)
 972     save_cookies ();
 973
 974   if (opt.convert_links && !opt.delete_after)
 975     convert_all_links ();
 976
 977   log_close ();
 978   for (i = 0; i < nurl; i++)
 979     xfree (url[i]);
 980   cleanup ();
 981
 982 #ifdef DEBUG_MALLOC
 983   print_malloc_debug_stats ();
 984 #endif
 985   if (status == RETROK)
 986     return 0;
 987   else
 988     return 1;
 989 }
 990 \f
 991 #ifdef HAVE_SIGNAL
 992 /* Hangup signal handler.  When wget receives SIGHUP or SIGUSR1, it
 993    will proceed operation as usual, trying to write into a log file.
 994    If that is impossible, the output will be turned off.  */
 995
 996 static void
 997 redirect_output_signal (int sig)
 998 {
 999   const char *signal_name = (sig == SIGHUP ? "SIGHUP" :
1000                              (sig == SIGUSR1 ? "SIGUSR1" :
1001                               "WTF?!"));
1002   log_request_redirect_output (signal_name);
1003   progress_schedule_redirect ();
1004   signal (sig, redirect_output_signal);
1005 }
1006 #endif /* HAVE_SIGNAL */