sjero.net Git - wget/blob - src/main.c

   1 /* Command line parsing.
   2    Copyright (C) 1995, 1996, 1997, 1998, 2000, 2001, 2002
   3    Free Software Foundation, Inc.
   4
   5 This file is part of GNU Wget.
   6
   7 GNU Wget is free software; you can redistribute it and/or modify
   8 it under the terms of the GNU General Public License as published by
   9 the Free Software Foundation; either version 2 of the License, or
  10 (at your option) any later version.
  11
  12 GNU Wget is distributed in the hope that it will be useful,
  13 but WITHOUT ANY WARRANTY; without even the implied warranty of
  14 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15 GNU General Public License for more details.
  16
  17 You should have received a copy of the GNU General Public License
  18 along with Wget; if not, write to the Free Software
  19 Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  20
  21 In addition, as a special exception, the Free Software Foundation
  22 gives permission to link the code of its release of Wget with the
  23 OpenSSL project's "OpenSSL" library (or with modified versions of it
  24 that use the same license as the "OpenSSL" library), and distribute
  25 the linked executables.  You must obey the GNU General Public License
  26 in all respects for all of the code used other than "OpenSSL".  If you
  27 modify this file, you may extend this exception to your version of the
  28 file, but you are not obligated to do so.  If you do not wish to do
  29 so, delete this exception statement from your version.  */
  30
  31 #include <config.h>
  32
  33 #include <stdio.h>
  34 #include <stdlib.h>
  35 #ifdef HAVE_UNISTD_H
  36 # include <unistd.h>
  37 #endif /* HAVE_UNISTD_H */
  38 #include <sys/types.h>
  39 #ifdef HAVE_STRING_H
  40 # include <string.h>
  41 #else
  42 # include <strings.h>
  43 #endif /* HAVE_STRING_H */
  44 #ifdef HAVE_SIGNAL_H
  45 # include <signal.h>
  46 #endif
  47 #ifdef HAVE_NLS
  48 #ifdef HAVE_LOCALE_H
  49 # include <locale.h>
  50 #endif /* HAVE_LOCALE_H */
  51 #endif /* HAVE_NLS */
  52 #include <assert.h>
  53
  54 #include <errno.h>
  55 #ifndef errno
  56 extern int errno;
  57 #endif
  58
  59 #include "wget.h"
  60 #include "utils.h"
  61 #include "init.h"
  62 #include "retr.h"
  63 #include "recur.h"
  64 #include "host.h"
  65 #include "cookies.h"
  66 #include "url.h"
  67 #include "progress.h"           /* for progress_handle_sigwinch */
  68 #include "convert.h"
  69
  70 /* On GNU system this will include system-wide getopt.h. */
  71 #include "getopt.h"
  72
  73 #ifndef PATH_SEPARATOR
  74 # define PATH_SEPARATOR '/'
  75 #endif
  76
  77 struct options opt;
  78
  79 extern LARGE_INT total_downloaded_bytes;
  80 extern char *version_string;
  81
  82 extern struct cookie_jar *wget_cookie_jar;
  83
  84 /* From log.c.  */
  85 void log_init PARAMS ((const char *, int));
  86 void log_close PARAMS ((void));
  87 void log_request_redirect_output PARAMS ((const char *));
  88
  89 static RETSIGTYPE redirect_output_signal PARAMS ((int));
  90
  91 const char *exec_name;
  92 \f
  93 /* Initialize I18N.  The initialization amounts to invoking
  94    setlocale(), bindtextdomain() and textdomain().
  95    Does nothing if NLS is disabled or missing.  */
  96 static void
  97 i18n_initialize (void)
  98 {
  99   /* If HAVE_NLS is defined, assume the existence of the three
 100      functions invoked here.  */
 101 #ifdef HAVE_NLS
 102   /* Set the current locale.  */
 103   /* Here we use LC_MESSAGES instead of LC_ALL, for two reasons.
 104      First, message catalogs are all of I18N Wget uses anyway.
 105      Second, setting LC_ALL has a dangerous potential of messing
 106      things up.  For example, when in a foreign locale, Solaris
 107      strptime() fails to handle international dates correctly, which
 108      makes http_atotm() malfunction.  */
 109 #ifdef LC_MESSAGES
 110   setlocale (LC_MESSAGES, "");
 111   setlocale (LC_CTYPE, "");
 112 #else
 113   setlocale (LC_ALL, "");
 114 #endif
 115   /* Set the text message domain.  */
 116   bindtextdomain ("wget", LOCALEDIR);
 117   textdomain ("wget");
 118 #endif /* HAVE_NLS */
 119 }
 120 \f
 121 /* Definition of command-line options. */
 122
 123 #ifdef HAVE_SSL
 124 # define IF_SSL(x) x
 125 #else
 126 # define IF_SSL(x) NULL
 127 #endif
 128
 129 #ifdef ENABLE_DEBUG
 130 # define IF_DEBUG(x) x
 131 #else
 132 # define IF_DEBUG(x) NULL
 133 #endif
 134
 135 struct cmdline_option {
 136   const char *long_name;
 137   char short_name;
 138   enum {
 139     OPT_VALUE,
 140     OPT_BOOLEAN,
 141     /* Non-standard options that have to be handled specially in
 142        main().  */
 143     OPT__APPEND_OUTPUT,
 144     OPT__CLOBBER,
 145     OPT__EXECUTE,
 146     OPT__HELP,
 147     OPT__NO,
 148     OPT__PARENT,
 149     OPT__VERSION
 150   } type;
 151   const char *handle_cmd;       /* for standard options */
 152   int argtype;                  /* for non-standard options */
 153 };
 154
 155 struct cmdline_option option_data[] =
 156   {
 157     { "accept", 'A', OPT_VALUE, "accept", -1 },
 158     { "append-output", 'a', OPT__APPEND_OUTPUT, NULL, required_argument },
 159     { "background", 'b', OPT_BOOLEAN, "background", -1 },
 160     { "backup-converted", 'K', OPT_BOOLEAN, "backupconverted", -1 },
 161     { "backups", 0, OPT_BOOLEAN, "backups", -1 },
 162     { "base", 'B', OPT_VALUE, "base", -1 },
 163     { "bind-address", 0, OPT_VALUE, "bindaddress", -1 },
 164     { "cache", 'C', OPT_BOOLEAN, "cache", -1 },
 165     { "clobber", 0, OPT__CLOBBER, NULL, optional_argument },
 166     { "connect-timeout", 0, OPT_VALUE, "connecttimeout", -1 },
 167     { "continue", 'c', OPT_BOOLEAN, "continue", -1 },
 168     { "convert-links", 'k', OPT_BOOLEAN, "convertlinks", -1 },
 169     { "cookies", 0, OPT_BOOLEAN, "cookies", -1 },
 170     { "cut-dirs", 0, OPT_VALUE, "cutdirs", -1 },
 171     { IF_DEBUG ("debug"), 'd', OPT_BOOLEAN, "debug", -1 },
 172     { "delete-after", 0, OPT_BOOLEAN, "deleteafter", -1 },
 173     { "directories", 0, OPT_BOOLEAN, "dirstruct", -1 },
 174     { "directory-prefix", 'P', OPT_VALUE, "dirprefix", -1 },
 175     { "dns-cache", 0, OPT_BOOLEAN, "dnscache", -1 },
 176     { "dns-timeout", 0, OPT_VALUE, "dnstimeout", -1 },
 177     { "domains", 'D', OPT_VALUE, "domains", -1 },
 178     { "dot-style", 0, OPT_VALUE, "dotstyle", -1 },
 179     { "egd-file", 0, OPT_VALUE, "egdfile", -1 },
 180     { "exclude-directories", 'X', OPT_VALUE, "excludedirectories", -1 },
 181     { "exclude-domains", 0, OPT_VALUE, "excludedomains", -1 },
 182     { "execute", 'e', OPT__EXECUTE, NULL, required_argument },
 183     { "follow-ftp", 0, OPT_BOOLEAN, "followftp", -1 },
 184     { "follow-tags", 0, OPT_VALUE, "followtags", -1 },
 185     { "force-directories", 'x', OPT_BOOLEAN, "dirstruct", -1 },
 186     { "force-html", 'F', OPT_BOOLEAN, "forcehtml", -1 },
 187     { "glob", 'g', OPT_BOOLEAN, "glob", -1 },
 188     { "header", 0, OPT_VALUE, "header", -1 },
 189     { "help", 'h', OPT__HELP, NULL, no_argument },
 190     { "host-directories", 0, OPT_BOOLEAN, "addhostdir", -1 },
 191     { "html-extension", 'E', OPT_BOOLEAN, "htmlextension", -1 },
 192     { "htmlify", 0, OPT_BOOLEAN, "htmlify", -1 },
 193     { "http-keep-alive", 0, OPT_BOOLEAN, "httpkeepalive", -1 },
 194     { "http-passwd", 0, OPT_VALUE, "httppasswd", -1 },
 195     { "http-user", 0, OPT_VALUE, "httpuser", -1 },
 196     { "ignore-length", 0, OPT_BOOLEAN, "ignorelength", -1 },
 197     { "ignore-tags", 'G', OPT_VALUE, "ignoretags", -1 },
 198     { "include-directories", 'I', OPT_VALUE, "includedirectories", -1 },
 199     { "input-file", 'i', OPT_VALUE, "input", -1 },
 200     { "keep-session-cookies", 0, OPT_BOOLEAN, "keepsessioncookies", -1 },
 201     { "level", 'l', OPT_VALUE, "reclevel", -1 },
 202     { "limit-rate", 0, OPT_VALUE, "limitrate", -1 },
 203     { "load-cookies", 0, OPT_VALUE, "loadcookies", -1 },
 204     { "mirror", 'm', OPT_BOOLEAN, NULL, -1 },
 205     { "no", 'n', OPT__NO, NULL, required_argument },
 206     { "no-clobber", 0, OPT_BOOLEAN, "noclobber", -1 },
 207     { "no-parent", 0, OPT_BOOLEAN, "noparent", -1 },
 208     { "output-document", 'O', OPT_VALUE, "outputdocument", -1 },
 209     { "output-file", 'o', OPT_VALUE, "logfile", -1 },
 210     { "page-requisites", 'p', OPT_BOOLEAN, "pagerequisites", -1 },
 211     { "parent", 0, OPT__PARENT, NULL, optional_argument },
 212     { "passive-ftp", 0, OPT_BOOLEAN, "passiveftp", -1 },
 213     { "post-data", 0, OPT_VALUE, "postdata", -1 },
 214     { "post-file", 0, OPT_VALUE, "postfile", -1 },
 215     { "preserve-permissions", 0, OPT_BOOLEAN, "preservepermissions", -1 },
 216     { "progress", 0, OPT_VALUE, "progress", -1 },
 217     { "proxy", 'Y', OPT_BOOLEAN, "useproxy", -1 },
 218     { "proxy-passwd", 0, OPT_VALUE, "proxypasswd", -1 },
 219     { "proxy-user", 0, OPT_VALUE, "proxyuser", -1 },
 220     { "quiet", 'q', OPT_BOOLEAN, "quiet", -1 },
 221     { "quota", 'Q', OPT_VALUE, "quota", -1 },
 222     { "random-wait", 0, OPT_BOOLEAN, "randomwait", -1 },
 223     { "read-timeout", 0, OPT_VALUE, "readtimeout", -1 },
 224     { "recursive", 'r', OPT_BOOLEAN, "recursive", -1 },
 225     { "referer", 0, OPT_VALUE, "referer", -1 },
 226     { "reject", 'R', OPT_VALUE, "reject", -1 },
 227     { "relative", 'L', OPT_BOOLEAN, "relativeonly", -1 },
 228     { "remove-listing", 0, OPT_BOOLEAN, "removelisting", -1 },
 229     { "restrict-file-names", 0, OPT_BOOLEAN, "restrictfilenames", -1 },
 230     { "retr-symlinks", 0, OPT_BOOLEAN, "retrsymlinks", -1 },
 231     { "retry-connrefused", 0, OPT_BOOLEAN, "retryconnrefused", -1 },
 232     { "save-cookies", 0, OPT_VALUE, "savecookies", -1 },
 233     { "save-headers", 0, OPT_BOOLEAN, "saveheaders", -1 },
 234     { "server-response", 'S', OPT_BOOLEAN, "serverresponse", -1 },
 235     { "span-hosts", 'H', OPT_BOOLEAN, "spanhosts", -1 },
 236     { "spider", 0, OPT_BOOLEAN, "spider", -1 },
 237     { IF_SSL ("sslcadir"), 0, OPT_VALUE, "sslcadir", -1 },
 238     { IF_SSL ("sslcafile"), 0, OPT_VALUE, "sslcafile", -1 },
 239     { IF_SSL ("sslcertfile"), 0, OPT_VALUE, "sslcertfile", -1 },
 240     { IF_SSL ("sslcertkey"), 0, OPT_VALUE, "sslcertkey", -1 },
 241     { IF_SSL ("sslcerttype"), 0, OPT_VALUE, "sslcerttype", -1 },
 242     { IF_SSL ("sslcheckcert"), 0, OPT_VALUE, "sslcheckcert", -1 },
 243     { IF_SSL ("sslprotocol"), 0, OPT_VALUE, "sslprotocol", -1 },
 244     { "strict-comments", 0, OPT_BOOLEAN, "strictcomments", -1 },
 245     { "timeout", 'T', OPT_VALUE, "timeout", -1 },
 246     { "timestamping", 'N', OPT_BOOLEAN, "timestamping", -1 },
 247     { "tries", 't', OPT_VALUE, "tries", -1 },
 248     { "use-proxy", 'Y', OPT_BOOLEAN, "useproxy", -1 },
 249     { "user-agent", 'U', OPT_VALUE, "useragent", -1 },
 250     { "verbose", 'v', OPT_BOOLEAN, "verbose", -1 },
 251     { "verbose", 0, OPT_BOOLEAN, "verbose", -1 },
 252     { "version", 'V', OPT__VERSION, "version", no_argument },
 253     { "wait", 'w', OPT_VALUE, "wait", -1 },
 254     { "waitretry", 0, OPT_VALUE, "waitretry", -1 },
 255   };
 256
 257 #undef IF_DEBUG
 258 #undef IF_SSL
 259
 260 static char *
 261 no_prefix (const char *s)
 262 {
 263   static char buffer[1024];
 264   static char *p = buffer;
 265
 266   char *cp = p;
 267   int size = 3 + strlen (s) + 1;  /* "no-STRING\0" */
 268
 269   if (p + size >= buffer + sizeof (buffer))
 270     abort ();
 271
 272   cp[0] = 'n';
 273   cp[1] = 'o';
 274   cp[2] = '-';
 275   strcpy (cp + 3, s);
 276   p += size;
 277   return cp;
 278 }
 279
 280 /* The arguments that that main passes to getopt_long. */
 281 static struct option long_options[2 * countof (option_data) + 1];
 282 static char short_options[128];
 283
 284 /* Mapping between short option chars and option_data indices. */
 285 static unsigned char optmap[96];
 286
 287 /* Marker for `--no-FOO' values in long_options.  */
 288 #define BOOLEAN_NEG_MARKER 1024
 289
 290 static void
 291 init_switches (void)
 292 {
 293   char *p = short_options;
 294   int i, o = 0;
 295   for (i = 0; i < countof (option_data); i++)
 296     {
 297       struct cmdline_option *opt = &option_data[i];
 298       struct option *longopt;
 299
 300       if (!opt->long_name)
 301         /* The option is disabled. */
 302         continue;
 303
 304       longopt = &long_options[o++];
 305       longopt->name = opt->long_name;
 306       longopt->val = i;
 307       if (opt->short_name)
 308         {
 309           *p++ = opt->short_name;
 310           optmap[opt->short_name - 32] = longopt - long_options;
 311         }
 312       switch (opt->type)
 313         {
 314         case OPT_VALUE:
 315           longopt->has_arg = required_argument;
 316           if (opt->short_name)
 317             *p++ = ':';
 318           break;
 319         case OPT_BOOLEAN:
 320           /* Don't specify optional arguments for boolean short
 321              options.  They are evil because they prevent combining of
 322              short options.  */
 323           longopt->has_arg = optional_argument;
 324           /* For Boolean options, add the "--no-FOO" variant, which is
 325              identical to "--foo", except it has opposite meaning and
 326              it doesn't allow an argument.  */
 327           longopt = &long_options[o++];
 328           longopt->name = no_prefix (opt->long_name);
 329           longopt->has_arg = no_argument;
 330           /* Mask the value so we'll be able to recognize that we're
 331              dealing with the false value.  */
 332           longopt->val = i | BOOLEAN_NEG_MARKER;
 333           break;
 334         default:
 335           assert (opt->argtype != -1);
 336           longopt->has_arg = opt->argtype;
 337           if (opt->short_name)
 338             {
 339               if (longopt->has_arg == required_argument)
 340                 *p++ = ':';
 341               /* Don't handle optional_argument */
 342             }
 343         }
 344     }
 345   xzero (long_options[o]);
 346   *p = '\0';
 347 }
 348
 349 /* Print the usage message.  */
 350 static void
 351 print_usage (void)
 352 {
 353   printf (_("Usage: %s [OPTION]... [URL]...\n"), exec_name);
 354 }
 355
 356 /* Print the help message, describing all the available options.  If
 357    you add an option, be sure to update this list.  */
 358 static void
 359 print_help (void)
 360 {
 361   printf (_("GNU Wget %s, a non-interactive network retriever.\n"),
 362           version_string);
 363   print_usage ();
 364   /* Had to split this in parts, so the #@@#%# Ultrix compiler and cpp
 365      don't bitch.  Also, it makes translation much easier.  */
 366   fputs (_("\
 367 \n\
 368 Mandatory arguments to long options are mandatory for short options too.\n\
 369 \n"), stdout);
 370   fputs (_("\
 371 Startup:\n\
 372   -V,  --version           display the version of Wget and exit.\n\
 373   -h,  --help              print this help.\n\
 374   -b,  --background        go to background after startup.\n\
 375   -e,  --execute=COMMAND   execute a `.wgetrc\'-style command.\n\
 376 \n"), stdout);
 377   fputs (_("\
 378 Logging and input file:\n\
 379   -o,  --output-file=FILE     log messages to FILE.\n\
 380   -a,  --append-output=FILE   append messages to FILE.\n\
 381   -d,  --debug                print debug output.\n\
 382   -q,  --quiet                quiet (no output).\n\
 383   -v,  --verbose              be verbose (this is the default).\n\
 384   -nv, --non-verbose          turn off verboseness, without being quiet.\n\
 385   -i,  --input-file=FILE      download URLs found in FILE.\n\
 386   -F,  --force-html           treat input file as HTML.\n\
 387   -B,  --base=URL             prepends URL to relative links in -F -i file.\n\
 388 \n"),stdout);
 389   fputs (_("\
 390 Download:\n\
 391   -t,  --tries=NUMBER           set number of retries to NUMBER (0 unlimits).\n\
 392        --retry-connrefused      retry even if connection is refused.\n\
 393   -O   --output-document=FILE   write documents to FILE.\n\
 394   -nc, --no-clobber             don\'t clobber existing files or use .# suffixes.\n\
 395   -c,  --continue               resume getting a partially-downloaded file.\n\
 396        --progress=TYPE          select progress gauge type.\n\
 397   -N,  --timestamping           don\'t re-retrieve files unless newer than local.\n\
 398   -S,  --server-response        print server response.\n\
 399        --spider                 don\'t download anything.\n\
 400   -T,  --timeout=SECONDS        set all timeout values to SECONDS.\n\
 401        --dns-timeout=SECS       set the DNS lookup timeout to SECS.\n\
 402        --connect-timeout=SECS   set the connect timeout to SECS.\n\
 403        --read-timeout=SECS      set the read timeout to SECS.\n\
 404   -w,  --wait=SECONDS           wait SECONDS between retrievals.\n\
 405        --waitretry=SECONDS      wait 1...SECONDS between retries of a retrieval.\n\
 406        --random-wait            wait from 0...2*WAIT secs between retrievals.\n\
 407   -Y,  --proxy=on/off           turn proxy on or off.\n\
 408   -Q,  --quota=NUMBER           set retrieval quota to NUMBER.\n\
 409        --bind-address=ADDRESS   bind to ADDRESS (hostname or IP) on local host.\n\
 410        --limit-rate=RATE        limit download rate to RATE.\n\
 411        --dns-cache=off          disable caching DNS lookups.\n\
 412        --restrict-file-names=OS restrict chars in file names to ones OS allows.\n\
 413 \n"), stdout);
 414   fputs (_("\
 415 Directories:\n\
 416   -nd, --no-directories            don\'t create directories.\n\
 417   -x,  --force-directories         force creation of directories.\n\
 418   -nH, --no-host-directories       don\'t create host directories.\n\
 419   -P,  --directory-prefix=PREFIX   save files to PREFIX/...\n\
 420        --cut-dirs=NUMBER           ignore NUMBER remote directory components.\n\
 421 \n"), stdout);
 422   fputs (_("\
 423 HTTP options:\n\
 424        --http-user=USER      set http user to USER.\n\
 425        --http-passwd=PASS    set http password to PASS.\n\
 426   -C,  --cache=on/off        (dis)allow server-cached data (normally allowed).\n\
 427   -E,  --html-extension      save all text/html documents with .html extension.\n\
 428        --ignore-length       ignore `Content-Length\' header field.\n\
 429        --header=STRING       insert STRING among the headers.\n\
 430        --proxy-user=USER     set USER as proxy username.\n\
 431        --proxy-passwd=PASS   set PASS as proxy password.\n\
 432        --referer=URL         include `Referer: URL\' header in HTTP request.\n\
 433   -s,  --save-headers        save the HTTP headers to file.\n\
 434   -U,  --user-agent=AGENT    identify as AGENT instead of Wget/VERSION.\n\
 435        --no-http-keep-alive  disable HTTP keep-alive (persistent connections).\n\
 436        --cookies=off         don't use cookies.\n\
 437        --load-cookies=FILE   load cookies from FILE before session.\n\
 438        --save-cookies=FILE   save cookies to FILE after session.\n\
 439        --keep-session-cookies  load and save session (non-permanent) cookies.\n\
 440        --post-data=STRING    use the POST method; send STRING as the data.\n\
 441        --post-file=FILE      use the POST method; send contents of FILE.\n\
 442 \n"), stdout);
 443 #ifdef HAVE_SSL
 444   fputs (_("\
 445 HTTPS (SSL) options:\n\
 446        --sslcertfile=FILE     optional client certificate.\n\
 447        --sslcertkey=KEYFILE   optional keyfile for this certificate.\n\
 448        --egd-file=FILE        file name of the EGD socket.\n\
 449        --sslcadir=DIR         dir where hash list of CA's are stored.\n\
 450        --sslcafile=FILE       file with bundle of CA's\n\
 451        --sslcerttype=0/1      Client-Cert type 0=PEM (default) / 1=ASN1 (DER)\n\
 452        --sslcheckcert=0/1     Check the server cert agenst given CA\n\
 453        --sslprotocol=0-3      choose SSL protocol; 0=automatic,\n\
 454                               1=SSLv2 2=SSLv3 3=TLSv1\n\
 455 \n"), stdout);
 456 #endif
 457   fputs (_("\
 458 FTP options:\n\
 459   -nr, --dont-remove-listing   don\'t remove `.listing\' files.\n\
 460   -g,  --glob=on/off           turn file name globbing on or off.\n\
 461        --passive-ftp           use the \"passive\" transfer mode.\n\
 462        --retr-symlinks         when recursing, get linked-to files (not dirs).\n\
 463 \n"), stdout);
 464   fputs (_("\
 465 Recursive retrieval:\n\
 466   -r,  --recursive             recursive download.\n\
 467   -l,  --level=NUMBER          maximum recursion depth (inf or 0 for infinite).\n\
 468        --delete-after          delete files locally after downloading them.\n\
 469   -k,  --convert-links         convert non-relative links to relative.\n\
 470   -K,  --backup-converted      before converting file X, back up as X.orig.\n\
 471   -m,  --mirror                shortcut option equivalent to -r -N -l inf -nr.\n\
 472   -p,  --page-requisites       get all images, etc. needed to display HTML page.\n\
 473        --strict-comments       turn on strict (SGML) handling of HTML comments.\n\
 474        --preserve-permissions  preserve remote file permissions.\n\
 475 \n"), stdout);
 476   fputs (_("\
 477 Recursive accept/reject:\n\
 478   -A,  --accept=LIST                comma-separated list of accepted extensions.\n\
 479   -R,  --reject=LIST                comma-separated list of rejected extensions.\n\
 480   -D,  --domains=LIST               comma-separated list of accepted domains.\n\
 481        --exclude-domains=LIST       comma-separated list of rejected domains.\n\
 482        --follow-ftp                 follow FTP links from HTML documents.\n\
 483        --follow-tags=LIST           comma-separated list of followed HTML tags.\n\
 484   -G,  --ignore-tags=LIST           comma-separated list of ignored HTML tags.\n\
 485   -H,  --span-hosts                 go to foreign hosts when recursive.\n\
 486   -L,  --relative                   follow relative links only.\n\
 487   -I,  --include-directories=LIST   list of allowed directories.\n\
 488   -X,  --exclude-directories=LIST   list of excluded directories.\n\
 489   -np, --no-parent                  don\'t ascend to the parent directory.\n\
 490 \n"), stdout);
 491   fputs (_("Mail bug reports and suggestions to <bug-wget@gnu.org>.\n"),
 492          stdout);
 493 }
 494 \f
 495 int
 496 main (int argc, char *const *argv)
 497 {
 498   char **url, **t;
 499   int i, ret, longindex;
 500   int nurl, status;
 501   int append_to_log = 0;
 502
 503   i18n_initialize ();
 504
 505   /* Construct the name of the executable, without the directory part.  */
 506   exec_name = strrchr (argv[0], PATH_SEPARATOR);
 507   if (!exec_name)
 508     exec_name = argv[0];
 509   else
 510     ++exec_name;
 511
 512 #ifdef WINDOWS
 513   windows_main_junk (&argc, (char **) argv, (char **) &exec_name);
 514 #endif
 515
 516   /* Set option defaults; read the system wgetrc and ~/.wgetrc.  */
 517   initialize ();
 518
 519   init_switches ();
 520   longindex = -1;
 521   while ((ret = getopt_long (argc, argv,
 522                              short_options, long_options, &longindex)) != -1)
 523     {
 524       int val;
 525       struct cmdline_option *opt;
 526       if (ret == '?')
 527         {
 528           print_usage ();
 529           printf ("\n");
 530           printf (_("Try `%s --help' for more options.\n"), exec_name);
 531           exit (2);
 532         }
 533
 534       /* If LONGINDEX is unchanged, it means RET is referring a short
 535          option.  Look it up in the mapping table.  */
 536       if (longindex == -1)
 537         longindex = optmap[ret - 32];
 538       val = long_options[longindex].val;
 539
 540       /* Use the retrieved value to locate the option in the
 541          option_data array, and to see if we're dealing with the
 542          negated "--no-FOO" variant of the boolean option "--foo".  */
 543       opt = &option_data[val & ~BOOLEAN_NEG_MARKER];
 544       switch (opt->type)
 545         {
 546         case OPT_VALUE:
 547           setoptval (opt->handle_cmd, optarg);
 548           break;
 549         case OPT_BOOLEAN:
 550           if (optarg)
 551             /* The user has specified a value -- use it. */
 552             setoptval (opt->handle_cmd, optarg);
 553           else
 554             {
 555               /* NEG is true for `--no-FOO' style boolean options. */
 556               int neg = val & BOOLEAN_NEG_MARKER;
 557               setoptval (opt->handle_cmd, neg ? "0" : "1");
 558             }
 559           break;
 560         case OPT__APPEND_OUTPUT:
 561           setoptval ("logfile", optarg);
 562           append_to_log = 1;
 563           break;
 564         case OPT__HELP:
 565           print_help ();
 566 #ifdef WINDOWS
 567           ws_help (exec_name);
 568 #endif
 569           exit (0);
 570           break;
 571         case OPT__EXECUTE:
 572           run_command (optarg);
 573           break;
 574         case OPT__NO:
 575           {
 576             /* We support real --no-FOO flags now, but keep these
 577                short options for convenience and backward
 578                compatibility.  */
 579             char *p;
 580             for (p = optarg; *p; p++)
 581               switch (*p)
 582                 {
 583                 case 'v':
 584                   setoptval ("verbose", "0");
 585                   break;
 586                 case 'H':
 587                   setoptval ("addhostdir", "0");
 588                   break;
 589                 case 'd':
 590                   setoptval ("dirstruct", "0");
 591                   break;
 592                 case 'c':
 593                   setoptval ("noclobber", "1");
 594                   break;
 595                 case 'p':
 596                   setoptval ("noparent", "1");
 597                   break;
 598                 default:
 599                   printf (_("%s: illegal option -- `-n%c'\n"), exec_name, *p);
 600                   print_usage ();
 601                   printf ("\n");
 602                   printf (_("Try `%s --help\' for more options.\n"), exec_name);
 603                   exit (1);
 604                 }
 605             break;
 606           }
 607         case OPT__PARENT:
 608         case OPT__CLOBBER:
 609           {
 610             /* The wgetrc commands are named noparent and noclobber,
 611                so we must revert the meaning of the cmdline options
 612                before passing the value to setoptval.  */
 613             int flag = 1;
 614             if (optarg)
 615               flag = (*optarg == '1' || TOLOWER (*optarg) == 'y'
 616                       || (TOLOWER (optarg[0]) == 'o'
 617                           && TOLOWER (optarg[1]) == 'n'));
 618             setoptval (opt->type == OPT__PARENT ? "noparent" : "noclobber",
 619                        flag ? "0" : "1");
 620             break;
 621           }
 622         case OPT__VERSION:
 623           printf ("GNU Wget %s\n\n", version_string);
 624           printf ("%s", _("\
 625 Copyright (C) 2003 Free Software Foundation, Inc.\n"));
 626           printf ("%s", _("\
 627 This program is distributed in the hope that it will be useful,\n\
 628 but WITHOUT ANY WARRANTY; without even the implied warranty of\n\
 629 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the\n\
 630 GNU General Public License for more details.\n"));
 631           printf (_("\nOriginally written by Hrvoje Niksic <hniksic@xemacs.org>.\n"));
 632           exit (0);
 633           break;
 634         }
 635
 636       longindex = -1;
 637     }
 638
 639   /* All user options have now been processed, so it's now safe to do
 640      interoption dependency checks. */
 641
 642   if (opt.reclevel == 0)
 643     opt.reclevel = INFINITE_RECURSION;  /* see wget.h for commentary on this */
 644
 645   if (opt.page_requisites && !opt.recursive)
 646     {
 647       /* Don't set opt.recursive here because it would confuse the FTP
 648          code.  Instead, call retrieve_tree below when either
 649          page_requisites or recursive is requested.  */
 650       opt.reclevel = 0;
 651       if (!opt.no_dirstruct)
 652         opt.dirstruct = 1;      /* normally handled by cmd_spec_recursive() */
 653     }
 654
 655   if (opt.verbose == -1)
 656     opt.verbose = !opt.quiet;
 657
 658   /* Sanity checks.  */
 659   if (opt.verbose && opt.quiet)
 660     {
 661       printf (_("Can't be verbose and quiet at the same time.\n"));
 662       print_usage ();
 663       exit (1);
 664     }
 665   if (opt.timestamping && opt.noclobber)
 666     {
 667       printf (_("\
 668 Can't timestamp and not clobber old files at the same time.\n"));
 669       print_usage ();
 670       exit (1);
 671     }
 672   nurl = argc - optind;
 673   if (!nurl && !opt.input_filename)
 674     {
 675       /* No URL specified.  */
 676       printf (_("%s: missing URL\n"), exec_name);
 677       print_usage ();
 678       printf ("\n");
 679       /* #### Something nicer should be printed here -- similar to the
 680          pre-1.5 `--help' page.  */
 681       printf (_("Try `%s --help' for more options.\n"), exec_name);
 682       exit (1);
 683     }
 684
 685   if (opt.background)
 686     fork_to_background ();
 687
 688   /* Initialize progress.  Have to do this after the options are
 689      processed so we know where the log file is.  */
 690   if (opt.verbose)
 691     set_progress_implementation (opt.progress_type);
 692
 693   /* Fill in the arguments.  */
 694   url = alloca_array (char *, nurl + 1);
 695   for (i = 0; i < nurl; i++, optind++)
 696     {
 697       char *rewritten = rewrite_shorthand_url (argv[optind]);
 698       if (rewritten)
 699         url[i] = rewritten;
 700       else
 701         url[i] = xstrdup (argv[optind]);
 702     }
 703   url[i] = NULL;
 704
 705   /* Change the title of console window on Windows.  #### I think this
 706      statement should belong to retrieve_url().  --hniksic.  */
 707 #ifdef WINDOWS
 708   ws_changetitle (*url, nurl);
 709 #endif
 710
 711   /* Initialize logging.  */
 712   log_init (opt.lfilename, append_to_log);
 713
 714   DEBUGP (("DEBUG output created by Wget %s on %s.\n\n", version_string,
 715            OS_TYPE));
 716
 717   /* Open the output filename if necessary.  */
 718   if (opt.output_document)
 719     {
 720       if (HYPHENP (opt.output_document))
 721         opt.dfp = stdout;
 722       else
 723         {
 724           struct stat st;
 725           opt.dfp = fopen (opt.output_document, opt.always_rest ? "ab" : "wb");
 726           if (opt.dfp == NULL)
 727             {
 728               perror (opt.output_document);
 729               exit (1);
 730             }
 731           if (fstat (fileno (opt.dfp), &st) == 0 && S_ISREG (st.st_mode))
 732             opt.od_known_regular = 1;
 733         }
 734     }
 735
 736 #ifdef WINDOWS
 737   ws_startup ();
 738 #endif
 739
 740   /* Setup the signal handler to redirect output when hangup is
 741      received.  */
 742 #ifdef HAVE_SIGNAL
 743   if (signal(SIGHUP, SIG_IGN) != SIG_IGN)
 744     signal(SIGHUP, redirect_output_signal);
 745   /* ...and do the same for SIGUSR1.  */
 746   signal (SIGUSR1, redirect_output_signal);
 747   /* Writing to a closed socket normally signals SIGPIPE, and the
 748      process exits.  What we want is to ignore SIGPIPE and just check
 749      for the return value of write().  */
 750   signal (SIGPIPE, SIG_IGN);
 751 #ifdef SIGWINCH
 752   signal (SIGWINCH, progress_handle_sigwinch);
 753 #endif
 754 #endif /* HAVE_SIGNAL */
 755
 756   status = RETROK;              /* initialize it, just-in-case */
 757   /* Retrieve the URLs from argument list.  */
 758   for (t = url; *t; t++)
 759     {
 760       char *filename = NULL, *redirected_URL = NULL;
 761       int dt;
 762
 763       if ((opt.recursive || opt.page_requisites)
 764           && url_scheme (*t) != SCHEME_FTP)
 765         status = retrieve_tree (*t);
 766       else
 767         status = retrieve_url (*t, &filename, &redirected_URL, NULL, &dt);
 768
 769       if (opt.delete_after && file_exists_p(filename))
 770         {
 771           DEBUGP (("Removing file due to --delete-after in main():\n"));
 772           logprintf (LOG_VERBOSE, _("Removing %s.\n"), filename);
 773           if (unlink (filename))
 774             logprintf (LOG_NOTQUIET, "unlink: %s\n", strerror (errno));
 775         }
 776
 777       xfree_null (redirected_URL);
 778       xfree_null (filename);
 779     }
 780
 781   /* And then from the input file, if any.  */
 782   if (opt.input_filename)
 783     {
 784       int count;
 785       status = retrieve_from_file (opt.input_filename, opt.force_html, &count);
 786       if (!count)
 787         logprintf (LOG_NOTQUIET, _("No URLs found in %s.\n"),
 788                    opt.input_filename);
 789     }
 790   /* Print the downloaded sum.  */
 791   if (opt.recursive || opt.page_requisites
 792       || nurl > 1
 793       || (opt.input_filename && total_downloaded_bytes != 0))
 794     {
 795       logprintf (LOG_NOTQUIET,
 796                  _("\nFINISHED --%s--\nDownloaded: %s bytes in %d files\n"),
 797                  time_str (NULL), legible_large_int (total_downloaded_bytes),
 798                  opt.numurls);
 799       /* Print quota warning, if exceeded.  */
 800       if (opt.quota && total_downloaded_bytes > opt.quota)
 801         logprintf (LOG_NOTQUIET,
 802                    _("Download quota (%s bytes) EXCEEDED!\n"),
 803                    legible (opt.quota));
 804     }
 805
 806   if (opt.cookies_output && wget_cookie_jar)
 807     cookie_jar_save (wget_cookie_jar, opt.cookies_output);
 808
 809   if (opt.convert_links && !opt.delete_after)
 810     convert_all_links ();
 811
 812   log_close ();
 813   for (i = 0; i < nurl; i++)
 814     xfree (url[i]);
 815   cleanup ();
 816
 817 #ifdef DEBUG_MALLOC
 818   print_malloc_debug_stats ();
 819 #endif
 820   if (status == RETROK)
 821     return 0;
 822   else
 823     return 1;
 824 }
 825 \f
 826 #ifdef HAVE_SIGNAL
 827 /* Hangup signal handler.  When wget receives SIGHUP or SIGUSR1, it
 828    will proceed operation as usual, trying to write into a log file.
 829    If that is impossible, the output will be turned off.
 830
 831    #### It is unsafe to do call libc functions from a signal handler.
 832    What we should do is, set a global variable, and have the code in
 833    log.c pick it up.  */
 834
 835 static RETSIGTYPE
 836 redirect_output_signal (int sig)
 837 {
 838   char *signal_name = (sig == SIGHUP ? "SIGHUP" :
 839                        (sig == SIGUSR1 ? "SIGUSR1" :
 840                         "WTF?!"));
 841   log_request_redirect_output (signal_name);
 842   progress_schedule_redirect ();
 843   signal (sig, redirect_output_signal);
 844 }
 845 #endif /* HAVE_SIGNAL */