sjero.net Git - wget/blob - src/main.c

   1 /* Command line parsing.
   2    Copyright (C) 1996, 1997, 1998, 1999, 2000, 2001, 2002, 2003,
   3    2004, 2005, 2006, 2007, 2008 Free Software Foundation, Inc.
   4
   5 This file is part of GNU Wget.
   6
   7 GNU Wget is free software; you can redistribute it and/or modify
   8 it under the terms of the GNU General Public License as published by
   9 the Free Software Foundation; either version 3 of the License, or
  10 (at your option) any later version.
  11
  12 GNU Wget is distributed in the hope that it will be useful,
  13 but WITHOUT ANY WARRANTY; without even the implied warranty of
  14 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15 GNU General Public License for more details.
  16
  17 You should have received a copy of the GNU General Public License
  18 along with Wget.  If not, see <http://www.gnu.org/licenses/>.
  19
  20 Additional permission under GNU GPL version 3 section 7
  21
  22 If you modify this program, or any covered work, by linking or
  23 combining it with the OpenSSL project's OpenSSL library (or a
  24 modified version of that library), containing parts covered by the
  25 terms of the OpenSSL or SSLeay licenses, the Free Software Foundation
  26 grants you additional permission to convey the resulting work.
  27 Corresponding Source for a non-source form of such a combination
  28 shall include the source code for the parts of OpenSSL used as well
  29 as that of the covered work.  */
  30
  31 #include "wget.h"
  32
  33 #include <stdio.h>
  34 #include <stdlib.h>
  35 #ifdef HAVE_UNISTD_H
  36 # include <unistd.h>
  37 #endif /* HAVE_UNISTD_H */
  38 #include <string.h>
  39 #include <signal.h>
  40 #ifdef ENABLE_NLS
  41 # include <locale.h>
  42 #endif
  43 #include <assert.h>
  44 #include <errno.h>
  45 #include <time.h>
  46
  47 #include "utils.h"
  48 #include "init.h"
  49 #include "retr.h"
  50 #include "recur.h"
  51 #include "host.h"
  52 #include "url.h"
  53 #include "progress.h"           /* for progress_handle_sigwinch */
  54 #include "convert.h"
  55 #include "spider.h"
  56 #include "http.h"               /* for save_cookies */
  57
  58 #include <getopt.h>
  59
  60 #ifndef PATH_SEPARATOR
  61 # define PATH_SEPARATOR '/'
  62 #endif
  63
  64 struct options opt;
  65
  66 extern char *version_string;
  67
  68 #if defined(SIGHUP) || defined(SIGUSR1)
  69 static void redirect_output_signal (int);
  70 #endif
  71
  72 const char *exec_name;
  73 \f
  74 #ifndef TESTING
  75 /* Initialize I18N/L10N.  That amounts to invoking setlocale, and
  76    setting up gettext's message catalog using bindtextdomain and
  77    textdomain.  Does nothing if NLS is disabled or missing.  */
  78
  79 static void
  80 i18n_initialize (void)
  81 {
  82   /* ENABLE_NLS implies existence of functions invoked here.  */
  83 #ifdef ENABLE_NLS
  84   /* Set the current locale.  */
  85   setlocale (LC_ALL, "");
  86   /* Set the text message domain.  */
  87   bindtextdomain ("wget", LOCALEDIR);
  88   textdomain ("wget");
  89 #endif /* ENABLE_NLS */
  90 }
  91 \f
  92 /* Definition of command-line options. */
  93
  94 static void print_help (void);
  95 static void print_version (void);
  96
  97 #ifdef HAVE_SSL
  98 # define IF_SSL(x) x
  99 #else
 100 # define IF_SSL(x) NULL
 101 #endif
 102
 103 #ifdef ENABLE_DEBUG
 104 # define WHEN_DEBUG(x) x
 105 #else
 106 # define WHEN_DEBUG(x) NULL
 107 #endif
 108
 109 struct cmdline_option {
 110   const char *long_name;
 111   char short_name;
 112   enum {
 113     OPT_VALUE,
 114     OPT_BOOLEAN,
 115     OPT_FUNCALL,
 116     /* Non-standard options that have to be handled specially in
 117        main().  */
 118     OPT__APPEND_OUTPUT,
 119     OPT__CLOBBER,
 120     OPT__DONT_REMOVE_LISTING,
 121     OPT__EXECUTE,
 122     OPT__NO,
 123     OPT__PARENT
 124   } type;
 125   const void *data;             /* for standard options */
 126   int argtype;                  /* for non-standard options */
 127 };
 128
 129 static struct cmdline_option option_data[] =
 130   {
 131     { "accept", 'A', OPT_VALUE, "accept", -1 },
 132     { "append-output", 'a', OPT__APPEND_OUTPUT, NULL, required_argument },
 133     { "auth-no-challenge", 0, OPT_BOOLEAN, "authnochallenge", -1 },
 134     { "background", 'b', OPT_BOOLEAN, "background", -1 },
 135     { "backup-converted", 'K', OPT_BOOLEAN, "backupconverted", -1 },
 136     { "backups", 0, OPT_BOOLEAN, "backups", -1 },
 137     { "base", 'B', OPT_VALUE, "base", -1 },
 138     { "bind-address", 0, OPT_VALUE, "bindaddress", -1 },
 139     { IF_SSL ("ca-certificate"), 0, OPT_VALUE, "cacertificate", -1 },
 140     { IF_SSL ("ca-directory"), 0, OPT_VALUE, "cadirectory", -1 },
 141     { "cache", 0, OPT_BOOLEAN, "cache", -1 },
 142     { IF_SSL ("certificate"), 0, OPT_VALUE, "certificate", -1 },
 143     { IF_SSL ("certificate-type"), 0, OPT_VALUE, "certificatetype", -1 },
 144     { IF_SSL ("check-certificate"), 0, OPT_BOOLEAN, "checkcertificate", -1 },
 145     { "clobber", 0, OPT__CLOBBER, NULL, optional_argument },
 146     { "connect-timeout", 0, OPT_VALUE, "connecttimeout", -1 },
 147     { "continue", 'c', OPT_BOOLEAN, "continue", -1 },
 148     { "convert-links", 'k', OPT_BOOLEAN, "convertlinks", -1 },
 149     { "content-disposition", 0, OPT_BOOLEAN, "contentdisposition", -1 },
 150     { "cookies", 0, OPT_BOOLEAN, "cookies", -1 },
 151     { "cut-dirs", 0, OPT_VALUE, "cutdirs", -1 },
 152     { WHEN_DEBUG ("debug"), 'd', OPT_BOOLEAN, "debug", -1 },
 153     { "delete-after", 0, OPT_BOOLEAN, "deleteafter", -1 },
 154     { "directories", 0, OPT_BOOLEAN, "dirstruct", -1 },
 155     { "directory-prefix", 'P', OPT_VALUE, "dirprefix", -1 },
 156     { "dns-cache", 0, OPT_BOOLEAN, "dnscache", -1 },
 157     { "dns-timeout", 0, OPT_VALUE, "dnstimeout", -1 },
 158     { "domains", 'D', OPT_VALUE, "domains", -1 },
 159     { "dont-remove-listing", 0, OPT__DONT_REMOVE_LISTING, NULL, no_argument },
 160     { "dot-style", 0, OPT_VALUE, "dotstyle", -1 },
 161     { "egd-file", 0, OPT_VALUE, "egdfile", -1 },
 162     { "exclude-directories", 'X', OPT_VALUE, "excludedirectories", -1 },
 163     { "exclude-domains", 0, OPT_VALUE, "excludedomains", -1 },
 164     { "execute", 'e', OPT__EXECUTE, NULL, required_argument },
 165     { "follow-ftp", 0, OPT_BOOLEAN, "followftp", -1 },
 166     { "follow-tags", 0, OPT_VALUE, "followtags", -1 },
 167     { "force-directories", 'x', OPT_BOOLEAN, "dirstruct", -1 },
 168     { "force-html", 'F', OPT_BOOLEAN, "forcehtml", -1 },
 169     { "ftp-password", 0, OPT_VALUE, "ftppassword", -1 },
 170     { "ftp-user", 0, OPT_VALUE, "ftpuser", -1 },
 171     { "glob", 0, OPT_BOOLEAN, "glob", -1 },
 172     { "header", 0, OPT_VALUE, "header", -1 },
 173     { "help", 'h', OPT_FUNCALL, (void *)print_help, no_argument },
 174     { "host-directories", 0, OPT_BOOLEAN, "addhostdir", -1 },
 175     { "html-extension", 'E', OPT_BOOLEAN, "htmlextension", -1 },
 176     { "htmlify", 0, OPT_BOOLEAN, "htmlify", -1 },
 177     { "http-keep-alive", 0, OPT_BOOLEAN, "httpkeepalive", -1 },
 178     { "http-passwd", 0, OPT_VALUE, "httppassword", -1 }, /* deprecated */
 179     { "http-password", 0, OPT_VALUE, "httppassword", -1 },
 180     { "http-user", 0, OPT_VALUE, "httpuser", -1 },
 181     { "ignore-case", 0, OPT_BOOLEAN, "ignorecase", -1 },
 182     { "ignore-length", 0, OPT_BOOLEAN, "ignorelength", -1 },
 183     { "ignore-tags", 0, OPT_VALUE, "ignoretags", -1 },
 184     { "include-directories", 'I', OPT_VALUE, "includedirectories", -1 },
 185 #ifdef ENABLE_IPV6
 186     { "inet4-only", '4', OPT_BOOLEAN, "inet4only", -1 },
 187     { "inet6-only", '6', OPT_BOOLEAN, "inet6only", -1 },
 188 #endif
 189     { "input-file", 'i', OPT_VALUE, "input", -1 },
 190     { "keep-session-cookies", 0, OPT_BOOLEAN, "keepsessioncookies", -1 },
 191     { "level", 'l', OPT_VALUE, "reclevel", -1 },
 192     { "limit-rate", 0, OPT_VALUE, "limitrate", -1 },
 193     { "load-cookies", 0, OPT_VALUE, "loadcookies", -1 },
 194     { "max-redirect", 0, OPT_VALUE, "maxredirect", -1 },
 195     { "mirror", 'm', OPT_BOOLEAN, "mirror", -1 },
 196     { "no", 'n', OPT__NO, NULL, required_argument },
 197     { "no-clobber", 0, OPT_BOOLEAN, "noclobber", -1 },
 198     { "no-parent", 0, OPT_BOOLEAN, "noparent", -1 },
 199     { "output-document", 'O', OPT_VALUE, "outputdocument", -1 },
 200     { "output-file", 'o', OPT_VALUE, "logfile", -1 },
 201     { "page-requisites", 'p', OPT_BOOLEAN, "pagerequisites", -1 },
 202     { "parent", 0, OPT__PARENT, NULL, optional_argument },
 203     { "passive-ftp", 0, OPT_BOOLEAN, "passiveftp", -1 },
 204     { "password", 0, OPT_VALUE, "password", -1 },
 205     { "post-data", 0, OPT_VALUE, "postdata", -1 },
 206     { "post-file", 0, OPT_VALUE, "postfile", -1 },
 207     { "prefer-family", 0, OPT_VALUE, "preferfamily", -1 },
 208     { "preserve-permissions", 0, OPT_BOOLEAN, "preservepermissions", -1 },
 209     { IF_SSL ("private-key"), 0, OPT_VALUE, "privatekey", -1 },
 210     { IF_SSL ("private-key-type"), 0, OPT_VALUE, "privatekeytype", -1 },
 211     { "progress", 0, OPT_VALUE, "progress", -1 },
 212     { "protocol-directories", 0, OPT_BOOLEAN, "protocoldirectories", -1 },
 213     { "proxy", 0, OPT_BOOLEAN, "useproxy", -1 },
 214     { "proxy__compat", 'Y', OPT_VALUE, "useproxy", -1 }, /* back-compatible */
 215     { "proxy-passwd", 0, OPT_VALUE, "proxypassword", -1 }, /* deprecated */
 216     { "proxy-password", 0, OPT_VALUE, "proxypassword", -1 },
 217     { "proxy-user", 0, OPT_VALUE, "proxyuser", -1 },
 218     { "quiet", 'q', OPT_BOOLEAN, "quiet", -1 },
 219     { "quota", 'Q', OPT_VALUE, "quota", -1 },
 220     { "random-file", 0, OPT_VALUE, "randomfile", -1 },
 221     { "random-wait", 0, OPT_BOOLEAN, "randomwait", -1 },
 222     { "read-timeout", 0, OPT_VALUE, "readtimeout", -1 },
 223     { "recursive", 'r', OPT_BOOLEAN, "recursive", -1 },
 224     { "referer", 0, OPT_VALUE, "referer", -1 },
 225     { "reject", 'R', OPT_VALUE, "reject", -1 },
 226     { "relative", 'L', OPT_BOOLEAN, "relativeonly", -1 },
 227     { "remove-listing", 0, OPT_BOOLEAN, "removelisting", -1 },
 228     { "restrict-file-names", 0, OPT_BOOLEAN, "restrictfilenames", -1 },
 229     { "retr-symlinks", 0, OPT_BOOLEAN, "retrsymlinks", -1 },
 230     { "retry-connrefused", 0, OPT_BOOLEAN, "retryconnrefused", -1 },
 231     { "save-cookies", 0, OPT_VALUE, "savecookies", -1 },
 232     { "save-headers", 0, OPT_BOOLEAN, "saveheaders", -1 },
 233     { IF_SSL ("secure-protocol"), 0, OPT_VALUE, "secureprotocol", -1 },
 234     { "server-response", 'S', OPT_BOOLEAN, "serverresponse", -1 },
 235     { "span-hosts", 'H', OPT_BOOLEAN, "spanhosts", -1 },
 236     { "spider", 0, OPT_BOOLEAN, "spider", -1 },
 237     { "strict-comments", 0, OPT_BOOLEAN, "strictcomments", -1 },
 238     { "timeout", 'T', OPT_VALUE, "timeout", -1 },
 239     { "timestamping", 'N', OPT_BOOLEAN, "timestamping", -1 },
 240     { "tries", 't', OPT_VALUE, "tries", -1 },
 241     { "user", 0, OPT_VALUE, "user", -1 },
 242     { "user-agent", 'U', OPT_VALUE, "useragent", -1 },
 243     { "verbose", 'v', OPT_BOOLEAN, "verbose", -1 },
 244     { "verbose", 0, OPT_BOOLEAN, "verbose", -1 },
 245     { "version", 'V', OPT_FUNCALL, (void *) print_version, no_argument },
 246     { "wait", 'w', OPT_VALUE, "wait", -1 },
 247     { "waitretry", 0, OPT_VALUE, "waitretry", -1 },
 248 #ifdef MSDOS
 249     { "wdebug", 0, OPT_BOOLEAN, "wdebug", -1 },
 250 #endif
 251   };
 252
 253 #undef WHEN_DEBUG
 254 #undef IF_SSL
 255
 256 /* Return a string that contains S with "no-" prepended.  The string
 257    is NUL-terminated and allocated off static storage at Wget
 258    startup.  */
 259
 260 static char *
 261 no_prefix (const char *s)
 262 {
 263   static char buffer[1024];
 264   static char *p = buffer;
 265
 266   char *cp = p;
 267   int size = 3 + strlen (s) + 1;  /* "no-STRING\0" */
 268   if (p + size >= buffer + sizeof (buffer))
 269     abort ();
 270
 271   cp[0] = 'n', cp[1] = 'o', cp[2] = '-';
 272   strcpy (cp + 3, s);
 273   p += size;
 274   return cp;
 275 }
 276
 277 /* The arguments that that main passes to getopt_long. */
 278 static struct option long_options[2 * countof (option_data) + 1];
 279 static char short_options[128];
 280
 281 /* Mapping between short option chars and option_data indices. */
 282 static unsigned char optmap[96];
 283
 284 /* Marker for `--no-FOO' values in long_options.  */
 285 #define BOOLEAN_NEG_MARKER 1024
 286
 287 /* Initialize the long_options array used by getopt_long from the data
 288    in option_data.  */
 289
 290 static void
 291 init_switches (void)
 292 {
 293   char *p = short_options;
 294   int i, o = 0;
 295   for (i = 0; i < countof (option_data); i++)
 296     {
 297       struct cmdline_option *opt = &option_data[i];
 298       struct option *longopt;
 299
 300       if (!opt->long_name)
 301         /* The option is disabled. */
 302         continue;
 303
 304       longopt = &long_options[o++];
 305       longopt->name = opt->long_name;
 306       longopt->val = i;
 307       if (opt->short_name)
 308         {
 309           *p++ = opt->short_name;
 310           optmap[opt->short_name - 32] = longopt - long_options;
 311         }
 312       switch (opt->type)
 313         {
 314         case OPT_VALUE:
 315           longopt->has_arg = required_argument;
 316           if (opt->short_name)
 317             *p++ = ':';
 318           break;
 319         case OPT_BOOLEAN:
 320           /* Specify an optional argument for long options, so that
 321              --option=off works the same as --no-option, for
 322              compatibility with pre-1.10 Wget.  However, don't specify
 323              optional arguments short-option booleans because they
 324              prevent combining of short options.  */
 325           longopt->has_arg = optional_argument;
 326           /* For Boolean options, add the "--no-FOO" variant, which is
 327              identical to "--foo", except it has opposite meaning and
 328              it doesn't allow an argument.  */
 329           longopt = &long_options[o++];
 330           longopt->name = no_prefix (opt->long_name);
 331           longopt->has_arg = no_argument;
 332           /* Mask the value so we'll be able to recognize that we're
 333              dealing with the false value.  */
 334           longopt->val = i | BOOLEAN_NEG_MARKER;
 335           break;
 336         default:
 337           assert (opt->argtype != -1);
 338           longopt->has_arg = opt->argtype;
 339           if (opt->short_name)
 340             {
 341               if (longopt->has_arg == required_argument)
 342                 *p++ = ':';
 343               /* Don't handle optional_argument */
 344             }
 345         }
 346     }
 347   /* Terminate short_options. */
 348   *p = '\0';
 349   /* No need for xzero(long_options[o]) because its storage is static
 350      and it will be zeroed by default.  */
 351   assert (o <= countof (long_options));
 352 }
 353
 354 /* Print the usage message.  */
 355 static void
 356 print_usage (void)
 357 {
 358   printf (_("Usage: %s [OPTION]... [URL]...\n"), exec_name);
 359 }
 360
 361 /* Print the help message, describing all the available options.  If
 362    you add an option, be sure to update this list.  */
 363 static void
 364 print_help (void)
 365 {
 366   /* We split the help text this way to ease translation of individual
 367      entries.  */
 368   static const char *help[] = {
 369     "\n",
 370     N_("\
 371 Mandatory arguments to long options are mandatory for short options too.\n\n"),
 372     N_("\
 373 Startup:\n"),
 374     N_("\
 375   -V,  --version           display the version of Wget and exit.\n"),
 376     N_("\
 377   -h,  --help              print this help.\n"),
 378     N_("\
 379   -b,  --background        go to background after startup.\n"),
 380     N_("\
 381   -e,  --execute=COMMAND   execute a `.wgetrc'-style command.\n"),
 382     "\n",
 383
 384     N_("\
 385 Logging and input file:\n"),
 386     N_("\
 387   -o,  --output-file=FILE    log messages to FILE.\n"),
 388     N_("\
 389   -a,  --append-output=FILE  append messages to FILE.\n"),
 390 #ifdef ENABLE_DEBUG
 391     N_("\
 392   -d,  --debug               print lots of debugging information.\n"),
 393 #endif
 394 #ifdef MSDOS
 395     N_("\
 396        --wdebug              print Watt-32 debug output.\n"),
 397 #endif
 398     N_("\
 399   -q,  --quiet               quiet (no output).\n"),
 400     N_("\
 401   -v,  --verbose             be verbose (this is the default).\n"),
 402     N_("\
 403   -nv, --no-verbose          turn off verboseness, without being quiet.\n"),
 404     N_("\
 405   -i,  --input-file=FILE     download URLs found in FILE.\n"),
 406     N_("\
 407   -F,  --force-html          treat input file as HTML.\n"),
 408     N_("\
 409   -B,  --base=URL            prepends URL to relative links in -F -i file.\n"),
 410     "\n",
 411
 412     N_("\
 413 Download:\n"),
 414     N_("\
 415   -t,  --tries=NUMBER            set number of retries to NUMBER (0 unlimits).\n"),
 416     N_("\
 417        --retry-connrefused       retry even if connection is refused.\n"),
 418     N_("\
 419   -O,  --output-document=FILE    write documents to FILE.\n"),
 420     N_("\
 421   -nc, --no-clobber              skip downloads that would download to\n\
 422                                  existing files.\n"),
 423     N_("\
 424   -c,  --continue                resume getting a partially-downloaded file.\n"),
 425     N_("\
 426        --progress=TYPE           select progress gauge type.\n"),
 427     N_("\
 428   -N,  --timestamping            don't re-retrieve files unless newer than\n\
 429                                  local.\n"),
 430     N_("\
 431   -S,  --server-response         print server response.\n"),
 432     N_("\
 433        --spider                  don't download anything.\n"),
 434     N_("\
 435   -T,  --timeout=SECONDS         set all timeout values to SECONDS.\n"),
 436     N_("\
 437        --dns-timeout=SECS        set the DNS lookup timeout to SECS.\n"),
 438     N_("\
 439        --connect-timeout=SECS    set the connect timeout to SECS.\n"),
 440     N_("\
 441        --read-timeout=SECS       set the read timeout to SECS.\n"),
 442     N_("\
 443   -w,  --wait=SECONDS            wait SECONDS between retrievals.\n"),
 444     N_("\
 445        --waitretry=SECONDS       wait 1..SECONDS between retries of a retrieval.\n"),
 446     N_("\
 447        --random-wait             wait from 0...2*WAIT secs between retrievals.\n"),
 448     N_("\
 449        --no-proxy                explicitly turn off proxy.\n"),
 450     N_("\
 451   -Q,  --quota=NUMBER            set retrieval quota to NUMBER.\n"),
 452     N_("\
 453        --bind-address=ADDRESS    bind to ADDRESS (hostname or IP) on local host.\n"),
 454     N_("\
 455        --limit-rate=RATE         limit download rate to RATE.\n"),
 456     N_("\
 457        --no-dns-cache            disable caching DNS lookups.\n"),
 458     N_("\
 459        --restrict-file-names=OS  restrict chars in file names to ones OS allows.\n"),
 460     N_("\
 461        --ignore-case             ignore case when matching files/directories.\n"),
 462 #ifdef ENABLE_IPV6
 463     N_("\
 464   -4,  --inet4-only              connect only to IPv4 addresses.\n"),
 465     N_("\
 466   -6,  --inet6-only              connect only to IPv6 addresses.\n"),
 467     N_("\
 468        --prefer-family=FAMILY    connect first to addresses of specified family,\n\
 469                                  one of IPv6, IPv4, or none.\n"),
 470 #endif
 471     N_("\
 472        --user=USER               set both ftp and http user to USER.\n"),
 473     N_("\
 474        --password=PASS           set both ftp and http password to PASS.\n"),
 475     "\n",
 476
 477     N_("\
 478 Directories:\n"),
 479     N_("\
 480   -nd, --no-directories           don't create directories.\n"),
 481     N_("\
 482   -x,  --force-directories        force creation of directories.\n"),
 483     N_("\
 484   -nH, --no-host-directories      don't create host directories.\n"),
 485     N_("\
 486        --protocol-directories     use protocol name in directories.\n"),
 487     N_("\
 488   -P,  --directory-prefix=PREFIX  save files to PREFIX/...\n"),
 489     N_("\
 490        --cut-dirs=NUMBER          ignore NUMBER remote directory components.\n"),
 491     "\n",
 492
 493     N_("\
 494 HTTP options:\n"),
 495     N_("\
 496        --http-user=USER        set http user to USER.\n"),
 497     N_("\
 498        --http-password=PASS    set http password to PASS.\n"),
 499     N_("\
 500        --no-cache              disallow server-cached data.\n"),
 501     N_("\
 502   -E,  --html-extension        save HTML documents with `.html' extension.\n"),
 503     N_("\
 504        --ignore-length         ignore `Content-Length' header field.\n"),
 505     N_("\
 506        --header=STRING         insert STRING among the headers.\n"),
 507     N_("\
 508        --max-redirect          maximum redirections allowed per page.\n"),
 509     N_("\
 510        --proxy-user=USER       set USER as proxy username.\n"),
 511     N_("\
 512        --proxy-password=PASS   set PASS as proxy password.\n"),
 513     N_("\
 514        --referer=URL           include `Referer: URL' header in HTTP request.\n"),
 515     N_("\
 516        --save-headers          save the HTTP headers to file.\n"),
 517     N_("\
 518   -U,  --user-agent=AGENT      identify as AGENT instead of Wget/VERSION.\n"),
 519     N_("\
 520        --no-http-keep-alive    disable HTTP keep-alive (persistent connections).\n"),
 521     N_("\
 522        --no-cookies            don't use cookies.\n"),
 523     N_("\
 524        --load-cookies=FILE     load cookies from FILE before session.\n"),
 525     N_("\
 526        --save-cookies=FILE     save cookies to FILE after session.\n"),
 527     N_("\
 528        --keep-session-cookies  load and save session (non-permanent) cookies.\n"),
 529     N_("\
 530        --post-data=STRING      use the POST method; send STRING as the data.\n"),
 531     N_("\
 532        --post-file=FILE        use the POST method; send contents of FILE.\n"),
 533     N_("\
 534        --content-disposition   honor the Content-Disposition header when\n\
 535                                choosing local file names (EXPERIMENTAL).\n"),
 536     N_("\
 537        --auth-no-challenge     Send Basic HTTP authentication information\n\
 538                                without first waiting for the server's\n\
 539                                challenge.\n"),
 540     "\n",
 541
 542 #ifdef HAVE_SSL
 543     N_("\
 544 HTTPS (SSL/TLS) options:\n"),
 545     N_("\
 546        --secure-protocol=PR     choose secure protocol, one of auto, SSLv2,\n\
 547                                 SSLv3, and TLSv1.\n"),
 548     N_("\
 549        --no-check-certificate   don't validate the server's certificate.\n"),
 550     N_("\
 551        --certificate=FILE       client certificate file.\n"),
 552     N_("\
 553        --certificate-type=TYPE  client certificate type, PEM or DER.\n"),
 554     N_("\
 555        --private-key=FILE       private key file.\n"),
 556     N_("\
 557        --private-key-type=TYPE  private key type, PEM or DER.\n"),
 558     N_("\
 559        --ca-certificate=FILE    file with the bundle of CA's.\n"),
 560     N_("\
 561        --ca-directory=DIR       directory where hash list of CA's is stored.\n"),
 562     N_("\
 563        --random-file=FILE       file with random data for seeding the SSL PRNG.\n"),
 564     N_("\
 565        --egd-file=FILE          file naming the EGD socket with random data.\n"),
 566     "\n",
 567 #endif /* HAVE_SSL */
 568
 569     N_("\
 570 FTP options:\n"),
 571     N_("\
 572        --ftp-user=USER         set ftp user to USER.\n"),
 573     N_("\
 574        --ftp-password=PASS     set ftp password to PASS.\n"),
 575     N_("\
 576        --no-remove-listing     don't remove `.listing' files.\n"),
 577     N_("\
 578        --no-glob               turn off FTP file name globbing.\n"),
 579     N_("\
 580        --no-passive-ftp        disable the \"passive\" transfer mode.\n"),
 581     N_("\
 582        --retr-symlinks         when recursing, get linked-to files (not dir).\n"),
 583     N_("\
 584        --preserve-permissions  preserve remote file permissions.\n"),
 585     "\n",
 586
 587     N_("\
 588 Recursive download:\n"),
 589     N_("\
 590   -r,  --recursive          specify recursive download.\n"),
 591     N_("\
 592   -l,  --level=NUMBER       maximum recursion depth (inf or 0 for infinite).\n"),
 593     N_("\
 594        --delete-after       delete files locally after downloading them.\n"),
 595     N_("\
 596   -k,  --convert-links      make links in downloaded HTML point to local files.\n"),
 597     N_("\
 598   -K,  --backup-converted   before converting file X, back up as X.orig.\n"),
 599     N_("\
 600   -m,  --mirror             shortcut for -N -r -l inf --no-remove-listing.\n"),
 601     N_("\
 602   -p,  --page-requisites    get all images, etc. needed to display HTML page.\n"),
 603     N_("\
 604        --strict-comments    turn on strict (SGML) handling of HTML comments.\n"),
 605     "\n",
 606
 607     N_("\
 608 Recursive accept/reject:\n"),
 609     N_("\
 610   -A,  --accept=LIST               comma-separated list of accepted extensions.\n"),
 611     N_("\
 612   -R,  --reject=LIST               comma-separated list of rejected extensions.\n"),
 613     N_("\
 614   -D,  --domains=LIST              comma-separated list of accepted domains.\n"),
 615     N_("\
 616        --exclude-domains=LIST      comma-separated list of rejected domains.\n"),
 617     N_("\
 618        --follow-ftp                follow FTP links from HTML documents.\n"),
 619     N_("\
 620        --follow-tags=LIST          comma-separated list of followed HTML tags.\n"),
 621     N_("\
 622        --ignore-tags=LIST          comma-separated list of ignored HTML tags.\n"),
 623     N_("\
 624   -H,  --span-hosts                go to foreign hosts when recursive.\n"),
 625     N_("\
 626   -L,  --relative                  follow relative links only.\n"),
 627     N_("\
 628   -I,  --include-directories=LIST  list of allowed directories.\n"),
 629     N_("\
 630   -X,  --exclude-directories=LIST  list of excluded directories.\n"),
 631     N_("\
 632   -np, --no-parent                 don't ascend to the parent directory.\n"),
 633     "\n",
 634
 635     N_("Mail bug reports and suggestions to <bug-wget@gnu.org>.\n")
 636   };
 637
 638   int i;
 639
 640   printf (_("GNU Wget %s, a non-interactive network retriever.\n"),
 641           version_string);
 642   print_usage ();
 643
 644   for (i = 0; i < countof (help); i++)
 645     fputs (_(help[i]), stdout);
 646
 647   exit (0);
 648 }
 649
 650 /* Return a human-readable printed representation of INTERVAL,
 651    measured in seconds.  */
 652
 653 static char *
 654 secs_to_human_time (double interval)
 655 {
 656   static char buf[32];
 657   int secs = (int) (interval + 0.5);
 658   int hours, mins, days;
 659
 660   days = secs / 86400, secs %= 86400;
 661   hours = secs / 3600, secs %= 3600;
 662   mins = secs / 60, secs %= 60;
 663
 664   if (days)
 665     sprintf (buf, "%dd %dh %dm %ds", days, hours, mins, secs);
 666   else if (hours)
 667     sprintf (buf, "%dh %dm %ds", hours, mins, secs);
 668   else if (mins)
 669     sprintf (buf, "%dm %ds", mins, secs);
 670   else
 671     sprintf (buf, "%ss", print_decimal (interval));
 672
 673   return buf;
 674 }
 675
 676 static void
 677 print_version (void)
 678 {
 679   printf ("GNU Wget %s\n\n", version_string);
 680   /* TRANSLATORS: When available, an actual copyright character
 681      (cirle-c) should be used in preference to "(C)". */
 682   fputs (_("\
 683 Copyright (C) 2008 Free Software Foundation, Inc.\n"), stdout);
 684   fputs (_("\
 685 License GPLv3+: GNU GPL version 3 or later\n\
 686 <http://www.gnu.org/licenses/gpl.html>.\n\
 687 This is free software: you are free to change and redistribute it.\n\
 688 There is NO WARRANTY, to the extent permitted by law.\n"), stdout);
 689   /* TRANSLATORS: When available, please use the proper diacritics for
 690      names such as this one. See en_US.po for reference. */
 691   fputs (_("\nOriginally written by Hrvoje Niksic <hniksic@xemacs.org>.\n"),
 692          stdout);
 693   fputs (_("Currently maintained by Micah Cowan <micah@cowan.name>.\n"),
 694          stdout);
 695   exit (0);
 696 }
 697 \f
 698
 699 int
 700 main (int argc, char **argv)
 701 {
 702   char **url, **t;
 703   int i, ret, longindex;
 704   int nurl, status;
 705   bool append_to_log = false;
 706
 707   i18n_initialize ();
 708
 709   /* Construct the name of the executable, without the directory part.  */
 710   exec_name = strrchr (argv[0], PATH_SEPARATOR);
 711   if (!exec_name)
 712     exec_name = argv[0];
 713   else
 714     ++exec_name;
 715
 716 #ifdef WINDOWS
 717   /* Drop extension (typically .EXE) from executable filename. */
 718   windows_main ((char **) &exec_name);
 719 #endif
 720
 721   /* Set option defaults; read the system wgetrc and ~/.wgetrc.  */
 722   initialize ();
 723
 724   init_switches ();
 725   longindex = -1;
 726   while ((ret = getopt_long (argc, argv,
 727                              short_options, long_options, &longindex)) != -1)
 728     {
 729       int val;
 730       struct cmdline_option *opt;
 731
 732       /* If LONGINDEX is unchanged, it means RET is referring a short
 733          option.  */
 734       if (longindex == -1)
 735         {
 736           if (ret == '?')
 737             {
 738               print_usage ();
 739               printf ("\n");
 740               printf (_("Try `%s --help' for more options.\n"), exec_name);
 741               exit (2);
 742             }
 743           /* Find the short option character in the mapping.  */
 744           longindex = optmap[ret - 32];
 745         }
 746       val = long_options[longindex].val;
 747
 748       /* Use the retrieved value to locate the option in the
 749          option_data array, and to see if we're dealing with the
 750          negated "--no-FOO" variant of the boolean option "--foo".  */
 751       opt = &option_data[val & ~BOOLEAN_NEG_MARKER];
 752       switch (opt->type)
 753         {
 754         case OPT_VALUE:
 755           setoptval (opt->data, optarg, opt->long_name);
 756           break;
 757         case OPT_BOOLEAN:
 758           if (optarg)
 759             /* The user has specified a value -- use it. */
 760             setoptval (opt->data, optarg, opt->long_name);
 761           else
 762             {
 763               /* NEG is true for `--no-FOO' style boolean options. */
 764               bool neg = !!(val & BOOLEAN_NEG_MARKER);
 765               setoptval (opt->data, neg ? "0" : "1", opt->long_name);
 766             }
 767           break;
 768         case OPT_FUNCALL:
 769           {
 770             void (*func) (void) = (void (*) (void)) opt->data;
 771             func ();
 772           }
 773           break;
 774         case OPT__APPEND_OUTPUT:
 775           setoptval ("logfile", optarg, opt->long_name);
 776           append_to_log = true;
 777           break;
 778         case OPT__EXECUTE:
 779           run_command (optarg);
 780           break;
 781         case OPT__NO:
 782           {
 783             /* We support real --no-FOO flags now, but keep these
 784                short options for convenience and backward
 785                compatibility.  */
 786             char *p;
 787             for (p = optarg; *p; p++)
 788               switch (*p)
 789                 {
 790                 case 'v':
 791                   setoptval ("verbose", "0", opt->long_name);
 792                   break;
 793                 case 'H':
 794                   setoptval ("addhostdir", "0", opt->long_name);
 795                   break;
 796                 case 'd':
 797                   setoptval ("dirstruct", "0", opt->long_name);
 798                   break;
 799                 case 'c':
 800                   setoptval ("noclobber", "1", opt->long_name);
 801                   break;
 802                 case 'p':
 803                   setoptval ("noparent", "1", opt->long_name);
 804                   break;
 805                 default:
 806                   printf (_("%s: illegal option -- `-n%c'\n"), exec_name, *p);
 807                   print_usage ();
 808                   printf ("\n");
 809                   printf (_("Try `%s --help' for more options.\n"), exec_name);
 810                   exit (1);
 811                 }
 812             break;
 813           }
 814         case OPT__PARENT:
 815         case OPT__CLOBBER:
 816           {
 817             /* The wgetrc commands are named noparent and noclobber,
 818                so we must revert the meaning of the cmdline options
 819                before passing the value to setoptval.  */
 820             bool flag = true;
 821             if (optarg)
 822               flag = (*optarg == '1' || c_tolower (*optarg) == 'y'
 823                       || (c_tolower (optarg[0]) == 'o'
 824                           && c_tolower (optarg[1]) == 'n'));
 825             setoptval (opt->type == OPT__PARENT ? "noparent" : "noclobber",
 826                        flag ? "0" : "1", opt->long_name);
 827             break;
 828           }
 829         case OPT__DONT_REMOVE_LISTING:
 830           setoptval ("removelisting", "0", opt->long_name);
 831           break;
 832         }
 833
 834       longindex = -1;
 835     }
 836
 837   nurl = argc - optind;
 838
 839   /* All user options have now been processed, so it's now safe to do
 840      interoption dependency checks. */
 841
 842   if (opt.reclevel == 0)
 843       opt.reclevel = INFINITE_RECURSION; /* see recur.h for commentary */
 844
 845   if (opt.spider || opt.delete_after)
 846       opt.no_dirstruct = true;
 847
 848   if (opt.page_requisites && !opt.recursive)
 849     {
 850       /* Don't set opt.recursive here because it would confuse the FTP
 851          code.  Instead, call retrieve_tree below when either
 852          page_requisites or recursive is requested.  */
 853       opt.reclevel = 0;
 854       if (!opt.no_dirstruct)
 855         opt.dirstruct = 1;      /* normally handled by cmd_spec_recursive() */
 856     }
 857
 858   if (opt.verbose == -1)
 859     opt.verbose = !opt.quiet;
 860
 861   /* Sanity checks.  */
 862   if (opt.verbose && opt.quiet)
 863     {
 864       printf (_("Can't be verbose and quiet at the same time.\n"));
 865       print_usage ();
 866       exit (1);
 867     }
 868   if (opt.timestamping && opt.noclobber)
 869     {
 870       printf (_("\
 871 Can't timestamp and not clobber old files at the same time.\n"));
 872       print_usage ();
 873       exit (1);
 874     }
 875 #ifdef ENABLE_IPV6
 876   if (opt.ipv4_only && opt.ipv6_only)
 877     {
 878       printf (_("Cannot specify both --inet4-only and --inet6-only.\n"));
 879       print_usage ();
 880       exit (1);
 881     }
 882 #endif
 883   if (opt.output_document)
 884     {
 885       if (opt.convert_links
 886           && (nurl > 1 || opt.page_requisites || opt.recursive))
 887         {
 888           fputs (_("\
 889 Cannot specify both -k and -O if multiple URLs are given, or in combination\n\
 890 with -p or -r. See the manual for details.\n\n"), stdout);
 891           print_usage ();
 892           exit (1);
 893         }
 894       if (opt.page_requisites
 895           || opt.recursive)
 896         {
 897           logprintf (LOG_NOTQUIET, "%s", _("\
 898 WARNING: combining -O with -r or -p will mean that all downloaded content\n\
 899 will be placed in the single file you specified.\n\n"));
 900         }
 901       if (opt.timestamping)
 902         {
 903           logprintf (LOG_NOTQUIET, "%s", _("\
 904 WARNING: timestamping does nothing in combination with -O. See the manual\n\
 905 for details.\n\n"));
 906           opt.timestamping = false;
 907         }
 908       if (opt.noclobber && file_exists_p(opt.output_document))
 909            {
 910               /* Check if output file exists; if it does, exit. */
 911               logprintf (LOG_VERBOSE, _("File `%s' already there; not retrieving.\n"), opt.output_document);
 912               exit(1);
 913            }
 914     }
 915
 916   if (!nurl && !opt.input_filename)
 917     {
 918       /* No URL specified.  */
 919       printf (_("%s: missing URL\n"), exec_name);
 920       print_usage ();
 921       printf ("\n");
 922       /* #### Something nicer should be printed here -- similar to the
 923          pre-1.5 `--help' page.  */
 924       printf (_("Try `%s --help' for more options.\n"), exec_name);
 925       exit (1);
 926     }
 927
 928 #ifdef MSDOS
 929   if (opt.wdebug)
 930      dbug_init();
 931   sock_init();
 932 #else
 933   if (opt.background)
 934     fork_to_background ();
 935 #endif
 936
 937   /* Initialize progress.  Have to do this after the options are
 938      processed so we know where the log file is.  */
 939   if (opt.verbose)
 940     set_progress_implementation (opt.progress_type);
 941
 942   /* Fill in the arguments.  */
 943   url = alloca_array (char *, nurl + 1);
 944   for (i = 0; i < nurl; i++, optind++)
 945     {
 946       char *rewritten = rewrite_shorthand_url (argv[optind]);
 947       if (rewritten)
 948         url[i] = rewritten;
 949       else
 950         url[i] = xstrdup (argv[optind]);
 951     }
 952   url[i] = NULL;
 953
 954   /* Initialize logging.  */
 955   log_init (opt.lfilename, append_to_log);
 956
 957   DEBUGP (("DEBUG output created by Wget %s on %s.\n\n", version_string,
 958            OS_TYPE));
 959
 960   /* Open the output filename if necessary.  */
 961   if (opt.output_document)
 962     {
 963       if (HYPHENP (opt.output_document))
 964         output_stream = stdout;
 965       else
 966         {
 967           struct_fstat st;
 968           output_stream = fopen (opt.output_document,
 969                                  opt.always_rest ? "ab" : "wb");
 970           if (output_stream == NULL)
 971             {
 972               perror (opt.output_document);
 973               exit (1);
 974             }
 975           if (fstat (fileno (output_stream), &st) == 0 && S_ISREG (st.st_mode))
 976             output_stream_regular = true;
 977         }
 978     }
 979
 980 #ifdef WINDOWS
 981   ws_startup ();
 982 #endif
 983
 984 #ifdef SIGHUP
 985   /* Setup the signal handler to redirect output when hangup is
 986      received.  */
 987   if (signal(SIGHUP, SIG_IGN) != SIG_IGN)
 988     signal(SIGHUP, redirect_output_signal);
 989 #endif
 990   /* ...and do the same for SIGUSR1.  */
 991 #ifdef SIGUSR1
 992   signal (SIGUSR1, redirect_output_signal);
 993 #endif
 994 #ifdef SIGPIPE
 995   /* Writing to a closed socket normally signals SIGPIPE, and the
 996      process exits.  What we want is to ignore SIGPIPE and just check
 997      for the return value of write().  */
 998   signal (SIGPIPE, SIG_IGN);
 999 #endif
1000 #ifdef SIGWINCH
1001   signal (SIGWINCH, progress_handle_sigwinch);
1002 #endif
1003
1004   status = RETROK;              /* initialize it, just-in-case */
1005   /* Retrieve the URLs from argument list.  */
1006   for (t = url; *t; t++)
1007     {
1008       char *filename = NULL, *redirected_URL = NULL;
1009       int dt;
1010
1011       if ((opt.recursive || opt.page_requisites)
1012           && (url_scheme (*t) != SCHEME_FTP || url_uses_proxy (*t)))
1013         {
1014           int old_follow_ftp = opt.follow_ftp;
1015
1016           /* Turn opt.follow_ftp on in case of recursive FTP retrieval */
1017           if (url_scheme (*t) == SCHEME_FTP)
1018             opt.follow_ftp = 1;
1019
1020           status = retrieve_tree (*t);
1021
1022           opt.follow_ftp = old_follow_ftp;
1023         }
1024       else
1025         status = retrieve_url (*t, &filename, &redirected_URL, NULL, &dt, opt.recursive);
1026
1027       if (opt.delete_after && file_exists_p(filename))
1028         {
1029           DEBUGP (("Removing file due to --delete-after in main():\n"));
1030           logprintf (LOG_VERBOSE, _("Removing %s.\n"), filename);
1031           if (unlink (filename))
1032             logprintf (LOG_NOTQUIET, "unlink: %s\n", strerror (errno));
1033         }
1034
1035       xfree_null (redirected_URL);
1036       xfree_null (filename);
1037     }
1038
1039   /* And then from the input file, if any.  */
1040   if (opt.input_filename)
1041     {
1042       int count;
1043       status = retrieve_from_file (opt.input_filename, opt.force_html, &count);
1044       if (!count)
1045         logprintf (LOG_NOTQUIET, _("No URLs found in %s.\n"),
1046                    opt.input_filename);
1047     }
1048
1049   /* Print broken links. */
1050   if (opt.recursive && opt.spider)
1051     {
1052       print_broken_links();
1053     }
1054
1055   /* Print the downloaded sum.  */
1056   if ((opt.recursive || opt.page_requisites
1057        || nurl > 1
1058        || (opt.input_filename && total_downloaded_bytes != 0))
1059       &&
1060       total_downloaded_bytes != 0)
1061     {
1062       logprintf (LOG_NOTQUIET,
1063                  _("FINISHED --%s--\nDownloaded: %d files, %s in %s (%s)\n"),
1064                  datetime_str (time (NULL)),
1065                  opt.numurls,
1066                  human_readable (total_downloaded_bytes),
1067                  secs_to_human_time (total_download_time),
1068                  retr_rate (total_downloaded_bytes, total_download_time));
1069       /* Print quota warning, if exceeded.  */
1070       if (opt.quota && total_downloaded_bytes > opt.quota)
1071         logprintf (LOG_NOTQUIET,
1072                    _("Download quota of %s EXCEEDED!\n"),
1073                    human_readable (opt.quota));
1074     }
1075
1076   if (opt.cookies_output)
1077     save_cookies ();
1078
1079   if (opt.convert_links && !opt.delete_after)
1080     convert_all_links ();
1081
1082   log_close ();
1083   for (i = 0; i < nurl; i++)
1084     xfree (url[i]);
1085   cleanup ();
1086
1087 #ifdef DEBUG_MALLOC
1088   print_malloc_debug_stats ();
1089 #endif
1090   if (status == RETROK)
1091     return 0;
1092   else
1093     return 1;
1094 }
1095 #endif /* TESTING */
1096 \f
1097 #if defined(SIGHUP) || defined(SIGUSR1)
1098
1099 /* So the signal_name check doesn't blow when only one is available. */
1100 #ifndef SIGHUP
1101 # define SIGHUP -1
1102 #endif
1103 #ifndef SIGUSR1
1104 # define SIGUSR1 -1
1105 #endif
1106
1107 /* Hangup signal handler.  When wget receives SIGHUP or SIGUSR1, it
1108    will proceed operation as usual, trying to write into a log file.
1109    If that is impossible, the output will be turned off.  */
1110
1111 static void
1112 redirect_output_signal (int sig)
1113 {
1114   const char *signal_name = (sig == SIGHUP ? "SIGHUP" :
1115                              (sig == SIGUSR1 ? "SIGUSR1" :
1116                               "WTF?!"));
1117   log_request_redirect_output (signal_name);
1118   progress_schedule_redirect ();
1119   signal (sig, redirect_output_signal);
1120 }
1121 #endif
1122
1123 /*
1124  * vim: et ts=2 sw=2
1125  */