sjero.net Git - wget/blob - src/main.c

   1 /* Command line parsing.
   2    Copyright (C) 1996, 1997, 1998, 1999, 2000, 2001, 2002, 2003,
   3    2004, 2005, 2006, 2007, 2008 Free Software Foundation, Inc.
   4
   5 This file is part of GNU Wget.
   6
   7 GNU Wget is free software; you can redistribute it and/or modify
   8 it under the terms of the GNU General Public License as published by
   9 the Free Software Foundation; either version 3 of the License, or
  10 (at your option) any later version.
  11
  12 GNU Wget is distributed in the hope that it will be useful,
  13 but WITHOUT ANY WARRANTY; without even the implied warranty of
  14 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15 GNU General Public License for more details.
  16
  17 You should have received a copy of the GNU General Public License
  18 along with Wget.  If not, see <http://www.gnu.org/licenses/>.
  19
  20 Additional permission under GNU GPL version 3 section 7
  21
  22 If you modify this program, or any covered work, by linking or
  23 combining it with the OpenSSL project's OpenSSL library (or a
  24 modified version of that library), containing parts covered by the
  25 terms of the OpenSSL or SSLeay licenses, the Free Software Foundation
  26 grants you additional permission to convey the resulting work.
  27 Corresponding Source for a non-source form of such a combination
  28 shall include the source code for the parts of OpenSSL used as well
  29 as that of the covered work.  */
  30
  31 #include "wget.h"
  32
  33 #include <stdio.h>
  34 #include <stdlib.h>
  35 #ifdef HAVE_UNISTD_H
  36 # include <unistd.h>
  37 #endif /* HAVE_UNISTD_H */
  38 #include <string.h>
  39 #include <signal.h>
  40 #ifdef ENABLE_NLS
  41 # include <locale.h>
  42 #endif
  43 #include <assert.h>
  44 #include <errno.h>
  45 #include <time.h>
  46
  47 #include "utils.h"
  48 #include "init.h"
  49 #include "retr.h"
  50 #include "recur.h"
  51 #include "host.h"
  52 #include "url.h"
  53 #include "progress.h"           /* for progress_handle_sigwinch */
  54 #include "convert.h"
  55 #include "spider.h"
  56 #include "http.h"               /* for save_cookies */
  57
  58 #include <getopt.h>
  59 #include "getpass.h"
  60
  61 #ifndef PATH_SEPARATOR
  62 # define PATH_SEPARATOR '/'
  63 #endif
  64
  65 struct options opt;
  66
  67 extern char *version_string;
  68
  69 #if defined(SIGHUP) || defined(SIGUSR1)
  70 static void redirect_output_signal (int);
  71 #endif
  72
  73 const char *exec_name;
  74 \f
  75 #ifndef TESTING
  76 /* Initialize I18N/L10N.  That amounts to invoking setlocale, and
  77    setting up gettext's message catalog using bindtextdomain and
  78    textdomain.  Does nothing if NLS is disabled or missing.  */
  79
  80 static void
  81 i18n_initialize (void)
  82 {
  83   /* ENABLE_NLS implies existence of functions invoked here.  */
  84 #ifdef ENABLE_NLS
  85   /* Set the current locale.  */
  86   setlocale (LC_ALL, "");
  87   /* Set the text message domain.  */
  88   bindtextdomain ("wget", LOCALEDIR);
  89   textdomain ("wget");
  90 #endif /* ENABLE_NLS */
  91 }
  92 \f
  93 /* Definition of command-line options. */
  94
  95 static void print_help (void);
  96 static void print_version (void);
  97
  98 #ifdef HAVE_SSL
  99 # define IF_SSL(x) x
 100 #else
 101 # define IF_SSL(x) NULL
 102 #endif
 103
 104 #ifdef ENABLE_DEBUG
 105 # define WHEN_DEBUG(x) x
 106 #else
 107 # define WHEN_DEBUG(x) NULL
 108 #endif
 109
 110 struct cmdline_option {
 111   const char *long_name;
 112   char short_name;
 113   enum {
 114     OPT_VALUE,
 115     OPT_BOOLEAN,
 116     OPT_FUNCALL,
 117     /* Non-standard options that have to be handled specially in
 118        main().  */
 119     OPT__APPEND_OUTPUT,
 120     OPT__CLOBBER,
 121     OPT__DONT_REMOVE_LISTING,
 122     OPT__EXECUTE,
 123     OPT__NO,
 124     OPT__PARENT
 125   } type;
 126   const void *data;             /* for standard options */
 127   int argtype;                  /* for non-standard options */
 128 };
 129
 130 static struct cmdline_option option_data[] =
 131   {
 132     { "accept", 'A', OPT_VALUE, "accept", -1 },
 133     { "append-output", 'a', OPT__APPEND_OUTPUT, NULL, required_argument },
 134     { "ask-password", 0, OPT_BOOLEAN, "askpassword", -1 },
 135     { "auth-no-challenge", 0, OPT_BOOLEAN, "authnochallenge", -1 },
 136     { "background", 'b', OPT_BOOLEAN, "background", -1 },
 137     { "backup-converted", 'K', OPT_BOOLEAN, "backupconverted", -1 },
 138     { "backups", 0, OPT_BOOLEAN, "backups", -1 },
 139     { "base", 'B', OPT_VALUE, "base", -1 },
 140     { "bind-address", 0, OPT_VALUE, "bindaddress", -1 },
 141     { IF_SSL ("ca-certificate"), 0, OPT_VALUE, "cacertificate", -1 },
 142     { IF_SSL ("ca-directory"), 0, OPT_VALUE, "cadirectory", -1 },
 143     { "cache", 0, OPT_BOOLEAN, "cache", -1 },
 144     { IF_SSL ("certificate"), 0, OPT_VALUE, "certificate", -1 },
 145     { IF_SSL ("certificate-type"), 0, OPT_VALUE, "certificatetype", -1 },
 146     { IF_SSL ("check-certificate"), 0, OPT_BOOLEAN, "checkcertificate", -1 },
 147     { "clobber", 0, OPT__CLOBBER, NULL, optional_argument },
 148     { "connect-timeout", 0, OPT_VALUE, "connecttimeout", -1 },
 149     { "continue", 'c', OPT_BOOLEAN, "continue", -1 },
 150     { "convert-links", 'k', OPT_BOOLEAN, "convertlinks", -1 },
 151     { "content-disposition", 0, OPT_BOOLEAN, "contentdisposition", -1 },
 152     { "cookies", 0, OPT_BOOLEAN, "cookies", -1 },
 153     { "cut-dirs", 0, OPT_VALUE, "cutdirs", -1 },
 154     { WHEN_DEBUG ("debug"), 'd', OPT_BOOLEAN, "debug", -1 },
 155     { "delete-after", 0, OPT_BOOLEAN, "deleteafter", -1 },
 156     { "directories", 0, OPT_BOOLEAN, "dirstruct", -1 },
 157     { "directory-prefix", 'P', OPT_VALUE, "dirprefix", -1 },
 158     { "dns-cache", 0, OPT_BOOLEAN, "dnscache", -1 },
 159     { "dns-timeout", 0, OPT_VALUE, "dnstimeout", -1 },
 160     { "domains", 'D', OPT_VALUE, "domains", -1 },
 161     { "dont-remove-listing", 0, OPT__DONT_REMOVE_LISTING, NULL, no_argument },
 162     { "dot-style", 0, OPT_VALUE, "dotstyle", -1 },
 163     { "egd-file", 0, OPT_VALUE, "egdfile", -1 },
 164     { "exclude-directories", 'X', OPT_VALUE, "excludedirectories", -1 },
 165     { "exclude-domains", 0, OPT_VALUE, "excludedomains", -1 },
 166     { "execute", 'e', OPT__EXECUTE, NULL, required_argument },
 167     { "follow-ftp", 0, OPT_BOOLEAN, "followftp", -1 },
 168     { "follow-tags", 0, OPT_VALUE, "followtags", -1 },
 169     { "force-directories", 'x', OPT_BOOLEAN, "dirstruct", -1 },
 170     { "force-html", 'F', OPT_BOOLEAN, "forcehtml", -1 },
 171     { "ftp-password", 0, OPT_VALUE, "ftppassword", -1 },
 172     { "ftp-user", 0, OPT_VALUE, "ftpuser", -1 },
 173     { "glob", 0, OPT_BOOLEAN, "glob", -1 },
 174     { "header", 0, OPT_VALUE, "header", -1 },
 175     { "help", 'h', OPT_FUNCALL, (void *)print_help, no_argument },
 176     { "host-directories", 0, OPT_BOOLEAN, "addhostdir", -1 },
 177     { "html-extension", 'E', OPT_BOOLEAN, "htmlextension", -1 },
 178     { "htmlify", 0, OPT_BOOLEAN, "htmlify", -1 },
 179     { "http-keep-alive", 0, OPT_BOOLEAN, "httpkeepalive", -1 },
 180     { "http-passwd", 0, OPT_VALUE, "httppassword", -1 }, /* deprecated */
 181     { "http-password", 0, OPT_VALUE, "httppassword", -1 },
 182     { "http-user", 0, OPT_VALUE, "httpuser", -1 },
 183     { "ignore-case", 0, OPT_BOOLEAN, "ignorecase", -1 },
 184     { "ignore-length", 0, OPT_BOOLEAN, "ignorelength", -1 },
 185     { "ignore-tags", 0, OPT_VALUE, "ignoretags", -1 },
 186     { "include-directories", 'I', OPT_VALUE, "includedirectories", -1 },
 187 #ifdef ENABLE_IPV6
 188     { "inet4-only", '4', OPT_BOOLEAN, "inet4only", -1 },
 189     { "inet6-only", '6', OPT_BOOLEAN, "inet6only", -1 },
 190 #endif
 191     { "input-file", 'i', OPT_VALUE, "input", -1 },
 192     { "keep-session-cookies", 0, OPT_BOOLEAN, "keepsessioncookies", -1 },
 193     { "level", 'l', OPT_VALUE, "reclevel", -1 },
 194     { "limit-rate", 0, OPT_VALUE, "limitrate", -1 },
 195     { "load-cookies", 0, OPT_VALUE, "loadcookies", -1 },
 196     { "max-redirect", 0, OPT_VALUE, "maxredirect", -1 },
 197     { "mirror", 'm', OPT_BOOLEAN, "mirror", -1 },
 198     { "no", 'n', OPT__NO, NULL, required_argument },
 199     { "no-clobber", 0, OPT_BOOLEAN, "noclobber", -1 },
 200     { "no-parent", 0, OPT_BOOLEAN, "noparent", -1 },
 201     { "output-document", 'O', OPT_VALUE, "outputdocument", -1 },
 202     { "output-file", 'o', OPT_VALUE, "logfile", -1 },
 203     { "page-requisites", 'p', OPT_BOOLEAN, "pagerequisites", -1 },
 204     { "parent", 0, OPT__PARENT, NULL, optional_argument },
 205     { "passive-ftp", 0, OPT_BOOLEAN, "passiveftp", -1 },
 206     { "password", 0, OPT_VALUE, "password", -1 },
 207     { "post-data", 0, OPT_VALUE, "postdata", -1 },
 208     { "post-file", 0, OPT_VALUE, "postfile", -1 },
 209     { "prefer-family", 0, OPT_VALUE, "preferfamily", -1 },
 210     { "preserve-permissions", 0, OPT_BOOLEAN, "preservepermissions", -1 },
 211     { IF_SSL ("private-key"), 0, OPT_VALUE, "privatekey", -1 },
 212     { IF_SSL ("private-key-type"), 0, OPT_VALUE, "privatekeytype", -1 },
 213     { "progress", 0, OPT_VALUE, "progress", -1 },
 214     { "protocol-directories", 0, OPT_BOOLEAN, "protocoldirectories", -1 },
 215     { "proxy", 0, OPT_BOOLEAN, "useproxy", -1 },
 216     { "proxy__compat", 'Y', OPT_VALUE, "useproxy", -1 }, /* back-compatible */
 217     { "proxy-passwd", 0, OPT_VALUE, "proxypassword", -1 }, /* deprecated */
 218     { "proxy-password", 0, OPT_VALUE, "proxypassword", -1 },
 219     { "proxy-user", 0, OPT_VALUE, "proxyuser", -1 },
 220     { "quiet", 'q', OPT_BOOLEAN, "quiet", -1 },
 221     { "quota", 'Q', OPT_VALUE, "quota", -1 },
 222     { "random-file", 0, OPT_VALUE, "randomfile", -1 },
 223     { "random-wait", 0, OPT_BOOLEAN, "randomwait", -1 },
 224     { "read-timeout", 0, OPT_VALUE, "readtimeout", -1 },
 225     { "recursive", 'r', OPT_BOOLEAN, "recursive", -1 },
 226     { "referer", 0, OPT_VALUE, "referer", -1 },
 227     { "reject", 'R', OPT_VALUE, "reject", -1 },
 228     { "relative", 'L', OPT_BOOLEAN, "relativeonly", -1 },
 229     { "remove-listing", 0, OPT_BOOLEAN, "removelisting", -1 },
 230     { "restrict-file-names", 0, OPT_BOOLEAN, "restrictfilenames", -1 },
 231     { "retr-symlinks", 0, OPT_BOOLEAN, "retrsymlinks", -1 },
 232     { "retry-connrefused", 0, OPT_BOOLEAN, "retryconnrefused", -1 },
 233     { "save-cookies", 0, OPT_VALUE, "savecookies", -1 },
 234     { "save-headers", 0, OPT_BOOLEAN, "saveheaders", -1 },
 235     { IF_SSL ("secure-protocol"), 0, OPT_VALUE, "secureprotocol", -1 },
 236     { "server-response", 'S', OPT_BOOLEAN, "serverresponse", -1 },
 237     { "span-hosts", 'H', OPT_BOOLEAN, "spanhosts", -1 },
 238     { "spider", 0, OPT_BOOLEAN, "spider", -1 },
 239     { "strict-comments", 0, OPT_BOOLEAN, "strictcomments", -1 },
 240     { "timeout", 'T', OPT_VALUE, "timeout", -1 },
 241     { "timestamping", 'N', OPT_BOOLEAN, "timestamping", -1 },
 242     { "tries", 't', OPT_VALUE, "tries", -1 },
 243     { "user", 0, OPT_VALUE, "user", -1 },
 244     { "user-agent", 'U', OPT_VALUE, "useragent", -1 },
 245     { "verbose", 'v', OPT_BOOLEAN, "verbose", -1 },
 246     { "verbose", 0, OPT_BOOLEAN, "verbose", -1 },
 247     { "version", 'V', OPT_FUNCALL, (void *) print_version, no_argument },
 248     { "wait", 'w', OPT_VALUE, "wait", -1 },
 249     { "waitretry", 0, OPT_VALUE, "waitretry", -1 },
 250 #ifdef MSDOS
 251     { "wdebug", 0, OPT_BOOLEAN, "wdebug", -1 },
 252 #endif
 253   };
 254
 255 #undef WHEN_DEBUG
 256 #undef IF_SSL
 257
 258 /* Return a string that contains S with "no-" prepended.  The string
 259    is NUL-terminated and allocated off static storage at Wget
 260    startup.  */
 261
 262 static char *
 263 no_prefix (const char *s)
 264 {
 265   static char buffer[1024];
 266   static char *p = buffer;
 267
 268   char *cp = p;
 269   int size = 3 + strlen (s) + 1;  /* "no-STRING\0" */
 270   if (p + size >= buffer + sizeof (buffer))
 271     abort ();
 272
 273   cp[0] = 'n', cp[1] = 'o', cp[2] = '-';
 274   strcpy (cp + 3, s);
 275   p += size;
 276   return cp;
 277 }
 278
 279 /* The arguments that that main passes to getopt_long. */
 280 static struct option long_options[2 * countof (option_data) + 1];
 281 static char short_options[128];
 282
 283 /* Mapping between short option chars and option_data indices. */
 284 static unsigned char optmap[96];
 285
 286 /* Marker for `--no-FOO' values in long_options.  */
 287 #define BOOLEAN_NEG_MARKER 1024
 288
 289 /* Initialize the long_options array used by getopt_long from the data
 290    in option_data.  */
 291
 292 static void
 293 init_switches (void)
 294 {
 295   char *p = short_options;
 296   int i, o = 0;
 297   for (i = 0; i < countof (option_data); i++)
 298     {
 299       struct cmdline_option *opt = &option_data[i];
 300       struct option *longopt;
 301
 302       if (!opt->long_name)
 303         /* The option is disabled. */
 304         continue;
 305
 306       longopt = &long_options[o++];
 307       longopt->name = opt->long_name;
 308       longopt->val = i;
 309       if (opt->short_name)
 310         {
 311           *p++ = opt->short_name;
 312           optmap[opt->short_name - 32] = longopt - long_options;
 313         }
 314       switch (opt->type)
 315         {
 316         case OPT_VALUE:
 317           longopt->has_arg = required_argument;
 318           if (opt->short_name)
 319             *p++ = ':';
 320           break;
 321         case OPT_BOOLEAN:
 322           /* Specify an optional argument for long options, so that
 323              --option=off works the same as --no-option, for
 324              compatibility with pre-1.10 Wget.  However, don't specify
 325              optional arguments short-option booleans because they
 326              prevent combining of short options.  */
 327           longopt->has_arg = optional_argument;
 328           /* For Boolean options, add the "--no-FOO" variant, which is
 329              identical to "--foo", except it has opposite meaning and
 330              it doesn't allow an argument.  */
 331           longopt = &long_options[o++];
 332           longopt->name = no_prefix (opt->long_name);
 333           longopt->has_arg = no_argument;
 334           /* Mask the value so we'll be able to recognize that we're
 335              dealing with the false value.  */
 336           longopt->val = i | BOOLEAN_NEG_MARKER;
 337           break;
 338         default:
 339           assert (opt->argtype != -1);
 340           longopt->has_arg = opt->argtype;
 341           if (opt->short_name)
 342             {
 343               if (longopt->has_arg == required_argument)
 344                 *p++ = ':';
 345               /* Don't handle optional_argument */
 346             }
 347         }
 348     }
 349   /* Terminate short_options. */
 350   *p = '\0';
 351   /* No need for xzero(long_options[o]) because its storage is static
 352      and it will be zeroed by default.  */
 353   assert (o <= countof (long_options));
 354 }
 355
 356 /* Print the usage message.  */
 357 static void
 358 print_usage (void)
 359 {
 360   printf (_("Usage: %s [OPTION]... [URL]...\n"), exec_name);
 361 }
 362
 363 /* Print the help message, describing all the available options.  If
 364    you add an option, be sure to update this list.  */
 365 static void
 366 print_help (void)
 367 {
 368   /* We split the help text this way to ease translation of individual
 369      entries.  */
 370   static const char *help[] = {
 371     "\n",
 372     N_("\
 373 Mandatory arguments to long options are mandatory for short options too.\n\n"),
 374     N_("\
 375 Startup:\n"),
 376     N_("\
 377   -V,  --version           display the version of Wget and exit.\n"),
 378     N_("\
 379   -h,  --help              print this help.\n"),
 380     N_("\
 381   -b,  --background        go to background after startup.\n"),
 382     N_("\
 383   -e,  --execute=COMMAND   execute a `.wgetrc'-style command.\n"),
 384     "\n",
 385
 386     N_("\
 387 Logging and input file:\n"),
 388     N_("\
 389   -o,  --output-file=FILE    log messages to FILE.\n"),
 390     N_("\
 391   -a,  --append-output=FILE  append messages to FILE.\n"),
 392 #ifdef ENABLE_DEBUG
 393     N_("\
 394   -d,  --debug               print lots of debugging information.\n"),
 395 #endif
 396 #ifdef MSDOS
 397     N_("\
 398        --wdebug              print Watt-32 debug output.\n"),
 399 #endif
 400     N_("\
 401   -q,  --quiet               quiet (no output).\n"),
 402     N_("\
 403   -v,  --verbose             be verbose (this is the default).\n"),
 404     N_("\
 405   -nv, --no-verbose          turn off verboseness, without being quiet.\n"),
 406     N_("\
 407   -i,  --input-file=FILE     download URLs found in FILE.\n"),
 408     N_("\
 409   -F,  --force-html          treat input file as HTML.\n"),
 410     N_("\
 411   -B,  --base=URL            prepends URL to relative links in -F -i file.\n"),
 412     "\n",
 413
 414     N_("\
 415 Download:\n"),
 416     N_("\
 417   -t,  --tries=NUMBER            set number of retries to NUMBER (0 unlimits).\n"),
 418     N_("\
 419        --retry-connrefused       retry even if connection is refused.\n"),
 420     N_("\
 421   -O,  --output-document=FILE    write documents to FILE.\n"),
 422     N_("\
 423   -nc, --no-clobber              skip downloads that would download to\n\
 424                                  existing files.\n"),
 425     N_("\
 426   -c,  --continue                resume getting a partially-downloaded file.\n"),
 427     N_("\
 428        --progress=TYPE           select progress gauge type.\n"),
 429     N_("\
 430   -N,  --timestamping            don't re-retrieve files unless newer than\n\
 431                                  local.\n"),
 432     N_("\
 433   -S,  --server-response         print server response.\n"),
 434     N_("\
 435        --spider                  don't download anything.\n"),
 436     N_("\
 437   -T,  --timeout=SECONDS         set all timeout values to SECONDS.\n"),
 438     N_("\
 439        --dns-timeout=SECS        set the DNS lookup timeout to SECS.\n"),
 440     N_("\
 441        --connect-timeout=SECS    set the connect timeout to SECS.\n"),
 442     N_("\
 443        --read-timeout=SECS       set the read timeout to SECS.\n"),
 444     N_("\
 445   -w,  --wait=SECONDS            wait SECONDS between retrievals.\n"),
 446     N_("\
 447        --waitretry=SECONDS       wait 1..SECONDS between retries of a retrieval.\n"),
 448     N_("\
 449        --random-wait             wait from 0...2*WAIT secs between retrievals.\n"),
 450     N_("\
 451        --no-proxy                explicitly turn off proxy.\n"),
 452     N_("\
 453   -Q,  --quota=NUMBER            set retrieval quota to NUMBER.\n"),
 454     N_("\
 455        --bind-address=ADDRESS    bind to ADDRESS (hostname or IP) on local host.\n"),
 456     N_("\
 457        --limit-rate=RATE         limit download rate to RATE.\n"),
 458     N_("\
 459        --no-dns-cache            disable caching DNS lookups.\n"),
 460     N_("\
 461        --restrict-file-names=OS  restrict chars in file names to ones OS allows.\n"),
 462     N_("\
 463        --ignore-case             ignore case when matching files/directories.\n"),
 464 #ifdef ENABLE_IPV6
 465     N_("\
 466   -4,  --inet4-only              connect only to IPv4 addresses.\n"),
 467     N_("\
 468   -6,  --inet6-only              connect only to IPv6 addresses.\n"),
 469     N_("\
 470        --prefer-family=FAMILY    connect first to addresses of specified family,\n\
 471                                  one of IPv6, IPv4, or none.\n"),
 472 #endif
 473     N_("\
 474        --user=USER               set both ftp and http user to USER.\n"),
 475     N_("\
 476        --password=PASS           set both ftp and http password to PASS.\n"),
 477     N_("\
 478        --ask-password            prompt for passwords.\n"),
 479     "\n",
 480
 481     N_("\
 482 Directories:\n"),
 483     N_("\
 484   -nd, --no-directories           don't create directories.\n"),
 485     N_("\
 486   -x,  --force-directories        force creation of directories.\n"),
 487     N_("\
 488   -nH, --no-host-directories      don't create host directories.\n"),
 489     N_("\
 490        --protocol-directories     use protocol name in directories.\n"),
 491     N_("\
 492   -P,  --directory-prefix=PREFIX  save files to PREFIX/...\n"),
 493     N_("\
 494        --cut-dirs=NUMBER          ignore NUMBER remote directory components.\n"),
 495     "\n",
 496
 497     N_("\
 498 HTTP options:\n"),
 499     N_("\
 500        --http-user=USER        set http user to USER.\n"),
 501     N_("\
 502        --http-password=PASS    set http password to PASS.\n"),
 503     N_("\
 504        --no-cache              disallow server-cached data.\n"),
 505     N_("\
 506   -E,  --html-extension        save HTML documents with `.html' extension.\n"),
 507     N_("\
 508        --ignore-length         ignore `Content-Length' header field.\n"),
 509     N_("\
 510        --header=STRING         insert STRING among the headers.\n"),
 511     N_("\
 512        --max-redirect          maximum redirections allowed per page.\n"),
 513     N_("\
 514        --proxy-user=USER       set USER as proxy username.\n"),
 515     N_("\
 516        --proxy-password=PASS   set PASS as proxy password.\n"),
 517     N_("\
 518        --referer=URL           include `Referer: URL' header in HTTP request.\n"),
 519     N_("\
 520        --save-headers          save the HTTP headers to file.\n"),
 521     N_("\
 522   -U,  --user-agent=AGENT      identify as AGENT instead of Wget/VERSION.\n"),
 523     N_("\
 524        --no-http-keep-alive    disable HTTP keep-alive (persistent connections).\n"),
 525     N_("\
 526        --no-cookies            don't use cookies.\n"),
 527     N_("\
 528        --load-cookies=FILE     load cookies from FILE before session.\n"),
 529     N_("\
 530        --save-cookies=FILE     save cookies to FILE after session.\n"),
 531     N_("\
 532        --keep-session-cookies  load and save session (non-permanent) cookies.\n"),
 533     N_("\
 534        --post-data=STRING      use the POST method; send STRING as the data.\n"),
 535     N_("\
 536        --post-file=FILE        use the POST method; send contents of FILE.\n"),
 537     N_("\
 538        --content-disposition   honor the Content-Disposition header when\n\
 539                                choosing local file names (EXPERIMENTAL).\n"),
 540     N_("\
 541        --auth-no-challenge     Send Basic HTTP authentication information\n\
 542                                without first waiting for the server's\n\
 543                                challenge.\n"),
 544     "\n",
 545
 546 #ifdef HAVE_SSL
 547     N_("\
 548 HTTPS (SSL/TLS) options:\n"),
 549     N_("\
 550        --secure-protocol=PR     choose secure protocol, one of auto, SSLv2,\n\
 551                                 SSLv3, and TLSv1.\n"),
 552     N_("\
 553        --no-check-certificate   don't validate the server's certificate.\n"),
 554     N_("\
 555        --certificate=FILE       client certificate file.\n"),
 556     N_("\
 557        --certificate-type=TYPE  client certificate type, PEM or DER.\n"),
 558     N_("\
 559        --private-key=FILE       private key file.\n"),
 560     N_("\
 561        --private-key-type=TYPE  private key type, PEM or DER.\n"),
 562     N_("\
 563        --ca-certificate=FILE    file with the bundle of CA's.\n"),
 564     N_("\
 565        --ca-directory=DIR       directory where hash list of CA's is stored.\n"),
 566     N_("\
 567        --random-file=FILE       file with random data for seeding the SSL PRNG.\n"),
 568     N_("\
 569        --egd-file=FILE          file naming the EGD socket with random data.\n"),
 570     "\n",
 571 #endif /* HAVE_SSL */
 572
 573     N_("\
 574 FTP options:\n"),
 575     N_("\
 576        --ftp-user=USER         set ftp user to USER.\n"),
 577     N_("\
 578        --ftp-password=PASS     set ftp password to PASS.\n"),
 579     N_("\
 580        --no-remove-listing     don't remove `.listing' files.\n"),
 581     N_("\
 582        --no-glob               turn off FTP file name globbing.\n"),
 583     N_("\
 584        --no-passive-ftp        disable the \"passive\" transfer mode.\n"),
 585     N_("\
 586        --retr-symlinks         when recursing, get linked-to files (not dir).\n"),
 587     N_("\
 588        --preserve-permissions  preserve remote file permissions.\n"),
 589     "\n",
 590
 591     N_("\
 592 Recursive download:\n"),
 593     N_("\
 594   -r,  --recursive          specify recursive download.\n"),
 595     N_("\
 596   -l,  --level=NUMBER       maximum recursion depth (inf or 0 for infinite).\n"),
 597     N_("\
 598        --delete-after       delete files locally after downloading them.\n"),
 599     N_("\
 600   -k,  --convert-links      make links in downloaded HTML point to local files.\n"),
 601     N_("\
 602   -K,  --backup-converted   before converting file X, back up as X.orig.\n"),
 603     N_("\
 604   -m,  --mirror             shortcut for -N -r -l inf --no-remove-listing.\n"),
 605     N_("\
 606   -p,  --page-requisites    get all images, etc. needed to display HTML page.\n"),
 607     N_("\
 608        --strict-comments    turn on strict (SGML) handling of HTML comments.\n"),
 609     "\n",
 610
 611     N_("\
 612 Recursive accept/reject:\n"),
 613     N_("\
 614   -A,  --accept=LIST               comma-separated list of accepted extensions.\n"),
 615     N_("\
 616   -R,  --reject=LIST               comma-separated list of rejected extensions.\n"),
 617     N_("\
 618   -D,  --domains=LIST              comma-separated list of accepted domains.\n"),
 619     N_("\
 620        --exclude-domains=LIST      comma-separated list of rejected domains.\n"),
 621     N_("\
 622        --follow-ftp                follow FTP links from HTML documents.\n"),
 623     N_("\
 624        --follow-tags=LIST          comma-separated list of followed HTML tags.\n"),
 625     N_("\
 626        --ignore-tags=LIST          comma-separated list of ignored HTML tags.\n"),
 627     N_("\
 628   -H,  --span-hosts                go to foreign hosts when recursive.\n"),
 629     N_("\
 630   -L,  --relative                  follow relative links only.\n"),
 631     N_("\
 632   -I,  --include-directories=LIST  list of allowed directories.\n"),
 633     N_("\
 634   -X,  --exclude-directories=LIST  list of excluded directories.\n"),
 635     N_("\
 636   -np, --no-parent                 don't ascend to the parent directory.\n"),
 637     "\n",
 638
 639     N_("Mail bug reports and suggestions to <bug-wget@gnu.org>.\n")
 640   };
 641
 642   int i;
 643
 644   printf (_("GNU Wget %s, a non-interactive network retriever.\n"),
 645           version_string);
 646   print_usage ();
 647
 648   for (i = 0; i < countof (help); i++)
 649     fputs (_(help[i]), stdout);
 650
 651   exit (0);
 652 }
 653
 654 /* Return a human-readable printed representation of INTERVAL,
 655    measured in seconds.  */
 656
 657 static char *
 658 secs_to_human_time (double interval)
 659 {
 660   static char buf[32];
 661   int secs = (int) (interval + 0.5);
 662   int hours, mins, days;
 663
 664   days = secs / 86400, secs %= 86400;
 665   hours = secs / 3600, secs %= 3600;
 666   mins = secs / 60, secs %= 60;
 667
 668   if (days)
 669     sprintf (buf, "%dd %dh %dm %ds", days, hours, mins, secs);
 670   else if (hours)
 671     sprintf (buf, "%dh %dm %ds", hours, mins, secs);
 672   else if (mins)
 673     sprintf (buf, "%dm %ds", mins, secs);
 674   else
 675     sprintf (buf, "%ss", print_decimal (interval));
 676
 677   return buf;
 678 }
 679
 680 static char *
 681 prompt_for_password (void)
 682 {
 683   if (opt.user)
 684     printf (_("Password for user \"%s\": "), opt.user);
 685   else
 686     printf (_("Password: "));
 687   return getpass("");
 688 }
 689
 690 static void
 691 print_version (void)
 692 {
 693   printf ("GNU Wget %s\n\n", version_string);
 694   /* TRANSLATORS: When available, an actual copyright character
 695      (cirle-c) should be used in preference to "(C)". */
 696   fputs (_("\
 697 Copyright (C) 2008 Free Software Foundation, Inc.\n"), stdout);
 698   fputs (_("\
 699 License GPLv3+: GNU GPL version 3 or later\n\
 700 <http://www.gnu.org/licenses/gpl.html>.\n\
 701 This is free software: you are free to change and redistribute it.\n\
 702 There is NO WARRANTY, to the extent permitted by law.\n"), stdout);
 703   /* TRANSLATORS: When available, please use the proper diacritics for
 704      names such as this one. See en_US.po for reference. */
 705   fputs (_("\nOriginally written by Hrvoje Niksic <hniksic@xemacs.org>.\n"),
 706          stdout);
 707   fputs (_("Currently maintained by Micah Cowan <micah@cowan.name>.\n"),
 708          stdout);
 709   exit (0);
 710 }
 711 \f
 712
 713 int
 714 main (int argc, char **argv)
 715 {
 716   char **url, **t;
 717   int i, ret, longindex;
 718   int nurl, status;
 719   bool append_to_log = false;
 720
 721   i18n_initialize ();
 722
 723   /* Construct the name of the executable, without the directory part.  */
 724   exec_name = strrchr (argv[0], PATH_SEPARATOR);
 725   if (!exec_name)
 726     exec_name = argv[0];
 727   else
 728     ++exec_name;
 729
 730 #ifdef WINDOWS
 731   /* Drop extension (typically .EXE) from executable filename. */
 732   windows_main ((char **) &exec_name);
 733 #endif
 734
 735   /* Set option defaults; read the system wgetrc and ~/.wgetrc.  */
 736   initialize ();
 737
 738   init_switches ();
 739   longindex = -1;
 740   while ((ret = getopt_long (argc, argv,
 741                              short_options, long_options, &longindex)) != -1)
 742     {
 743       int val;
 744       struct cmdline_option *opt;
 745
 746       /* If LONGINDEX is unchanged, it means RET is referring a short
 747          option.  */
 748       if (longindex == -1)
 749         {
 750           if (ret == '?')
 751             {
 752               print_usage ();
 753               printf ("\n");
 754               printf (_("Try `%s --help' for more options.\n"), exec_name);
 755               exit (2);
 756             }
 757           /* Find the short option character in the mapping.  */
 758           longindex = optmap[ret - 32];
 759         }
 760       val = long_options[longindex].val;
 761
 762       /* Use the retrieved value to locate the option in the
 763          option_data array, and to see if we're dealing with the
 764          negated "--no-FOO" variant of the boolean option "--foo".  */
 765       opt = &option_data[val & ~BOOLEAN_NEG_MARKER];
 766       switch (opt->type)
 767         {
 768         case OPT_VALUE:
 769           setoptval (opt->data, optarg, opt->long_name);
 770           break;
 771         case OPT_BOOLEAN:
 772           if (optarg)
 773             /* The user has specified a value -- use it. */
 774             setoptval (opt->data, optarg, opt->long_name);
 775           else
 776             {
 777               /* NEG is true for `--no-FOO' style boolean options. */
 778               bool neg = !!(val & BOOLEAN_NEG_MARKER);
 779               setoptval (opt->data, neg ? "0" : "1", opt->long_name);
 780             }
 781           break;
 782         case OPT_FUNCALL:
 783           {
 784             void (*func) (void) = (void (*) (void)) opt->data;
 785             func ();
 786           }
 787           break;
 788         case OPT__APPEND_OUTPUT:
 789           setoptval ("logfile", optarg, opt->long_name);
 790           append_to_log = true;
 791           break;
 792         case OPT__EXECUTE:
 793           run_command (optarg);
 794           break;
 795         case OPT__NO:
 796           {
 797             /* We support real --no-FOO flags now, but keep these
 798                short options for convenience and backward
 799                compatibility.  */
 800             char *p;
 801             for (p = optarg; *p; p++)
 802               switch (*p)
 803                 {
 804                 case 'v':
 805                   setoptval ("verbose", "0", opt->long_name);
 806                   break;
 807                 case 'H':
 808                   setoptval ("addhostdir", "0", opt->long_name);
 809                   break;
 810                 case 'd':
 811                   setoptval ("dirstruct", "0", opt->long_name);
 812                   break;
 813                 case 'c':
 814                   setoptval ("noclobber", "1", opt->long_name);
 815                   break;
 816                 case 'p':
 817                   setoptval ("noparent", "1", opt->long_name);
 818                   break;
 819                 default:
 820                   printf (_("%s: illegal option -- `-n%c'\n"), exec_name, *p);
 821                   print_usage ();
 822                   printf ("\n");
 823                   printf (_("Try `%s --help' for more options.\n"), exec_name);
 824                   exit (1);
 825                 }
 826             break;
 827           }
 828         case OPT__PARENT:
 829         case OPT__CLOBBER:
 830           {
 831             /* The wgetrc commands are named noparent and noclobber,
 832                so we must revert the meaning of the cmdline options
 833                before passing the value to setoptval.  */
 834             bool flag = true;
 835             if (optarg)
 836               flag = (*optarg == '1' || c_tolower (*optarg) == 'y'
 837                       || (c_tolower (optarg[0]) == 'o'
 838                           && c_tolower (optarg[1]) == 'n'));
 839             setoptval (opt->type == OPT__PARENT ? "noparent" : "noclobber",
 840                        flag ? "0" : "1", opt->long_name);
 841             break;
 842           }
 843         case OPT__DONT_REMOVE_LISTING:
 844           setoptval ("removelisting", "0", opt->long_name);
 845           break;
 846         }
 847
 848       longindex = -1;
 849     }
 850
 851   nurl = argc - optind;
 852
 853   /* All user options have now been processed, so it's now safe to do
 854      interoption dependency checks. */
 855
 856   if (opt.reclevel == 0)
 857       opt.reclevel = INFINITE_RECURSION; /* see recur.h for commentary */
 858
 859   if (opt.spider || opt.delete_after)
 860       opt.no_dirstruct = true;
 861
 862   if (opt.page_requisites && !opt.recursive)
 863     {
 864       /* Don't set opt.recursive here because it would confuse the FTP
 865          code.  Instead, call retrieve_tree below when either
 866          page_requisites or recursive is requested.  */
 867       opt.reclevel = 0;
 868       if (!opt.no_dirstruct)
 869         opt.dirstruct = 1;      /* normally handled by cmd_spec_recursive() */
 870     }
 871
 872   if (opt.verbose == -1)
 873     opt.verbose = !opt.quiet;
 874
 875   /* Sanity checks.  */
 876   if (opt.verbose && opt.quiet)
 877     {
 878       printf (_("Can't be verbose and quiet at the same time.\n"));
 879       print_usage ();
 880       exit (1);
 881     }
 882   if (opt.timestamping && opt.noclobber)
 883     {
 884       printf (_("\
 885 Can't timestamp and not clobber old files at the same time.\n"));
 886       print_usage ();
 887       exit (1);
 888     }
 889 #ifdef ENABLE_IPV6
 890   if (opt.ipv4_only && opt.ipv6_only)
 891     {
 892       printf (_("Cannot specify both --inet4-only and --inet6-only.\n"));
 893       print_usage ();
 894       exit (1);
 895     }
 896 #endif
 897   if (opt.output_document)
 898     {
 899       if (opt.convert_links
 900           && (nurl > 1 || opt.page_requisites || opt.recursive))
 901         {
 902           fputs (_("\
 903 Cannot specify both -k and -O if multiple URLs are given, or in combination\n\
 904 with -p or -r. See the manual for details.\n\n"), stdout);
 905           print_usage ();
 906           exit (1);
 907         }
 908       if (opt.page_requisites
 909           || opt.recursive)
 910         {
 911           logprintf (LOG_NOTQUIET, "%s", _("\
 912 WARNING: combining -O with -r or -p will mean that all downloaded content\n\
 913 will be placed in the single file you specified.\n\n"));
 914         }
 915       if (opt.timestamping)
 916         {
 917           logprintf (LOG_NOTQUIET, "%s", _("\
 918 WARNING: timestamping does nothing in combination with -O. See the manual\n\
 919 for details.\n\n"));
 920           opt.timestamping = false;
 921         }
 922     }
 923
 924   if (opt.ask_passwd && opt.passwd)
 925     {
 926       printf (_("Cannot specify both --ask-password and --password.\n"));
 927       print_usage ();
 928       exit (1);
 929     }
 930
 931   if (!nurl && !opt.input_filename)
 932     {
 933       /* No URL specified.  */
 934       printf (_("%s: missing URL\n"), exec_name);
 935       print_usage ();
 936       printf ("\n");
 937       /* #### Something nicer should be printed here -- similar to the
 938          pre-1.5 `--help' page.  */
 939       printf (_("Try `%s --help' for more options.\n"), exec_name);
 940       exit (1);
 941     }
 942
 943 #ifdef MSDOS
 944   if (opt.wdebug)
 945      dbug_init();
 946   sock_init();
 947 #else
 948   if (opt.background)
 949     fork_to_background ();
 950 #endif
 951
 952   /* Initialize progress.  Have to do this after the options are
 953      processed so we know where the log file is.  */
 954   if (opt.verbose)
 955     set_progress_implementation (opt.progress_type);
 956
 957   /* Fill in the arguments.  */
 958   url = alloca_array (char *, nurl + 1);
 959   for (i = 0; i < nurl; i++, optind++)
 960     {
 961       char *rewritten = rewrite_shorthand_url (argv[optind]);
 962       if (rewritten)
 963         url[i] = rewritten;
 964       else
 965         url[i] = xstrdup (argv[optind]);
 966     }
 967   url[i] = NULL;
 968
 969   /* Initialize logging.  */
 970   log_init (opt.lfilename, append_to_log);
 971
 972   DEBUGP (("DEBUG output created by Wget %s on %s.\n\n", version_string,
 973            OS_TYPE));
 974
 975   /* Open the output filename if necessary.  */
 976   if (opt.output_document)
 977     {
 978       if (HYPHENP (opt.output_document))
 979         output_stream = stdout;
 980       else
 981         {
 982           struct_fstat st;
 983           output_stream = fopen (opt.output_document,
 984                                  opt.always_rest ? "ab" : "wb");
 985           if (output_stream == NULL)
 986             {
 987               perror (opt.output_document);
 988               exit (1);
 989             }
 990           if (fstat (fileno (output_stream), &st) == 0 && S_ISREG (st.st_mode))
 991             output_stream_regular = true;
 992         }
 993     }
 994
 995 #ifdef WINDOWS
 996   ws_startup ();
 997 #endif
 998
 999 #ifdef SIGHUP
1000   /* Setup the signal handler to redirect output when hangup is
1001      received.  */
1002   if (signal(SIGHUP, SIG_IGN) != SIG_IGN)
1003     signal(SIGHUP, redirect_output_signal);
1004 #endif
1005   /* ...and do the same for SIGUSR1.  */
1006 #ifdef SIGUSR1
1007   signal (SIGUSR1, redirect_output_signal);
1008 #endif
1009 #ifdef SIGPIPE
1010   /* Writing to a closed socket normally signals SIGPIPE, and the
1011      process exits.  What we want is to ignore SIGPIPE and just check
1012      for the return value of write().  */
1013   signal (SIGPIPE, SIG_IGN);
1014 #endif
1015 #ifdef SIGWINCH
1016   signal (SIGWINCH, progress_handle_sigwinch);
1017 #endif
1018
1019   status = RETROK;              /* initialize it, just-in-case */
1020   /* Retrieve the URLs from argument list.  */
1021   for (t = url; *t; t++)
1022     {
1023       char *filename = NULL, *redirected_URL = NULL;
1024       int dt;
1025
1026       if (opt.ask_passwd)
1027         opt.passwd = prompt_for_password ();
1028
1029       if ((opt.recursive || opt.page_requisites)
1030           && (url_scheme (*t) != SCHEME_FTP || url_uses_proxy (*t)))
1031         {
1032           int old_follow_ftp = opt.follow_ftp;
1033
1034           /* Turn opt.follow_ftp on in case of recursive FTP retrieval */
1035           if (url_scheme (*t) == SCHEME_FTP)
1036             opt.follow_ftp = 1;
1037
1038           status = retrieve_tree (*t);
1039
1040           opt.follow_ftp = old_follow_ftp;
1041         }
1042       else
1043         status = retrieve_url (*t, &filename, &redirected_URL, NULL, &dt, opt.recursive);
1044
1045       if (opt.delete_after && file_exists_p(filename))
1046         {
1047           DEBUGP (("Removing file due to --delete-after in main():\n"));
1048           logprintf (LOG_VERBOSE, _("Removing %s.\n"), filename);
1049           if (unlink (filename))
1050             logprintf (LOG_NOTQUIET, "unlink: %s\n", strerror (errno));
1051         }
1052
1053       xfree_null (redirected_URL);
1054       xfree_null (filename);
1055     }
1056
1057   /* And then from the input file, if any.  */
1058   if (opt.input_filename)
1059     {
1060       int count;
1061       status = retrieve_from_file (opt.input_filename, opt.force_html, &count);
1062       if (!count)
1063         logprintf (LOG_NOTQUIET, _("No URLs found in %s.\n"),
1064                    opt.input_filename);
1065     }
1066
1067   /* Print broken links. */
1068   if (opt.recursive && opt.spider)
1069     {
1070       print_broken_links();
1071     }
1072
1073   /* Print the downloaded sum.  */
1074   if ((opt.recursive || opt.page_requisites
1075        || nurl > 1
1076        || (opt.input_filename && total_downloaded_bytes != 0))
1077       &&
1078       total_downloaded_bytes != 0)
1079     {
1080       logprintf (LOG_NOTQUIET,
1081                  _("FINISHED --%s--\nDownloaded: %d files, %s in %s (%s)\n"),
1082                  datetime_str (time (NULL)),
1083                  opt.numurls,
1084                  human_readable (total_downloaded_bytes),
1085                  secs_to_human_time (total_download_time),
1086                  retr_rate (total_downloaded_bytes, total_download_time));
1087       /* Print quota warning, if exceeded.  */
1088       if (opt.quota && total_downloaded_bytes > opt.quota)
1089         logprintf (LOG_NOTQUIET,
1090                    _("Download quota of %s EXCEEDED!\n"),
1091                    human_readable (opt.quota));
1092     }
1093
1094   if (opt.cookies_output)
1095     save_cookies ();
1096
1097   if (opt.convert_links && !opt.delete_after)
1098     convert_all_links ();
1099
1100   log_close ();
1101   for (i = 0; i < nurl; i++)
1102     xfree (url[i]);
1103   cleanup ();
1104
1105 #ifdef DEBUG_MALLOC
1106   print_malloc_debug_stats ();
1107 #endif
1108   if (status == RETROK)
1109     return 0;
1110   else
1111     return 1;
1112 }
1113 #endif /* TESTING */
1114 \f
1115 #if defined(SIGHUP) || defined(SIGUSR1)
1116
1117 /* So the signal_name check doesn't blow when only one is available. */
1118 #ifndef SIGHUP
1119 # define SIGHUP -1
1120 #endif
1121 #ifndef SIGUSR1
1122 # define SIGUSR1 -1
1123 #endif
1124
1125 /* Hangup signal handler.  When wget receives SIGHUP or SIGUSR1, it
1126    will proceed operation as usual, trying to write into a log file.
1127    If that is impossible, the output will be turned off.  */
1128
1129 static void
1130 redirect_output_signal (int sig)
1131 {
1132   const char *signal_name = (sig == SIGHUP ? "SIGHUP" :
1133                              (sig == SIGUSR1 ? "SIGUSR1" :
1134                               "WTF?!"));
1135   log_request_redirect_output (signal_name);
1136   progress_schedule_redirect ();
1137   signal (sig, redirect_output_signal);
1138 }
1139 #endif
1140
1141 /*
1142  * vim: et ts=2 sw=2
1143  */