sjero.net Git - wget/blob - src/main.c

   1 /* Command line parsing.
   2    Copyright (C) 1996, 1997, 1998, 1999, 2000, 2001, 2002, 2003,
   3    2004, 2005, 2006, 2007, 2008 Free Software Foundation, Inc.
   4
   5 This file is part of GNU Wget.
   6
   7 GNU Wget is free software; you can redistribute it and/or modify
   8 it under the terms of the GNU General Public License as published by
   9 the Free Software Foundation; either version 3 of the License, or
  10 (at your option) any later version.
  11
  12 GNU Wget is distributed in the hope that it will be useful,
  13 but WITHOUT ANY WARRANTY; without even the implied warranty of
  14 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15 GNU General Public License for more details.
  16
  17 You should have received a copy of the GNU General Public License
  18 along with Wget.  If not, see <http://www.gnu.org/licenses/>.
  19
  20 Additional permission under GNU GPL version 3 section 7
  21
  22 If you modify this program, or any covered work, by linking or
  23 combining it with the OpenSSL project's OpenSSL library (or a
  24 modified version of that library), containing parts covered by the
  25 terms of the OpenSSL or SSLeay licenses, the Free Software Foundation
  26 grants you additional permission to convey the resulting work.
  27 Corresponding Source for a non-source form of such a combination
  28 shall include the source code for the parts of OpenSSL used as well
  29 as that of the covered work.  */
  30
  31 #include "wget.h"
  32
  33 #include <stdio.h>
  34 #include <stdlib.h>
  35 #ifdef HAVE_UNISTD_H
  36 # include <unistd.h>
  37 #endif /* HAVE_UNISTD_H */
  38 #include <string.h>
  39 #include <signal.h>
  40 #ifdef ENABLE_NLS
  41 # include <locale.h>
  42 #endif
  43 #include <assert.h>
  44 #include <errno.h>
  45 #include <time.h>
  46
  47 #include "utils.h"
  48 #include "init.h"
  49 #include "retr.h"
  50 #include "recur.h"
  51 #include "host.h"
  52 #include "url.h"
  53 #include "progress.h"           /* for progress_handle_sigwinch */
  54 #include "convert.h"
  55 #include "spider.h"
  56 #include "http.h"               /* for save_cookies */
  57
  58 #include <getopt.h>
  59 #include <getpass.h>
  60 #include <quote.h>
  61
  62 #ifndef PATH_SEPARATOR
  63 # define PATH_SEPARATOR '/'
  64 #endif
  65
  66 struct options opt;
  67
  68 extern char *version_string;
  69
  70 #if defined(SIGHUP) || defined(SIGUSR1)
  71 static void redirect_output_signal (int);
  72 #endif
  73
  74 const char *exec_name;
  75 \f
  76 #ifndef TESTING
  77 /* Initialize I18N/L10N.  That amounts to invoking setlocale, and
  78    setting up gettext's message catalog using bindtextdomain and
  79    textdomain.  Does nothing if NLS is disabled or missing.  */
  80
  81 static void
  82 i18n_initialize (void)
  83 {
  84   /* ENABLE_NLS implies existence of functions invoked here.  */
  85 #ifdef ENABLE_NLS
  86   /* Set the current locale.  */
  87   setlocale (LC_ALL, "");
  88   /* Set the text message domain.  */
  89   bindtextdomain ("wget", LOCALEDIR);
  90   textdomain ("wget");
  91 #endif /* ENABLE_NLS */
  92 }
  93 \f
  94 /* Definition of command-line options. */
  95
  96 static void print_help (void);
  97 static void print_version (void);
  98
  99 #ifdef HAVE_SSL
 100 # define IF_SSL(x) x
 101 #else
 102 # define IF_SSL(x) NULL
 103 #endif
 104
 105 #ifdef ENABLE_DEBUG
 106 # define WHEN_DEBUG(x) x
 107 #else
 108 # define WHEN_DEBUG(x) NULL
 109 #endif
 110
 111 struct cmdline_option {
 112   const char *long_name;
 113   char short_name;
 114   enum {
 115     OPT_VALUE,
 116     OPT_BOOLEAN,
 117     OPT_FUNCALL,
 118     /* Non-standard options that have to be handled specially in
 119        main().  */
 120     OPT__APPEND_OUTPUT,
 121     OPT__CLOBBER,
 122     OPT__DONT_REMOVE_LISTING,
 123     OPT__EXECUTE,
 124     OPT__NO,
 125     OPT__PARENT
 126   } type;
 127   const void *data;             /* for standard options */
 128   int argtype;                  /* for non-standard options */
 129 };
 130
 131 static struct cmdline_option option_data[] =
 132   {
 133     { "accept", 'A', OPT_VALUE, "accept", -1 },
 134     { "append-output", 'a', OPT__APPEND_OUTPUT, NULL, required_argument },
 135     { "ask-password", 0, OPT_BOOLEAN, "askpassword", -1 },
 136     { "auth-no-challenge", 0, OPT_BOOLEAN, "authnochallenge", -1 },
 137     { "background", 'b', OPT_BOOLEAN, "background", -1 },
 138     { "backup-converted", 'K', OPT_BOOLEAN, "backupconverted", -1 },
 139     { "backups", 0, OPT_BOOLEAN, "backups", -1 },
 140     { "base", 'B', OPT_VALUE, "base", -1 },
 141     { "bind-address", 0, OPT_VALUE, "bindaddress", -1 },
 142     { IF_SSL ("ca-certificate"), 0, OPT_VALUE, "cacertificate", -1 },
 143     { IF_SSL ("ca-directory"), 0, OPT_VALUE, "cadirectory", -1 },
 144     { "cache", 0, OPT_BOOLEAN, "cache", -1 },
 145     { IF_SSL ("certificate"), 0, OPT_VALUE, "certificate", -1 },
 146     { IF_SSL ("certificate-type"), 0, OPT_VALUE, "certificatetype", -1 },
 147     { IF_SSL ("check-certificate"), 0, OPT_BOOLEAN, "checkcertificate", -1 },
 148     { "clobber", 0, OPT__CLOBBER, NULL, optional_argument },
 149     { "connect-timeout", 0, OPT_VALUE, "connecttimeout", -1 },
 150     { "continue", 'c', OPT_BOOLEAN, "continue", -1 },
 151     { "convert-links", 'k', OPT_BOOLEAN, "convertlinks", -1 },
 152     { "content-disposition", 0, OPT_BOOLEAN, "contentdisposition", -1 },
 153     { "cookies", 0, OPT_BOOLEAN, "cookies", -1 },
 154     { "cut-dirs", 0, OPT_VALUE, "cutdirs", -1 },
 155     { WHEN_DEBUG ("debug"), 'd', OPT_BOOLEAN, "debug", -1 },
 156     { "delete-after", 0, OPT_BOOLEAN, "deleteafter", -1 },
 157     { "directories", 0, OPT_BOOLEAN, "dirstruct", -1 },
 158     { "directory-prefix", 'P', OPT_VALUE, "dirprefix", -1 },
 159     { "dns-cache", 0, OPT_BOOLEAN, "dnscache", -1 },
 160     { "dns-timeout", 0, OPT_VALUE, "dnstimeout", -1 },
 161     { "domains", 'D', OPT_VALUE, "domains", -1 },
 162     { "dont-remove-listing", 0, OPT__DONT_REMOVE_LISTING, NULL, no_argument },
 163     { "dot-style", 0, OPT_VALUE, "dotstyle", -1 },
 164     { "egd-file", 0, OPT_VALUE, "egdfile", -1 },
 165     { "exclude-directories", 'X', OPT_VALUE, "excludedirectories", -1 },
 166     { "exclude-domains", 0, OPT_VALUE, "excludedomains", -1 },
 167     { "execute", 'e', OPT__EXECUTE, NULL, required_argument },
 168     { "follow-ftp", 0, OPT_BOOLEAN, "followftp", -1 },
 169     { "follow-tags", 0, OPT_VALUE, "followtags", -1 },
 170     { "force-directories", 'x', OPT_BOOLEAN, "dirstruct", -1 },
 171     { "force-html", 'F', OPT_BOOLEAN, "forcehtml", -1 },
 172     { "ftp-password", 0, OPT_VALUE, "ftppassword", -1 },
 173     { "ftp-user", 0, OPT_VALUE, "ftpuser", -1 },
 174     { "glob", 0, OPT_BOOLEAN, "glob", -1 },
 175     { "header", 0, OPT_VALUE, "header", -1 },
 176     { "help", 'h', OPT_FUNCALL, (void *)print_help, no_argument },
 177     { "host-directories", 0, OPT_BOOLEAN, "addhostdir", -1 },
 178     { "html-extension", 'E', OPT_BOOLEAN, "htmlextension", -1 },
 179     { "htmlify", 0, OPT_BOOLEAN, "htmlify", -1 },
 180     { "http-keep-alive", 0, OPT_BOOLEAN, "httpkeepalive", -1 },
 181     { "http-passwd", 0, OPT_VALUE, "httppassword", -1 }, /* deprecated */
 182     { "http-password", 0, OPT_VALUE, "httppassword", -1 },
 183     { "http-user", 0, OPT_VALUE, "httpuser", -1 },
 184     { "ignore-case", 0, OPT_BOOLEAN, "ignorecase", -1 },
 185     { "ignore-length", 0, OPT_BOOLEAN, "ignorelength", -1 },
 186     { "ignore-tags", 0, OPT_VALUE, "ignoretags", -1 },
 187     { "include-directories", 'I', OPT_VALUE, "includedirectories", -1 },
 188 #ifdef ENABLE_IPV6
 189     { "inet4-only", '4', OPT_BOOLEAN, "inet4only", -1 },
 190     { "inet6-only", '6', OPT_BOOLEAN, "inet6only", -1 },
 191 #endif
 192     { "input-file", 'i', OPT_VALUE, "input", -1 },
 193     { "keep-session-cookies", 0, OPT_BOOLEAN, "keepsessioncookies", -1 },
 194     { "level", 'l', OPT_VALUE, "reclevel", -1 },
 195     { "limit-rate", 0, OPT_VALUE, "limitrate", -1 },
 196     { "load-cookies", 0, OPT_VALUE, "loadcookies", -1 },
 197     { "max-redirect", 0, OPT_VALUE, "maxredirect", -1 },
 198     { "mirror", 'm', OPT_BOOLEAN, "mirror", -1 },
 199     { "no", 'n', OPT__NO, NULL, required_argument },
 200     { "no-clobber", 0, OPT_BOOLEAN, "noclobber", -1 },
 201     { "no-parent", 0, OPT_BOOLEAN, "noparent", -1 },
 202     { "output-document", 'O', OPT_VALUE, "outputdocument", -1 },
 203     { "output-file", 'o', OPT_VALUE, "logfile", -1 },
 204     { "page-requisites", 'p', OPT_BOOLEAN, "pagerequisites", -1 },
 205     { "parent", 0, OPT__PARENT, NULL, optional_argument },
 206     { "passive-ftp", 0, OPT_BOOLEAN, "passiveftp", -1 },
 207     { "password", 0, OPT_VALUE, "password", -1 },
 208     { "post-data", 0, OPT_VALUE, "postdata", -1 },
 209     { "post-file", 0, OPT_VALUE, "postfile", -1 },
 210     { "prefer-family", 0, OPT_VALUE, "preferfamily", -1 },
 211     { "preserve-permissions", 0, OPT_BOOLEAN, "preservepermissions", -1 },
 212     { IF_SSL ("private-key"), 0, OPT_VALUE, "privatekey", -1 },
 213     { IF_SSL ("private-key-type"), 0, OPT_VALUE, "privatekeytype", -1 },
 214     { "progress", 0, OPT_VALUE, "progress", -1 },
 215     { "protocol-directories", 0, OPT_BOOLEAN, "protocoldirectories", -1 },
 216     { "proxy", 0, OPT_BOOLEAN, "useproxy", -1 },
 217     { "proxy__compat", 'Y', OPT_VALUE, "useproxy", -1 }, /* back-compatible */
 218     { "proxy-passwd", 0, OPT_VALUE, "proxypassword", -1 }, /* deprecated */
 219     { "proxy-password", 0, OPT_VALUE, "proxypassword", -1 },
 220     { "proxy-user", 0, OPT_VALUE, "proxyuser", -1 },
 221     { "quiet", 'q', OPT_BOOLEAN, "quiet", -1 },
 222     { "quota", 'Q', OPT_VALUE, "quota", -1 },
 223     { "random-file", 0, OPT_VALUE, "randomfile", -1 },
 224     { "random-wait", 0, OPT_BOOLEAN, "randomwait", -1 },
 225     { "read-timeout", 0, OPT_VALUE, "readtimeout", -1 },
 226     { "recursive", 'r', OPT_BOOLEAN, "recursive", -1 },
 227     { "referer", 0, OPT_VALUE, "referer", -1 },
 228     { "reject", 'R', OPT_VALUE, "reject", -1 },
 229     { "relative", 'L', OPT_BOOLEAN, "relativeonly", -1 },
 230     { "remove-listing", 0, OPT_BOOLEAN, "removelisting", -1 },
 231     { "restrict-file-names", 0, OPT_BOOLEAN, "restrictfilenames", -1 },
 232     { "retr-symlinks", 0, OPT_BOOLEAN, "retrsymlinks", -1 },
 233     { "retry-connrefused", 0, OPT_BOOLEAN, "retryconnrefused", -1 },
 234     { "save-cookies", 0, OPT_VALUE, "savecookies", -1 },
 235     { "save-headers", 0, OPT_BOOLEAN, "saveheaders", -1 },
 236     { IF_SSL ("secure-protocol"), 0, OPT_VALUE, "secureprotocol", -1 },
 237     { "server-response", 'S', OPT_BOOLEAN, "serverresponse", -1 },
 238     { "span-hosts", 'H', OPT_BOOLEAN, "spanhosts", -1 },
 239     { "spider", 0, OPT_BOOLEAN, "spider", -1 },
 240     { "strict-comments", 0, OPT_BOOLEAN, "strictcomments", -1 },
 241     { "timeout", 'T', OPT_VALUE, "timeout", -1 },
 242     { "timestamping", 'N', OPT_BOOLEAN, "timestamping", -1 },
 243     { "tries", 't', OPT_VALUE, "tries", -1 },
 244     { "user", 0, OPT_VALUE, "user", -1 },
 245     { "user-agent", 'U', OPT_VALUE, "useragent", -1 },
 246     { "verbose", 'v', OPT_BOOLEAN, "verbose", -1 },
 247     { "verbose", 0, OPT_BOOLEAN, "verbose", -1 },
 248     { "version", 'V', OPT_FUNCALL, (void *) print_version, no_argument },
 249     { "wait", 'w', OPT_VALUE, "wait", -1 },
 250     { "waitretry", 0, OPT_VALUE, "waitretry", -1 },
 251 #ifdef MSDOS
 252     { "wdebug", 0, OPT_BOOLEAN, "wdebug", -1 },
 253 #endif
 254   };
 255
 256 #undef WHEN_DEBUG
 257 #undef IF_SSL
 258
 259 /* Return a string that contains S with "no-" prepended.  The string
 260    is NUL-terminated and allocated off static storage at Wget
 261    startup.  */
 262
 263 static char *
 264 no_prefix (const char *s)
 265 {
 266   static char buffer[1024];
 267   static char *p = buffer;
 268
 269   char *cp = p;
 270   int size = 3 + strlen (s) + 1;  /* "no-STRING\0" */
 271   if (p + size >= buffer + sizeof (buffer))
 272     abort ();
 273
 274   cp[0] = 'n', cp[1] = 'o', cp[2] = '-';
 275   strcpy (cp + 3, s);
 276   p += size;
 277   return cp;
 278 }
 279
 280 /* The arguments that that main passes to getopt_long. */
 281 static struct option long_options[2 * countof (option_data) + 1];
 282 static char short_options[128];
 283
 284 /* Mapping between short option chars and option_data indices. */
 285 static unsigned char optmap[96];
 286
 287 /* Marker for `--no-FOO' values in long_options.  */
 288 #define BOOLEAN_NEG_MARKER 1024
 289
 290 /* Initialize the long_options array used by getopt_long from the data
 291    in option_data.  */
 292
 293 static void
 294 init_switches (void)
 295 {
 296   char *p = short_options;
 297   size_t i, o = 0;
 298   for (i = 0; i < countof (option_data); i++)
 299     {
 300       struct cmdline_option *opt = &option_data[i];
 301       struct option *longopt;
 302
 303       if (!opt->long_name)
 304         /* The option is disabled. */
 305         continue;
 306
 307       longopt = &long_options[o++];
 308       longopt->name = opt->long_name;
 309       longopt->val = i;
 310       if (opt->short_name)
 311         {
 312           *p++ = opt->short_name;
 313           optmap[opt->short_name - 32] = longopt - long_options;
 314         }
 315       switch (opt->type)
 316         {
 317         case OPT_VALUE:
 318           longopt->has_arg = required_argument;
 319           if (opt->short_name)
 320             *p++ = ':';
 321           break;
 322         case OPT_BOOLEAN:
 323           /* Specify an optional argument for long options, so that
 324              --option=off works the same as --no-option, for
 325              compatibility with pre-1.10 Wget.  However, don't specify
 326              optional arguments short-option booleans because they
 327              prevent combining of short options.  */
 328           longopt->has_arg = optional_argument;
 329           /* For Boolean options, add the "--no-FOO" variant, which is
 330              identical to "--foo", except it has opposite meaning and
 331              it doesn't allow an argument.  */
 332           longopt = &long_options[o++];
 333           longopt->name = no_prefix (opt->long_name);
 334           longopt->has_arg = no_argument;
 335           /* Mask the value so we'll be able to recognize that we're
 336              dealing with the false value.  */
 337           longopt->val = i | BOOLEAN_NEG_MARKER;
 338           break;
 339         default:
 340           assert (opt->argtype != -1);
 341           longopt->has_arg = opt->argtype;
 342           if (opt->short_name)
 343             {
 344               if (longopt->has_arg == required_argument)
 345                 *p++ = ':';
 346               /* Don't handle optional_argument */
 347             }
 348         }
 349     }
 350   /* Terminate short_options. */
 351   *p = '\0';
 352   /* No need for xzero(long_options[o]) because its storage is static
 353      and it will be zeroed by default.  */
 354   assert (o <= countof (long_options));
 355 }
 356
 357 /* Print the usage message.  */
 358 static void
 359 print_usage (void)
 360 {
 361   printf (_("Usage: %s [OPTION]... [URL]...\n"), exec_name);
 362 }
 363
 364 /* Print the help message, describing all the available options.  If
 365    you add an option, be sure to update this list.  */
 366 static void
 367 print_help (void)
 368 {
 369   /* We split the help text this way to ease translation of individual
 370      entries.  */
 371   static const char *help[] = {
 372     "\n",
 373     N_("\
 374 Mandatory arguments to long options are mandatory for short options too.\n\n"),
 375     N_("\
 376 Startup:\n"),
 377     N_("\
 378   -V,  --version           display the version of Wget and exit.\n"),
 379     N_("\
 380   -h,  --help              print this help.\n"),
 381     N_("\
 382   -b,  --background        go to background after startup.\n"),
 383     N_("\
 384   -e,  --execute=COMMAND   execute a `.wgetrc'-style command.\n"),
 385     "\n",
 386
 387     N_("\
 388 Logging and input file:\n"),
 389     N_("\
 390   -o,  --output-file=FILE    log messages to FILE.\n"),
 391     N_("\
 392   -a,  --append-output=FILE  append messages to FILE.\n"),
 393 #ifdef ENABLE_DEBUG
 394     N_("\
 395   -d,  --debug               print lots of debugging information.\n"),
 396 #endif
 397 #ifdef MSDOS
 398     N_("\
 399        --wdebug              print Watt-32 debug output.\n"),
 400 #endif
 401     N_("\
 402   -q,  --quiet               quiet (no output).\n"),
 403     N_("\
 404   -v,  --verbose             be verbose (this is the default).\n"),
 405     N_("\
 406   -nv, --no-verbose          turn off verboseness, without being quiet.\n"),
 407     N_("\
 408   -i,  --input-file=FILE     download URLs found in FILE.\n"),
 409     N_("\
 410   -F,  --force-html          treat input file as HTML.\n"),
 411     N_("\
 412   -B,  --base=URL            prepends URL to relative links in -F -i file.\n"),
 413     "\n",
 414
 415     N_("\
 416 Download:\n"),
 417     N_("\
 418   -t,  --tries=NUMBER            set number of retries to NUMBER (0 unlimits).\n"),
 419     N_("\
 420        --retry-connrefused       retry even if connection is refused.\n"),
 421     N_("\
 422   -O,  --output-document=FILE    write documents to FILE.\n"),
 423     N_("\
 424   -nc, --no-clobber              skip downloads that would download to\n\
 425                                  existing files.\n"),
 426     N_("\
 427   -c,  --continue                resume getting a partially-downloaded file.\n"),
 428     N_("\
 429        --progress=TYPE           select progress gauge type.\n"),
 430     N_("\
 431   -N,  --timestamping            don't re-retrieve files unless newer than\n\
 432                                  local.\n"),
 433     N_("\
 434   -S,  --server-response         print server response.\n"),
 435     N_("\
 436        --spider                  don't download anything.\n"),
 437     N_("\
 438   -T,  --timeout=SECONDS         set all timeout values to SECONDS.\n"),
 439     N_("\
 440        --dns-timeout=SECS        set the DNS lookup timeout to SECS.\n"),
 441     N_("\
 442        --connect-timeout=SECS    set the connect timeout to SECS.\n"),
 443     N_("\
 444        --read-timeout=SECS       set the read timeout to SECS.\n"),
 445     N_("\
 446   -w,  --wait=SECONDS            wait SECONDS between retrievals.\n"),
 447     N_("\
 448        --waitretry=SECONDS       wait 1..SECONDS between retries of a retrieval.\n"),
 449     N_("\
 450        --random-wait             wait from 0...2*WAIT secs between retrievals.\n"),
 451     N_("\
 452        --no-proxy                explicitly turn off proxy.\n"),
 453     N_("\
 454   -Q,  --quota=NUMBER            set retrieval quota to NUMBER.\n"),
 455     N_("\
 456        --bind-address=ADDRESS    bind to ADDRESS (hostname or IP) on local host.\n"),
 457     N_("\
 458        --limit-rate=RATE         limit download rate to RATE.\n"),
 459     N_("\
 460        --no-dns-cache            disable caching DNS lookups.\n"),
 461     N_("\
 462        --restrict-file-names=OS  restrict chars in file names to ones OS allows.\n"),
 463     N_("\
 464        --ignore-case             ignore case when matching files/directories.\n"),
 465 #ifdef ENABLE_IPV6
 466     N_("\
 467   -4,  --inet4-only              connect only to IPv4 addresses.\n"),
 468     N_("\
 469   -6,  --inet6-only              connect only to IPv6 addresses.\n"),
 470     N_("\
 471        --prefer-family=FAMILY    connect first to addresses of specified family,\n\
 472                                  one of IPv6, IPv4, or none.\n"),
 473 #endif
 474     N_("\
 475        --user=USER               set both ftp and http user to USER.\n"),
 476     N_("\
 477        --password=PASS           set both ftp and http password to PASS.\n"),
 478     N_("\
 479        --ask-password            prompt for passwords.\n"),
 480     "\n",
 481
 482     N_("\
 483 Directories:\n"),
 484     N_("\
 485   -nd, --no-directories           don't create directories.\n"),
 486     N_("\
 487   -x,  --force-directories        force creation of directories.\n"),
 488     N_("\
 489   -nH, --no-host-directories      don't create host directories.\n"),
 490     N_("\
 491        --protocol-directories     use protocol name in directories.\n"),
 492     N_("\
 493   -P,  --directory-prefix=PREFIX  save files to PREFIX/...\n"),
 494     N_("\
 495        --cut-dirs=NUMBER          ignore NUMBER remote directory components.\n"),
 496     "\n",
 497
 498     N_("\
 499 HTTP options:\n"),
 500     N_("\
 501        --http-user=USER        set http user to USER.\n"),
 502     N_("\
 503        --http-password=PASS    set http password to PASS.\n"),
 504     N_("\
 505        --no-cache              disallow server-cached data.\n"),
 506     N_("\
 507   -E,  --html-extension        save HTML documents with `.html' extension.\n"),
 508     N_("\
 509        --ignore-length         ignore `Content-Length' header field.\n"),
 510     N_("\
 511        --header=STRING         insert STRING among the headers.\n"),
 512     N_("\
 513        --max-redirect          maximum redirections allowed per page.\n"),
 514     N_("\
 515        --proxy-user=USER       set USER as proxy username.\n"),
 516     N_("\
 517        --proxy-password=PASS   set PASS as proxy password.\n"),
 518     N_("\
 519        --referer=URL           include `Referer: URL' header in HTTP request.\n"),
 520     N_("\
 521        --save-headers          save the HTTP headers to file.\n"),
 522     N_("\
 523   -U,  --user-agent=AGENT      identify as AGENT instead of Wget/VERSION.\n"),
 524     N_("\
 525        --no-http-keep-alive    disable HTTP keep-alive (persistent connections).\n"),
 526     N_("\
 527        --no-cookies            don't use cookies.\n"),
 528     N_("\
 529        --load-cookies=FILE     load cookies from FILE before session.\n"),
 530     N_("\
 531        --save-cookies=FILE     save cookies to FILE after session.\n"),
 532     N_("\
 533        --keep-session-cookies  load and save session (non-permanent) cookies.\n"),
 534     N_("\
 535        --post-data=STRING      use the POST method; send STRING as the data.\n"),
 536     N_("\
 537        --post-file=FILE        use the POST method; send contents of FILE.\n"),
 538     N_("\
 539        --content-disposition   honor the Content-Disposition header when\n\
 540                                choosing local file names (EXPERIMENTAL).\n"),
 541     N_("\
 542        --auth-no-challenge     Send Basic HTTP authentication information\n\
 543                                without first waiting for the server's\n\
 544                                challenge.\n"),
 545     "\n",
 546
 547 #ifdef HAVE_SSL
 548     N_("\
 549 HTTPS (SSL/TLS) options:\n"),
 550     N_("\
 551        --secure-protocol=PR     choose secure protocol, one of auto, SSLv2,\n\
 552                                 SSLv3, and TLSv1.\n"),
 553     N_("\
 554        --no-check-certificate   don't validate the server's certificate.\n"),
 555     N_("\
 556        --certificate=FILE       client certificate file.\n"),
 557     N_("\
 558        --certificate-type=TYPE  client certificate type, PEM or DER.\n"),
 559     N_("\
 560        --private-key=FILE       private key file.\n"),
 561     N_("\
 562        --private-key-type=TYPE  private key type, PEM or DER.\n"),
 563     N_("\
 564        --ca-certificate=FILE    file with the bundle of CA's.\n"),
 565     N_("\
 566        --ca-directory=DIR       directory where hash list of CA's is stored.\n"),
 567     N_("\
 568        --random-file=FILE       file with random data for seeding the SSL PRNG.\n"),
 569     N_("\
 570        --egd-file=FILE          file naming the EGD socket with random data.\n"),
 571     "\n",
 572 #endif /* HAVE_SSL */
 573
 574     N_("\
 575 FTP options:\n"),
 576     N_("\
 577        --ftp-user=USER         set ftp user to USER.\n"),
 578     N_("\
 579        --ftp-password=PASS     set ftp password to PASS.\n"),
 580     N_("\
 581        --no-remove-listing     don't remove `.listing' files.\n"),
 582     N_("\
 583        --no-glob               turn off FTP file name globbing.\n"),
 584     N_("\
 585        --no-passive-ftp        disable the \"passive\" transfer mode.\n"),
 586     N_("\
 587        --retr-symlinks         when recursing, get linked-to files (not dir).\n"),
 588     N_("\
 589        --preserve-permissions  preserve remote file permissions.\n"),
 590     "\n",
 591
 592     N_("\
 593 Recursive download:\n"),
 594     N_("\
 595   -r,  --recursive          specify recursive download.\n"),
 596     N_("\
 597   -l,  --level=NUMBER       maximum recursion depth (inf or 0 for infinite).\n"),
 598     N_("\
 599        --delete-after       delete files locally after downloading them.\n"),
 600     N_("\
 601   -k,  --convert-links      make links in downloaded HTML point to local files.\n"),
 602     N_("\
 603   -K,  --backup-converted   before converting file X, back up as X.orig.\n"),
 604     N_("\
 605   -m,  --mirror             shortcut for -N -r -l inf --no-remove-listing.\n"),
 606     N_("\
 607   -p,  --page-requisites    get all images, etc. needed to display HTML page.\n"),
 608     N_("\
 609        --strict-comments    turn on strict (SGML) handling of HTML comments.\n"),
 610     "\n",
 611
 612     N_("\
 613 Recursive accept/reject:\n"),
 614     N_("\
 615   -A,  --accept=LIST               comma-separated list of accepted extensions.\n"),
 616     N_("\
 617   -R,  --reject=LIST               comma-separated list of rejected extensions.\n"),
 618     N_("\
 619   -D,  --domains=LIST              comma-separated list of accepted domains.\n"),
 620     N_("\
 621        --exclude-domains=LIST      comma-separated list of rejected domains.\n"),
 622     N_("\
 623        --follow-ftp                follow FTP links from HTML documents.\n"),
 624     N_("\
 625        --follow-tags=LIST          comma-separated list of followed HTML tags.\n"),
 626     N_("\
 627        --ignore-tags=LIST          comma-separated list of ignored HTML tags.\n"),
 628     N_("\
 629   -H,  --span-hosts                go to foreign hosts when recursive.\n"),
 630     N_("\
 631   -L,  --relative                  follow relative links only.\n"),
 632     N_("\
 633   -I,  --include-directories=LIST  list of allowed directories.\n"),
 634     N_("\
 635   -X,  --exclude-directories=LIST  list of excluded directories.\n"),
 636     N_("\
 637   -np, --no-parent                 don't ascend to the parent directory.\n"),
 638     "\n",
 639
 640     N_("Mail bug reports and suggestions to <bug-wget@gnu.org>.\n")
 641   };
 642
 643   size_t i;
 644
 645   printf (_("GNU Wget %s, a non-interactive network retriever.\n"),
 646           version_string);
 647   print_usage ();
 648
 649   for (i = 0; i < countof (help); i++)
 650     fputs (_(help[i]), stdout);
 651
 652   exit (0);
 653 }
 654
 655 /* Return a human-readable printed representation of INTERVAL,
 656    measured in seconds.  */
 657
 658 static char *
 659 secs_to_human_time (double interval)
 660 {
 661   static char buf[32];
 662   int secs = (int) (interval + 0.5);
 663   int hours, mins, days;
 664
 665   days = secs / 86400, secs %= 86400;
 666   hours = secs / 3600, secs %= 3600;
 667   mins = secs / 60, secs %= 60;
 668
 669   if (days)
 670     sprintf (buf, "%dd %dh %dm %ds", days, hours, mins, secs);
 671   else if (hours)
 672     sprintf (buf, "%dh %dm %ds", hours, mins, secs);
 673   else if (mins)
 674     sprintf (buf, "%dm %ds", mins, secs);
 675   else
 676     sprintf (buf, "%ss", print_decimal (interval));
 677
 678   return buf;
 679 }
 680
 681 static char *
 682 prompt_for_password (void)
 683 {
 684   if (opt.user)
 685     printf (_("Password for user %s: "), quote (opt.user));
 686   else
 687     printf (_("Password: "));
 688   return getpass("");
 689 }
 690
 691 static void
 692 print_version (void)
 693 {
 694   printf ("GNU Wget %s\n\n", version_string);
 695   /* TRANSLATORS: When available, an actual copyright character
 696      (cirle-c) should be used in preference to "(C)". */
 697   fputs (_("\
 698 Copyright (C) 2008 Free Software Foundation, Inc.\n"), stdout);
 699   fputs (_("\
 700 License GPLv3+: GNU GPL version 3 or later\n\
 701 <http://www.gnu.org/licenses/gpl.html>.\n\
 702 This is free software: you are free to change and redistribute it.\n\
 703 There is NO WARRANTY, to the extent permitted by law.\n"), stdout);
 704   /* TRANSLATORS: When available, please use the proper diacritics for
 705      names such as this one. See en_US.po for reference. */
 706   fputs (_("\nOriginally written by Hrvoje Niksic <hniksic@xemacs.org>.\n"),
 707          stdout);
 708   fputs (_("Currently maintained by Micah Cowan <micah@cowan.name>.\n"),
 709          stdout);
 710   exit (0);
 711 }
 712 \f
 713
 714 int
 715 main (int argc, char **argv)
 716 {
 717   char **url, **t;
 718   int i, ret, longindex;
 719   int nurl, status;
 720   bool append_to_log = false;
 721
 722   i18n_initialize ();
 723
 724   /* Construct the name of the executable, without the directory part.  */
 725   exec_name = strrchr (argv[0], PATH_SEPARATOR);
 726   if (!exec_name)
 727     exec_name = argv[0];
 728   else
 729     ++exec_name;
 730
 731 #ifdef WINDOWS
 732   /* Drop extension (typically .EXE) from executable filename. */
 733   windows_main ((char **) &exec_name);
 734 #endif
 735
 736   /* Set option defaults; read the system wgetrc and ~/.wgetrc.  */
 737   initialize ();
 738
 739   init_switches ();
 740   longindex = -1;
 741   while ((ret = getopt_long (argc, argv,
 742                              short_options, long_options, &longindex)) != -1)
 743     {
 744       int val;
 745       struct cmdline_option *opt;
 746
 747       /* If LONGINDEX is unchanged, it means RET is referring a short
 748          option.  */
 749       if (longindex == -1)
 750         {
 751           if (ret == '?')
 752             {
 753               print_usage ();
 754               printf ("\n");
 755               printf (_("Try `%s --help' for more options.\n"), exec_name);
 756               exit (2);
 757             }
 758           /* Find the short option character in the mapping.  */
 759           longindex = optmap[ret - 32];
 760         }
 761       val = long_options[longindex].val;
 762
 763       /* Use the retrieved value to locate the option in the
 764          option_data array, and to see if we're dealing with the
 765          negated "--no-FOO" variant of the boolean option "--foo".  */
 766       opt = &option_data[val & ~BOOLEAN_NEG_MARKER];
 767       switch (opt->type)
 768         {
 769         case OPT_VALUE:
 770           setoptval (opt->data, optarg, opt->long_name);
 771           break;
 772         case OPT_BOOLEAN:
 773           if (optarg)
 774             /* The user has specified a value -- use it. */
 775             setoptval (opt->data, optarg, opt->long_name);
 776           else
 777             {
 778               /* NEG is true for `--no-FOO' style boolean options. */
 779               bool neg = !!(val & BOOLEAN_NEG_MARKER);
 780               setoptval (opt->data, neg ? "0" : "1", opt->long_name);
 781             }
 782           break;
 783         case OPT_FUNCALL:
 784           {
 785             void (*func) (void) = (void (*) (void)) opt->data;
 786             func ();
 787           }
 788           break;
 789         case OPT__APPEND_OUTPUT:
 790           setoptval ("logfile", optarg, opt->long_name);
 791           append_to_log = true;
 792           break;
 793         case OPT__EXECUTE:
 794           run_command (optarg);
 795           break;
 796         case OPT__NO:
 797           {
 798             /* We support real --no-FOO flags now, but keep these
 799                short options for convenience and backward
 800                compatibility.  */
 801             char *p;
 802             for (p = optarg; *p; p++)
 803               switch (*p)
 804                 {
 805                 case 'v':
 806                   setoptval ("verbose", "0", opt->long_name);
 807                   break;
 808                 case 'H':
 809                   setoptval ("addhostdir", "0", opt->long_name);
 810                   break;
 811                 case 'd':
 812                   setoptval ("dirstruct", "0", opt->long_name);
 813                   break;
 814                 case 'c':
 815                   setoptval ("noclobber", "1", opt->long_name);
 816                   break;
 817                 case 'p':
 818                   setoptval ("noparent", "1", opt->long_name);
 819                   break;
 820                 default:
 821                   printf (_("%s: illegal option -- `-n%c'\n"), exec_name, *p);
 822                   print_usage ();
 823                   printf ("\n");
 824                   printf (_("Try `%s --help' for more options.\n"), exec_name);
 825                   exit (1);
 826                 }
 827             break;
 828           }
 829         case OPT__PARENT:
 830         case OPT__CLOBBER:
 831           {
 832             /* The wgetrc commands are named noparent and noclobber,
 833                so we must revert the meaning of the cmdline options
 834                before passing the value to setoptval.  */
 835             bool flag = true;
 836             if (optarg)
 837               flag = (*optarg == '1' || c_tolower (*optarg) == 'y'
 838                       || (c_tolower (optarg[0]) == 'o'
 839                           && c_tolower (optarg[1]) == 'n'));
 840             setoptval (opt->type == OPT__PARENT ? "noparent" : "noclobber",
 841                        flag ? "0" : "1", opt->long_name);
 842             break;
 843           }
 844         case OPT__DONT_REMOVE_LISTING:
 845           setoptval ("removelisting", "0", opt->long_name);
 846           break;
 847         }
 848
 849       longindex = -1;
 850     }
 851
 852   nurl = argc - optind;
 853
 854   /* All user options have now been processed, so it's now safe to do
 855      interoption dependency checks. */
 856
 857   if (opt.reclevel == 0)
 858       opt.reclevel = INFINITE_RECURSION; /* see recur.h for commentary */
 859
 860   if (opt.spider || opt.delete_after)
 861       opt.no_dirstruct = true;
 862
 863   if (opt.page_requisites && !opt.recursive)
 864     {
 865       /* Don't set opt.recursive here because it would confuse the FTP
 866          code.  Instead, call retrieve_tree below when either
 867          page_requisites or recursive is requested.  */
 868       opt.reclevel = 0;
 869       if (!opt.no_dirstruct)
 870         opt.dirstruct = 1;      /* normally handled by cmd_spec_recursive() */
 871     }
 872
 873   if (opt.verbose == -1)
 874     opt.verbose = !opt.quiet;
 875
 876   /* Sanity checks.  */
 877   if (opt.verbose && opt.quiet)
 878     {
 879       printf (_("Can't be verbose and quiet at the same time.\n"));
 880       print_usage ();
 881       exit (1);
 882     }
 883   if (opt.timestamping && opt.noclobber)
 884     {
 885       printf (_("\
 886 Can't timestamp and not clobber old files at the same time.\n"));
 887       print_usage ();
 888       exit (1);
 889     }
 890 #ifdef ENABLE_IPV6
 891   if (opt.ipv4_only && opt.ipv6_only)
 892     {
 893       printf (_("Cannot specify both --inet4-only and --inet6-only.\n"));
 894       print_usage ();
 895       exit (1);
 896     }
 897 #endif
 898   if (opt.output_document)
 899     {
 900       if (opt.convert_links
 901           && (nurl > 1 || opt.page_requisites || opt.recursive))
 902         {
 903           fputs (_("\
 904 Cannot specify both -k and -O if multiple URLs are given, or in combination\n\
 905 with -p or -r. See the manual for details.\n\n"), stdout);
 906           print_usage ();
 907           exit (1);
 908         }
 909       if (opt.page_requisites
 910           || opt.recursive)
 911         {
 912           logprintf (LOG_NOTQUIET, "%s", _("\
 913 WARNING: combining -O with -r or -p will mean that all downloaded content\n\
 914 will be placed in the single file you specified.\n\n"));
 915         }
 916       if (opt.timestamping)
 917         {
 918           logprintf (LOG_NOTQUIET, "%s", _("\
 919 WARNING: timestamping does nothing in combination with -O. See the manual\n\
 920 for details.\n\n"));
 921           opt.timestamping = false;
 922         }
 923       if (opt.noclobber && file_exists_p(opt.output_document))
 924            {
 925               /* Check if output file exists; if it does, exit. */
 926               logprintf (LOG_VERBOSE, _("File `%s' already there; not retrieving.\n"), opt.output_document);
 927               exit(1);
 928            }
 929     }
 930
 931   if (opt.ask_passwd && opt.passwd)
 932     {
 933       printf (_("Cannot specify both --ask-password and --password.\n"));
 934       print_usage ();
 935       exit (1);
 936     }
 937
 938   if (!nurl && !opt.input_filename)
 939     {
 940       /* No URL specified.  */
 941       printf (_("%s: missing URL\n"), exec_name);
 942       print_usage ();
 943       printf ("\n");
 944       /* #### Something nicer should be printed here -- similar to the
 945          pre-1.5 `--help' page.  */
 946       printf (_("Try `%s --help' for more options.\n"), exec_name);
 947       exit (1);
 948     }
 949
 950   if (opt.ask_passwd)
 951     {
 952       opt.passwd = prompt_for_password ();
 953
 954       if (opt.passwd == NULL || opt.passwd[0] == '\0')
 955         exit (1);
 956     }
 957
 958 #ifdef MSDOS
 959   if (opt.wdebug)
 960      dbug_init();
 961   sock_init();
 962 #else
 963   if (opt.background)
 964     fork_to_background ();
 965 #endif
 966
 967   /* Initialize progress.  Have to do this after the options are
 968      processed so we know where the log file is.  */
 969   if (opt.verbose)
 970     set_progress_implementation (opt.progress_type);
 971
 972   /* Fill in the arguments.  */
 973   url = alloca_array (char *, nurl + 1);
 974   for (i = 0; i < nurl; i++, optind++)
 975     {
 976       char *rewritten = rewrite_shorthand_url (argv[optind]);
 977       if (rewritten)
 978         url[i] = rewritten;
 979       else
 980         url[i] = xstrdup (argv[optind]);
 981     }
 982   url[i] = NULL;
 983
 984   /* Initialize logging.  */
 985   log_init (opt.lfilename, append_to_log);
 986
 987   DEBUGP (("DEBUG output created by Wget %s on %s.\n\n", version_string,
 988            OS_TYPE));
 989
 990   /* Open the output filename if necessary.  */
 991   if (opt.output_document)
 992     {
 993       if (HYPHENP (opt.output_document))
 994         {
 995 #ifdef WINDOWS
 996           FILE *result;
 997           result = freopen (NULL, "wb", stdout);
 998           if (result == NULL)
 999             {
1000               logputs (LOG_NOTQUIET, _("\
1001 WARNING: Can't reopen standard output in binary mode;\n\
1002          downloaded file may contain inappropriate line endings.\n"));
1003             }
1004 #endif
1005           output_stream = stdout;
1006         }
1007       else
1008         {
1009           struct_fstat st;
1010           output_stream = fopen (opt.output_document,
1011                                  opt.always_rest ? "ab" : "wb");
1012           if (output_stream == NULL)
1013             {
1014               perror (opt.output_document);
1015               exit (1);
1016             }
1017           if (fstat (fileno (output_stream), &st) == 0 && S_ISREG (st.st_mode))
1018             output_stream_regular = true;
1019         }
1020     }
1021
1022 #ifdef WINDOWS
1023   ws_startup ();
1024 #endif
1025
1026 #ifdef SIGHUP
1027   /* Setup the signal handler to redirect output when hangup is
1028      received.  */
1029   if (signal(SIGHUP, SIG_IGN) != SIG_IGN)
1030     signal(SIGHUP, redirect_output_signal);
1031 #endif
1032   /* ...and do the same for SIGUSR1.  */
1033 #ifdef SIGUSR1
1034   signal (SIGUSR1, redirect_output_signal);
1035 #endif
1036 #ifdef SIGPIPE
1037   /* Writing to a closed socket normally signals SIGPIPE, and the
1038      process exits.  What we want is to ignore SIGPIPE and just check
1039      for the return value of write().  */
1040   signal (SIGPIPE, SIG_IGN);
1041 #endif
1042 #ifdef SIGWINCH
1043   signal (SIGWINCH, progress_handle_sigwinch);
1044 #endif
1045
1046   status = RETROK;              /* initialize it, just-in-case */
1047   /* Retrieve the URLs from argument list.  */
1048   for (t = url; *t; t++)
1049     {
1050       char *filename = NULL, *redirected_URL = NULL;
1051       int dt;
1052
1053       if ((opt.recursive || opt.page_requisites)
1054           && (url_scheme (*t) != SCHEME_FTP || url_uses_proxy (*t)))
1055         {
1056           int old_follow_ftp = opt.follow_ftp;
1057
1058           /* Turn opt.follow_ftp on in case of recursive FTP retrieval */
1059           if (url_scheme (*t) == SCHEME_FTP)
1060             opt.follow_ftp = 1;
1061
1062           status = retrieve_tree (*t);
1063
1064           opt.follow_ftp = old_follow_ftp;
1065         }
1066       else
1067         status = retrieve_url (*t, &filename, &redirected_URL, NULL, &dt, opt.recursive);
1068
1069       if (opt.delete_after && file_exists_p(filename))
1070         {
1071           DEBUGP (("Removing file due to --delete-after in main():\n"));
1072           logprintf (LOG_VERBOSE, _("Removing %s.\n"), filename);
1073           if (unlink (filename))
1074             logprintf (LOG_NOTQUIET, "unlink: %s\n", strerror (errno));
1075         }
1076
1077       xfree_null (redirected_URL);
1078       xfree_null (filename);
1079     }
1080
1081   /* And then from the input file, if any.  */
1082   if (opt.input_filename)
1083     {
1084       int count;
1085       status = retrieve_from_file (opt.input_filename, opt.force_html, &count);
1086       if (!count)
1087         logprintf (LOG_NOTQUIET, _("No URLs found in %s.\n"),
1088                    opt.input_filename);
1089     }
1090
1091   /* Print broken links. */
1092   if (opt.recursive && opt.spider)
1093     {
1094       print_broken_links();
1095     }
1096
1097   /* Print the downloaded sum.  */
1098   if ((opt.recursive || opt.page_requisites
1099        || nurl > 1
1100        || (opt.input_filename && total_downloaded_bytes != 0))
1101       &&
1102       total_downloaded_bytes != 0)
1103     {
1104       logprintf (LOG_NOTQUIET,
1105                  _("FINISHED --%s--\nDownloaded: %d files, %s in %s (%s)\n"),
1106                  datetime_str (time (NULL)),
1107                  opt.numurls,
1108                  human_readable (total_downloaded_bytes),
1109                  secs_to_human_time (total_download_time),
1110                  retr_rate (total_downloaded_bytes, total_download_time));
1111       /* Print quota warning, if exceeded.  */
1112       if (opt.quota && total_downloaded_bytes > opt.quota)
1113         logprintf (LOG_NOTQUIET,
1114                    _("Download quota of %s EXCEEDED!\n"),
1115                    human_readable (opt.quota));
1116     }
1117
1118   if (opt.cookies_output)
1119     save_cookies ();
1120
1121   if (opt.convert_links && !opt.delete_after)
1122     convert_all_links ();
1123
1124   log_close ();
1125   for (i = 0; i < nurl; i++)
1126     xfree (url[i]);
1127   cleanup ();
1128
1129 #ifdef DEBUG_MALLOC
1130   print_malloc_debug_stats ();
1131 #endif
1132   if (status == RETROK)
1133     return 0;
1134   else
1135     return 1;
1136 }
1137 #endif /* TESTING */
1138 \f
1139 #if defined(SIGHUP) || defined(SIGUSR1)
1140
1141 /* So the signal_name check doesn't blow when only one is available. */
1142 #ifndef SIGHUP
1143 # define SIGHUP -1
1144 #endif
1145 #ifndef SIGUSR1
1146 # define SIGUSR1 -1
1147 #endif
1148
1149 /* Hangup signal handler.  When wget receives SIGHUP or SIGUSR1, it
1150    will proceed operation as usual, trying to write into a log file.
1151    If that is impossible, the output will be turned off.  */
1152
1153 static void
1154 redirect_output_signal (int sig)
1155 {
1156   const char *signal_name = (sig == SIGHUP ? "SIGHUP" :
1157                              (sig == SIGUSR1 ? "SIGUSR1" :
1158                               "WTF?!"));
1159   log_request_redirect_output (signal_name);
1160   progress_schedule_redirect ();
1161   signal (sig, redirect_output_signal);
1162 }
1163 #endif
1164
1165 /*
1166  * vim: et ts=2 sw=2
1167  */