sjero.net Git - wget/blob - src/init.c

   1 /* Reading/parsing the initialization file.
   2    Copyright (C) 1995, 1996, 1997, 1998, 2000, 2001, 2003
   3    Free Software Foundation, Inc.
   4
   5 This file is part of GNU Wget.
   6
   7 GNU Wget is free software; you can redistribute it and/or modify
   8 it under the terms of the GNU General Public License as published by
   9 the Free Software Foundation; either version 2 of the License, or
  10 (at your option) any later version.
  11
  12 GNU Wget is distributed in the hope that it will be useful,
  13 but WITHOUT ANY WARRANTY; without even the implied warranty of
  14 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15 GNU General Public License for more details.
  16
  17 You should have received a copy of the GNU General Public License
  18 along with Wget; if not, write to the Free Software
  19 Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  20
  21 In addition, as a special exception, the Free Software Foundation
  22 gives permission to link the code of its release of Wget with the
  23 OpenSSL project's "OpenSSL" library (or with modified versions of it
  24 that use the same license as the "OpenSSL" library), and distribute
  25 the linked executables.  You must obey the GNU General Public License
  26 in all respects for all of the code used other than "OpenSSL".  If you
  27 modify this file, you may extend this exception to your version of the
  28 file, but you are not obligated to do so.  If you do not wish to do
  29 so, delete this exception statement from your version.  */
  30
  31 #include <config.h>
  32
  33 #include <stdio.h>
  34 #include <sys/types.h>
  35 #include <stdlib.h>
  36 #ifdef HAVE_UNISTD_H
  37 # include <unistd.h>
  38 #endif
  39 #ifdef HAVE_STRING_H
  40 # include <string.h>
  41 #else
  42 # include <strings.h>
  43 #endif
  44 #include <errno.h>
  45
  46 #ifdef WINDOWS
  47 # include <winsock.h>
  48 #else
  49 # include <sys/socket.h>
  50 # include <netinet/in.h>
  51 #ifndef __BEOS__
  52 # include <arpa/inet.h>
  53 #endif
  54 #endif
  55
  56 #ifdef HAVE_PWD_H
  57 # include <pwd.h>
  58 #endif
  59 #include <assert.h>
  60
  61 #include "wget.h"
  62 #include "utils.h"
  63 #include "init.h"
  64 #include "host.h"
  65 #include "netrc.h"
  66 #include "cookies.h"            /* for cookie_jar_delete */
  67 #include "progress.h"
  68
  69 #ifndef errno
  70 extern int errno;
  71 #endif
  72
  73 extern struct cookie_jar *wget_cookie_jar;
  74
  75 /* We want tilde expansion enabled only when reading `.wgetrc' lines;
  76    otherwise, it will be performed by the shell.  This variable will
  77    be set by the wgetrc-reading function.  */
  78
  79 static int enable_tilde_expansion;
  80
  81
  82 #define CMD_DECLARE(func) static int func \
  83   PARAMS ((const char *, const char *, void *))
  84
  85 CMD_DECLARE (cmd_boolean);
  86 CMD_DECLARE (cmd_bytes);
  87 CMD_DECLARE (cmd_bytes_large);
  88 CMD_DECLARE (cmd_directory_vector);
  89 CMD_DECLARE (cmd_lockable_boolean);
  90 CMD_DECLARE (cmd_number);
  91 CMD_DECLARE (cmd_number_inf);
  92 CMD_DECLARE (cmd_string);
  93 CMD_DECLARE (cmd_file);
  94 CMD_DECLARE (cmd_directory);
  95 CMD_DECLARE (cmd_time);
  96 CMD_DECLARE (cmd_vector);
  97
  98 CMD_DECLARE (cmd_spec_dirstruct);
  99 CMD_DECLARE (cmd_spec_header);
 100 CMD_DECLARE (cmd_spec_htmlify);
 101 CMD_DECLARE (cmd_spec_mirror);
 102 CMD_DECLARE (cmd_spec_progress);
 103 CMD_DECLARE (cmd_spec_recursive);
 104 CMD_DECLARE (cmd_spec_restrict_file_names);
 105 CMD_DECLARE (cmd_spec_timeout);
 106 CMD_DECLARE (cmd_spec_useragent);
 107
 108 /* List of recognized commands, each consisting of name, closure and function.
 109    When adding a new command, simply add it to the list, but be sure to keep the
 110    list sorted alphabetically, as findcmd() depends on it.  Also, be sure to add
 111    any entries that allocate memory (e.g. cmd_string and cmd_vector guys) to the
 112    cleanup() function below. */
 113 static struct {
 114   char *name;
 115   void *closure;
 116   int (*action) PARAMS ((const char *, const char *, void *));
 117 } commands[] = {
 118   { "accept",           &opt.accepts,           cmd_vector },
 119   { "addhostdir",       &opt.add_hostdir,       cmd_boolean },
 120   { "alwaysrest",       &opt.always_rest,       cmd_boolean }, /* deprecated */
 121   { "background",       &opt.background,        cmd_boolean },
 122   { "backupconverted",  &opt.backup_converted,  cmd_boolean },
 123   { "backups",          &opt.backups,           cmd_number },
 124   { "base",             &opt.base_href,         cmd_string },
 125   { "bindaddress",      &opt.bind_address,      cmd_string },
 126   { "cache",            &opt.allow_cache,       cmd_boolean },
 127   { "connecttimeout",   &opt.connect_timeout,   cmd_time },
 128   { "continue",         &opt.always_rest,       cmd_boolean },
 129   { "convertlinks",     &opt.convert_links,     cmd_boolean },
 130   { "cookies",          &opt.cookies,           cmd_boolean },
 131   { "cutdirs",          &opt.cut_dirs,          cmd_number },
 132 #ifdef ENABLE_DEBUG
 133   { "debug",            &opt.debug,             cmd_boolean },
 134 #endif
 135   { "deleteafter",      &opt.delete_after,      cmd_boolean },
 136   { "dirprefix",        &opt.dir_prefix,        cmd_directory },
 137   { "dirstruct",        NULL,                   cmd_spec_dirstruct },
 138   { "dnscache",         &opt.dns_cache,         cmd_boolean },
 139   { "dnstimeout",       &opt.dns_timeout,       cmd_time },
 140   { "domains",          &opt.domains,           cmd_vector },
 141   { "dotbytes",         &opt.dot_bytes,         cmd_bytes },
 142   { "dotsinline",       &opt.dots_in_line,      cmd_number },
 143   { "dotspacing",       &opt.dot_spacing,       cmd_number },
 144   { "dotstyle",         &opt.dot_style,         cmd_string },
 145 #ifdef HAVE_SSL
 146   { "egdfile",          &opt.sslegdsock,        cmd_file },
 147 #endif
 148   { "excludedirectories", &opt.excludes,        cmd_directory_vector },
 149   { "excludedomains",   &opt.exclude_domains,   cmd_vector },
 150   { "followftp",        &opt.follow_ftp,        cmd_boolean },
 151   { "followtags",       &opt.follow_tags,       cmd_vector },
 152   { "forcehtml",        &opt.force_html,        cmd_boolean },
 153   { "ftpproxy",         &opt.ftp_proxy,         cmd_string },
 154   { "glob",             &opt.ftp_glob,          cmd_boolean },
 155   { "header",           NULL,                   cmd_spec_header },
 156   { "htmlextension",    &opt.html_extension,    cmd_boolean },
 157   { "htmlify",          NULL,                   cmd_spec_htmlify },
 158   { "httpkeepalive",    &opt.http_keep_alive,   cmd_boolean },
 159   { "httppasswd",       &opt.http_passwd,       cmd_string },
 160   { "httpproxy",        &opt.http_proxy,        cmd_string },
 161   { "httpsproxy",       &opt.https_proxy,       cmd_string },
 162   { "httpuser",         &opt.http_user,         cmd_string },
 163   { "ignorelength",     &opt.ignore_length,     cmd_boolean },
 164   { "ignoretags",       &opt.ignore_tags,       cmd_vector },
 165   { "includedirectories", &opt.includes,        cmd_directory_vector },
 166   { "input",            &opt.input_filename,    cmd_file },
 167   { "killlonger",       &opt.kill_longer,       cmd_boolean },
 168   { "limitrate",        &opt.limit_rate,        cmd_bytes },
 169   { "loadcookies",      &opt.cookies_input,     cmd_file },
 170   { "logfile",          &opt.lfilename,         cmd_file },
 171   { "login",            &opt.ftp_acc,           cmd_string },
 172   { "mirror",           NULL,                   cmd_spec_mirror },
 173   { "netrc",            &opt.netrc,             cmd_boolean },
 174   { "noclobber",        &opt.noclobber,         cmd_boolean },
 175   { "noparent",         &opt.no_parent,         cmd_boolean },
 176   { "noproxy",          &opt.no_proxy,          cmd_vector },
 177   { "numtries",         &opt.ntry,              cmd_number_inf },/* deprecated*/
 178   { "outputdocument",   &opt.output_document,   cmd_file },
 179   { "pagerequisites",   &opt.page_requisites,   cmd_boolean },
 180   { "passiveftp",       &opt.ftp_pasv,          cmd_lockable_boolean },
 181   { "passwd",           &opt.ftp_pass,          cmd_string },
 182   { "postdata",         &opt.post_data,         cmd_string },
 183   { "postfile",         &opt.post_file_name,    cmd_file },
 184   { "progress",         &opt.progress_type,     cmd_spec_progress },
 185   { "proxypasswd",      &opt.proxy_passwd,      cmd_string },
 186   { "proxyuser",        &opt.proxy_user,        cmd_string },
 187   { "quiet",            &opt.quiet,             cmd_boolean },
 188   { "quota",            &opt.quota,             cmd_bytes_large },
 189   { "randomwait",       &opt.random_wait,       cmd_boolean },
 190   { "readtimeout",      &opt.read_timeout,      cmd_time },
 191   { "reclevel",         &opt.reclevel,          cmd_number_inf },
 192   { "recursive",        NULL,                   cmd_spec_recursive },
 193   { "referer",          &opt.referer,           cmd_string },
 194   { "reject",           &opt.rejects,           cmd_vector },
 195   { "relativeonly",     &opt.relative_only,     cmd_boolean },
 196   { "removelisting",    &opt.remove_listing,    cmd_boolean },
 197   { "restrictfilenames", NULL,                  cmd_spec_restrict_file_names },
 198   { "retrsymlinks",     &opt.retr_symlinks,     cmd_boolean },
 199   { "retryconnrefused", &opt.retry_connrefused, cmd_boolean },
 200   { "robots",           &opt.use_robots,        cmd_boolean },
 201   { "savecookies",      &opt.cookies_output,    cmd_file },
 202   { "saveheaders",      &opt.save_headers,      cmd_boolean },
 203   { "serverresponse",   &opt.server_response,   cmd_boolean },
 204   { "spanhosts",        &opt.spanhost,          cmd_boolean },
 205   { "spider",           &opt.spider,            cmd_boolean },
 206 #ifdef HAVE_SSL
 207   { "sslcadir",         &opt.sslcadir,          cmd_directory },
 208   { "sslcafile",        &opt.sslcafile,         cmd_file },
 209   { "sslcertfile",      &opt.sslcertfile,       cmd_file },
 210   { "sslcertkey",       &opt.sslcertkey,        cmd_file },
 211   { "sslcerttype",      &opt.sslcerttype,       cmd_number },
 212   { "sslcheckcert",     &opt.sslcheckcert,      cmd_number },
 213   { "sslprotocol",      &opt.sslprotocol,       cmd_number },
 214 #endif /* HAVE_SSL */
 215   { "strictcomments",   &opt.strict_comments,   cmd_boolean },
 216   { "timeout",          NULL,                   cmd_spec_timeout },
 217   { "timestamping",     &opt.timestamping,      cmd_boolean },
 218   { "tries",            &opt.ntry,              cmd_number_inf },
 219   { "useproxy",         &opt.use_proxy,         cmd_boolean },
 220   { "useragent",        NULL,                   cmd_spec_useragent },
 221   { "verbose",          &opt.verbose,           cmd_boolean },
 222   { "wait",             &opt.wait,              cmd_time },
 223   { "waitretry",        &opt.waitretry,         cmd_time }
 224 };
 225
 226 /* Look up COM in the commands[] array and return its index.  If COM
 227    is not found, -1 is returned.  This function uses binary search.  */
 228
 229 static int
 230 findcmd (const char *com)
 231 {
 232   int lo = 0, hi = countof (commands) - 1;
 233
 234   while (lo <= hi)
 235     {
 236       int mid = (lo + hi) >> 1;
 237       int cmp = strcasecmp (com, commands[mid].name);
 238       if (cmp < 0)
 239         hi = mid - 1;
 240       else if (cmp > 0)
 241         lo = mid + 1;
 242       else
 243         return mid;
 244     }
 245   return -1;
 246 }
 247 \f
 248 /* Reset the variables to default values.  */
 249 static void
 250 defaults (void)
 251 {
 252   char *tmp;
 253
 254   /* Most of the default values are 0.  Just reset everything, and
 255      fill in the non-zero values.  Note that initializing pointers to
 256      NULL this way is technically illegal, but porting Wget to a
 257      machine where NULL is not all-zero bit pattern will be the least
 258      of the implementors' worries.  */
 259   memset (&opt, 0, sizeof (opt));
 260
 261   opt.cookies = 1;
 262
 263   opt.verbose = -1;
 264   opt.ntry = 20;
 265   opt.reclevel = 5;
 266   opt.add_hostdir = 1;
 267   opt.ftp_acc  = xstrdup ("anonymous");
 268   opt.ftp_pass = xstrdup ("-wget@");
 269   opt.netrc = 1;
 270   opt.ftp_glob = 1;
 271   opt.htmlify = 1;
 272   opt.http_keep_alive = 1;
 273   opt.use_proxy = 1;
 274   tmp = getenv ("no_proxy");
 275   if (tmp)
 276     opt.no_proxy = sepstring (tmp);
 277   opt.allow_cache = 1;
 278
 279   opt.read_timeout = 900;
 280   opt.use_robots = 1;
 281
 282   opt.remove_listing = 1;
 283
 284   opt.dot_bytes = 1024;
 285   opt.dot_spacing = 10;
 286   opt.dots_in_line = 50;
 287
 288   opt.dns_cache = 1;
 289
 290   /* The default for file name restriction defaults to the OS type. */
 291 #if !defined(WINDOWS) && !defined(__CYGWIN__)
 292   opt.restrict_files_os = restrict_unix;
 293 #else
 294   opt.restrict_files_os = restrict_windows;
 295 #endif
 296   opt.restrict_files_ctrl = 1;
 297 }
 298 \f
 299 /* Return the user's home directory (strdup-ed), or NULL if none is
 300    found.  */
 301 char *
 302 home_dir (void)
 303 {
 304   char *home = getenv ("HOME");
 305
 306   if (!home)
 307     {
 308 #ifndef WINDOWS
 309       /* If HOME is not defined, try getting it from the password
 310          file.  */
 311       struct passwd *pwd = getpwuid (getuid ());
 312       if (!pwd || !pwd->pw_dir)
 313         return NULL;
 314       home = pwd->pw_dir;
 315 #else  /* WINDOWS */
 316       home = "C:\\";
 317       /* #### Maybe I should grab home_dir from registry, but the best
 318          that I could get from there is user's Start menu.  It sucks!  */
 319 #endif /* WINDOWS */
 320     }
 321
 322   return home ? xstrdup (home) : NULL;
 323 }
 324
 325 /* Return the path to the user's .wgetrc.  This is either the value of
 326    `WGETRC' environment variable, or `$HOME/.wgetrc'.
 327
 328    If the `WGETRC' variable exists but the file does not exist, the
 329    function will exit().  */
 330 static char *
 331 wgetrc_file_name (void)
 332 {
 333   char *env, *home;
 334   char *file = NULL;
 335
 336   /* Try the environment.  */
 337   env = getenv ("WGETRC");
 338   if (env && *env)
 339     {
 340       if (!file_exists_p (env))
 341         {
 342           fprintf (stderr, _("%s: WGETRC points to %s, which doesn't exist.\n"),
 343                    exec_name, env);
 344           exit (1);
 345         }
 346       return xstrdup (env);
 347     }
 348
 349 #ifndef WINDOWS
 350   /* If that failed, try $HOME/.wgetrc.  */
 351   home = home_dir ();
 352   if (home)
 353     {
 354       file = (char *)xmalloc (strlen (home) + 1 + strlen (".wgetrc") + 1);
 355       sprintf (file, "%s/.wgetrc", home);
 356     }
 357   FREE_MAYBE (home);
 358 #else  /* WINDOWS */
 359   /* Under Windows, "home" is (for the purposes of this function) the
 360      directory where `wget.exe' resides, and `wget.ini' will be used
 361      as file name.  SYSTEM_WGETRC should not be defined under WINDOWS.
 362
 363      It is not as trivial as I assumed, because on 95 argv[0] is full
 364      path, but on NT you get what you typed in command line.  --dbudor */
 365   home = ws_mypath ();
 366   if (home)
 367     {
 368       file = (char *)xmalloc (strlen (home) + strlen ("wget.ini") + 1);
 369       sprintf (file, "%swget.ini", home);
 370     }
 371 #endif /* WINDOWS */
 372
 373   if (!file)
 374     return NULL;
 375   if (!file_exists_p (file))
 376     {
 377       xfree (file);
 378       return NULL;
 379     }
 380   return file;
 381 }
 382
 383 static int parse_line PARAMS ((const char *, char **, char **, int *));
 384 static int setval_internal PARAMS ((int, const char *, const char *));
 385
 386 /* Initialize variables from a wgetrc file.  */
 387
 388 static void
 389 run_wgetrc (const char *file)
 390 {
 391   FILE *fp;
 392   char *line;
 393   int ln;
 394
 395   fp = fopen (file, "rb");
 396   if (!fp)
 397     {
 398       fprintf (stderr, _("%s: Cannot read %s (%s).\n"), exec_name,
 399                file, strerror (errno));
 400       return;
 401     }
 402   enable_tilde_expansion = 1;
 403   ln = 1;
 404   while ((line = read_whole_line (fp)))
 405     {
 406       char *com, *val;
 407       int comind, status;
 408
 409       /* Parse the line.  */
 410       status = parse_line (line, &com, &val, &comind);
 411       xfree (line);
 412       /* If everything is OK, set the value.  */
 413       if (status == 1)
 414         {
 415           if (!setval_internal (comind, com, val))
 416             fprintf (stderr, _("%s: Error in %s at line %d.\n"), exec_name,
 417                      file, ln);
 418           xfree (com);
 419           xfree (val);
 420         }
 421       else if (status == 0)
 422         fprintf (stderr, _("%s: Error in %s at line %d.\n"), exec_name,
 423                  file, ln);
 424       ++ln;
 425     }
 426   enable_tilde_expansion = 0;
 427   fclose (fp);
 428 }
 429
 430 /* Initialize the defaults and run the system wgetrc and user's own
 431    wgetrc.  */
 432 void
 433 initialize (void)
 434 {
 435   char *file;
 436
 437   /* Load the hard-coded defaults.  */
 438   defaults ();
 439
 440   /* If SYSTEM_WGETRC is defined, use it.  */
 441 #ifdef SYSTEM_WGETRC
 442   if (file_exists_p (SYSTEM_WGETRC))
 443     run_wgetrc (SYSTEM_WGETRC);
 444 #endif
 445   /* Override it with your own, if one exists.  */
 446   file = wgetrc_file_name ();
 447   if (!file)
 448     return;
 449   /* #### We should canonicalize `file' and SYSTEM_WGETRC with
 450      something like realpath() before comparing them with `strcmp'  */
 451 #ifdef SYSTEM_WGETRC
 452   if (!strcmp (file, SYSTEM_WGETRC))
 453     {
 454       fprintf (stderr, _("\
 455 %s: Warning: Both system and user wgetrc point to `%s'.\n"),
 456                exec_name, file);
 457     }
 458   else
 459 #endif
 460     run_wgetrc (file);
 461   xfree (file);
 462   return;
 463 }
 464 \f
 465 /* Remove dashes and underscores from S, modifying S in the
 466    process. */
 467
 468 static void
 469 dehyphen (char *s)
 470 {
 471   char *t = s;                  /* t - tortoise */
 472   char *h = s;                  /* h - hare     */
 473   while (*h)
 474     if (*h == '_' || *h == '-')
 475       ++h;
 476     else
 477       *t++ = *h++;
 478   *t = '\0';
 479 }
 480
 481 /* Parse the line pointed by line, with the syntax:
 482    <sp>* command <sp>* = <sp>* value <sp>*
 483    Uses malloc to allocate space for command and value.
 484    If the line is invalid, data is freed and 0 is returned.
 485
 486    Return values:
 487     1 - success
 488     0 - error
 489    -1 - empty
 490
 491    In case of success, *COM and *VAL point to freshly allocated
 492    strings, and *COMIND points to com's index.  In case of error or
 493    empty line, those values are unaffected.  */
 494
 495 static int
 496 parse_line (const char *line, char **com, char **val, int *comind)
 497 {
 498   const char *p;
 499   const char *end = line + strlen (line);
 500   const char *cmdstart, *cmdend;
 501   const char *valstart, *valend;
 502
 503   char *cmdcopy;
 504   int ind;
 505
 506   /* Skip leading and trailing whitespace.  */
 507   while (*line && ISSPACE (*line))
 508     ++line;
 509   while (end > line && ISSPACE (end[-1]))
 510     --end;
 511
 512   /* Skip empty lines and comments.  */
 513   if (!*line || *line == '#')
 514     return -1;
 515
 516   p = line;
 517
 518   cmdstart = p;
 519   while (p < end && (ISALPHA (*p) || *p == '_' || *p == '-'))
 520     ++p;
 521   cmdend = p;
 522
 523   /* Skip '=', as well as any space before or after it. */
 524   while (p < end && ISSPACE (*p))
 525     ++p;
 526   if (p == end || *p != '=')
 527     return 0;
 528   ++p;
 529   while (p < end && ISSPACE (*p))
 530     ++p;
 531
 532   valstart = p;
 533   valend   = end;
 534
 535   /* The line now known to be syntactically correct.  Check whether
 536      the command is valid.  */
 537   BOUNDED_TO_ALLOCA (cmdstart, cmdend, cmdcopy);
 538   dehyphen (cmdcopy);
 539   ind = findcmd (cmdcopy);
 540   if (ind == -1)
 541     return 0;
 542
 543   /* The command is valid.  Now fill in the values and report success
 544      to the caller.  */
 545   *comind = ind;
 546   *com = strdupdelim (cmdstart, cmdend);
 547   *val = strdupdelim (valstart, valend);
 548   return 1;
 549 }
 550
 551 /* Run commands[comind].action. */
 552
 553 static int
 554 setval_internal (int comind, const char *com, const char *val)
 555 {
 556   assert (0 <= comind && comind < countof (commands));
 557   return ((*commands[comind].action) (com, val, commands[comind].closure));
 558 }
 559
 560 /* Run command COM with value VAL.  If running the command produces an
 561    error, report the error and exit.
 562
 563    This is intended to be called from main() to modify Wget's behavior
 564    through command-line switches.  Since COM is hard-coded in main(),
 565    it is not canonicalized, and this aborts when COM is not found.
 566
 567    If COMIND's are exported to init.h, this function will be changed
 568    to accept COMIND directly.  */
 569
 570 void
 571 setoptval (const char *com, const char *val)
 572 {
 573   if (!setval_internal (findcmd (com), com, val))
 574     exit (2);
 575 }
 576
 577 /* Parse OPT into command and value and run it.  For example,
 578    run_command("foo=bar") is equivalent to setoptval("foo", "bar").
 579    This is used by the `--execute' flag in main.c.  */
 580
 581 void
 582 run_command (const char *opt)
 583 {
 584   char *com, *val;
 585   int comind;
 586   int status = parse_line (opt, &com, &val, &comind);
 587   if (status == 1)
 588     {
 589       if (!setval_internal (comind, com, val))
 590         exit (2);
 591       xfree (com);
 592       xfree (val);
 593     }
 594   else if (status == 0)
 595     {
 596       fprintf (stderr, _("%s: Invalid --execute command `%s'\n"),
 597                exec_name, opt);
 598       exit (2);
 599     }
 600 }
 601 \f
 602 /* Generic helper functions, for use with `commands'. */
 603
 604 #define CMP1(p, c0) (TOLOWER((p)[0]) == (c0) && (p)[1] == '\0')
 605
 606 #define CMP2(p, c0, c1) (TOLOWER((p)[0]) == (c0)        \
 607                          && TOLOWER((p)[1]) == (c1)     \
 608                          && (p)[2] == '\0')
 609
 610 #define CMP3(p, c0, c1, c2) (TOLOWER((p)[0]) == (c0)    \
 611                      && TOLOWER((p)[1]) == (c1)         \
 612                      && TOLOWER((p)[2]) == (c2)         \
 613                      && (p)[3] == '\0')
 614
 615
 616 /* Store the boolean value from VAL to CLOSURE.  COM is ignored,
 617    except for error messages.  */
 618 static int
 619 cmd_boolean (const char *com, const char *val, void *closure)
 620 {
 621   int bool_value;
 622
 623   if (CMP2 (val, 'o', 'n') || CMP3 (val, 'y', 'e', 's') || CMP1 (val, '1'))
 624     /* "on", "yes" and "1" mean true. */
 625     bool_value = 1;
 626   else if (CMP3 (val, 'o', 'f', 'f') || CMP2 (val, 'n', 'o') || CMP1 (val, '0'))
 627     /* "off", "no" and "0" mean false. */
 628     bool_value = 0;
 629   else
 630     {
 631       fprintf (stderr,
 632                _("%s: %s: Invalid boolean `%s', use `on' or `off'.\n"),
 633                exec_name, com, val);
 634       return 0;
 635     }
 636
 637   *(int *)closure = bool_value;
 638   return 1;
 639 }
 640
 641 /* Store the lockable_boolean {2, 1, 0, -1} value from VAL to CLOSURE.
 642    COM is ignored, except for error messages.  Values 2 and -1
 643    indicate that once defined, the value may not be changed by
 644    successive wgetrc files or command-line arguments.
 645
 646    Values: 2 - Enable a particular option for good ("always")
 647            1 - Enable an option ("on")
 648            0 - Disable an option ("off")
 649           -1 - Disable an option for good ("never") */
 650 static int
 651 cmd_lockable_boolean (const char *com, const char *val, void *closure)
 652 {
 653   int lockable_boolean_value;
 654
 655   int oldval = *(int *)closure;
 656
 657   /*
 658    * If a config file said "always" or "never", don't allow command line
 659    * arguments to override the config file.
 660    */
 661   if (oldval == -1 || oldval == 2)
 662     return 1;
 663
 664   if (0 == strcasecmp (val, "always") || CMP1 (val, '2'))
 665     lockable_boolean_value = 2;
 666   else if (CMP2 (val, 'o', 'n') || CMP3 (val, 'y', 'e', 's') || CMP1 (val, '1'))
 667     lockable_boolean_value = 1;
 668   else if (CMP3 (val, 'o', 'f', 'f') || CMP2 (val, 'n', 'o') || CMP1 (val, '0'))
 669     lockable_boolean_value = 0;
 670   else if (0 == strcasecmp (val, "never") || CMP2 (val, '-', '1'))
 671     lockable_boolean_value = -1;
 672   else
 673     {
 674       fprintf (stderr,
 675                _("%s: %s: Invalid boolean `%s', use always, on, off, or never.\n"),
 676                exec_name, com, val);
 677       return 0;
 678     }
 679
 680   *(int *)closure = lockable_boolean_value;
 681   return 1;
 682 }
 683
 684 static int simple_atoi PARAMS ((const char *, const char *, int *));
 685
 686 /* Set the non-negative integer value from VAL to CLOSURE.  With
 687    incorrect specification, the number remains unchanged.  */
 688 static int
 689 cmd_number (const char *com, const char *val, void *closure)
 690 {
 691   if (!simple_atoi (val, val + strlen (val), closure))
 692     {
 693       fprintf (stderr, _("%s: %s: Invalid number `%s'.\n"),
 694                exec_name, com, val);
 695       return 0;
 696     }
 697   return 1;
 698 }
 699
 700 /* Similar to cmd_number(), only accepts `inf' as a synonym for 0.  */
 701 static int
 702 cmd_number_inf (const char *com, const char *val, void *closure)
 703 {
 704   if (!strcasecmp (val, "inf"))
 705     {
 706       *(int *)closure = 0;
 707       return 1;
 708     }
 709   return cmd_number (com, val, closure);
 710 }
 711
 712 /* Copy (strdup) the string at COM to a new location and place a
 713    pointer to *CLOSURE.  */
 714 static int
 715 cmd_string (const char *com, const char *val, void *closure)
 716 {
 717   char **pstring = (char **)closure;
 718
 719   FREE_MAYBE (*pstring);
 720   *pstring = xstrdup (val);
 721   return 1;
 722 }
 723
 724 #ifndef WINDOWS
 725 # define ISSEP(c) ((c) == '/')
 726 #else
 727 # define ISSEP(c) ((c) == '/' || (c) == '\\')
 728 #endif
 729
 730 /* Like the above, but handles tilde-expansion when reading a user's
 731    `.wgetrc'.  In that case, and if VAL begins with `~', the tilde
 732    gets expanded to the user's home directory.  */
 733 static int
 734 cmd_file (const char *com, const char *val, void *closure)
 735 {
 736   char **pstring = (char **)closure;
 737
 738   FREE_MAYBE (*pstring);
 739
 740   /* #### If VAL is empty, perhaps should set *CLOSURE to NULL.  */
 741
 742   if (!enable_tilde_expansion || !(*val == '~' && ISSEP (val[1])))
 743     {
 744     noexpand:
 745       *pstring = xstrdup (val);
 746     }
 747   else
 748     {
 749       char *result;
 750       int homelen;
 751       char *home = home_dir ();
 752       if (!home)
 753         goto noexpand;
 754
 755       homelen = strlen (home);
 756       while (homelen && ISSEP (home[homelen - 1]))
 757         home[--homelen] = '\0';
 758
 759       /* Skip the leading "~/". */
 760       for (++val; ISSEP (*val); val++)
 761         ;
 762
 763       result = xmalloc (homelen + 1 + strlen (val) + 1);
 764       memcpy (result, home, homelen);
 765       result[homelen] = '/';
 766       strcpy (result + homelen + 1, val);
 767
 768       *pstring = result;
 769     }
 770
 771 #ifdef WINDOWS
 772   /* Convert "\" to "/". */
 773   {
 774     char *s;
 775     for (s = *pstring; *s; s++)
 776       if (*s == '\\')
 777         *s = '/';
 778   }
 779 #endif
 780   return 1;
 781 }
 782
 783 /* Like cmd_file, but strips trailing '/' characters.  */
 784 static int
 785 cmd_directory (const char *com, const char *val, void *closure)
 786 {
 787   char *s, *t;
 788
 789   /* Call cmd_file() for tilde expansion and separator
 790      canonicalization (backslash -> slash under Windows).  These
 791      things should perhaps be in a separate function.  */
 792   if (!cmd_file (com, val, closure))
 793     return 0;
 794
 795   s = *(char **)closure;
 796   t = s + strlen (s);
 797   while (t > s && *--t == '/')
 798     *t = '\0';
 799
 800   return 1;
 801 }
 802
 803 /* Split VAL by space to a vector of values, and append those values
 804    to vector pointed to by the CLOSURE argument.  If VAL is empty, the
 805    CLOSURE vector is cleared instead.  */
 806
 807 static int
 808 cmd_vector (const char *com, const char *val, void *closure)
 809 {
 810   char ***pvec = (char ***)closure;
 811
 812   if (*val)
 813     *pvec = merge_vecs (*pvec, sepstring (val));
 814   else
 815     {
 816       free_vec (*pvec);
 817       *pvec = NULL;
 818     }
 819   return 1;
 820 }
 821
 822 static int
 823 cmd_directory_vector (const char *com, const char *val, void *closure)
 824 {
 825   char ***pvec = (char ***)closure;
 826
 827   if (*val)
 828     {
 829       /* Strip the trailing slashes from directories.  */
 830       char **t, **seps;
 831
 832       seps = sepstring (val);
 833       for (t = seps; t && *t; t++)
 834         {
 835           int len = strlen (*t);
 836           /* Skip degenerate case of root directory.  */
 837           if (len > 1)
 838             {
 839               if ((*t)[len - 1] == '/')
 840                 (*t)[len - 1] = '\0';
 841             }
 842         }
 843       *pvec = merge_vecs (*pvec, seps);
 844     }
 845   else
 846     {
 847       free_vec (*pvec);
 848       *pvec = NULL;
 849     }
 850   return 1;
 851 }
 852
 853 static int simple_atof PARAMS ((const char *, const char *, double *));
 854
 855 /* Enginge for cmd_bytes and cmd_bytes_large: converts a string such
 856    as "100k" or "2.5G" to a floating point number.  */
 857
 858 static int
 859 parse_bytes_helper (const char *val, double *result)
 860 {
 861   double number, mult;
 862   const char *end = val + strlen (val);
 863
 864   /* Check for "inf".  */
 865   if (0 == strcmp (val, "inf"))
 866     {
 867       *result = 0;
 868       return 1;
 869     }
 870
 871   /* Strip trailing whitespace.  */
 872   while (val < end && ISSPACE (end[-1]))
 873     --end;
 874   if (val == end)
 875     return 0;
 876
 877   switch (TOLOWER (end[-1]))
 878     {
 879     case 'k':
 880       --end, mult = 1024.0;
 881       break;
 882     case 'm':
 883       --end, mult = 1048576.0;
 884       break;
 885     case 'g':
 886       --end, mult = 1073741824.0;
 887       break;
 888     case 't':
 889       --end, mult = 1099511627776.0;
 890       break;
 891     default:
 892       /* Not a recognized suffix: assume it's a digit.  (If not,
 893          simple_atof will raise an error.)  */
 894       mult = 1;
 895     }
 896
 897   /* Skip leading and trailing whitespace. */
 898   while (val < end && ISSPACE (*val))
 899     ++val;
 900   while (val < end && ISSPACE (end[-1]))
 901     --end;
 902   if (val == end)
 903     return 0;
 904
 905   if (!simple_atof (val, end, &number))
 906     return 0;
 907
 908   *result = number * mult;
 909   return 1;
 910 }
 911
 912 /* Parse VAL as a number and set its value to CLOSURE (which should
 913    point to a long int).
 914
 915    By default, the value is assumed to be in bytes.  If "K", "M", or
 916    "G" are appended, the value is multiplied with 1<<10, 1<<20, or
 917    1<<30, respectively.  Floating point values are allowed and are
 918    cast to integer before use.  The idea is to be able to use things
 919    like 1.5k instead of "1536".
 920
 921    The string "inf" is returned as 0.
 922
 923    In case of error, 0 is returned and memory pointed to by CLOSURE
 924    remains unmodified.  */
 925
 926 static int
 927 cmd_bytes (const char *com, const char *val, void *closure)
 928 {
 929   double byte_value;
 930   if (!parse_bytes_helper (val, &byte_value))
 931     {
 932       fprintf (stderr, _("%s: %s: Invalid byte value `%s'\n"),
 933                exec_name, com, val);
 934       return 0;
 935     }
 936   *(long *)closure = (long)byte_value;
 937   return 1;
 938 }
 939
 940 /* Like cmd_bytes, but CLOSURE is interpreted as a pointer to
 941    LARGE_INT.  It works by converting the string to double, therefore
 942    working with values up to 2^53-1 without loss of precision.  This
 943    value (8192 TB) is large enough to serve for a while.  */
 944
 945 static int
 946 cmd_bytes_large (const char *com, const char *val, void *closure)
 947 {
 948   double byte_value;
 949   if (!parse_bytes_helper (val, &byte_value))
 950     {
 951       fprintf (stderr, _("%s: %s: Invalid byte value `%s'\n"),
 952                exec_name, com, val);
 953       return 0;
 954     }
 955   *(LARGE_INT *)closure = (LARGE_INT)byte_value;
 956   return 1;
 957 }
 958
 959 /* Store the value of VAL to *OUT.  The value is a time period, by
 960    default expressed in seconds, but also accepting suffixes "m", "h",
 961    "d", and "w" for minutes, hours, days, and weeks respectively.  */
 962
 963 static int
 964 cmd_time (const char *com, const char *val, void *closure)
 965 {
 966   double number, mult;
 967   const char *end = val + strlen (val);
 968
 969   /* Strip trailing whitespace.  */
 970   while (val < end && ISSPACE (end[-1]))
 971     --end;
 972
 973   if (val == end)
 974     {
 975     err:
 976       fprintf (stderr, _("%s: %s: Invalid time period `%s'\n"),
 977                exec_name, com, val);
 978       return 0;
 979     }
 980
 981   switch (TOLOWER (end[-1]))
 982     {
 983     case 's':
 984       --end, mult = 1;          /* seconds */
 985       break;
 986     case 'm':
 987       --end, mult = 60;         /* minutes */
 988       break;
 989     case 'h':
 990       --end, mult = 3600;       /* hours */
 991       break;
 992     case 'd':
 993       --end, mult = 86400.0;    /* days */
 994       break;
 995     case 'w':
 996       --end, mult = 604800.0;   /* weeks */
 997       break;
 998     default:
 999       /* Not a recognized suffix: assume it belongs to the number.
1000          (If not, atof simple_atof will raise an error.)  */
1001       mult = 1;
1002     }
1003
1004   /* Skip leading and trailing whitespace. */
1005   while (val < end && ISSPACE (*val))
1006     ++val;
1007   while (val < end && ISSPACE (end[-1]))
1008     --end;
1009   if (val == end)
1010     goto err;
1011
1012   if (!simple_atof (val, end, &number))
1013     goto err;
1014
1015   *(double *)closure = number * mult;
1016   return 1;
1017 }
1018 \f
1019 /* Specialized helper functions, used by `commands' to handle some
1020    options specially.  */
1021
1022 static int check_user_specified_header PARAMS ((const char *));
1023
1024 static int
1025 cmd_spec_dirstruct (const char *com, const char *val, void *closure)
1026 {
1027   if (!cmd_boolean (com, val, &opt.dirstruct))
1028     return 0;
1029   /* Since dirstruct behaviour is explicitly changed, no_dirstruct
1030      must be affected inversely.  */
1031   if (opt.dirstruct)
1032     opt.no_dirstruct = 0;
1033   else
1034     opt.no_dirstruct = 1;
1035   return 1;
1036 }
1037
1038 static int
1039 cmd_spec_header (const char *com, const char *val, void *closure)
1040 {
1041   if (!*val)
1042     {
1043       /* Empty header means reset headers.  */
1044       FREE_MAYBE (opt.user_header);
1045       opt.user_header = NULL;
1046     }
1047   else
1048     {
1049       int i;
1050
1051       if (!check_user_specified_header (val))
1052         {
1053           fprintf (stderr, _("%s: %s: Invalid header `%s'.\n"),
1054                    exec_name, com, val);
1055           return 0;
1056         }
1057       i = opt.user_header ? strlen (opt.user_header) : 0;
1058       opt.user_header = (char *)xrealloc (opt.user_header, i + strlen (val)
1059                                           + 2 + 1);
1060       strcpy (opt.user_header + i, val);
1061       i += strlen (val);
1062       opt.user_header[i++] = '\r';
1063       opt.user_header[i++] = '\n';
1064       opt.user_header[i] = '\0';
1065     }
1066   return 1;
1067 }
1068
1069 static int
1070 cmd_spec_htmlify (const char *com, const char *val, void *closure)
1071 {
1072   int flag = cmd_boolean (com, val, &opt.htmlify);
1073   if (flag && !opt.htmlify)
1074     opt.remove_listing = 0;
1075   return flag;
1076 }
1077
1078 /* Set the "mirror" mode.  It means: recursive download, timestamping,
1079    no limit on max. recursion depth, and don't remove listings.  */
1080
1081 static int
1082 cmd_spec_mirror (const char *com, const char *val, void *closure)
1083 {
1084   int mirror;
1085
1086   if (!cmd_boolean (com, val, &mirror))
1087     return 0;
1088   if (mirror)
1089     {
1090       opt.recursive = 1;
1091       if (!opt.no_dirstruct)
1092         opt.dirstruct = 1;
1093       opt.timestamping = 1;
1094       opt.reclevel = INFINITE_RECURSION;
1095       opt.remove_listing = 0;
1096     }
1097   return 1;
1098 }
1099
1100 /* Set progress.type to VAL, but verify that it's a valid progress
1101    implementation before that.  */
1102
1103 static int
1104 cmd_spec_progress (const char *com, const char *val, void *closure)
1105 {
1106   if (!valid_progress_implementation_p (val))
1107     {
1108       fprintf (stderr, _("%s: %s: Invalid progress type `%s'.\n"),
1109                exec_name, com, val);
1110       return 0;
1111     }
1112   FREE_MAYBE (opt.progress_type);
1113
1114   /* Don't call set_progress_implementation here.  It will be called
1115      in main() when it becomes clear what the log output is.  */
1116   opt.progress_type = xstrdup (val);
1117   return 1;
1118 }
1119
1120 /* Set opt.recursive to VAL as with cmd_boolean.  If opt.recursive is
1121    set to true, also set opt.dirstruct to 1, unless opt.no_dirstruct
1122    is specified.  */
1123
1124 static int
1125 cmd_spec_recursive (const char *com, const char *val, void *closure)
1126 {
1127   if (!cmd_boolean (com, val, &opt.recursive))
1128     return 0;
1129   else
1130     {
1131       if (opt.recursive && !opt.no_dirstruct)
1132         opt.dirstruct = 1;
1133     }
1134   return 1;
1135 }
1136
1137 static int
1138 cmd_spec_restrict_file_names (const char *com, const char *val, void *closure)
1139 {
1140   int restrict_os = opt.restrict_files_os;
1141   int restrict_ctrl = opt.restrict_files_ctrl;
1142
1143   const char *end = strchr (val, ',');
1144   if (!end)
1145     end = val + strlen (val);
1146
1147 #define VAL_IS(string_literal) BOUNDED_EQUAL (val, end, string_literal)
1148
1149   if (VAL_IS ("unix"))
1150     restrict_os = restrict_unix;
1151   else if (VAL_IS ("windows"))
1152     restrict_os = restrict_windows;
1153   else if (VAL_IS ("nocontrol"))
1154     restrict_ctrl = 0;
1155   else
1156     {
1157     err:
1158       fprintf (stderr,
1159                _("%s: %s: Invalid restriction `%s', use `unix' or `windows'.\n"),
1160                exec_name, com, val);
1161       return 0;
1162     }
1163
1164 #undef VAL_IS
1165
1166   if (*end)
1167     {
1168       if (!strcmp (end + 1, "nocontrol"))
1169         restrict_ctrl = 0;
1170       else
1171         goto err;
1172     }
1173
1174   opt.restrict_files_os = restrict_os;
1175   opt.restrict_files_ctrl = restrict_ctrl;
1176   return 1;
1177 }
1178
1179 /* Set all three timeout values. */
1180
1181 static int
1182 cmd_spec_timeout (const char *com, const char *val, void *closure)
1183 {
1184   double value;
1185   if (!cmd_time (com, val, &value))
1186     return 0;
1187   opt.read_timeout = value;
1188   opt.connect_timeout = value;
1189   opt.dns_timeout = value;
1190   return 1;
1191 }
1192
1193 static int
1194 cmd_spec_useragent (const char *com, const char *val, void *closure)
1195 {
1196   /* Just check for empty string and newline, so we don't throw total
1197      junk to the server.  */
1198   if (!*val || strchr (val, '\n'))
1199     {
1200       fprintf (stderr, _("%s: %s: Invalid value `%s'.\n"),
1201                exec_name, com, val);
1202       return 0;
1203     }
1204   opt.useragent = xstrdup (val);
1205   return 1;
1206 }
1207 \f
1208 /* Miscellaneous useful routines.  */
1209
1210 /* A very simple atoi clone, more portable than strtol and friends,
1211    but reports errors, unlike atoi.  Returns 1 on success, 0 on
1212    failure.  In case of success, stores result to *DEST.  */
1213
1214 static int
1215 simple_atoi (const char *beg, const char *end, int *dest)
1216 {
1217   int result = 0;
1218   const char *p;
1219
1220   if (beg == end)
1221     return 0;
1222
1223   for (p = beg; p < end && ISDIGIT (*p); p++)
1224     result = (10 * result) + (*p - '0');
1225
1226   if (p != end)
1227     return 0;
1228
1229   *dest = result;
1230   return 1;
1231 }
1232
1233 /* Trivial atof, with error reporting.  Handles "<digits>[.<digits>]",
1234    doesn't handle exponential notation.  Returns 1 on success, 0 on
1235    failure.  In case of success, stores its result to *DEST.  */
1236
1237 static int
1238 simple_atof (const char *beg, const char *end, double *dest)
1239 {
1240   double result = 0;
1241
1242   int seen_dot = 0;
1243   int seen_digit = 0;
1244   double divider = 1;
1245
1246   const char *p;
1247
1248   for (p = beg; p < end; p++)
1249     {
1250       char ch = *p;
1251       if (ISDIGIT (ch))
1252         {
1253           if (!seen_dot)
1254             result = (10 * result) + (ch - '0');
1255           else
1256             result += (ch - '0') / (divider *= 10);
1257           seen_digit = 1;
1258         }
1259       else if (ch == '.')
1260         {
1261           if (!seen_dot)
1262             seen_dot = 1;
1263           else
1264             return 0;
1265         }
1266       else
1267         return 0;
1268     }
1269   if (!seen_digit)
1270     return 0;
1271
1272   *dest = result;
1273   return 1;
1274 }
1275
1276 static int
1277 check_user_specified_header (const char *s)
1278 {
1279   const char *p;
1280
1281   for (p = s; *p && *p != ':' && !ISSPACE (*p); p++);
1282   /* The header MUST contain `:' preceded by at least one
1283      non-whitespace character.  */
1284   if (*p != ':' || p == s)
1285     return 0;
1286   /* The header MUST NOT contain newlines.  */
1287   if (strchr (s, '\n'))
1288     return 0;
1289   return 1;
1290 }
1291 \f
1292 void cleanup_html_url PARAMS ((void));
1293 void res_cleanup PARAMS ((void));
1294 void downloaded_files_free PARAMS ((void));
1295 void http_cleanup PARAMS ((void));
1296
1297
1298 /* Free the memory allocated by global variables.  */
1299 void
1300 cleanup (void)
1301 {
1302   /* Free external resources, close files, etc. */
1303
1304   if (opt.dfp)
1305     fclose (opt.dfp);
1306
1307   /* We're exiting anyway so there's no real need to call free()
1308      hundreds of times.  Skipping the frees will make Wget exit
1309      faster.
1310
1311      However, when detecting leaks, it's crucial to free() everything
1312      because then you can find the real leaks, i.e. the allocated
1313      memory which grows with the size of the program.  */
1314
1315 #ifdef DEBUG_MALLOC
1316   convert_cleanup ();
1317   res_cleanup ();
1318   http_cleanup ();
1319   cleanup_html_url ();
1320   downloaded_files_free ();
1321   host_cleanup ();
1322   cookie_jar_delete (wget_cookie_jar);
1323
1324   {
1325     extern acc_t *netrc_list;
1326     free_netrc (netrc_list);
1327   }
1328   FREE_MAYBE (opt.lfilename);
1329   FREE_MAYBE (opt.dir_prefix);
1330   FREE_MAYBE (opt.input_filename);
1331   FREE_MAYBE (opt.output_document);
1332   free_vec (opt.accepts);
1333   free_vec (opt.rejects);
1334   free_vec (opt.excludes);
1335   free_vec (opt.includes);
1336   free_vec (opt.domains);
1337   free_vec (opt.follow_tags);
1338   free_vec (opt.ignore_tags);
1339   FREE_MAYBE (opt.progress_type);
1340   xfree (opt.ftp_acc);
1341   FREE_MAYBE (opt.ftp_pass);
1342   FREE_MAYBE (opt.ftp_proxy);
1343   FREE_MAYBE (opt.https_proxy);
1344   FREE_MAYBE (opt.http_proxy);
1345   free_vec (opt.no_proxy);
1346   FREE_MAYBE (opt.useragent);
1347   FREE_MAYBE (opt.referer);
1348   FREE_MAYBE (opt.http_user);
1349   FREE_MAYBE (opt.http_passwd);
1350   FREE_MAYBE (opt.user_header);
1351 #ifdef HAVE_SSL
1352   FREE_MAYBE (opt.sslcertkey);
1353   FREE_MAYBE (opt.sslcertfile);
1354 #endif /* HAVE_SSL */
1355   FREE_MAYBE (opt.bind_address);
1356   FREE_MAYBE (opt.cookies_input);
1357   FREE_MAYBE (opt.cookies_output);
1358 #endif
1359 }