sjero.net Git - wget/blob - src/init.c

   1 /* Reading/parsing the initialization file.
   2    Copyright (C) 1995, 1996, 1997, 1998, 2000, 2001, 2003
   3    Free Software Foundation, Inc.
   4
   5 This file is part of GNU Wget.
   6
   7 GNU Wget is free software; you can redistribute it and/or modify
   8 it under the terms of the GNU General Public License as published by
   9 the Free Software Foundation; either version 2 of the License, or
  10 (at your option) any later version.
  11
  12 GNU Wget is distributed in the hope that it will be useful,
  13 but WITHOUT ANY WARRANTY; without even the implied warranty of
  14 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15 GNU General Public License for more details.
  16
  17 You should have received a copy of the GNU General Public License
  18 along with Wget; if not, write to the Free Software
  19 Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  20
  21 In addition, as a special exception, the Free Software Foundation
  22 gives permission to link the code of its release of Wget with the
  23 OpenSSL project's "OpenSSL" library (or with modified versions of it
  24 that use the same license as the "OpenSSL" library), and distribute
  25 the linked executables.  You must obey the GNU General Public License
  26 in all respects for all of the code used other than "OpenSSL".  If you
  27 modify this file, you may extend this exception to your version of the
  28 file, but you are not obligated to do so.  If you do not wish to do
  29 so, delete this exception statement from your version.  */
  30
  31 #include <config.h>
  32
  33 #include <stdio.h>
  34 #include <sys/types.h>
  35 #include <stdlib.h>
  36 #ifdef HAVE_UNISTD_H
  37 # include <unistd.h>
  38 #endif
  39 #ifdef HAVE_STRING_H
  40 # include <string.h>
  41 #else
  42 # include <strings.h>
  43 #endif
  44 #include <errno.h>
  45
  46 #ifdef WINDOWS
  47 # include <winsock.h>
  48 #else
  49 # include <sys/socket.h>
  50 # include <netinet/in.h>
  51 #ifndef __BEOS__
  52 # include <arpa/inet.h>
  53 #endif
  54 #endif
  55
  56 #ifdef HAVE_PWD_H
  57 # include <pwd.h>
  58 #endif
  59 #include <assert.h>
  60
  61 #include "wget.h"
  62 #include "utils.h"
  63 #include "init.h"
  64 #include "host.h"
  65 #include "netrc.h"
  66 #include "cookies.h"            /* for cookie_jar_delete */
  67 #include "progress.h"
  68
  69 #ifndef errno
  70 extern int errno;
  71 #endif
  72
  73 extern struct cookie_jar *wget_cookie_jar;
  74
  75 /* We want tilde expansion enabled only when reading `.wgetrc' lines;
  76    otherwise, it will be performed by the shell.  This variable will
  77    be set by the wgetrc-reading function.  */
  78
  79 static int enable_tilde_expansion;
  80
  81
  82 #define CMD_DECLARE(func) static int func \
  83   PARAMS ((const char *, const char *, void *))
  84
  85 CMD_DECLARE (cmd_boolean);
  86 CMD_DECLARE (cmd_bytes);
  87 CMD_DECLARE (cmd_bytes_large);
  88 CMD_DECLARE (cmd_directory_vector);
  89 CMD_DECLARE (cmd_lockable_boolean);
  90 CMD_DECLARE (cmd_number);
  91 CMD_DECLARE (cmd_number_inf);
  92 CMD_DECLARE (cmd_string);
  93 CMD_DECLARE (cmd_file);
  94 CMD_DECLARE (cmd_directory);
  95 CMD_DECLARE (cmd_time);
  96 CMD_DECLARE (cmd_vector);
  97
  98 CMD_DECLARE (cmd_spec_dirstruct);
  99 CMD_DECLARE (cmd_spec_header);
 100 CMD_DECLARE (cmd_spec_htmlify);
 101 CMD_DECLARE (cmd_spec_mirror);
 102 CMD_DECLARE (cmd_spec_progress);
 103 CMD_DECLARE (cmd_spec_recursive);
 104 CMD_DECLARE (cmd_spec_restrict_file_names);
 105 CMD_DECLARE (cmd_spec_timeout);
 106 CMD_DECLARE (cmd_spec_useragent);
 107
 108 /* List of recognized commands, each consisting of name, closure and function.
 109    When adding a new command, simply add it to the list, but be sure to keep the
 110    list sorted alphabetically, as findcmd() depends on it.  Also, be sure to add
 111    any entries that allocate memory (e.g. cmd_string and cmd_vector guys) to the
 112    cleanup() function below. */
 113 static struct {
 114   char *name;
 115   void *closure;
 116   int (*action) PARAMS ((const char *, const char *, void *));
 117 } commands[] = {
 118   { "accept",           &opt.accepts,           cmd_vector },
 119   { "addhostdir",       &opt.add_hostdir,       cmd_boolean },
 120   { "alwaysrest",       &opt.always_rest,       cmd_boolean }, /* deprecated */
 121   { "background",       &opt.background,        cmd_boolean },
 122   { "backupconverted",  &opt.backup_converted,  cmd_boolean },
 123   { "backups",          &opt.backups,           cmd_number },
 124   { "base",             &opt.base_href,         cmd_string },
 125   { "bindaddress",      &opt.bind_address,      cmd_string },
 126   { "cache",            &opt.allow_cache,       cmd_boolean },
 127   { "connecttimeout",   &opt.connect_timeout,   cmd_time },
 128   { "continue",         &opt.always_rest,       cmd_boolean },
 129   { "convertlinks",     &opt.convert_links,     cmd_boolean },
 130   { "cookies",          &opt.cookies,           cmd_boolean },
 131   { "cutdirs",          &opt.cut_dirs,          cmd_number },
 132 #ifdef ENABLE_DEBUG
 133   { "debug",            &opt.debug,             cmd_boolean },
 134 #endif
 135   { "deleteafter",      &opt.delete_after,      cmd_boolean },
 136   { "dirprefix",        &opt.dir_prefix,        cmd_directory },
 137   { "dirstruct",        NULL,                   cmd_spec_dirstruct },
 138   { "dnscache",         &opt.dns_cache,         cmd_boolean },
 139   { "dnstimeout",       &opt.dns_timeout,       cmd_time },
 140   { "domains",          &opt.domains,           cmd_vector },
 141   { "dotbytes",         &opt.dot_bytes,         cmd_bytes },
 142   { "dotsinline",       &opt.dots_in_line,      cmd_number },
 143   { "dotspacing",       &opt.dot_spacing,       cmd_number },
 144   { "dotstyle",         &opt.dot_style,         cmd_string },
 145 #ifdef HAVE_SSL
 146   { "egdfile",          &opt.sslegdsock,        cmd_file },
 147 #endif
 148   { "excludedirectories", &opt.excludes,        cmd_directory_vector },
 149   { "excludedomains",   &opt.exclude_domains,   cmd_vector },
 150   { "followftp",        &opt.follow_ftp,        cmd_boolean },
 151   { "followtags",       &opt.follow_tags,       cmd_vector },
 152   { "forcehtml",        &opt.force_html,        cmd_boolean },
 153   { "ftpproxy",         &opt.ftp_proxy,         cmd_string },
 154   { "glob",             &opt.ftp_glob,          cmd_boolean },
 155   { "header",           NULL,                   cmd_spec_header },
 156   { "htmlextension",    &opt.html_extension,    cmd_boolean },
 157   { "htmlify",          NULL,                   cmd_spec_htmlify },
 158   { "httpkeepalive",    &opt.http_keep_alive,   cmd_boolean },
 159   { "httppasswd",       &opt.http_passwd,       cmd_string },
 160   { "httpproxy",        &opt.http_proxy,        cmd_string },
 161   { "httpsproxy",       &opt.https_proxy,       cmd_string },
 162   { "httpuser",         &opt.http_user,         cmd_string },
 163   { "ignorelength",     &opt.ignore_length,     cmd_boolean },
 164   { "ignoretags",       &opt.ignore_tags,       cmd_vector },
 165   { "includedirectories", &opt.includes,        cmd_directory_vector },
 166   { "input",            &opt.input_filename,    cmd_file },
 167   { "killlonger",       &opt.kill_longer,       cmd_boolean },
 168   { "limitrate",        &opt.limit_rate,        cmd_bytes },
 169   { "loadcookies",      &opt.cookies_input,     cmd_file },
 170   { "logfile",          &opt.lfilename,         cmd_file },
 171   { "login",            &opt.ftp_acc,           cmd_string },
 172   { "mirror",           NULL,                   cmd_spec_mirror },
 173   { "netrc",            &opt.netrc,             cmd_boolean },
 174   { "noclobber",        &opt.noclobber,         cmd_boolean },
 175   { "noparent",         &opt.no_parent,         cmd_boolean },
 176   { "noproxy",          &opt.no_proxy,          cmd_vector },
 177   { "numtries",         &opt.ntry,              cmd_number_inf },/* deprecated*/
 178   { "outputdocument",   &opt.output_document,   cmd_file },
 179   { "pagerequisites",   &opt.page_requisites,   cmd_boolean },
 180   { "passiveftp",       &opt.ftp_pasv,          cmd_lockable_boolean },
 181   { "passwd",           &opt.ftp_pass,          cmd_string },
 182   { "postdata",         &opt.post_data,         cmd_string },
 183   { "postfile",         &opt.post_file_name,    cmd_file },
 184   { "progress",         &opt.progress_type,     cmd_spec_progress },
 185   { "proxypasswd",      &opt.proxy_passwd,      cmd_string },
 186   { "proxyuser",        &opt.proxy_user,        cmd_string },
 187   { "quiet",            &opt.quiet,             cmd_boolean },
 188   { "quota",            &opt.quota,             cmd_bytes_large },
 189   { "randomwait",       &opt.random_wait,       cmd_boolean },
 190   { "readtimeout",      &opt.read_timeout,      cmd_time },
 191   { "reclevel",         &opt.reclevel,          cmd_number_inf },
 192   { "recursive",        NULL,                   cmd_spec_recursive },
 193   { "referer",          &opt.referer,           cmd_string },
 194   { "reject",           &opt.rejects,           cmd_vector },
 195   { "relativeonly",     &opt.relative_only,     cmd_boolean },
 196   { "removelisting",    &opt.remove_listing,    cmd_boolean },
 197   { "restrictfilenames", NULL,                  cmd_spec_restrict_file_names },
 198   { "retrsymlinks",     &opt.retr_symlinks,     cmd_boolean },
 199   { "retryconnrefused", &opt.retry_connrefused, cmd_boolean },
 200   { "robots",           &opt.use_robots,        cmd_boolean },
 201   { "savecookies",      &opt.cookies_output,    cmd_file },
 202   { "saveheaders",      &opt.save_headers,      cmd_boolean },
 203   { "serverresponse",   &opt.server_response,   cmd_boolean },
 204   { "spanhosts",        &opt.spanhost,          cmd_boolean },
 205   { "spider",           &opt.spider,            cmd_boolean },
 206 #ifdef HAVE_SSL
 207   { "sslcadir",         &opt.sslcadir,          cmd_directory },
 208   { "sslcafile",        &opt.sslcafile,         cmd_file },
 209   { "sslcertfile",      &opt.sslcertfile,       cmd_file },
 210   { "sslcertkey",       &opt.sslcertkey,        cmd_file },
 211   { "sslcerttype",      &opt.sslcerttype,       cmd_number },
 212   { "sslcheckcert",     &opt.sslcheckcert,      cmd_number },
 213   { "sslprotocol",      &opt.sslprotocol,       cmd_number },
 214 #endif /* HAVE_SSL */
 215   { "strictcomments",   &opt.strict_comments,   cmd_boolean },
 216   { "timeout",          NULL,                   cmd_spec_timeout },
 217   { "timestamping",     &opt.timestamping,      cmd_boolean },
 218   { "tries",            &opt.ntry,              cmd_number_inf },
 219   { "useproxy",         &opt.use_proxy,         cmd_boolean },
 220   { "useragent",        NULL,                   cmd_spec_useragent },
 221   { "verbose",          &opt.verbose,           cmd_boolean },
 222   { "wait",             &opt.wait,              cmd_time },
 223   { "waitretry",        &opt.waitretry,         cmd_time }
 224 };
 225
 226 /* Look up COM in the commands[] array and return its index.  If COM
 227    is not found, -1 is returned.  This function uses binary search.  */
 228
 229 static int
 230 findcmd (const char *com)
 231 {
 232   int lo = 0, hi = countof (commands) - 1;
 233
 234   while (lo <= hi)
 235     {
 236       int mid = (lo + hi) >> 1;
 237       int cmp = strcasecmp (com, commands[mid].name);
 238       if (cmp < 0)
 239         hi = mid - 1;
 240       else if (cmp > 0)
 241         lo = mid + 1;
 242       else
 243         return mid;
 244     }
 245   return -1;
 246 }
 247 \f
 248 /* Reset the variables to default values.  */
 249 static void
 250 defaults (void)
 251 {
 252   char *tmp;
 253
 254   /* Most of the default values are 0.  Just reset everything, and
 255      fill in the non-zero values.  Note that initializing pointers to
 256      NULL this way is technically illegal, but porting Wget to a
 257      machine where NULL is not all-zero bit pattern will be the least
 258      of the implementors' worries.  */
 259   memset (&opt, 0, sizeof (opt));
 260
 261   opt.cookies = 1;
 262
 263   opt.verbose = -1;
 264   opt.ntry = 20;
 265   opt.reclevel = 5;
 266   opt.add_hostdir = 1;
 267   opt.ftp_acc  = xstrdup ("anonymous");
 268   opt.ftp_pass = xstrdup ("-wget@");
 269   opt.netrc = 1;
 270   opt.ftp_glob = 1;
 271   opt.htmlify = 1;
 272   opt.http_keep_alive = 1;
 273   opt.use_proxy = 1;
 274   tmp = getenv ("no_proxy");
 275   if (tmp)
 276     opt.no_proxy = sepstring (tmp);
 277   opt.allow_cache = 1;
 278
 279   opt.read_timeout = 900;
 280   opt.use_robots = 1;
 281
 282   opt.remove_listing = 1;
 283
 284   opt.dot_bytes = 1024;
 285   opt.dot_spacing = 10;
 286   opt.dots_in_line = 50;
 287
 288   opt.dns_cache = 1;
 289
 290   /* The default for file name restriction defaults to the OS type. */
 291 #if !defined(WINDOWS) && !defined(__CYGWIN__)
 292   opt.restrict_files_os = restrict_unix;
 293 #else
 294   opt.restrict_files_os = restrict_windows;
 295 #endif
 296   opt.restrict_files_ctrl = 1;
 297 }
 298 \f
 299 /* Return the user's home directory (strdup-ed), or NULL if none is
 300    found.  */
 301 char *
 302 home_dir (void)
 303 {
 304   char *home = getenv ("HOME");
 305
 306   if (!home)
 307     {
 308 #ifndef WINDOWS
 309       /* If HOME is not defined, try getting it from the password
 310          file.  */
 311       struct passwd *pwd = getpwuid (getuid ());
 312       if (!pwd || !pwd->pw_dir)
 313         return NULL;
 314       home = pwd->pw_dir;
 315 #else  /* WINDOWS */
 316       home = "C:\\";
 317       /* #### Maybe I should grab home_dir from registry, but the best
 318          that I could get from there is user's Start menu.  It sucks!  */
 319 #endif /* WINDOWS */
 320     }
 321
 322   return home ? xstrdup (home) : NULL;
 323 }
 324
 325 /* Return the path to the user's .wgetrc.  This is either the value of
 326    `WGETRC' environment variable, or `$HOME/.wgetrc'.
 327
 328    If the `WGETRC' variable exists but the file does not exist, the
 329    function will exit().  */
 330 static char *
 331 wgetrc_file_name (void)
 332 {
 333   char *env, *home;
 334   char *file = NULL;
 335
 336   /* Try the environment.  */
 337   env = getenv ("WGETRC");
 338   if (env && *env)
 339     {
 340       if (!file_exists_p (env))
 341         {
 342           fprintf (stderr, _("%s: WGETRC points to %s, which doesn't exist.\n"),
 343                    exec_name, env);
 344           exit (1);
 345         }
 346       return xstrdup (env);
 347     }
 348
 349 #ifndef WINDOWS
 350   /* If that failed, try $HOME/.wgetrc.  */
 351   home = home_dir ();
 352   if (home)
 353     {
 354       file = (char *)xmalloc (strlen (home) + 1 + strlen (".wgetrc") + 1);
 355       sprintf (file, "%s/.wgetrc", home);
 356     }
 357   FREE_MAYBE (home);
 358 #else  /* WINDOWS */
 359   /* Under Windows, "home" is (for the purposes of this function) the
 360      directory where `wget.exe' resides, and `wget.ini' will be used
 361      as file name.  SYSTEM_WGETRC should not be defined under WINDOWS.
 362
 363      It is not as trivial as I assumed, because on 95 argv[0] is full
 364      path, but on NT you get what you typed in command line.  --dbudor */
 365   home = ws_mypath ();
 366   if (home)
 367     {
 368       file = (char *)xmalloc (strlen (home) + strlen ("wget.ini") + 1);
 369       sprintf (file, "%swget.ini", home);
 370     }
 371 #endif /* WINDOWS */
 372
 373   if (!file)
 374     return NULL;
 375   if (!file_exists_p (file))
 376     {
 377       xfree (file);
 378       return NULL;
 379     }
 380   return file;
 381 }
 382
 383 static int parse_line PARAMS ((const char *, char **, char **, int *));
 384 static int setval_internal PARAMS ((int, const char *, const char *));
 385
 386 /* Initialize variables from a wgetrc file.  */
 387
 388 static void
 389 run_wgetrc (const char *file)
 390 {
 391   FILE *fp;
 392   char *line;
 393   int ln;
 394
 395   fp = fopen (file, "rb");
 396   if (!fp)
 397     {
 398       fprintf (stderr, _("%s: Cannot read %s (%s).\n"), exec_name,
 399                file, strerror (errno));
 400       return;
 401     }
 402   enable_tilde_expansion = 1;
 403   ln = 1;
 404   while ((line = read_whole_line (fp)))
 405     {
 406       char *com, *val;
 407       int comind, status;
 408
 409       /* Parse the line.  */
 410       status = parse_line (line, &com, &val, &comind);
 411       xfree (line);
 412       /* If everything is OK, set the value.  */
 413       if (status == 1)
 414         {
 415           if (!setval_internal (comind, com, val))
 416             fprintf (stderr, _("%s: Error in %s at line %d.\n"), exec_name,
 417                      file, ln);
 418           xfree (com);
 419           xfree (val);
 420         }
 421       else if (status == 0)
 422         fprintf (stderr, _("%s: Error in %s at line %d.\n"), exec_name,
 423                  file, ln);
 424       ++ln;
 425     }
 426   enable_tilde_expansion = 0;
 427   fclose (fp);
 428 }
 429
 430 /* Initialize the defaults and run the system wgetrc and user's own
 431    wgetrc.  */
 432 void
 433 initialize (void)
 434 {
 435   char *file;
 436
 437   /* Load the hard-coded defaults.  */
 438   defaults ();
 439
 440   /* If SYSTEM_WGETRC is defined, use it.  */
 441 #ifdef SYSTEM_WGETRC
 442   if (file_exists_p (SYSTEM_WGETRC))
 443     run_wgetrc (SYSTEM_WGETRC);
 444 #endif
 445   /* Override it with your own, if one exists.  */
 446   file = wgetrc_file_name ();
 447   if (!file)
 448     return;
 449   /* #### We should canonicalize `file' and SYSTEM_WGETRC with
 450      something like realpath() before comparing them with `strcmp'  */
 451 #ifdef SYSTEM_WGETRC
 452   if (!strcmp (file, SYSTEM_WGETRC))
 453     {
 454       fprintf (stderr, _("\
 455 %s: Warning: Both system and user wgetrc point to `%s'.\n"),
 456                exec_name, file);
 457     }
 458   else
 459 #endif
 460     run_wgetrc (file);
 461   xfree (file);
 462   return;
 463 }
 464 \f
 465 /* Remove dashes and underscores from S, modifying S in the
 466    process. */
 467
 468 static void
 469 dehyphen (char *s)
 470 {
 471   char *t = s;                  /* t - tortoise */
 472   char *h = s;                  /* h - hare     */
 473   while (*h)
 474     if (*h == '_' || *h == '-')
 475       ++h;
 476     else
 477       *t++ = *h++;
 478   *t = '\0';
 479 }
 480
 481 /* Parse the line pointed by line, with the syntax:
 482    <sp>* command <sp>* = <sp>* value <sp>*
 483    Uses malloc to allocate space for command and value.
 484    If the line is invalid, data is freed and 0 is returned.
 485
 486    Return values:
 487     1 - success
 488     0 - error
 489    -1 - empty
 490
 491    In case of success, *COM and *VAL point to freshly allocated
 492    strings, and *COMIND points to com's index.  In case of error or
 493    empty line, those values are unaffected.  */
 494
 495 static int
 496 parse_line (const char *line, char **com, char **val, int *comind)
 497 {
 498   const char *p;
 499   const char *end = line + strlen (line);
 500   const char *cmdstart, *cmdend;
 501   const char *valstart, *valend;
 502
 503   char *cmdcopy;
 504   int ind;
 505
 506   /* Skip leading and trailing whitespace.  */
 507   while (*line && ISSPACE (*line))
 508     ++line;
 509   while (end > line && ISSPACE (end[-1]))
 510     --end;
 511
 512   /* Skip empty lines and comments.  */
 513   if (!*line || *line == '#')
 514     return -1;
 515
 516   p = line;
 517
 518   cmdstart = p;
 519   while (p < end && (ISALPHA (*p) || *p == '_' || *p == '-'))
 520     ++p;
 521   cmdend = p;
 522
 523   /* Skip '=', as well as any space before or after it. */
 524   while (p < end && ISSPACE (*p))
 525     ++p;
 526   if (p == end || *p != '=')
 527     return 0;
 528   ++p;
 529   while (p < end && ISSPACE (*p))
 530     ++p;
 531
 532   valstart = p;
 533   valend   = end;
 534
 535   /* The line now known to be syntactically correct.  Check whether
 536      the command is valid.  */
 537   BOUNDED_TO_ALLOCA (cmdstart, cmdend, cmdcopy);
 538   dehyphen (cmdcopy);
 539   ind = findcmd (cmdcopy);
 540   if (ind == -1)
 541     return 0;
 542
 543   /* The command is valid.  Now fill in the values and report success
 544      to the caller.  */
 545   *comind = ind;
 546   *com = strdupdelim (cmdstart, cmdend);
 547   *val = strdupdelim (valstart, valend);
 548   return 1;
 549 }
 550
 551 /* Run commands[comind].action. */
 552
 553 static int
 554 setval_internal (int comind, const char *com, const char *val)
 555 {
 556   assert (0 <= comind && comind < countof (commands));
 557   return ((*commands[comind].action) (com, val, commands[comind].closure));
 558 }
 559
 560 /* Run command COM with value VAL.  If running the command produces an
 561    error, report the error and exit.
 562
 563    This is intended to be called from main() with commands not
 564    provided by the user, therefore it aborts when an unknown command
 565    is encountered.  Once the COMIND's are exported to init.h, this
 566    function will be changed to accept COMIND directly.  */
 567
 568 void
 569 setoptval (const char *com, const char *val)
 570 {
 571   if (!setval_internal (findcmd (com), com, val))
 572     exit (2);
 573 }
 574
 575 /* Parse OPT into command and value and run it.  For example,
 576    run_command("foo=bar") is equivalent to setoptval("foo", "bar").
 577    This is used by the `--execute' flag in main.c.  */
 578
 579 void
 580 run_command (const char *opt)
 581 {
 582   char *com, *val;
 583   int comind;
 584   int status = parse_line (opt, &com, &val, &comind);
 585   if (status == 1)
 586     {
 587       if (!setval_internal (comind, com, val))
 588         exit (2);
 589       xfree (com);
 590       xfree (val);
 591     }
 592   else if (status == 0)
 593     {
 594       fprintf (stderr, _("%s: Invalid --execute command `%s'\n"),
 595                exec_name, opt);
 596       exit (2);
 597     }
 598 }
 599 \f
 600 /* Generic helper functions, for use with `commands'. */
 601
 602 #define CMP1(p, c0) (TOLOWER((p)[0]) == (c0) && (p)[1] == '\0')
 603
 604 #define CMP2(p, c0, c1) (TOLOWER((p)[0]) == (c0)        \
 605                          && TOLOWER((p)[1]) == (c1)     \
 606                          && (p)[2] == '\0')
 607
 608 #define CMP3(p, c0, c1, c2) (TOLOWER((p)[0]) == (c0)    \
 609                      && TOLOWER((p)[1]) == (c1)         \
 610                      && TOLOWER((p)[2]) == (c2)         \
 611                      && (p)[3] == '\0')
 612
 613
 614 /* Store the boolean value from VAL to CLOSURE.  COM is ignored,
 615    except for error messages.  */
 616 static int
 617 cmd_boolean (const char *com, const char *val, void *closure)
 618 {
 619   int bool_value;
 620
 621   if (CMP2 (val, 'o', 'n') || CMP3 (val, 'y', 'e', 's') || CMP1 (val, '1'))
 622     /* "on", "yes" and "1" mean true. */
 623     bool_value = 1;
 624   else if (CMP3 (val, 'o', 'f', 'f') || CMP2 (val, 'n', 'o') || CMP1 (val, '0'))
 625     /* "off", "no" and "0" mean false. */
 626     bool_value = 0;
 627   else
 628     {
 629       fprintf (stderr,
 630                _("%s: %s: Invalid boolean `%s', use `on' or `off'.\n"),
 631                exec_name, com, val);
 632       return 0;
 633     }
 634
 635   *(int *)closure = bool_value;
 636   return 1;
 637 }
 638
 639 /* Store the lockable_boolean {2, 1, 0, -1} value from VAL to CLOSURE.
 640    COM is ignored, except for error messages.  Values 2 and -1
 641    indicate that once defined, the value may not be changed by
 642    successive wgetrc files or command-line arguments.
 643
 644    Values: 2 - Enable a particular option for good ("always")
 645            1 - Enable an option ("on")
 646            0 - Disable an option ("off")
 647           -1 - Disable an option for good ("never") */
 648 static int
 649 cmd_lockable_boolean (const char *com, const char *val, void *closure)
 650 {
 651   int lockable_boolean_value;
 652
 653   int oldval = *(int *)closure;
 654
 655   /*
 656    * If a config file said "always" or "never", don't allow command line
 657    * arguments to override the config file.
 658    */
 659   if (oldval == -1 || oldval == 2)
 660     return 1;
 661
 662   if (0 == strcasecmp (val, "always") || CMP1 (val, '2'))
 663     lockable_boolean_value = 2;
 664   else if (CMP2 (val, 'o', 'n') || CMP3 (val, 'y', 'e', 's') || CMP1 (val, '1'))
 665     lockable_boolean_value = 1;
 666   else if (CMP3 (val, 'o', 'f', 'f') || CMP2 (val, 'n', 'o') || CMP1 (val, '0'))
 667     lockable_boolean_value = 0;
 668   else if (0 == strcasecmp (val, "never") || CMP2 (val, '-', '1'))
 669     lockable_boolean_value = -1;
 670   else
 671     {
 672       fprintf (stderr,
 673                _("%s: %s: Invalid boolean `%s', use always, on, off, or never.\n"),
 674                exec_name, com, val);
 675       return 0;
 676     }
 677
 678   *(int *)closure = lockable_boolean_value;
 679   return 1;
 680 }
 681
 682 static int simple_atoi PARAMS ((const char *, const char *, int *));
 683
 684 /* Set the non-negative integer value from VAL to CLOSURE.  With
 685    incorrect specification, the number remains unchanged.  */
 686 static int
 687 cmd_number (const char *com, const char *val, void *closure)
 688 {
 689   if (!simple_atoi (val, val + strlen (val), closure))
 690     {
 691       fprintf (stderr, _("%s: %s: Invalid number `%s'.\n"),
 692                exec_name, com, val);
 693       return 0;
 694     }
 695   return 1;
 696 }
 697
 698 /* Similar to cmd_number(), only accepts `inf' as a synonym for 0.  */
 699 static int
 700 cmd_number_inf (const char *com, const char *val, void *closure)
 701 {
 702   if (!strcasecmp (val, "inf"))
 703     {
 704       *(int *)closure = 0;
 705       return 1;
 706     }
 707   return cmd_number (com, val, closure);
 708 }
 709
 710 /* Copy (strdup) the string at COM to a new location and place a
 711    pointer to *CLOSURE.  */
 712 static int
 713 cmd_string (const char *com, const char *val, void *closure)
 714 {
 715   char **pstring = (char **)closure;
 716
 717   FREE_MAYBE (*pstring);
 718   *pstring = xstrdup (val);
 719   return 1;
 720 }
 721
 722 #ifndef WINDOWS
 723 # define ISSEP(c) ((c) == '/')
 724 #else
 725 # define ISSEP(c) ((c) == '/' || (c) == '\\')
 726 #endif
 727
 728 /* Like the above, but handles tilde-expansion when reading a user's
 729    `.wgetrc'.  In that case, and if VAL begins with `~', the tilde
 730    gets expanded to the user's home directory.  */
 731 static int
 732 cmd_file (const char *com, const char *val, void *closure)
 733 {
 734   char **pstring = (char **)closure;
 735
 736   FREE_MAYBE (*pstring);
 737
 738   /* #### If VAL is empty, perhaps should set *CLOSURE to NULL.  */
 739
 740   if (!enable_tilde_expansion || !(*val == '~' && ISSEP (val[1])))
 741     {
 742     noexpand:
 743       *pstring = xstrdup (val);
 744     }
 745   else
 746     {
 747       char *result;
 748       int homelen;
 749       char *home = home_dir ();
 750       if (!home)
 751         goto noexpand;
 752
 753       homelen = strlen (home);
 754       while (homelen && ISSEP (home[homelen - 1]))
 755         home[--homelen] = '\0';
 756
 757       /* Skip the leading "~/". */
 758       for (++val; ISSEP (*val); val++)
 759         ;
 760
 761       result = xmalloc (homelen + 1 + strlen (val) + 1);
 762       memcpy (result, home, homelen);
 763       result[homelen] = '/';
 764       strcpy (result + homelen + 1, val);
 765
 766       *pstring = result;
 767     }
 768
 769 #ifdef WINDOWS
 770   /* Convert "\" to "/". */
 771   {
 772     char *s;
 773     for (s = *pstring; *s; s++)
 774       if (*s == '\\')
 775         *s = '/';
 776   }
 777 #endif
 778   return 1;
 779 }
 780
 781 /* Like cmd_file, but strips trailing '/' characters.  */
 782 static int
 783 cmd_directory (const char *com, const char *val, void *closure)
 784 {
 785   char *s, *t;
 786
 787   /* Call cmd_file() for tilde expansion and separator
 788      canonicalization (backslash -> slash under Windows).  These
 789      things should perhaps be in a separate function.  */
 790   if (!cmd_file (com, val, closure))
 791     return 0;
 792
 793   s = *(char **)closure;
 794   t = s + strlen (s);
 795   while (t > s && *--t == '/')
 796     *t = '\0';
 797
 798   return 1;
 799 }
 800
 801 /* Split VAL by space to a vector of values, and append those values
 802    to vector pointed to by the CLOSURE argument.  If VAL is empty, the
 803    CLOSURE vector is cleared instead.  */
 804
 805 static int
 806 cmd_vector (const char *com, const char *val, void *closure)
 807 {
 808   char ***pvec = (char ***)closure;
 809
 810   if (*val)
 811     *pvec = merge_vecs (*pvec, sepstring (val));
 812   else
 813     {
 814       free_vec (*pvec);
 815       *pvec = NULL;
 816     }
 817   return 1;
 818 }
 819
 820 static int
 821 cmd_directory_vector (const char *com, const char *val, void *closure)
 822 {
 823   char ***pvec = (char ***)closure;
 824
 825   if (*val)
 826     {
 827       /* Strip the trailing slashes from directories.  */
 828       char **t, **seps;
 829
 830       seps = sepstring (val);
 831       for (t = seps; t && *t; t++)
 832         {
 833           int len = strlen (*t);
 834           /* Skip degenerate case of root directory.  */
 835           if (len > 1)
 836             {
 837               if ((*t)[len - 1] == '/')
 838                 (*t)[len - 1] = '\0';
 839             }
 840         }
 841       *pvec = merge_vecs (*pvec, seps);
 842     }
 843   else
 844     {
 845       free_vec (*pvec);
 846       *pvec = NULL;
 847     }
 848   return 1;
 849 }
 850
 851 static int simple_atof PARAMS ((const char *, const char *, double *));
 852
 853 /* Enginge for cmd_bytes and cmd_bytes_large: converts a string such
 854    as "100k" or "2.5G" to a floating point number.  */
 855
 856 static int
 857 parse_bytes_helper (const char *val, double *result)
 858 {
 859   double number, mult;
 860   const char *end = val + strlen (val);
 861
 862   /* Check for "inf".  */
 863   if (0 == strcmp (val, "inf"))
 864     {
 865       *result = 0;
 866       return 1;
 867     }
 868
 869   /* Strip trailing whitespace.  */
 870   while (val < end && ISSPACE (end[-1]))
 871     --end;
 872   if (val == end)
 873     return 0;
 874
 875   switch (TOLOWER (end[-1]))
 876     {
 877     case 'k':
 878       --end, mult = 1024.0;
 879       break;
 880     case 'm':
 881       --end, mult = 1048576.0;
 882       break;
 883     case 'g':
 884       --end, mult = 1073741824.0;
 885       break;
 886     case 't':
 887       --end, mult = 1099511627776.0;
 888       break;
 889     default:
 890       /* Not a recognized suffix: assume it's a digit.  (If not,
 891          simple_atof will raise an error.)  */
 892       mult = 1;
 893     }
 894
 895   /* Skip leading and trailing whitespace. */
 896   while (val < end && ISSPACE (*val))
 897     ++val;
 898   while (val < end && ISSPACE (end[-1]))
 899     --end;
 900   if (val == end)
 901     return 0;
 902
 903   if (!simple_atof (val, end, &number))
 904     return 0;
 905
 906   *result = number * mult;
 907   return 1;
 908 }
 909
 910 /* Parse VAL as a number and set its value to CLOSURE (which should
 911    point to a long int).
 912
 913    By default, the value is assumed to be in bytes.  If "K", "M", or
 914    "G" are appended, the value is multiplied with 1<<10, 1<<20, or
 915    1<<30, respectively.  Floating point values are allowed and are
 916    cast to integer before use.  The idea is to be able to use things
 917    like 1.5k instead of "1536".
 918
 919    The string "inf" is returned as 0.
 920
 921    In case of error, 0 is returned and memory pointed to by CLOSURE
 922    remains unmodified.  */
 923
 924 static int
 925 cmd_bytes (const char *com, const char *val, void *closure)
 926 {
 927   double byte_value;
 928   if (!parse_bytes_helper (val, &byte_value))
 929     {
 930       fprintf (stderr, _("%s: %s: Invalid byte value `%s'\n"),
 931                exec_name, com, val);
 932       return 0;
 933     }
 934   *(long *)closure = (long)byte_value;
 935   return 1;
 936 }
 937
 938 /* Like cmd_bytes, but CLOSURE is interpreted as a pointer to
 939    LARGE_INT.  It works by converting the string to double, therefore
 940    working with values up to 2^53-1 without loss of precision.  This
 941    value (8192 TB) is large enough to serve for a while.  */
 942
 943 static int
 944 cmd_bytes_large (const char *com, const char *val, void *closure)
 945 {
 946   double byte_value;
 947   if (!parse_bytes_helper (val, &byte_value))
 948     {
 949       fprintf (stderr, _("%s: %s: Invalid byte value `%s'\n"),
 950                exec_name, com, val);
 951       return 0;
 952     }
 953   *(LARGE_INT *)closure = (LARGE_INT)byte_value;
 954   return 1;
 955 }
 956
 957 /* Store the value of VAL to *OUT.  The value is a time period, by
 958    default expressed in seconds, but also accepting suffixes "m", "h",
 959    "d", and "w" for minutes, hours, days, and weeks respectively.  */
 960
 961 static int
 962 cmd_time (const char *com, const char *val, void *closure)
 963 {
 964   double number, mult;
 965   const char *end = val + strlen (val);
 966
 967   /* Strip trailing whitespace.  */
 968   while (val < end && ISSPACE (end[-1]))
 969     --end;
 970
 971   if (val == end)
 972     {
 973     err:
 974       fprintf (stderr, _("%s: %s: Invalid time period `%s'\n"),
 975                exec_name, com, val);
 976       return 0;
 977     }
 978
 979   switch (TOLOWER (end[-1]))
 980     {
 981     case 's':
 982       --end, mult = 1;          /* seconds */
 983       break;
 984     case 'm':
 985       --end, mult = 60;         /* minutes */
 986       break;
 987     case 'h':
 988       --end, mult = 3600;       /* hours */
 989       break;
 990     case 'd':
 991       --end, mult = 86400.0;    /* days */
 992       break;
 993     case 'w':
 994       --end, mult = 604800.0;   /* weeks */
 995       break;
 996     default:
 997       /* Not a recognized suffix: assume it belongs to the number.
 998          (If not, atof simple_atof will raise an error.)  */
 999       mult = 1;
1000     }
1001
1002   /* Skip leading and trailing whitespace. */
1003   while (val < end && ISSPACE (*val))
1004     ++val;
1005   while (val < end && ISSPACE (end[-1]))
1006     --end;
1007   if (val == end)
1008     goto err;
1009
1010   if (!simple_atof (val, end, &number))
1011     goto err;
1012
1013   *(double *)closure = number * mult;
1014   return 1;
1015 }
1016 \f
1017 /* Specialized helper functions, used by `commands' to handle some
1018    options specially.  */
1019
1020 static int check_user_specified_header PARAMS ((const char *));
1021
1022 static int
1023 cmd_spec_dirstruct (const char *com, const char *val, void *closure)
1024 {
1025   if (!cmd_boolean (com, val, &opt.dirstruct))
1026     return 0;
1027   /* Since dirstruct behaviour is explicitly changed, no_dirstruct
1028      must be affected inversely.  */
1029   if (opt.dirstruct)
1030     opt.no_dirstruct = 0;
1031   else
1032     opt.no_dirstruct = 1;
1033   return 1;
1034 }
1035
1036 static int
1037 cmd_spec_header (const char *com, const char *val, void *closure)
1038 {
1039   if (!*val)
1040     {
1041       /* Empty header means reset headers.  */
1042       FREE_MAYBE (opt.user_header);
1043       opt.user_header = NULL;
1044     }
1045   else
1046     {
1047       int i;
1048
1049       if (!check_user_specified_header (val))
1050         {
1051           fprintf (stderr, _("%s: %s: Invalid header `%s'.\n"),
1052                    exec_name, com, val);
1053           return 0;
1054         }
1055       i = opt.user_header ? strlen (opt.user_header) : 0;
1056       opt.user_header = (char *)xrealloc (opt.user_header, i + strlen (val)
1057                                           + 2 + 1);
1058       strcpy (opt.user_header + i, val);
1059       i += strlen (val);
1060       opt.user_header[i++] = '\r';
1061       opt.user_header[i++] = '\n';
1062       opt.user_header[i] = '\0';
1063     }
1064   return 1;
1065 }
1066
1067 static int
1068 cmd_spec_htmlify (const char *com, const char *val, void *closure)
1069 {
1070   int flag = cmd_boolean (com, val, &opt.htmlify);
1071   if (flag && !opt.htmlify)
1072     opt.remove_listing = 0;
1073   return flag;
1074 }
1075
1076 /* Set the "mirror" mode.  It means: recursive download, timestamping,
1077    no limit on max. recursion depth, and don't remove listings.  */
1078
1079 static int
1080 cmd_spec_mirror (const char *com, const char *val, void *closure)
1081 {
1082   int mirror;
1083
1084   if (!cmd_boolean (com, val, &mirror))
1085     return 0;
1086   if (mirror)
1087     {
1088       opt.recursive = 1;
1089       if (!opt.no_dirstruct)
1090         opt.dirstruct = 1;
1091       opt.timestamping = 1;
1092       opt.reclevel = INFINITE_RECURSION;
1093       opt.remove_listing = 0;
1094     }
1095   return 1;
1096 }
1097
1098 /* Set progress.type to VAL, but verify that it's a valid progress
1099    implementation before that.  */
1100
1101 static int
1102 cmd_spec_progress (const char *com, const char *val, void *closure)
1103 {
1104   if (!valid_progress_implementation_p (val))
1105     {
1106       fprintf (stderr, _("%s: %s: Invalid progress type `%s'.\n"),
1107                exec_name, com, val);
1108       return 0;
1109     }
1110   FREE_MAYBE (opt.progress_type);
1111
1112   /* Don't call set_progress_implementation here.  It will be called
1113      in main() when it becomes clear what the log output is.  */
1114   opt.progress_type = xstrdup (val);
1115   return 1;
1116 }
1117
1118 /* Set opt.recursive to VAL as with cmd_boolean.  If opt.recursive is
1119    set to true, also set opt.dirstruct to 1, unless opt.no_dirstruct
1120    is specified.  */
1121
1122 static int
1123 cmd_spec_recursive (const char *com, const char *val, void *closure)
1124 {
1125   if (!cmd_boolean (com, val, &opt.recursive))
1126     return 0;
1127   else
1128     {
1129       if (opt.recursive && !opt.no_dirstruct)
1130         opt.dirstruct = 1;
1131     }
1132   return 1;
1133 }
1134
1135 static int
1136 cmd_spec_restrict_file_names (const char *com, const char *val, void *closure)
1137 {
1138   int restrict_os = opt.restrict_files_os;
1139   int restrict_ctrl = opt.restrict_files_ctrl;
1140
1141   const char *end = strchr (val, ',');
1142   if (!end)
1143     end = val + strlen (val);
1144
1145 #define VAL_IS(string_literal) BOUNDED_EQUAL (val, end, string_literal)
1146
1147   if (VAL_IS ("unix"))
1148     restrict_os = restrict_unix;
1149   else if (VAL_IS ("windows"))
1150     restrict_os = restrict_windows;
1151   else if (VAL_IS ("nocontrol"))
1152     restrict_ctrl = 0;
1153   else
1154     {
1155     err:
1156       fprintf (stderr,
1157                _("%s: %s: Invalid restriction `%s', use `unix' or `windows'.\n"),
1158                exec_name, com, val);
1159       return 0;
1160     }
1161
1162 #undef VAL_IS
1163
1164   if (*end)
1165     {
1166       if (!strcmp (end + 1, "nocontrol"))
1167         restrict_ctrl = 0;
1168       else
1169         goto err;
1170     }
1171
1172   opt.restrict_files_os = restrict_os;
1173   opt.restrict_files_ctrl = restrict_ctrl;
1174   return 1;
1175 }
1176
1177 /* Set all three timeout values. */
1178
1179 static int
1180 cmd_spec_timeout (const char *com, const char *val, void *closure)
1181 {
1182   double value;
1183   if (!cmd_time (com, val, &value))
1184     return 0;
1185   opt.read_timeout = value;
1186   opt.connect_timeout = value;
1187   opt.dns_timeout = value;
1188   return 1;
1189 }
1190
1191 static int
1192 cmd_spec_useragent (const char *com, const char *val, void *closure)
1193 {
1194   /* Just check for empty string and newline, so we don't throw total
1195      junk to the server.  */
1196   if (!*val || strchr (val, '\n'))
1197     {
1198       fprintf (stderr, _("%s: %s: Invalid value `%s'.\n"),
1199                exec_name, com, val);
1200       return 0;
1201     }
1202   opt.useragent = xstrdup (val);
1203   return 1;
1204 }
1205 \f
1206 /* Miscellaneous useful routines.  */
1207
1208 /* A very simple atoi clone, more portable than strtol and friends,
1209    but reports errors, unlike atoi.  Returns 1 on success, 0 on
1210    failure.  In case of success, stores result to *DEST.  */
1211
1212 static int
1213 simple_atoi (const char *beg, const char *end, int *dest)
1214 {
1215   int result = 0;
1216   const char *p;
1217
1218   if (beg == end)
1219     return 0;
1220
1221   for (p = beg; p < end && ISDIGIT (*p); p++)
1222     result = (10 * result) + (*p - '0');
1223
1224   if (p != end)
1225     return 0;
1226
1227   *dest = result;
1228   return 1;
1229 }
1230
1231 /* Trivial atof, with error reporting.  Handles "<digits>[.<digits>]",
1232    doesn't handle exponential notation.  Returns 1 on success, 0 on
1233    failure.  In case of success, stores its result to *DEST.  */
1234
1235 static int
1236 simple_atof (const char *beg, const char *end, double *dest)
1237 {
1238   double result = 0;
1239
1240   int seen_dot = 0;
1241   int seen_digit = 0;
1242   double divider = 1;
1243
1244   const char *p;
1245
1246   for (p = beg; p < end; p++)
1247     {
1248       char ch = *p;
1249       if (ISDIGIT (ch))
1250         {
1251           if (!seen_dot)
1252             result = (10 * result) + (ch - '0');
1253           else
1254             result += (ch - '0') / (divider *= 10);
1255           seen_digit = 1;
1256         }
1257       else if (ch == '.')
1258         {
1259           if (!seen_dot)
1260             seen_dot = 1;
1261           else
1262             return 0;
1263         }
1264       else
1265         return 0;
1266     }
1267   if (!seen_digit)
1268     return 0;
1269
1270   *dest = result;
1271   return 1;
1272 }
1273
1274 static int
1275 check_user_specified_header (const char *s)
1276 {
1277   const char *p;
1278
1279   for (p = s; *p && *p != ':' && !ISSPACE (*p); p++);
1280   /* The header MUST contain `:' preceded by at least one
1281      non-whitespace character.  */
1282   if (*p != ':' || p == s)
1283     return 0;
1284   /* The header MUST NOT contain newlines.  */
1285   if (strchr (s, '\n'))
1286     return 0;
1287   return 1;
1288 }
1289 \f
1290 void cleanup_html_url PARAMS ((void));
1291 void res_cleanup PARAMS ((void));
1292 void downloaded_files_free PARAMS ((void));
1293 void http_cleanup PARAMS ((void));
1294
1295
1296 /* Free the memory allocated by global variables.  */
1297 void
1298 cleanup (void)
1299 {
1300   /* Free external resources, close files, etc. */
1301
1302   if (opt.dfp)
1303     fclose (opt.dfp);
1304
1305   /* We're exiting anyway so there's no real need to call free()
1306      hundreds of times.  Skipping the frees will make Wget exit
1307      faster.
1308
1309      However, when detecting leaks, it's crucial to free() everything
1310      because then you can find the real leaks, i.e. the allocated
1311      memory which grows with the size of the program.  */
1312
1313 #ifdef DEBUG_MALLOC
1314   convert_cleanup ();
1315   res_cleanup ();
1316   http_cleanup ();
1317   cleanup_html_url ();
1318   downloaded_files_free ();
1319   host_cleanup ();
1320   cookie_jar_delete (wget_cookie_jar);
1321
1322   {
1323     extern acc_t *netrc_list;
1324     free_netrc (netrc_list);
1325   }
1326   FREE_MAYBE (opt.lfilename);
1327   FREE_MAYBE (opt.dir_prefix);
1328   FREE_MAYBE (opt.input_filename);
1329   FREE_MAYBE (opt.output_document);
1330   free_vec (opt.accepts);
1331   free_vec (opt.rejects);
1332   free_vec (opt.excludes);
1333   free_vec (opt.includes);
1334   free_vec (opt.domains);
1335   free_vec (opt.follow_tags);
1336   free_vec (opt.ignore_tags);
1337   FREE_MAYBE (opt.progress_type);
1338   xfree (opt.ftp_acc);
1339   FREE_MAYBE (opt.ftp_pass);
1340   FREE_MAYBE (opt.ftp_proxy);
1341   FREE_MAYBE (opt.https_proxy);
1342   FREE_MAYBE (opt.http_proxy);
1343   free_vec (opt.no_proxy);
1344   FREE_MAYBE (opt.useragent);
1345   FREE_MAYBE (opt.referer);
1346   FREE_MAYBE (opt.http_user);
1347   FREE_MAYBE (opt.http_passwd);
1348   FREE_MAYBE (opt.user_header);
1349 #ifdef HAVE_SSL
1350   FREE_MAYBE (opt.sslcertkey);
1351   FREE_MAYBE (opt.sslcertfile);
1352 #endif /* HAVE_SSL */
1353   FREE_MAYBE (opt.bind_address);
1354   FREE_MAYBE (opt.cookies_input);
1355   FREE_MAYBE (opt.cookies_output);
1356 #endif
1357 }