sjero.net Git - wget/blob - src/init.c

   1 /* Reading/parsing the initialization file.
   2    Copyright (C) 1995, 1996, 1997, 1998, 2000, 2001, 2003
   3    Free Software Foundation, Inc.
   4
   5 This file is part of GNU Wget.
   6
   7 GNU Wget is free software; you can redistribute it and/or modify
   8 it under the terms of the GNU General Public License as published by
   9 the Free Software Foundation; either version 2 of the License, or
  10 (at your option) any later version.
  11
  12 GNU Wget is distributed in the hope that it will be useful,
  13 but WITHOUT ANY WARRANTY; without even the implied warranty of
  14 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15 GNU General Public License for more details.
  16
  17 You should have received a copy of the GNU General Public License
  18 along with Wget; if not, write to the Free Software
  19 Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  20
  21 In addition, as a special exception, the Free Software Foundation
  22 gives permission to link the code of its release of Wget with the
  23 OpenSSL project's "OpenSSL" library (or with modified versions of it
  24 that use the same license as the "OpenSSL" library), and distribute
  25 the linked executables.  You must obey the GNU General Public License
  26 in all respects for all of the code used other than "OpenSSL".  If you
  27 modify this file, you may extend this exception to your version of the
  28 file, but you are not obligated to do so.  If you do not wish to do
  29 so, delete this exception statement from your version.  */
  30
  31 #include <config.h>
  32
  33 #include <stdio.h>
  34 #include <sys/types.h>
  35 #include <stdlib.h>
  36 #ifdef HAVE_UNISTD_H
  37 # include <unistd.h>
  38 #endif
  39 #ifdef HAVE_STRING_H
  40 # include <string.h>
  41 #else
  42 # include <strings.h>
  43 #endif
  44 #include <errno.h>
  45
  46 #ifdef WINDOWS
  47 # include <winsock.h>
  48 #else
  49 # include <sys/socket.h>
  50 # include <netinet/in.h>
  51 #ifndef __BEOS__
  52 # include <arpa/inet.h>
  53 #endif
  54 #endif
  55
  56 #ifdef HAVE_PWD_H
  57 # include <pwd.h>
  58 #endif
  59 #include <assert.h>
  60
  61 #include "wget.h"
  62 #include "utils.h"
  63 #include "init.h"
  64 #include "host.h"
  65 #include "recur.h"
  66 #include "netrc.h"
  67 #include "cookies.h"            /* for cookie_jar_delete */
  68 #include "progress.h"
  69
  70 #ifndef errno
  71 extern int errno;
  72 #endif
  73
  74 extern struct cookie_jar *wget_cookie_jar;
  75
  76 /* We want tilde expansion enabled only when reading `.wgetrc' lines;
  77    otherwise, it will be performed by the shell.  This variable will
  78    be set by the wgetrc-reading function.  */
  79
  80 static int enable_tilde_expansion;
  81
  82
  83 #define CMD_DECLARE(func) static int func \
  84   PARAMS ((const char *, const char *, void *))
  85
  86 CMD_DECLARE (cmd_boolean);
  87 CMD_DECLARE (cmd_bytes);
  88 CMD_DECLARE (cmd_directory_vector);
  89 CMD_DECLARE (cmd_lockable_boolean);
  90 CMD_DECLARE (cmd_number);
  91 CMD_DECLARE (cmd_number_inf);
  92 CMD_DECLARE (cmd_string);
  93 CMD_DECLARE (cmd_file);
  94 CMD_DECLARE (cmd_directory);
  95 CMD_DECLARE (cmd_time);
  96 CMD_DECLARE (cmd_vector);
  97
  98 CMD_DECLARE (cmd_spec_dirstruct);
  99 CMD_DECLARE (cmd_spec_header);
 100 CMD_DECLARE (cmd_spec_htmlify);
 101 CMD_DECLARE (cmd_spec_mirror);
 102 CMD_DECLARE (cmd_spec_progress);
 103 CMD_DECLARE (cmd_spec_recursive);
 104 CMD_DECLARE (cmd_spec_restrict_file_names);
 105 CMD_DECLARE (cmd_spec_timeout);
 106 CMD_DECLARE (cmd_spec_useragent);
 107
 108 /* List of recognized commands, each consisting of name, closure and function.
 109    When adding a new command, simply add it to the list, but be sure to keep the
 110    list sorted alphabetically, as findcmd() depends on it.  Also, be sure to add
 111    any entries that allocate memory (e.g. cmd_string and cmd_vector guys) to the
 112    cleanup() function below. */
 113 static struct {
 114   char *name;
 115   void *closure;
 116   int (*action) PARAMS ((const char *, const char *, void *));
 117 } commands[] = {
 118   { "accept",           &opt.accepts,           cmd_vector },
 119   { "addhostdir",       &opt.add_hostdir,       cmd_boolean },
 120   { "alwaysrest",       &opt.always_rest,       cmd_boolean }, /* deprecated */
 121   { "background",       &opt.background,        cmd_boolean },
 122   { "backupconverted",  &opt.backup_converted,  cmd_boolean },
 123   { "backups",          &opt.backups,           cmd_number },
 124   { "base",             &opt.base_href,         cmd_string },
 125   { "bindaddress",      &opt.bind_address,      cmd_string },
 126   { "cache",            &opt.allow_cache,       cmd_boolean },
 127   { "connecttimeout",   &opt.connect_timeout,   cmd_time },
 128   { "continue",         &opt.always_rest,       cmd_boolean },
 129   { "convertlinks",     &opt.convert_links,     cmd_boolean },
 130   { "cookies",          &opt.cookies,           cmd_boolean },
 131   { "cutdirs",          &opt.cut_dirs,          cmd_number },
 132 #ifdef DEBUG
 133   { "debug",            &opt.debug,             cmd_boolean },
 134 #endif
 135   { "deleteafter",      &opt.delete_after,      cmd_boolean },
 136   { "dirprefix",        &opt.dir_prefix,        cmd_directory },
 137   { "dirstruct",        NULL,                   cmd_spec_dirstruct },
 138   { "dnscache",         &opt.dns_cache,         cmd_boolean },
 139   { "dnstimeout",       &opt.dns_timeout,       cmd_time },
 140   { "domains",          &opt.domains,           cmd_vector },
 141   { "dotbytes",         &opt.dot_bytes,         cmd_bytes },
 142   { "dotsinline",       &opt.dots_in_line,      cmd_number },
 143   { "dotspacing",       &opt.dot_spacing,       cmd_number },
 144   { "dotstyle",         &opt.dot_style,         cmd_string },
 145 #ifdef HAVE_SSL
 146   { "egdfile",          &opt.sslegdsock,        cmd_file },
 147 #endif
 148   { "excludedirectories", &opt.excludes,        cmd_directory_vector },
 149   { "excludedomains",   &opt.exclude_domains,   cmd_vector },
 150   { "followftp",        &opt.follow_ftp,        cmd_boolean },
 151   { "followtags",       &opt.follow_tags,       cmd_vector },
 152   { "forcehtml",        &opt.force_html,        cmd_boolean },
 153   { "ftpproxy",         &opt.ftp_proxy,         cmd_string },
 154   { "glob",             &opt.ftp_glob,          cmd_boolean },
 155   { "header",           NULL,                   cmd_spec_header },
 156   { "htmlextension",    &opt.html_extension,    cmd_boolean },
 157   { "htmlify",          NULL,                   cmd_spec_htmlify },
 158   { "httpkeepalive",    &opt.http_keep_alive,   cmd_boolean },
 159   { "httppasswd",       &opt.http_passwd,       cmd_string },
 160   { "httpproxy",        &opt.http_proxy,        cmd_string },
 161   { "httpsproxy",       &opt.https_proxy,       cmd_string },
 162   { "httpuser",         &opt.http_user,         cmd_string },
 163   { "ignorelength",     &opt.ignore_length,     cmd_boolean },
 164   { "ignoretags",       &opt.ignore_tags,       cmd_vector },
 165   { "includedirectories", &opt.includes,        cmd_directory_vector },
 166   { "input",            &opt.input_filename,    cmd_file },
 167   { "killlonger",       &opt.kill_longer,       cmd_boolean },
 168   { "limitrate",        &opt.limit_rate,        cmd_bytes },
 169   { "loadcookies",      &opt.cookies_input,     cmd_file },
 170   { "logfile",          &opt.lfilename,         cmd_file },
 171   { "login",            &opt.ftp_acc,           cmd_string },
 172   { "mirror",           NULL,                   cmd_spec_mirror },
 173   { "netrc",            &opt.netrc,             cmd_boolean },
 174   { "noclobber",        &opt.noclobber,         cmd_boolean },
 175   { "noparent",         &opt.no_parent,         cmd_boolean },
 176   { "noproxy",          &opt.no_proxy,          cmd_vector },
 177   { "numtries",         &opt.ntry,              cmd_number_inf },/* deprecated*/
 178   { "outputdocument",   &opt.output_document,   cmd_file },
 179   { "pagerequisites",   &opt.page_requisites,   cmd_boolean },
 180   { "passiveftp",       &opt.ftp_pasv,          cmd_lockable_boolean },
 181   { "passwd",           &opt.ftp_pass,          cmd_string },
 182   { "postdata",         &opt.post_data,         cmd_string },
 183   { "postfile",         &opt.post_file_name,    cmd_file },
 184   { "progress",         &opt.progress_type,     cmd_spec_progress },
 185   { "proxypasswd",      &opt.proxy_passwd,      cmd_string },
 186   { "proxyuser",        &opt.proxy_user,        cmd_string },
 187   { "quiet",            &opt.quiet,             cmd_boolean },
 188   { "quota",            &opt.quota,             cmd_bytes },
 189   { "randomwait",       &opt.random_wait,       cmd_boolean },
 190   { "readtimeout",      &opt.read_timeout,      cmd_time },
 191   { "reclevel",         &opt.reclevel,          cmd_number_inf },
 192   { "recursive",        NULL,                   cmd_spec_recursive },
 193   { "referer",          &opt.referer,           cmd_string },
 194   { "reject",           &opt.rejects,           cmd_vector },
 195   { "relativeonly",     &opt.relative_only,     cmd_boolean },
 196   { "removelisting",    &opt.remove_listing,    cmd_boolean },
 197   { "restrictfilenames", NULL,                  cmd_spec_restrict_file_names },
 198   { "retrsymlinks",     &opt.retr_symlinks,     cmd_boolean },
 199   { "retryconnrefused", &opt.retry_connrefused, cmd_boolean },
 200   { "robots",           &opt.use_robots,        cmd_boolean },
 201   { "savecookies",      &opt.cookies_output,    cmd_file },
 202   { "saveheaders",      &opt.save_headers,      cmd_boolean },
 203   { "serverresponse",   &opt.server_response,   cmd_boolean },
 204   { "spanhosts",        &opt.spanhost,          cmd_boolean },
 205   { "spider",           &opt.spider,            cmd_boolean },
 206 #ifdef HAVE_SSL
 207   { "sslcadir",         &opt.sslcadir,          cmd_directory },
 208   { "sslcafile",        &opt.sslcafile,         cmd_file },
 209   { "sslcertfile",      &opt.sslcertfile,       cmd_file },
 210   { "sslcertkey",       &opt.sslcertkey,        cmd_file },
 211   { "sslcerttype",      &opt.sslcerttype,       cmd_number },
 212   { "sslcheckcert",     &opt.sslcheckcert,      cmd_number },
 213   { "sslprotocol",      &opt.sslprotocol,       cmd_number },
 214 #endif /* HAVE_SSL */
 215   { "strictcomments",   &opt.strict_comments,   cmd_boolean },
 216   { "timeout",          NULL,                   cmd_spec_timeout },
 217   { "timestamping",     &opt.timestamping,      cmd_boolean },
 218   { "tries",            &opt.ntry,              cmd_number_inf },
 219   { "useproxy",         &opt.use_proxy,         cmd_boolean },
 220   { "useragent",        NULL,                   cmd_spec_useragent },
 221   { "verbose",          &opt.verbose,           cmd_boolean },
 222   { "wait",             &opt.wait,              cmd_time },
 223   { "waitretry",        &opt.waitretry,         cmd_time }
 224 };
 225
 226 /* Look up COM in the commands[] array and return its index.  If COM
 227    is not found, -1 is returned.  This function uses binary search.  */
 228
 229 static int
 230 findcmd (const char *com)
 231 {
 232   int lo = 0, hi = countof (commands) - 1;
 233
 234   while (lo <= hi)
 235     {
 236       int mid = (lo + hi) >> 1;
 237       int cmp = strcasecmp (com, commands[mid].name);
 238       if (cmp < 0)
 239         hi = mid - 1;
 240       else if (cmp > 0)
 241         lo = mid + 1;
 242       else
 243         return mid;
 244     }
 245   return -1;
 246 }
 247 \f
 248 /* Reset the variables to default values.  */
 249 static void
 250 defaults (void)
 251 {
 252   char *tmp;
 253
 254   /* Most of the default values are 0.  Just reset everything, and
 255      fill in the non-zero values.  Note that initializing pointers to
 256      NULL this way is technically illegal, but porting Wget to a
 257      machine where NULL is not all-zero bit pattern will be the least
 258      of the implementors' worries.  */
 259   memset (&opt, 0, sizeof (opt));
 260
 261   opt.cookies = 1;
 262
 263   opt.verbose = -1;
 264   opt.ntry = 20;
 265   opt.reclevel = 5;
 266   opt.add_hostdir = 1;
 267   opt.ftp_acc  = xstrdup ("anonymous");
 268   opt.ftp_pass = xstrdup ("-wget@");
 269   opt.netrc = 1;
 270   opt.ftp_glob = 1;
 271   opt.htmlify = 1;
 272   opt.http_keep_alive = 1;
 273   opt.use_proxy = 1;
 274   tmp = getenv ("no_proxy");
 275   if (tmp)
 276     opt.no_proxy = sepstring (tmp);
 277   opt.allow_cache = 1;
 278
 279   opt.read_timeout = 900;
 280   opt.use_robots = 1;
 281
 282   opt.remove_listing = 1;
 283
 284   opt.dot_bytes = 1024;
 285   opt.dot_spacing = 10;
 286   opt.dots_in_line = 50;
 287
 288   opt.dns_cache = 1;
 289
 290   /* The default for file name restriction defaults to the OS type. */
 291 #if !defined(WINDOWS) && !defined(__CYGWIN__)
 292   opt.restrict_files_os = restrict_unix;
 293 #else
 294   opt.restrict_files_os = restrict_windows;
 295 #endif
 296   opt.restrict_files_ctrl = 1;
 297 }
 298 \f
 299 /* Return the user's home directory (strdup-ed), or NULL if none is
 300    found.  */
 301 char *
 302 home_dir (void)
 303 {
 304   char *home = getenv ("HOME");
 305
 306   if (!home)
 307     {
 308 #ifndef WINDOWS
 309       /* If HOME is not defined, try getting it from the password
 310          file.  */
 311       struct passwd *pwd = getpwuid (getuid ());
 312       if (!pwd || !pwd->pw_dir)
 313         return NULL;
 314       home = pwd->pw_dir;
 315 #else  /* WINDOWS */
 316       home = "C:\\";
 317       /* #### Maybe I should grab home_dir from registry, but the best
 318          that I could get from there is user's Start menu.  It sucks!  */
 319 #endif /* WINDOWS */
 320     }
 321
 322   return home ? xstrdup (home) : NULL;
 323 }
 324
 325 /* Return the path to the user's .wgetrc.  This is either the value of
 326    `WGETRC' environment variable, or `$HOME/.wgetrc'.
 327
 328    If the `WGETRC' variable exists but the file does not exist, the
 329    function will exit().  */
 330 static char *
 331 wgetrc_file_name (void)
 332 {
 333   char *env, *home;
 334   char *file = NULL;
 335
 336   /* Try the environment.  */
 337   env = getenv ("WGETRC");
 338   if (env && *env)
 339     {
 340       if (!file_exists_p (env))
 341         {
 342           fprintf (stderr, _("%s: WGETRC points to %s, which doesn't exist.\n"),
 343                    exec_name, env);
 344           exit (1);
 345         }
 346       return xstrdup (env);
 347     }
 348
 349 #ifndef WINDOWS
 350   /* If that failed, try $HOME/.wgetrc.  */
 351   home = home_dir ();
 352   if (home)
 353     {
 354       file = (char *)xmalloc (strlen (home) + 1 + strlen (".wgetrc") + 1);
 355       sprintf (file, "%s/.wgetrc", home);
 356     }
 357   FREE_MAYBE (home);
 358 #else  /* WINDOWS */
 359   /* Under Windows, "home" is (for the purposes of this function) the
 360      directory where `wget.exe' resides, and `wget.ini' will be used
 361      as file name.  SYSTEM_WGETRC should not be defined under WINDOWS.
 362
 363      It is not as trivial as I assumed, because on 95 argv[0] is full
 364      path, but on NT you get what you typed in command line.  --dbudor */
 365   home = ws_mypath ();
 366   if (home)
 367     {
 368       file = (char *)xmalloc (strlen (home) + strlen ("wget.ini") + 1);
 369       sprintf (file, "%swget.ini", home);
 370     }
 371 #endif /* WINDOWS */
 372
 373   if (!file)
 374     return NULL;
 375   if (!file_exists_p (file))
 376     {
 377       xfree (file);
 378       return NULL;
 379     }
 380   return file;
 381 }
 382
 383 static int parse_line PARAMS ((const char *, char **, char **, int *));
 384 static int setval_internal PARAMS ((int, const char *, const char *));
 385
 386 /* Initialize variables from a wgetrc file.  */
 387
 388 static void
 389 run_wgetrc (const char *file)
 390 {
 391   FILE *fp;
 392   char *line;
 393   int ln;
 394
 395   fp = fopen (file, "rb");
 396   if (!fp)
 397     {
 398       fprintf (stderr, _("%s: Cannot read %s (%s).\n"), exec_name,
 399                file, strerror (errno));
 400       return;
 401     }
 402   enable_tilde_expansion = 1;
 403   ln = 1;
 404   while ((line = read_whole_line (fp)))
 405     {
 406       char *com, *val;
 407       int comind, status;
 408
 409       /* Parse the line.  */
 410       status = parse_line (line, &com, &val, &comind);
 411       xfree (line);
 412       /* If everything is OK, set the value.  */
 413       if (status == 1)
 414         {
 415           if (!setval_internal (comind, com, val))
 416             fprintf (stderr, _("%s: Error in %s at line %d.\n"), exec_name,
 417                      file, ln);
 418           xfree (com);
 419           xfree (val);
 420         }
 421       else if (status == 0)
 422         fprintf (stderr, _("%s: Error in %s at line %d.\n"), exec_name,
 423                  file, ln);
 424       ++ln;
 425     }
 426   enable_tilde_expansion = 0;
 427   fclose (fp);
 428 }
 429
 430 /* Initialize the defaults and run the system wgetrc and user's own
 431    wgetrc.  */
 432 void
 433 initialize (void)
 434 {
 435   char *file;
 436
 437   /* Load the hard-coded defaults.  */
 438   defaults ();
 439
 440   /* If SYSTEM_WGETRC is defined, use it.  */
 441 #ifdef SYSTEM_WGETRC
 442   if (file_exists_p (SYSTEM_WGETRC))
 443     run_wgetrc (SYSTEM_WGETRC);
 444 #endif
 445   /* Override it with your own, if one exists.  */
 446   file = wgetrc_file_name ();
 447   if (!file)
 448     return;
 449   /* #### We should canonicalize `file' and SYSTEM_WGETRC with
 450      something like realpath() before comparing them with `strcmp'  */
 451 #ifdef SYSTEM_WGETRC
 452   if (!strcmp (file, SYSTEM_WGETRC))
 453     {
 454       fprintf (stderr, _("\
 455 %s: Warning: Both system and user wgetrc point to `%s'.\n"),
 456                exec_name, file);
 457     }
 458   else
 459 #endif
 460     run_wgetrc (file);
 461   xfree (file);
 462   return;
 463 }
 464 \f
 465 /* Remove dashes and underscores from S, modifying S in the
 466    process. */
 467
 468 static void
 469 dehyphen (char *s)
 470 {
 471   char *t = s;                  /* t - tortoise */
 472   char *h = s;                  /* h - hare     */
 473   while (*h)
 474     if (*h == '_' || *h == '-')
 475       ++h;
 476     else
 477       *t++ = *h++;
 478   *t = '\0';
 479 }
 480
 481 /* Parse the line pointed by line, with the syntax:
 482    <sp>* command <sp>* = <sp>* value <sp>*
 483    Uses malloc to allocate space for command and value.
 484    If the line is invalid, data is freed and 0 is returned.
 485
 486    Return values:
 487     1 - success
 488     0 - error
 489    -1 - empty
 490
 491    In case of success, *COM and *VAL point to freshly allocated
 492    strings, and *COMIND points to com's index.  In case of error or
 493    empty line, those values are unaffected.  */
 494
 495 static int
 496 parse_line (const char *line, char **com, char **val, int *comind)
 497 {
 498   const char *p;
 499   const char *end = line + strlen (line);
 500   const char *cmdstart, *cmdend;
 501   const char *valstart, *valend;
 502
 503   char *cmdcopy;
 504   int ind;
 505
 506   /* Skip leading and trailing whitespace.  */
 507   while (*line && ISSPACE (*line))
 508     ++line;
 509   while (end > line && ISSPACE (end[-1]))
 510     --end;
 511
 512   /* Skip empty lines and comments.  */
 513   if (!*line || *line == '#')
 514     return -1;
 515
 516   p = line;
 517
 518   cmdstart = p;
 519   while (p < end && (ISALPHA (*p) || *p == '_' || *p == '-'))
 520     ++p;
 521   cmdend = p;
 522
 523   /* Skip '=', as well as any space before or after it. */
 524   while (p < end && ISSPACE (*p))
 525     ++p;
 526   if (p == end || *p != '=')
 527     return 0;
 528   ++p;
 529   while (p < end && ISSPACE (*p))
 530     ++p;
 531
 532   valstart = p;
 533   valend   = end;
 534
 535   /* The line now known to be syntactically correct.  Check whether
 536      the command is valid.  */
 537   BOUNDED_TO_ALLOCA (cmdstart, cmdend, cmdcopy);
 538   dehyphen (cmdcopy);
 539   ind = findcmd (cmdcopy);
 540   if (ind == -1)
 541     return 0;
 542
 543   /* The command is valid.  Now fill in the values and report success
 544      to the caller.  */
 545   *comind = ind;
 546   *com = strdupdelim (cmdstart, cmdend);
 547   *val = strdupdelim (valstart, valend);
 548   return 1;
 549 }
 550
 551 /* Run commands[comind].action. */
 552
 553 static int
 554 setval_internal (int comind, const char *com, const char *val)
 555 {
 556   assert (0 <= comind && comind < countof (commands));
 557   return ((*commands[comind].action) (com, val, commands[comind].closure));
 558 }
 559
 560 /* Run command COM with value VAL.  If running the command produces an
 561    error, report the error and exit.
 562
 563    This is intended to be called from main() with commands not
 564    provided by the user, therefore it aborts when an unknown command
 565    is encountered.  Once the COMIND's are exported to init.h, this
 566    function will be changed to accept COMIND directly.  */
 567
 568 void
 569 setoptval (const char *com, const char *val)
 570 {
 571   if (!setval_internal (findcmd (com), com, val))
 572     exit (2);
 573 }
 574
 575 /* Parse OPT into command and value and run it.  For example,
 576    run_command("foo=bar") is equivalent to setoptval("foo", "bar").
 577    This is used by the `--execute' flag in main.c.  */
 578
 579 void
 580 run_command (const char *opt)
 581 {
 582   char *com, *val;
 583   int comind;
 584   int status = parse_line (opt, &com, &val, &comind);
 585   if (status == 1)
 586     {
 587       if (!setval_internal (comind, com, val))
 588         exit (2);
 589       xfree (com);
 590       xfree (val);
 591     }
 592   else if (status == 0)
 593     {
 594       fprintf (stderr, _("%s: Invalid --execute command `%s'\n"),
 595                exec_name, opt);
 596       exit (2);
 597     }
 598 }
 599 \f
 600 /* Generic helper functions, for use with `commands'. */
 601
 602 #define CMP1(p, c0) (TOLOWER((p)[0]) == (c0) && (p)[1] == '\0')
 603
 604 #define CMP2(p, c0, c1) (TOLOWER((p)[0]) == (c0)        \
 605                          && TOLOWER((p)[1]) == (c1)     \
 606                          && (p)[2] == '\0')
 607
 608 #define CMP3(p, c0, c1, c2) (TOLOWER((p)[0]) == (c0)    \
 609                      && TOLOWER((p)[1]) == (c1)         \
 610                      && TOLOWER((p)[2]) == (c2)         \
 611                      && (p)[3] == '\0')
 612
 613
 614 /* Store the boolean value from VAL to CLOSURE.  COM is ignored,
 615    except for error messages.  */
 616 static int
 617 cmd_boolean (const char *com, const char *val, void *closure)
 618 {
 619   int bool_value;
 620
 621   if (CMP2 (val, 'o', 'n') || CMP3 (val, 'y', 'e', 's') || CMP1 (val, '1'))
 622     /* "on", "yes" and "1" mean true. */
 623     bool_value = 1;
 624   else if (CMP3 (val, 'o', 'f', 'f') || CMP2 (val, 'n', 'o') || CMP1 (val, '0'))
 625     /* "off", "no" and "0" mean false. */
 626     bool_value = 0;
 627   else
 628     {
 629       fprintf (stderr,
 630                _("%s: %s: Invalid boolean `%s', use `on' or `off'.\n"),
 631                exec_name, com, val);
 632       return 0;
 633     }
 634
 635   *(int *)closure = bool_value;
 636   return 1;
 637 }
 638
 639 /* Store the lockable_boolean {2, 1, 0, -1} value from VAL to CLOSURE.
 640    COM is ignored, except for error messages.  Values 2 and -1
 641    indicate that once defined, the value may not be changed by
 642    successive wgetrc files or command-line arguments.
 643
 644    Values: 2 - Enable a particular option for good ("always")
 645            1 - Enable an option ("on")
 646            0 - Disable an option ("off")
 647           -1 - Disable an option for good ("never") */
 648 static int
 649 cmd_lockable_boolean (const char *com, const char *val, void *closure)
 650 {
 651   int lockable_boolean_value;
 652
 653   int oldval = *(int *)closure;
 654
 655   /*
 656    * If a config file said "always" or "never", don't allow command line
 657    * arguments to override the config file.
 658    */
 659   if (oldval == -1 || oldval == 2)
 660     return 1;
 661
 662   if (0 == strcasecmp (val, "always") || CMP1 (val, '2'))
 663     lockable_boolean_value = 2;
 664   else if (CMP2 (val, 'o', 'n') || CMP3 (val, 'y', 'e', 's') || CMP1 (val, '1'))
 665     lockable_boolean_value = 1;
 666   else if (CMP3 (val, 'o', 'f', 'f') || CMP2 (val, 'n', 'o') || CMP1 (val, '0'))
 667     lockable_boolean_value = 0;
 668   else if (0 == strcasecmp (val, "never") || CMP2 (val, '-', '1'))
 669     lockable_boolean_value = -1;
 670   else
 671     {
 672       fprintf (stderr,
 673                _("%s: %s: Invalid boolean `%s', use always, on, off, or never.\n"),
 674                exec_name, com, val);
 675       return 0;
 676     }
 677
 678   *(int *)closure = lockable_boolean_value;
 679   return 1;
 680 }
 681
 682 static int simple_atoi PARAMS ((const char *, const char *, int *));
 683
 684 /* Set the non-negative integer value from VAL to CLOSURE.  With
 685    incorrect specification, the number remains unchanged.  */
 686 static int
 687 cmd_number (const char *com, const char *val, void *closure)
 688 {
 689   if (!simple_atoi (val, val + strlen (val), closure))
 690     {
 691       fprintf (stderr, _("%s: %s: Invalid number `%s'.\n"),
 692                exec_name, com, val);
 693       return 0;
 694     }
 695   return 1;
 696 }
 697
 698 /* Similar to cmd_number(), only accepts `inf' as a synonym for 0.  */
 699 static int
 700 cmd_number_inf (const char *com, const char *val, void *closure)
 701 {
 702   if (!strcasecmp (val, "inf"))
 703     {
 704       *(int *)closure = 0;
 705       return 1;
 706     }
 707   return cmd_number (com, val, closure);
 708 }
 709
 710 /* Copy (strdup) the string at COM to a new location and place a
 711    pointer to *CLOSURE.  */
 712 static int
 713 cmd_string (const char *com, const char *val, void *closure)
 714 {
 715   char **pstring = (char **)closure;
 716
 717   FREE_MAYBE (*pstring);
 718   *pstring = xstrdup (val);
 719   return 1;
 720 }
 721
 722 #ifndef WINDOWS
 723 # define ISSEP(c) ((c) == '/')
 724 #else
 725 # define ISSEP(c) ((c) == '/' || (c) == '\\')
 726 #endif
 727
 728 /* Like the above, but handles tilde-expansion when reading a user's
 729    `.wgetrc'.  In that case, and if VAL begins with `~', the tilde
 730    gets expanded to the user's home directory.  */
 731 static int
 732 cmd_file (const char *com, const char *val, void *closure)
 733 {
 734   char **pstring = (char **)closure;
 735
 736   FREE_MAYBE (*pstring);
 737
 738   /* #### If VAL is empty, perhaps should set *CLOSURE to NULL.  */
 739
 740   if (!enable_tilde_expansion || !(*val == '~' && ISSEP (val[1])))
 741     {
 742     noexpand:
 743       *pstring = xstrdup (val);
 744     }
 745   else
 746     {
 747       char *result;
 748       int homelen;
 749       char *home = home_dir ();
 750       if (!home)
 751         goto noexpand;
 752
 753       homelen = strlen (home);
 754       while (homelen && ISSEP (home[homelen - 1]))
 755         home[--homelen] = '\0';
 756
 757       /* Skip the leading "~/". */
 758       for (++val; ISSEP (*val); val++)
 759         ;
 760
 761       result = xmalloc (homelen + 1 + strlen (val) + 1);
 762       memcpy (result, home, homelen);
 763       result[homelen] = '/';
 764       strcpy (result + homelen + 1, val);
 765
 766       *pstring = result;
 767     }
 768
 769 #ifdef WINDOWS
 770   /* Convert "\" to "/". */
 771   {
 772     char *s;
 773     for (s = *pstring; *s; s++)
 774       if (*s == '\\')
 775         *s = '/';
 776   }
 777 #endif
 778   return 1;
 779 }
 780
 781 /* Like cmd_file, but strips trailing '/' characters.  */
 782 static int
 783 cmd_directory (const char *com, const char *val, void *closure)
 784 {
 785   char *s, *t;
 786
 787   /* Call cmd_file() for tilde expansion and separator
 788      canonicalization (backslash -> slash under Windows).  These
 789      things should perhaps be in a separate function.  */
 790   if (!cmd_file (com, val, closure))
 791     return 0;
 792
 793   s = *(char **)closure;
 794   t = s + strlen (s);
 795   while (t > s && *--t == '/')
 796     *t = '\0';
 797
 798   return 1;
 799 }
 800
 801 /* Split VAL by space to a vector of values, and append those values
 802    to vector pointed to by the CLOSURE argument.  If VAL is empty, the
 803    CLOSURE vector is cleared instead.  */
 804
 805 static int
 806 cmd_vector (const char *com, const char *val, void *closure)
 807 {
 808   char ***pvec = (char ***)closure;
 809
 810   if (*val)
 811     *pvec = merge_vecs (*pvec, sepstring (val));
 812   else
 813     {
 814       free_vec (*pvec);
 815       *pvec = NULL;
 816     }
 817   return 1;
 818 }
 819
 820 static int
 821 cmd_directory_vector (const char *com, const char *val, void *closure)
 822 {
 823   char ***pvec = (char ***)closure;
 824
 825   if (*val)
 826     {
 827       /* Strip the trailing slashes from directories.  */
 828       char **t, **seps;
 829
 830       seps = sepstring (val);
 831       for (t = seps; t && *t; t++)
 832         {
 833           int len = strlen (*t);
 834           /* Skip degenerate case of root directory.  */
 835           if (len > 1)
 836             {
 837               if ((*t)[len - 1] == '/')
 838                 (*t)[len - 1] = '\0';
 839             }
 840         }
 841       *pvec = merge_vecs (*pvec, seps);
 842     }
 843   else
 844     {
 845       free_vec (*pvec);
 846       *pvec = NULL;
 847     }
 848   return 1;
 849 }
 850
 851 static int simple_atof PARAMS ((const char *, const char *, double *));
 852
 853 /* Parse VAL as a number and set its value to CLOSURE (which should
 854    point to a long int).
 855
 856    By default, the value is assumed to be in bytes.  If "K", "M", or
 857    "G" are appended, the value is multiplied with 1<<10, 1<<20, or
 858    1<<30, respectively.  Floating point values are allowed and are
 859    cast to integer before use.  The idea is to be able to use things
 860    like 1.5k instead of "1536".
 861
 862    The string "inf" is returned as 0.
 863
 864    In case of error, 0 is returned and memory pointed to by CLOSURE
 865    remains unmodified.  */
 866
 867 static int
 868 cmd_bytes (const char *com, const char *val, void *closure)
 869 {
 870   long mult;
 871   double number;
 872   const char *end = val + strlen (val);
 873
 874   /* Check for "inf".  */
 875   if (0 == strcmp (val, "inf"))
 876     {
 877       *(long *)closure = 0;
 878       return 1;
 879     }
 880
 881   /* Strip trailing whitespace.  */
 882   while (val < end && ISSPACE (end[-1]))
 883     --end;
 884
 885   if (val == end)
 886     {
 887     err:
 888       fprintf (stderr, _("%s: %s: Invalid byte value `%s'\n"),
 889                exec_name, com, val);
 890       return 0;
 891     }
 892
 893   switch (TOLOWER (end[-1]))
 894     {
 895     case 'k':
 896       --end, mult = 1L<<10;
 897       break;
 898     case 'm':
 899       --end, mult = 1L<<20;
 900       break;
 901     case 'g':
 902       --end, mult = 1L<<30;
 903       break;
 904     default:
 905       /* Not a recognized suffix: assume it belongs to the number.
 906          (If not, atof simple_atof will raise an error.)  */
 907       mult = 1;
 908     }
 909
 910   /* Skip leading and trailing whitespace. */
 911   while (val < end && ISSPACE (*val))
 912     ++val;
 913   while (val < end && ISSPACE (end[-1]))
 914     --end;
 915   if (val == end)
 916     goto err;
 917
 918   if (!simple_atof (val, end, &number))
 919     goto err;
 920
 921   *(long *)closure = (long)(number * mult);
 922   return 1;
 923 }
 924
 925 /* Store the value of VAL to *OUT.  The value is a time period, by
 926    default expressed in seconds, but also accepting suffixes "m", "h",
 927    "d", and "w" for minutes, hours, days, and weeks respectively.  */
 928
 929 static int
 930 cmd_time (const char *com, const char *val, void *closure)
 931 {
 932   double number, mult;
 933   const char *end = val + strlen (val);
 934
 935   /* Strip trailing whitespace.  */
 936   while (val < end && ISSPACE (end[-1]))
 937     --end;
 938
 939   if (val == end)
 940     {
 941     err:
 942       fprintf (stderr, _("%s: %s: Invalid time period `%s'\n"),
 943                exec_name, com, val);
 944       return 0;
 945     }
 946
 947   switch (TOLOWER (end[-1]))
 948     {
 949     case 's':
 950       --end, mult = 1;          /* seconds */
 951       break;
 952     case 'm':
 953       --end, mult = 60;         /* minutes */
 954       break;
 955     case 'h':
 956       --end, mult = 3600;       /* hours */
 957       break;
 958     case 'd':
 959       --end, mult = 86400.0;    /* days */
 960       break;
 961     case 'w':
 962       --end, mult = 604800.0;   /* weeks */
 963       break;
 964     default:
 965       /* Not a recognized suffix: assume it belongs to the number.
 966          (If not, atof simple_atof will raise an error.)  */
 967       mult = 1;
 968     }
 969
 970   /* Skip leading and trailing whitespace. */
 971   while (val < end && ISSPACE (*val))
 972     ++val;
 973   while (val < end && ISSPACE (end[-1]))
 974     --end;
 975   if (val == end)
 976     goto err;
 977
 978   if (!simple_atof (val, end, &number))
 979     goto err;
 980
 981   *(double *)closure = number * mult;
 982   return 1;
 983 }
 984 \f
 985 /* Specialized helper functions, used by `commands' to handle some
 986    options specially.  */
 987
 988 static int check_user_specified_header PARAMS ((const char *));
 989
 990 static int
 991 cmd_spec_dirstruct (const char *com, const char *val, void *closure)
 992 {
 993   if (!cmd_boolean (com, val, &opt.dirstruct))
 994     return 0;
 995   /* Since dirstruct behaviour is explicitly changed, no_dirstruct
 996      must be affected inversely.  */
 997   if (opt.dirstruct)
 998     opt.no_dirstruct = 0;
 999   else
1000     opt.no_dirstruct = 1;
1001   return 1;
1002 }
1003
1004 static int
1005 cmd_spec_header (const char *com, const char *val, void *closure)
1006 {
1007   if (!*val)
1008     {
1009       /* Empty header means reset headers.  */
1010       FREE_MAYBE (opt.user_header);
1011       opt.user_header = NULL;
1012     }
1013   else
1014     {
1015       int i;
1016
1017       if (!check_user_specified_header (val))
1018         {
1019           fprintf (stderr, _("%s: %s: Invalid header `%s'.\n"),
1020                    exec_name, com, val);
1021           return 0;
1022         }
1023       i = opt.user_header ? strlen (opt.user_header) : 0;
1024       opt.user_header = (char *)xrealloc (opt.user_header, i + strlen (val)
1025                                           + 2 + 1);
1026       strcpy (opt.user_header + i, val);
1027       i += strlen (val);
1028       opt.user_header[i++] = '\r';
1029       opt.user_header[i++] = '\n';
1030       opt.user_header[i] = '\0';
1031     }
1032   return 1;
1033 }
1034
1035 static int
1036 cmd_spec_htmlify (const char *com, const char *val, void *closure)
1037 {
1038   int flag = cmd_boolean (com, val, &opt.htmlify);
1039   if (flag && !opt.htmlify)
1040     opt.remove_listing = 0;
1041   return flag;
1042 }
1043
1044 /* Set the "mirror" mode.  It means: recursive download, timestamping,
1045    no limit on max. recursion depth, and don't remove listings.  */
1046
1047 static int
1048 cmd_spec_mirror (const char *com, const char *val, void *closure)
1049 {
1050   int mirror;
1051
1052   if (!cmd_boolean (com, val, &mirror))
1053     return 0;
1054   if (mirror)
1055     {
1056       opt.recursive = 1;
1057       if (!opt.no_dirstruct)
1058         opt.dirstruct = 1;
1059       opt.timestamping = 1;
1060       opt.reclevel = INFINITE_RECURSION;
1061       opt.remove_listing = 0;
1062     }
1063   return 1;
1064 }
1065
1066 /* Set progress.type to VAL, but verify that it's a valid progress
1067    implementation before that.  */
1068
1069 static int
1070 cmd_spec_progress (const char *com, const char *val, void *closure)
1071 {
1072   if (!valid_progress_implementation_p (val))
1073     {
1074       fprintf (stderr, _("%s: %s: Invalid progress type `%s'.\n"),
1075                exec_name, com, val);
1076       return 0;
1077     }
1078   FREE_MAYBE (opt.progress_type);
1079
1080   /* Don't call set_progress_implementation here.  It will be called
1081      in main() when it becomes clear what the log output is.  */
1082   opt.progress_type = xstrdup (val);
1083   return 1;
1084 }
1085
1086 /* Set opt.recursive to VAL as with cmd_boolean.  If opt.recursive is
1087    set to true, also set opt.dirstruct to 1, unless opt.no_dirstruct
1088    is specified.  */
1089
1090 static int
1091 cmd_spec_recursive (const char *com, const char *val, void *closure)
1092 {
1093   if (!cmd_boolean (com, val, &opt.recursive))
1094     return 0;
1095   else
1096     {
1097       if (opt.recursive && !opt.no_dirstruct)
1098         opt.dirstruct = 1;
1099     }
1100   return 1;
1101 }
1102
1103 static int
1104 cmd_spec_restrict_file_names (const char *com, const char *val, void *closure)
1105 {
1106   int restrict_os = opt.restrict_files_os;
1107   int restrict_ctrl = opt.restrict_files_ctrl;
1108
1109   const char *end = strchr (val, ',');
1110   if (!end)
1111     end = val + strlen (val);
1112
1113 #define VAL_IS(string_literal) BOUNDED_EQUAL (val, end, string_literal)
1114
1115   if (VAL_IS ("unix"))
1116     restrict_os = restrict_unix;
1117   else if (VAL_IS ("windows"))
1118     restrict_os = restrict_windows;
1119   else if (VAL_IS ("nocontrol"))
1120     restrict_ctrl = 0;
1121   else
1122     {
1123     err:
1124       fprintf (stderr,
1125                _("%s: %s: Invalid restriction `%s', use `unix' or `windows'.\n"),
1126                exec_name, com, val);
1127       return 0;
1128     }
1129
1130 #undef VAL_IS
1131
1132   if (*end)
1133     {
1134       if (!strcmp (end + 1, "nocontrol"))
1135         restrict_ctrl = 0;
1136       else
1137         goto err;
1138     }
1139
1140   opt.restrict_files_os = restrict_os;
1141   opt.restrict_files_ctrl = restrict_ctrl;
1142   return 1;
1143 }
1144
1145 /* Set all three timeout values. */
1146
1147 static int
1148 cmd_spec_timeout (const char *com, const char *val, void *closure)
1149 {
1150   double value;
1151   if (!cmd_time (com, val, &value))
1152     return 0;
1153   opt.read_timeout = value;
1154   opt.connect_timeout = value;
1155   opt.dns_timeout = value;
1156   return 1;
1157 }
1158
1159 static int
1160 cmd_spec_useragent (const char *com, const char *val, void *closure)
1161 {
1162   /* Just check for empty string and newline, so we don't throw total
1163      junk to the server.  */
1164   if (!*val || strchr (val, '\n'))
1165     {
1166       fprintf (stderr, _("%s: %s: Invalid value `%s'.\n"),
1167                exec_name, com, val);
1168       return 0;
1169     }
1170   opt.useragent = xstrdup (val);
1171   return 1;
1172 }
1173 \f
1174 /* Miscellaneous useful routines.  */
1175
1176 /* A very simple atoi clone, more portable than strtol and friends,
1177    but reports errors, unlike atoi.  Returns 1 on success, 0 on
1178    failure.  In case of success, stores result to *DEST.  */
1179
1180 static int
1181 simple_atoi (const char *beg, const char *end, int *dest)
1182 {
1183   int result = 0;
1184   const char *p;
1185
1186   if (beg == end)
1187     return 0;
1188
1189   for (p = beg; p < end && ISDIGIT (*p); p++)
1190     result = (10 * result) + (*p - '0');
1191
1192   if (p != end)
1193     return 0;
1194
1195   *dest = result;
1196   return 1;
1197 }
1198
1199 /* Trivial atof, with error reporting.  Handles "<digits>[.<digits>]",
1200    doesn't handle exponential notation.  Returns 1 on success, 0 on
1201    failure.  In case of success, stores its result to *DEST.  */
1202
1203 static int
1204 simple_atof (const char *beg, const char *end, double *dest)
1205 {
1206   double result = 0;
1207
1208   int seen_dot = 0;
1209   int seen_digit = 0;
1210   double divider = 1;
1211
1212   const char *p;
1213
1214   for (p = beg; p < end; p++)
1215     {
1216       char ch = *p;
1217       if (ISDIGIT (ch))
1218         {
1219           if (!seen_dot)
1220             result = (10 * result) + (ch - '0');
1221           else
1222             result += (ch - '0') / (divider *= 10);
1223           seen_digit = 1;
1224         }
1225       else if (ch == '.')
1226         {
1227           if (!seen_dot)
1228             seen_dot = 1;
1229           else
1230             return 0;
1231         }
1232       else
1233         return 0;
1234     }
1235   if (!seen_digit)
1236     return 0;
1237
1238   *dest = result;
1239   return 1;
1240 }
1241
1242 static int
1243 check_user_specified_header (const char *s)
1244 {
1245   const char *p;
1246
1247   for (p = s; *p && *p != ':' && !ISSPACE (*p); p++);
1248   /* The header MUST contain `:' preceded by at least one
1249      non-whitespace character.  */
1250   if (*p != ':' || p == s)
1251     return 0;
1252   /* The header MUST NOT contain newlines.  */
1253   if (strchr (s, '\n'))
1254     return 0;
1255   return 1;
1256 }
1257 \f
1258 void cleanup_html_url PARAMS ((void));
1259 void res_cleanup PARAMS ((void));
1260 void downloaded_files_free PARAMS ((void));
1261 void http_cleanup PARAMS ((void));
1262
1263
1264 /* Free the memory allocated by global variables.  */
1265 void
1266 cleanup (void)
1267 {
1268   /* Free external resources, close files, etc. */
1269
1270   if (opt.dfp)
1271     fclose (opt.dfp);
1272
1273   /* We're exiting anyway so there's no real need to call free()
1274      hundreds of times.  Skipping the frees will make Wget exit
1275      faster.
1276
1277      However, when detecting leaks, it's crucial to free() everything
1278      because then you can find the real leaks, i.e. the allocated
1279      memory which grows with the size of the program.  */
1280
1281 #ifdef DEBUG_MALLOC
1282   recursive_cleanup ();
1283   res_cleanup ();
1284   http_cleanup ();
1285   cleanup_html_url ();
1286   downloaded_files_free ();
1287   host_cleanup ();
1288   cookie_jar_delete (wget_cookie_jar);
1289
1290   {
1291     extern acc_t *netrc_list;
1292     free_netrc (netrc_list);
1293   }
1294   FREE_MAYBE (opt.lfilename);
1295   FREE_MAYBE (opt.dir_prefix);
1296   FREE_MAYBE (opt.input_filename);
1297   FREE_MAYBE (opt.output_document);
1298   free_vec (opt.accepts);
1299   free_vec (opt.rejects);
1300   free_vec (opt.excludes);
1301   free_vec (opt.includes);
1302   free_vec (opt.domains);
1303   free_vec (opt.follow_tags);
1304   free_vec (opt.ignore_tags);
1305   FREE_MAYBE (opt.progress_type);
1306   xfree (opt.ftp_acc);
1307   FREE_MAYBE (opt.ftp_pass);
1308   FREE_MAYBE (opt.ftp_proxy);
1309   FREE_MAYBE (opt.https_proxy);
1310   FREE_MAYBE (opt.http_proxy);
1311   free_vec (opt.no_proxy);
1312   FREE_MAYBE (opt.useragent);
1313   FREE_MAYBE (opt.referer);
1314   FREE_MAYBE (opt.http_user);
1315   FREE_MAYBE (opt.http_passwd);
1316   FREE_MAYBE (opt.user_header);
1317 #ifdef HAVE_SSL
1318   FREE_MAYBE (opt.sslcertkey);
1319   FREE_MAYBE (opt.sslcertfile);
1320 #endif /* HAVE_SSL */
1321   FREE_MAYBE (opt.bind_address);
1322   FREE_MAYBE (opt.cookies_input);
1323   FREE_MAYBE (opt.cookies_output);
1324 #endif
1325 }