]> sjero.net Git - wget/blob - src/init.c
8ab1bec3bfd43eed6d4ed7ffe0b96ed9c2c9747a
[wget] / src / init.c
1 /* Reading/parsing the initialization file.
2    Copyright (C) 2005 Free Software Foundation, Inc.
3
4 This file is part of GNU Wget.
5
6 GNU Wget is free software; you can redistribute it and/or modify
7 it under the terms of the GNU General Public License as published by
8 the Free Software Foundation; either version 2 of the License, or
9 (at your option) any later version.
10
11 GNU Wget is distributed in the hope that it will be useful,
12 but WITHOUT ANY WARRANTY; without even the implied warranty of
13 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14 GNU General Public License for more details.
15
16 You should have received a copy of the GNU General Public License
17 along with Wget; if not, write to the Free Software
18 Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
19
20 In addition, as a special exception, the Free Software Foundation
21 gives permission to link the code of its release of Wget with the
22 OpenSSL project's "OpenSSL" library (or with modified versions of it
23 that use the same license as the "OpenSSL" library), and distribute
24 the linked executables.  You must obey the GNU General Public License
25 in all respects for all of the code used other than "OpenSSL".  If you
26 modify this file, you may extend this exception to your version of the
27 file, but you are not obligated to do so.  If you do not wish to do
28 so, delete this exception statement from your version.  */
29
30 #include <config.h>
31
32 #include <stdio.h>
33 #include <sys/types.h>
34 #include <stdlib.h>
35 #ifdef HAVE_UNISTD_H
36 # include <unistd.h>
37 #endif
38 #ifdef HAVE_STRING_H
39 # include <string.h>
40 #else
41 # include <strings.h>
42 #endif
43 #include <errno.h>
44
45 #ifdef HAVE_PWD_H
46 # include <pwd.h>
47 #endif
48 #include <assert.h>
49
50 #include "wget.h"
51 #include "utils.h"
52 #include "init.h"
53 #include "host.h"
54 #include "netrc.h"
55 #include "progress.h"
56 #include "recur.h"              /* for INFINITE_RECURSION */
57 #include "convert.h"            /* for convert_cleanup */
58 #include "res.h"                /* for res_cleanup */
59
60 #ifndef errno
61 extern int errno;
62 #endif
63
64 /* We want tilde expansion enabled only when reading `.wgetrc' lines;
65    otherwise, it will be performed by the shell.  This variable will
66    be set by the wgetrc-reading function.  */
67
68 static int enable_tilde_expansion;
69
70
71 #define CMD_DECLARE(func) static int func \
72   PARAMS ((const char *, const char *, void *))
73
74 CMD_DECLARE (cmd_boolean);
75 CMD_DECLARE (cmd_bytes);
76 CMD_DECLARE (cmd_bytes_large);
77 CMD_DECLARE (cmd_directory_vector);
78 CMD_DECLARE (cmd_lockable_boolean);
79 CMD_DECLARE (cmd_number);
80 CMD_DECLARE (cmd_number_inf);
81 CMD_DECLARE (cmd_string);
82 CMD_DECLARE (cmd_file);
83 CMD_DECLARE (cmd_directory);
84 CMD_DECLARE (cmd_time);
85 CMD_DECLARE (cmd_vector);
86
87 CMD_DECLARE (cmd_spec_dirstruct);
88 CMD_DECLARE (cmd_spec_header);
89 CMD_DECLARE (cmd_spec_htmlify);
90 CMD_DECLARE (cmd_spec_mirror);
91 CMD_DECLARE (cmd_spec_prefer_family);
92 CMD_DECLARE (cmd_spec_progress);
93 CMD_DECLARE (cmd_spec_recursive);
94 CMD_DECLARE (cmd_spec_restrict_file_names);
95 CMD_DECLARE (cmd_spec_timeout);
96 CMD_DECLARE (cmd_spec_useragent);
97
98 /* List of recognized commands, each consisting of name, closure and
99    function.  When adding a new command, simply add it to the list,
100    but be sure to keep the list sorted alphabetically, as
101    command_by_name depends on it.  Also, be sure to add any entries
102    that allocate memory (e.g. cmd_string and cmd_vector guys) to the
103    cleanup() function below. */
104
105 static struct {
106   const char *name;
107   void *closure;
108   int (*action) PARAMS ((const char *, const char *, void *));
109 } commands[] = {
110   { "accept",           &opt.accepts,           cmd_vector },
111   { "addhostdir",       &opt.add_hostdir,       cmd_boolean },
112   { "alwaysrest",       &opt.always_rest,       cmd_boolean }, /* deprecated */
113   { "background",       &opt.background,        cmd_boolean },
114   { "backupconverted",  &opt.backup_converted,  cmd_boolean },
115   { "backups",          &opt.backups,           cmd_number },
116   { "base",             &opt.base_href,         cmd_string },
117   { "bindaddress",      &opt.bind_address,      cmd_string },
118   { "cache",            &opt.allow_cache,       cmd_boolean },
119   { "connecttimeout",   &opt.connect_timeout,   cmd_time },
120   { "continue",         &opt.always_rest,       cmd_boolean },
121   { "convertlinks",     &opt.convert_links,     cmd_boolean },
122   { "cookies",          &opt.cookies,           cmd_boolean },
123   { "cutdirs",          &opt.cut_dirs,          cmd_number },
124 #ifdef ENABLE_DEBUG
125   { "debug",            &opt.debug,             cmd_boolean },
126 #endif
127   { "deleteafter",      &opt.delete_after,      cmd_boolean },
128   { "dirprefix",        &opt.dir_prefix,        cmd_directory },
129   { "dirstruct",        NULL,                   cmd_spec_dirstruct },
130   { "dnscache",         &opt.dns_cache,         cmd_boolean },
131   { "dnstimeout",       &opt.dns_timeout,       cmd_time },
132   { "domains",          &opt.domains,           cmd_vector },
133   { "dotbytes",         &opt.dot_bytes,         cmd_bytes },
134   { "dotsinline",       &opt.dots_in_line,      cmd_number },
135   { "dotspacing",       &opt.dot_spacing,       cmd_number },
136   { "dotstyle",         &opt.dot_style,         cmd_string },
137 #ifdef HAVE_SSL
138   { "egdfile",          &opt.sslegdsock,        cmd_file },
139 #endif
140   { "excludedirectories", &opt.excludes,        cmd_directory_vector },
141   { "excludedomains",   &opt.exclude_domains,   cmd_vector },
142   { "followftp",        &opt.follow_ftp,        cmd_boolean },
143   { "followtags",       &opt.follow_tags,       cmd_vector },
144   { "forcehtml",        &opt.force_html,        cmd_boolean },
145   { "ftppasswd",        &opt.ftp_pass,          cmd_string },
146   { "ftpproxy",         &opt.ftp_proxy,         cmd_string },
147   { "glob",             &opt.ftp_glob,          cmd_boolean },
148   { "header",           &opt.user_headers,      cmd_spec_header },
149   { "htmlextension",    &opt.html_extension,    cmd_boolean },
150   { "htmlify",          NULL,                   cmd_spec_htmlify },
151   { "httpkeepalive",    &opt.http_keep_alive,   cmd_boolean },
152   { "httppasswd",       &opt.http_passwd,       cmd_string },
153   { "httpproxy",        &opt.http_proxy,        cmd_string },
154   { "httpsproxy",       &opt.https_proxy,       cmd_string },
155   { "httpuser",         &opt.http_user,         cmd_string },
156   { "ignorelength",     &opt.ignore_length,     cmd_boolean },
157   { "ignoretags",       &opt.ignore_tags,       cmd_vector },
158   { "includedirectories", &opt.includes,        cmd_directory_vector },
159 #ifdef ENABLE_IPV6
160   { "inet4only",        &opt.ipv4_only,         cmd_boolean },
161   { "inet6only",        &opt.ipv6_only,         cmd_boolean },
162 #endif
163   { "input",            &opt.input_filename,    cmd_file },
164   { "keepsessioncookies", &opt.keep_session_cookies, cmd_boolean },
165   { "killlonger",       &opt.kill_longer,       cmd_boolean },
166   { "limitrate",        &opt.limit_rate,        cmd_bytes },
167   { "loadcookies",      &opt.cookies_input,     cmd_file },
168   { "logfile",          &opt.lfilename,         cmd_file },
169   { "login",            &opt.ftp_acc,           cmd_string },
170   { "mirror",           NULL,                   cmd_spec_mirror },
171   { "netrc",            &opt.netrc,             cmd_boolean },
172   { "noclobber",        &opt.noclobber,         cmd_boolean },
173   { "noparent",         &opt.no_parent,         cmd_boolean },
174   { "noproxy",          &opt.no_proxy,          cmd_vector },
175   { "numtries",         &opt.ntry,              cmd_number_inf },/* deprecated*/
176   { "outputdocument",   &opt.output_document,   cmd_file },
177   { "pagerequisites",   &opt.page_requisites,   cmd_boolean },
178   { "passiveftp",       &opt.ftp_pasv,          cmd_lockable_boolean },
179   { "postdata",         &opt.post_data,         cmd_string },
180   { "postfile",         &opt.post_file_name,    cmd_file },
181   { "preferfamily",     NULL,                   cmd_spec_prefer_family },
182   { "preservepermissions", &opt.preserve_perm,  cmd_boolean },
183   { "progress",         &opt.progress_type,     cmd_spec_progress },
184   { "protocoldirectories", &opt.protocol_directories, cmd_boolean },
185   { "proxypasswd",      &opt.proxy_passwd,      cmd_string },
186   { "proxyuser",        &opt.proxy_user,        cmd_string },
187   { "quiet",            &opt.quiet,             cmd_boolean },
188   { "quota",            &opt.quota,             cmd_bytes_large },
189   { "randomwait",       &opt.random_wait,       cmd_boolean },
190   { "readtimeout",      &opt.read_timeout,      cmd_time },
191   { "reclevel",         &opt.reclevel,          cmd_number_inf },
192   { "recursive",        NULL,                   cmd_spec_recursive },
193   { "referer",          &opt.referer,           cmd_string },
194   { "reject",           &opt.rejects,           cmd_vector },
195   { "relativeonly",     &opt.relative_only,     cmd_boolean },
196   { "removelisting",    &opt.remove_listing,    cmd_boolean },
197   { "restrictfilenames", NULL,                  cmd_spec_restrict_file_names },
198   { "retrsymlinks",     &opt.retr_symlinks,     cmd_boolean },
199   { "retryconnrefused", &opt.retry_connrefused, cmd_boolean },
200   { "robots",           &opt.use_robots,        cmd_boolean },
201   { "savecookies",      &opt.cookies_output,    cmd_file },
202   { "saveheaders",      &opt.save_headers,      cmd_boolean },
203   { "serverresponse",   &opt.server_response,   cmd_boolean },
204   { "spanhosts",        &opt.spanhost,          cmd_boolean },
205   { "spider",           &opt.spider,            cmd_boolean },
206 #ifdef HAVE_SSL
207   { "sslcadir",         &opt.sslcadir,          cmd_directory },
208   { "sslcafile",        &opt.sslcafile,         cmd_file },
209   { "sslcertfile",      &opt.sslcertfile,       cmd_file },
210   { "sslcertkey",       &opt.sslcertkey,        cmd_file },
211   { "sslcerttype",      &opt.sslcerttype,       cmd_number },
212   { "sslcheckcert",     &opt.sslcheckcert,      cmd_number },
213   { "sslprotocol",      &opt.sslprotocol,       cmd_number },
214 #endif /* HAVE_SSL */
215   { "strictcomments",   &opt.strict_comments,   cmd_boolean },
216   { "timeout",          NULL,                   cmd_spec_timeout },
217   { "timestamping",     &opt.timestamping,      cmd_boolean },
218   { "tries",            &opt.ntry,              cmd_number_inf },
219   { "useproxy",         &opt.use_proxy,         cmd_boolean },
220   { "useragent",        NULL,                   cmd_spec_useragent },
221   { "verbose",          &opt.verbose,           cmd_boolean },
222   { "wait",             &opt.wait,              cmd_time },
223   { "waitretry",        &opt.waitretry,         cmd_time }
224 };
225
226 /* Look up CMDNAME in the commands[] and return its position in the
227    array.  If CMDNAME is not found, return -1.  */
228
229 static int
230 command_by_name (const char *cmdname)
231 {
232   /* Use binary search for speed.  Wget has ~100 commands, which
233      guarantees a worst case performance of 7 string comparisons.  */
234   int lo = 0, hi = countof (commands) - 1;
235
236   while (lo <= hi)
237     {
238       int mid = (lo + hi) >> 1;
239       int cmp = strcasecmp (cmdname, commands[mid].name);
240       if (cmp < 0)
241         hi = mid - 1;
242       else if (cmp > 0)
243         lo = mid + 1;
244       else
245         return mid;
246     }
247   return -1;
248 }
249 \f
250 /* Reset the variables to default values.  */
251 static void
252 defaults (void)
253 {
254   char *tmp;
255
256   /* Most of the default values are 0.  Just reset everything, and
257      fill in the non-zero values.  Note that initializing pointers to
258      NULL this way is technically illegal, but porting Wget to a
259      machine where NULL is not all-zero bit pattern will be the least
260      of the implementors' worries.  */
261   xzero (opt);
262
263   opt.cookies = 1;
264   opt.verbose = -1;
265   opt.ntry = 20;
266   opt.reclevel = 5;
267   opt.add_hostdir = 1;
268   opt.ftp_acc  = xstrdup ("anonymous");
269   opt.ftp_pass = xstrdup ("-wget@");
270   opt.netrc = 1;
271   opt.ftp_glob = 1;
272   opt.htmlify = 1;
273   opt.http_keep_alive = 1;
274   opt.use_proxy = 1;
275   tmp = getenv ("no_proxy");
276   if (tmp)
277     opt.no_proxy = sepstring (tmp);
278   opt.allow_cache = 1;
279
280   opt.read_timeout = 900;
281   opt.use_robots = 1;
282
283   opt.remove_listing = 1;
284
285   opt.dot_bytes = 1024;
286   opt.dot_spacing = 10;
287   opt.dots_in_line = 50;
288
289   opt.dns_cache = 1;
290   opt.ftp_pasv = 1;
291
292   /* The default for file name restriction defaults to the OS type. */
293 #if !defined(WINDOWS) && !defined(__CYGWIN__)
294   opt.restrict_files_os = restrict_unix;
295 #else
296   opt.restrict_files_os = restrict_windows;
297 #endif
298   opt.restrict_files_ctrl = 1;
299 }
300 \f
301 /* Return the user's home directory (strdup-ed), or NULL if none is
302    found.  */
303 char *
304 home_dir (void)
305 {
306   char *home = getenv ("HOME");
307
308   if (!home)
309     {
310 #ifndef WINDOWS
311       /* If HOME is not defined, try getting it from the password
312          file.  */
313       struct passwd *pwd = getpwuid (getuid ());
314       if (!pwd || !pwd->pw_dir)
315         return NULL;
316       home = pwd->pw_dir;
317 #else  /* WINDOWS */
318       /* Under Windows, if $HOME isn't defined, use the directory where
319          `wget.exe' resides.  */
320       home = ws_mypath ();
321 #endif /* WINDOWS */
322     }
323
324   return home ? xstrdup (home) : NULL;
325 }
326
327 /* Return the path to the user's .wgetrc.  This is either the value of
328    `WGETRC' environment variable, or `$HOME/.wgetrc'.
329
330    If the `WGETRC' variable exists but the file does not exist, the
331    function will exit().  */
332 static char *
333 wgetrc_file_name (void)
334 {
335   char *env, *home;
336   char *file = NULL;
337
338   /* Try the environment.  */
339   env = getenv ("WGETRC");
340   if (env && *env)
341     {
342       if (!file_exists_p (env))
343         {
344           fprintf (stderr, _("%s: WGETRC points to %s, which doesn't exist.\n"),
345                    exec_name, env);
346           exit (1);
347         }
348       return xstrdup (env);
349     }
350
351   /* If that failed, try $HOME/.wgetrc.  */
352   home = home_dir ();
353   if (home)
354     file = aprintf ("%s/.wgetrc", home);
355   xfree_null (home);
356
357 #ifdef WINDOWS
358   /* Under Windows, if we still haven't found .wgetrc, look for the file
359      `wget.ini' in the directory where `wget.exe' resides; we do this for
360      backward compatibility with previous versions of Wget.
361      SYSTEM_WGETRC should not be defined under WINDOWS.  */
362   if (!file || !file_exists_p (file))
363     {
364       xfree_null (file);
365       file = NULL;
366       home = ws_mypath ();
367       if (home)
368         file = aprintf ("%s/wget.ini", home);
369     }
370 #endif /* WINDOWS */
371
372   if (!file)
373     return NULL;
374   if (!file_exists_p (file))
375     {
376       xfree (file);
377       return NULL;
378     }
379   return file;
380 }
381
382 static int parse_line PARAMS ((const char *, char **, char **, int *));
383 static int setval_internal PARAMS ((int, const char *, const char *));
384
385 /* Initialize variables from a wgetrc file.  */
386
387 static void
388 run_wgetrc (const char *file)
389 {
390   FILE *fp;
391   char *line;
392   int ln;
393
394   fp = fopen (file, "rb");
395   if (!fp)
396     {
397       fprintf (stderr, _("%s: Cannot read %s (%s).\n"), exec_name,
398                file, strerror (errno));
399       return;
400     }
401   enable_tilde_expansion = 1;
402   ln = 1;
403   while ((line = read_whole_line (fp)) != NULL)
404     {
405       char *com, *val;
406       int comind, status;
407
408       /* Parse the line.  */
409       status = parse_line (line, &com, &val, &comind);
410       xfree (line);
411       /* If everything is OK, set the value.  */
412       if (status == 1)
413         {
414           if (!setval_internal (comind, com, val))
415             fprintf (stderr, _("%s: Error in %s at line %d.\n"), exec_name,
416                      file, ln);
417           xfree (com);
418           xfree (val);
419         }
420       else if (status == 0)
421         fprintf (stderr, _("%s: Error in %s at line %d.\n"), exec_name,
422                  file, ln);
423       ++ln;
424     }
425   enable_tilde_expansion = 0;
426   fclose (fp);
427 }
428
429 /* Initialize the defaults and run the system wgetrc and user's own
430    wgetrc.  */
431 void
432 initialize (void)
433 {
434   char *file;
435
436   /* Load the hard-coded defaults.  */
437   defaults ();
438
439   /* If SYSTEM_WGETRC is defined, use it.  */
440 #ifdef SYSTEM_WGETRC
441   if (file_exists_p (SYSTEM_WGETRC))
442     run_wgetrc (SYSTEM_WGETRC);
443 #endif
444   /* Override it with your own, if one exists.  */
445   file = wgetrc_file_name ();
446   if (!file)
447     return;
448   /* #### We should canonicalize `file' and SYSTEM_WGETRC with
449      something like realpath() before comparing them with `strcmp'  */
450 #ifdef SYSTEM_WGETRC
451   if (!strcmp (file, SYSTEM_WGETRC))
452     {
453       fprintf (stderr, _("\
454 %s: Warning: Both system and user wgetrc point to `%s'.\n"),
455                exec_name, file);
456     }
457   else
458 #endif
459     run_wgetrc (file);
460   xfree (file);
461   return;
462 }
463 \f
464 /* Remove dashes and underscores from S, modifying S in the
465    process. */
466
467 static void
468 dehyphen (char *s)
469 {
470   char *t = s;                  /* t - tortoise */
471   char *h = s;                  /* h - hare     */
472   while (*h)
473     if (*h == '_' || *h == '-')
474       ++h;
475     else
476       *t++ = *h++;
477   *t = '\0';
478 }
479
480 /* Parse the line pointed by line, with the syntax:
481    <sp>* command <sp>* = <sp>* value <sp>*
482    Uses malloc to allocate space for command and value.
483    If the line is invalid, data is freed and 0 is returned.
484
485    Return values:
486     1 - success
487     0 - error
488    -1 - empty
489
490    In case of success, *COM and *VAL point to freshly allocated
491    strings, and *COMIND points to com's index.  In case of error or
492    empty line, those values are unaffected.  */
493
494 static int
495 parse_line (const char *line, char **com, char **val, int *comind)
496 {
497   const char *p;
498   const char *end = line + strlen (line);
499   const char *cmdstart, *cmdend;
500   const char *valstart, *valend;
501
502   char *cmdcopy;
503   int ind;
504
505   /* Skip leading and trailing whitespace.  */
506   while (*line && ISSPACE (*line))
507     ++line;
508   while (end > line && ISSPACE (end[-1]))
509     --end;
510
511   /* Skip empty lines and comments.  */
512   if (!*line || *line == '#')
513     return -1;
514
515   p = line;
516
517   cmdstart = p;
518   while (p < end && (ISALPHA (*p) || *p == '_' || *p == '-'))
519     ++p;
520   cmdend = p;
521
522   /* Skip '=', as well as any space before or after it. */
523   while (p < end && ISSPACE (*p))
524     ++p;
525   if (p == end || *p != '=')
526     return 0;
527   ++p;
528   while (p < end && ISSPACE (*p))
529     ++p;
530
531   valstart = p;
532   valend   = end;
533
534   /* The line now known to be syntactically correct.  Check whether
535      the command is valid.  */
536   BOUNDED_TO_ALLOCA (cmdstart, cmdend, cmdcopy);
537   dehyphen (cmdcopy);
538   ind = command_by_name (cmdcopy);
539   if (ind == -1)
540     return 0;
541
542   /* The command is valid.  Now fill in the values and report success
543      to the caller.  */
544   *comind = ind;
545   *com = strdupdelim (cmdstart, cmdend);
546   *val = strdupdelim (valstart, valend);
547   return 1;
548 }
549
550 /* Run commands[comind].action. */
551
552 static int
553 setval_internal (int comind, const char *com, const char *val)
554 {
555   assert (0 <= comind && comind < countof (commands));
556   DEBUGP (("Setting %s (%d) to %s\n", com, comind, val));
557   return ((*commands[comind].action) (com, val, commands[comind].closure));
558 }
559
560 /* Run command COM with value VAL.  If running the command produces an
561    error, report the error and exit.
562
563    This is intended to be called from main() to modify Wget's behavior
564    through command-line switches.  Since COM is hard-coded in main(),
565    it is not canonicalized, and this aborts when COM is not found.
566
567    If COMIND's are exported to init.h, this function will be changed
568    to accept COMIND directly.  */
569
570 void
571 setoptval (const char *com, const char *val)
572 {
573   assert (val != NULL);
574   if (!setval_internal (command_by_name (com), com, val))
575     exit (2);
576 }
577
578 /* Parse OPT into command and value and run it.  For example,
579    run_command("foo=bar") is equivalent to setoptval("foo", "bar").
580    This is used by the `--execute' flag in main.c.  */
581
582 void
583 run_command (const char *opt)
584 {
585   char *com, *val;
586   int comind;
587   int status = parse_line (opt, &com, &val, &comind);
588   if (status == 1)
589     {
590       if (!setval_internal (comind, com, val))
591         exit (2);
592       xfree (com);
593       xfree (val);
594     }
595   else if (status == 0)
596     {
597       fprintf (stderr, _("%s: Invalid --execute command `%s'\n"),
598                exec_name, opt);
599       exit (2);
600     }
601 }
602 \f
603 /* Generic helper functions, for use with `commands'. */
604
605 #define CMP1(p, c0) (TOLOWER((p)[0]) == (c0) && (p)[1] == '\0')
606
607 #define CMP2(p, c0, c1) (TOLOWER((p)[0]) == (c0)        \
608                          && TOLOWER((p)[1]) == (c1)     \
609                          && (p)[2] == '\0')
610
611 #define CMP3(p, c0, c1, c2) (TOLOWER((p)[0]) == (c0)    \
612                      && TOLOWER((p)[1]) == (c1)         \
613                      && TOLOWER((p)[2]) == (c2)         \
614                      && (p)[3] == '\0')
615
616
617 /* Store the boolean value from VAL to CLOSURE.  COM is ignored,
618    except for error messages.  */
619 static int
620 cmd_boolean (const char *com, const char *val, void *closure)
621 {
622   int bool_value;
623
624   if (CMP2 (val, 'o', 'n') || CMP3 (val, 'y', 'e', 's') || CMP1 (val, '1'))
625     /* "on", "yes" and "1" mean true. */
626     bool_value = 1;
627   else if (CMP3 (val, 'o', 'f', 'f') || CMP2 (val, 'n', 'o') || CMP1 (val, '0'))
628     /* "off", "no" and "0" mean false. */
629     bool_value = 0;
630   else
631     {
632       fprintf (stderr,
633                _("%s: %s: Invalid boolean `%s', use `on' or `off'.\n"),
634                exec_name, com, val);
635       return 0;
636     }
637
638   *(int *)closure = bool_value;
639   return 1;
640 }
641
642 /* Store the lockable_boolean {2, 1, 0, -1} value from VAL to CLOSURE.
643    COM is ignored, except for error messages.  Values 2 and -1
644    indicate that once defined, the value may not be changed by
645    successive wgetrc files or command-line arguments.
646
647    Values: 2 - Enable a particular option for good ("always")
648            1 - Enable an option ("on")
649            0 - Disable an option ("off")
650           -1 - Disable an option for good ("never") */
651 static int
652 cmd_lockable_boolean (const char *com, const char *val, void *closure)
653 {
654   int lockable_boolean_value;
655
656   int oldval = *(int *)closure;
657
658   /*
659    * If a config file said "always" or "never", don't allow command line
660    * arguments to override the config file.
661    */
662   if (oldval == -1 || oldval == 2)
663     return 1;
664
665   if (0 == strcasecmp (val, "always") || CMP1 (val, '2'))
666     lockable_boolean_value = 2;
667   else if (CMP2 (val, 'o', 'n') || CMP3 (val, 'y', 'e', 's') || CMP1 (val, '1'))
668     lockable_boolean_value = 1;
669   else if (CMP3 (val, 'o', 'f', 'f') || CMP2 (val, 'n', 'o') || CMP1 (val, '0'))
670     lockable_boolean_value = 0;
671   else if (0 == strcasecmp (val, "never") || CMP2 (val, '-', '1'))
672     lockable_boolean_value = -1;
673   else
674     {
675       fprintf (stderr,
676                _("%s: %s: Invalid boolean `%s', use always, on, off, or never.\n"),
677                exec_name, com, val);
678       return 0;
679     }
680
681   *(int *)closure = lockable_boolean_value;
682   return 1;
683 }
684
685 static int simple_atoi PARAMS ((const char *, const char *, int *));
686
687 /* Set the non-negative integer value from VAL to CLOSURE.  With
688    incorrect specification, the number remains unchanged.  */
689 static int
690 cmd_number (const char *com, const char *val, void *closure)
691 {
692   if (!simple_atoi (val, val + strlen (val), closure)
693       || *(int *) closure < 0)
694     {
695       fprintf (stderr, _("%s: %s: Invalid number `%s'.\n"),
696                exec_name, com, val);
697       return 0;
698     }
699   return 1;
700 }
701
702 /* Similar to cmd_number(), only accepts `inf' as a synonym for 0.  */
703 static int
704 cmd_number_inf (const char *com, const char *val, void *closure)
705 {
706   if (!strcasecmp (val, "inf"))
707     {
708       *(int *)closure = 0;
709       return 1;
710     }
711   return cmd_number (com, val, closure);
712 }
713
714 /* Copy (strdup) the string at COM to a new location and place a
715    pointer to *CLOSURE.  */
716 static int
717 cmd_string (const char *com, const char *val, void *closure)
718 {
719   char **pstring = (char **)closure;
720
721   xfree_null (*pstring);
722   *pstring = xstrdup (val);
723   return 1;
724 }
725
726 #ifndef WINDOWS
727 # define ISSEP(c) ((c) == '/')
728 #else
729 # define ISSEP(c) ((c) == '/' || (c) == '\\')
730 #endif
731
732 /* Like the above, but handles tilde-expansion when reading a user's
733    `.wgetrc'.  In that case, and if VAL begins with `~', the tilde
734    gets expanded to the user's home directory.  */
735 static int
736 cmd_file (const char *com, const char *val, void *closure)
737 {
738   char **pstring = (char **)closure;
739
740   xfree_null (*pstring);
741
742   /* #### If VAL is empty, perhaps should set *CLOSURE to NULL.  */
743
744   if (!enable_tilde_expansion || !(*val == '~' && ISSEP (val[1])))
745     {
746     noexpand:
747       *pstring = xstrdup (val);
748     }
749   else
750     {
751       int homelen;
752       char *home = home_dir ();
753       if (!home)
754         goto noexpand;
755
756       homelen = strlen (home);
757       while (homelen && ISSEP (home[homelen - 1]))
758         home[--homelen] = '\0';
759
760       /* Skip the leading "~/". */
761       for (++val; ISSEP (*val); val++)
762         ;
763
764       *pstring = concat_strings (home, "/", val, (char *) 0);
765     }
766
767 #ifdef WINDOWS
768   /* Convert "\" to "/". */
769   {
770     char *s;
771     for (s = *pstring; *s; s++)
772       if (*s == '\\')
773         *s = '/';
774   }
775 #endif
776   return 1;
777 }
778
779 /* Like cmd_file, but strips trailing '/' characters.  */
780 static int
781 cmd_directory (const char *com, const char *val, void *closure)
782 {
783   char *s, *t;
784
785   /* Call cmd_file() for tilde expansion and separator
786      canonicalization (backslash -> slash under Windows).  These
787      things should perhaps be in a separate function.  */
788   if (!cmd_file (com, val, closure))
789     return 0;
790
791   s = *(char **)closure;
792   t = s + strlen (s);
793   while (t > s && *--t == '/')
794     *t = '\0';
795
796   return 1;
797 }
798
799 /* Split VAL by space to a vector of values, and append those values
800    to vector pointed to by the CLOSURE argument.  If VAL is empty, the
801    CLOSURE vector is cleared instead.  */
802
803 static int
804 cmd_vector (const char *com, const char *val, void *closure)
805 {
806   char ***pvec = (char ***)closure;
807
808   if (*val)
809     *pvec = merge_vecs (*pvec, sepstring (val));
810   else
811     {
812       free_vec (*pvec);
813       *pvec = NULL;
814     }
815   return 1;
816 }
817
818 static int
819 cmd_directory_vector (const char *com, const char *val, void *closure)
820 {
821   char ***pvec = (char ***)closure;
822
823   if (*val)
824     {
825       /* Strip the trailing slashes from directories.  */
826       char **t, **seps;
827
828       seps = sepstring (val);
829       for (t = seps; t && *t; t++)
830         {
831           int len = strlen (*t);
832           /* Skip degenerate case of root directory.  */
833           if (len > 1)
834             {
835               if ((*t)[len - 1] == '/')
836                 (*t)[len - 1] = '\0';
837             }
838         }
839       *pvec = merge_vecs (*pvec, seps);
840     }
841   else
842     {
843       free_vec (*pvec);
844       *pvec = NULL;
845     }
846   return 1;
847 }
848
849 static int simple_atof PARAMS ((const char *, const char *, double *));
850
851 /* Engine for cmd_bytes and cmd_bytes_large: converts a string such as
852    "100k" or "2.5G" to a floating point number.  */
853
854 static int
855 parse_bytes_helper (const char *val, double *result)
856 {
857   double number, mult;
858   const char *end = val + strlen (val);
859
860   /* Check for "inf".  */
861   if (0 == strcmp (val, "inf"))
862     {
863       *result = 0;
864       return 1;
865     }
866
867   /* Strip trailing whitespace.  */
868   while (val < end && ISSPACE (end[-1]))
869     --end;
870   if (val == end)
871     return 0;
872
873   switch (TOLOWER (end[-1]))
874     {
875     case 'k':
876       --end, mult = 1024.0;
877       break;
878     case 'm':
879       --end, mult = 1048576.0;
880       break;
881     case 'g':
882       --end, mult = 1073741824.0;
883       break;
884     case 't':
885       --end, mult = 1099511627776.0;
886       break;
887     default:
888       /* Not a recognized suffix: assume it's a digit.  (If not,
889          simple_atof will raise an error.)  */
890       mult = 1;
891     }
892
893   /* Skip leading and trailing whitespace. */
894   while (val < end && ISSPACE (*val))
895     ++val;
896   while (val < end && ISSPACE (end[-1]))
897     --end;
898   if (val == end)
899     return 0;
900
901   if (!simple_atof (val, end, &number) || number < 0)
902     return 0;
903
904   *result = number * mult;
905   return 1;
906 }
907
908 /* Parse VAL as a number and set its value to CLOSURE (which should
909    point to a wgint).
910
911    By default, the value is assumed to be in bytes.  If "K", "M", or
912    "G" are appended, the value is multiplied with 1<<10, 1<<20, or
913    1<<30, respectively.  Floating point values are allowed and are
914    cast to integer before use.  The idea is to be able to use things
915    like 1.5k instead of "1536".
916
917    The string "inf" is returned as 0.
918
919    In case of error, 0 is returned and memory pointed to by CLOSURE
920    remains unmodified.  */
921
922 static int
923 cmd_bytes (const char *com, const char *val, void *closure)
924 {
925   double byte_value;
926   if (!parse_bytes_helper (val, &byte_value))
927     {
928       fprintf (stderr, _("%s: %s: Invalid byte value `%s'\n"),
929                exec_name, com, val);
930       return 0;
931     }
932   *(wgint *)closure = (wgint)byte_value;
933   return 1;
934 }
935
936 /* Like cmd_bytes, but CLOSURE is interpreted as a pointer to
937    LARGE_INT.  It works by converting the string to double, therefore
938    working with values up to 2^53-1 without loss of precision.  This
939    value (8192 TB) is large enough to serve for a while.  */
940
941 static int
942 cmd_bytes_large (const char *com, const char *val, void *closure)
943 {
944   double byte_value;
945   if (!parse_bytes_helper (val, &byte_value))
946     {
947       fprintf (stderr, _("%s: %s: Invalid byte value `%s'\n"),
948                exec_name, com, val);
949       return 0;
950     }
951   *(LARGE_INT *)closure = (LARGE_INT)byte_value;
952   return 1;
953 }
954
955 /* Store the value of VAL to *OUT.  The value is a time period, by
956    default expressed in seconds, but also accepting suffixes "m", "h",
957    "d", and "w" for minutes, hours, days, and weeks respectively.  */
958
959 static int
960 cmd_time (const char *com, const char *val, void *closure)
961 {
962   double number, mult;
963   const char *end = val + strlen (val);
964
965   /* Strip trailing whitespace.  */
966   while (val < end && ISSPACE (end[-1]))
967     --end;
968
969   if (val == end)
970     {
971     err:
972       fprintf (stderr, _("%s: %s: Invalid time period `%s'\n"),
973                exec_name, com, val);
974       return 0;
975     }
976
977   switch (TOLOWER (end[-1]))
978     {
979     case 's':
980       --end, mult = 1;          /* seconds */
981       break;
982     case 'm':
983       --end, mult = 60;         /* minutes */
984       break;
985     case 'h':
986       --end, mult = 3600;       /* hours */
987       break;
988     case 'd':
989       --end, mult = 86400.0;    /* days */
990       break;
991     case 'w':
992       --end, mult = 604800.0;   /* weeks */
993       break;
994     default:
995       /* Not a recognized suffix: assume it belongs to the number.
996          (If not, atof simple_atof will raise an error.)  */
997       mult = 1;
998     }
999
1000   /* Skip leading and trailing whitespace. */
1001   while (val < end && ISSPACE (*val))
1002     ++val;
1003   while (val < end && ISSPACE (end[-1]))
1004     --end;
1005   if (val == end)
1006     goto err;
1007
1008   if (!simple_atof (val, end, &number))
1009     goto err;
1010
1011   *(double *)closure = number * mult;
1012   return 1;
1013 }
1014 \f
1015 /* Specialized helper functions, used by `commands' to handle some
1016    options specially.  */
1017
1018 static int check_user_specified_header PARAMS ((const char *));
1019
1020 static int
1021 cmd_spec_dirstruct (const char *com, const char *val, void *closure)
1022 {
1023   if (!cmd_boolean (com, val, &opt.dirstruct))
1024     return 0;
1025   /* Since dirstruct behaviour is explicitly changed, no_dirstruct
1026      must be affected inversely.  */
1027   if (opt.dirstruct)
1028     opt.no_dirstruct = 0;
1029   else
1030     opt.no_dirstruct = 1;
1031   return 1;
1032 }
1033
1034 static int
1035 cmd_spec_header (const char *com, const char *val, void *closure)
1036 {
1037   if (!check_user_specified_header (val))
1038     {
1039       fprintf (stderr, _("%s: %s: Invalid header `%s'.\n"),
1040                exec_name, com, val);
1041       return 0;
1042     }
1043   return cmd_vector (com, val, closure);
1044 }
1045
1046 static int
1047 cmd_spec_htmlify (const char *com, const char *val, void *closure)
1048 {
1049   int flag = cmd_boolean (com, val, &opt.htmlify);
1050   if (flag && !opt.htmlify)
1051     opt.remove_listing = 0;
1052   return flag;
1053 }
1054
1055 /* Set the "mirror" mode.  It means: recursive download, timestamping,
1056    no limit on max. recursion depth, and don't remove listings.  */
1057
1058 static int
1059 cmd_spec_mirror (const char *com, const char *val, void *closure)
1060 {
1061   int mirror;
1062
1063   if (!cmd_boolean (com, val, &mirror))
1064     return 0;
1065   if (mirror)
1066     {
1067       opt.recursive = 1;
1068       if (!opt.no_dirstruct)
1069         opt.dirstruct = 1;
1070       opt.timestamping = 1;
1071       opt.reclevel = INFINITE_RECURSION;
1072       opt.remove_listing = 0;
1073     }
1074   return 1;
1075 }
1076
1077 /* Validate --prefer-family and set the choice.  Allowed values are
1078    "IPv4", "IPv6", and "none".  */
1079
1080 static int
1081 cmd_spec_prefer_family (const char *com, const char *val, void *closure)
1082 {
1083   if (0 == strcasecmp (val, "ipv4"))
1084     {
1085       opt.prefer_family = prefer_ipv4;
1086       return 1;
1087     }
1088   else if (0 == strcasecmp (val, "ipv6"))
1089     {
1090       opt.prefer_family = prefer_ipv6;
1091       return 1;
1092     }
1093   else if (0 == strcasecmp (val, "none"))
1094     {
1095       opt.prefer_family = prefer_none;
1096       return 1;
1097     }
1098   fprintf (stderr, _("%s: %s: Invalid preferred family `%s'.\n"),
1099            exec_name, com, val);
1100   return 0;
1101 }
1102
1103 /* Set progress.type to VAL, but verify that it's a valid progress
1104    implementation before that.  */
1105
1106 static int
1107 cmd_spec_progress (const char *com, const char *val, void *closure)
1108 {
1109   if (!valid_progress_implementation_p (val))
1110     {
1111       fprintf (stderr, _("%s: %s: Invalid progress type `%s'.\n"),
1112                exec_name, com, val);
1113       return 0;
1114     }
1115   xfree_null (opt.progress_type);
1116
1117   /* Don't call set_progress_implementation here.  It will be called
1118      in main() when it becomes clear what the log output is.  */
1119   opt.progress_type = xstrdup (val);
1120   return 1;
1121 }
1122
1123 /* Set opt.recursive to VAL as with cmd_boolean.  If opt.recursive is
1124    set to true, also set opt.dirstruct to 1, unless opt.no_dirstruct
1125    is specified.  */
1126
1127 static int
1128 cmd_spec_recursive (const char *com, const char *val, void *closure)
1129 {
1130   if (!cmd_boolean (com, val, &opt.recursive))
1131     return 0;
1132   else
1133     {
1134       if (opt.recursive && !opt.no_dirstruct)
1135         opt.dirstruct = 1;
1136     }
1137   return 1;
1138 }
1139
1140 static int
1141 cmd_spec_restrict_file_names (const char *com, const char *val, void *closure)
1142 {
1143   int restrict_os = opt.restrict_files_os;
1144   int restrict_ctrl = opt.restrict_files_ctrl;
1145
1146   const char *end = strchr (val, ',');
1147   if (!end)
1148     end = val + strlen (val);
1149
1150 #define VAL_IS(string_literal) BOUNDED_EQUAL (val, end, string_literal)
1151
1152   if (VAL_IS ("unix"))
1153     restrict_os = restrict_unix;
1154   else if (VAL_IS ("windows"))
1155     restrict_os = restrict_windows;
1156   else if (VAL_IS ("nocontrol"))
1157     restrict_ctrl = 0;
1158   else
1159     {
1160     err:
1161       fprintf (stderr,
1162                _("%s: %s: Invalid restriction `%s', use `unix' or `windows'.\n"),
1163                exec_name, com, val);
1164       return 0;
1165     }
1166
1167 #undef VAL_IS
1168
1169   if (*end)
1170     {
1171       if (!strcmp (end + 1, "nocontrol"))
1172         restrict_ctrl = 0;
1173       else
1174         goto err;
1175     }
1176
1177   opt.restrict_files_os = restrict_os;
1178   opt.restrict_files_ctrl = restrict_ctrl;
1179   return 1;
1180 }
1181
1182 /* Set all three timeout values. */
1183
1184 static int
1185 cmd_spec_timeout (const char *com, const char *val, void *closure)
1186 {
1187   double value;
1188   if (!cmd_time (com, val, &value))
1189     return 0;
1190   opt.read_timeout = value;
1191   opt.connect_timeout = value;
1192   opt.dns_timeout = value;
1193   return 1;
1194 }
1195
1196 static int
1197 cmd_spec_useragent (const char *com, const char *val, void *closure)
1198 {
1199   /* Just check for empty string and newline, so we don't throw total
1200      junk to the server.  */
1201   if (!*val || strchr (val, '\n'))
1202     {
1203       fprintf (stderr, _("%s: %s: Invalid value `%s'.\n"),
1204                exec_name, com, val);
1205       return 0;
1206     }
1207   opt.useragent = xstrdup (val);
1208   return 1;
1209 }
1210 \f
1211 /* Miscellaneous useful routines.  */
1212
1213 /* A very simple atoi clone, more useful than atoi because it works on
1214    delimited strings, and has error reportage.  Returns 1 on success,
1215    0 on failure.  If successful, stores result to *DEST.  */
1216
1217 static int
1218 simple_atoi (const char *beg, const char *end, int *dest)
1219 {
1220   int result = 0;
1221   int negative = 0;
1222   const char *p = beg;
1223
1224   while (p < end && ISSPACE (*p))
1225     ++p;
1226   if (p < end && (*p == '-' || *p == '+'))
1227     {
1228       negative = (*p == '-');
1229       ++p;
1230     }
1231   if (p == end)
1232     return 0;
1233
1234   /* Read negative numbers in a separate loop because the most
1235      negative integer cannot be represented as a positive number.  */
1236
1237   if (!negative)
1238     for (; p < end && ISDIGIT (*p); p++)
1239       {
1240         int next = (10 * result) + (*p - '0');
1241         if (next < result)
1242           return 0;             /* overflow */
1243         result = next;
1244       }
1245   else
1246     for (; p < end && ISDIGIT (*p); p++)
1247       {
1248         int next = (10 * result) - (*p - '0');
1249         if (next > result)
1250           return 0;             /* underflow */
1251         result = next;
1252       }
1253
1254   if (p != end)
1255     return 0;
1256
1257   *dest = result;
1258   return 1;
1259 }
1260
1261 /* Trivial atof, with error reporting.  Handles "<digits>[.<digits>]",
1262    doesn't handle exponential notation.  Returns 1 on success, 0 on
1263    failure.  In case of success, stores its result to *DEST.  */
1264
1265 static int
1266 simple_atof (const char *beg, const char *end, double *dest)
1267 {
1268   double result = 0;
1269
1270   int negative = 0;
1271   int seen_dot = 0;
1272   int seen_digit = 0;
1273   double divider = 1;
1274
1275   const char *p = beg;
1276
1277   while (p < end && ISSPACE (*p))
1278     ++p;
1279   if (p < end && (*p == '-' || *p == '+'))
1280     {
1281       negative = (*p == '-');
1282       ++p;
1283     }
1284
1285   for (; p < end; p++)
1286     {
1287       char ch = *p;
1288       if (ISDIGIT (ch))
1289         {
1290           if (!seen_dot)
1291             result = (10 * result) + (ch - '0');
1292           else
1293             result += (ch - '0') / (divider *= 10);
1294           seen_digit = 1;
1295         }
1296       else if (ch == '.')
1297         {
1298           if (!seen_dot)
1299             seen_dot = 1;
1300           else
1301             return 0;
1302         }
1303       else
1304         return 0;
1305     }
1306   if (!seen_digit)
1307     return 0;
1308   if (negative)
1309     result = -result;
1310
1311   *dest = result;
1312   return 1;
1313 }
1314
1315 static int
1316 check_user_specified_header (const char *s)
1317 {
1318   const char *p;
1319
1320   for (p = s; *p && *p != ':' && !ISSPACE (*p); p++);
1321   /* The header MUST contain `:' preceded by at least one
1322      non-whitespace character.  */
1323   if (*p != ':' || p == s)
1324     return 0;
1325   /* The header MUST NOT contain newlines.  */
1326   if (strchr (s, '\n'))
1327     return 0;
1328   return 1;
1329 }
1330 \f
1331 void cleanup_html_url PARAMS ((void));
1332 void http_cleanup PARAMS ((void));
1333
1334
1335 /* Free the memory allocated by global variables.  */
1336 void
1337 cleanup (void)
1338 {
1339   /* Free external resources, close files, etc. */
1340
1341   {
1342     extern FILE *output_stream;
1343     if (output_stream)
1344       fclose (output_stream);
1345     /* No need to check for error because Wget flushes its output (and
1346        checks for errors) after any data arrives.  */
1347   }
1348
1349   /* We're exiting anyway so there's no real need to call free()
1350      hundreds of times.  Skipping the frees will make Wget exit
1351      faster.
1352
1353      However, when detecting leaks, it's crucial to free() everything
1354      because then you can find the real leaks, i.e. the allocated
1355      memory which grows with the size of the program.  */
1356
1357 #ifdef DEBUG_MALLOC
1358   convert_cleanup ();
1359   res_cleanup ();
1360   http_cleanup ();
1361   cleanup_html_url ();
1362   host_cleanup ();
1363   log_cleanup ();
1364
1365   {
1366     extern acc_t *netrc_list;
1367     free_netrc (netrc_list);
1368   }
1369   xfree_null (opt.lfilename);
1370   xfree_null (opt.dir_prefix);
1371   xfree_null (opt.input_filename);
1372   xfree_null (opt.output_document);
1373   free_vec (opt.accepts);
1374   free_vec (opt.rejects);
1375   free_vec (opt.excludes);
1376   free_vec (opt.includes);
1377   free_vec (opt.domains);
1378   free_vec (opt.follow_tags);
1379   free_vec (opt.ignore_tags);
1380   xfree_null (opt.progress_type);
1381   xfree (opt.ftp_acc);
1382   xfree_null (opt.ftp_pass);
1383   xfree_null (opt.ftp_proxy);
1384   xfree_null (opt.https_proxy);
1385   xfree_null (opt.http_proxy);
1386   free_vec (opt.no_proxy);
1387   xfree_null (opt.useragent);
1388   xfree_null (opt.referer);
1389   xfree_null (opt.http_user);
1390   xfree_null (opt.http_passwd);
1391   free_vec (opt.user_headers);
1392 #ifdef HAVE_SSL
1393   xfree_null (opt.sslcertkey);
1394   xfree_null (opt.sslcertfile);
1395 #endif /* HAVE_SSL */
1396   xfree_null (opt.bind_address);
1397   xfree_null (opt.cookies_input);
1398   xfree_null (opt.cookies_output);
1399 #endif
1400 }