]> sjero.net Git - wget/blob - src/utils.c
[svn] Add the POST method.
[wget] / src / utils.c
1 /* Various functions of utilitarian nature.
2    Copyright (C) 1995, 1996, 1997, 1998, 2000, 2001
3    Free Software Foundation, Inc.
4
5 This file is part of GNU Wget.
6
7 GNU Wget is free software; you can redistribute it and/or modify
8 it under the terms of the GNU General Public License as published by
9 the Free Software Foundation; either version 2 of the License, or
10 (at your option) any later version.
11
12 GNU Wget is distributed in the hope that it will be useful,
13 but WITHOUT ANY WARRANTY; without even the implied warranty of
14 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
15 GNU General Public License for more details.
16
17 You should have received a copy of the GNU General Public License
18 along with Wget; if not, write to the Free Software
19 Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.  */
20
21 #include <config.h>
22
23 #include <stdio.h>
24 #include <stdlib.h>
25 #ifdef HAVE_STRING_H
26 # include <string.h>
27 #else  /* not HAVE_STRING_H */
28 # include <strings.h>
29 #endif /* not HAVE_STRING_H */
30 #include <sys/types.h>
31 #ifdef HAVE_UNISTD_H
32 # include <unistd.h>
33 #endif
34 #ifdef HAVE_MMAP
35 # include <sys/mman.h>
36 #endif
37 #ifdef HAVE_PWD_H
38 # include <pwd.h>
39 #endif
40 #include <limits.h>
41 #ifdef HAVE_UTIME_H
42 # include <utime.h>
43 #endif
44 #ifdef HAVE_SYS_UTIME_H
45 # include <sys/utime.h>
46 #endif
47 #include <errno.h>
48 #ifdef NeXT
49 # include <libc.h>              /* for access() */
50 #endif
51 #include <fcntl.h>
52 #include <assert.h>
53
54 /* For TIOCGWINSZ and friends: */
55 #ifdef HAVE_SYS_IOCTL_H
56 # include <sys/ioctl.h>
57 #endif
58 #ifdef HAVE_TERMIOS_H
59 # include <termios.h>
60 #endif
61
62 /* Needed for run_with_timeout. */
63 #undef USE_SIGNAL_TIMEOUT
64 #ifdef HAVE_SIGNAL_H
65 # include <signal.h>
66 #endif
67 #ifdef HAVE_SETJMP_H
68 # include <setjmp.h>
69 #endif
70 /* If sigsetjmp is a macro, configure won't pick it up. */
71 #ifdef sigsetjmp
72 # define HAVE_SIGSETJMP
73 #endif
74 #ifdef HAVE_SIGNAL
75 # ifdef HAVE_SIGSETJMP
76 #  define USE_SIGNAL_TIMEOUT
77 # endif
78 # ifdef HAVE_SIGBLOCK
79 #  define USE_SIGNAL_TIMEOUT
80 # endif
81 #endif
82
83 #include "wget.h"
84 #include "utils.h"
85 #include "fnmatch.h"
86 #include "hash.h"
87
88 #ifndef errno
89 extern int errno;
90 #endif
91
92 /* This section implements several wrappers around the basic
93    allocation routines.  This is done for two reasons: first, so that
94    the callers of these functions need not consistently check for
95    errors.  If there is not enough virtual memory for running Wget,
96    something is seriously wrong, and Wget exits with an appropriate
97    error message.
98
99    The second reason why these are useful is that, if DEBUG_MALLOC is
100    defined, they also provide a handy (if crude) malloc debugging
101    interface that checks memory leaks.  */
102
103 /* Croak the fatal memory error and bail out with non-zero exit
104    status.  */
105 static void
106 memfatal (const char *what)
107 {
108   /* Make sure we don't try to store part of the log line, and thus
109      call malloc.  */
110   log_set_save_context (0);
111   logprintf (LOG_ALWAYS, _("%s: %s: Not enough memory.\n"), exec_name, what);
112   exit (1);
113 }
114
115 /* These functions end with _real because they need to be
116    distinguished from the debugging functions, and from the macros.
117    Explanation follows:
118
119    If memory debugging is not turned on, wget.h defines these:
120
121      #define xmalloc xmalloc_real
122      #define xrealloc xrealloc_real
123      #define xstrdup xstrdup_real
124      #define xfree free
125
126    In case of memory debugging, the definitions are a bit more
127    complex, because we want to provide more information, *and* we want
128    to call the debugging code.  (The former is the reason why xmalloc
129    and friends need to be macros in the first place.)  Then it looks
130    like this:
131
132      #define xmalloc(a) xmalloc_debug (a, __FILE__, __LINE__)
133      #define xfree(a)   xfree_debug (a, __FILE__, __LINE__)
134      #define xrealloc(a, b) xrealloc_debug (a, b, __FILE__, __LINE__)
135      #define xstrdup(a) xstrdup_debug (a, __FILE__, __LINE__)
136
137    Each of the *_debug function does its magic and calls the real one.  */
138
139 #ifdef DEBUG_MALLOC
140 # define STATIC_IF_DEBUG static
141 #else
142 # define STATIC_IF_DEBUG
143 #endif
144
145 STATIC_IF_DEBUG void *
146 xmalloc_real (size_t size)
147 {
148   void *ptr = malloc (size);
149   if (!ptr)
150     memfatal ("malloc");
151   return ptr;
152 }
153
154 STATIC_IF_DEBUG void *
155 xrealloc_real (void *ptr, size_t newsize)
156 {
157   void *newptr;
158
159   /* Not all Un*xes have the feature of realloc() that calling it with
160      a NULL-pointer is the same as malloc(), but it is easy to
161      simulate.  */
162   if (ptr)
163     newptr = realloc (ptr, newsize);
164   else
165     newptr = malloc (newsize);
166   if (!newptr)
167     memfatal ("realloc");
168   return newptr;
169 }
170
171 STATIC_IF_DEBUG char *
172 xstrdup_real (const char *s)
173 {
174   char *copy;
175
176 #ifndef HAVE_STRDUP
177   int l = strlen (s);
178   copy = malloc (l + 1);
179   if (!copy)
180     memfatal ("strdup");
181   memcpy (copy, s, l + 1);
182 #else  /* HAVE_STRDUP */
183   copy = strdup (s);
184   if (!copy)
185     memfatal ("strdup");
186 #endif /* HAVE_STRDUP */
187
188   return copy;
189 }
190
191 #ifdef DEBUG_MALLOC
192
193 /* Crude home-grown routines for debugging some malloc-related
194    problems.  Featured:
195
196    * Counting the number of malloc and free invocations, and reporting
197      the "balance", i.e. how many times more malloc was called than it
198      was the case with free.
199
200    * Making malloc store its entry into a simple array and free remove
201      stuff from that array.  At the end, print the pointers which have
202      not been freed, along with the source file and the line number.
203      This also has the side-effect of detecting freeing memory that
204      was never allocated.
205
206    Note that this kind of memory leak checking strongly depends on
207    every malloc() being followed by a free(), even if the program is
208    about to finish.  Wget is careful to free the data structure it
209    allocated in init.c.  */
210
211 static int malloc_count, free_count;
212
213 static struct {
214   char *ptr;
215   const char *file;
216   int line;
217 } malloc_debug[100000];
218
219 /* Both register_ptr and unregister_ptr take O(n) operations to run,
220    which can be a real problem.  It would be nice to use a hash table
221    for malloc_debug, but the functions in hash.c are not suitable
222    because they can call malloc() themselves.  Maybe it would work if
223    the hash table were preallocated to a huge size, and if we set the
224    rehash threshold to 1.0.  */
225
226 /* Register PTR in malloc_debug.  Abort if this is not possible
227    (presumably due to the number of current allocations exceeding the
228    size of malloc_debug.)  */
229
230 static void
231 register_ptr (void *ptr, const char *file, int line)
232 {
233   int i;
234   for (i = 0; i < ARRAY_SIZE (malloc_debug); i++)
235     if (malloc_debug[i].ptr == NULL)
236       {
237         malloc_debug[i].ptr = ptr;
238         malloc_debug[i].file = file;
239         malloc_debug[i].line = line;
240         return;
241       }
242   abort ();
243 }
244
245 /* Unregister PTR from malloc_debug.  Abort if PTR is not present in
246    malloc_debug.  (This catches calling free() with a bogus pointer.)  */
247
248 static void
249 unregister_ptr (void *ptr)
250 {
251   int i;
252   for (i = 0; i < ARRAY_SIZE (malloc_debug); i++)
253     if (malloc_debug[i].ptr == ptr)
254       {
255         malloc_debug[i].ptr = NULL;
256         return;
257       }
258   abort ();
259 }
260
261 /* Print the malloc debug stats that can be gathered from the above
262    information.  Currently this is the count of mallocs, frees, the
263    difference between the two, and the dump of the contents of
264    malloc_debug.  The last part are the memory leaks.  */
265
266 void
267 print_malloc_debug_stats (void)
268 {
269   int i;
270   printf ("\nMalloc:  %d\nFree:    %d\nBalance: %d\n\n",
271           malloc_count, free_count, malloc_count - free_count);
272   for (i = 0; i < ARRAY_SIZE (malloc_debug); i++)
273     if (malloc_debug[i].ptr != NULL)
274       printf ("0x%08ld: %s:%d\n", (long)malloc_debug[i].ptr,
275               malloc_debug[i].file, malloc_debug[i].line);
276 }
277
278 void *
279 xmalloc_debug (size_t size, const char *source_file, int source_line)
280 {
281   void *ptr = xmalloc_real (size);
282   ++malloc_count;
283   register_ptr (ptr, source_file, source_line);
284   return ptr;
285 }
286
287 void
288 xfree_debug (void *ptr, const char *source_file, int source_line)
289 {
290   assert (ptr != NULL);
291   ++free_count;
292   unregister_ptr (ptr);
293   free (ptr);
294 }
295
296 void *
297 xrealloc_debug (void *ptr, size_t newsize, const char *source_file, int source_line)
298 {
299   void *newptr = xrealloc_real (ptr, newsize);
300   if (!ptr)
301     {
302       ++malloc_count;
303       register_ptr (newptr, source_file, source_line);
304     }
305   else if (newptr != ptr)
306     {
307       unregister_ptr (ptr);
308       register_ptr (newptr, source_file, source_line);
309     }
310   return newptr;
311 }
312
313 char *
314 xstrdup_debug (const char *s, const char *source_file, int source_line)
315 {
316   char *copy = xstrdup_real (s);
317   ++malloc_count;
318   register_ptr (copy, source_file, source_line);
319   return copy;
320 }
321
322 #endif /* DEBUG_MALLOC */
323 \f
324 /* Utility function: like xstrdup(), but also lowercases S.  */
325
326 char *
327 xstrdup_lower (const char *s)
328 {
329   char *copy = xstrdup (s);
330   char *p = copy;
331   for (; *p; p++)
332     *p = TOLOWER (*p);
333   return copy;
334 }
335
336 /* Return a count of how many times CHR occurs in STRING. */
337
338 int
339 count_char (const char *string, char chr)
340 {
341   const char *p;
342   int count = 0;
343   for (p = string; *p; p++)
344     if (*p == chr)
345       ++count;
346   return count;
347 }
348
349 /* Copy the string formed by two pointers (one on the beginning, other
350    on the char after the last char) to a new, malloc-ed location.
351    0-terminate it.  */
352 char *
353 strdupdelim (const char *beg, const char *end)
354 {
355   char *res = (char *)xmalloc (end - beg + 1);
356   memcpy (res, beg, end - beg);
357   res[end - beg] = '\0';
358   return res;
359 }
360
361 /* Parse a string containing comma-separated elements, and return a
362    vector of char pointers with the elements.  Spaces following the
363    commas are ignored.  */
364 char **
365 sepstring (const char *s)
366 {
367   char **res;
368   const char *p;
369   int i = 0;
370
371   if (!s || !*s)
372     return NULL;
373   res = NULL;
374   p = s;
375   while (*s)
376     {
377       if (*s == ',')
378         {
379           res = (char **)xrealloc (res, (i + 2) * sizeof (char *));
380           res[i] = strdupdelim (p, s);
381           res[++i] = NULL;
382           ++s;
383           /* Skip the blanks following the ','.  */
384           while (ISSPACE (*s))
385             ++s;
386           p = s;
387         }
388       else
389         ++s;
390     }
391   res = (char **)xrealloc (res, (i + 2) * sizeof (char *));
392   res[i] = strdupdelim (p, s);
393   res[i + 1] = NULL;
394   return res;
395 }
396 \f
397 /* Return pointer to a static char[] buffer in which zero-terminated
398    string-representation of TM (in form hh:mm:ss) is printed.
399
400    If TM is non-NULL, the current time-in-seconds will be stored
401    there.
402
403    (#### This is misleading: one would expect TM would be used instead
404    of the current time in that case.  This design was probably
405    influenced by the design time(2), and should be changed at some
406    points.  No callers use non-NULL TM anyway.)  */
407
408 char *
409 time_str (time_t *tm)
410 {
411   static char output[15];
412   struct tm *ptm;
413   time_t secs = time (tm);
414
415   if (secs == -1)
416     {
417       /* In case of error, return the empty string.  Maybe we should
418          just abort if this happens?  */
419       *output = '\0';
420       return output;
421     }
422   ptm = localtime (&secs);
423   sprintf (output, "%02d:%02d:%02d", ptm->tm_hour, ptm->tm_min, ptm->tm_sec);
424   return output;
425 }
426
427 /* Like the above, but include the date: YYYY-MM-DD hh:mm:ss.  */
428
429 char *
430 datetime_str (time_t *tm)
431 {
432   static char output[20];       /* "YYYY-MM-DD hh:mm:ss" + \0 */
433   struct tm *ptm;
434   time_t secs = time (tm);
435
436   if (secs == -1)
437     {
438       /* In case of error, return the empty string.  Maybe we should
439          just abort if this happens?  */
440       *output = '\0';
441       return output;
442     }
443   ptm = localtime (&secs);
444   sprintf (output, "%04d-%02d-%02d %02d:%02d:%02d",
445            ptm->tm_year + 1900, ptm->tm_mon + 1, ptm->tm_mday,
446            ptm->tm_hour, ptm->tm_min, ptm->tm_sec);
447   return output;
448 }
449 \f
450 /* The Windows versions of the following two functions are defined in
451    mswindows.c.  */
452
453 #ifndef WINDOWS
454 void
455 fork_to_background (void)
456 {
457   pid_t pid;
458   /* Whether we arrange our own version of opt.lfilename here.  */
459   int changedp = 0;
460
461   if (!opt.lfilename)
462     {
463       opt.lfilename = unique_name (DEFAULT_LOGFILE);
464       changedp = 1;
465     }
466   pid = fork ();
467   if (pid < 0)
468     {
469       /* parent, error */
470       perror ("fork");
471       exit (1);
472     }
473   else if (pid != 0)
474     {
475       /* parent, no error */
476       printf (_("Continuing in background, pid %d.\n"), (int)pid);
477       if (changedp)
478         printf (_("Output will be written to `%s'.\n"), opt.lfilename);
479       exit (0);                 /* #### should we use _exit()? */
480     }
481
482   /* child: give up the privileges and keep running. */
483   setsid ();
484   freopen ("/dev/null", "r", stdin);
485   freopen ("/dev/null", "w", stdout);
486   freopen ("/dev/null", "w", stderr);
487 }
488 #endif /* not WINDOWS */
489 \f
490 /* "Touch" FILE, i.e. make its atime and mtime equal to the time
491    specified with TM.  */
492 void
493 touch (const char *file, time_t tm)
494 {
495 #ifdef HAVE_STRUCT_UTIMBUF
496   struct utimbuf times;
497   times.actime = times.modtime = tm;
498 #else
499   time_t times[2];
500   times[0] = times[1] = tm;
501 #endif
502
503   if (utime (file, &times) == -1)
504     logprintf (LOG_NOTQUIET, "utime(%s): %s\n", file, strerror (errno));
505 }
506
507 /* Checks if FILE is a symbolic link, and removes it if it is.  Does
508    nothing under MS-Windows.  */
509 int
510 remove_link (const char *file)
511 {
512   int err = 0;
513   struct stat st;
514
515   if (lstat (file, &st) == 0 && S_ISLNK (st.st_mode))
516     {
517       DEBUGP (("Unlinking %s (symlink).\n", file));
518       err = unlink (file);
519       if (err != 0)
520         logprintf (LOG_VERBOSE, _("Failed to unlink symlink `%s': %s\n"),
521                    file, strerror (errno));
522     }
523   return err;
524 }
525
526 /* Does FILENAME exist?  This is quite a lousy implementation, since
527    it supplies no error codes -- only a yes-or-no answer.  Thus it
528    will return that a file does not exist if, e.g., the directory is
529    unreadable.  I don't mind it too much currently, though.  The
530    proper way should, of course, be to have a third, error state,
531    other than true/false, but that would introduce uncalled-for
532    additional complexity to the callers.  */
533 int
534 file_exists_p (const char *filename)
535 {
536 #ifdef HAVE_ACCESS
537   return access (filename, F_OK) >= 0;
538 #else
539   struct stat buf;
540   return stat (filename, &buf) >= 0;
541 #endif
542 }
543
544 /* Returns 0 if PATH is a directory, 1 otherwise (any kind of file).
545    Returns 0 on error.  */
546 int
547 file_non_directory_p (const char *path)
548 {
549   struct stat buf;
550   /* Use lstat() rather than stat() so that symbolic links pointing to
551      directories can be identified correctly.  */
552   if (lstat (path, &buf) != 0)
553     return 0;
554   return S_ISDIR (buf.st_mode) ? 0 : 1;
555 }
556
557 /* Return the size of file named by FILENAME, or -1 if it cannot be
558    opened or seeked into. */
559 long
560 file_size (const char *filename)
561 {
562   long size;
563   /* We use fseek rather than stat to determine the file size because
564      that way we can also verify whether the file is readable.
565      Inspired by the POST patch by Arnaud Wylie.  */
566   FILE *fp = fopen (filename, "rb");
567   fseek (fp, 0, SEEK_END);
568   size = ftell (fp);
569   fclose (fp);
570   return size;
571 }
572
573 /* Return a unique filename, given a prefix and count */
574 static char *
575 unique_name_1 (const char *fileprefix, int count)
576 {
577   char *filename;
578
579   if (count)
580     {
581       filename = (char *)xmalloc (strlen (fileprefix) + numdigit (count) + 2);
582       sprintf (filename, "%s.%d", fileprefix, count);
583     }
584   else
585     filename = xstrdup (fileprefix);
586
587   if (!file_exists_p (filename))
588     return filename;
589   else
590     {
591       xfree (filename);
592       return NULL;
593     }
594 }
595
596 /* Return a unique file name, based on PREFIX.  */
597 char *
598 unique_name (const char *prefix)
599 {
600   char *file = NULL;
601   int count = 0;
602
603   while (!file)
604     file = unique_name_1 (prefix, count++);
605   return file;
606 }
607 \f
608 /* Create DIRECTORY.  If some of the pathname components of DIRECTORY
609    are missing, create them first.  In case any mkdir() call fails,
610    return its error status.  Returns 0 on successful completion.
611
612    The behaviour of this function should be identical to the behaviour
613    of `mkdir -p' on systems where mkdir supports the `-p' option.  */
614 int
615 make_directory (const char *directory)
616 {
617   int quit = 0;
618   int i;
619   int ret = 0;
620   char *dir;
621
622   /* Make a copy of dir, to be able to write to it.  Otherwise, the
623      function is unsafe if called with a read-only char *argument.  */
624   STRDUP_ALLOCA (dir, directory);
625
626   /* If the first character of dir is '/', skip it (and thus enable
627      creation of absolute-pathname directories.  */
628   for (i = (*dir == '/'); 1; ++i)
629     {
630       for (; dir[i] && dir[i] != '/'; i++)
631         ;
632       if (!dir[i])
633         quit = 1;
634       dir[i] = '\0';
635       /* Check whether the directory already exists.  Allow creation of
636          of intermediate directories to fail, as the initial path components
637          are not necessarily directories!  */
638       if (!file_exists_p (dir))
639         ret = mkdir (dir, 0777);
640       else
641         ret = 0;
642       if (quit)
643         break;
644       else
645         dir[i] = '/';
646     }
647   return ret;
648 }
649
650 /* Merge BASE with FILE.  BASE can be a directory or a file name, FILE
651    should be a file name.
652
653    file_merge("/foo/bar", "baz")  => "/foo/baz"
654    file_merge("/foo/bar/", "baz") => "/foo/bar/baz"
655    file_merge("foo", "bar")       => "bar"
656
657    In other words, it's a simpler and gentler version of uri_merge_1.  */
658
659 char *
660 file_merge (const char *base, const char *file)
661 {
662   char *result;
663   const char *cut = (const char *)strrchr (base, '/');
664
665   if (!cut)
666     return xstrdup (file);
667
668   result = (char *)xmalloc (cut - base + 1 + strlen (file) + 1);
669   memcpy (result, base, cut - base);
670   result[cut - base] = '/';
671   strcpy (result + (cut - base) + 1, file);
672
673   return result;
674 }
675 \f
676 static int in_acclist PARAMS ((const char *const *, const char *, int));
677
678 /* Determine whether a file is acceptable to be followed, according to
679    lists of patterns to accept/reject.  */
680 int
681 acceptable (const char *s)
682 {
683   int l = strlen (s);
684
685   while (l && s[l] != '/')
686     --l;
687   if (s[l] == '/')
688     s += (l + 1);
689   if (opt.accepts)
690     {
691       if (opt.rejects)
692         return (in_acclist ((const char *const *)opt.accepts, s, 1)
693                 && !in_acclist ((const char *const *)opt.rejects, s, 1));
694       else
695         return in_acclist ((const char *const *)opt.accepts, s, 1);
696     }
697   else if (opt.rejects)
698     return !in_acclist ((const char *const *)opt.rejects, s, 1);
699   return 1;
700 }
701
702 /* Compare S1 and S2 frontally; S2 must begin with S1.  E.g. if S1 is
703    `/something', frontcmp() will return 1 only if S2 begins with
704    `/something'.  Otherwise, 0 is returned.  */
705 int
706 frontcmp (const char *s1, const char *s2)
707 {
708   for (; *s1 && *s2 && (*s1 == *s2); ++s1, ++s2);
709   return !*s1;
710 }
711
712 /* Iterate through STRLIST, and return the first element that matches
713    S, through wildcards or front comparison (as appropriate).  */
714 static char *
715 proclist (char **strlist, const char *s, enum accd flags)
716 {
717   char **x;
718
719   for (x = strlist; *x; x++)
720     if (has_wildcards_p (*x))
721       {
722         if (fnmatch (*x, s, FNM_PATHNAME) == 0)
723           break;
724       }
725     else
726       {
727         char *p = *x + ((flags & ALLABS) && (**x == '/')); /* Remove '/' */
728         if (frontcmp (p, s))
729           break;
730       }
731   return *x;
732 }
733
734 /* Returns whether DIRECTORY is acceptable for download, wrt the
735    include/exclude lists.
736
737    If FLAGS is ALLABS, the leading `/' is ignored in paths; relative
738    and absolute paths may be freely intermixed.  */
739 int
740 accdir (const char *directory, enum accd flags)
741 {
742   /* Remove starting '/'.  */
743   if (flags & ALLABS && *directory == '/')
744     ++directory;
745   if (opt.includes)
746     {
747       if (!proclist (opt.includes, directory, flags))
748         return 0;
749     }
750   if (opt.excludes)
751     {
752       if (proclist (opt.excludes, directory, flags))
753         return 0;
754     }
755   return 1;
756 }
757
758 /* Match the end of STRING against PATTERN.  For instance:
759
760    match_backwards ("abc", "bc") -> 1
761    match_backwards ("abc", "ab") -> 0
762    match_backwards ("abc", "abc") -> 1 */
763 int
764 match_tail (const char *string, const char *pattern)
765 {
766   int i, j;
767
768   for (i = strlen (string), j = strlen (pattern); i >= 0 && j >= 0; i--, j--)
769     if (string[i] != pattern[j])
770       break;
771   /* If the pattern was exhausted, the match was succesful.  */
772   if (j == -1)
773     return 1;
774   else
775     return 0;
776 }
777
778 /* Checks whether string S matches each element of ACCEPTS.  A list
779    element are matched either with fnmatch() or match_tail(),
780    according to whether the element contains wildcards or not.
781
782    If the BACKWARD is 0, don't do backward comparison -- just compare
783    them normally.  */
784 static int
785 in_acclist (const char *const *accepts, const char *s, int backward)
786 {
787   for (; *accepts; accepts++)
788     {
789       if (has_wildcards_p (*accepts))
790         {
791           /* fnmatch returns 0 if the pattern *does* match the
792              string.  */
793           if (fnmatch (*accepts, s, 0) == 0)
794             return 1;
795         }
796       else
797         {
798           if (backward)
799             {
800               if (match_tail (s, *accepts))
801                 return 1;
802             }
803           else
804             {
805               if (!strcmp (s, *accepts))
806                 return 1;
807             }
808         }
809     }
810   return 0;
811 }
812
813 /* Return the location of STR's suffix (file extension).  Examples:
814    suffix ("foo.bar")       -> "bar"
815    suffix ("foo.bar.baz")   -> "baz"
816    suffix ("/foo/bar")      -> NULL
817    suffix ("/foo.bar/baz")  -> NULL  */
818 char *
819 suffix (const char *str)
820 {
821   int i;
822
823   for (i = strlen (str); i && str[i] != '/' && str[i] != '.'; i--)
824     ;
825
826   if (str[i++] == '.')
827     return (char *)str + i;
828   else
829     return NULL;
830 }
831
832 /* Return non-zero if FNAME ends with a typical HTML suffix.  The
833    following (case-insensitive) suffixes are presumed to be HTML files:
834    
835      html
836      htm
837      ?html (`?' matches one character)
838
839    #### CAVEAT.  This is not necessarily a good indication that FNAME
840    refers to a file that contains HTML!  */
841 int
842 has_html_suffix_p (const char *fname)
843 {
844   char *suf;
845
846   if ((suf = suffix (fname)) == NULL)
847     return 0;
848   if (!strcasecmp (suf, "html"))
849     return 1;
850   if (!strcasecmp (suf, "htm"))
851     return 1;
852   if (suf[0] && !strcasecmp (suf + 1, "html"))
853     return 1;
854   return 0;
855 }
856
857 /* Read a line from FP and return the pointer to freshly allocated
858    storage.  The stoarage space is obtained through malloc() and
859    should be freed with free() when it is no longer needed.
860
861    The length of the line is not limited, except by available memory.
862    The newline character at the end of line is retained.  The line is
863    terminated with a zero character.
864
865    After end-of-file is encountered without anything being read, NULL
866    is returned.  NULL is also returned on error.  To distinguish
867    between these two cases, use the stdio function ferror().  */
868
869 char *
870 read_whole_line (FILE *fp)
871 {
872   int length = 0;
873   int bufsize = 82;
874   char *line = (char *)xmalloc (bufsize);
875
876   while (fgets (line + length, bufsize - length, fp))
877     {
878       length += strlen (line + length);
879       if (length == 0)
880         /* Possible for example when reading from a binary file where
881            a line begins with \0.  */
882         continue;
883
884       if (line[length - 1] == '\n')
885         break;
886
887       /* fgets() guarantees to read the whole line, or to use up the
888          space we've given it.  We can double the buffer
889          unconditionally.  */
890       bufsize <<= 1;
891       line = xrealloc (line, bufsize);
892     }
893   if (length == 0 || ferror (fp))
894     {
895       xfree (line);
896       return NULL;
897     }
898   if (length + 1 < bufsize)
899     /* Relieve the memory from our exponential greediness.  We say
900        `length + 1' because the terminating \0 is not included in
901        LENGTH.  We don't need to zero-terminate the string ourselves,
902        though, because fgets() does that.  */
903     line = xrealloc (line, length + 1);
904   return line;
905 }
906 \f
907 /* Read FILE into memory.  A pointer to `struct file_memory' are
908    returned; use struct element `content' to access file contents, and
909    the element `length' to know the file length.  `content' is *not*
910    zero-terminated, and you should *not* read or write beyond the [0,
911    length) range of characters.
912
913    After you are done with the file contents, call read_file_free to
914    release the memory.
915
916    Depending on the operating system and the type of file that is
917    being read, read_file() either mmap's the file into memory, or
918    reads the file into the core using read().
919
920    If file is named "-", fileno(stdin) is used for reading instead.
921    If you want to read from a real file named "-", use "./-" instead.  */
922
923 struct file_memory *
924 read_file (const char *file)
925 {
926   int fd;
927   struct file_memory *fm;
928   long size;
929   int inhibit_close = 0;
930
931   /* Some magic in the finest tradition of Perl and its kin: if FILE
932      is "-", just use stdin.  */
933   if (HYPHENP (file))
934     {
935       fd = fileno (stdin);
936       inhibit_close = 1;
937       /* Note that we don't inhibit mmap() in this case.  If stdin is
938          redirected from a regular file, mmap() will still work.  */
939     }
940   else
941     fd = open (file, O_RDONLY);
942   if (fd < 0)
943     return NULL;
944   fm = xmalloc (sizeof (struct file_memory));
945
946 #ifdef HAVE_MMAP
947   {
948     struct stat buf;
949     if (fstat (fd, &buf) < 0)
950       goto mmap_lose;
951     fm->length = buf.st_size;
952     /* NOTE: As far as I know, the callers of this function never
953        modify the file text.  Relying on this would enable us to
954        specify PROT_READ and MAP_SHARED for a marginal gain in
955        efficiency, but at some cost to generality.  */
956     fm->content = mmap (NULL, fm->length, PROT_READ | PROT_WRITE,
957                         MAP_PRIVATE, fd, 0);
958     if (fm->content == (char *)MAP_FAILED)
959       goto mmap_lose;
960     if (!inhibit_close)
961       close (fd);
962
963     fm->mmap_p = 1;
964     return fm;
965   }
966
967  mmap_lose:
968   /* The most common reason why mmap() fails is that FD does not point
969      to a plain file.  However, it's also possible that mmap() doesn't
970      work for a particular type of file.  Therefore, whenever mmap()
971      fails, we just fall back to the regular method.  */
972 #endif /* HAVE_MMAP */
973
974   fm->length = 0;
975   size = 512;                   /* number of bytes fm->contents can
976                                    hold at any given time. */
977   fm->content = xmalloc (size);
978   while (1)
979     {
980       long nread;
981       if (fm->length > size / 2)
982         {
983           /* #### I'm not sure whether the whole exponential-growth
984              thing makes sense with kernel read.  On Linux at least,
985              read() refuses to read more than 4K from a file at a
986              single chunk anyway.  But other Unixes might optimize it
987              better, and it doesn't *hurt* anything, so I'm leaving
988              it.  */
989
990           /* Normally, we grow SIZE exponentially to make the number
991              of calls to read() and realloc() logarithmic in relation
992              to file size.  However, read() can read an amount of data
993              smaller than requested, and it would be unreasonably to
994              double SIZE every time *something* was read.  Therefore,
995              we double SIZE only when the length exceeds half of the
996              entire allocated size.  */
997           size <<= 1;
998           fm->content = xrealloc (fm->content, size);
999         }
1000       nread = read (fd, fm->content + fm->length, size - fm->length);
1001       if (nread > 0)
1002         /* Successful read. */
1003         fm->length += nread;
1004       else if (nread < 0)
1005         /* Error. */
1006         goto lose;
1007       else
1008         /* EOF */
1009         break;
1010     }
1011   if (!inhibit_close)
1012     close (fd);
1013   if (size > fm->length && fm->length != 0)
1014     /* Due to exponential growth of fm->content, the allocated region
1015        might be much larger than what is actually needed.  */
1016     fm->content = xrealloc (fm->content, fm->length);
1017   fm->mmap_p = 0;
1018   return fm;
1019
1020  lose:
1021   if (!inhibit_close)
1022     close (fd);
1023   xfree (fm->content);
1024   xfree (fm);
1025   return NULL;
1026 }
1027
1028 /* Release the resources held by FM.  Specifically, this calls
1029    munmap() or xfree() on fm->content, depending whether mmap or
1030    malloc/read were used to read in the file.  It also frees the
1031    memory needed to hold the FM structure itself.  */
1032
1033 void
1034 read_file_free (struct file_memory *fm)
1035 {
1036 #ifdef HAVE_MMAP
1037   if (fm->mmap_p)
1038     {
1039       munmap (fm->content, fm->length);
1040     }
1041   else
1042 #endif
1043     {
1044       xfree (fm->content);
1045     }
1046   xfree (fm);
1047 }
1048 \f
1049 /* Free the pointers in a NULL-terminated vector of pointers, then
1050    free the pointer itself.  */
1051 void
1052 free_vec (char **vec)
1053 {
1054   if (vec)
1055     {
1056       char **p = vec;
1057       while (*p)
1058         xfree (*p++);
1059       xfree (vec);
1060     }
1061 }
1062
1063 /* Append vector V2 to vector V1.  The function frees V2 and
1064    reallocates V1 (thus you may not use the contents of neither
1065    pointer after the call).  If V1 is NULL, V2 is returned.  */
1066 char **
1067 merge_vecs (char **v1, char **v2)
1068 {
1069   int i, j;
1070
1071   if (!v1)
1072     return v2;
1073   if (!v2)
1074     return v1;
1075   if (!*v2)
1076     {
1077       /* To avoid j == 0 */
1078       xfree (v2);
1079       return v1;
1080     }
1081   /* Count v1.  */
1082   for (i = 0; v1[i]; i++);
1083   /* Count v2.  */
1084   for (j = 0; v2[j]; j++);
1085   /* Reallocate v1.  */
1086   v1 = (char **)xrealloc (v1, (i + j + 1) * sizeof (char **));
1087   memcpy (v1 + i, v2, (j + 1) * sizeof (char *));
1088   xfree (v2);
1089   return v1;
1090 }
1091
1092 /* A set of simple-minded routines to store strings in a linked list.
1093    This used to also be used for searching, but now we have hash
1094    tables for that.  */
1095
1096 /* It's a shame that these simple things like linked lists and hash
1097    tables (see hash.c) need to be implemented over and over again.  It
1098    would be nice to be able to use the routines from glib -- see
1099    www.gtk.org for details.  However, that would make Wget depend on
1100    glib, and I want to avoid dependencies to external libraries for
1101    reasons of convenience and portability (I suspect Wget is more
1102    portable than anything ever written for Gnome).  */
1103
1104 /* Append an element to the list.  If the list has a huge number of
1105    elements, this can get slow because it has to find the list's
1106    ending.  If you think you have to call slist_append in a loop,
1107    think about calling slist_prepend() followed by slist_nreverse().  */
1108
1109 slist *
1110 slist_append (slist *l, const char *s)
1111 {
1112   slist *newel = (slist *)xmalloc (sizeof (slist));
1113   slist *beg = l;
1114
1115   newel->string = xstrdup (s);
1116   newel->next = NULL;
1117
1118   if (!l)
1119     return newel;
1120   /* Find the last element.  */
1121   while (l->next)
1122     l = l->next;
1123   l->next = newel;
1124   return beg;
1125 }
1126
1127 /* Prepend S to the list.  Unlike slist_append(), this is O(1).  */
1128
1129 slist *
1130 slist_prepend (slist *l, const char *s)
1131 {
1132   slist *newel = (slist *)xmalloc (sizeof (slist));
1133   newel->string = xstrdup (s);
1134   newel->next = l;
1135   return newel;
1136 }
1137
1138 /* Destructively reverse L. */
1139
1140 slist *
1141 slist_nreverse (slist *l)
1142 {
1143   slist *prev = NULL;
1144   while (l)
1145     {
1146       slist *next = l->next;
1147       l->next = prev;
1148       prev = l;
1149       l = next;
1150     }
1151   return prev;
1152 }
1153
1154 /* Is there a specific entry in the list?  */
1155 int
1156 slist_contains (slist *l, const char *s)
1157 {
1158   for (; l; l = l->next)
1159     if (!strcmp (l->string, s))
1160       return 1;
1161   return 0;
1162 }
1163
1164 /* Free the whole slist.  */
1165 void
1166 slist_free (slist *l)
1167 {
1168   while (l)
1169     {
1170       slist *n = l->next;
1171       xfree (l->string);
1172       xfree (l);
1173       l = n;
1174     }
1175 }
1176 \f
1177 /* Sometimes it's useful to create "sets" of strings, i.e. special
1178    hash tables where you want to store strings as keys and merely
1179    query for their existence.  Here is a set of utility routines that
1180    makes that transparent.  */
1181
1182 void
1183 string_set_add (struct hash_table *ht, const char *s)
1184 {
1185   /* First check whether the set element already exists.  If it does,
1186      do nothing so that we don't have to free() the old element and
1187      then strdup() a new one.  */
1188   if (hash_table_contains (ht, s))
1189     return;
1190
1191   /* We use "1" as value.  It provides us a useful and clear arbitrary
1192      value, and it consumes no memory -- the pointers to the same
1193      string "1" will be shared by all the key-value pairs in all `set'
1194      hash tables.  */
1195   hash_table_put (ht, xstrdup (s), "1");
1196 }
1197
1198 /* Synonym for hash_table_contains... */
1199
1200 int
1201 string_set_contains (struct hash_table *ht, const char *s)
1202 {
1203   return hash_table_contains (ht, s);
1204 }
1205
1206 static int
1207 string_set_free_mapper (void *key, void *value_ignored, void *arg_ignored)
1208 {
1209   xfree (key);
1210   return 0;
1211 }
1212
1213 void
1214 string_set_free (struct hash_table *ht)
1215 {
1216   hash_table_map (ht, string_set_free_mapper, NULL);
1217   hash_table_destroy (ht);
1218 }
1219
1220 static int
1221 free_keys_and_values_mapper (void *key, void *value, void *arg_ignored)
1222 {
1223   xfree (key);
1224   xfree (value);
1225   return 0;
1226 }
1227
1228 /* Another utility function: call free() on all keys and values of HT.  */
1229
1230 void
1231 free_keys_and_values (struct hash_table *ht)
1232 {
1233   hash_table_map (ht, free_keys_and_values_mapper, NULL);
1234 }
1235
1236 \f
1237 /* Engine for legible and legible_very_long; this function works on
1238    strings.  */
1239
1240 static char *
1241 legible_1 (const char *repr)
1242 {
1243   static char outbuf[128];
1244   int i, i1, mod;
1245   char *outptr;
1246   const char *inptr;
1247
1248   /* Reset the pointers.  */
1249   outptr = outbuf;
1250   inptr = repr;
1251   /* If the number is negative, shift the pointers.  */
1252   if (*inptr == '-')
1253     {
1254       *outptr++ = '-';
1255       ++inptr;
1256     }
1257   /* How many digits before the first separator?  */
1258   mod = strlen (inptr) % 3;
1259   /* Insert them.  */
1260   for (i = 0; i < mod; i++)
1261     *outptr++ = inptr[i];
1262   /* Now insert the rest of them, putting separator before every
1263      third digit.  */
1264   for (i1 = i, i = 0; inptr[i1]; i++, i1++)
1265     {
1266       if (i % 3 == 0 && i1 != 0)
1267         *outptr++ = ',';
1268       *outptr++ = inptr[i1];
1269     }
1270   /* Zero-terminate the string.  */
1271   *outptr = '\0';
1272   return outbuf;
1273 }
1274
1275 /* Legible -- return a static pointer to the legibly printed long.  */
1276 char *
1277 legible (long l)
1278 {
1279   char inbuf[24];
1280   /* Print the number into the buffer.  */
1281   number_to_string (inbuf, l);
1282   return legible_1 (inbuf);
1283 }
1284
1285 /* Write a string representation of NUMBER into the provided buffer.
1286    We cannot use sprintf() because we cannot be sure whether the
1287    platform supports printing of what we chose for VERY_LONG_TYPE.
1288
1289    Example: Gcc supports `long long' under many platforms, but on many
1290    of those the native libc knows nothing of it and therefore cannot
1291    print it.
1292
1293    How long BUFFER needs to be depends on the platform and the content
1294    of NUMBER.  For 64-bit VERY_LONG_TYPE (the most common case), 24
1295    bytes are sufficient.  Using more might be a good idea.
1296
1297    This function does not go through the hoops that long_to_string
1298    goes to because it doesn't aspire to be fast.  (It's called perhaps
1299    once in a Wget run.)  */
1300
1301 static void
1302 very_long_to_string (char *buffer, VERY_LONG_TYPE number)
1303 {
1304   int i = 0;
1305   int j;
1306
1307   /* Print the number backwards... */
1308   do
1309     {
1310       buffer[i++] = '0' + number % 10;
1311       number /= 10;
1312     }
1313   while (number);
1314
1315   /* ...and reverse the order of the digits. */
1316   for (j = 0; j < i / 2; j++)
1317     {
1318       char c = buffer[j];
1319       buffer[j] = buffer[i - 1 - j];
1320       buffer[i - 1 - j] = c;
1321     }
1322   buffer[i] = '\0';
1323 }
1324
1325 /* The same as legible(), but works on VERY_LONG_TYPE.  See sysdep.h.  */
1326 char *
1327 legible_very_long (VERY_LONG_TYPE l)
1328 {
1329   char inbuf[128];
1330   /* Print the number into the buffer.  */
1331   very_long_to_string (inbuf, l);
1332   return legible_1 (inbuf);
1333 }
1334
1335 /* Count the digits in a (long) integer.  */
1336 int
1337 numdigit (long number)
1338 {
1339   int cnt = 1;
1340   if (number < 0)
1341     {
1342       number = -number;
1343       ++cnt;
1344     }
1345   while ((number /= 10) > 0)
1346     ++cnt;
1347   return cnt;
1348 }
1349
1350 #define ONE_DIGIT(figure) *p++ = n / (figure) + '0'
1351 #define ONE_DIGIT_ADVANCE(figure) (ONE_DIGIT (figure), n %= (figure))
1352
1353 #define DIGITS_1(figure) ONE_DIGIT (figure)
1354 #define DIGITS_2(figure) ONE_DIGIT_ADVANCE (figure); DIGITS_1 ((figure) / 10)
1355 #define DIGITS_3(figure) ONE_DIGIT_ADVANCE (figure); DIGITS_2 ((figure) / 10)
1356 #define DIGITS_4(figure) ONE_DIGIT_ADVANCE (figure); DIGITS_3 ((figure) / 10)
1357 #define DIGITS_5(figure) ONE_DIGIT_ADVANCE (figure); DIGITS_4 ((figure) / 10)
1358 #define DIGITS_6(figure) ONE_DIGIT_ADVANCE (figure); DIGITS_5 ((figure) / 10)
1359 #define DIGITS_7(figure) ONE_DIGIT_ADVANCE (figure); DIGITS_6 ((figure) / 10)
1360 #define DIGITS_8(figure) ONE_DIGIT_ADVANCE (figure); DIGITS_7 ((figure) / 10)
1361 #define DIGITS_9(figure) ONE_DIGIT_ADVANCE (figure); DIGITS_8 ((figure) / 10)
1362 #define DIGITS_10(figure) ONE_DIGIT_ADVANCE (figure); DIGITS_9 ((figure) / 10)
1363
1364 /* DIGITS_<11-20> are only used on machines with 64-bit longs. */
1365
1366 #define DIGITS_11(figure) ONE_DIGIT_ADVANCE (figure); DIGITS_10 ((figure) / 10)
1367 #define DIGITS_12(figure) ONE_DIGIT_ADVANCE (figure); DIGITS_11 ((figure) / 10)
1368 #define DIGITS_13(figure) ONE_DIGIT_ADVANCE (figure); DIGITS_12 ((figure) / 10)
1369 #define DIGITS_14(figure) ONE_DIGIT_ADVANCE (figure); DIGITS_13 ((figure) / 10)
1370 #define DIGITS_15(figure) ONE_DIGIT_ADVANCE (figure); DIGITS_14 ((figure) / 10)
1371 #define DIGITS_16(figure) ONE_DIGIT_ADVANCE (figure); DIGITS_15 ((figure) / 10)
1372 #define DIGITS_17(figure) ONE_DIGIT_ADVANCE (figure); DIGITS_16 ((figure) / 10)
1373 #define DIGITS_18(figure) ONE_DIGIT_ADVANCE (figure); DIGITS_17 ((figure) / 10)
1374 #define DIGITS_19(figure) ONE_DIGIT_ADVANCE (figure); DIGITS_18 ((figure) / 10)
1375
1376 /* Print NUMBER to BUFFER in base 10.  This should be completely
1377    equivalent to `sprintf(buffer, "%ld", number)', only much faster.
1378
1379    The speedup may make a difference in programs that frequently
1380    convert numbers to strings.  Some implementations of sprintf,
1381    particularly the one in GNU libc, have been known to be extremely
1382    slow compared to this function.
1383
1384    Return the pointer to the location where the terminating zero was
1385    printed.  (Equivalent to calling buffer+strlen(buffer) after the
1386    function is done.)
1387
1388    BUFFER should be big enough to accept as many bytes as you expect
1389    the number to take up.  On machines with 64-bit longs the maximum
1390    needed size is 24 bytes.  That includes the digits needed for the
1391    largest 64-bit number, the `-' sign in case it's negative, and the
1392    terminating '\0'.  */
1393
1394 char *
1395 number_to_string (char *buffer, long number)
1396 {
1397   char *p = buffer;
1398   long n = number;
1399
1400 #if (SIZEOF_LONG != 4) && (SIZEOF_LONG != 8)
1401   /* We are running in a strange or misconfigured environment.  Let
1402      sprintf cope with it.  */
1403   sprintf (buffer, "%ld", n);
1404   p += strlen (buffer);
1405 #else  /* (SIZEOF_LONG == 4) || (SIZEOF_LONG == 8) */
1406
1407   if (n < 0)
1408     {
1409       *p++ = '-';
1410       n = -n;
1411     }
1412
1413   if      (n < 10)                   { DIGITS_1 (1); }
1414   else if (n < 100)                  { DIGITS_2 (10); }
1415   else if (n < 1000)                 { DIGITS_3 (100); }
1416   else if (n < 10000)                { DIGITS_4 (1000); }
1417   else if (n < 100000)               { DIGITS_5 (10000); }
1418   else if (n < 1000000)              { DIGITS_6 (100000); }
1419   else if (n < 10000000)             { DIGITS_7 (1000000); }
1420   else if (n < 100000000)            { DIGITS_8 (10000000); }
1421   else if (n < 1000000000)           { DIGITS_9 (100000000); }
1422 #if SIZEOF_LONG == 4
1423   /* ``if (1)'' serves only to preserve editor indentation. */
1424   else if (1)                        { DIGITS_10 (1000000000); }
1425 #else  /* SIZEOF_LONG != 4 */
1426   else if (n < 10000000000L)         { DIGITS_10 (1000000000L); }
1427   else if (n < 100000000000L)        { DIGITS_11 (10000000000L); }
1428   else if (n < 1000000000000L)       { DIGITS_12 (100000000000L); }
1429   else if (n < 10000000000000L)      { DIGITS_13 (1000000000000L); }
1430   else if (n < 100000000000000L)     { DIGITS_14 (10000000000000L); }
1431   else if (n < 1000000000000000L)    { DIGITS_15 (100000000000000L); }
1432   else if (n < 10000000000000000L)   { DIGITS_16 (1000000000000000L); }
1433   else if (n < 100000000000000000L)  { DIGITS_17 (10000000000000000L); }
1434   else if (n < 1000000000000000000L) { DIGITS_18 (100000000000000000L); }
1435   else                               { DIGITS_19 (1000000000000000000L); }
1436 #endif /* SIZEOF_LONG != 4 */
1437
1438   *p = '\0';
1439 #endif /* (SIZEOF_LONG == 4) || (SIZEOF_LONG == 8) */
1440
1441   return p;
1442 }
1443
1444 #undef ONE_DIGIT
1445 #undef ONE_DIGIT_ADVANCE
1446
1447 #undef DIGITS_1
1448 #undef DIGITS_2
1449 #undef DIGITS_3
1450 #undef DIGITS_4
1451 #undef DIGITS_5
1452 #undef DIGITS_6
1453 #undef DIGITS_7
1454 #undef DIGITS_8
1455 #undef DIGITS_9
1456 #undef DIGITS_10
1457 #undef DIGITS_11
1458 #undef DIGITS_12
1459 #undef DIGITS_13
1460 #undef DIGITS_14
1461 #undef DIGITS_15
1462 #undef DIGITS_16
1463 #undef DIGITS_17
1464 #undef DIGITS_18
1465 #undef DIGITS_19
1466 \f
1467 /* Support for timers. */
1468
1469 #undef TIMER_WINDOWS
1470 #undef TIMER_GETTIMEOFDAY
1471 #undef TIMER_TIME
1472
1473 /* Depending on the OS and availability of gettimeofday(), one and
1474    only one of the above constants will be defined.  Virtually all
1475    modern Unix systems will define TIMER_GETTIMEOFDAY; Windows will
1476    use TIMER_WINDOWS.  TIMER_TIME is a catch-all method for
1477    non-Windows systems without gettimeofday.
1478
1479    #### Perhaps we should also support ftime(), which exists on old
1480    BSD 4.2-influenced systems?  (It also existed under MS DOS Borland
1481    C, if memory serves me.)  */
1482
1483 #ifdef WINDOWS
1484 # define TIMER_WINDOWS
1485 #else  /* not WINDOWS */
1486 # ifdef HAVE_GETTIMEOFDAY
1487 #  define TIMER_GETTIMEOFDAY
1488 # else
1489 #  define TIMER_TIME
1490 # endif
1491 #endif /* not WINDOWS */
1492
1493 struct wget_timer {
1494 #ifdef TIMER_GETTIMEOFDAY
1495   long secs;
1496   long usecs;
1497 #endif
1498
1499 #ifdef TIMER_TIME
1500   time_t secs;
1501 #endif
1502
1503 #ifdef TIMER_WINDOWS
1504   ULARGE_INTEGER wintime;
1505 #endif
1506 };
1507
1508 /* Allocate a timer.  It is not legal to do anything with a freshly
1509    allocated timer, except call wtimer_reset() or wtimer_delete().  */
1510
1511 struct wget_timer *
1512 wtimer_allocate (void)
1513 {
1514   struct wget_timer *wt =
1515     (struct wget_timer *)xmalloc (sizeof (struct wget_timer));
1516   return wt;
1517 }
1518
1519 /* Allocate a new timer and reset it.  Return the new timer. */
1520
1521 struct wget_timer *
1522 wtimer_new (void)
1523 {
1524   struct wget_timer *wt = wtimer_allocate ();
1525   wtimer_reset (wt);
1526   return wt;
1527 }
1528
1529 /* Free the resources associated with the timer.  Its further use is
1530    prohibited.  */
1531
1532 void
1533 wtimer_delete (struct wget_timer *wt)
1534 {
1535   xfree (wt);
1536 }
1537
1538 /* Reset timer WT.  This establishes the starting point from which
1539    wtimer_elapsed() will return the number of elapsed
1540    milliseconds.  It is allowed to reset a previously used timer.  */
1541
1542 void
1543 wtimer_reset (struct wget_timer *wt)
1544 {
1545 #ifdef TIMER_GETTIMEOFDAY
1546   struct timeval t;
1547   gettimeofday (&t, NULL);
1548   wt->secs  = t.tv_sec;
1549   wt->usecs = t.tv_usec;
1550 #endif
1551
1552 #ifdef TIMER_TIME
1553   wt->secs = time (NULL);
1554 #endif
1555
1556 #ifdef TIMER_WINDOWS
1557   FILETIME ft;
1558   SYSTEMTIME st;
1559   GetSystemTime (&st);
1560   SystemTimeToFileTime (&st, &ft);
1561   wt->wintime.HighPart = ft.dwHighDateTime;
1562   wt->wintime.LowPart  = ft.dwLowDateTime;
1563 #endif
1564 }
1565
1566 /* Return the number of milliseconds elapsed since the timer was last
1567    reset.  It is allowed to call this function more than once to get
1568    increasingly higher elapsed values.  */
1569
1570 long
1571 wtimer_elapsed (struct wget_timer *wt)
1572 {
1573 #ifdef TIMER_GETTIMEOFDAY
1574   struct timeval t;
1575   gettimeofday (&t, NULL);
1576   return (t.tv_sec - wt->secs) * 1000 + (t.tv_usec - wt->usecs) / 1000;
1577 #endif
1578
1579 #ifdef TIMER_TIME
1580   time_t now = time (NULL);
1581   return 1000 * (now - wt->secs);
1582 #endif
1583
1584 #ifdef WINDOWS
1585   FILETIME ft;
1586   SYSTEMTIME st;
1587   ULARGE_INTEGER uli;
1588   GetSystemTime (&st);
1589   SystemTimeToFileTime (&st, &ft);
1590   uli.HighPart = ft.dwHighDateTime;
1591   uli.LowPart = ft.dwLowDateTime;
1592   return (long)((uli.QuadPart - wt->wintime.QuadPart) / 10000);
1593 #endif
1594 }
1595
1596 /* Return the assessed granularity of the timer implementation.  This
1597    is important for certain code that tries to deal with "zero" time
1598    intervals.  */
1599
1600 long
1601 wtimer_granularity (void)
1602 {
1603 #ifdef TIMER_GETTIMEOFDAY
1604   /* Granularity of gettimeofday is hugely architecture-dependent.
1605      However, it appears that on modern machines it is better than
1606      1ms.  */
1607   return 1;
1608 #endif
1609
1610 #ifdef TIMER_TIME
1611   /* This is clear. */
1612   return 1000;
1613 #endif
1614
1615 #ifdef TIMER_WINDOWS
1616   /* ? */
1617   return 1;
1618 #endif
1619 }
1620 \f
1621 /* This should probably be at a better place, but it doesn't really
1622    fit into html-parse.c.  */
1623
1624 /* The function returns the pointer to the malloc-ed quoted version of
1625    string s.  It will recognize and quote numeric and special graphic
1626    entities, as per RFC1866:
1627
1628    `&' -> `&amp;'
1629    `<' -> `&lt;'
1630    `>' -> `&gt;'
1631    `"' -> `&quot;'
1632    SP  -> `&#32;'
1633
1634    No other entities are recognized or replaced.  */
1635 char *
1636 html_quote_string (const char *s)
1637 {
1638   const char *b = s;
1639   char *p, *res;
1640   int i;
1641
1642   /* Pass through the string, and count the new size.  */
1643   for (i = 0; *s; s++, i++)
1644     {
1645       if (*s == '&')
1646         i += 4;                 /* `amp;' */
1647       else if (*s == '<' || *s == '>')
1648         i += 3;                 /* `lt;' and `gt;' */
1649       else if (*s == '\"')
1650         i += 5;                 /* `quot;' */
1651       else if (*s == ' ')
1652         i += 4;                 /* #32; */
1653     }
1654   res = (char *)xmalloc (i + 1);
1655   s = b;
1656   for (p = res; *s; s++)
1657     {
1658       switch (*s)
1659         {
1660         case '&':
1661           *p++ = '&';
1662           *p++ = 'a';
1663           *p++ = 'm';
1664           *p++ = 'p';
1665           *p++ = ';';
1666           break;
1667         case '<': case '>':
1668           *p++ = '&';
1669           *p++ = (*s == '<' ? 'l' : 'g');
1670           *p++ = 't';
1671           *p++ = ';';
1672           break;
1673         case '\"':
1674           *p++ = '&';
1675           *p++ = 'q';
1676           *p++ = 'u';
1677           *p++ = 'o';
1678           *p++ = 't';
1679           *p++ = ';';
1680           break;
1681         case ' ':
1682           *p++ = '&';
1683           *p++ = '#';
1684           *p++ = '3';
1685           *p++ = '2';
1686           *p++ = ';';
1687           break;
1688         default:
1689           *p++ = *s;
1690         }
1691     }
1692   *p = '\0';
1693   return res;
1694 }
1695
1696 /* Determine the width of the terminal we're running on.  If that's
1697    not possible, return 0.  */
1698
1699 int
1700 determine_screen_width (void)
1701 {
1702   /* If there's a way to get the terminal size using POSIX
1703      tcgetattr(), somebody please tell me.  */
1704 #ifndef TIOCGWINSZ
1705   return 0;
1706 #else  /* TIOCGWINSZ */
1707   int fd;
1708   struct winsize wsz;
1709
1710   if (opt.lfilename != NULL)
1711     return 0;
1712
1713   fd = fileno (stderr);
1714   if (ioctl (fd, TIOCGWINSZ, &wsz) < 0)
1715     return 0;                   /* most likely ENOTTY */
1716
1717   return wsz.ws_col;
1718 #endif /* TIOCGWINSZ */
1719 }
1720
1721 /* Return a random number between 0 and MAX-1, inclusive.
1722
1723    If MAX is greater than the value of RAND_MAX+1 on the system, the
1724    returned value will be in the range [0, RAND_MAX].  This may be
1725    fixed in a future release.
1726
1727    The random number generator is seeded automatically the first time
1728    it is called.
1729
1730    This uses rand() for portability.  It has been suggested that
1731    random() offers better randomness, but this is not required for
1732    Wget, so I chose to go for simplicity and use rand
1733    unconditionally.  */
1734
1735 int
1736 random_number (int max)
1737 {
1738   static int seeded;
1739   double bounded;
1740   int rnd;
1741
1742   if (!seeded)
1743     {
1744       srand (time (NULL));
1745       seeded = 1;
1746     }
1747   rnd = rand ();
1748
1749   /* On systems that don't define RAND_MAX, assume it to be 2**15 - 1,
1750      and enforce that assumption by masking other bits.  */
1751 #ifndef RAND_MAX
1752 # define RAND_MAX 32767
1753   rnd &= RAND_MAX;
1754 #endif
1755
1756   /* This is equivalent to rand() % max, but uses the high-order bits
1757      for better randomness on architecture where rand() is implemented
1758      using a simple congruential generator.  */
1759
1760   bounded = (double)max * rnd / (RAND_MAX + 1.0);
1761   return (int)bounded;
1762 }
1763
1764 #if 0
1765 /* A debugging function for checking whether an MD5 library works. */
1766
1767 #include "gen-md5.h"
1768
1769 char *
1770 debug_test_md5 (char *buf)
1771 {
1772   unsigned char raw[16];
1773   static char res[33];
1774   unsigned char *p1;
1775   char *p2;
1776   int cnt;
1777   ALLOCA_MD5_CONTEXT (ctx);
1778
1779   gen_md5_init (ctx);
1780   gen_md5_update ((unsigned char *)buf, strlen (buf), ctx);
1781   gen_md5_finish (ctx, raw);
1782
1783   p1 = raw;
1784   p2 = res;
1785   cnt = 16;
1786   while (cnt--)
1787     {
1788       *p2++ = XDIGIT_TO_xchar (*p1 >> 4);
1789       *p2++ = XDIGIT_TO_xchar (*p1 & 0xf);
1790       ++p1;
1791     }
1792   *p2 = '\0';
1793
1794   return res;
1795 }
1796 #endif
1797 \f
1798 /* Implementation of run_with_timeout, a generic timeout handler for
1799    systems with Unix-like signal handling.  */
1800 #ifdef HAVE_SIGSETJMP
1801 #define SETJMP(env) sigsetjmp (env, 1)
1802
1803 static sigjmp_buf run_with_timeout_env;
1804
1805 static RETSIGTYPE
1806 abort_run_with_timeout (int sig)
1807 {
1808   assert (sig == SIGALRM);
1809   siglongjmp (run_with_timeout_env, -1);
1810 }
1811 #else  /* not HAVE_SIGSETJMP */
1812 #define SETJMP(env) setjmp (env)
1813
1814 static jmp_buf run_with_timeout_env;
1815
1816 static RETSIGTYPE
1817 abort_run_with_timeout (int sig)
1818 {
1819   assert (sig == SIGALRM);
1820   /* We don't have siglongjmp to preserve the set of blocked signals;
1821      if we longjumped out of the handler at this point, SIGALRM would
1822      remain blocked.  We must unblock it manually. */
1823   int mask = siggetmask ();
1824   mask &= ~sigmask(SIGALRM);
1825   sigsetmask (mask);
1826
1827   /* Now it's safe to longjump. */
1828   longjmp (run_with_timeout_env, -1);
1829 }
1830 #endif /* not HAVE_SIGSETJMP */
1831
1832 int
1833 run_with_timeout (long timeout, void (*fun) (void *), void *arg)
1834 {
1835 #ifndef USE_SIGNAL_TIMEOUT
1836   fun (arg);
1837   return 0;
1838 #else
1839   int saved_errno;
1840
1841   if (timeout == 0)
1842     {
1843       fun (arg);
1844       return 0;
1845     }
1846
1847   signal (SIGALRM, abort_run_with_timeout);
1848   if (SETJMP (run_with_timeout_env) != 0)
1849     {
1850       /* Longjumped out of FUN with a timeout. */
1851       signal (SIGALRM, SIG_DFL);
1852       return 1;
1853     }
1854   alarm (timeout);
1855   fun (arg);
1856
1857   /* Preserve errno in case alarm() or signal() modifies it. */
1858   saved_errno = errno;
1859   alarm (0);
1860   signal (SIGALRM, SIG_DFL);
1861   errno = saved_errno;
1862
1863   return 0;
1864 #endif
1865 }
1866