]> sjero.net Git - wget/blob - src/wget.h
[svn] Treat xhtml files just like regular html.
[wget] / src / wget.h
1 /* Miscellaneous declarations.
2    Copyright (C) 1995, 1996, 1997, 1998 Free Software Foundation, Inc.
3
4 This file is part of GNU Wget.
5
6 GNU Wget is free software; you can redistribute it and/or modify
7 it under the terms of the GNU General Public License as published by
8 the Free Software Foundation; either version 2 of the License, or
9 (at your option) any later version.
10
11 GNU Wget is distributed in the hope that it will be useful,
12 but WITHOUT ANY WARRANTY; without even the implied warranty of
13 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14 GNU General Public License for more details.
15
16 You should have received a copy of the GNU General Public License
17 along with Wget; if not, write to the Free Software
18 Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
19
20 In addition, as a special exception, the Free Software Foundation
21 gives permission to link the code of its release of Wget with the
22 OpenSSL project's "OpenSSL" library (or with modified versions of it
23 that use the same license as the "OpenSSL" library), and distribute
24 the linked executables.  You must obey the GNU General Public License
25 in all respects for all of the code used other than "OpenSSL".  If you
26 modify this file, you may extend this exception to your version of the
27 file, but you are not obligated to do so.  If you do not wish to do
28 so, delete this exception statement from your version.  */
29
30 /* This file contains some declarations that don't fit anywhere else.
31    It also contains some useful includes, like the obnoxious TIME_H
32    inclusion.  */
33
34 #ifndef WGET_H
35 #define WGET_H
36
37 #ifndef DEBUG
38 # define NDEBUG /* To kill off assertions */
39 #endif /* not DEBUG */
40
41 /* Define this if you want primitive but extensive malloc debugging.
42    It will make Wget extremely slow, so only do it in development
43    builds.  */
44 #undef DEBUG_MALLOC
45
46 #ifndef PARAMS
47 # if PROTOTYPES
48 #  define PARAMS(args) args
49 # else
50 #  define PARAMS(args) ()
51 # endif
52 #endif
53
54 /* `gettext (FOO)' is long to write, so we use `_(FOO)'.  If NLS is
55    unavailable, _(STRING) simply returns STRING.  */
56 #ifdef HAVE_NLS
57 # define _(string) gettext (string)
58 # ifdef HAVE_LIBINTL_H
59 #  include <libintl.h>
60 # endif /* HAVE_LIBINTL_H */
61 #else  /* not HAVE_NLS */
62 # define _(string) string
63 #endif /* not HAVE_NLS */
64
65 /* I18N NOTE: You will notice that none of the DEBUG messages are
66    marked as translatable.  This is intentional, for a few reasons:
67
68    1) The debug messages are not meant for the users to look at, but
69    for the developers; as such, they should be considered more like
70    source comments than real program output.
71
72    2) The messages are numerous, and yet they are random and frivolous
73    ("double yuck!" and such).  There would be a lot of work with no
74    gain.
75
76    3) Finally, the debug messages are meant to be a clue for me to
77    debug problems with Wget.  If I get them in a language I don't
78    understand, debugging will become a new challenge of its own!  */
79
80
81 /* Include these, so random files need not include them.  */
82 #include "sysdep.h"
83 #include "options.h"
84 /* locale independent replacement for ctype.h */
85 #include "safe-ctype.h"
86
87 #define DO_NOTHING do {} while (0)
88
89 /* Print X if debugging is enabled; a no-op otherwise.  */
90 #ifdef DEBUG
91 # define DEBUGP(x) do { if (opt.debug) { debug_logprintf x; } } while (0)
92 #else  /* not DEBUG */
93 # define DEBUGP(x) DO_NOTHING
94 #endif /* not DEBUG */
95
96 /* Make gcc check for the format of logmsg() and debug_logmsg().  */
97 #ifdef __GNUC__
98 # define GCC_FORMAT_ATTR(a, b) __attribute__ ((format (printf, a, b)))
99 #else  /* not __GNUC__ */
100 # define GCC_FORMAT_ATTR(a, b)
101 #endif /* not __GNUC__ */
102
103 /* These are from log.c, but they are used everywhere, so we declare
104    them here.  */
105 enum log_options { LOG_VERBOSE, LOG_NOTQUIET, LOG_NONVERBOSE, LOG_ALWAYS };
106
107 #ifdef HAVE_STDARG_H
108 void logprintf PARAMS ((enum log_options, const char *, ...))
109      GCC_FORMAT_ATTR (2, 3);
110 void debug_logprintf PARAMS ((const char *, ...)) GCC_FORMAT_ATTR (1, 2);
111 #else  /* not HAVE_STDARG_H */
112 void logprintf ();
113 void debug_logprintf ();
114 #endif /* not HAVE_STDARG_H */
115 void logputs PARAMS ((enum log_options, const char *));
116 void logflush PARAMS ((void));
117 void log_set_flush PARAMS ((int));
118 int log_set_save_context PARAMS ((int));
119
120 /* Defined in `utils.c', but used literally everywhere.  */
121 #ifndef DEBUG_MALLOC
122
123 #define xmalloc  xmalloc_real
124 #define xrealloc xrealloc_real
125 #define xstrdup  xstrdup_real
126 #define xfree    free
127
128 void *xmalloc_real PARAMS ((size_t));
129 void *xrealloc_real PARAMS ((void *, size_t));
130 char *xstrdup_real PARAMS ((const char *));
131
132 #else  /* DEBUG_MALLOC */
133
134 #define xmalloc(s)     xmalloc_debug (s, __FILE__, __LINE__)
135 #define xfree(p)       xfree_debug (p, __FILE__, __LINE__)
136 #define xrealloc(p, s) xrealloc_debug (p, s, __FILE__, __LINE__)
137 #define xstrdup(p)     xstrdup_debug (p, __FILE__, __LINE__)
138
139 void *xmalloc_debug PARAMS ((size_t, const char *, int));
140 void xfree_debug PARAMS ((void *, const char *, int));
141 void *xrealloc_debug PARAMS ((void *, size_t, const char *, int));
142 char *xstrdup_debug PARAMS ((const char *, const char *, int));
143
144 #endif /* DEBUG_MALLOC */
145
146 /* #### Find a better place for this.  */
147 /* The log file to which Wget writes to after HUP.  */
148 #define DEFAULT_LOGFILE "wget-log"
149
150 #define MD5_HASHLEN 16
151 \f
152 /* Useful macros used across the code: */
153
154 /* Is the string a hpyhen-only?  */
155 #define HYPHENP(x) (*(x) == '-' && !*((x) + 1))
156
157 /* The smaller value of the two.  */
158 #define MINVAL(x, y) ((x) < (y) ? (x) : (y))
159
160 /* Convert an ASCII hex digit to the corresponding number between 0
161    and 15.  X should be a hexadecimal digit that satisfies isxdigit;
162    otherwise, the result is undefined.  */
163 #define XDIGIT_TO_NUM(x) ((x) < 'A' ? (x) - '0' : TOUPPER (x) - 'A' + 10)
164
165 /* Convert a sequence of ASCII hex digits X and Y to a number betewen
166    0 and 255.  Uses XDIGIT_TO_NUM for conversion of individual
167    digits.  */
168 #define X2DIGITS_TO_NUM(h1, h2) ((XDIGIT_TO_NUM (h1) << 4) + XDIGIT_TO_NUM (h2))
169
170 /* The reverse of the above: convert a number in the [0, 16) range to
171    its ASCII representation in hex.  The A-F characters are in upper
172    case.  */
173 #define XNUM_TO_DIGIT(x) ("0123456789ABCDEF"[x])
174
175 /* Like XNUM_TO_DIGIT, but generates lower-case characters. */
176 #define XNUM_TO_digit(x) ("0123456789abcdef"[x])
177
178 /* Returns the number of elements in an array with fixed
179    initialization.  For example:
180
181    static char a[] = "foo";     -- countof(a) == 4 (for terminating \0)
182
183    int a[5] = {1, 2};           -- countof(a) == 5
184
185    char *a[3] = {               -- countof(a) == 3
186      "foo", "bar", "baz"
187    };
188
189    And, most importantly, it works when the compiler counts the array
190    elements for you:
191
192    char *a[] = {                -- countof(a) == 4
193      "foo", "bar", "baz", "qux"
194    }  */
195 #define countof(array) (sizeof (array) / sizeof (*(array)))
196
197 /* Copy the data delimited with BEG and END to alloca-allocated
198    storage, and zero-terminate it.  Arguments are evaluated only once,
199    in the order BEG, END, PLACE.  */
200 #define BOUNDED_TO_ALLOCA(beg, end, place) do { \
201   const char *BTA_beg = (beg);                  \
202   int BTA_len = (end) - BTA_beg;                \
203   char **BTA_dest = &(place);                   \
204   *BTA_dest = alloca (BTA_len + 1);             \
205   memcpy (*BTA_dest, BTA_beg, BTA_len);         \
206   (*BTA_dest)[BTA_len] = '\0';                  \
207 } while (0)
208
209 /* Return non-zero if string bounded between BEG and END is equal to
210    STRING_LITERAL.  The comparison is case-sensitive.  */
211 #define BOUNDED_EQUAL(beg, end, string_literal) \
212   ((end) - (beg) == sizeof (string_literal) - 1 \
213    && !memcmp ((beg), (string_literal),         \
214                sizeof (string_literal) - 1))
215
216 /* The same as above, except the comparison is case-insensitive. */
217 #define BOUNDED_EQUAL_NO_CASE(beg, end, string_literal) \
218   ((end) - (beg) == sizeof (string_literal) - 1         \
219    && !strncasecmp ((beg), (string_literal),            \
220                     sizeof (string_literal) - 1))
221
222 /* Note that this much more elegant definition cannot be used:
223
224    #define STRDUP_ALLOCA(str) (strcpy ((char *)alloca (strlen (str) + 1), str))
225
226    This is because some compilers don't handle alloca() as argument to
227    function correctly.  Gcc under Intel has been reported to offend in
228    this case.  */
229
230 #define STRDUP_ALLOCA(ptr, str) do {            \
231   (ptr) = (char *)alloca (strlen (str) + 1);    \
232   strcpy (ptr, str);                            \
233 } while (0)
234
235 #define ALLOCA_ARRAY(type, len) ((type *) alloca ((len) * sizeof (type)))
236
237 #define XREALLOC_ARRAY(ptr, type, len)                                  \
238      ((void) (ptr = (type *) xrealloc (ptr, (len) * sizeof (type))))
239
240 /* Generally useful if you want to avoid arbitrary size limits but
241    don't need a full dynamic array.  Assumes that BASEVAR points to a
242    malloced array of TYPE objects (or possibly a NULL pointer, if
243    SIZEVAR is 0), with the total size stored in SIZEVAR.  This macro
244    will realloc BASEVAR as necessary so that it can hold at least
245    NEEDED_SIZE objects.  The reallocing is done by doubling, which
246    ensures constant amortized time per element.  */
247 #define DO_REALLOC(basevar, sizevar, needed_size, type) do      \
248 {                                                               \
249   /* Avoid side-effectualness.  */                              \
250   long do_realloc_needed_size = (needed_size);                  \
251   long do_realloc_newsize = 0;                                  \
252   while ((sizevar) < (do_realloc_needed_size)) {                \
253     do_realloc_newsize = 2*(sizevar);                           \
254     if (do_realloc_newsize < 32)                                \
255       do_realloc_newsize = 32;                                  \
256     (sizevar) = do_realloc_newsize;                             \
257   }                                                             \
258   if (do_realloc_newsize)                                       \
259     XREALLOC_ARRAY (basevar, type, do_realloc_newsize);         \
260 } while (0)
261
262 /* Use this for small stack-allocated memory chunks that might grow.
263    The initial array is created using alloca(), and this macro
264    requests it to grow.  If the needed size is larger than the array,
265    this macro will use malloc to allocate it to new size, and copy the
266    old contents.  After that, successive invocations behave just like
267    DO_REALLOC.  */
268 #define DO_REALLOC_FROM_ALLOCA(basevar, sizevar, needed_size, allocap, type) do \
269 {                                                                               \
270   /* Avoid side-effectualness.  */                                              \
271   long do_realloc_needed_size = (needed_size);                                  \
272   long do_realloc_newsize = (sizevar);                                          \
273   while (do_realloc_newsize < do_realloc_needed_size) {                         \
274     do_realloc_newsize <<= 1;                                                   \
275     if (do_realloc_newsize < 16)                                                \
276       do_realloc_newsize = 16;                                                  \
277   }                                                                             \
278   if (do_realloc_newsize != (sizevar))                                          \
279     {                                                                           \
280       if (!allocap)                                                             \
281         XREALLOC_ARRAY (basevar, type, do_realloc_newsize);                     \
282       else                                                                      \
283         {                                                                       \
284           void *drfa_new_basevar =                                              \
285                 xmalloc (do_realloc_newsize * sizeof (type));                   \
286           memcpy (drfa_new_basevar, basevar, (sizevar) * sizeof (type));        \
287           (basevar) = drfa_new_basevar;                                         \
288           allocap = 0;                                                          \
289         }                                                                       \
290       (sizevar) = do_realloc_newsize;                                           \
291     }                                                                           \
292 } while (0)
293
294 /* Free FOO if it is non-NULL.  */
295 #define FREE_MAYBE(foo) do { if (foo) xfree (foo); } while (0)
296
297 extern const char *exec_name;
298 \f
299 /* Document type ("dt") flags */
300 enum
301 {
302   TEXTHTML             = 0x0001,        /* document is of type text/html
303                                            or application/xhtml+xml */
304   RETROKF              = 0x0002,        /* retrieval was OK */
305   HEAD_ONLY            = 0x0004,        /* only send the HEAD request */
306   SEND_NOCACHE         = 0x0008,        /* send Pragma: no-cache directive */
307   ACCEPTRANGES         = 0x0010,        /* Accept-ranges header was found */
308   ADDED_HTML_EXTENSION = 0x0020         /* added ".html" extension due to -E */
309 };
310
311 /* Universal error type -- used almost everywhere.  Error reporting of
312    this detail is not generally used or needed and should be
313    simplified.  */
314 typedef enum
315 {
316   NOCONERROR, HOSTERR, CONSOCKERR, CONERROR, CONSSLERR,
317   CONREFUSED, NEWLOCATION, NOTENOUGHMEM, CONPORTERR,
318   BINDERR, BINDOK, LISTENERR, ACCEPTERR, ACCEPTOK,
319   CONCLOSED, FTPOK, FTPLOGINC, FTPLOGREFUSED, FTPPORTERR,
320   FTPNSFOD, FTPRETROK, FTPUNKNOWNTYPE, FTPRERR,
321   FTPREXC, FTPSRVERR, FTPRETRINT, FTPRESTFAIL, URLERROR,
322   FOPENERR, FWRITEERR, HOK, HLEXC, HEOF,
323   HERR, RETROK, RECLEVELEXC, FTPACCDENIED, WRONGCODE,
324   FTPINVPASV, FTPNOPASV,
325   CONTNOTSUPPORTED, RETRUNNEEDED, RETRFINISHED, READERR, TRYLIMEXC,
326   URLBADPATTERN, FILEBADFILE, RANGEERR, RETRBADPATTERN,
327   RETNOTSUP, ROBOTSOK, NOROBOTS, PROXERR, AUTHFAILED,
328   QUOTEXC, WRITEFAILED,
329   SSLERRCERTFILE,SSLERRCERTKEY,SSLERRCTXCREATE
330 } uerr_t;
331
332 typedef unsigned char  boolean;
333 #ifndef FALSE
334 #define FALSE 0
335 #endif
336 #ifndef TRUE
337 #define TRUE  1
338 #endif
339
340 /* So we can say strcmp(a, b) == EQ rather than strcmp(a, b) == 0 or
341    the really awful !strcmp(a, b). */
342 #define EQ 0
343
344 /* For most options, 0 means no limits, but with -p in the picture, that causes
345    a problem on the maximum recursion depth variable.  To retain backwards
346    compatibility we allow users to consider "0" to be synonymous with "inf" for
347    -l, but internally infinite recursion is specified by -1 and 0 means to only
348    retrieve the requisites of a single document. */
349 #define INFINITE_RECURSION -1
350
351 #define CONNECT_ERROR(x) ((x) == ECONNREFUSED && !opt.retry_connrefused \
352                           ? CONREFUSED : CONERROR)
353
354 #endif /* WGET_H */