]> sjero.net Git - wget/blob - src/ChangeLog
[svn] Propagate option name to init.c code so error messages mention the
[wget] / src / ChangeLog
1 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
2
3         * main.c (main): Propagate option name to setoptval.
4
5         * init.c (setoptval): Accept another argument, OPTNAME.  Propagate
6         that argument as the option name independently of the actual
7         command, determined by command_by_name(com).
8
9 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
10
11         * init.c (parse_line): Make the return value indicate whether
12         there was a syntax error or a setter failed.
13         (run_wgetrc): Return an indication on whether an error has been
14         encountered.
15         (initialize): Abort if there have been errors running either
16         .wgetrc file.
17
18 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
19
20         * log.c (copy_and_escape): Slightly reduce code repetition between
21         the two loops.
22
23 2005-05-05  Charles C.Fu  <ccwf@bacchus.com>
24
25         * utils.c (proclist): Strip leading slash when calling fnmatch
26         too, otherwise wildcard comparisons always fail.
27
28 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
29
30         * utils.c (touch): Set access time to current time.
31
32 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
33
34         * url.c (url_unescape): Don't unescape %00, it effectively
35         truncates the string.
36
37 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
38
39         * log.c (copy_and_escape): Replace the FOR_URI argument with a
40         slightly more general mechanism for specifying different kinds of
41         escape.
42
43 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
44
45         * ftp-basic.c (ftp_response): Fix printing FTP server response.
46
47 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
48
49         * retr.c (limit_bandwidth_reset): Reset sleep_adjust.
50         (limit_bandwidth): Don't allow huge "adjustment" values that
51         result from being suspended for a while.
52
53 2005-05-04  Hrvoje Niksic  <hniksic@xemacs.org>
54
55         * wget.h: If gettext was found but libtintl.h wasn't, declare
56         gettext's return type to avoid type mismatches.
57
58 2005-05-03  Hrvoje Niksic  <hniksic@xemacs.org>
59
60         * url.c (url_parse): Rename label `error' to avoid conflict with
61         identifier.
62
63         * retr.c (fd_read_body): Rename label `out' to avoid conflict with
64         identifier.
65         (fd_read_hunk): Use explicit double constant.
66         (retrieve_from_file): Don't use string concatenation.
67         (sleep_between_retrievals): Make sure xsleep is called with a
68         `double' argument.
69         (no_proxy_match): Define as static, like it is declared.
70
71         * progress.c (bar_create): Use 0.0 instead of 0 because K&R
72         compilers can't automatically promote it.
73
74         * http-ntlm.c (ntlm_output): Replace \xHH sequences with \OOO for
75         the sake of old compilers.
76
77         * ftp.c (ftp_loop_internal): Don't use string concatenation.
78
79         * http.c (request_send): Use explicit double constants when
80         calling fd_read and fd_write.
81         (post_file): Ditto.
82         (gethttp): Ditto.
83         (skip_short_body): Ditto.
84
85         * ftp-basic.c: When calling fd_write, specify the last argument as
86         a `double' constant for the sake of K&R compilers which don't see
87         the prototype and therefore can't promote it to double
88         automatically.
89
90         * cookies.c (cookie_jar_load): Rename abort label to abort_cookie
91         to avoid name conflict in K&R compilers.
92
93 2005-04-29  Hrvoje Niksic  <hniksic@xemacs.org>
94
95         * ptimer.c (posix_init): Since we allow _POSIX_MONOTONIC_CLOCK==0,
96         it is not enough to check for _POSIX_MONOTONIC_CLOCK-0, we must
97         also check for defined(_POSIX_MONOTONIC_CLOCK).
98
99 2005-04-28  Hrvoje Niksic  <hniksic@xemacs.org>
100
101         * ftp.c, hash.c, connect.c, host.c, http.c: Remove unreached code,
102         such as "break" following return or abort.
103
104 2005-04-28  Hrvoje Niksic  <hniksic@xemacs.org>
105
106         * init.c (commands): Wrap the use of opt.random_file in #ifdef
107         HAVE_SSL.
108
109 2005-04-28  Hrvoje Niksic  <hniksic@xemacs.org>
110
111         * http.c (gethttp): Correctly set the user agent.
112
113 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
114
115         * init.c (cmd_spec_useragent): Free the old value of
116         opt.useragent before setting the new one.
117
118 2005-04-27  Mauro Tortonesi  <mauro@ferrara.linux.it>
119
120         * main.c: Map --ftp-password, --http-password and --proxy-password to
121         the new ftppassword, httppassword and proxypassword commands
122         respectively.  Document the --user and --password options in the help
123         string.
124         
125 2005-04-27  Mauro Tortonesi  <mauro@ferrara.linux.it>
126
127         * ftp.c: Add support for --user and --password.
128         
129         * http.c: Add support for --user and --password.
130         
131         * init.c: Deprecated ftppasswd, httppasswd, login, passwd and
132         proxypasswd commands.  Added ftppassword, ftpuser, httppassword,
133         password, proxypassword and user commands.
134
135         * main.c: Renamed --ftp-passwd to --ftp-password.  Added --ftp-user,
136         --http-password, --password, --proxy-password and --user.  Deprecated
137         --http-passwd and --proxy-passwd.  Added documentation for new options
138         and removed documentation for deprecated options in the help string.
139         
140         * options.h (struct options): Added user and passwd members to handle
141         --user and --password respectively.  Renamed ftp_acc and ftp_pass
142         members to ftp_user and ftp_passwd for consistency.
143
144 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
145
146         * main.c (print_help): Advertise "DER", not "ASN1".
147
148 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
149
150         * openssl.c (init_prng): Disable the weak random seed by default.
151
152         * http.c (gethttp): Simplify SSL initialization; disable SSL when
153         anything goes wrong with the initialization.
154
155         * options.h (struct options): New option opt.random_file.
156
157 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
158
159         * init.c: Wrap private key commands in IF_SSL.
160
161 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
162
163         * openssl.c (ssl_init): Ditto.
164
165         * options.h (struct options): Allow separate specification of key
166         type and certificate type.
167
168         * init.c (cmd_spec_cert_type): Provide a "der" synonym for "asn1"
169         certificate encoding.
170
171 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
172
173         * openssl.c: Renamed "gen_sslfunc.c" to "openssl.c" and
174         "gen_sslfunc.h" to "openssl.h".  This reflects the intent of
175         openssl.c encapsulating the OpenSSL-specific code.
176
177 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
178
179         * init.c: Renamed "closure" (a synonym for context in some
180         cultures) to "place", which more accurately reflects the usage.
181
182 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
183
184         * gen_sslfunc.c (ssl_init): Use default locations for loading the
185         certificate bundles.
186         (ssl_init_prng): Disable the cryptographically weak PRNG
187         initialization fallback.
188
189         * init.c: Renamed SSL command-line arguments and wgetrc commands.
190         (defaults): Check the server certificate by default.
191
192 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
193
194         * cookies.c (cookie_handle_set_cookie): Delete the part of the
195         path after the trailing slash.
196
197         * http.c (gethttp): Call cookie_handle_set_cookie with path that
198         begins with '/'.
199
200 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
201
202         * http.c (gethttp): Call skip_short_body only if keep_alive is in
203         use.
204         (gethttp): Send the User-Agent header with the CONNECT request as
205         well.
206
207 2005-04-25  Hrvoje Niksic  <hniksic@xemacs.org>
208
209         * main.c (option_data): Removed support for the undocumented flag
210         --use-proxy.
211
212 2005-04-25  Hrvoje Niksic  <hniksic@xemacs.org>
213
214         * main.c (option_data): Don't treat -Y as a boolean switch; treat
215         it as a value switch instead, so "-Y off" continues to work.
216
217 2005-04-24  Hrvoje Niksic  <hniksic@xemacs.org>
218
219         * utils.c (aprintf): Delete unreachable statement.
220
221 2005-04-24  Hrvoje Niksic  <hniksic@xemacs.org>
222
223         * host.c (cmp_prefer_ipv4): New function.
224         (cmp_prefer_ipv6): New function.
225         (lookup_host): Use the appropriate comparator according to
226         opt.prefer_family.
227
228         * init.c: New option prefer_family.
229
230         * host.c (is_valid_ipv6_address): Spell NS_* constants in lower
231         case to avoid clash with system headers.
232         (lookup_host): Reorder the addresses so that IPv4 ones come first.
233
234         * utils.c (stable_sort): New function.
235
236 2005-04-24  Hrvoje Niksic  <hniksic@xemacs.org>
237
238         * connect.c (retryable_socket_connect_error): Return 0 for
239         ENETUNREACH and EHOSTUNREACH.
240
241 2005-04-23  Hrvoje Niksic  <hniksic@xemacs.org>
242
243         * cmpt.c: Reenable the memmove implementation for systems that
244         lack it.
245
246         * http.c (gethttp): Store the "authorized" state of the persistent
247         connection.
248         (request_remove_header): New function.
249         (gethttp): Don't send the "Basic" authentication if the connection
250         is already authorized.
251
252 2005-04-23  Hrvoje Niksic  <hniksic@xemacs.org>
253
254         * utils.c (base64_encode): Treat input as unsigned chars.
255         Required for correct encoding of binary stuff.
256
257 2005-04-23  Hrvoje Niksic  <hniksic@xemacs.org>
258
259         * http-ntlm.c: Format the function definitions in an
260         ansi2knr-friendly fashion.
261
262 2005-04-22  Hrvoje Niksic  <hniksic@xemacs.org>
263
264         * http.c (gethttp): Handle multiple WWW-Authentication headers,
265         only one of which is recognized.  Those are sent by IIS with NTLM
266         authorization.
267         (create_authorization_line): Propagate information whether
268         authorization is finished.
269         (gethttp): Only stop authorization when it's really finished, not
270         after fixed two steps.
271
272 2005-04-21  Hrvoje Niksic  <hniksic@xemacs.org>
273
274         * gen_sslfunc.c (ssl_init): Fix warning message text; mark the
275         message as translatable.
276
277 2005-04-21  Hrvoje Niksic  <hniksic@xemacs.org>
278
279         * main.c (print_help): Print the EGD option outside the cluster of
280         SSL options.
281
282 2005-04-21  Hrvoje Niksic  <hniksic@xemacs.org>
283
284         * http-ntlm.c (ntlm_output): Fix setting the domain.
285         Suggested by Sami Krank.
286
287 2005-04-20  Mauro Tortonesi  <mauro@ferrara.linux.it>
288
289         * connect.c: Set IPV6_V6ONLY socket option when -6 switch is used.
290
291 2005-04-20  FUJISHIMA Satsuki  <sf@FreeBSD.org>
292
293         * http.c (request_set_header): Fix the check whether a new header
294         needs to be allocated.
295
296 2005-04-18  Hrvoje Niksic  <hniksic@xemacs.org>
297
298         * utils.c (base64_encode): Use the parameter order that makes more
299         sense.  Return the length of the base64 written.  Updated all
300         callers.
301
302 2005-04-17  Hrvoje Niksic  <hniksic@xemacs.org>
303
304         * http.c (request_set_header): Free NAME when VALUE is NULL and
305         freeing the header name is requested.
306
307 2005-04-17  Hrvoje Niksic  <hniksic@xemacs.org>
308
309         * snprintf.c (fmtstr): Declare VALUE as const char *.
310         Based on patch by Russ Allbery.
311
312 2005-04-17  Hrvoje Niksic  <hniksic@xemacs.org>
313
314         * snprintf.c (fmtfp): More correct handling of significant digit
315         count with %g -- 0.002 has one significant digit, not three.
316
317 2005-04-16  Hrvoje Niksic  <hniksic@xemacs.org>
318
319         * retr.c (fd_read_body): Respect read timeout with non-interactive
320         or no progress gauge -- treat ETIMEDOUT specially only when
321         progress_interactive.
322         Reported by FUJISHIMA Satsuki.
323
324 2005-04-16  FUJISHIMA Satsuki  <sf@FreeBSD.org>
325
326         * http.c (gethttp): Don't use HTTP/1.0 persistent connections over
327         proxy.
328
329 2005-04-16  Hrvoje Niksic  <hniksic@xemacs.org>
330
331         * snprintf.c: Use the PARAMS macro to handle prototypes.  Write
332         function definitions in the ansi2knr-friendly way.
333         (fmtstr): If string precision is specified, don't read VALUE past
334         it.
335         (dopr): Actually print %g and %e formats.
336         (fmtfp): Fix a bug that caused 0.01 to be printed as 0.1.
337         (fmtfp): Use LLONG in floating point conversions to be able to
338         convert more digits.
339         (fmtfp): Interpret precision as number of significant digits with
340         %g.
341         (fmtfp): Omit trailing decimal zeros with %g.
342
343         * snprintf.c: Don't include <ctype.h> because none of it is used.
344         Include strings.h/string.h, as per Autoconf.
345
346 2005-04-15  Hrvoje Niksic  <hniksic@xemacs.org>
347
348         * ptimer.c: Use _POSIX_TIMERS - 0 > 0, which handles the case when
349         _POSIX_TIMERS is defined but empty, as well as the case when it is
350         undefined.  Do the same with the check for _POSIX_MONOTONIC_CLOCK.
351         Suggested by Larry Jones.
352
353 2005-04-15  Hrvoje Niksic  <hniksic@xemacs.org>
354
355         * ptimer.c: Check that _POSIX_TIMERS is defined as well as > 0.
356         Problem reported by Steven M. Schweda.
357
358 2005-04-14  Hrvoje Niksic  <hniksic@xemacs.org>
359
360         * http.c (skip_short_body): Print the skipped body data in debug
361         mode.
362         (skip_short_body): Don't skip more than 4k of body data.
363         (skip_short_body): Return whether the skipping was successful.
364         (gethttp): If skip_short_body failed, invalidate the connection.
365
366 2005-04-12  Gisle Vanem  <giva@bgnett.no>
367
368         * ftp.c (getftp): Ditto.
369
370         * http.c (gethttp): Open the output file in binary mode.
371
372 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
373
374         * hash.c: Conditionalize including config.h on HAVE_CONFIG_H
375         instead of on STANDALONE.
376
377 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
378
379         * gen_sslfunc.c (ssl_print_errors): Made static.
380         (ssl_print_errors): Eliminate potentially dangerous fixed-size
381         error buffer.  Passing NULL to ERR_error_string causes it to use
382         its own static buffer, which is fine for our purposes.
383
384         * gen_sslfunc.c: Include gen_sslfunc.h.  Make the declarations of
385         ssl_init and ssl_conect match the actual definitions.
386         (ssl_connect): Simply return a boolean, the SSL context is no
387         longer useful as a return value.
388
389         * retr.c: Don't include SSL headers; we don't need them.
390
391 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
392
393         * config-post.h: Don't define _VA_LIST under Solaris; it breaks
394         compilation with GCC 3.4 under Solaris 10.  (It was defined to
395         avoid a warning with previous versions of GCC.)
396
397 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
398
399         * xmalloc.c (register_ptr): Warn the user to increase SZ prior to
400         aborting.
401
402 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
403
404         * convert.c (convert_cleanup): Free converted_files.
405
406 2005-04-10  Hrvoje Niksic  <hniksic@xemacs.org>
407
408         * wget.h (DEBUGP): Use __builtin_expect to give a hint to GCC that
409         opt.debug is false in the vast majority of cases.
410
411 2005-04-10  Hrvoje Niksic  <hniksic@xemacs.org>
412
413         * config-post.h: Declare alloca as void *, not char *.
414
415 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
416
417         * recur.c (download_child_p): When -p is used, (temporarily)
418         ignore accept/reject rules for HTMLs, even when they are at the
419         maximum recursion depth.  That is because with -p we are, if
420         necessary, overstepping the max. depth to get the requisites.
421
422 2004-06-12  Larry Jones <lawrence.jones@ugsplm.com>
423
424         * recur.c (download_child_p): Correct the logic in check number 6:
425         test opt.reclevel (not DEPTH) against INFINITE_RECURSION.
426
427 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
428
429         * url.c: Use "static const" in preference to "const static".
430         Sun's cc warns that "storage class after type is obsolescent".
431
432         * url.c (urlchr_table): Don't mark ~ as unsafe, too many broken
433         web sites are confused when ~ is changed to %7E.  Their servers
434         redirect /%7Efoo/ to /~foo/, which Wget again accesses using %7E,
435         causing further redirections, therefore looping infinitely.  See
436         Debian bug #301624 for an example.
437
438 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
439
440         * alloca.c: Include wget.h to be able to use xmalloc.  In addition
441         to defining malloc to xmalloc, also define free to xfree.
442
443 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
444
445         * http-ntlm.c (ntlm_output): Use "char", not "unsigned char" for
446         ntlmbuf.  Our base64 functions accept char anyway.
447         (ntlm_output): Join up the format string, since we nominally
448         support K&R compilers.
449         (ntlm_output): Ditto.
450
451 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
452
453         * ptimer.c: Use Windows timers under Cygwin, whose POSIX timer
454         implementation is incomplete.
455
456 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
457
458         * ptimer.c (struct ptimer): Remove the unused initialized field.
459
460         * ptimer.c: Renamed function parameters from WT (which used to
461         stand for wget_timer or wtimer) to PT.
462
463 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
464
465         * ptimer.c (posix_init): Be smarter about choosing clocks.  In
466         decreasing order of preference, use CLOCK_MONOTONIC,
467         CLOCK_HIGHRES, and CLOCK_REALTIME.
468         (ptimer_allocate): Removed.
469
470         * ptimer.c: Refactor the code by cleanly separating the
471         architecture-dependent code from the architecture-independent
472         code.
473
474 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
475
476         * ptimer.c (ptimer_init): Explicitly check that
477         _POSIX_MONOTONIC_CLOCK is *both* defined and >=0.  (Undefined
478         symbols are >=0.)
479
480 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
481
482         * ptimer.c (ptimer_diff): Fix typo affecting Windows build.
483
484 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
485
486         * ptimer.c (ptimer_init): In fact, _POSIX_MONOTONIC_CLOCK needs to
487         be >= 0.
488
489         * ptimer.c (ptimer_init): Check whether _POSIX_MONOTONIC_CLOCK is
490         defined instead of whether it's greater than 0.  glibc defines it
491         to 0, but still makes it available via sysconf.
492
493 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
494
495         * mswindows.c (str_to_int64): Rename OVERFLOW and UNDERFLOW to
496         INT64_OVERFLOW and INT64_UNDERFLOW, since those names are used.
497
498 2005-04-07  Hrvoje Niksic  <hniksic@xemacs.org>
499
500         * ptimer.c: New file.  Move the "wtimer" functions from utils.c to
501         this file and rename them to ptimer_.
502
503 2005-04-07  Hrvoje Niksic  <hniksic@xemacs.org>
504
505         * host.c (NO_ADDRESS): Define NO_ADDRESS only after the system
506         headers have been included.
507
508 2005-04-06  Hrvoje Niksic  <hniksic@xemacs.org>
509
510         * http.c (pconn): Include NTLM data, which is per-connection.
511         (known_authentication_scheme_p): Recognize NTLM authorization.
512         (create_authorization_line): Call ntlm_input and ntlm_output.
513
514         * http-ntlm.c: New file, donated by Daniel Stenberg and originally
515         written for curl, heavily modified for Wget.
516
517         * utils.c (base64_encode): Relocated from http.c, since it is now
518         used by http-ntlm.c, and will possibly be used elsewhere.
519         (base64_decode): New function, originally based on code from GNU
520         recode.
521
522 2005-04-02  Hrvoje Niksic  <hniksic@xemacs.org>
523
524         * ftp.c (ftp_loop): Ditto.
525
526         * ftp-basic.c (ftp_pasv): Use the xzero shorthand for memset(0).
527         (ftp_lpsv): Ditto.
528
529 2005-04-05  Mauro Tortonesi  <mauro@ferrara.linux.it>
530
531         * Makefile.in: removed string_t.c from list of source files.
532
533 2005-04-04  Mauro Tortonesi  <mauro@ferrara.linux.it>
534
535         * string_t.c: Removed.
536         
537         * string_t.h: Removed.
538
539 2005-04-02  Hrvoje Niksic  <hniksic@xemacs.org>
540
541         * url.c (rewrite_shorthand_url): Only accept recognized schemes.
542         That way "foo:80" will correctly be rewritten to "http://foo:80"
543         instead of left unchanged and ultimately rejected because of
544         "unsupported scheme foo".
545
546 2005-03-31  Hrvoje Niksic  <hniksic@xemacs.org>
547
548         * utils.c (number_to_string): Avoid explicit 64-bit constants;
549         construct them by multiplication at compile-time.
550
551         * utils.c, elsewhere: Don't append "L" to 32-bit integer
552         constants; we aren't really compilable on 16-bit systems anyway.
553
554         * hash.c (prime_size): Remove primes larger than 2^31, but include
555         2^31-1, which is prime.
556
557 2005-03-30  Hrvoje Niksic  <hniksic@xemacs.org>
558
559         * utils.c (string_set_to_array): New function.
560
561         * convert.c: Replace the use of "slists" with sets/hash-tables,
562         which in fact suit the intended purpose much better.
563         downloaded_html_list is removed altogether.
564
565 2005-03-29  Hrvoje Niksic  <hniksic@xemacs.org>
566
567         * ftp.h (enum): Rename GLOBALL, GETALL, and GETONE to
568         GLOB_GLOBALL, GLOB_GETALL, and GLOB_GETONE to avoid conflict with
569         Linux headers.
570
571 2005-03-29  Hrvoje Niksic  <hniksic@xemacs.org>
572
573         * utils.c (numdigit): More correct handling of negative numbers.
574
575 2005-03-21  Hrvoje Niksic  <hniksic@xemacs.org>
576
577         * http.c (gethttp): Print the human-readable size.
578
579         * ftp.c (getftp): Print the human-readable size of the file to be
580         downloaded.
581
582         * utils.c (human_readable): New function.
583
584         * utils.c: Renamed "legible" to "with_thousand_seps",
585         "legible_large_int" to "with_thousand_seps_large", and "legible_1"
586         to "add_thousand_seps".
587
588 2005-03-21  Hrvoje Niksic  <hniksic@xemacs.org>
589
590         * http.c (gethttp): Inhibit persistent connections when talking to
591         proxies, as mandated by RFC 2068.
592
593 2005-03-20  Hrvoje Niksic  <hniksic@xemacs.org>
594
595         * url.c (unescape_single_char): New function.
596         (url_escape_dir): Use it to unescape slashes in directory
597         components.
598         (url_string): Escape unsafe chars in host name, except for the ':'
599         charaters, which can appear in IPv6 addresses.
600
601         * main.c (main): Don't access the cookie jar directly.
602
603         * log.c (escnonprint_internal): Correctly calculate the needed
604         string size.  Don't forget the buffer's new size after having
605         reallocated it.
606         (log_cleanup): New function.  Free the escnonprint ring data.
607
608         * init.c (cleanup): Don't free the cookie jar explicitly, it is
609         now done by http_cleanup.
610         (cleanup): opt.user_headers is now a vector, free it with
611         free_vec.
612
613         * http.c (gethttp): Make sure to free the request data, the status
614         message, and the response data before returning from the function.
615         (save_cookies): New function.
616         (http_cleanup): Free the cookie jar here.
617
618         * hash.c: Renamed string_hash to hash_string and ptrhash to
619         hash_pointer.  Exported hash_pointer.
620
621         * xmalloc.c: Organized malloc_table (previously malloc_debug) as a
622         simple EQ hash table.  register_ptr and unregister_ptr are now of
623         O(1) complexity.
624
625         * xmalloc.c: Renamed "*_debug" to debugging_* and "*_real" to
626         checking_*.
627
628 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
629
630         * utils.c (debug_test_md5): Moved to gen-md5.c.
631
632         * mswindows.h: Don't declare inet_ntop, since we don't use it.
633
634         * mswindows.h: For consistency, also wrap closesocket, it being
635         a Winsock call.
636
637         * mswindows.h: Don't declare sleep and usleep; we're defining
638         xsleep now.
639
640         * mswindows.h (mkdir): Don't special-case Borland C, _mkdir
641         works there as well.
642
643         * host.c: Don't include winsock header files; the correct ones
644         are already included by mswindows.h.
645
646         * mswindows.c (xsleep): Round toward the nearest millisecond
647         in an attempt to avoid average short sleeps.
648
649         * utils.c (wtimer_granularity): Report correct values for
650         Windows timers and for high-resolution timers.
651
652         * utils.c (wtimer_initialize_once): New function, called to
653         initialize the timer frequency.
654
655         * utils.c: Replace the use of GetSystemTime with high-resolution
656         counters under Windows.  When high-resolution counters are
657         unavailable, use GetTickCount().
658
659 2005-03-15  Hrvoje Niksic  <hniksic@xemacs.org>
660
661         * retr.c (fd_read_body): Undo the 2004-11-18 change.  Instead,
662         always be "exact".
663
664 2005-03-17  Hrvoje Niksic  <hniksic@xemacs.org>
665
666         * ftp-basic.c (ftp_login): Don't free the string if ftp_response
667         returned an error status because the line didn't get allocated in
668         the first place.
669
670 2005-03-15  Hrvoje Niksic  <hniksic@xemacs.org>
671
672         * http.c (read_http_response_head): Limit the response size to 64k
673         bytes.
674
675         * retr.c (fd_read_hunk): Accept a MAXSIZE argument that limits the
676         number of bytes the function is allowed to allocate.
677         (fd_read_line): Limit the line to 4096 bytes.
678
679 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
680
681         * wget.h: Include options.h after wgint has been defined.
682
683         * options.h (struct options): Declare options processed with
684         cmd_bytes as wgint, not long.
685
686 2005-03-18  Hrvoje Niksic  <hniksic@xemacs.org>
687
688         * init.c (cmd_file): Use concat_strings.
689
690         * http.c (basic_authentication_encode): Use concat_strings.
691
692         * ftp-ls.c (ftp_index): Use concat_strings.
693
694         * ftp-basic.c (ftp_request): Use concat_strings.
695
696         * utils.c (concat_strings): New function.
697
698 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
699
700         * init.c (simple_atof): Handle negative numbers; skip whitespace
701         before the number.
702         (simple_atoi): Ditto.  Also, check for overflow and underflow.
703         (cmd_number): Bail out on negative numbers.
704         (parse_bytes_helper): Ditto.
705
706 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
707
708         * http.c (gethttp): Handle multiple Set-Cookie headers sent by
709         remote server.
710
711 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
712
713         * init.c (defaults): Use passive FTP by default.
714
715 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
716
717         * mswindows.c: Provide wrappers to Winsock functions that set
718         errno to WSAGetLastError() in case of failure.  Also provide a
719         Windows-specific version of strerror.
720
721         * mswindows.h: Wrap calls to socket, bind, connect, recv, send,
722         select, getsockname, getpeername, and setsockopt.
723
724 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
725
726         * url.c (url_parse): Reject port numbers larger than 65535.  We
727         also check for overflow while parsing port numbers.
728
729 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
730
731         * utils.c (read_file): Don't use wgint for file size; LFS won't
732         work since the file is mmap'ed as a whole.
733
734         * options.h: Don't include stdio.h.
735
736         * log.c: Ditto.
737
738         * init.c: Disambiguate assignment from non-zero test to avoid
739         Borland C warning.
740
741         * http.c (response_new): Don't needlessly post-increment count.
742
743         * hash.c: Include stdio.h.
744
745         * gnu-md5.h: Don't include stdio.h.
746
747         * getopt.h (struct option): Always use const.
748
749         * ftp.c (getftp): Avoid unnecessary assignment to RES to avoid
750         Borland C warning.
751
752         * ftp-ls.c: Disambiguate assignment from non-zero test to avoid
753         Borland C warning.
754
755         * cmpt.c (strptime_internal): Don't initialize rp_backup when
756         !_NL_CURRENT to avoid Borland C warning.
757
758 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
759
760         * utils.c (fopen_excl): Fix parse error when O_BINARY is
761         available.
762
763 2005-03-05  Hrvoje Niksic  <hniksic@xemacs.org>
764
765         * url.c (url_file_name): Don't allow hosts named ".." to be
766         appended as path elements.
767
768 2005-03-03  Hrvoje Niksic  <hniksic@xemacs.org>
769
770         * retr.c (retrieve_url): Escape location header.
771
772         * http.c (print_server_response_1): Escape server response when
773         printing it.
774         (gethttp): Escape host name, status message, location header, and
775         content type.
776         (http_loop): Escape error message from server.
777
778         * host.c (lookup_host): Escape host name when printing it.
779
780         * ftp.c (getftp): Escape user name when printing it.
781         (getftp): Escape remote file and directory for printing.
782         (getftp): Escape server listing when printing it.
783         (ftp_retrieve_list): Escape link name and file name.
784         (ftp_retrieve_glob): Escape file name.
785
786         * ftp-basic.c (ftp_response): Escape server response when printing
787         it.
788
789         * cookies.c (parse_set_cookies): Escape the cookie field when
790         printing it.
791         (parse_set_cookies): Escape contents of remote header.
792         (cookie_handle_set_cookie): Escape host name and cookie domain.
793
794         * connect.c (connect_to_ip): Escape the host name.
795
796         * log.c (escnonprint): New function, used for printing strings
797         coming from the server that possibly contain non-ASCII characters.
798         (escnonprint_uri): Ditto.
799
800 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
801
802         * ftp.c (getftp): Ditto.
803
804         * http.c (gethttp): When we're not supposed to overwrite files,
805         use fopen_excl to open the file and recompute the file name.
806
807         * log.c (redirect_output): Use unique_create to avoid a race
808         condition.
809
810         * mswindows.c (fake_fork_child): Use unique_create.
811
812         * utils.c (fopen_excl): New function that opens a stdio stream
813         with the O_EXCL flag (where available).
814         (unique_create): New function, like unique_name, but also creating
815         the file and returning a file pointer.
816         (fork_to_background): Use unique_create to create the file
817         immediately to avoid race condition with multiple instances of
818         wget -b.
819
820 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
821
822         * host.c (lookup_host): Test for AI_ADDRCONFIG directly, instead
823         of checking for HAVE_GETADDRINFO_AI_ADDRCONFIG.
824
825 2005-02-23  Hrvoje Niksic  <hniksic@xemacs.org>
826
827         * host.c (is_valid_ipv6_address): Move here from url.c.
828         (lookup_host): If the address is numeric, don't print the
829         "resolving..." line, don't set up DNS timeouts, and set the
830         AI_NUMERICHOST hint, where available.
831
832 2005-02-26  Gisle Vanem  <giva@bgnett.no>
833
834         * utils.c: Use the nnnLL syntax under GCC.  Define struct_stat to
835         struct _stati64 under __MINGW32__ as well as under MS VC.
836
837 2005-02-26  Hrvoje Niksic  <hniksic@xemacs.org>
838
839         * utils.c: Use the nnnI64 syntax for __int64 constants under all
840         Windows compilers.
841         (SPRINTF_WGINT): Use "%I64" under all Windows compilers.
842
843         * mswindows.h (WGINT_MAX): Use the nnnI64 syntax for
844         __int64 constants under all Windows compilers.
845         (struct_stat): Use `struct stati64' under Borland C.
846         (fstat): Don't redefine to _fstati64 under Borland.
847
848         * mswindows.c: Define str_to_int64 under Borland C as well as
849         under (older) Visual C.
850
851 2005-02-25  Hrvoje Niksic  <hniksic@xemacs.org>
852
853         * ftp.c (getftp): Initialize err to suppress compiler warning.
854
855 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
856
857         * ftp.c (ftp_expected_bytes): Fix bug that caused infloop because
858         of not correctly skipping the '(' character.
859
860 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
861
862         * mswindows.c (wget_ftello): Removed.
863
864         * mswindows.h: Remove bogus definition of stat.
865         (wget_ftello): Remove the leftover ftello replacement.
866
867 2005-02-20  Hrvoje Niksic  <hniksic@xemacs.org>
868
869         * mswindows.c (wget_ftello): Wget's replacement for ftello.
870
871         * utils.c (file_size): Use ftello where available.
872
873         * ftp-ls.c (ftp_parse_unix_ls): Use str_to_wgint to parse the file
874         size.
875         (ftp_parse_winnt_ls): Ditto.
876
877         * ftp-basic.c (ftp_size): Use str_to_wgint to convert number to
878         wgint; pass 10 instead of 0 as the BASE argument.
879
880         * ftp.c (ftp_expected_bytes): Use str_to_wgint to parse the file
881         size.
882
883         * sysdep.h (LARGE_INT_FMT): Use __int64 as LARGE_INT on
884         MSVC/Windows; print it with "%I64".
885
886         * wget.h: Define a `wgint' type, normally aliased to (the possibly
887         64-bit variant of) off_t.
888
889         * all: Use `wgint' instead of `long' for numeric variables that
890         can hold file sizes.
891
892         * utils.c (number_to_string): Support printing of `wgint'
893         argument.
894         (number_to_static_string): New function.
895
896         * all: Replace printf("%ld", long_value) with printf("%s",
897         number_to_static_string(wgint_value)).
898
899 2005-02-18  Mauro Tortonesi <mauro@ferrara.linux.it>
900
901         * main.c: Added the --ftp-passwd command line option.
902
903         * init.c: Renamed command passwd to ftppasswd.
904
905 2005-02-11  Mauro Tortonesi <mauro@ferrara.linux.it>
906         
907         * string_t.c: Fixed a bug in do_escape and triggered escape of
908         backslashes in string_escape to avoid ambiguities in the result
909         string.
910         
911 2005-02-10  Mauro Tortonesi <mauro@ferrara.linux.it>
912
913         * string.h: Renamed to string_t.h to fix a compilation conflict 
914         with the string.h header in the standard C library.
915         
916         * string.c: Renamed to string_t.c for consistency with string.h.
917         
918         * string_t.c: Ditto.
919
920         * string_t.h: Ditto.
921         
922 2004-12-31  Mauro Tortonesi <mauro@ferrara.linux.it>
923
924         * string.c: New file.
925
926         * string.h: New file.
927
928         * Makefile.in: Added string.c to the list of modules to compile.
929
930         * main.c: Updated copyright.
931
932 2004-11-18  Ulf Harnhammar <ulf.harnhammar.9485@student.uu.se>
933
934         * ftp-ls.c: Fixed a problem in ftp_parse_winnt_ls that could allow a
935         malicious remote FTP server to crash wget.
936
937 2004-11-18  Hans-Andreas Engel <engel@node.ch>
938
939         * http.c: Enable --convert-links (-k) when a single page is downloaded
940         via --output-document (-O).
941
942 2004-11-18  Mauro Tortonesi <mauro@deepspace6.net>
943
944         * connect.c: Minor correction to the comment in front of fd_peek.
945
946 2004-11-18  Leonid Petrov <nouser@lpetrov.net>
947
948         * retr.c: Fix a timeout problem in fd_read_body when using http_proxy.
949
950 2004-11-15  YAMAZAKI Makoto <Yamazaki.Makoto@fujixerox.co.jp>
951
952         * netrc.c: Fix termination by assertion bug in netrc parsing.
953
954 2004-05-09  David Fritz  <zeroxdf@att.net>
955
956         * mswindows.c (fake_fork): Pass entire command line to the child
957         process.
958
959 2004-03-31  Hrvoje Niksic  <hniksic@xemacs.org>
960
961         * http.c (gethttp): Fix typo: SCHEME_SSL -> SCHEME_HTTPS.
962
963 2004-03-30  Hrvoje Niksic  <hniksic@xemacs.org>
964
965         * http.c (gethttp): Send the Proxy-Authorization header over
966         non-SSL connections too.
967
968 2004-03-25  David Fritz  <zeroxdf@att.net>
969
970         * mswindows.c (fake_fork_child): Ignore error code when
971         OpenFileMapping() fails; assume it failed because the object does
972         not exist.
973
974 2004-03-24  David Fritz  <zeroxdf@att.net>
975
976         * mswindows.c (fake_fork): New function.
977
978         * mswindows.c (fork_to_background): Use it.
979
980 2004-03-19  David Fritz  <zeroxdf@att.net>
981
982         * mswindows.c (ws_hangup): Incorporate old fork_to_background()
983         code.  Add event name argument.
984         (fork_to_backgorund): Now a simple wrapper around ws_hangup().
985         (ws_handler): Correctly handle the case when neither CTRLC_BACKGND
986         nor CTRLBREAK_BACKGND are defined.  Don't bother handling close,
987         logoff, or shutdown events.  Call ws_hangup() with the correct
988         event name; don't assume it was CTRL+Break.
989
990 2004-03-19  Hrvoje Niksic  <hniksic@xemacs.org>
991
992         * url.c (url_parse): Decode %HH sequences in host name.
993
994 2004-03-04  Hrvoje Niksic  <hniksic@xemacs.org>
995
996         * convert.c (local_quote_string): Quote "#" as "%23" and "%" as
997         "%25" when creating links to local files.
998
999 2004-03-02  David Fritz  <zeroxdf@att.net>
1000
1001         * mswindows.c (ws_percenttitle): Guard against future changes by
1002         doing nothing if the proper variables have not been initialized.
1003         Clamp percentage value.
1004
1005 2004-03-04  Gisle Vanem  <giva@bgnett.no>
1006
1007         * retr.c (fd_read_body): Don't change console title if quiet.
1008
1009 2004-02-25  David Fritz  <zeroxdf@att.net>
1010
1011         * mswindows.c (set_sleep_mode): Remove argument and return value.
1012         Call GetModuleHandle() instead of LoadLibrary()/FreeLibrary() for
1013         kernel32.dll.  Use typedef for function-pointer.  Don't cast
1014         l-value.  Don't use dereference operator when calling through
1015         function-pointer.
1016         (ws_startup): Update call to set_sleep_mode().
1017         (ws_cleanup): Remove call to set_sleep_mode().
1018
1019 2004-02-23  David Fritz  <zeroxdf@att.net>
1020
1021         * http.c (http_loop): Ditto.
1022
1023         * ftp.c (ftp_loop_internal): Update call to ws_changetitle().
1024
1025         * main.c (main): Don't bother calling ws_changetitle().
1026
1027         * mswindows.h (ws_changetitle): Update prototype.
1028
1029         * mswindows.c (ws_changetitle): Remove second argument.  Use
1030         xfree_null().
1031         (ws_percenttitle): Only update title when percentage has changed.
1032
1033 2004-02-23  David Fritz  <zeroxdf@att.net>
1034
1035         * mswindows.h: Ditto.
1036
1037         * mswindows.c: Misc. formatting/comment tweaks throughout.
1038
1039 2004-02-20  David Fritz  <zeroxdf@att.net>
1040
1041         * main.c (print_help): Remove call to ws_help().
1042
1043         * mswindows.c (ws_help): Remove.
1044
1045         * mswindows.h (ws_help): Remove.
1046
1047 2004-02-16  David Fritz  <zeroxdf@att.net>
1048
1049         * init.c (home_dir): Use aprintf() instead of xmalloc()/sprintf().
1050         Under Windows, if $HOME is not defined, use the directory that
1051         contains the Wget binary instead of hard-coded `C:\'.
1052         (wgetrc_file_name): Under Windows, look for $HOME/.wgetrc then, if
1053         not found, look for wget.ini in the directory of the Wget binary.
1054
1055         * mswindows.c (ws_mypath): Employ slightly more robust methodology.
1056         Strip trailing path separator.
1057
1058 2004-02-06  Hrvoje Niksic  <hniksic@xemacs.org>
1059
1060         * http.c (gethttp): Respect --ignore-length.
1061         (gethttp): Inhibit keep-alive if --ignore-length is specified.
1062
1063 2004-02-06  Hrvoje Niksic  <hniksic@xemacs.org>
1064
1065         * connect.c (sockaddr_set_data): Zero out
1066         sockaddr_in/sockaddr_in6.  Apparently BSD-derived stacks need this
1067         when binding a socket to local address.
1068
1069 2004-02-04  Hrvoje Niksic  <hniksic@xemacs.org>
1070
1071         * hash.c: Make the file compilable outside Wget source tree when
1072         -DSTANDALONE is used.
1073
1074 2004-01-29  Hrvoje Niksic  <hniksic@xemacs.org>
1075
1076         * utils.c (determine_screen_width): Return 0 if not running on
1077         Windows or on a TIOCGWINSZ-capable system.
1078
1079 2004-01-28  David Fritz  <zeroxdf@att.net>
1080
1081         * utils.c (determine_screen_width): Correctly determine console
1082         width under Windows.
1083
1084 2004-01-28  Christian Biere  <christianbiere@gmx.de>
1085
1086         * progress.c (bar_set_params): Fixed syntax error when HAVE_ISATTY
1087         was undefined.
1088
1089         * ftp.c (ftp_loop_internal): Allocate a larger buffer in case
1090         "try" gets translated to something large.  Ditto in http_loop in
1091         http.c.
1092
1093         * http.c (response_header_copy): Don't write to buf[BUFSIZE].
1094
1095         * ftp-opie.c (skey_response): Eliminate unnecessary string
1096         concatenation; just call gen_md5_update twice.
1097
1098 2004-01-25  Hrvoje Niksic  <hniksic@xemacs.org>
1099
1100         * utils.c (xsleep): Don't call usleep with values larger than
1101         1,000,000.
1102
1103 2003-12-16  Hrvoje Niksic  <hniksic@xemacs.org>
1104
1105         * http.c (gethttp): Fix generation of `Content-Length'.
1106
1107 2003-12-15  Gisle Vanem  <giva@bgnett.no>
1108
1109         * url.c (url_skip_credentials): Fixed return value; 'url' if no
1110         credentials.
1111
1112 2003-12-14  Hrvoje Niksic  <hniksic@xemacs.org>
1113
1114         * url.c (url_skip_credentials): Return a pointer directly.
1115
1116 2003-12-14  Hrvoje Niksic  <hniksic@xemacs.org>
1117
1118         * url.c (url_file_name): Ditto.
1119         (parse_errors): Ditto.
1120
1121         * retr.c (retr_rate): Ditto.
1122
1123         * progress.c (create_image): Ditto.
1124
1125         * netrc.c (parse_netrc): Ditto.
1126
1127         * main.c (struct cmdline_option): Ditto.
1128         (redirect_output_signal): Ditto.
1129
1130         * init.c (commands): Ditto.
1131
1132         * ftp-ls.c (ftp_index): Ditto.
1133
1134         * cookies.c (check_domain_match): Declare the pointer to a literal
1135         string as `const'.
1136
1137 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
1138
1139         * retr.c (fd_read_body): Pass total size to progress_create, not
1140         the remaining amount.
1141
1142 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
1143
1144         * retr.c (fd_read_body): Don't fiddle with "interactive timeout"
1145         if read timeout is unset.
1146
1147 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
1148
1149         * connect.c (bind_local): Don't set the IPV6_V6ONLY option on the
1150         socket.
1151
1152 2003-12-06  Hrvoje Niksic  <hniksic@xemacs.org>
1153
1154         * url.c (url_file_name): Respect the setting of
1155         opt.protocol_directories.
1156
1157         * main.c (main): Only check for ret=='?' when longindex is unset.
1158         (option_data): New option --protocol-directories.
1159
1160 2003-12-06  Hrvoje Niksic  <hniksic@xemacs.org>
1161
1162         * ftp.c (getftp): Ditto.
1163
1164         * http.c (gethttp): Correctly calculate bandwidth as total data
1165         read divided with download time.
1166
1167         * retr.c (fd_read_body): Separate the return values for data
1168         written and read.
1169
1170 2003-12-05  Hrvoje Niksic  <hniksic@xemacs.org>
1171
1172         * http.c (H_REDIRECTED): Respect the HTTP/1.1 "303 See Other"
1173         response code.
1174         Suggested by Dan Razzell.
1175
1176 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
1177
1178         * retr.c (fd_read_body): Report the amount of data *written* as
1179         amount_read.  This is not entirely logical, but that's what the
1180         callers expect, and it's not easy to change.
1181
1182         * ftp.c (ftp_loop_internal): Ditto.
1183
1184         * http.c (http_loop): Be smarter about assigning restval; if we're
1185         in the nth pass of a download, simply use the information we have
1186         about how much data has been retrieved as restval.
1187
1188         * ftp.c (getftp): Ditto for FTP "REST" command.
1189
1190         * http.c (gethttp): When the server doesn't respect range, skip
1191         the first RESTVAL bytes of the read body.  Never truncate the
1192         output file.
1193
1194         * retr.c (fd_read_body): Support skipping initial STARTPOS octets.
1195
1196 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
1197
1198         * http.c (skip_short_body): Renamed skip_body to skip_short_body;
1199         don't bother calling fd_read_body.
1200
1201 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
1202
1203         * retr.c (fd_read_body): Sanitize arguments and document them
1204         better.  Make sure the timer is created and updated only if
1205         necessary.  Updated callers.
1206
1207 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
1208
1209         * http.c (skip_body): New function.
1210         (gethttp): Use it to skip the body of the responses we don't care
1211         to download.  That allows us to reuse the connection.
1212         (gethttp): Trust that the HEAD requests will not generate body
1213         data.
1214
1215         * retr.c (fd_read_body): Don't write to OUT if it's NULL.
1216
1217 2003-11-29  Hrvoje Niksic  <hniksic@xemacs.org>
1218
1219         * http.c (gethttp): Initialize SSL only the first time when SSL
1220         URL is downloaded.
1221
1222 2003-11-29  Hrvoje Niksic  <hniksic@xemacs.org>
1223
1224         * cookies.c (cookie_header): Only generate the contents of the
1225         header, not the leading "Cookie: " or the trailing "\r\n".
1226
1227         * http.c (gethttp): When adding headers specified with `--header',
1228         allow them to override the headers generated by Wget.
1229
1230         * init.c (cmd_spec_header): Made opt.user_headers a vector.
1231
1232         * http.c (request_new): New function.  Returns a request structure
1233         which can be modified in various ways, most notably by adding HTTP
1234         headers to the request.
1235         (request_set_header): New function for adding the header to the
1236         request.  If the header is already available, it gets replaced.
1237         (request_send): Construct and send the request.
1238         (gethttp): Use the request_* functions to generate the request.
1239
1240 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
1241
1242         * http.c (gethttp): Don't include the Proxy-Authorization header
1243         in the request tunneled through proxy.
1244
1245 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
1246
1247         * http.c (gethttp): Use the CONNECT handle to establish SSL
1248         passthrough through non-SSL proxies.
1249
1250 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
1251
1252         * init.c: Don't #include netinet/Winsock stuff.
1253
1254 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
1255
1256         * http.c: Deleted the old functions header_process,
1257         header_extract_number, header_exists, header_strdup,
1258         http_process_range, http_process_none, http_process_type, and
1259         http_process_connection.
1260
1261         * http.c (response_new): New function.
1262         (response_header_bounds): Ditto.
1263         (response_header_copy): Ditto.
1264         (response_header_strdup): Ditto.
1265         (response_status): Ditto.
1266         (gethttp): Use the new response_* functions to parse the response.
1267         Support HTTP/0.9 responses.
1268
1269 2003-11-27  Hrvoje Niksic  <hniksic@xemacs.org>
1270
1271         * progress.c (create_image): Don't calculate ETA if nothing has
1272         been downloaded yet, because it causes division by zero.
1273
1274 2003-11-27  Hrvoje Niksic  <hniksic@xemacs.org>
1275
1276         * connect.c (bind_local): Rename sa_len to addrlen because IRIX
1277         headers define sa_len as a macro.
1278
1279 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
1280
1281         * html-parse.c (convert_and_copy): Remove embedded newlines when
1282         AP_TRIM_BLANKS is specified.
1283
1284 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
1285
1286         * ftp.c: Set con->csock to -1 where rbuf_uninitialize was
1287         previously used.
1288
1289 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
1290
1291         * Makefile.in (http$o): Added the trailing backslash that was
1292         missing.
1293
1294 2003-11-21  Hrvoje Niksic  <hniksic@xemacs.org>
1295
1296         * headers.c: Removed.  The file is no longer relevant, now that no
1297         special handling of headers is done by the rbuf code.  Moved
1298         portions to http.c.
1299
1300 2003-11-21  Hrvoje Niksic  <hniksic@xemacs.org>
1301
1302         * rbuf.c: Removed.
1303
1304         * ftp-basic.c (ftp_response): Use fd_read_line.  No longer use
1305         struct rbuf.  Updated all callers.
1306
1307         * http.c (gethttp): Use fd_read_head to read all the headers in
1308         one go.
1309         (next_header): New function.
1310
1311         * retr.c (fd_read_line): New function: reads a line from FD,
1312         leaving the rest of the data unread.
1313         (fd_read_head): New function.
1314
1315         * connect.c (fd_peek): New function, implements peeking.
1316         (poll_internal): New function.
1317         (fd_read): Use it.
1318         (fd_write): Ditto.
1319         (fd_peek): Ditto.
1320         (fd_register_transport): Allow registering a "peeker" callback.
1321
1322 2003-11-20  Hrvoje Niksic  <hniksic@xemacs.org>
1323
1324         * connect.c: Renamed xread/xwrite/xclose to
1325         fd_read/fd_write/fd_close.  The "x" prefix is not appropriate
1326         because the semantics have diverged from read/write/close too
1327         significantly.  Updated all callers.
1328
1329 2003-11-20  Hrvoje Niksic  <hniksic@xemacs.org>
1330
1331         * connect.c (sock_write): It's not necessary to initialize RES.
1332
1333 2003-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
1334
1335         * main.c (main): Don't reference opt.ipv4_only and opt.ipv6_only
1336         if IPv6 is disabled.
1337
1338 2003-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
1339
1340         * connect.c (socket_has_inet6): Only compile it if IPv6 is enabled
1341         and AI_ADDRCONFIG is missing.
1342
1343 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
1344
1345         * gen_sslfunc.c (ssl_init_prng): Warn the user when using a weak
1346         random seed.
1347
1348 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
1349
1350         * host.c (address_list_contains): Renamed address_list_find to
1351         address_list_contains because its result is boolean.
1352
1353 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
1354
1355         * connect.c (select_fd): Return 1 if select is not available.
1356
1357 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
1358
1359         * connect.c (connect_to_host): Don't reference address list after
1360         releasing it.
1361
1362 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
1363
1364         * main.c (print_help): Fix alignment of FTP options output.
1365
1366 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
1367
1368         * host.c (lookup_host): Check for the ability to create IPv6
1369         sockets here.
1370
1371         * init.c (defaults): Don't auto-set --inet4-only on IPv6-less
1372         systems.
1373
1374 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
1375
1376         * main.c (print_help): Fix typo in `-O' help message.  Fix docs of
1377         -Y/--proxy.  Fix docs of `--cookies' and `--glob'.  Improve docs
1378         of --convert-links.  Fix docs of SSL options.
1379
1380 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
1381
1382         * ftp-basic.c: Don't include <arpa/inet.h> and others because
1383         they're no longer needed.
1384
1385 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
1386
1387         * main.c (main): Don't allow setting of both opt.ipv4_only and
1388         opt.ipv6_only.
1389
1390         * init.c (defaults): Mark opt.ipv4_only specially when set
1391         automatically.
1392
1393 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
1394
1395         * host.c (lookup_host): Use AI_ADDRCONFIG only if the family is
1396         unspecified.  This ensures that specifying `--no-inet4' on systems
1397         where IPv6 resolves, but doesn't work behaves the same regardless
1398         of the availability of AI_ADDRCONFIG.
1399
1400 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
1401
1402         * host.c: Don't refer to the now-removed function
1403         forget_host_lookup in the documentation of lookup_host.
1404
1405 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
1406
1407         * http.c (persistent_available_p): Correctly specify the endpoint
1408         argument to socket_ip_address.
1409         (gethttp): When printing the "reusing connection to..." message,
1410         specify the host name of the reused connection, not the current
1411         host name.  That makes more sense because it provides a useful
1412         piece of information -- we know to which host we're supposed to
1413         connect anyway!
1414
1415 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
1416
1417         * init.c: Make sure the options are in alphabetic order!
1418
1419         * host.c (lookup_host): Merge lookup_host_passive and lookup_host
1420         after all -- having both would result in some code duplication.
1421         (lookup_host): Set hints.ai_family to AF_INET if ipv4_only is
1422         requested.  Likewise, set it to AF_INET6 for ipv6_only.  Specify
1423         AI_ADDRCONFIG where available.
1424         (lookup_host): New flag LH_REFRESH that specifies that a cached
1425         entry for HOST should be refreshed.
1426         (cache_query): New function.
1427         (cache_store): Ditto.
1428         (cache_remove): Ditto.
1429         (forget_host_lookup): No longer necessary, replaced with static
1430         function cache_remove.
1431
1432 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
1433
1434         * main.c: Enable -4 and -6 only if IPv6 is enabled.
1435
1436 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
1437
1438         * connect.c (register_transport): Renamed from register_extended.
1439         Explain the intended usage.
1440
1441 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
1442
1443         * url.c (uri_merge): Merging "foo" and "bar" should result in
1444         "bar", not in "foo/bar".
1445         (path_simplify): Don't remove empty path elements; don't
1446         special-case leading slash.
1447         (path_simplify): Don't swallow ".."'s at the beginning of string.
1448         E.g. simplify "foo/../../bar" as "../bar", not as "bar".
1449         (append_uri_pathel): Defang ".." path element upon encountering
1450         it.
1451
1452 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
1453
1454         * http.c (persistent_available_p): Don't attempt to talk to two
1455         different SSL sites over the same secure connection.
1456
1457 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
1458
1459         * http.c (gethttp): Ditto.
1460
1461         * ftp.c (getftp): Use retryable_socket_connect_error instead of
1462         CONNECT_ERROR.
1463
1464         * wget.h (CONNECT_ERROR): Removed.
1465
1466         * connect.c (retryable_socket_connect_error): New function instead
1467         of unsupported_socket_family_error.
1468
1469 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
1470
1471         * wget.h (CONNECT_ERROR): Use it.
1472
1473         * connect.c (unsupported_socket_family_error): New function.
1474
1475 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
1476
1477         * connect.c (bind_local): Renamed bindport to bind_local; return
1478         the socket directly.  Updated callers.
1479         (accept_connection): Renamed acceptport to accept_connection;
1480         return the created socket directly.  Updated callers.
1481
1482 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
1483
1484         * init.c (defaults): Turn on opt.ipv4_only if we're compiling with
1485         IPv6, and AI_ADDRINFO is not available, and AF_INET6 sockets can't
1486         be created.
1487
1488 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
1489
1490         * host.c (lookup_host): Document the fact that the addresses are
1491         returned in order.
1492
1493 2003-11-12  Hrvoje Niksic  <hniksic@xemacs.org>
1494
1495         * utils.c: Use limits.h only where available.
1496
1497         * hash.c: Use INVALID_PTR and INVALID_PTR_BYTE.  Include limits.h.
1498
1499 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
1500
1501         * main.c: Added options --inet4-only and --inet6-only.
1502
1503 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
1504
1505         * host.c (host_errstr): Use the more standard message "Unknown
1506         host".
1507
1508 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
1509
1510         * connect.c (connect_to_host): Use that flag to decide whether to
1511         re-resolve the host name.
1512
1513         * host.c (struct address_list): Added a flag that maintains
1514         whether the connection worked at some point.
1515
1516 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
1517
1518         * host.c (lookup_host): Special-case the numeric addresses only in
1519         the non-IPv6 case.
1520
1521 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
1522
1523         * connect.c (resolve_bind_address): Call lookup_host_passive.
1524         Make sure that opt.bind_address is resolved only once.
1525
1526         * host.c (lookup_host_passive): New function, handles "passive"
1527         lookups.
1528         (lookup_host): Remove the passive flags.  Remove the
1529         family-related flags -- use ip_default_family instead.
1530
1531 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
1532
1533         * html-url.c: Get URLs from <object data="...">.
1534
1535 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
1536
1537         * main.c (option_data): Specify the command to use for --mirror.
1538
1539 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1540
1541         * cookies.c (cookie_handle_set_cookie): Specify exact match for
1542         unspecified domains.
1543
1544 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1545
1546         * main.c (main): Removed one-letter options `-C', `-g', `-G', and
1547         `-s'.
1548
1549 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1550
1551         * main.c (main): Add --dont-remove-listing for backward
1552         compatibility with previous versions.
1553         (print_help): Fix typo, spotted by Dennis Smit.
1554
1555 2003-11-08  Gisle Vanem  <giva@bgnett.no>
1556
1557         * ftp-basic.c: Support Windows-2000 ftp servers. Win-2000 *is*
1558         Win-NT 5.0 so calling it ST_WINNT is okay I guess.
1559
1560 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1561
1562         * progress.c (update_speed_ring): Clear the speed ring when the
1563         download stalls.
1564
1565         * retr.c (get_contents): Specify 0.95s read timeout, so that the
1566         progress gauge can be updated even when data arrives very slowly
1567         or stalls.
1568
1569 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1570
1571         * utils.c (wtimer_allocate): Bless the use of wtimer_read on a
1572         timer that has merely been allocated because get_contents() does
1573         that.
1574         (wtimer_update): Abort if the timer is not initialized.
1575
1576 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1577
1578         * retr.c (get_contents): Pass the timer to limit_bandwidth().
1579
1580         * utils.c (wtimer_update): New function instead of wget_elapsed;
1581         just update the timer, but don't return anything.
1582         (wtimer_read): Read and return the last known value of the timer.
1583
1584 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1585
1586         * http.c (persistent_available_p): Instead of matching all the
1587         addresses of HOST and last host, determine the peer's IP address
1588         with socket_ip_address and see if that address is one of those
1589         HOST resolves to.
1590
1591         * host.c (address_list_match_all): Removed.
1592         (address_list_find): New function, finds an IP address in the
1593         address list.
1594
1595         * ftp.c (ftp_do_pasv): Get the peer's address here, and pass it to
1596         ftp_epsv so it doesn't need to call getpeername.
1597
1598         * ftp-basic.c (ftp_port): Use socket_ip_address instead of
1599         getpeername.
1600         (ftp_lprt): Ditto.
1601
1602         * connect.c (socket_ip_address): Replaces conaddr, generalized to
1603         either get peer's or local address.
1604         (sockaddr_get_data): Made local to this file.
1605
1606 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1607
1608         * hash.c (HASH_POSITION): Explicitly accept the hash function.
1609         (grow_hash_table): Extract ht->hash_function outside the loop.
1610         (hash_table_remove): Ditto.
1611         (hash_table_clear): Fill entries with 0xff to clear them.
1612         (hash_table_remove): Mark entries as deleted with the correct
1613         marker.
1614
1615 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1616
1617         * http.c (persistent_available_p): No reason for the host lookup
1618         to be silent -- it's a lookup like any other.
1619
1620 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1621
1622         * connect.c (register_extended): Check that fd >= 0.
1623
1624 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
1625
1626         * connect.c (LAZY_RETRIEVE_INFO): Set LAST_INFO.
1627
1628 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
1629
1630         * hash.c (NON_EMPTY): Use the all-bit-set value as the marker that
1631         the field is empty.  This allows NULL pointer and 0 value to be
1632         used as keys, which is necessary for the connect.c code to work
1633         when fd==0.
1634         (hash_table_new): Fill mappings with 0xff.
1635         (grow_hash_table): Ditto.
1636
1637 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
1638
1639         * url.c (url_parse): Allow empty ports.
1640
1641 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
1642
1643         * main.c (print_help): Break the help string into multiple chunks.
1644         (cmdline_option): New option handler OPT_FUNCALL.  Generalized
1645         HANDLE_CMD to generic DATA.
1646         (option_data): Use the new OPT_FUNCALL feature.
1647
1648 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
1649
1650         * log.h: Declare log_init, log_close, and
1651         log_request_redirect_output here.
1652
1653 2003-11-05  Dennis Smit  <ds@nerds-incorporated.org>
1654
1655         * main.c: (main): added --preserve-permissions option.
1656
1657         * ftp.c (ftp_retrieve_list): added support for
1658         --preserve-permissions option.
1659
1660         * init.c: added support for --preserve-permission option.
1661
1662         * option.h: added support for --preserve-permission option.
1663
1664 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
1665
1666         * main.c (init_switches): New function.  Convert option_data to
1667         long_options and short_options, which can be fed to getopt_long.
1668         (main): Execute command-line options by consulting option_data.
1669
1670 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
1671
1672         * gen_sslfunc.c (ssl_read): Implement a more correct check for
1673         EINTR.
1674         (ssl_write): Ditto.
1675         (init_ssl): Use a global SSL context.
1676
1677 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
1678
1679         * connect.c (xclose): Free INFO even if it doesn't provide a
1680         closer.
1681
1682 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
1683
1684         * connect.c: Updated all callers of
1685         iread/ssl_iread/iwrite/ssl_iwrite to use xread and xwrite instead.
1686
1687         * rbuf.h (struct rbuf): Removed the SSL member because SSL is
1688         handled automatically by xread.
1689
1690         * hash.c (ptrhash): Made private.
1691         (ptrcmp): Ditto.
1692         (inthash): Removed.
1693
1694         * connect.c (select_fd): Don't set errno, leave it to the caller.
1695
1696         * gen_sslfunc.c (connect_ssl): Use register_extended to register
1697         SSL callbacks for communication with SSL-enabled endpoints.
1698         (ssl_read): New function.
1699         (ssl_write): Ditto.
1700         (ssl_poll): Ditto.
1701         (ssl_close): Ditto.
1702
1703         * connect.c (register_extended): New function -- register
1704         callbacks for basic socket operations.
1705         (xread): Ditto.
1706         (xwrite): Ditto.
1707         (xclose): Ditto.
1708         (sock_read): New function, default implementation for reading.
1709         (sock_write): Ditto for writing.
1710         (sock_poll): Ditto for polling.
1711         (sock_close): Ditto for closing.
1712
1713 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
1714
1715         * connect.c (bindport): Fix compilation under pre-C99 compilers.
1716
1717 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
1718
1719         * connect.c (connect_to_ip): More compact error checking.
1720         (bindport): Don't treat failed setsockopt as a fatal error.
1721
1722 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
1723
1724         * connect.c (resolve_bind_address): Use a more accurate error
1725         message -- we're not binding to ANY, we're disabling bind
1726         altogether.
1727
1728 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
1729
1730         * cookies.c (save_cookies_mapper): Respect the setting of
1731         keep-session-cookies.
1732         (cookie_jar_load): Import session cookies.
1733         Based on code submitted by Nicolas Schodet.
1734
1735         * utils.c (datetime_str): Use information in TM when it's
1736         non-NULL.
1737
1738         * main.c (main): New option `--keep-session-cookies'.
1739
1740 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
1741
1742         * Makefile.in (realclean): Delete config.h.in.
1743
1744 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
1745
1746         * config-post.h: New file, included from now autogenerated
1747         config.h.in.
1748
1749 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
1750
1751         * progress.c (progress_handle_sigwinch): Don't call
1752         determine_screen_width() from the signal handler.  Instead, just
1753         set a volatile variable.
1754         (bar_create): Check whether SIGWINCH was received.
1755         (bar_update): Ditto.
1756
1757         * sysdep.h: Define SYSTEM_FNMATCH only if HAVE_FNMATCH_H is true.
1758
1759 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
1760
1761         * utils.c (xsleep): New function.  Uses nanosleep where available,
1762         resuming sleeps interrupted by signals.  Updated callers of sleep
1763         and usleep to use xsleep.
1764
1765 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
1766
1767         * ftp-basic.c (ftp_login): Remove shadowing (and bogus)
1768         declaration of SEED.
1769
1770 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
1771
1772         * log.c (logvprintf): Documented better.  Renamed to
1773         log_vprintf_internal to avoid confusion with the public API
1774         functions logprintf and logputs.
1775
1776 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
1777
1778         * wget.h (N_): Don't parenthesize argument.
1779
1780 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
1781
1782         * host.h (ADDRESS_IPV4_DATA): Don't take the address of in.s_addr
1783         because that doesn't work on machines that define it as bitfield.
1784
1785 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
1786
1787         * connect.c (select_fd): Generalize the third argument into WAIT,
1788         so that the caller can request waiting for both read and write.
1789         Updated callers.
1790
1791 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
1792
1793         * html-url.c (cleanup_html_url): Destroy the hash tables, don't
1794         just call free on them.
1795         (init_interesting): Use hash_table_put instead of string_set_add
1796         because we don't need the strdup that the latter function
1797         performs.
1798
1799         * init.c (cleanup): Don't pass NULL to cookie_jar_delete.
1800
1801         * xmalloc.c (xfree_real): Abort when passed a NULL pointer.
1802         (xfree_debug): Print at the file and line of the offending call to
1803         free.
1804
1805 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
1806
1807         * wget.h: Retired the `boolean' type.  Moved the DEFAULT_LOGFILE
1808         define to log.h.  Moved the INFINITE_RECURSION define to recur.h.
1809
1810         * xmalloc.h: Renamed FREE_MAYBE to xfree_null and moved the
1811         definition from wget.h to xmalloc.h.
1812
1813 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
1814
1815         * html-parse.c (decode_entity): New function; split the decoding
1816         of entities here.
1817         (convert_and_copy): Use it to decode entities.
1818         (decode_entity): Handle the &apos entity.
1819         (decode_entity): Don't decode Latin 1 numeric entities.  Don't
1820         decode &#0.
1821
1822 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
1823
1824         * ftp-opie.c (calculate_skey_response): Use uint32_t instead of
1825         `unsigned long' for the cheksum array.  Document the function.
1826
1827 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
1828
1829         * connect.c (acceptport): Don't call select_fd when timeout is not
1830         requested.
1831
1832 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
1833
1834         * host.c: Removed the ip_default_family global variable.
1835
1836         * host.c (lookup_host): Document the function.  Fixed declaration
1837         of VEC.
1838
1839 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
1840
1841         * various: Use new macros xnew, xnew0, xnew_array, and xnew0_array
1842         in various places.
1843
1844 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
1845
1846         * wget.h: Move declarations of malloc and logging code to
1847         xmalloc.h and log.h respectively to unclutter this file.
1848         (STRDUP_ALLOCA): Made it side-effect free.
1849
1850         * xmalloc.h: New files.  Define macros xnew, xnew0, xnew_array,
1851         and xnew0_array.
1852
1853         * xmalloc.c: New file.  Move the xmalloc routines here.
1854
1855 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
1856
1857         * connect.c (sockaddr_set_data): Remove the broken code that
1858         checked for NULL address.
1859
1860 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
1861
1862         * host.c (address_list_from_single): Removed.
1863         (address_list_from_ipv4_addresses): Renamed from
1864         address_list_from_vector.
1865
1866 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
1867
1868         * sysdep.h (CLOSE): Don't call close on file descriptors less than
1869         0, i.e. on uncreated sockets.
1870
1871         * connect.c (resolve_bind_address): Work on struct sockaddr
1872         directly.
1873         (connect_to_host): Replacement for connect_to_many.  Resolve HOST
1874         and connect to any of its addresses.  If we can't connect and the
1875         host name lookup was cached, try to resolve it again.  This should
1876         fix problems with hosts behind dynamic DNS.  Updated all callers.
1877         (connect_to_ip): Replacement for connect_to_one.  Removed SILENT;
1878         added the argument PRINT instead.  Updated all callers.
1879         (set_connection_host_name): Removed.
1880
1881         * host.c (address_list_address_at): New function instead of
1882         address_list_copy_one. It returns a pointer to ip_address *, so
1883         it's not necessary to copy the data.
1884         (address_list_cached_p): New function.
1885         (forget_host_lookup): Ditto.
1886
1887         * connect.c: Got rid of the MSOCK global variable.  Made bindport
1888         return the local socket it creates.  Added a new argument to
1889         acceptport, the socket to call accept on.  Updated callers.
1890         (closeport): Removed.
1891
1892         * connect.c: Moved the sockaddr code from host.c to this file,
1893         because most of that stuff is used for connecting, and has nothing
1894         to do with host names anyway.
1895         (sockaddr_set_data, sockaddr_get_data): New functions, replace the
1896         old sockaddr_set_address, sockaddr_set_port, sockaddr_get_address,
1897         and sockaddr_get_port.
1898
1899 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
1900
1901         * sysdep.h: Use `S >= 8' rather than `S == 8' when looking for
1902         large integers.
1903
1904 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
1905
1906         * url.c (append_uri_pathel): New argument ESCAPED_P that says
1907         whether [B, E) is to be treated as URL-escaped or not.  If
1908         ESCAPED_P is false, don't unescape the region.
1909         (url_file_name): u->file is not URL-escaped.
1910
1911 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
1912
1913         * retr.c (retrieve_from_file): Use retrieve_tree for
1914         page-requisites.
1915
1916         * main.c (main): Don't define opt.recursive when -p is used.
1917         Instead, make sure that recursion is used for HTTP in that case.
1918
1919 2003-10-29  Hrvoje Niksic  <hniksic@xemacs.org>
1920
1921         * host.h: Defined accessors for elements of ip_address.  Updated
1922         all callers.
1923         (address_list_match_all): Use memcmp in the non-IPv6 case.
1924
1925         * wget.h (CONNECT_ERROR): Don't retry connecting if connect()
1926         returned EAFNOSUPPORT.
1927
1928 2003-10-27  Mauro Tortonesi <mauro@deepspace6.net>
1929
1930         * connect.h: changed bindport prototype and added the related
1931         BIND_ON_IPV4_ONLY and BIND_ON_IPV6_ONLY flags.
1932
1933         * connect.c: changed bindport and resolve_bind_address to allow
1934         protocol-version specific DNS resolution. modified conaddr,
1935         acceptport and connect_to_one to make use of struct
1936         sockaddr_storage and of the new ip_address structure.
1937
1938         * ftp-basic.c: added LPRT/LPSV (RFC1639) support, refactored
1939         PORT/PASV (RFC959) and EPRT/EPSV (RFC2428) support code.
1940
1941         * ftp.c: added the ftp_do_port and ftp_do_pasv functions to
1942         handle FTP over IPv6.
1943
1944         * ftp.h: changed prototype of ftp_epsv and added prototypes for
1945         ftp_lpsv, ftp_lprt and ftp_eprt.
1946
1947         * host.c: renamed the
1948         wget_sockaddr_set_address and wget_sockaddr_get_addr, and
1949         wget_sockaddr_{s,g}et_port couples to sockaddr_{s,g}et_address and
1950         sockaddr_{g,s}et_port respectively.  changed
1951         address_list_match_all, address_list_from_addrinfo sockaddr_len,
1952         pretty_print_address, lookup_host, sockaddr_{s,g}et_address and
1953         sockaddr_{g,s}et_port to make use of struct sockaddr_storage and
1954         of the new ip_address structure.  removed map_ipv4_to_ip and
1955         map_ip_to_ipv4.
1956
1957         * host.h: redefined structure ip_address and removed structure
1958         wget_sockaddr.
1959
1960 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
1961
1962         * sysdep.h: Include inttypes.h where available.
1963
1964         * host.c: Switch from u_int32_t to uint32_t.
1965
1966 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
1967
1968         * netrc.c (parse_netrc): Reset the QUOTE flag after the closing
1969         quote.
1970
1971 2003-10-25  Hrvoje Niksic  <hniksic@xemacs.org>
1972
1973         * url.c (is_valid_ipv6_address): Reformat to GNU coding style.
1974         Use enums for NS_IN* constants.  Use ISXDIGIT.
1975
1976         * convert.c (construct_relative): Document better how the function
1977         works.
1978
1979 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
1980
1981         * config.h.in: Deploy preprocessor magic to avoid Ultrix's
1982         <netdb.h> include <bitypes.h> which defines its own u_int32_t.
1983         Reported by Bernhard Simon.
1984
1985 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
1986
1987         * version.c: Bump version.
1988
1989 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
1990
1991         * url.c: Ditto.
1992
1993         * html-parse.c (advance_declaration): Don't use trailing comma in
1994         enum because older compilers don't support it.
1995
1996         * utils.c: Don't redefine HAVE_SIGSETJMP.
1997
1998 2003-10-16  Hrvoje Niksic  <hniksic@xemacs.org>
1999
2000         * convert.c (construct_relative): Don't handle absolute files
2001         specially -- for example, -P/tmp/foo shouldn't imply that
2002         converted files must refer to "/tmp/foo/..."!
2003
2004 2003-10-15  Hrvoje Niksic  <hniksic@xemacs.org>
2005
2006         * http.c: Consider status 307 a valid redirect.
2007
2008 2003-10-15  Philip Stadermann  <philip.stadermann@credativ.de>
2009
2010         * ftp.c (ftp_retrieve_glob): Correctly loop through the list whose
2011         elements might have been deleted.
2012
2013 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
2014
2015         * html-url.c (tag_handle_meta): Set the Refresh link to expect
2016         HTML.
2017         (append_one_url): Renamed to append_url.
2018
2019 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
2020
2021         * sysdep.h: Only define u_int32_t.
2022
2023 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
2024
2025         * utils.c (large_int_to_string): Use snprintf() to print the
2026         number.  This will work even on systems where libc doesn't
2027         understand %lld, but the compiler does, because it will use our
2028         snprintf replacement.
2029
2030         * init.c (parse_bytes_helper): New function.
2031         (cmd_bytes): Use it to parse bytes, but cast the result to long.
2032         (cmd_bytes_large): Ditto, but store the result to LARGE_INT.  Used
2033         for --quota so that --quota=10G works even on machines without
2034         long long.
2035
2036         * options.h (struct options): Declare quota as LARGE_INT.
2037
2038         * retr.c (downloaded_exceeds_quota): Removed.
2039         (downloaded_increase): Ditto.
2040         (total_downloaded_bytes): New variable, replaces opt.downloaded,
2041         which was the wrong place for it anyway.  Updated callers of
2042         downloaded_exceeds_quota and downloaded_increase to check this
2043         variable directly.
2044
2045         * sysdep.h: Get rid of VERY_LONG_TYPE.  Use LARGE_INT for the same
2046         purpose, defined as `long', `long long' or `double', depending on
2047         size of long and whether long long is available.
2048
2049 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
2050
2051         * sysdep.h: Also check size of short for int32_t.
2052
2053 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
2054
2055         * host.c (lookup_host): Use u_int32_t to store the result of
2056         inet_addr().  That removes the need for offset fiddling, caring
2057         about endian-ness, etc.
2058
2059         * sysdep.h: Define int32_t and u_int32_t if not available.
2060
2061 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
2062
2063         * ftp-basic.c (ftp_epsv): Use socklen_t * as the third argument to
2064         getpeername.
2065
2066         * config.h.in: Define socklen_t stub.
2067
2068         * host.c (sockaddr_len): Return socklen_t.
2069
2070         * connect.c (conaddr): Use socklen_t as the third argument to
2071         accept, getsockname, and connect.
2072
2073 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
2074
2075         * recur.c (retrieve_tree): Don't descend into documents that are
2076         not expected to contain HTML, regardless of their content-type.
2077
2078         * html-url.c (tag_url_attributes): Record which attributes are
2079         supposed to yield HTML links that can be followed.
2080         (tag_find_urls): Propagate that information to the caller through
2081         struct urlpos.
2082
2083 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
2084
2085         * hash.c (find_mapping): Return the next available mapping when
2086         the key is not found, not NULL.
2087         (hash_table_put): Use find_mapping to find the storage for the new
2088         data.
2089         (hash_table_put): Grow the table before exceeding maximum
2090         fullness, not afterwards.
2091
2092 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
2093
2094         * hash.c (hash_table_new): Slightly change the meaning of the
2095         first parameter.  Instead of being the minimum initial size, it is
2096         now the minimum number of items that the hash table can take
2097         without needing to resize.
2098
2099 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
2100
2101         * html-url.c (init_interesting): Initialize interesting_tags and
2102         interesting_attributes as hash tables.  This simplifies the code
2103         immensely because hash tables handle allocation and remove
2104         duplicates automatically.
2105         (find_tag): Removed.
2106         (collect_tags_mapper): Instead of calling find_tag, simply get the
2107         entry from interesting_tags hash table, which is both simpler and
2108         faster.
2109
2110 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
2111
2112         * hash.c (hash_table_get): Declare hash-table argument as const.
2113         (find_mapping): Ditto.
2114         (hash_table_get_pair): Ditto.
2115         (hash_table_contains): Ditto.
2116         (hash_table_count): Ditto.
2117
2118 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
2119
2120         * html-url.c (get_urls_html): Parse the appropriate flags to
2121         html-parse.c.
2122
2123         * html-parse.c (map_html_tags): Accept FLAGS from the caller
2124         instead of examining OPT.
2125
2126 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
2127
2128         * html-url.c (find_tag): Switch to binary search.
2129
2130 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
2131
2132         * main.c (print_help): Fix typo; stured -> stored.
2133
2134 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
2135
2136         * getopt.c: Add definitions of getopt_long and getopt_long_only.
2137
2138 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
2139
2140         * config.h.in: Renamed DEBUG to ENABLE_DEBUG.  ENABLE_DEBUG is, I
2141         think, a better name, because it implies that debugging output is
2142         merely possible, not "on by default", as might be construed from
2143         just DEBUG.
2144
2145 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
2146
2147         * ftp.c (has_insecure_name_p): Define it here.
2148
2149         * utils.c (has_wildcards_p): Define it here.
2150
2151         * sysdep.h: Declare fnmatch-related macros here, if not using
2152         system fnmatch().  Update .c files to not declare fnmatch.h
2153         directly.
2154
2155         * cmpt.c (fnmatch): Moved here.  Use it only under non-GNU libc.
2156
2157 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
2158
2159         * getopt.c: Newer version, imported from Free libit.
2160
2161 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
2162
2163         * cookies.c (struct cookie): Remove unused backpointer to cookie
2164         jar.
2165
2166 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
2167
2168         * cmpt.c (memmove): Comment out, since it's no longer used.
2169
2170         * cookies.c (cookie_jar_generate_cookie_header): Allocate room for
2171         chains in one pass.
2172         (find_chains_of_host): Assume that the caller has allocated DEST
2173         to be sufficiently large to take all the data.
2174         (eliminate_dups): Run through the array and eliminate dups on the
2175         fly instead of using memmove.
2176         (cookie_jar_process_set_cookie): Free cookie->domain before
2177         re-setting it.
2178
2179 2003-10-05  Gisle Vanem  <giva@bgnett.no>
2180
2181         * mswindows.c (set_sleep_mode): Fix type of
2182         _SetThreadExecutionState.
2183
2184 2003-10-05  Hrvoje Niksic  <hniksic@xemacs.org>
2185
2186         * utils.c (file_size): Return -1 if fopen() returns NULL.  Prior
2187         to this patch, wget --post-file=nosuchfile dumped core.
2188
2189 2003-10-04  Gisle Vanem  <giva@bgnett.no>
2190
2191         * mswindows.c (run_with_timeout): Use WaitForSingleObject to wait
2192         for thread termination.
2193
2194 2003-10-04  Hrvoje Niksic  <hniksic@xemacs.org>
2195
2196         * log.c: Use `...' in function definitions; ansi2knr will convert
2197         them to va_dcl.  This allowed removal of the ugly VA_START_1 and
2198         VA_START_2 macros.
2199
2200 2003-10-03  Gisle Vanem  <giva@bgnett.no>
2201
2202         * connect.c: And don't include them here.
2203
2204         * mswindows.h: Include winsock headers here.
2205
2206 2003-10-03  Hrvoje Niksic  <hniksic@xemacs.org>
2207
2208         * html-parse.c (convert_and_copy): Move variable declarations
2209         before statements.
2210
2211 2003-10-02  Gisle Vanem  <giva@bgnett.no>
2212         
2213         * mswindows.c (run_with_timeout): For Windows: Run the 'fun' in a
2214         thread via a helper function. Continually query the thread's
2215         exit-code until finished or timed out.
2216
2217 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
2218
2219         * wget.h (XMALLOC_ARRAY): Removed.
2220         (ALLOCA_ARRAY): Ditto.
2221
2222         * html-parse.c: Renamed alloca_p to resized.
2223         (GROW_ARRAY): Renamed DO_REALLOC_FROM_ALLOCA to GROW_ARRAY and
2224         returned it to html-parse.c, since nothing else was using it.
2225
2226 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
2227
2228         * retr.c (retrieve_url): Initialize DUMMY storage for DT.  Caught
2229         by valgrind.
2230
2231 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
2232
2233         * html-parse.c (convert_and_copy): Handle numeric entities in
2234         hexadecimal, &#xHH.
2235         (convert_and_copy): Copy the contents directly to the pool without
2236         a stack-allocated intermediary.
2237
2238 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
2239
2240         * utils.c (alarm_set): New function; use either setitimer or alarm
2241         to set up the alarm.
2242         (alarm_cancel): New function; cancel the alarm set up by
2243         alarm_set.
2244         (run_with_timeout): Use them.
2245
2246 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
2247
2248         * url.c (url_parse): Don't leak memory when a reencoded URL turns
2249         out to be invalid.
2250
2251         * url.c (parse_errors): Mark error messages for translation.
2252         (url_error): Translate error messages returned to the caller.
2253
2254 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
2255
2256         * ftp.c (ftp_loop_internal): Initialize TMRATE to NULL to shut up
2257         the compiler.
2258
2259 2003-09-26  Gisle Vanem  <giva@bgnett.no>
2260
2261         * src/mswindows.c: Added ws_percenttitle() showing progress in the
2262         window titlebar. Called from retr.c. Secured ws_mypath().
2263
2264         * windows/config.h.ms: alloca() prototype not needed.  Removed
2265         "#undef ENABLE_NLS"; should be in Makefile IMHO. Moved
2266         WGET_USE_STDARG from mswindows.h to config.ms.h because of #ifdef
2267         in log.c. (MSVC's vararg.h and stdarg.h are incompatible).
2268
2269 2003-09-29  Aaron Hawley <Aaron.Hawley@uvm.edu>
2270
2271         * ftp.c (getftp): --spider option should now work with FTP
2272         downloads.
2273         (ftp_loop_internal): quiet reports and calculations of downloads
2274         when --spider option set, nor try deleting when --delete-after
2275         also set.
2276         (ftp_loop): --spider will skip HTML-ification of .listing file.
2277
2278 2003-09-26  Gisle Vanem  <giva@bgnett.no>
2279
2280         * mswindows.c (read_registry): Removed.
2281         (set_sleep_mode): New function.
2282         (windows_main_junk): Call it.
2283
2284 2003-09-26  Gisle Vanem  <giva@bgnett.no>
2285
2286         * mswindows.c (read_registry): Fix invocation of registry
2287         functions.
2288
2289         * mswindows.c (read_registry): Condition definitions of sleep and
2290         usleep with not HAVE_SLEEP and HAVE_USLEEP respectively.  Define
2291         HAVE_SLEEP and HAVE_USLEEP under __DMC__.
2292
2293 2003-09-24  Hrvoje Niksic  <hniksic@xemacs.org>
2294
2295         * url.c (url_escape_1): Revert unintentional change to lowercase
2296         xdigit escapes.
2297         (url_escape_dir): Document that this function depends on the
2298         output of url_escape_1.
2299
2300 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
2301
2302         * progress.c (create_image): Print the current ETA if we're done
2303         with the download.
2304         (create_image): Change '-' display char to '+' in the progress bar.
2305
2306         * Makefile.in (clean): Remove .libs.
2307
2308 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
2309
2310         * cookies.c (struct cookie): New flag domain_exact.
2311         (update_cookie_field): Skip leading dot in domain.
2312         (find_matching_chains): Match numeric addresses exactly; don't
2313         needlessly copy HOST to the stack.
2314         (matching_cookie): Added argument HOST.  If cookie->domain_exact
2315         is set, check that HOST is equal to cookie->domain.
2316         (cookie_jar_load): Only use TAB as delimiter.  Document the
2317         meaning of DOMAIN-FLAG.  Skip leading dot in domain.
2318         (cookie_jar_load): Don't ignore DOMAIN-FLAG -- instead, set
2319         domain_exact to true if DOMAIN-FLAG is false.
2320         (save_cookies_mapper): If domain_exact is false, prepend the
2321         domain with dot, like Mozilla does.
2322
2323 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
2324
2325         * progress.c (create_image): Print the initial part of the
2326         download with '-' characters, analogous to how dot progress prints
2327         the initial part with ','.
2328
2329         * hash.c (ptrhash): New function.
2330         (ptrcmp): Ditto.
2331         (hash_table_new): Default to identity hash table.
2332
2333 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
2334
2335         * safe-ctype.h (_sch_test): The cast of BIT to unsigned char was
2336         broken -- _sch_istable bitmasks are 16-bit, not 8-bit!  Cast BIT
2337         to unsigned short instead.
2338
2339 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
2340
2341         * url.c (path_simplify): Instead of calls to memmove, handle "./"
2342         and "../" by advancing pointers.
2343
2344 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
2345
2346         * retr.c (getproxy): Moved from url.c.
2347
2348         * convert.c: Split off link conversion from url.c into separate
2349         file.  Also included the book-keeping stuff from recur.c.
2350
2351 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
2352
2353         * init.c: Improved documentation of functions.
2354         (cmd_boolean): Attempt to make code that tries to avoid calling
2355         strcmp for "speed" a bit more readable.
2356
2357         * init.c (simple_atof): Report error on encountering non-digit,
2358         non-"." character.
2359         (simple_atoi): Replacement for myatoi(), calling interface
2360         compatible with simple_atof.  Updated myatoi's callers.
2361
2362 2003-09-21  Bertrand Demiddelaer  <bert@b3rt.org>
2363
2364         * url.c (path_simplify): Would read two bytes past the end of the
2365         string in the "./" case.
2366
2367 2003-09-21  Matthew J. Mellon  <mellon@tymenet.com>
2368
2369         * http.c (gethttp): Recognize content-type "application/xhtml+xml"
2370         as what Wget considers "text/html".
2371
2372 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
2373
2374         * connect.c (connect_with_timeout): Made timeout type double.
2375
2376         * options.h (struct options): New members read_timeout,
2377         dns_timeout, and connect_timeout.
2378         Use them.
2379
2380 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
2381
2382         * init.c (simple_atof): New function.
2383         (cmd_time): Use it.
2384         (cmd_bytes): Accept things like "1.5k" and such.  Use simple_atof
2385         to parse decimals.
2386
2387         * retr.c (limit_bandwidth): Adjust each sleep by the error of the
2388         previous one.
2389
2390 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
2391
2392         * main.c (main): Use setoptval() for setting the options.  Use
2393         run_command for `-e'.
2394
2395         * init.c (parse_line): Rewritten to return COMIND right away.
2396         Changed linkage to static.
2397         (run_wgetrc): Use the available comind when calling setval, so it
2398         doesn't have to be computed twice.
2399         (setval_internal): New function, runs the command's action without
2400         any error checking.
2401         (setoptval): New function, does what setval used to do, but exits
2402         in case of error.
2403         (run_command): New function.
2404
2405 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
2406
2407         * connect.c (select_fd): Change MAXTIME's type to double.  Handle
2408         its decimal part.
2409
2410         * retr.c (sleep_between_retrievals): In the random-wait case, use
2411         random_float() to wait between 0 and 2*opt.wait seconds.
2412
2413         * utils.c (run_with_timeout): Accept `double' timeouts.  Correctly
2414         handle timeout values in (0, 1) range.
2415         (random_float): New function.
2416
2417         * options.h (struct options): Change the types of wait, waitretry,
2418         and timeout to double.
2419
2420         * init.c (cmd_time): Accept floating point time.
2421
2422 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
2423
2424         * retr.c (get_contents): Cosmetic fixes.
2425
2426 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
2427
2428         * url.c (uri_merge): Get rid of uri_merge_1.
2429         (uri_merge): Merge "foo//", "bar" as "foo//bar", not "foo///bar",
2430         i.e. don't add an extra slash merely because BASE ends with two
2431         slashes.
2432         (parse_credentials): Renamed from parse_uname.  Rewrittern in
2433         standard [beg, end) calling style.
2434         (url_skip_credentials): Renamed from url_skip_uname.  Made static.
2435         (url_skip_credentials): Include # and ; as terminators.  Old code
2436         would mistakenly consider "http://foo.com#hniksic@iskon.hr" to
2437         contain a username.
2438         (url_skip_scheme): Removed because it was unused.
2439         (url_has_scheme): Require "scheme" to be at least one char long.
2440
2441 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
2442
2443         * url.c (url_file_name): Expect NULL dir_prefix.
2444
2445         * init.c (cmd_file): Use a macro to prevent multiple #ifdef
2446         WINDOWS.
2447         (defaults): Set dir_prefix to NULL by default.
2448
2449 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
2450
2451         * safe-ctype.h (_sch_test): Cast BIT to unsigned char, like latest
2452         gcc does.
2453
2454 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
2455
2456         * wget.h (BOUNDED_TO_ALLOCA): Evaluate PLACE only once.
2457         (ARRAY_SIZE): Renamed to countof.  All callers updated.
2458
2459 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
2460
2461         * main.c (main): New option --strict-comments.
2462
2463         * html-parse.c (find_comment_end): New function: simple BM search
2464         for "-->".
2465         (map_html_tags): Use it if looking at a comment and not in strict
2466         comments mode.
2467
2468 2003-09-17  Aurelien Marchand  <artaxerxes@users.sf.net>
2469
2470         * ftp.h: Added OS400 system in enum
2471         * ftp-basic.c: recognize OS400 systems
2472         * ftp.c: don't prepend the CWD if talking to OS400, since it
2473         breaks the change in library
2474
2475 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
2476
2477         * retr.c (get_contents): Pass the correct argument to ssl_iread.
2478
2479 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
2480
2481         * safe-ctype.h: Don't #define ctype.h macros to errors because
2482         that loses when someone #include's ctype.h after safe-ctype.h.
2483
2484 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
2485
2486         * url.c: Undef U, W, C after use.
2487
2488 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
2489
2490         * init.c (cmd_spec_restrict_file_names): Allow the OS setting to
2491         be augmented by ",nocontrol" which means don't escape the control
2492         characters, but otherwise keep OS settings.
2493
2494         * url.c (file_unsafe_char): Deleted.
2495         (append_uri_pathel): Query filechr_table directly.
2496         (filechr_table): Separated Unix, Windows, and control-unsafe
2497         characters.
2498
2499 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
2500
2501         * url.c (url_escape_1): New function.
2502         (url_escape): Use it.
2503         (sync_path): Handle pathological cases where u->file and u->dir
2504         contain really strange characters.
2505         (ENCODE): Deleted.
2506         (REENCODE): Deleted.
2507
2508 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
2509
2510         * url.c (url_file_name): Don't reallocate FNAME if the file
2511         doesn't exist, as is usually the case.
2512
2513         * utils.c (unique_name): New flag allow_passthrough.
2514
2515 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
2516
2517         * utils.c (wtimer_sys_diff): Convert the time difference to signed
2518         __int64, then to double.  This works around MS VC++ 6 which can't
2519         convert unsigned __int64 to double directly.
2520
2521 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
2522
2523         * Makefile.in (clean): Also remove the core.<number> files
2524         produced by recent Linux systems.
2525
2526 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
2527
2528         * http.c (post_file): Don't pad the file if it's not large
2529         enough.  Bail out instead.
2530
2531 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
2532
2533         * retr.c (get_contents): Reduce the buffer size to the amount of
2534         data that may pass through for one second.  This prevents long
2535         sleeps when limiting bandwidth.
2536
2537         * connect.c (connect_to_one): Reduce the socket's RCVBUF when
2538         bandwidth limitation to small values is requested.
2539
2540 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
2541
2542         * progress.c (update_speed_ring): Moved the speed ring update to a
2543         separate function and documented it better.
2544
2545         * progress.c: Use `double' for most timers to support granularity
2546         smaller than 1ms.
2547
2548 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
2549
2550         * wget.h (XDIGIT_TO_XCHAR): Implement as index into a literal
2551         string.
2552         (XDIGIT_TO_xchar): Ditto.
2553
2554 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
2555
2556         * utils.c: Change the type of timer-related functions from long to
2557         double, for better precision.  On machines supporting gettimeofday
2558         the timers now work with granularity of less than one millisecond.
2559
2560 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
2561
2562         * cookies.c (parse_set_cookies): Fixed the parser to handle more
2563         edge conditions.
2564         (test_cookies): New function, contains a test suite for
2565         parse_set_cookies.
2566
2567 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
2568
2569         * url.c (strpbrk_or_eos): Implement as a macro under Gcc.
2570
2571 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
2572
2573         * cookies.c (parse_set_cookies): Allow trailing space in
2574         set-cookies header.  Also, allow any amount of whitespace, not
2575         only one character.  Allow empty set-cookies header without
2576         spewing an error.
2577
2578 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
2579
2580         * url.c (append_uri_pathel): Use opt.restrict_file_names when
2581         calling file_unsafe_char.
2582
2583         * init.c: New command restrict_file_names.
2584
2585         * main.c (main): New option --restrict-file-names[=windows,unix].
2586
2587         * url.c (url_file_name): Renamed from url_filename.
2588         (url_file_name): Add directory and hostdir prefix here, not in
2589         mkstruct.
2590         (append_dir_structure): New function, does part of the work that
2591         used to be in mkstruct.  Iterates over path elements in u->path,
2592         calling append_uri_pathel on each one to append it to the file
2593         name.
2594         (append_uri_pathel): URL-unescape a path element and reencode it
2595         with a different set of rules, more appropriate for handling of
2596         files.
2597         (file_unsafe_char): New function, uses a lookup table to decide
2598         whether a character should be escaped for use in file name.
2599         (append_string): New utility function.
2600         (append_char): Ditto.
2601         (file_unsafe_char): New argument restrict_for_windows, decide
2602         whether Windows file names should be escaped in run-time.
2603
2604         * connect.c: Include <stdlib.h> to get prototype for abort().
2605
2606 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
2607
2608         * utils.c (wtimer_sys_set): Extracted the code that sets the
2609         current time here.
2610         (wtimer_reset): Call it.
2611         (wtimer_sys_diff): Extracted the code that calculates the
2612         difference between two system times here.
2613         (wtimer_elapsed): Call it.
2614         (wtimer_elapsed): Don't return a value smaller than the previous
2615         one, which could previously happen when system time is set back.
2616         Instead, reset start time to current time and note the elapsed
2617         offset for future calculations.  The returned times are now
2618         guaranteed to be monotonically nondecreasing.
2619
2620 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
2621
2622         * host.c (lookup_host): Print the result of the DNS lookup.
2623
2624 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
2625
2626         * init.c (cmd_boolean): Accept yes/no along with on/off.
2627         (cmd_lockable_boolean): Ditto.
2628
2629 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
2630
2631         * init.c: New command dns_cache.
2632
2633         * main.c (main): New option --dns-cache[=off].
2634
2635 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
2636
2637         * config.h.in: Initialize HAVE_GETADDRINFO and ENABLE_IPV6.
2638
2639         * all: Use #ifdef ENABLE_IPV6 instead of the older INET6.  Use
2640         HAVE_GETADDRINFO for getaddrinfo-related stuff.
2641
2642 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
2643
2644         * url.c (url_parse): Return an error if the URL contains a [...]
2645         IPv6 numeric address and we don't support IPv6.
2646
2647 2003-09-05  Hrvoje Niksic  <hniksic@xemacs.org>
2648
2649         * url.c (is_valid_ipv6_address): Modified to not require
2650         zero-terminated strings.
2651         (is_valid_ipv4_address): Ditto.
2652
2653 2003-09-05  Mauro Tortonesi <mauro@deepspace6.net>
2654
2655         src/url.c: added RFC 2732 compliance for URL parsing. The
2656         functions is_*_address valid are a modified version of
2657         glibc 2.3.2 inet_pton's code.
2658
2659 2003-09-03  Ahmon Dancy  <dancy@dancysoft.com>
2660
2661         * main.c init.c options.h: Added --retry-connrefused option so
2662         that Connection Refused failures are treated as non-fatal (when
2663         trying to retrieve from busy servers).
2664
2665         * wget.h: New CONNECT_ERROR macro for encapsulating this
2666         modification.
2667
2668         * ftp.c http.c : Use CONNECT_ERROR macro in places where
2669         ECONNREFUSED was checked.
2670
2671 2003-01-11  Ian Abbott  <abbotti@mev.co.uk>
2672
2673         * ftp.c (ftp_retrieve_glob): Reject insecure filenames as determined
2674         by calling new function has_insecure_name_p.  This is based on a
2675         patch by Red Hat.
2676
2677         * fnmatch.c (has_insecure_name_p): New function: returns non-zero
2678         if filename starts with `/' or contains `../' and is therefore
2679         considered insecure.
2680
2681         * fnmatch.h: Declare has_insecure_name_p().
2682
2683 2002-08-03  Hrvoje Niksic  <hniksic@xemacs.org>
2684
2685         * init.c (cmd_file): Allocate RESULT correctly.
2686
2687 2002-07-24  Hrvoje Niksic  <hniksic@xemacs.org>
2688
2689         * recur.c (retrieve_tree): Check whether downloaded_html_set is
2690         non-NULL before using it.
2691
2692 2002-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2693
2694         * html-parse.c (NAME_CHAR_P): Allow almost any character here.
2695
2696 2002-05-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2697
2698         * progress.c (bar_set_params): Fall back to dot progress if the
2699         terminal type is "emacs".
2700
2701 2002-05-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2702
2703         * log.c: Don't #undef WGET_USE_STDARG.
2704
2705 2002-05-16  Hrvoje Niksic  <hniksic@arsdigita.com>
2706
2707         * hash.c (prime_size): Store the offset of the prime number in the
2708         prime table.  When searching, start with the given offset.
2709         (hash_table_new): Pass the pointer to ht->prime_offset to
2710         prime_size.
2711         (grow_hash_table): Ditto.
2712         (prime_size): Make 13 the first prime to make empty hash tables
2713         slightly smaller.
2714
2715 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
2716
2717         * recur.c (download_child_p): Minor optimization to avoid an
2718         unnecessary additional call to schemes_are_similar_p function.
2719
2720 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
2721
2722         * url.c (schemes_are_similar_p): New function to test enumerated
2723         scheme codes for similarity.
2724
2725         * url.h: Declare it.
2726
2727         * recur.c (download_child_p): Use it to compare schemes.  This
2728         also fixes a bug that allows hosts to be spanned (without the
2729         -H option) when the parent scheme is https and the child's is
2730         http or vice versa.
2731
2732 2002-05-14  Bill Richardson  <bill@riverstonenet.com>
2733
2734         * ftp.c (getftp): Don't ftruncate stdout.
2735
2736         * http.c (gethttp): Don't ftruncate stdout.
2737
2738 2002-05-09  Ian Abbott  <abbotti@mev.co.uk>
2739
2740         * cmpt.c (strptime_internal): Synched with glibc-2.1.3.
2741         (get_number): Ditto.
2742         (get_alt_number): Ditto.
2743         (__isleap): New function-like macro used by strptime.
2744         (day_of_the_week): New function used by strptime.
2745         (day_of_the_year): Ditto.
2746         (__mon_yday): Now shared by mktime and strptime implementations.
2747
2748 2002-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
2749
2750         * cookies.c (check_domain_match): Use match_tail in case
2751         insensitive mode.
2752
2753         * utils.c (match_tail): Allow the caller to specify case
2754         insensitive mode.
2755
2756         * cookies.c (store_cookie): When expiry_time is 0, print it as
2757         undefined, not indefinite.
2758
2759 2002-05-07  Ian Abbott  <abbotti@mev.co.uk>
2760
2761         * cookies.c (cookie_jar_process_set_cookie): Do not store
2762         discarded cookie.
2763
2764 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
2765
2766         * cookies.c (check_domain_match): Allow cookies to be set for
2767         subdomains of unknown top-level domains under some circumstances.
2768
2769 2002-04-21  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
2770
2771         * gen_ssl.c:
2772         - allow checking of server cert
2773         - allow defining client cert type
2774         - allow limit of ssl protocol
2775         - check more return values
2776         - added debug message on break
2777
2778 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
2779
2780         * recur.c (download_child_p): Revert order of items in check
2781         number 6 for clarity.
2782
2783 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2784
2785         * init.c: Ditto.
2786
2787         * main.c: Ditto.
2788
2789         * http.c: Use the new interface.
2790
2791         * cookies.c: Provide an OO-style "cookie jar" interface to enable
2792         separate cookie jars.
2793
2794         * http.c (http_atotm): Declare argument as const.
2795
2796 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2797
2798         * cookies.c (cookie_new): Default to PORT_ANY.
2799         (find_cookie_chain_exact): Only search by DOMAIN.
2800         (find_matching_cookie): Also check that PORT matches.
2801         (store_cookie): Only match the domain.
2802         (set_cookie_header_cb): When a cookie "fakes" a domain, assume it
2803         is valid for that host rather than discarding it completely.
2804         (find_matching_chains): Don't search by PORT.
2805         (matching_cookie): Also match PORT.
2806         (load_cookies): Set the port if specified, otherwise leave it as
2807         ANY.
2808         (save_cookies_mapper): Save the port if specified, otherwise leave
2809         it empty.
2810
2811 2002-04-19  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
2812
2813         * init.c: The option `egdfile' was not in sort order.
2814
2815 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
2816
2817         * ftp.c (getftp): Treat directories that begin with <letter>: as
2818         absolute.
2819         (getftp): Strip trailing slashes from con->id before merging it
2820         with TARGET.
2821
2822 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
2823
2824         * http.c (gethttp): If Content-Type is not given, assume
2825         text/html.
2826
2827 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
2828
2829         * recur.c (download_child_p): Don't ignore rejection of HTML
2830         documents that are themselves leaves of recursion.
2831
2832 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
2833
2834         Makefile.in: Updated several dependencies for object files to take
2835         account of nested include files.
2836
2837 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
2838
2839         Makefile.in: The target `connect$o' (connect.o) now depends on
2840         `utils.h'
2841
2842 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
2843
2844         * host.c (SET_H_ERRNO): New function-like macro to set `h_errno'.
2845         (gethostbyname_with_timeout): Use it.
2846
2847         * utils.c: Don't define `SETJMP()', `run_with_timeout_env' or
2848         `abort_run_with_timeout()' when `USE_SIGNAL_TIMEOUT' is undefined.
2849
2850 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
2851
2852         * host.c (getaddrinfo_with_timeout): New function.
2853         (gethostbyname_with_timeout): Ditto.
2854         (lookup_host): Use them.
2855
2856 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2857
2858         * utils.c (number_to_string): Handle the case when n < -INT_MAX.
2859
2860 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2861
2862         * init.c (comind): Use a marginally faster implementation of
2863         binary search.  To quote Martin Buchholz, "a nanosecond saved is a
2864         nanosecond earned."
2865
2866 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2867
2868         * main.c (print_help): Document `--post-data' and `--post-file'.
2869
2870 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2871
2872         * http.c (gethttp): Ditto.
2873
2874         * retr.c (retrieve_url): Initialize variables to appease the
2875         compiler.
2876
2877         * gen_sslfunc.c (ssl_iread): Don't handle EINTR when calling
2878         select_fd.
2879         (ssl_iwrite): Ditto.
2880
2881         * connect.c (select_fd): Rewrite to handle EINTR.  Set errno to
2882         ETIMEDOUT in case of timeout.
2883         (iread): No need to handle EINTR when calling select_fd.
2884         (iwrite): Ditto.
2885
2886 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2887
2888         * retr.c (retrieve_url): Make sure that POST is not honored for
2889         redirections.
2890
2891         * http.c (gethttp): Send the POST data when requested.
2892         (post_file): New function.
2893         (gethttp): Use it.
2894
2895         * main.c (main): Ditto.
2896
2897         * init.c: Add new options.
2898
2899         * options.h (struct options): New options post_data and
2900         post_file_name.
2901
2902 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2903
2904         * connect.c (connect_with_timeout): Firing SIGALRM can result in
2905         connect() exiting with EINTR.  Treat EINTR the same as ETIMEDOUT.
2906
2907 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2908
2909         * connect.c (connect_with_timeout): Use it.
2910
2911         * utils.c (run_with_timeout): New function.
2912
2913 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2914
2915         * url.c (getproxy): Accept a struct url argument.  This obviates
2916         the need for USE_PROXY_P.
2917
2918         * retr.c (retrieve_url): Allow proxy to be a non-FTP URL.
2919
2920         * ftp.c (getftp): Recognize FWTK-style proxy.
2921
2922 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2923
2924         * config.h.in: Only define _VA_LIST when compiled with gcc.
2925
2926 2002-04012  Ian Abbott  <abbotti@mev.co.uk>
2927
2928         * http.c (http_loop): Compensate for MS Windows two-second
2929         granularity of file modification time when comparing timestamps.
2930
2931         * ftp.c (ftp_retrieve_list): Ditto.
2932
2933 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
2934
2935         * utils.c (has_html_suffix_p): New function to test filename for
2936         common html extensions.
2937
2938         * utils.h: Declare it.
2939
2940         * http.c (http_loop): Use it instead of previous test.
2941
2942         * retr.c (retrieve_url): Ditto.
2943
2944         * recur.c (download_child_p): Ditto.
2945
2946 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2947
2948         * config.h.in: Define _VA_LIST on Solaris to prevent stdio.h from
2949         declaring va_list.
2950         From Kevin Rodgers <kevinr@ihs.com>.
2951
2952 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
2953
2954         * Makefile.in: Specify libtool mode explicitly when linking.
2955
2956 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2957
2958         * connect.c (connect_with_timeout): New function.
2959         (connect_to_one): Use it.
2960
2961         * config.h.in: Add stubs for HAVE_SIGSETJMP, HAVE_SIGBLOCK, and
2962         HAVE_SETJMP_H.
2963
2964 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2965
2966         * log.c: Set WGET_USE_STDARG if __STDC__ is defined and stdarg.h
2967         is present.
2968
2969 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2970
2971         * progress.c (bar_create): If INITIAL is larger than TOTAL, fix
2972         TOTAL.
2973         (bar_finish): Likewise.
2974
2975 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2976
2977         * html-url.c (tag_handle_form): New function.  Pick up form
2978         actions and mark them for conversion only.
2979
2980 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2981
2982         * progress.c (struct progress_implementation): Use PARAMS when
2983         declaring the parameters of *create, *update, *finish, and
2984         *set_params.
2985
2986         * netrc.c: Ditto.
2987
2988         * http.c: Reformat some function definitions so that ansi2knr can
2989         read them.
2990
2991         * hash.c (struct hash_table): Use the PARAMS macro around
2992         parameters in the declaration of hash_function and test_function.
2993         (prime_size): Spell 2580823717UL and 3355070839UL as (unsigned
2994         long)0x99d43ea5 and (unsigned long)0xc7fa5177 respectively, so
2995         that pre-ANSI compilers can read them.
2996         (find_mapping): Use PARAMS when declaring EQUALS.
2997         (hash_table_put): Ditto.
2998
2999         * ftp.h: Wrap the parameters of ftp_index declaration in PARAMS.
3000
3001         * cookies.c (cookie_new): Use (unsigned long)0 instead of 0UL,
3002         which was unsupported by pre-ANSI compilers.
3003
3004         From Nelson H. F. Beebe <beebe@math.utah.edu>, for the most part.
3005
3006 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3007
3008         * url.c (url_filename): Use compose_file_name regardless of
3009         whether opt.dirstruct is set.
3010         (mkstruct): Don't handle the query and the reencoding of DIR; that
3011         is done in compose_file_name.
3012
3013 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3014
3015         * wget.h: Ditto for extern char *exec_name.
3016
3017         * options.h: Don't guard against OPTIONS_DEFINED_HERE -- it is
3018         perfectly legal to follow an `extern' with a non-`extern' ones,
3019         provided the types match.
3020
3021         * main.c: Don't define OPTIONS_DEFINED_HERE.
3022
3023 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3024
3025         * progress.c (create_image): Revert to calculating ETA based on
3026         average download speed.
3027         (create_image): Don't print ETA until the download has been active
3028         for at least 3 seconds.
3029         (create_image): When ETA is not available, don't print anything.
3030         The previous version would print --:--.
3031
3032 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3033
3034         * progress.c (bar_update): Keep updating a subinterval until it
3035         reaches or exceeds a watermark.  That way the measurement will be
3036         guaranteed to span a configurable minimum of time.  The current
3037         default is 3s in 30 100ms intervals.
3038
3039 2002-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3040
3041         * progress.c (bar_update): Maintain an array of the time it took
3042         to perform previous 30 network reads.
3043         (create_image): Calculate the download speed and ETA based on the
3044         last 30 reads, not the entire download.
3045         (create_image): Make sure that the ETA is not changed more than
3046         once per second.
3047
3048 2002-04-09  Ian Abbott  <abbotti@mev.co.uk>
3049
3050         * mswindows.c (borland_utime): New function conditionally defined
3051         when `HACK_BCC_UTIME_BUG' is defined.  A reimplementation of
3052         `utime()' as Borland's `utime()' function is broken on Windows 9x
3053         systems.  (Original patch by Chin-yuan Kuo <sr1111111@yahoo.com.tw>.)
3054
3055 2002-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3056
3057         * ftp.c (ftp_loop): Propagate the result of ftp_retrieve_glob.
3058
3059 2002-03-26  Ian Abbott  <abbotti@mev.co.uk>
3060
3061         * Makefile.in: Updated several dependencies for object files.
3062
3063 2002-03-20  Ian Abbott  <abbotti@mev.co.uk>
3064
3065         * mswindows.c: Include "utils.h".
3066
3067 2002-03-18  Ian Abbott  <abbotti@mev.co.uk>
3068
3069         * host.h: Don't include netdb.h on windows.
3070
3071 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3072
3073         * recur.c (retrieve_tree): Handle the case when start_url doesn't
3074         parse.
3075
3076 2002-02-19  Andreas Damm  <andreas-sourceforge@radab.org>
3077
3078         * wget.h (DO_REALLOC_FROM_ALLOCA): Multiply with sizeof(type) when
3079         calling xmalloc and memcpy.
3080
3081 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3082
3083         * host.h: Include Unix-specific includes #ifndef WINDOWS.
3084         Patch originally provided by Christian Lackas.
3085
3086 2002-02-11  Christian Lackas  <delta@lackas.net>
3087
3088         * recur.c: recurive downloading for https fixed.
3089
3090 2002-02-19  Alan Eldridge  <alane@geeksrus.net>
3091
3092         * host.h: Also include <netinet/in.h> and <sys/socket.h>.
3093
3094         * ftp-basic.c: Also include <netinet/in.h>.
3095
3096 2002-02-05  Ian Abbott  <abbotti@mev.co.uk>
3097
3098         * http.c (gethttp): when -c used, mark already fully retrieved
3099         file as successfully retrieved.
3100
3101 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3102
3103         * url.c (url_parse): Don't treat '?' as query string separator
3104         when parsing FTP URLs.
3105
3106 2002-02-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3107
3108         * html-url.c (tag_handle_meta): Don't crash on <meta
3109         http-equiv=refresh> where content is missing.
3110
3111 2002-01-31  Herold Heiko  <Heiko.Herold@previnet.it>
3112
3113         * ftp-basic.c, host.c: don't include sys/socket.h, arpa/inet.h,
3114         netdb.h on windows.
3115
3116 2002-01-30  Hrvoje Niksic  <hniksic@arsdigita.com>
3117
3118         * retr.c (retrieve_url): Remove redirection cycle detection.  This
3119         is because some sites legitimately redirect the user back to the
3120         same location, e.g. after an authorization check performed by
3121         another page.  MAX_REDIRECTIONS is still used to prevent infinite
3122         redirection loops.
3123
3124 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3125
3126         * http.c (gethttp): Wrap host name in square brackets if it
3127         contains a colon.
3128
3129 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3130
3131         * url.c (url_parse): Allow all hex digits, not only decimal ones,
3132         to form an IP address.
3133
3134 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3135
3136         * url.c (urlchr_table): Make square braces reserved, so we can
3137         parse http://[::1]/.
3138         (url_parse): Handle host in braces.
3139         (url_string): If url->host contains colons, wrap it in braces.
3140
3141 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3142
3143         * connect.c (resolve_bind_address): New function.
3144         (connect_to_one): Use it.
3145         (bindport): Ditto.
3146
3147         * init.c: Don't resolve bind-address here.
3148
3149         * host.c (wget_sockaddr_set_address): Would bug out with ADDR == NULL.
3150
3151 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3152
3153         * host.c (lookup_host): Use sizeof(ip4_address) to calculate the
3154         offset.
3155         (address_list_new): Use map_ipv4_to_ip.
3156         (wget_sockaddr_set_address): Convert ADDR to IPv4 before using it
3157         in IPv4 context.
3158
3159 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3160
3161         * source: Integrated IPv6 support.
3162         Written by Thomas Lussnig <thomas.lussnig@bewegungsmelder.de>.
3163
3164 2002-01-15  Ian Abbott  <abbotti@mev.co.uk>
3165
3166         * init.c (cmd_file): Change `\' to `/' for Windows (yes, really!)
3167         (cmd_directory): New function. Like cmd_file(), but strips
3168         trailing directory separators.
3169         (commands): Change action for "dirprefix" from `cmd_file' to
3170         `cmd_directory'.
3171
3172         * utils.c (make_directory): Allow intermediate `mkdir' calls to
3173         fail, as not all path components that do not exist should be
3174         directory components, especially under Windows.
3175
3176 2002-01-17  Hrvoje Niksic  <hniksic@arsdigita.com>
3177
3178         * netrc.c (parse_netrc): Skip leading whitespace before testing
3179         whether the line is empty.  Empty lines still contain the line
3180         terminator.
3181
3182 2002-01-15  Hrvoje Niksic  <hniksic@arsdigita.com>
3183
3184         * gen_sslfunc.c (ssl_iread): Call select on the file descriptor
3185         only if no data is pending in SSL buffers.
3186         From tony@bluetail.com.
3187
3188 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3189
3190         * headers.c (header_get): Strip trailing whitespace from the
3191         header.
3192
3193 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3194
3195         * url.c (parse_uname): URL-decode *USER and *PASSWD.
3196
3197 2002-01-07  Ian Abbott <abbotti@mev.co.uk>
3198
3199         * url.c (uri_merge_1): Deal with "net path" relative URL (one that
3200         starts with "//").
3201
3202 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3203
3204         * http.c (gethttp): Invalidate SOCK if get_contents encountered an
3205         error.
3206
3207 2001-12-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3208
3209         * version.c: Wget 1.8.1 is released.
3210
3211 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3212
3213         * version.c: Wget 1.8.1-pre3 is released.
3214
3215 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3216
3217         * recur.c (retrieve_tree): Enqueue the canonical representation of
3218         start_url, so that the test against dl_url_file_map works.
3219
3220 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3221
3222         * log.c (logputs): Check for requested verbosity before printing
3223         anything.
3224
3225 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3226
3227         * html-url.c (tag_handle_link): Treat the "shortcut icon" link as
3228         inline.
3229
3230 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3231
3232         * recur.c (retrieve_tree): Make a copy of file obtained from
3233         dl_url_file_map because the code calls xfree(file) later.
3234
3235 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3236
3237         * recur.c (register_html): Maintain a hash table of HTML files
3238         along with the list.  Disallow duplicates.
3239         (retrieve_tree): Use downloaded_html_set to check whether the file
3240         found in dl_url_file_map is an HTML file, and descend into it if
3241         so.
3242         (convert_all_links): Don't guard against duplicates in
3243         downloaded_html_list, since they are no longer possible.
3244
3245 2001-12-18  Ian Abbott  <abbotti@mev.co.uk>
3246
3247         * recur.c (retrieve_tree): Pass on referring URL when retrieving
3248         recursed URL.
3249
3250 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
3251
3252         * version.c: Wget 1.8.1-pre2 is released.
3253
3254 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
3255
3256         * retr.c (sleep_between_retrievals): Simplify indentation.
3257
3258 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
3259
3260         * gen_sslfunc.c (ssl_init_prng): Use random_number to get a byte
3261         of "randomness" at a time.
3262         (ssl_init_prng): Don't seed the PRNG; random_number will do that.
3263
3264         * retr.c (sleep_between_retrievals): Use it.  Make sure that the
3265         random amount averages in opt.wait.
3266         (sleep_between_retrievals): Don't seed the PRNG; random_number
3267         will do that.
3268
3269         * utils.c (random_number): New function.
3270
3271 2001-12-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3272
3273         * url.c (path_simplify): Move here from utils.c, and make static.
3274
3275 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3276
3277         * init.c (wgetrc_file_name): Print correct message when loading
3278         getenv("WGETRC") fails.
3279
3280 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3281
3282         * recur.c (register_download): Don't abort when one URL references
3283         two different files.
3284
3285 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3286
3287         * http.c (gethttp): Check for conn->scheme, not u->scheme, before
3288         calling ssl_iwrite.
3289
3290 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3291
3292         * version.c: Wget 1.8.1-pre1 is released.
3293
3294 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3295
3296         * res.c (matches): Fix broken URL in the docstring.
3297
3298 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3299
3300         * html-url.c (tag_url_attributes): Mark <embed href=...> as
3301         external.
3302
3303 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3304
3305         * url.c (get_urls_file): Cosmetic changes.
3306
3307 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3308
3309         * html-url.c (append_one_url): Resurrect warning when unable to
3310         resolve a relative link.
3311
3312 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3313
3314         * html-url.c (collect_tags_mapper): Break into several functions.
3315         (tag_url_attributes): Collect <embed href=...>.
3316
3317 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3318
3319         * host.c: New type ipv4_address.  Use it consistently instead of
3320         `unsigned char[4]' and `unsigned char *'.
3321         (pretty_print_address): Accept a `const void *', to require even
3322         less casting.
3323
3324 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3325
3326         * ftp-ls.c (ftp_parse_vms_ls): Fix obvious memory leaks.
3327
3328 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3329
3330         * main.c (main): Initialize progress after fork_to_background, so
3331         that it knows when to use dots.
3332
3333         * mswindows.c (ws_hangup): Call log_request_redirect_output.
3334
3335         * utils.c (fork_to_background): Print the PID of the child
3336         process.
3337
3338         * log.c (log_request_redirect_output): Set a flag that output
3339         redirection has been requested.  Doing anything else in a signal
3340         handler is unsafe.
3341         (check_redirect_output): New function: check whether redirection
3342         has been requested and, if so, call redirect_output().
3343         (logputs): Call check_redirect_output.
3344         (logprintf): Ditto.
3345         (debug_logprintf): Ditto.
3346         (redirect_output): Print clearer messages.
3347
3348         * main.c (redirect_output_signal): Don't call
3349         redirect_output_signal directly.  Instead, call
3350         log_request_redirect_output.
3351
3352         * utils.c (memfatal): Ditto.
3353
3354         * progress.c (display_image): Use it.
3355
3356         * log.c (log_set_save_context): New function: allow the caller to
3357         turn off saving log context lines.
3358
3359 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3360
3361         * host.c (address_list_set_faulty): Uncomment a sanity check.
3362
3363 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3364
3365         * utils.c (long_to_string): Return a pointer after where the
3366         number ends.
3367         (long_to_string): Rename to number_to_string.
3368
3369 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3370
3371         * utils.c (path_simplify): Correctly handle the unlikely case that
3372         b starts out as path + 1.
3373
3374 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3375
3376         * utils.c (path_simplify): Rewrite, with better comments, and
3377         without the use of strcpy to move overlapping blocks.
3378
3379 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3380
3381         * init.c (cmd_spec_progress): Resurrect.  Check whether VAL is a
3382         valid progress type before setting it.
3383
3384 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3385
3386         * main.c (main): Remove stray debugging message.
3387
3388 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3389
3390         * progress.c (create_image): Fix ETA padding when hours are prined.
3391
3392 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3393
3394         * version.c: Wget 1.8 is released.
3395
3396 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3397
3398         * url.c (reencode_string): Declare static.
3399
3400         * res.c (registered_specs): Declare static.
3401
3402         * progress.c (current_impl_locked): Declare static.
3403
3404         * log.c (flush_log_p): Declare static.
3405         (needs_flushing): Ditto.
3406
3407         * http.c (digest_authentication_encode): Declare static.
3408
3409         * html-url.c (init_interesting): Declare static.
3410
3411         * host.c (host_name_addresses_map): Declare static.
3412
3413         * cookies.c (find_matching_chains): Declare static.
3414
3415         * ftp-ls.c (ftp_parse_vms_ls): Warn about the memory leak
3416         indicated by lint.
3417
3418         * utils.c (path_simplify): Remove unused variable STUB_CHAR.
3419
3420         * host.c (address_list_set_faulty): Document that INDEX is
3421         currently unused.
3422
3423         * url.c (rewrite_shorthand_url): Remove unused variable PATH.
3424
3425 2001-12-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3426
3427         * version.c: Wget 1.8-pre2 is released.
3428
3429 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3430
3431         * progress.c (progress_handle_sigwinch): Set up the signal again.
3432
3433         * utils.c: Include <sys/termios.h>, where Solaris defines
3434         TIOCGWINSZ.
3435
3436         * progress.c (bar_create): Don't use the last column on the screen.
3437         (create_image): Pad ETA to constant size.  Pad SIZE to nine digits
3438         only until it exceeded them.
3439
3440 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3441
3442         * version.c: Wget 1.8-pre1 is released.
3443
3444 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3445
3446         * progress.c (progress_create): Make sure that, when the output is
3447         redirected, the progress implementation gets changed to the
3448         fallback one.
3449         (bar_set_params): Set current_impl_locked to 1 when "force" is
3450         specified.
3451         (progress_create): Don't change the progress implementation if
3452         current_impl_locked is non-zero.
3453
3454         * main.c (redirect_output_signal): Call
3455         progress_schedule_redirect.
3456
3457         * progress.c (progress_schedule_redirect): New function.
3458
3459 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3460
3461         * log.c (logvprintf): Restructure to allow being called multiple
3462         times.
3463         (logprintf): Call logvprintf in a loop.
3464         (debug_logprintf): Ditto.
3465
3466 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3467
3468         * gen_sslfunc.c (ssl_init_prng): Allow the user to disable EGD by
3469         setting egd_file it to empty string.
3470
3471         * main.c (main): Change the option name from --sslegdsock to
3472         --egd-file.
3473
3474 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3475
3476         * gen_sslfunc.c (ssl_init_prng): Make the printed message
3477         translatable.
3478
3479 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3480
3481         * url.c (scheme_disable): New function.
3482
3483         * main.c (main): Call ssl_init_prng from here rather than from
3484         init_ssl, so that it has a chance to disable support for https
3485         before a URL has been resolved.
3486
3487         * gen_sslfunc.c (ssl_init_prng): Seed with rand() if all else
3488         failed.
3489         (ssl_init_prng): Disable support for https if seeding the PRNG
3490         fails.
3491
3492 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3493
3494         * utils.c (read_whole_line): Handle lines beginning with \0.
3495
3496 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
3497
3498         * recur.c (convert_all_links): Guard against duplicates in
3499         downloaded_html_files.
3500         (register_download): Don't invalidate similar-looking URLs.
3501         (match_except_index): New function.
3502
3503 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
3504
3505         * utils.c (path_simplify): Document with test cases.
3506
3507 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
3508
3509         * gen_sslfunc.c: Ditto.
3510
3511         * rbuf.c: Include <string.h>.
3512
3513 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
3514
3515         * recur.c (retrieve_tree): Check whether the URL was already
3516         downloaded before downloading it again.
3517         (descend_child_p): Renamed to download_child_p.
3518         (register_download): When one URL is downloaded to a file already
3519         "owned" by another URL, delete all references that map any URL to
3520         that file.
3521         (register_delete_file): New function.
3522         (retrieve_tree): Use it after deleting a file.
3523
3524         * url.c (url_parse): Re-canonicalize the URL also if the path is
3525         empty, so that e.g. "http://www.server.com" ->
3526         "http://www.server.com/".
3527         (lowercase_str): Use ISUPPER instead of !ISLOWER.
3528
3529         * retr.c (retrieve_url): Use the canonical URL form when calling
3530         register_download().
3531
3532 2001-12-04  Ian Abbott <abbotti@mev.co.uk>
3533
3534         * snprintf.c (dopr): Use `unsigned int' as the second argument to
3535         va_arg when casting to `unsigned short' is intended.
3536
3537 2001-12-04  Herold Heiko  <Heiko.Herold@previnet.it>
3538
3539         * gen_sslfunc.c: on windows provide ssl crypto random 
3540           initialization through RAND_screen(); could possibly
3541           be not enough for strong ssl communication (see the 
3542           relevant manual page from the openssl package).
3543
3544 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
3545
3546         * url.c (local_quote_string): Reenable quoting of question marks,
3547         but only when `--html-extension' is used.
3548
3549 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
3550
3551         * version.c: Wget 1.8-beta3 is released.
3552
3553 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
3554
3555         * snprintf.c (dopr): Cast the result of va_arg to short int and
3556         short unsigned int where these types are expected to be used.
3557
3558 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
3559
3560         * snprintf.c (dopr): Replace `short int' and `unsigned short int'
3561         with `int' when using it as the second argument to `va_arg'.
3562
3563 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
3564
3565         * host.c (address_list_new_one): New function.
3566         (lookup_host): Use it.
3567
3568 2001-12-03  Andre Majorel  <amajorel@teaser.fr>
3569
3570         * host.c (lookup_host): Don't initialize TMPSTORE directly because
3571         it's not legal C.
3572
3573 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
3574
3575         * ftp-basic.c (ftp_port): Don't return HOSTERR if we fail getting
3576         the socket data.
3577
3578         * ftp.c: Ditto.
3579
3580         * http.c: No need to declare h_errno.
3581
3582         * host.c: Declare h_errno.
3583
3584 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3585
3586         * utils.c (file_merge): If BASE doesn't contain a slash, just
3587         return a copy of FILE.
3588
3589 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3590
3591         * version.c: Wget 1.8-beta2 is released.
3592
3593 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3594
3595         * ftp.c (getftp): When PWD fails, assume "/".
3596
3597         * ftp-basic.c (ftp_syst): Fix indentation.
3598
3599 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3600
3601         * url.c (get_urls_file): If opt.base_href is specified, merge each
3602         URL with the base.
3603
3604 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3605
3606         * main.c (print_help): Don't document the removed `-nh'.
3607
3608 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3609
3610         * url.c (url_full_path): Document better.
3611
3612         * http.c (gethttp): Use the full path when creating digest
3613         authorization.
3614
3615 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3616
3617         * cookies.c (path_matches): Return 0 if PREFIX doesn't begin with
3618         '/'.
3619
3620 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3621
3622         * cookies.c (path_matches): FULL_PATH doesn't begin with '/', but
3623         PREFIX does.
3624
3625 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3626
3627         * cookies.c (check_domain_match): Reimplement to match Netscape's
3628         "preliminary specification" for cookies.
3629
3630 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3631
3632         * url.c (replace_attr_refresh_hack): New function.
3633         (convert_links): Call replace_attr_refresh_hack for Refresh
3634         links.  It will add the "TMOUT; URL=" junk before the link.
3635
3636         * html-url.c (collect_tags_mapper): Set ID to the ID of the
3637         "content" attribute, not "http-equiv".
3638         (collect_tags_mapper): Don't use OFFSET to hack the raw_* values;
3639         instead, store the information that this entry belongs to a
3640         "refresh" link.
3641
3642 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3643
3644         * version.c: Wget 1.8-beta1 is released.
3645
3646 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3647
3648         * recur.c (retrieve_tree): Allow -p retrievals to exceed maximum
3649         depth by more than one.
3650
3651 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
3652
3653         * retr.c (retrieve_url): Don't allow more than 20 redirections.
3654
3655 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
3656
3657         * recur.c (retrieve_tree): Skip the non-inline entries when
3658         enqueuing the children of a leaf HTML node in -p mode.
3659         (descend_url_p): Ignore opt.no_parent when in -p mode and UPOS is
3660         "inline".
3661
3662         * html-url.c (get_urls_html): Don't accept dash_p_leaf_HTML.
3663         (collect_tags_mapper): When an entry is "inline", mark it as such.
3664
3665         * recur.c (descend_url_p): Fix test when checking for
3666         acceptance/rejection rules.
3667
3668 2001-10-31 Daniel BODEA <dali@dali-designs.com>
3669
3670         * netrc.c (search_netrc): When slack_default is 0, still look for
3671         an account with matching password, just not the "default account".
3672         HTTP Authorization using .netrc should now work as expected.
3673
3674 2001-11-30  T. Bharath  <TBharath@responsenetworks.com>
3675
3676         * http.c (persistent_available_p): Call SHUTDOWN_SSL if
3677         test_socket_open fails.
3678
3679 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
3680
3681         * progress.c (display_image): Just print one CR to reset the
3682         cursor position.
3683
3684 2001-11-30  Christian Fraenkel  <c.fraenkel@gmx.net>
3685
3686         * init.c: New command `ssl_egd_sock'.
3687
3688         * main.c (main): New option `--sslegdsock'.
3689
3690         * gen_sslfunc.c (ssl_init_prng): Seed the RNG using EGD.
3691
3692 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3693
3694         * cmpt.c (memmove): Include a simple memmove implementation.
3695
3696 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3697
3698         * headers: Guard against header files being included twice.
3699
3700 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3701
3702         * gen-md5.c: Use unsigned char * as the buffer argument to
3703         gen_md5_update.
3704
3705 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3706
3707         * connect.h: Declare select_fd.
3708
3709 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3710
3711         * recur.c (descend_url_p): When resolving no_parent, compare with
3712         start_url, not parent url.  Otherwise link from /a/b/ to /a/c/
3713         wouldn't be followed, although the download started from /a/.
3714
3715 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
3716
3717         * config.h.ms, mswindows.h: defined HAVE_ISATTY, use _isatty for
3718         MS VC; somebody with Borland compiler please check and provide
3719         patch if possible;
3720
3721         * cmpt.c: provided a usleep emulation.
3722
3723 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3724
3725         * host.c (address_list_new): Initialize al->faulty.
3726
3727 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3728
3729         * http.c (http_process_range): Accept the broken output of
3730         "JavaWebServer/1.1.1".
3731
3732 2001-11-28  Hrvoje Niksic  <hniksic@arsdigita.com>
3733
3734         * progress.c (dot_set_params): If PARAMS is unspecified, use
3735         dot_style, if available.
3736
3737         * init.c: Ditto.
3738
3739         * main.c (main): Resurect --dot-style.
3740
3741         * progress.c (dot_finish): Print the quantity if we're left at the
3742         beginning of a row.
3743
3744 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3745
3746         * cmpt.c (random): Removed.
3747
3748         * retr.c (sleep_between_retrievals): Use the more portable rand()
3749         instead of random().
3750
3751 2001-11-27  Ian Abbott <abbotti@mev.co.uk>
3752
3753         * retr.c (retrieve_from_file): Initialize `new_file' to NULL to
3754         prevent seg fault.
3755
3756 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3757
3758         * connect.c (connect_to_many): Use address_list_set_faulty to
3759         prevent the faulty address from being reused.
3760
3761         * host.c (address_list_set_faulty): New function.
3762         (address_list_get_bounds): New function, instead of
3763         address_list_count.
3764
3765 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3766
3767         * url.c (convert_links): Don't translate %d-%d.
3768
3769         * main.c (print_help): Remove stray HAVE_RANDOM code.
3770
3771 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3772
3773         * ftp.c (getftp): Improve output after sending PASV.  Don't
3774         attempt to "look up" the IP address we already know; call
3775         connect_to_one directly.
3776
3777 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3778
3779         * progress.c: Change the default progress implementation to "bar".
3780
3781 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3782
3783         * progress.c (bar_create): Print two newlines.
3784
3785 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3786
3787         * cmpt.c (random): New function, a simple-minded replacement for
3788         random() on systems that don't have it.
3789
3790 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3791
3792         * config.h.in: Put a HAVE_USLEEP stub.
3793
3794         * cmpt.c (usleep): Replacement implementation of usleep using
3795         select.
3796
3797         * init.c: New option init_rate.
3798
3799         * main.c (main): New option --limit-rate.
3800
3801         * retr.c (limit_bandwidth): New function.
3802         (get_contents): Call it to limit the bandwidth used when
3803         downloading.
3804
3805         * progress.c (dot_update): Would print the wrong download speed on
3806         rows other than the first one when the download was continued.
3807         (dot_finish): Ditto.
3808
3809 2001-11-26  Ian Abbott <abbotti@mev.co.uk>
3810
3811         * http.c (gethttp): fix undeclared variable 'err' when compiled
3812         with HAVE_SSL.
3813
3814 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3815
3816         * progress.c: Don't allocate new timers; use the timing data
3817         propagated from the caller.
3818
3819         * retr.c (get_contents): Allocate and use a timer.
3820
3821 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3822
3823         * http.c (last_host_ip): Made into an address_list.
3824         (invalidate_persistent): Release pc_last_host_ip.
3825         (register_persistent): Use lookup_host.
3826         (persistent_available_p): Check for equality of hosts using
3827         address_list_match_all.  Call address_list_release.
3828         (http_cleanup): New function.
3829
3830         * ftp.c (getftp): Use lookup_host and connect_to_many.
3831
3832         * http.c (gethttp): Use lookup_host and connect_to_many.
3833
3834         * connect.c (make_connection): Removed.
3835         (connect_to_one): New function.
3836         (connect_to_many): Ditto.
3837         (set_connection_host_name): Ditto.
3838
3839         * host.c (lookup_host): New function; new return type.
3840         (address_list_new): New function.
3841         (address_list_count): Ditto.
3842         (address_list_copy_one): Ditto.
3843         (address_list_delete): Ditto.
3844         (address_list_release): Ditto.
3845         (pretty_print_address): Ditto.
3846
3847 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3848
3849         * recur.c (retrieve_tree): In case of followed redirection,
3850         blacklist the pre-redirection URL.
3851
3852 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3853
3854         * recur.c (descend_redirect_p): New function.
3855         (retrieve_tree): Make sure redirections are not blindly followed.
3856
3857 2001-11-04  Alan Eldridge  <alane@geeksrus.net>
3858
3859         * config.h.in: added HAVE_RANDOM.
3860
3861         * options.h: added random_wait to struct options.
3862
3863         * main.c (print_help [HAVE_RANDOM], main): added arg parsing, help
3864         for --random-wait.
3865
3866         * retr.c (sleep_between_retrievals) [HAVE_RANDOM]: added
3867         implementation of random wait times.
3868
3869         * init.c (commands): added "randomwait" keyword.
3870
3871 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3872
3873         * recur.c (descend_url_p): Be more conservative with blacklisting
3874         URLs.
3875         (convert_all_links): Print how many files have been converted, and
3876         how long it took.
3877
3878         * progress.c (create_image): Place the number of downloaded bytes
3879         right after the progress bar.
3880
3881         * utils.c (suffix): Return a pointer into the string.
3882
3883 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3884
3885         * url.c (convert_links): Handle CO_NULLIFY_BASE.
3886
3887         * recur.c (retrieve_tree): Ignore download-ignorable children.
3888         (convert_all_links): Specify CO_NULLIFY_BASE when link_base_p.
3889
3890         * html-url.c (handle_link): Return the newly created urlpos.
3891         (collect_tags_mapper): When dealing with BASE, store the base
3892         reference and mark it as download-ignorable.
3893
3894 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3895
3896         * url.c (convert_links): Attempt to quote '?' as "%3F" when
3897         linking to local files.  Given up on the attempt, as it breaks
3898         local browsing.
3899
3900 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3901
3902         * main.c (private_initialize): Removed.
3903         (main): Don't call private_initialize.
3904
3905         * http.c: Call lookup_host.
3906
3907         * host.c (host_init): Removed.
3908         (add_host_to_cache): Initialize host_name_address_map here, on
3909         demand.
3910         (ngethostbyname): Commented out.
3911
3912         * connect.c (make_connection): Remove dead code; use lookup_host.
3913
3914         * host.c (store_hostaddress): Renamed to lookup_host and reversed
3915         the args.
3916         Removed host_address_name_map and host_slave_master_map.
3917
3918 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3919
3920         * progress.c (dot_create): Align the "[ skipping ... ]" string
3921         with the dots.
3922
3923         * retr.c (rate): Split into two functions: calc_rate and
3924         retr_rate.
3925
3926         * progress.c (create_image): Draw a dummy progress bar even when
3927         total size is unknown.
3928         (display_image): Place the text cursor at the end of the "image".
3929
3930 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3931
3932         * url.c (reencode_string): Use unsigned char, not char --
3933         otherwise the hex digits come out wrong for 8-bit chars such as
3934         nbsp.
3935         (lowercase_str): New function.
3936         (url_parse): Canonicalize u->url if needed.
3937         (get_urls_file): Parse each URL, and return only the valid ones.
3938         (free_urlpos): Call url_free.
3939         (mkstruct): Add :port if the port is non-standard.
3940         (mkstruct): Append the query string to the file name, if any.
3941         (urlpath_length): Use strpbrk_or_eos.
3942         (uri_merge_1): Handle the cases where LINK is an empty string,
3943         where LINK consists only of query, and where LINK consists only of
3944         fragment.
3945         (convert_links): Count and report both kinds of conversion.
3946         (downloaded_file): Use a hash table, not a list.
3947         (downloaded_files_free): Free the hash table.
3948
3949         * retr.c (retrieve_from_file): Ditto.
3950
3951         * main.c (main): Call either retrieve_url or retrieve_tree
3952         for each URL, not both.
3953
3954         * retr.c (register_all_redirections): New function.
3955         (register_redirections_mapper): Ditto.
3956         (retrieve_url): Register the redirections.
3957         (retrieve_url): Make the string "Error parsing proxy ..." 
3958         translatable.
3959
3960         * res.c (add_path): Strip leading slash from robots.txt paths so
3961         that the path representations are "compatible".
3962         (free_specs): Free each individual path, too.
3963         (res_cleanup): New function.
3964         (cleanup_hash_table_mapper): Ditto.
3965
3966         * recur.c (url_queue_new): New function.
3967         (url_queue_delete): Ditto.
3968         (url_enqueue): Ditto.
3969         (url_dequeue): Ditto.
3970         (retrieve_tree): New function, replacement for recursive_retrieve.
3971         (descend_url_p): New function.
3972         (register_redirection): New function.
3973
3974         * progress.c (create_image): Cosmetic changes.
3975
3976         * init.c (cleanup): Do all those complex cleanups only if
3977         DEBUG_MALLOC is defined.
3978
3979         * main.c: Removed --simple-check and the corresponding
3980         simple_host_check in init.c.
3981
3982         * html-url.c (handle_link): Parse the URL here, and propagate the
3983         parsed URL to the caller, who would otherwise have to parse it
3984         again.
3985
3986         * host.c (xstrdup_lower): Moved to utils.c.
3987         (realhost): Removed.
3988         (same_host): Ditto.
3989
3990 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3991
3992         * utils.c (path_simplify): Preserver the (non-)existence of
3993         leading slash.  Return non-zero if changes were made.
3994
3995 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3996
3997         * progress.c (bar_update): Don't modify bp->total_length if it is
3998         zero.
3999
4000 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4001
4002         * retr.c (retrieve_url): When the redirection URL doesn't parse,
4003         print the correct error message rather than "UNKNOWN".
4004
4005 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4006
4007         * progress.c (bar_finish): If the timer didn't record any time
4008         since the download beginning, fake 1ms.
4009
4010 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4011
4012         * recur.c (recursive_retrieve): Fix typo.
4013
4014 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
4015
4016         * progress.c (create_image): Don't translate "%ld ".
4017
4018 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
4019
4020         * progress.c (bar_set_params): Allow the user to force the use of
4021         the bar.
4022
4023 2001-11-23  Lemble Gregory  <gregory.lemble@st.com>
4024
4025         * gen_sslfunc.c (ssl_init_prng): New function; seed the SSL RNG.
4026
4027 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
4028
4029         * progress.c: Renamed dp_* functions to dot_* for greater clarity
4030         and consistency with bar_*.
4031         (print_download_speed): Get rid of the unneeded '@' character.
4032         (create_image): Fix download rate geometry.
4033
4034         * progress.c (print_elapsed): Remove spurious space.
4035         (print_elapsed): Renamed to print_download_speed, since that's
4036         what it does.
4037
4038 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
4039
4040         * progress.c (bar_update): If the downloaded amount becomes larger
4041         than the expected amount, adjust the expected amount accordingly.
4042
4043 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
4044
4045         * utils.c (determine_screen_width): New function.
4046
4047         * main.c (main): New option `--progress=TYPE'.
4048         (main): Implement compatibility with the old option `--dot-style'.
4049
4050         * init.c: Removed cmd_spec_dotstyle -- that logic is now in
4051         dp_set_params.
4052         (cmd_spec_progress): New function.
4053
4054         * retr.c (get_contents): Use the progress_* functions instead of
4055         the old show_progress().
4056         (show_progress): Removed.
4057         (rate): Print "xxxx.xx K/s" instead of "KB/s".  Ditto for MB/s,
4058         etc.
4059
4060         * progress.c (set_progress_implementation): New function.
4061         (valid_progress_implementation_p): Ditto.
4062         (progress_create): Ditto.
4063         (progress_update): Ditto.
4064         (progress_finish): Ditto.
4065         (dp_create): Ditto.
4066         (dp_update): Ditto.
4067         (dp_finish): Ditto.
4068         (dp_set_params): Ditto.
4069         (print_elapsed): Ditto.
4070
4071 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
4072
4073         * retr.c (show_progress): Use it.
4074
4075         * log.c (log_set_flush): New function.
4076
4077 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
4078
4079         * utils.c (path_simplify): Don't remove trailing slashes.
4080
4081         * ftp.c (ftp_get_listing): Use it.
4082
4083         * utils.c (file_merge): New function.
4084
4085         * url.c (opt_url): Removed.
4086
4087         * recur.c (recursive_retrieve): Inline "opt_url" logic.
4088
4089         * main.c (main): Use xfree(), not free().
4090
4091         * url.c (rewrite_url_maybe): Renamed to rewrite_shorthand_url.
4092
4093         * ftp.c (ccon): Move `ccon' typedef here, since it's only used
4094         internally.
4095
4096         * config.h.in: Include a stub for HAVE_STRPBRK.
4097
4098         * cmpt.c (strpbrk): Include a replacement for systems without
4099         strpbrk().
4100
4101         * ftp.c: Use url_set_dir and url_set_file when modifying the URL.
4102
4103         * url.c (url_set_dir): New function.
4104         (url_set_file): Ditto.
4105
4106         * ftp-basic.c (ftp_process_type): Process FTP type here; the URL
4107         parser makes the URL "params" available, so we can do that in this
4108         function.
4109
4110         * retr.c: Ditto.
4111
4112         * ftp.c: Ditto; pass the local file information in `ccon'.
4113
4114         * http.c: Get rid of the ugly kludge that had URL being replaced
4115         with the proxy URL when proxy retrieval was requested.  Use a
4116         separate parameter to http_loop and gethttp for the proxy URL.
4117
4118         * http.c: Changed to reflect the fact that local file, proxy, and
4119         referer information are no longer stored in struct url.  The local
4120         file information is passed in `struct hstat' now.
4121
4122         * url.c: Reworked URL parsing to be more regular.  Reencode the
4123         URL using reencode_string.
4124         Removed non-URL-related information from struct url.  This
4125         includes fields `proxy', `local', and `referer'.
4126
4127 2001-11-22  Jochen Hein  <jochen@jochen.org>
4128
4129         * main.c (main): Split the copyright notice for easier
4130         translation.
4131
4132 2001-08-21  Dave Turner <dct25@hermes.cam.ac.uk>
4133
4134         * ftp-basic.c (ftp_size): New function to send non-standard SIZE
4135           command to server to request file size.
4136         * ftp.h (ftp_size): Export it.
4137         * ftp.c (getftp): Use new ftp_size function if restoring
4138           transfer of a file with unknown size.
4139
4140 2001-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4141
4142         * url.c (parseurl): Don't depend on the now-obsolete TYPE.
4143
4144 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4145
4146         * url.c (getproxy): Handle URL shorthands.
4147
4148 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4149
4150         * main.c: Remove --wait / --waitretry backwards compatibility
4151         code.
4152         
4153 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4154
4155         * main.c (main): Use it.
4156
4157         * url.c (rewrite_url_maybe): New function.
4158
4159 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4160
4161         * url.c: Clean up handling of URL schemes.
4162
4163 2001-05-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4164
4165         * url.c: Get rid of `protostrings'.
4166         (skip_proto): Don't use protostrings.
4167         (has_proto): Ditto.
4168
4169 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
4170
4171         * Makefile.in: Conditionally compile getopt.o.
4172
4173 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
4174
4175         * md5.h: Renamed to gnu-md5.h.
4176
4177         * md5.c: Renamed to gnu-md5.c.
4178
4179         * http.c: Ditto.
4180
4181         * ftp-opie.c: Use the new macros.
4182
4183         * sysdep.h: Define md5-related macros.
4184
4185         * config.h.in: Define HAVE_SOLARIS_MD5 or HAVE_BUILTIN_MD5
4186         depending on which md5 implementation is used.
4187
4188 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
4189
4190         * res.c (res_register_specs): Initialize OLD and HP_OLD to appease
4191         the compiler.
4192
4193 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
4194
4195         * http.c (gethttp): Print the whole response line when printing
4196         headers is requested.
4197
4198 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4199
4200         * res.c: New file.  Implement all RES-related code here.
4201
4202 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
4203
4204         * version.c: Wget 1.7.1 is released.
4205
4206 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
4207
4208         * headers.c (header_extract_number): Ignore trailing whitespace.
4209
4210 2001-08-24  Ian Abbott  <abbotti@mev.co.uk>
4211
4212         * html-url.c (collect_tags_mapper): Fix bug converting links
4213         with -k option for tags with multiple link attributes by
4214         handling links in the order they appear.
4215
4216 2001-08-15  Ian Abbott  <abbotti@mev.co.uk>
4217
4218         * ftp.c (ftp_loop_internal): Avoid a potential buffer overflow in
4219           the call to the 'rate' function by moving it past the error
4220           checking for the 'getftp' function return value.
4221
4222 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
4223
4224         * html-parse.c (advance_declaration): Use 0x22 instead of '"' or
4225         '\"'.  Different compilers' assert macros are broken in different
4226         ways.
4227
4228 2001-09-29  Christian Fraenkel  <c.fraenkel@gmx.net>
4229
4230         * http.c (gethttp): print debug output for errors occuring during
4231         the ssl handshake.
4232
4233 2001-11-16  Chris Seawood  <cls@seawood.org>
4234
4235         * init.c: Ditto.
4236
4237         * host.c: Ditto.
4238
4239         * connect.c: Ditto.
4240
4241         * sysdep.h: Support compilation under BEOS.
4242
4243 2001-06-08  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
4244
4245         * url.c (url_equal): Fix a memory leak when parseurl returns an
4246         error on the second URL. Also, since url_equal is not used at the
4247         moment, do not compile it.
4248
4249         * url.h: Ditto for the prototype of url_equal.
4250
4251 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
4252
4253         * html-parse.c (map_html_tags): Support XML-style empty tags.
4254
4255 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4256
4257         * wget.h (DO_REALLOC_FROM_ALLOCA): Check for do_realloc_newsize in
4258         loop condition because we're no longer setting SIZEVAR here.
4259
4260 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4261
4262         * wget.h (DO_REALLOC_FROM_ALLOCA): Set SIZEVAR after the memcpy()
4263         call because it needs the old value.
4264
4265 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
4266
4267         * cookies.c (ATTR_NAME_CHAR): Allow almost any character to be in
4268         an attribute name.
4269
4270 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
4271
4272         * url.c (url_filename): Make sure that slashes that sneak in to
4273         u->file via query string get protected.
4274         (file_name_protect_query_string): New function.
4275
4276 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4277
4278         * recur.c (recursive_retrieve): Also check undesirable_urls with
4279         canonicalized URL.
4280
4281 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4282
4283         * http.c (gethttp): Search `.netrc' with real host, not the proxy
4284         one.
4285
4286 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4287
4288         * sysdep.h (MAP_FAILED): Provide MAP_FAILED for systems that don't
4289         define it.
4290
4291 2001-06-09  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4292
4293         * ftp.h: Provide correct prototype for ftp_parse_ls().
4294
4295 2001-06-04  Hrvoje Niksic  <hniksic@arsdigita.com>
4296
4297         * version.c: Wget 1.7 is released.
4298
4299 2001-06-03  Karl Eichwalder  <ke@suse.de>
4300
4301         * ftp-ls.c (ftp_parse_ls): Fix typo.
4302
4303 2001-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4304
4305         * all: Update copyright information.
4306
4307 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4308
4309         * http.c (gethttp): Indicate that the continued download failed
4310         for *this* file.
4311
4312 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4313
4314         * version.c: Wget 1.7-pre1 is released.
4315
4316 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4317
4318         * version.c: Updated version to 1.7-pre1.
4319
4320 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4321
4322         * gen_sslfunc.c: Don't include <sys/time.h> directly.
4323
4324 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4325
4326         * http.c (gethttp): Use real URL data for cookies, not the proxy
4327         stuff.
4328
4329 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4330
4331         * main.c (print_help): Document `--no-http-keep-alive'.
4332
4333         * utils.c (numdigit): Handle negative numbers *correctly*.
4334
4335         * hash.c (make_nocase_string_hash_table): Use term "nocase" rather
4336         than the confusing "unsigned".
4337
4338         * utils.c (string_set_contains): Renamed from string_set_exists.
4339
4340         * hash.c (hash_table_contains): Renamed from hash_table_exists.
4341
4342         * cookies.c: Move case-insensitive hash tables to hash.c.
4343
4344 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4345
4346         * http.c (gethttp): Before concluding that the file is already
4347         fully retrieved, make sure that the file existed and `Range' was
4348         actually requested.
4349
4350 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4351
4352         * cookies.c (eliminate_dups): New function.
4353         (build_cookies_request): Use it.
4354         (build_cookies_request): Set chain_store_size after reallocating
4355         all_chains.
4356         (check_domain_match): Annotated for easier future debugging.
4357         (store_cookie): In the debug message, print whether the cookie is
4358         permanent.
4359
4360 2001-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
4361
4362         * http.c (http_loop): Reset no_truncate before deciding whether to
4363         set it.
4364         (gethttp): Further clarify "-c conflicts with existing file" error
4365         message, based on input from Herold Heiko.
4366
4367 2001-05-07  Hrvoje Niksic  <hniksic@arsdigita.com>
4368
4369         * http.c (http_loop): If restval is set, set no_truncate to 1
4370         unconditionally.
4371
4372 2001-05-02  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4373
4374         * ftp-ls.c (ftp_parse_winnt_ls): Assure months are being correctly
4375         converted. Pointed out by <Stefan.Weil@de.heidelberg.com>.
4376         (ftp_parse_vms_ls): Ditto.
4377
4378 2001-04-30  Hrvoje Niksic  <hniksic@arsdigita.com>
4379
4380         * init.c (cmd_address): Zero SIN before using it; apparently
4381         needed on *BSD.
4382
4383 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
4384
4385         * ftp.c (ftp_loop_internal): Don't set NO_TRUNCATE if the file is
4386         empty.
4387
4388 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
4389
4390         * main.c (main): Make `--cookies' respect its argument.
4391
4392 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
4393
4394         * main.c (main): Removed undocumented option `--email-address'.
4395
4396         * netrc.c: Use the latest read_whole_line.
4397
4398         * init.c (defaults): Set opt.ftp_pass to "-wget@".
4399
4400         * mswindows.c (pwd_cuserid): Ditto.
4401
4402         * utils.c (pwd_cuserid): Removed.
4403
4404         * host.c (ftp_getaddress): Removed.
4405
4406 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
4407
4408         (http_loop): Allocate space for filename_plus_orig_suffix with
4409         alloca; this is more efficient and removes the need to free it
4410         before each and every return.
4411
4412 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
4413
4414         * http.c (gethttp): Return RETRUNNEEDED when the retrieval is
4415         unneeded because the file is already there and fully downloaded,
4416         and -c is specified.
4417         (http_loop): Handle RETRUNNEEDED.
4418
4419         * wget.h (uerr_t): New value RETRUNNEEDED.
4420
4421         * http.c (http_loop): Set no_truncate for files that both exist
4422         and are non-empty.
4423         (gethttp): Consider the download finished when restval >= contlen,
4424         not only when restval==contlen.
4425         (gethttp): Handle redirection before giving up due to -c.
4426         (gethttp): Clarify error message which explains that -c will not
4427         truncate the file.
4428         (gethttp): When returning CONTNOTSUPPORTED, don't forget to free
4429         the stuff that needs freeing and release the socket.
4430
4431 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4432
4433         * main.c (print_help): Wget booleans accept "off", not "no".
4434
4435 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4436
4437         * http.c (http_loop): If allow_cache is zero, always disable
4438         caching, not only when retrieving through proxy.
4439
4440         * init.c: Ditto.
4441
4442         * options.h (struct options): Rename proxy_cache to allow_cache.
4443
4444 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4445
4446         * http.c (mktime_from_utc): Improve documentation.
4447         (http_atotm): Put format strings into a separate array.
4448
4449 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4450
4451         * safe-ctype.h: Instead of throwing #error when isalpha is
4452         defined, redefine it to something that will throw a compile-time
4453         error if actually *used*.  Do the same for the rest of the
4454         standard C macros.
4455
4456 2001-04-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4457
4458         * url.c (getproxy): Ignore empty proxy vars.
4459
4460 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4461
4462         * http.c (http_loop): Would load cookies every time.
4463
4464         * cookies.c (load_cookies): Handle cookies whose values contain
4465         embedded spaces.
4466
4467 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4468
4469         * utils.c: Define each DIGITS_* in one line.
4470
4471 2001-04-25  Roger L. Beeman  <beeman@cisco.com>
4472
4473         * http.c (http_atotm): Initialize t.tm_isdst to 0.
4474         (mktime_from_utc): Prevent mktime() from having discontinuities at
4475         DST transition points.
4476
4477 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4478
4479         * html-url.c (get_urls_html): Fix documentation.
4480
4481 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4482
4483         * url.c (UNSAFE_CHAR): Reimplement using a static table.
4484         (url_init): Removed.
4485         (init_unsafe_char_table): Removed.
4486
4487 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4488
4489         * snprintf.c (dopr): Replace ISDIGIT with '0' <= ch && ch <= '9'.
4490
4491 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4492
4493         * utils.c: Document timer functions.
4494
4495         * retr.c (rate): Use it.
4496         (rate): Print in GB/s if transfer rate exceeds 1 GB/s.
4497
4498         * utils.c (wtimer_granularity): New function.
4499
4500 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4501
4502         * retr.c (show_progress): Ditto.
4503
4504         * ftp.c (getftp): Ditto.
4505
4506         * http.c (gethttp): Use new timer functions.
4507
4508         * utils.c (wtimer_allocate): New function.
4509         (wtimer_new): Ditto.
4510         (wtimer_delete): Ditto.
4511         (wtimer_reset): Ditto.
4512         (wtimer_elapsed): Ditto.
4513
4514 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4515
4516         * utils.c (long_to_string): New, faster version.  Favors smaller
4517         numbers; much of the calculation is now done at compile-time.
4518
4519 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4520
4521         * utils.c (numdigit): Handle negative numbers.
4522
4523 2001-04-23  Hrvoje Niksic  <hniksic@arsdigita.com>
4524
4525         * retr.c (show_progress): Print the download rate even when the
4526         percentages are not available.
4527
4528 2001-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
4529
4530         * ftp.c (getftp): Adjust expected_bytes if the length is
4531         authoritative.
4532
4533 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4534
4535         * url.c: Don't declare `construct'.
4536
4537         * hash.c (grow_hash_table): Speed up rehashing; inline storing of
4538         mappings to new locations.
4539         (hash_table_new): Make resize_threshold a field in the hash table,
4540         so we don't have to recalculate it in each hash_table_put.
4541         (grow_hash_table): Update resize_threshold.
4542         (MAX): Remove unused macro.
4543         (prime_size): Made static.
4544
4545 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4546
4547         * retr.c (retrieve_url): Call uri_merge, not url_concat.
4548
4549         * html-url.c (collect_tags_mapper): Call uri_merge, not
4550         url_concat.
4551
4552         * url.c (mkstruct): Use encode_string instead of xstrdup followed
4553         by URL_CLEANSE.
4554         (path_simplify_with_kludge): Deleted.
4555         (contains_unsafe): Deleted.
4556         (construct): Renamed to uri_merge_1.
4557         (url_concat): Renamed to uri_merge.
4558
4559 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4560
4561         * url.c (str_url): Use encode_string instead of the unnecessary
4562         CLEANDUP.
4563         (encode_string_maybe): New function, returns input string if no
4564         encoding is needed.
4565         (encode_string): Call encode_string_maybe to do the dirty work,
4566         xstrdup if no work needed.
4567
4568 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4569
4570         * wget.h (XDIGIT_TO_xchar): Define here.
4571
4572         * url.c (decode_string): Use new name.
4573         (encode_string): Ditto.
4574
4575         * http.c (XDIGIT_TO_xchar): Rename HEXD2asc to XDIGIT_TO_xchar.
4576         (dump_hash): Use new name.
4577
4578         * wget.h: Rename ASC2HEXD and HEXD2ASC to XCHAR_TO_XDIGIT and
4579         XDIGIT_TO_XCHAR respectively.
4580
4581 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4582
4583         * init.c: Include cookies.h.
4584
4585         * cookies.h: Declare cookies_cleanup.
4586
4587         * cookies.c (check_domain_match): Remove unused variable.
4588         (save_cookies): Remove extraneous argument from debug statement.
4589
4590         * host.c (same_host): Don't call skip_url.
4591
4592         * url.c (skip_url): Removed.  Removed its calls from various
4593         functions in url.c.
4594
4595 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4596
4597         * cookies.c (unsigned_string_hash): Use the new code in
4598         string_hash as reference.
4599
4600         * hash.c (hash_table_map): Allow deletion and change of the
4601         element processed by MAPFUN.
4602         (string_hash): Use the function from glib.
4603
4604 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4605
4606         * config.h.in: Include #undef stub.
4607
4608         * hash.c (hash_table_remove): Rewrite to actually clear deleted
4609         entries instead of just marking them as deleted.
4610
4611 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4612
4613         * hash.h: Declare hash_table_get_pair and hash_table_count.
4614
4615 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4616
4617         * cookies.c: Declare http_atotm.
4618
4619 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4620
4621         * ftp-ls.c (ftp_parse_unix_ls): Use octal constants for
4622         permissions.  A compiler that doesn't accept octal constants is
4623         seriously broken and shouldn't be used -- octal constants were
4624         present in K&R C!
4625
4626 2001-01-20  Karl Eichwalder  <ke@suse.de>
4627
4628         * Makefile.in: Provide and use DESTDIR according to the Coding
4629         Standards.
4630
4631 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4632
4633         * ftp-ls.c (ftp_parse_vms_ls): Make seconds optional in time
4634         specification.
4635
4636 2001-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4637
4638         * url.c (parseurl): Don't strip trailing slash when u->dir is "/"
4639         because that strips the *leading* slash, thus forcing relative
4640         FTP retrieval.
4641
4642 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4643
4644         * ftp.c (getftp): Convert initial FTP directory from VMS to UNIX
4645         notation for VMS servers. 
4646         (ftp_retrieve_dirs): Do not prepend '/' to f->name when
4647         odir is an empty string.
4648
4649 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4650
4651         * ftp-ls.c (ftp_parse_winnt_ls): Made the fix for AM/PM more
4652         effective. Suggested by Edward J. Sabol.
4653
4654 2001-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4655
4656         * cookies.c (build_cookies_request): Use and sort cookies from all
4657         matching domains.
4658         (build_cookies_request): Check for duplicates before generating
4659         the `Cookies' header.
4660
4661         * main.c (main): Don't load cookies here.
4662         (main): Make loadcookies and savecookies call the correct command.
4663
4664         * http.c (http_loop): Load cookies on-demand.
4665
4666 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4667
4668         * http.c (gethttp): Fix indentation of SSL ifdef.
4669
4670 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4671
4672         * ftp.c (ftp_retrieve_dirs): Don't forcibly prepend "/" to u->dir;
4673         that hack is no longer necessary.
4674         (getftp): Prepend initial directory to *non*-absolute u->dir's.
4675
4676 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4677
4678         * init.c (cmd_file): New function.
4679         (enable_tilde_expansion): New variable.
4680         (run_wgetrc): Use it.
4681         (cmd_file): Use it.
4682
4683 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
4684
4685         * init.c: Include cookie-related options.
4686
4687         * main.c (main): Include cookie-specific options.
4688         (main): Load cookies before download is finished.
4689         (main): Save cookies when done.
4690
4691         * http.c (gethttp): Process the `Set-Cookie' header.
4692         (gethttp): Include cookies in the response.
4693
4694         * cookies.c: New file.
4695
4696 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
4697
4698         * utils.c (datetime_str): New function.
4699
4700 2001-04-08  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4701
4702         * ftp-ls.c (ftp_parse_winnt_ls): The AM/PM change did assume
4703         12:01PM == 00:01, which was obviously wrong. Taken care of this
4704         anomaly.
4705
4706         * ChangeLog: Removed an excess conflict marker. Reformatted the
4707         entry by Philipp Thomas from 2001-03-09.
4708
4709         * ftp-ls.c (ftp_parse_winnt_ls): Ensure that adjusted PM hours lay
4710         between 0 and 23. Elminate unused variable `sec'.
4711
4712 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
4713
4714         * hash.c (hash_table_count): New function.
4715
4716 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4717
4718         * utils.c (read_file): Cast MAP_FAILED to char *.  Enforced by
4719         Digital Unix cc.
4720
4721 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4722
4723         * config.h.in: Oops, do the namespace tweaks only on systems we
4724         know about.
4725
4726 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4727
4728         * hash.c: Include <string.h>.
4729
4730 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4731
4732         * config.h.in: Define "compilation environment" options that work
4733         under Linux and Solaris.  To be reviewed on other OS'es.
4734
4735 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4736
4737         * http.c (gethttp): Prepend literal newline with `\n\'.
4738
4739 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4740
4741         * sysdep.h: Don't define VERY_LONG_FORMAT.
4742
4743         * utils.c (very_long_to_string): New function.
4744         (legible_very_long): Use it; don't use VERY_LONG_FORMAT.
4745
4746 2001-04-04  Christian Fraenkel  <christian.fraenkel@gmx.net>
4747
4748         * url.c (parse_uname): Would run past the end of the string if the
4749         username was present, but the URL did not contain a slash, e.g.
4750         http://foo:bar@myhost.
4751
4752 2001-04-03  KOJIMA Hajime  <kjm@rins.ryukoku.ac.jp>
4753
4754         * http.c (http_atotm): Use %A instead of %a to match full
4755         weekday.  (On most systems there is no difference.)
4756
4757 2001-04-03  Paul Bludov  <paul@ozero.net>
4758
4759         * mswindows.c (sleep): Use SleepEx() instead of Sleep().
4760         (ws_changetitle): Use alloca() instead of malloc() to avoid memory
4761         leak.
4762         (ws_mypath): Use GetModuleFileName instead of argv[0].
4763         (ws_startup): Use data.wVersion for comparison.
4764
4765 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4766
4767         * http.c (http_loop): Ditto.
4768
4769         * ftp.c (ftp_loop_internal): Made the check whether to continue
4770         retrieval `-O'-friendly.
4771
4772 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4773
4774         * netrc.c (parse_netrc): Don't trim the line endings explicitly;
4775         they will be handled as whitespace.
4776         (parse_netrc): Correctly handle lines that end with whitespace.
4777
4778 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4779
4780         * retr.c (retrieve_url): New variable global_download_count used
4781         to identify first retrieval.
4782
4783         * ftp.c (getftp): Ditto.
4784
4785         * http.c (gethttp): Rewind opt.dfp only on first retrieval.
4786
4787 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4788
4789         * init.c (cmd_address): Heap-allocate the address that gets stored
4790         to CLOSURE.  Old code would simply assign an address on the stack.
4791
4792 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
4793
4794         * ftp.c (ftp_get_listing): Propagate error status.
4795         (ftp_retrieve_glob): Use it.
4796         (ftp_loop): Ditto.
4797
4798 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
4799
4800         * main.c (main): Add -C to the string that is the third arg to
4801         getopt_long().
4802
4803 2001-04-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4804
4805         * ftp.c (getftp): Don't start the download from scratch if `-c'
4806         was specified, but the file is already fully downloaded.
4807
4808         * http.c (gethttp): Don't truncate a pre-existing file if `-c' was
4809         specified and the server doesn't support continued download.
4810         (gethttp): Don't start the download from scratch if `-c' was
4811         specified, but the file is already fully downloaded.
4812
4813 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
4814
4815         (recursive_retrieve): Don't clear the hash tables at this point at
4816         all; it interferes with the normal operation of register_download.
4817
4818 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
4819
4820         * recur.c (recursive_retrieve): Clear the hash tables only when
4821         they are defined.
4822
4823 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
4824
4825         * http.c (gethttp): Make sure the socket is closed with
4826         CLOSE_INVALIDATE before we have drained the body.
4827
4828 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
4829
4830         * retr.c (retrieve_url): Call register_download() for downloaded
4831         files and register_html() for downloaded HTML files.
4832
4833         * recur.c (register_download): New function; register here that a
4834         file has been downloaded, rather than in recursive_retrieve().
4835         (register_html): New function; enqueue the location of HTML files
4836         here rather than in recursive_retrieve().
4837
4838 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
4839
4840         * main.c (print_help): Use multiple fputs instead of a single ugly
4841         printf().
4842         (main): Consistently assign numbers >128 to options without a
4843         corresponding character.
4844
4845 2001-03-09  Philipp Thomas  <pthomas@suse.de>
4846
4847         * safe-ctype.h: New file. Locale independent ctype.h replacement
4848         taken from libiberty.
4849
4850         * safe-ctype.c: New file. Tables for above.
4851
4852         * Makefile.in: Add safe-ctype$o to OBJS.  Add dependencies for
4853         safe-ctype$o.
4854
4855         * cmpt.c: Remove include of ctype.h. Use ISSPACE instead of
4856         isspace.
4857
4858         * ftp-basic.c: Don't include ctype.h.
4859
4860         * ftp-ls.c: Likewise.
4861
4862         * ftp.c: Likewise.
4863
4864         * headers.c: Likewise.
4865
4866         * host.c: Likewise.
4867
4868         * html-parse.c: Likewise.
4869
4870         * html-url.c: Likewise.
4871
4872         * http.c: Likewise.
4873
4874         * init.c: Likewise.
4875
4876         * main.c: Likewise. Set LC_CTYPE along with LC_MESSAGES.
4877
4878         * netrc.c: Likewise.
4879
4880         * recur.c: Likewise.
4881
4882         * retr.c: Likewise.
4883
4884         * snprintf.c: Replace ctype.h with safe-ctype.h. Use ISDIGIT
4885         instead of isdigit.
4886
4887         * sysdep.h: Remove defines of ctype macros as they aren't needed
4888         for safe-ctype-h.
4889
4890         * url.c: Don't include ctype.h.
4891
4892         * utils.c: Likewise.
4893
4894         * wget.h: Include safe-ctype.h.
4895
4896 2001-03-27  Dan Harkless  <wget@harkless.org>
4897
4898         * Makefile.in: Moved top_builddir out of "User configuration
4899         section" of top Makefile and analogous spot in this one.
4900
4901 2001-03-17  Dan Harkless  <wget@harkless.org>
4902
4903         * Makefile.in: Include @SSL_INCLUDES@ substition in INCLUDES.
4904         Define top_builddir.  Link wget with libtool so the user doesn't
4905         have to supply a bunch of custom environment variables to 
4906         correctly link with the OpenSSL shared libraries.
4907
4908 2001-03-06  Hack Kampbjorn  <hack@hackdata.com>
4909
4910         * http.c (gethttp): skip :port in host header if it is the
4911         DEFAULT_HTTPS_PORT when using SSL.
4912
4913         * url.c: move the #define of DEFAULT_HTTP_PORT, DEFAULT_FTP_PORT
4914         and DEFAULT_HTTPS_PORT to the header file so it can be use in the
4915         rest of the code. 
4916         * url.h: Ditto
4917
4918 2001-03-01  Jonas Jensen  <bones@huleboer.dk>
4919
4920         * retr.c (show_progress): Correctly calculate the number of bytes
4921         in the first line of the download that have been actually
4922         downloaded in this run.
4923
4924 2001-02-23  Dan Harkless  <wget@harkless.org>
4925
4926         * main.c (print_help): --help documentation for -N said it would
4927         re-download files if they had the _same_ timestamp on server.
4928         (print_help): -nr belongs in "FTP options" section of --help
4929         output, not "Recursive retrieval" section.  Alphabetized FTP
4930         options by long option name.
4931
4932 2001-02-16  Dan Harkless  <wget@harkless.org>
4933
4934         * init.c (commands): Hack Kampbjørn <hack@hackdata.com> discovered
4935         that "httpsproxy" had been inserted into commands[] out of
4936         alphabetical order, causing "BUG: unknown command `httpuser'".
4937
4938 2001-02-13  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4939
4940         * ftp-ls.c (ftp_parse_ls): Added support of ST_MACOS (Unix-like
4941         listing without correct permissons).
4942
4943         * ftp.h (stype): Added ST_MACOS to identify the NetPresenz MacOS
4944         FTP server. 
4945
4946         * ftp.c (ftp_retrieve_list): New mirroring logic: A remote file
4947         shall be donwloaded only when it's newer than the local copy or
4948         when it has the same timeestamp but its size is different. ST_VMS
4949         and ST_MACOS as special cases that lie about file size. 
4950
4951         * ftp-ls.c (ftp_parse_ls): Support for ST_MACOS.
4952
4953         * Makefile.in: Removed dependency on ftpparse library due to unclear
4954         copyright issues and absence of any feedback to our queries. 
4955
4956         * ftp-ls.c: Removed dependency on ftpparse library due to unclear
4957         copyright issues and absence of any feedback to our queries.   
4958         (ftp_parse_ls): Added a warning message when remote server system
4959         does not seem to be suported by wget. 
4960         (ftp_parse_vms_ls): New function for parsing VMS ftp
4961         server listing output.
4962         (clean_line): New function responsible for removing
4963         end-of-line characters from FTP listing texts.
4964
4965         * ftp.c (getftp): Global variables pwd and host_type are now
4966         member of the ccon structure under names ccon.id and ccon.rs. 
4967
4968         * ftp.h (struct ccon): Added formed global variables from ftp.c,
4969         enum stype rs (remote system identification) and char *id (initial
4970         working directory), as suggested by Hrvoje.
4971
4972         * url.c (parse_uname): Added support for passwords containing '@'
4973         characters.
4974         (skip_uname): Ditto.
4975
4976 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4977
4978         * ftp.c (ftp_loop): Reset con.
4979
4980 2001-01-06  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4981
4982         * url.c (parse_uname): Added support for passwords containing '@'
4983         characters.
4984         (skip_uname): Ditto.
4985
4986 2001-02-11  Hack Kampbjørn  <hack@hackdata.com>
4987
4988         * url.c (parseurl): Debug-print u->ftp_type.
4989
4990 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4991
4992         * ftp.c (ftp_loop_internal): Disable padding.
4993         (getftp): Ditto.
4994
4995         * http.c (http_loop): Disable padding.
4996
4997         * retr.c (show_progress): Use it to enable padding.
4998
4999         * retr.c (rate): Optional parameter PAD for padding the rate.
5000
5001 2001-02-10  Hrvoje Niksic  <hniksic@arsdigita.com>
5002
5003         * retr.c (show_progress): Make sure that the last output line
5004         includes progress.
5005
5006 2001-02-10  Jonas Jensen  <bones@huleboer.dk>
5007
5008         * retr.c (show_progress): Print the download rate along with the
5009         percentages.
5010         Along with Anders Thorsby <anders@thorsby.dk>.
5011
5012 2001-02-10  Tim Mooney  <mooney@dogbert.cc.ndsu.NoDak.edu>
5013
5014         * ftp.h: Rename enums `command' to `wget_ftp_command' and
5015         `fstatus' to `wget_ftp_status' because old names clash with Tru64
5016         net/if.h.
5017
5018 2001-02-08  Christian Fraenkel <christian.fraenkel@gmx.net>
5019
5020         * gen_sslfunc.c: verify_callback is now static
5021
5022         * gen_sslfunc.c (init_ssl): load certificate if specified
5023
5024         * gen_sslfunc.c (ssl_printerr): new function
5025
5026         * init.c: added new --sslcertfile and --sslcertkey switches
5027
5028         * main.c: ditto
5029
5030         * options.h: ditto
5031
5032         * http.c (gethttp): abort when init_ssl fails
5033
5034 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
5035
5036         * mswindows.h: Include <malloc.h>; it's needed for alloca().
5037
5038 2001-01-10  Dan Harkless  <wget@harkless.org>
5039
5040         * url.c (str_url): Clarified this function's comment header after
5041         Hrvoje answered my question on the list as to when hide != 1.
5042         Also Hrvoje pointed out I need to use xstrdup() on the string literal.
5043
5044 2001-01-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5045
5046         * connect.c (bindport): Declare addrlen as int.  Diagnosed by
5047         Drazen Kacar <dave@arsdigita.com>.
5048         (conaddr): Ditto.
5049
5050 2001-01-09  Dan Harkless  <wget@harkless.org>
5051
5052         * html-url.c: A bunch of fixup of `--page-requisites'-related
5053         comments to reflect Hrvoje's changes to my code when transplanting
5054         it into this new file, to fix spelling mistakes, to clarify, etc.
5055
5056         * url.c (write_backup_file): Clarified a comment.
5057         (str_url): Henrik van Ginhoven pointed out on the list that we
5058         shouldn't give away the number of characters in the password by
5059         replacing each character with a 'x'.  Use "<password>" instead.
5060
5061         * ftp.c (ftp_retrieve_dirs): The bug where recursion into FTP
5062         directories didn't work if logging in put you in a directory other
5063         than "/" is fixed now.  Removed the comment here warning of the bug.
5064
5065         * main.c (print_help): --continue's description was misleading.
5066         We don't "restart", we "resume".  Also, better to say
5067         "partially-downloaded file" rather than just "existing file".
5068
5069 2001-01-06  Dan Harkless  <wget@harkless.org>
5070
5071         * ChangeLog: The '[Not in 1.6 branch.]'s were decided not to be
5072         the best way to go about my aim.  Removed them in favor of:
5073
5074         * ChangeLog-branches/1.6_branch.ChangeLog: New file.
5075
5076 2001-01-04  Hrvoje Niksic  <hniksic@arsdigita.com>
5077
5078         * url.c (replace_attr): New function, to be used by both
5079         TO_COMPLETE and TO_RELATIVE case in convert_links.
5080         (find_fragment): New function for finding URL fragments.
5081         (replace_attr): Better handle the case where the original string
5082         is not quoted.  Use find_fragment.
5083         (convert_links): Use replace_attr().
5084
5085 2000-12-31  Dan Harkless  <wget@harkless.org>
5086
5087         * ChangeLog: Since this flat file doesn't have multiple branches,
5088         looking at the dates would make you think that things went into
5089         1.6 that actually just went into the 1.7-dev branch.  Added "[Not
5090         in 1.6 branch.]" where appropriate to clarify.
5091         
5092 2000-12-30  Dan Harkless  <wget@harkless.org>
5093
5094         * ftp.c, http.c:  Applied Hack Kampbjørn <hack@hackdata.com>'s
5095         patch to deal with h_errno not being defined in netdb.h under Cygwin.
5096
5097 2000-12-18  Csaba Raduly  <csaba.raduly@sophos.com>
5098
5099         * sysdep.h: Include <malloc.h> and <io.h> under Watcom.
5100
5101 2000-12-17  Igor Khristophorov  <igor@atdot.org>
5102
5103         * http.c (check_end): Fix test for '+' or '-'.
5104
5105 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
5106
5107         * url.c (parseurl): Rename inner loop var from i to ind to avoid
5108         clash with the function top-level-declared variable i.
5109         (str_url): Likewise, rename inner-loop i to j.
5110
5111         * recur.c (parse_robots): Don't declare LEN at top of function.
5112         (robots_match): Renamed parameter FORBIDDEN to avoid hiding of
5113         global variable.
5114
5115         * main.c (main): Change erroneous use of bitwise and to logical.
5116
5117         * init.c (cmd_address): Don't heap-allocate `sin'; it can be on
5118         the stack because it will be copied to closure.
5119
5120         Thanks to Csaba Raduly's run of PC-LINT over the sources.
5121
5122 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
5123
5124         * http.c (basic_authentication_encode): Use xmalloc(), not
5125         malloc().  Thanks to Csaba Raduly's run of PC-LINT over the
5126         sources.
5127
5128 2000-12-17  Csaba Raduly  <csaba.raduly@sophos.com>
5129
5130         * sysdep.h: Test for __EMX__ rather than for EMXOS2 for OS/2
5131         compilation.
5132
5133 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
5134
5135         * mswindows.c: Include <errno.h>.
5136
5137         * gen_sslfunc.c: Include <errno.h>.
5138
5139         * ftp-basic.c: Don't attempt to declare errno or h_errno because
5140         they're not used.
5141
5142         * main.c: Include <errno.h> because errno is used.
5143
5144         * ftp.c: Ditto.
5145
5146         * http.c: Include <netdb.h> for h_errno.
5147
5148 2000-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
5149
5150         * html-parse.c (advance_declaration): MSVC assert() chokes on
5151         '\"'.  Use '"' instead.
5152
5153 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
5154
5155         * utils.c (xfree_real): Removed.
5156         (xfree_debug): Just call free().
5157
5158         * wget.h (xfree): Make it an alias for free.
5159
5160 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
5161
5162         * http.c (http_loop): Furthermore, touch output_document only if
5163         it is known to be an existing regular file.
5164
5165 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
5166
5167         * ftp.c (ftp_retrieve_list): Ditto.
5168
5169         * http.c (http_loop): Touch output_document if that is used for
5170         output.
5171
5172 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5173
5174         * http.c: Include gen_sslfunc.h after including Wget's headers.
5175         (persistent_available_p): Needed coma before `int ssl'.
5176
5177 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5178
5179         * ftp.c (ftp_loop_internal): Ditto.
5180
5181         * http.c (http_loop): Use it.
5182
5183         * retr.c (sleep_between_retrievals): New function that handles the
5184         logic of opt.wait and opt.waitretry.
5185
5186 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5187
5188         * rbuf.h: Implement only a single version of RBUF_READCHAR, using
5189         rbuf_read_bufferful when the buffer is depleted.
5190
5191         * rbuf.c (rbuf_read_bufferful): New function.
5192
5193 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5194
5195         * gen_sslfunc.h: Use ansi2knr style function declarations.
5196
5197         * gen_sslfunc.c: Reformat according to the GNU coding standards.
5198         More should be done.
5199
5200         * http.c (persistent_available_p): Place the cheap SSL test nearer
5201         the top of the function.
5202         (CLOSE_FINISH, CLOSE_INVALIDATE): Define only one version of each.
5203
5204 2000-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
5205
5206         * url.c (init_unsafe_char_table): Reinstate space as an unsafe
5207         char.
5208
5209 2000-12-03  Christian Fraenkel <christian.fraenkel@gmx.net>
5210
5211         * Makefile.in: added gen_sslfunc object
5212         * config.h.in: added HAVE_SSL define
5213         * connect.c: changed select_fd from static int to int
5214         * connect.h: ditto
5215         * gen_sslfunc.h: New file
5216         * gen_sslfunc.c: ditto
5217         * http.c: added HTTPS fuctionality
5218         * retrc.c: ditto
5219         * url.c: ditto
5220         * init.c: added opt.httpsproxy
5221         * options.h: ditto
5222         * rbuf.h: added alternate rbuf struct
5223         * wget.h: added CONSSLERR
5224         * rbuf.c: ditto
5225
5226         * http.c: Added HTTPS fuctionality.
5227
5228         * retrc.c: Ditto.
5229
5230         * url.c: Ditto.
5231
5232         * init.c: Added opt.httpsproxy.
5233
5234         * options.h: Ditto.
5235
5236         * rbuf.h: Added alternate rbuf struct.
5237
5238         * wget.h: Added CONSSLERR.
5239
5240         * rbuf.c: Ditto.
5241
5242 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5243
5244         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
5245         "ignore_perms" to ignore file and directory permissions for
5246         Windows NT FTP server listings.
5247         (ftp_parse_winnt_ls): New function.
5248         (ftp_parse_ls): Parses UNIX and Windows NT listings
5249         separately. Simple heuristics for distinguishing between UNIX and
5250         MS-DOS-like FTP listing provided by Windows NT FTP service.
5251
5252 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5253
5254         * ftpparse.c, ftpparse.h: New files.
5255
5256         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
5257         only. Use ftp_parse_nonunix_ls otherwise.
5258         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
5259         exotic FTP servers.
5260
5261         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
5262         FTP servers.
5263
5264         * ftp.c: New static wariables host_type, pwd, and pwd_len. 
5265         (getftp): Support for VMS. Support for FTP servers that do not
5266         place you in the root directory after login.
5267         (ftp_retrieve_list): VMS is silent about the real file size, issue
5268         a more appropriate message.
5269         (ftp_get_listing): Pass host_type to ftp_parse_ls.
5270
5271         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
5272
5273 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5274
5275         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
5276         "ignore_perms" to ignore file and directory permissions for
5277         Windows NT FTP server listings.
5278         (ftp_parse_winnt_ls): New function.
5279         (ftp_parse_ls): Parses UNIX and Windows NT listings
5280         separately. Simple heuristics for distinguishing between UNIX
5281         and MS-DOS-like FTP listing provided by Windows NT FTP service.
5282
5283 2000-11-29  John Summerfield  <summer@OS2.ami.com.au>
5284
5285         * netrc.c (parse_netrc): Get rid of line ending.
5286
5287 2000-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5288
5289         * ftp.c (ftp_retrieve_list): Undo typo "fix" until resolution by
5290         Dan.
5291
5292 2000-11-24  Karl Eichwalder  <ke@suse.de>
5293
5294         * main.c (print_help): Untabify.
5295
5296 2000-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
5297
5298         * utils.c (xrealloc_debug): Do the unregister/register thing only
5299         if the pointer has actually changed.
5300         (xmalloc_real): Declare `static' in DEBUG_MALLOC builds.
5301         (xfree_real): Ditto.
5302         (xrealloc_real): Ditto.
5303         (xstrdup_real): Ditto.
5304
5305 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
5306
5307         * ftp.c (getftp): ftp_getaddress() returns a malloc'ed copy of the
5308         string; no need to strdup() it.
5309         (getftp): Make pwd_len a local variable.
5310         (ftp_loop): Free PWD before returning.
5311
5312         * init.c (cleanup): Free opt.ftp_pass only if it's non-NULL.
5313
5314 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
5315
5316         * all: Use xfree() instead of free.
5317
5318         * utils.c (xfree): New function.
5319
5320 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
5321
5322         * url.c (convert_links): HTML-quote the converted string.
5323
5324         * utils.c (html_quote_string): Move here from ftp-ls.c
5325         (html_quote_string): Make non-static; declare in utils.h.
5326         (html_quote_string): Convert SP to &#32;.
5327
5328 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
5329
5330         * ftp.c (getftp): Reformat Jan's code according to GNU coding
5331         standards; remove (debugging?) printf's; use '\0' for the ASCII
5332         zero character.  Use alloca() instead of malloc() for
5333         inter-function temporary allocations.
5334
5335 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5336
5337         * ftpparse.c, ftpparse.h: New files.
5338
5339         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
5340         only. Use ftp_parse_nonunix_ls otherwise.
5341         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
5342         exotic FTP servers.
5343
5344         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
5345         FTP servers.
5346
5347         * ftp.c: New static wariables host_type, pwd, and pwd_len. 
5348         (getftp): Support for VMS. Support for FTP servers that do not
5349         place you in the root directory after login.
5350         (ftp_retrieve_list): VMS is silent about the real file size, issue
5351         a more appropriate message.
5352         (ftp_get_listing): Pass host_type to ftp_parse_ls.
5353
5354         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
5355
5356 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
5357
5358         * hash.c (hash_table_put): Don't overwrite deleted mappings.
5359
5360 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
5361
5362         * hash.c (find_mapping): New function.
5363         (hash_table_get): Use it.
5364         (hash_table_get_pair): Ditto.
5365         (hash_table_exists): Ditto.
5366         (hash_table_remove): Ditto.
5367         (hash_table_remove): Really delete the entry if the mapping
5368         following LOCATION is empty.
5369
5370         * utils.c (string_set_add): Check whether the element has existed
5371         before.
5372
5373         * hash.c (hash_table_get_pair): New function.
5374
5375 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
5376
5377         * http.c (http_process_type): Ignore trailing whitespace; use
5378         strdupdelim().
5379
5380         * recur.c (recursive_retrieve): Use the new `convert' field.
5381         (convert_all_links): Ditto.
5382         (convert_all_links): Don't respect meta_disallow_follow.
5383
5384         * html-url.c (handle_link): Fill out link_relative_p and
5385         link_complete_p.
5386
5387         * url.h (struct _urlpos): Make elements more readable.
5388
5389         * recur.c (recursive_retrieve): Call slist_prepend instead of
5390         slist_append.
5391         (convert_all_links): Call slist_nreverse before iterating through
5392         urls_html.
5393
5394         * utils.c (slist_prepend): New function.
5395         (slist_nreverse): Ditto.
5396
5397 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
5398
5399         * http.c (check_end): Constify.
5400
5401 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
5402
5403         * http.c (http_loop): If username and password are known, try the
5404         `Basic' authentication scheme by default.
5405
5406         * connect.h: Declare test_socket_open.
5407
5408 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
5409
5410         * version.c: Bump version from 1.5.3+dev to 1.7-dev.
5411
5412 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
5413
5414         * http.c (gethttp): Don't use the return value of sprintf().
5415         (gethttp): Inhibit keep-alive if opt.http_keep_alive is 0.
5416
5417 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
5418
5419         * recur.c (recursive_retrieve): Print the "so we don't load"
5420         debugging message only if we really don't load.
5421
5422         * http.c (gethttp): Inhibit keep-alive if proxy is being used.
5423         (gethttp): Don't request keep-alive if keep-alive is inhibited.
5424
5425 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
5426
5427         * http.c (gethttp): Make the HTTP persistent connections more
5428         robust.
5429
5430 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
5431
5432         * retr.c (get_contents): If use_expected, make sure that the
5433         appropriate amount of data is being read.
5434
5435         * http.c (gethttp): Check for both `Keep-Alive: ...' and
5436         `Connection: Keep-Alive'.
5437
5438         * wget.h (DEBUGP): Call debug_logprintf only if opt.debug is
5439         turned on.
5440
5441 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
5442
5443         * http.c (connection_available_p): Use it.
5444
5445         * connect.c (test_socket_open): New function.
5446
5447         * http.c (gethttp): Support persistent connections.  Based on the
5448         ideas, and partly on code, by Sam Horrocks <sam@daemoninc.com>.
5449         (register_persistent): New function.
5450         (connection_available_p): Ditto.
5451         (invalidate_connection): Ditto.
5452
5453 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
5454
5455         * url.c (convert_links): Handle UREL2ABS case.
5456
5457         * recur.c (recursive_retrieve): Instead of the list
5458         urls_downloaded, use hash tables dl_file_url_map and
5459         dl_url_file_map.
5460         (convert_all_links): Use them to retrieve data.
5461
5462         * host.c (clean_hosts): Free the hash tables.
5463
5464         * main.c (private_initialize): Call host_init().
5465
5466         * host.c (store_hostaddress): Use a saner, hash table-based data
5467         model.
5468         (realhost): Ditto.
5469         (host_init): Initialize the hash tables.
5470
5471 2000-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
5472
5473         * utils.c (slist_append): Eviscerate NOSORT.  Hash tables are now
5474         used for what the sorted slists used to be used for.
5475         (slist_contains): Don't rely on the list being sorted.
5476         (slist_append): Simplify the code.
5477
5478         * recur.c (recursive_cleanup): Use free_string_set.
5479
5480         * utils.c (string_set_add, string_set_exists, string_set_free):
5481         New functions for easier freeing of hash tables whose keys are
5482         strdup'ed strings.
5483
5484         * recur.c (recursive_retrieve): Use the hash table functions for
5485         storing undesirable URLs.
5486
5487         * hash.c: New file.
5488
5489 2000-11-17  Hrvoje Niksic  <hniksic@arsdigita.com>
5490
5491         * main.c (private_initialize): Call url_init.
5492         (main): Call private_initialize.
5493
5494         * url.c (unsafe_char_table): New table.
5495         (UNSAFE_CHAR): Use it.
5496         (init_unsafe_char_table): New function.
5497         (url_init): New function; call init_unsafe_char_table.
5498
5499 2000-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
5500
5501         * mswindows.h: Define snprintf and vsnprintf to _snprintf and
5502         _vsnprintf respectively.
5503
5504 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
5505
5506         * config.h.in: Do the _XOPEN_SOURCE and _SVID_SOURCE things only
5507         on Linux.
5508
5509 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
5510
5511         * html-url.c (handle_link): Handle HTML fragment identifiers.
5512
5513         * recur.c (recursive_retrieve): If norobot info is respected and
5514         the file is specified not to be followed by robots, respect that.
5515
5516         * html-url.c (collect_tags_mapper): Handle <meta name=robots
5517         content=X>.  For us the important cases are where X is NONE or
5518         where X contains NOFOLLOW.
5519         (get_urls_html): Propagate that information to the caller.
5520
5521 2000-11-13  Hrvoje Niksic  <hniksic@arsdigita.com>
5522
5523         * url.c (convert_links): Unlink the file we might be reading from
5524         before writing to it.
5525         (convert_links): Use alloca instead of malloc for
5526         filename_plus_orig_suffix.
5527
5528 2000-11-12  Hrvoje Niksic  <hniksic@arsdigita.com>
5529
5530         * host.c (realhost): Add HOST to the list with quality==0 only if
5531         it wasn't already there.
5532         Based on analysis by Lu Guohan <feng@public.bjnet.edu.cn>.
5533
5534 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
5535
5536         * url.c (get_urls_file): Ditto.
5537         (convert_links): Ditto.
5538
5539         * html-url.c (get_urls_html): Use read_file() instead of
5540         load_file().
5541
5542         * utils.c (read_file): New function, instead of the old
5543         load_file().
5544         (read_file_free): Ditto.
5545
5546         * url.c (findurl): Search only for the supported protocols.
5547         (convert_links): Use fwrite() when writing out a region of
5548         characters.
5549
5550 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
5551
5552         * ftp-ls.c: Move html_quote_string and ftp_index here.
5553
5554         * url.c: Remove get_urls_html, since that's now in html-url.c.
5555
5556         * html-url.c: New file.
5557
5558         * html-parse.c: New file.
5559
5560 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
5561
5562         * init.c (run_wgetrc): Don't bother killing off '\r' since
5563         pars_line() skips whitespace at end of line anyway.
5564         (parse_line): Oops, it didn't.  Now it does.
5565
5566         * recur.c (parse_robots): Ditto here.
5567
5568         * ftp-ls.c (ftp_parse_unix_ls): Kill off the newline character
5569         manually because read_whole_line no longer does.
5570
5571         * utils.c (read_whole_line): Rewrite to: a) use less memory
5572         (reallocates to needed size after work), b) work faster -->
5573         fgets() instead of getc, c) be more correct --> doesn't kill the
5574         newline character at the end of line.
5575
5576 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
5577
5578         * init.c (comind): Initialize MAX to array size - 1.
5579
5580 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
5581
5582         * url.c (construct): Changed last_slash[-1] to *(last_slash - 1).
5583         Suggested by Edward J. Sabol.
5584
5585 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
5586
5587         * url.c (construct): Handle the case where host name is not
5588         followed by a slash.
5589
5590 2000-11-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5591
5592         * init.c: commands[] need to be sorted!  ("base" wasn't.)
5593
5594 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
5595
5596         * wget.h (DO_REALLOC_FROM_ALLOCA): Use braces to disambiguate
5597         `if'.
5598
5599 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
5600
5601         * url.c (construct): Insert unneeded initialization for the
5602         compiler to shut up.
5603
5604         * config.h.in: Define _XOPEN_SOURCE to 500 to get the prototype
5605         for strptime() (*duh*).  Define _SVID_SOURCE to get S_IFLNK which
5606         otherwise gets lost when you define _XOPEN_SOURCE.
5607
5608         * utils.c (touch): Include the file name in the error message.
5609         From Debian.
5610
5611 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
5612
5613         * log.c (logvprintf): Use vsnprintf() in all cases.  If necessary,
5614         resize the buffer to fit the formated message.  That way, messages
5615         of arbitrary size may be printed.
5616         (logvprintf): Use saved_append() to optionally log the last
5617         several lines of output.
5618         (logputs): Ditto.
5619         (log_close): Adapt to new data structures.
5620         (log_dump): Ditto.
5621         (redirect_output): Print messages to stderr, not to stdout.
5622
5623         * log.c (saved_append_1): New function.  Replaces the old logging
5624         system ("log all output until 10M characters") with a new, much
5625         more reasonable one ("log last screenful of text").
5626         (saved_append): New function; call saved_append_1.
5627         (free_log_line): New function.
5628
5629 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
5630
5631         * url.c (construct): Fix comment.
5632         (find_last_char): Document.
5633
5634 2000-11-04  Hrvoje Niksic  <hniksic@arsdigita.com>
5635
5636         * snprintf.c: New file.
5637
5638 2000-11-03  Hrvoje Niksic  <hniksic@arsdigita.com>
5639
5640         * wget.h: If HAVE_STDARG_H is not defined, don't declare argument
5641         types to logprintf() and debug_logprintf().
5642
5643 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
5644
5645         * ftp.c (ftp_loop_internal): Hide the password from the URL when
5646         printing non-verbose.  Problem spotted by Dariusz Mlynarczyk
5647         <darekm@bydg.lomac.com.pl>.
5648
5649 2000-11-02  Junio Hamano  <junio@twinsun.com>
5650
5651         * ftp-basic.c (ftp_login): Make comparison case-insensitive.
5652
5653 2000-11-02  Tyler Riddle  <triddle@liquidmarket.com>
5654
5655         * http.c (known_authentication_scheme_p): Recognize NTML
5656         authentication.
5657         (create_authorization_line): Treat NTML the same as `Basic'.
5658
5659 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
5660
5661         * retr.c (retrieve_url): Free url before returning.
5662         (retrieve_url): Free mynewloc before returning.
5663         Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
5664
5665 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
5666
5667         * url.c (parseurl): Remove possible reading past the end of
5668         sup_protos[].  Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
5669
5670 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5671
5672         * main.c (main): In case of opt.downloaded overflowing, print
5673         <overflow> instead of a totally bogus random value.
5674
5675         * retr.c (retrieve_from_file): Ditto.
5676
5677         * recur.c (recursive_retrieve): Ditto.
5678
5679         * main.c (main): Ditto.
5680
5681         * http.c (http_loop): Ditto.
5682
5683         * ftp.c (ftp_loop_internal): Use downloaded_increase() instead of
5684         `+=', and downloaded_exceeds_quota() instead of the simple-minded
5685         check.
5686         (ftp_retrieve_list): Ditto.
5687         (ftp_retrieve_dirs): Ditto.
5688         (ftp_retrieve_glob): Ditto.
5689
5690         * retr.c (downloaded_increase): New function.  Notice overflows of
5691         opt.downloaded.
5692         (downloaded_exceeds_quota): Make sure that opt.downloaded is not
5693         used if it overflowed.
5694
5695         * options.h (struct options): New member downloaded_overflow.
5696
5697 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5698
5699         * wget.h (enum): Remove extra space after last enumeration.
5700
5701 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5702
5703         * main.c (main): Use legible_very_long() for printing
5704         opt.downloaded.
5705
5706         * utils.c (legible_1): New function that operates on strings and
5707         does the brunt of legible()'s work.
5708         (legible): Use legible_1().
5709         (legible_very_long): New function; dump the argument with
5710         sprintf(), and call legible_1().
5711
5712         * options.h (struct options): Use VERY_LONG_TYPE for
5713         opt.downloaded.
5714
5715         * sysdep.h (VERY_LONG_TYPE): Define it to have a 64-bit or greater
5716         type.
5717
5718         * config.h.in: Make sure that SIZEOF_LONG and SIZEOF_LONG_LONG get
5719         defined.  Define HAVE_LONG_LONG if long long is available.
5720
5721 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5722
5723         * utils.c (long_to_string): Update with a later, better version.
5724
5725 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5726
5727         * url.c (path_simplify_with_kludge): New function.
5728         (path_simplify_with_kludge): Disable it.  Instead...
5729         (parse_dir): ...make sure that at this point the right thing is
5730         done, i.e. that "query" part of the URL (?...) is always assigned
5731         to the file, never to the directory portion of the path.
5732
5733 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5734
5735         * retr.c (retrieve_url): Detect redirection cycles.
5736
5737 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5738
5739         * url.c (get_urls_html): Decode HTML entities using
5740         html_decode_entities.
5741
5742         * html.c (htmlfindurl): Don't count the `#' in numeric entities
5743         (&#NNN;) as an HTML fragemnt.
5744         (html_decode_entities): New function.
5745
5746 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5747
5748         * html.c (htmlfindurl): Fix recognition of # HTML fragments.
5749
5750 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5751
5752         * url.c (construct): Rewritten for clarity.  Avoids the
5753         unnecessary copying and stack-allocation the old version
5754         performed.
5755
5756 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
5757
5758         * ftp.c (getftp): Ditto.
5759
5760         * http.c (gethttp): Rewind the stream when retrying from scratch.
5761
5762 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
5763
5764         * retr.c (retrieve_url): Use url_concat() to handle relative
5765         redirections instead of /ad hoc/ code.
5766
5767         * url.c (url_concat): New function encapsulating weird
5768         construct().
5769         (urllen_http_hack): New function.
5770         (construct): When constructing new URLs, recognize that `?' does
5771         not form part of the file name in HTTP.
5772
5773 2000-10-13  Adrian Aichner  <adrian@xemacs.org>
5774
5775         * retr.c: Add msec timing support for WINDOWS.
5776         * retr.c (reset_timer): GetSystemTime() on WINDOWS.
5777         * retr.c (elapsed_time): Calculate delta time to msec on WINDOWS.
5778
5779 2000-10-27  Dan Harkless  <wget@harkless.org>
5780
5781         * retr.c (retrieve_url): Manually applied T. Bharath
5782         <TBharath@responsenetworks.com>'s patch to get wget to grok
5783         illegal relative URL redirects.  Reformatted and re-commented it.
5784
5785 2000-10-23  Dan Harkless  <wget@harkless.org>
5786
5787         * connect.c (make_connection and bindport): Manually applied Rob
5788         Mayoff <mayoff@dqd.com>'s 1.5.3 patch to add --bind-address,
5789         changing coding style to GNU's.
5790
5791         * ftp.c (ftp_loop_internal): --delete-after wasn't implemented for
5792         files downloaded via FTP.  Per a comment, .listing files were not
5793         counted towards number of bytes and files downloaded because they're 
5794         deleted anyway.  Well, they aren't under -nr, so count them then.
5795
5796         * init.c: Manually applied Rob Mayoff's 1.5.3 patch to add
5797         --bind-address, alphabetizing, changing coding style to GNU's,
5798         commenting, and renaming cmd_ip_address() to cmd_address() to
5799         imply hostnames also okay.
5800                 
5801         * main.c (main): --delete-after didn't delete the root of the
5802         tree.  Ignore --convert-links if --delete-after was specified.
5803         Manually applied Rob Mayoff's 1.5.3 patch to add --bind-address,
5804         fixing duplicate use of added-since-1.5.3 case value.
5805         (print_help): Clarified that --delete-after deletes local files.
5806         Rob forgot to add a line for his new --bind-address option.
5807                 
5808         * options.h (struct options): Manually applied Rob Mayoff's patch
5809         to add --bind-address (bind_address structure member).
5810                 
5811         * recur.c (recursive_retrieve): Improved comment; added DEBUGP().
5812         Ignore --convert-links if --delete-after was specified.
5813                 
5814         * retr.c (retrieve_from_file): Just added a DEBUGP().
5815                 
5816 2000-10-19  Dan Harkless  <wget@harkless.org>
5817
5818         * ftp.c (ftp_loop_internal): downloaded_file() enumerators changed.
5819         (getftp): Applied Piotr Sulecki <Piotr.Sulecki@ios.krakow.pl>'s
5820         patch to work around FTP servers that incorrectly respond to the
5821         "REST" command with the remaining size rather than the total file size.
5822                 
5823         * http.c (gethttp): Improved a comment and added code to tack on
5824         ".html" to text/html files without that extension when -E specified.
5825         (http_loop): Use new downloaded_file() enumerators and deal with
5826         the case of gethttp() called xrealloc() on u->local.
5827
5828         * init.c (commands): Added new "htmlextension" command.
5829         Also renamed John Daily's cmd_quad() to the more descriptive
5830         cmd_lockable_boolean(), alpha-sorted the CMD_DECLARE()s and
5831         removed duplicate cmd_boolean() declaration.
5832
5833         * main.c (print_help): Added my new -E / --html-extension option.
5834         (main): Undocumented --email-address option previously used -E synonym.
5835         Stole it away for the much more deserving --html-extension's use.
5836
5837         * options.h (struct options): Added html_extension field.
5838
5839         * url.c (convert_links): URL X that we saved as X.html locally due
5840         to -E needs to be backed up as X.orig, not X.html.orig.  Added comments.
5841         (downloaded_file): Now remembers if we added .html extension to a file.
5842
5843         * url.h (downloaded_file_t): Added extra enumerators to support above.
5844         (downloaded_file): Now takes and returns a downloaded_file_t.
5845
5846         * wget.h (unnamed "dt" enum): Added ADDED_HTML_EXTENSION enumerator.
5847         
5848 2000-10-09  Dan Harkless  <wget@harkless.org>
5849
5850         * html.c (htmlfindurl): Added unneeded initialization to quiet warning.
5851                 
5852         * main.c (print_help): Clarified what --retr-symlinks does.
5853         
5854 2000-09-15  John Daily  <jdaily@cyberdude.com>
5855
5856         * init.c: Add support for "always" and "never" values to allow
5857         .wgetrc to override commandline (useful e.g. with .pm files
5858         calling `wget --passive-ftp' when your firewall doesn't allow that).
5859
5860         * ftp.c (getftp): passive_ftp is first option to support always/never.
5861
5862 2000-08-30  Dan Harkless  <wget@harkless.org>
5863
5864         * ftp.c (ftp_retrieve_list): Use new INFINITE_RECURSION #define.
5865         
5866         * html.c: htmlfindurl() now takes final `dash_p_leaf_HTML' parameter.
5867         Wrapped some > 80-column lines.  When -p is specified and we're at a 
5868         leaf node, do not traverse <A>, <AREA>, or <LINK> tags other than 
5869         <LINK REL="stylesheet">.
5870         
5871         * html.h (htmlfindurl): Now takes final `dash_p_leaf_HTML' parameter.
5872         
5873         * init.c: Added new -p / --page-requisites / page_requisites option.
5874
5875         * main.c (print_help): Clarified that -l inf and -l 0 both allow
5876         infinite recursion.  Changed the unhelpful --mirrior description
5877         to simply give the options it's equivalent to.  Added new -p option.
5878         (main): Added some comments; handle new -p / --page-requisites.
5879         
5880         * options.h (struct options): Added new page_requisites field.
5881
5882         * recur.c: Changed "URL-s" to "URLs" and "HTML-s" to "HTMLs".
5883         Calculate and pass down new `dash_p_leaf_HTML' parameter to
5884         get_urls_html().  Use new INFINITE_RECURSION #define.
5885
5886         * retr.c: Changed "URL-s" to "URLs".  get_urls_html() now takes
5887         final `dash_p_leaf_HTML' parameter.
5888
5889         * url.c: get_urls_html() and htmlfindurl() now take final
5890         `dash_p_leaf_HTML' parameter.
5891
5892         * url.h (get_urls_html): Now takes final `dash_p_leaf_HTML' parameter.
5893
5894         * wget.h: Added some comments and new INFINITE_RECURSION #define.
5895         
5896 2000-08-23  Dan Harkless  <wget@harkless.org>
5897
5898         * main.c (print_help): -B / --base was not mentioned.
5899
5900 2000-08-22  Dan Harkless  <wget@harkless.org>
5901
5902         * main.c (print_help): Modified -nc description to mention that it
5903         also prevents the creation of multiple versions of the same file
5904         with ".<number>" suffixes.
5905
5906 2000-07-14  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5907
5908         * retr.c (retrieve_url): Consistently strdup opt.referer when
5909         setting u->referer.
5910
5911 2000-06-09  Dan Harkless  <wget@harkless.org>
5912
5913         * main.c (print_help): --help output for --waitretry was over 80 cols.
5914
5915 2000-06-09  Hrvoje Niksic  <hniksic@iskon.hr>
5916
5917         * url.c (encode_string): Fix comment.
5918         Suggested by Herold Heiko <Heiko.Herold@previnet.it>.
5919
5920 2000-06-01  Const Kaplinsky  <const@ce.cctpu.edu.ru>
5921
5922         * ftp.c (ftp_retrieve_list): Change permissions only on plain
5923         files.
5924
5925 2000-06-01  Hrvoje Niksic  <hniksic@iskon.hr>
5926
5927         * url.c (str_url): Print the port number only if it's different
5928         from the default port number for that protocol.
5929
5930 2000-05-22  Dan Harkless  <wget@harkless.org>
5931
5932         * main.c (print_help): Added --help line for Damir Dzeko
5933         <ddzeko@zesoi.fer.hr>'s until-now-undocumented --referer option.
5934         Removed comments that --referer and --waitretry were undocumented.
5935         Changed "`.wgetrc' command" to "`.wgetrc'-style command" on --help
5936         line for --execute.
5937
5938 2000-05-18  Hrvoje Niksic  <hniksic@iskon.hr>
5939
5940         * ftp.c (getftp): Ditto.
5941
5942         * http.c (gethttp): Check for return value of fclose/fflush.
5943
5944 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
5945
5946         * host.c (store_hostaddress): Instead of shifting ADDR, start
5947         copying from the correct address.
5948
5949 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
5950
5951         * http.c (gethttp): Don't free REQUEST -- it was allocated with
5952         alloca().
5953         Pointed out by Gisle Vanem <gvanem@eunet.no>.
5954
5955 2000-04-04  Dan Harkless  <wget@harkless.org>
5956
5957         * host.c (store_hostaddress): R. K. Owen's patch introduces a
5958         "left shift count >= width of type" warning on 32-bit
5959         architectures.  Got rid of it by tricking the compiler w/ a variable.
5960         
5961         * url.c (UNSAFE_CHAR): The macro didn't include all the illegal
5962         characters per RFC1738, namely everything above '~'.  It also
5963         generated a warning on OSes where char =~ unsigned char.  Fixed.
5964         
5965 1998-10-17  Hrvoje Niksic  <hniksic@srce.hr>
5966
5967         * http.c (http_process_type): Removed needless strdup(), a memory
5968         leak.
5969
5970 1998-09-25  Hrvoje Niksic  <hniksic@srce.hr>
5971
5972         * html.c (htmlfindurl): Set PH to the first occurrence of `#'.
5973
5974 1998-09-25  Simon Munton  <simonm@m4data.co.uk>
5975
5976         * init.c (wgetrc_file_name): Don't free HOME under Windows.
5977
5978 1998-12-01  "R. K. Owen"  <rkowen@Nersc.GOV>
5979
5980         * host.c (store_hostaddress): Fix for big endian 64-bit machines.
5981
5982 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
5983
5984         * url.c (UNSAFE_CHAR): New macro.
5985         (contains_unsafe): Use it.
5986         (encode_string): Ditto.
5987
5988 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
5989
5990         * main.c (i18n_initialize): Use LC_MESSAGES only if available.
5991
5992 2000-03-31  Hrvoje Niksic  <hniksic@srce.hr>
5993
5994         * Use TOUPPER/TOLOWER.
5995
5996 1998-12-22  Alexander V. Lukyanov  <lav@yars.free.net>
5997
5998         * ftp-opie.c (btoe): Zero-terminate OSTORE.
5999
6000 2000-03-21  Hrvoje Niksic  <hniksic@iskon.hr>
6001
6002         * wget.h (DO_REALLOC_FROM_ALLOCA): Ditto.
6003
6004         * sysdep.h (ISALNUM): New macro.
6005         (TOLOWER): Ditto.
6006         (TOUPPER): Ditto.
6007
6008 2000-03-10  Dan Harkless  <wget@harkless.org>
6009
6010         * html.c (idmatch): Implemented checking of my new --follow-tags
6011         and --ignore-tags options.
6012         
6013         * init.c (commands): Added comment reminding people adding new
6014         entries doing allocation to add corresponding freeing in cleanup().
6015         (commands): Added new followtags and ignoretags commands.
6016         (cleanup): Free storage for new followtags and ignoretags.
6017         
6018         * main.c: Use of "comma-separated list" was random -- normalized
6019         it.  Did some alphabetization.  Added comments pointing out
6020         "Options without arguments" and "Options accepting an argument"
6021         sections of long_options[].  Added new options --follow-tags and
6022         -G / --ignore-tags.  Added comment that Damir's --referer is
6023         currently undocumented.  Added comment that Heiko's --waitretry is
6024         partially undocumented (mentioned in --help but not in
6025         wget.texi).  Moved improperly sorted 24, 129, and 'G' cases.
6026         
6027         * options.h (struct options): Added new fields follow_tags and
6028         ignore_tags. 
6029         
6030         * wget.h: Added "#define EQ 0" so we can say "strcmp(a, b) == EQ".
6031         
6032 2000-03-02  Dan Harkless  <wget@harkless.org>
6033
6034         * ftp.c (ftp_loop_internal): Heiko introduced "suggest explicit
6035         braces to avoid ambiguous `else'" warnings.  Eliminated them.
6036         
6037         * http.c (gethttp): Dan Berger's query string patch is totally
6038         bogus.  If you have two different URLs, gen_page.cgi?page1 and
6039         get_page.cgi?page2, they'll both be saved as get_page.cgi and the
6040         second will overwrite the first.  Also, parameters to implicit
6041         CGIs, like "http://www.host.com/db/?2000-03-02" cause the URLs to
6042         be printed with trailing garbage characters, and could seg fault.
6043         Backing out the patch, which Dan B. informed me by email was just
6044         a kludge to download StarOffice from Sun made necessary due to
6045         wget's unconditional escaping of certain characters (room for an
6046         option there?).
6047         (http_loop): Heiko introduced "suggest explicit braces to avoid
6048         ambiguous `else'" warnings.  Eliminated them.
6049         
6050         * main.c: Heiko's --wait / --waitretry backwards compatibility
6051         code looks to have been totally untested -- automatic variable
6052         'wr' was used without being initialized, and a long int was passed
6053         into setval()'s char* val parameter.
6054         
6055         * recur.c (parse_robots): Applied Edward J. Sabol
6056         <sabol@alderaan.gsfc.nasa.gov>'s patch for Guan Yang's reported
6057         problem with "User-agent:<space>*<space>" lines in robots.txt.
6058         
6059         * url.c (parseurl, str_url): Removing Dan Berger's code (see
6060         http.c above for explanation).
6061         
6062 1999-08-25  Heiko Herold  <Heiko.Herold@previnet.it>
6063
6064         * ftp.c: Respect new option waitretry.
6065
6066 2000-01-30  Damir Dzeko  <ddzeko@zesoi.fer.hr>
6067
6068         * http.c (gethttp): Send custom Referer, if required.
6069
6070 1999-09-24  Charles G Waldman  <cgw@fnal.gov>
6071
6072         * netrc.c (parse_netrc): Allow passwords to contain spaces.
6073
6074         * netrc.c (parse_netrc): New function.
6075
6076 1999-09-17  Dan Berger  <dberger@ix.netcom.com>
6077
6078         * http.c (gethttp): Send it.
6079
6080         * url.c (parseurl): Detect query string in HTTP URL-s.
6081         (str_url): Print it.
6082
6083 2000-03-02  HIROSE Masaaki  <hirose31@t3.rim.or.jp>
6084
6085         * html.c (html_allow): Add <link href=...> and <script src=...>.
6086
6087 1999-05-02  andrew deryabin  <djsf@softhome.net>
6088
6089         * http.c (gethttp): Specify port in `Host' header only if it's
6090         different from 80.
6091
6092 1998-11-03  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
6093
6094         * recur.c (recursive_retrieve): If a finite maximum depth is
6095         specified, and we're are already at that depth, don't download the
6096         HTML file for parsing.
6097
6098 2000-03-01  Dan Harkless  <wget@harkless.org>
6099
6100         * ftp.c (ftp_loop_internal): Call new downloaded_file() function,
6101         even though we don't do conversion on HTML files retrieved via
6102         FTP, so _current_ usage of downloaded_file() makes this call unneeded. 
6103         (ftp_retrieve_list): Added a comment saying where we need to
6104         stat() a .orig file if FTP'd HTML file conversion is ever implemented.
6105         (ftp_retrieve_list): "Local file '%s' is more recent," is sometimes
6106         a lie -- reworded as "Server file no newer than local file '%s' --".
6107         
6108         * http.c (http_loop): Fixed a typo and clarified a comment.
6109         (http_loop): When -K and -N are specified together, compare size
6110         and timestamp of server file X against local file X.orig (if
6111         extant) rather than converted local file X.
6112         (http_loop): "Local file '%s' is more recent," is sometimes a lie
6113         -- reworded as "Server file no newer than local file '%s' --".
6114         (http_loop): Call new downloaded_file() function to prevent
6115         wrongful overwriting of .orig file when -N is specified.
6116         
6117         * url.c (convert_links): When -K specified, only rename X to
6118         X.orig if downloaded_file() returns TRUE.  Otherwise when we skip
6119         file X due to -N, we clobber an X.orig from a previous invocation.
6120         (convert_links): Call the failsafe xstrdup(), not the real strdup().
6121         (convert_links): Added a note asking anyone who understands how
6122         multiple URLs can correspond to a single file to comment it.
6123         (downloaded_file): Added this new function.
6124         
6125         * url.h (downloaded_file): Added prototype for this new function
6126         as well as its downloaded_file_t enum type.
6127
6128         * wget.h (boolean): Added this new typedef and TRUE and FALSE #defines.
6129
6130 2000-02-29  Dan Harkless  <wget@harkless.org>
6131
6132         * version.c: Upped version to developer-only "1.5.3+dev".
6133
6134 2000-02-18  Dan Harkless  <wget@harkless.org>
6135
6136         * init.c (backup_converted): Added this new option.
6137
6138         * main.c (-K / --backup-converted): Added this new option.
6139
6140         * options.h (backup_converted): Added this new option.
6141
6142         * url.c (convert_links): When backup_converted is specified, save
6143         file X as X.orig before converting.
6144
6145         * url.h (urlpos): Fixed typo -- said "Rekative" instead of "Relative".
6146
6147 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
6148
6149         * version.c: Wget 1.5.3 is released.
6150
6151 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
6152
6153         * host.c (ftp_getaddress): Don't warn when reverse-lookup of local 
6154         address doesn't yield FQDN.
6155
6156 1998-09-21  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
6157
6158         * cmpt.c (strerror): Fix declaration of sys_errlist.
6159
6160 1998-09-11  Hrvoje Niksic  <hniksic@srce.hr>
6161
6162         * main.c (main): Don't use an array subscript as the first
6163         argument to STRDUP_ALLOCA.
6164         From Kaveh R. Ghazi.
6165
6166 1998-09-11  Szakacsits Szabolcs  <szaka@sienet.hu>
6167
6168         * html.c (htmlfindurl): Download table background.
6169
6170 1998-09-11  Hans Grobler  <grobh@conde.ee.sun.ac.za>
6171
6172         * init.c (parse_line): Would free *com before allocating it.
6173         (parse_line): Would free com instead of *com.
6174
6175 1998-09-10  Howard Gayle  <howard@fjst.com>
6176
6177         * url.c (get_urls_html): Would drop the last character of the
6178         link.
6179
6180 1998-09-10  Hrvoje Niksic  <hniksic@srce.hr>
6181
6182         * http.c (http_loop): Don't print status code if quiet.
6183
6184 1998-09-10  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
6185
6186         * log.c: Use <stdarg.h> only when __STDC__.
6187
6188 1998-09-10  Adam D. Moss  <adam@foxbox.org>
6189
6190         * html.c (htmlfindurl): Download <layer src=...>.
6191
6192 1998-09-10  Howard Gayle  <howard@fjst.com>
6193
6194         * ftp.c (ftp_retrieve_list): Don't update the time stamp of a file 
6195         not retrieved.
6196
6197 1998-06-27  Hrvoje Niksic  <hniksic@srce.hr>
6198
6199         * utils.c: Include <libc.h> on NeXT.
6200
6201 1998-06-26  Heinz Salzmann  <heinz.salzmann@intermetall.de>
6202
6203         * url.c (get_urls_html): Fix calculation of URL position.
6204
6205 1998-06-23  Hrvoje Niksic  <hniksic@srce.hr>
6206
6207         * version.c: Wget 1.5.2 is released.
6208
6209 1998-06-23  Dave Love  <d.love@dl.ac.uk>
6210
6211         * ftp.c, init.c, netrc.c: Include errno.h.
6212
6213         * http.c: Include errno.h and time header.
6214
6215         * Makefile.in (exext): Define.
6216         (install.bin, uninstall.bin): Use it.
6217
6218 1998-06-21  Hrvoje Niksic  <hniksic@srce.hr>
6219
6220         * http.c (http_loop): Don't attempt to compare local and remote
6221         sizes if the remote size is unknown.
6222
6223 1998-06-16  Hrvoje Niksic  <hniksic@srce.hr>
6224
6225         * url.c (get_urls_html): Use malloc() instead of alloca in the
6226         loop.
6227
6228 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
6229
6230         * version.c: Wget 1.5.2-b4 is released.
6231
6232 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
6233
6234         * url.c (get_urls_html): Ignore spaces before and after the URI.
6235
6236 1998-06-08  Wanderlei Antonio Cavassin  <cavassin@conectiva.com.br>
6237
6238         * ftp.c (getftp): Translate `done'.
6239
6240 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
6241
6242         * version.c: Wget 1.5.2-b3 is released.
6243
6244 1998-06-06  Alexander Kourakos  <awk@bnt.com>
6245
6246         * init.c (cleanup): Close dfp, don't free it.
6247
6248 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
6249
6250         * utils.c (make_directory): Twiddle.
6251
6252         * config.h.in: Added template for access().
6253
6254 1998-06-05  Mathieu Guillaume  <mat@cythere.com>
6255
6256         * html.c (htmlfindurl): Download <input src=...>
6257
6258 1998-06-03  Hrvoje Niksic  <hniksic@srce.hr>
6259
6260         * utils.c (file_exists_p): Use access() with two arguments.
6261
6262 1998-05-27  Martin Kraemer  <Martin.Kraemer@mch.sni.de>
6263
6264         * netrc.c (parse_netrc): Correct logic.
6265
6266 1998-05-27  Hrvoje Niksic  <hniksic@srce.hr>
6267
6268         * ftp.c (getftp): Added `break'; suggested by Lin Zhe Min
6269         <ljm@ljm.wownet.net>.
6270
6271 1998-05-24  Hrvoje Niksic  <hniksic@srce.hr>
6272
6273         * version.c: Wget 1.5.2-b2 is released.
6274
6275 1998-05-18  Juan Jose Rodriguez  <jcnsoft@jal1.telmex.net.mx>
6276
6277         * mswindows.h: Don't translate mkdir to _mkdir under Borland.
6278
6279 1998-05-17  Hrvoje Niksic  <hniksic@srce.hr>
6280
6281         * retr.c (elapsed_time): Return correct value when
6282         HAVE_GETTIMEOFDAY is undefined.
6283
6284 1998-05-13  Hrvoje Niksic  <hniksic@srce.hr>
6285
6286         * version.c: Wget 1.5.2-b1 is released.
6287
6288 1998-05-08  Hrvoje Niksic  <hniksic@srce.hr>
6289
6290         * getopt.c (_getopt_internal): Use exec_name instead of argv[0].
6291         (_getopt_internal): Don't translate `#if 0'-ed strings.
6292
6293 1998-05-06  Douglas E. Wegscheid  <wegscd@whirlpool.com>
6294
6295         * mswindows.c (ws_handler): Use fork_to_background().
6296
6297 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
6298
6299         * version.c: Wget 1.5.1 is released.
6300
6301 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
6302
6303         * http.c (parse_http_status_line): Avoid `minor' and `major'
6304         names.
6305
6306 1998-05-02  Hrvoje Niksic  <hniksic@srce.hr>
6307
6308         * utils.c (mkdirhier): Renamed to make_directory.
6309
6310 1998-05-01  Hrvoje Niksic  <hniksic@srce.hr>
6311
6312         * mswindows.c (fork_to_background): Define under Windows.
6313
6314         * utils.c (fork_to_background): New function.
6315
6316         * html.c (htmlfindurl): Removed rerdundant casts.
6317
6318 1998-05-01  Douglas E. Wegscheid  <wegscd@whirlpool.com>
6319
6320         * mswindows.c (ws_mypath): Cache the path.
6321
6322 1998-04-30  Douglas E. Wegscheid  <wegscd@whirlpool.com>
6323
6324         * ftp.h: Prefix enum ftype members with FT_.
6325
6326         * ftp-ls.c, ftp.c, html.h: Adjust accordingly.
6327
6328         * mswindows.h: Use stat under Borland, _stat under MSVC.
6329
6330 1998-04-28  Hrvoje Niksic  <hniksic@srce.hr>
6331
6332         * http.c (known_authentication_scheme_p): New function.
6333         (gethttp): Handle authorization more correctly.
6334
6335         * ftp-basic.h: Removed.
6336
6337         * cmpt.h: Removed.
6338
6339         * utils.c: Include <unistd.h> before <pwd.h>; needed under SunOS
6340         with gcc 2.8.
6341         (numdigit): Use `while' loop.
6342
6343         * http.c (create_authorization_line): Detect authentication
6344         schemes case-insensitively.
6345
6346         * http.c (extract_header_attr): Use strdupdelim().
6347         (digest_authentication_encode): Move declaration of local
6348         variables to smaller scope.
6349         (digest_authentication_encode): Reset REALM, OPAQUE and NONCE.
6350         (create_authorization_line): Detect authentication schemes
6351         case-insensitively.
6352
6353         * utils.c (touch): Constify.
6354
6355         * http.c (gethttp): Report a nicer error when no data is received.
6356
6357         * rbuf.h (RBUF_READCHAR): Ditto.
6358
6359         * ftp-basic.c (ftp_response): Use sizeof.
6360
6361 1998-04-27  Hrvoje Niksic  <hniksic@srce.hr>
6362
6363         * retr.c (print_percentage): EXPECTED is long, not int.
6364         (print_percentage): Use floating-point arithmetic to avoid
6365         overflow with large files' sizes multiplied with 100.
6366
6367 1998-04-27  Gregor Hoffleit  <flight@mathi.uni-heidelberg.de>
6368
6369         * config.h.in: Added pid_t stub.
6370
6371         * sysdep.h (S_ISREG): Moved here from mswindows.h (NeXT doesn't
6372         define it).
6373
6374 1998-04-20  Hrvoje Niksic  <hniksic@srce.hr>
6375
6376         * version.c: Wget 1.5.0 is released.
6377
6378 1998-04-18  Hrvoje Niksic  <hniksic@srce.hr>
6379
6380         * url.c (str_url): Ditto.
6381
6382         * ftp-basic.c (ftp_rest): Use new name.
6383
6384         * utils.c (long_to_string): Renamed from prnum().
6385
6386 1998-04-16  Hrvoje Niksic  <hniksic@srce.hr>
6387
6388         * version.c: Wget 1.5-b17 is released.
6389
6390 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
6391
6392         * headers.c (header_get): New argument FLAGS.
6393
6394         * http.c (gethttp): If request is malformed, bail out of the
6395         header loop.
6396         (gethttp): Check for empty header *after* the status line checks.
6397         (gethttp): Disallow continuations for status line.
6398
6399 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
6400
6401         * version.c: Wget 1.5-b16 is released.
6402
6403 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
6404
6405         * init.c (commands): Renamed `always_rest' to `continue'.
6406
6407 1998-04-05  Hrvoje Niksic  <hniksic@srce.hr>
6408
6409         * all: Use it.
6410
6411         * log.c (logputs): New argument.
6412         (logvprintf): Ditto.
6413         (logprintf): Ditto.
6414
6415 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
6416
6417         * http.c (http_atotm): Update comment.
6418
6419         * main.c (i18n_initialize): Set LC_MESSAGES, not LC_ALL.
6420
6421         * wget.h: Renamed ENABLED_NLS to HAVE_NLS.
6422
6423         * main.c (i18n_initialize): New function.
6424         (main): Use it.
6425
6426         * log.c: Include <unistd.h>.
6427
6428         * retr.c (show_progress): Cast alloca to char *.
6429
6430 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
6431
6432         * version.c: Wget 1.5-b15 is released.
6433
6434 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
6435
6436         * utils.h: Declare file_non_directory_p().
6437
6438 1998-04-03  Hrvoje Niksic  <hniksic@srce.hr>
6439
6440         * main.c (main): It's `tries', not `numtries' now.
6441
6442 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
6443
6444         * init.c (getperms): Removed.
6445
6446 1998-04-01  Tim Charron  <tcharron@interlog.com>
6447
6448         * log.c (logvprintf): Don't use ARGS twice.
6449
6450 1998-04-01  John  <john@futuresguide.com>
6451
6452         * mswindows.c: Cleaned up.
6453
6454 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
6455
6456         * version.c: Wget 1.5-b14 is released.
6457
6458 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
6459
6460         * ftp-opie.c (STRLEN4): New macro.
6461         (btoe): Use it.
6462
6463 1998-04-01  Junio Hamano  <junio@twinsun.com>
6464
6465         * http.c: Document all the Digest functions.
6466
6467 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
6468
6469         * utils.c (file_non_directory_p): Renamed from isfile().
6470
6471         * mswindows.h (S_ISREG): New macro, suggested by Tim Adam.
6472
6473 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
6474
6475         * utils.c (mkdirhier): Use 0777 instead of opt.dirmode.
6476
6477         * init.c (cmd_spec_dotstyle): Use 48 dots per line for binary
6478         style.
6479         (cmd_permissions): Removed.
6480
6481         * config.h.in: Add template for WORDS_BIGENDIAN.
6482
6483 1998-03-31  Junio Hamano  <junio@twinsun.com>
6484
6485         * http.c (HEXD2asc): New macro.
6486         (dump_hash): Use it.
6487
6488 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
6489
6490         * version.c: Wget 1.5-b13 is released.
6491
6492 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
6493
6494         * main.c (main): Don't try to use `com'.
6495
6496 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
6497
6498         * init.c (cmd_permissions): New function.
6499
6500 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
6501
6502         * version.c: Wget 1.5-b12 is released.
6503
6504 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
6505
6506         * init.c (commands): Renamed `numtries' to `tries'.
6507         (cmd_spec_debug): Removed.
6508         (home_dir): Under Windows, return `C:\' if HOME is undefined.
6509
6510 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
6511
6512         * config.h.in: Define _XOPEN_SOURCE.
6513
6514         * init.c (check_user_specified_header): New function.
6515         (cmd_spec_header): Use it.
6516         (cmd_spec_useragent): New function.
6517
6518 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
6519
6520         * version.c: Wget 1.5-b11 is released.
6521
6522 1998-03-28  Hrvoje Niksic  <hniksic@srce.hr>
6523
6524         * wget.h: Include <libintl.h> only if NLS is enabled.
6525
6526 1998-03-26  Hrvoje Niksic  <hniksic@srce.hr>
6527
6528         * options.h (struct options): Made `wait' a long.
6529         (struct options): Ditto for `timeout'.
6530
6531 1998-03-19  Hrvoje Niksic  <hniksic@srce.hr>
6532
6533         * utils.c (exists): Renamed to file_exists_p.
6534         (file_exists_p): Use access() if available.
6535
6536 1998-03-17  Hrvoje Niksic  <hniksic@srce.hr>
6537
6538         * utils.c (memfatal): Set save_log_p to 0 to avoid potential
6539         infloop.
6540
6541         * log.c: do_logging -> save_log_p.
6542
6543         * config.h.in: Added template for HAVE_VSNPRINTF.
6544
6545 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
6546
6547         * init.c: Ditto.
6548
6549         * http.c: Protect declaration against non-ANSI compiler.
6550
6551         * log.c (logvprintf): Use vsnprintf() if available.
6552
6553         * getopt.c (main): Don't translate test stuff.
6554
6555 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
6556
6557         * version.c: Wget 1.5-b10 is released.
6558
6559 1998-03-11  Hrvoje Niksic  <hniksic@srce.hr>
6560
6561         * ftp.c (getftp): Don't translate "CWD %s".
6562
6563         * wget.h (GCC_FORMAT_ATTR): Renamed from FORMAT_ATTR.
6564
6565 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
6566
6567         * ftp-opie.c (btoe): Use memcpy() instead of strncat().
6568
6569         * log.c (logputs): New function.
6570         (logvprintf): Renamed from vlogmsg; use logputs().
6571
6572         * retr.c (show_progress): Print `[100%]' when the retrieval is
6573         finished.
6574
6575         * init.c (run_wgetrc): Use FILE, not PATH.
6576         (wgetrc_file_name): Ditto.
6577
6578 1998-03-07  Tim Adam  <tma@osa.com.au>
6579
6580         * recur.c (parse_robots): Correctly reset `entries' on empty
6581         disallow.
6582
6583 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
6584
6585         * init.c (cmd_spec_debug): Use cmd_boolean().
6586
6587 1998-02-23  Hrvoje Niksic  <hniksic@srce.hr>
6588
6589         * http.c (gethttp): Create proxy-authorization correctly.
6590
6591 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
6592
6593         * md5.c: Ditto.
6594
6595         * getopt.c: Use ANSI function definitions.
6596
6597         * ftp-opie.c: New file.
6598
6599         * options.h: Don't redefine EXTERN.
6600
6601         * init.c: Sort it correctly.
6602
6603 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
6604
6605         * version.c: Wget 1.5-b9 is released.
6606
6607 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
6608
6609         * recur.c (recursive_retrieve): Reset `first_time'.
6610
6611         * ftp.c (getftp): Added `default' clause to switches of uerr_t.
6612
6613         * rbuf.c (rbuf_peek): Simplified.
6614         (rbuf_flush): Use MINVAL.
6615
6616         * wget.h (MINVAL): Moved from url.h.
6617
6618         * rbuf.h (RBUF_FD): New macro.
6619
6620         * url.c (add_url): Add to the head of the list.
6621
6622         * ftp.c (ftp_retrieve_list): Set the permissions to downloaded
6623         file.
6624         (getftp): Set the default permissions to 0600.
6625
6626 1998-02-21  Hrvoje Niksic  <hniksic@srce.hr>
6627
6628         * url.c (get_urls_html): Ditto.
6629         (convert_links): Ditto.
6630
6631         * recur.c (parse_robots): Ditto.
6632
6633         * html.c (ftp_index): Ditto.
6634
6635         * ftp-ls.c (ftp_parse_unix_ls): Open file as binary.
6636
6637         * init.c (defaults): Initialize `opt' to zero via memset.
6638
6639         * http.c (digest_authentication_encode): goto considered harmful.
6640
6641 1998-02-19  Hrvoje Niksic  <hniksic@srce.hr>
6642
6643         * ftp.c (delelement): Simplify and fix leak.
6644
6645 1998-02-18  Hrvoje Niksic  <hniksic@srce.hr>
6646
6647         * http.c (dump_hash): Use HEXD2ASC instead of home-grown stuff.
6648
6649         * url.h (HEXD2ASC): Removed warning.
6650
6651         * init.c (comind): Use binary search.
6652         (commands): Reorganized.
6653         (setval): Ditto.
6654         (cmd_boolean): New function.
6655         (cmd_number): Ditto.
6656         (cmd_number_inf): Ditto.
6657         (cmd_string): Ditto.
6658         (cmd_vector): Ditto.
6659         (cmd_directory_vector): Ditto.
6660         (cmd_bytes): Ditto.
6661         (cmd_time): Ditto.
6662         (cmd_spec_debug): Ditto.
6663         (cmd_spec_dirmode): Ditto.
6664         (cmd_spec_dirstruct): Ditto.
6665         (cmd_spec_dotstyle): Ditto.
6666         (cmd_spec_header): Ditto.
6667         (cmd_spec_htmlify): Ditto.
6668         (cmd_spec_mirror): Ditto.
6669         (cmd_spec_outputdocument): Ditto.
6670         (cmd_spec_recursive): Ditto.
6671         (settime): Merged with cmd_time().
6672         (setbytes): Merged with cmd_bytes().
6673         (setonoff): Merged with cmd_boolean().
6674         (onoff): Ditto.
6675
6676 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
6677
6678         * Makefile.in (distclean): Remove `config.h'.
6679
6680 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
6681
6682         * version.c: Wget 1.5-b8 is released.
6683
6684 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
6685
6686         * http.c (digest_authentication_encode): New function.
6687         (create_authorization_line): Use it.
6688         (dump_hash): New function.
6689         (digest_authentication_encode): Use it.
6690
6691         * fnmatch.c: Renamed from `mtch.c'.
6692
6693 1998-02-15  Karl Eichwalder  <ke@suse.de>
6694
6695         * main.c (main): Tag "Written by..." string as translatable.
6696
6697 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
6698
6699         * wget.h (FREE_MAYBE): New macro.
6700
6701         * http.c (create_authorization_line): Don't use ANSI C string
6702         concatenation feature.
6703         (basic_authentication_encode): Use alloca() for temporary
6704         variables.
6705
6706         * recur.h: Ditto.
6707
6708         * http.c: Ditto.
6709
6710         * headers.h: Ditto.
6711
6712         * ftp-basic.c: Protect declaration against non-ANSI compiler.
6713
6714         * http.c (create_authorization_line): Cast `unsigned char *' to
6715         `char *' for sprintf, to shut up the noisy Digital Unix cc.
6716
6717 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
6718
6719         * version.c: Wget 1.5-b7 is released.
6720
6721 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
6722
6723         * cmpt.c (strstr): Synched with glibc-2.0.6.
6724
6725         * ftp-basic.c (calculate_skey_response): Ditto.
6726         (calculate_skey_response): Use alloca().
6727
6728         * http.c (create_authorization_line): Work with FSF's version of
6729         md5.c.
6730
6731         * md5.c: New file, from GNU libc.
6732
6733 1998-02-14  Hrvoje Niksic  <hniksic@srce.hr>
6734
6735         * url.h (URL_CLEANSE): Name the temporary variable more carefully.
6736
6737 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
6738
6739         * http.c (basic_authentication_encode): New function, instead of
6740         the macro.
6741
6742 1998-02-13  Junio Hamano  <junio@twinsun.com>
6743
6744         * http.c: Add HTTP-DA support.
6745         * ftp-basic.c: Add Opie/S-key support.
6746         * config.h.in, Makefile.in: Add HTTP-DA and Opie/S-key support.
6747         * md5.c, md5.h: New files.
6748
6749 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
6750
6751         * http.c (http_process_range): Renamed from hprocrange().
6752         (http_process_range): Parse the whole header.
6753
6754         * headers.c: New file.
6755         (header_process): New function.
6756         (header_get): Renamed from fetch_next_header.
6757
6758         * all: Include utils.h only where necessary.
6759
6760         * wget.h: Declare xmalloc(), xrealloc() and xstrdup() here.
6761
6762         * wget.h: Add provisions for dmalloc.
6763
6764 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
6765
6766         * version.c: Wget 1.5-b6 is released.
6767
6768 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
6769
6770         * ftp.c (ftp_loop): Determine `filename' more precisely.
6771
6772         * init.c (setval): Don't set `opt.quiet' if output-document is
6773         `-'.
6774
6775         * log.c (log_init): Print to STDERR instead of STDOUT.
6776         (vlogmsg): Use STDERR by default.
6777         (logflush): Ditto.
6778
6779 1998-02-11  Simon Josefsson  <jas@pdc.kth.se>
6780
6781         * host.c: Use addr_in again.
6782
6783 1998-02-08  Karl Eichwalder  <karl@suse.de>
6784
6785         * http.c (gethttp): Fixed typo.
6786
6787 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
6788
6789         * version.c: Wget 1.5-b5 is released.
6790
6791 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
6792
6793         * retr.c (show_progress): Use it.
6794
6795         * log.c (logflush): New function.
6796
6797         * wget.h: Utilize __attribute__ if on gcc.
6798
6799 1998-02-07  Hrvoje Niksic  <hniksic@srce.hr>
6800
6801         * http.c (base64_encode_line): New argument LENGTH.
6802         (BASIC_AUTHENTICATION_ENCODE): Use it.
6803         (BASIC_AUTHENTICATION_ENCODE): Take length of HEADER into account.
6804
6805         * main.c (main): Fixed fprintf() format mismatch.
6806
6807 1998-02-06  Hrvoje Niksic  <hniksic@srce.hr>
6808
6809         * version.c: Wget 1.5-b4 is released.
6810
6811 1998-02-03  Simon Josefsson  <jas@pdc.kth.se>
6812
6813         * host.c: use sockaddr_in instead of addr_in.
6814
6815 1998-02-04  Hrvoje Niksic  <hniksic@srce.hr>
6816
6817         * init.c (cleanup): Use it.
6818
6819         * recur.c (recursive_cleanup): New function.
6820
6821         * retr.c (retrieve_from_file): Ditto.
6822
6823         * main.c (main): Use it.
6824
6825         * recur.c (recursive_reset): New function.
6826
6827         * retr.c (retrieve_from_file): Ditto.
6828
6829         * main.c (main): Simplify call to recursive_retrieve().
6830
6831         * recur.c (recursive_retrieve): Removed FLAGS argument.
6832
6833         * http.c (gethttp): Changed call to iwrite().
6834
6835 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
6836
6837         * url.c (get_urls_html): Ditto.
6838         (free_urlpos): Ditto.
6839         (mkstruct): Ditto.
6840         (construct): Ditto.
6841
6842         * retr.c (retrieve_url): Move declaration of local variables to
6843         smaller scope.
6844
6845         * url.c (urlproto): Use it.
6846         (parseurl): Ditto.
6847         (str_url): Ditto.
6848         (get_urls_html): Ditto.
6849
6850         * utils.h (ARRAY_SIZE): New macro.
6851
6852         * url.c (proto): Moved from url.h.
6853
6854         * url.h (URL_CLEANSE): Reformatted.
6855         (USE_PROXY_P): Renamed from USE_PROXY.
6856
6857         * ftp-basic.c: Adjust to the new interface of iwrite().
6858
6859         * ftp-basic.c (ftp_port): Use alloca().
6860
6861 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
6862
6863         * version.c: Wget 1.5-b3 is released.
6864
6865         * host.c (ftp_getaddress): Don't print to stderr directly.
6866
6867         * init.c (setbytes): Support `g' for gigabytes.
6868         (cmdtype): New specification CTIME.
6869         (setval): Use it with settime().
6870         (commands): Use it for WAIT and TIMEOUT.
6871
6872 1998-02-02  Hrvoje Niksic  <hniksic@srce.hr>
6873
6874         * http.c (BASIC_AUTHENTICATION_ENCODE): New macro.
6875         (gethttp): Use it.
6876
6877         * utils.c (unique_name_1): Moved from url.c.
6878         (unique_name): Ditto.
6879
6880         * url.c (url_filename): Ditto.
6881
6882         * log.c (redirect_output): Changed call to unique_name().
6883
6884         * url.c (unique_name_1): Renamed from unique_name().
6885         (unique_name): Changed interface.
6886
6887         * init.c (enum cmdid): Moved from init.h.
6888         (cmdtype): Ditto.
6889         (struct cmd): Ditto.
6890
6891         * main.c (main): Use it.
6892         (main): Moved `--backups' to not have a short option.
6893
6894         * options.h (struct options): New member BACKGROUND.
6895
6896         * main.c (print_help): Rearranged.
6897         (main): New long options for -n* short options: --no-directories,
6898         --no-host-directories, --non-verbose, --no-host-lookup and
6899         --dont-remove-listing.
6900
6901 1998-02-01  Hrvoje Niksic  <hniksic@srce.hr>
6902
6903         * main.c (main): Use log_close().
6904
6905         * log.c: New variable LOGFP.
6906         (vlogmsg): Use it.
6907         (redirect_output): Don't open /dev/null; set LOGFP to stdin
6908         instead.
6909         (log_close): New function.
6910
6911         * options.h (struct options): Removed LFILE.
6912
6913         * log.c (log_enable): Removed.
6914
6915         * main.c (main): Use it.
6916
6917         * log.c (log_init): New function.
6918
6919         * url.c (get_urls_html): Removed needless assignment to BASE.
6920
6921         * host.c (add_hlist): Don't set CMP needlessly.
6922
6923         * utils.c (match_backwards): Ditto.
6924         (in_acclist): Ditto.
6925
6926         * url.c (findurl): Ditto.
6927
6928         * netrc.c (parse_netrc): Ditto.
6929
6930         * log.c (log_dump): Ditto.
6931
6932         * html.c (html_quote_string): Ditto.
6933
6934         * ftp-basic.c (ftp_request): Made static.
6935
6936         * connect.c: Made global variables static.
6937
6938         * url.c (construct): Ditto.
6939
6940         * init.c (init_path): Avoid assignment inside `if'-condition.
6941
6942         * ftp.c: Don't include in.h or winsock.h.
6943
6944         * ftp.c (ftp_loop): Use SZ.
6945
6946         * connect.c (bindport): Cast &addrlen to int *.
6947         (conaddr): Ditto.
6948
6949         * init.c (initialize): Don't use SYSTEM_WGETRC unconditionally.
6950
6951 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
6952
6953         * ftp.c (getftp): Initialize opt.ftp_pass here.
6954         (ftp_retrieve_dirs): Use alloca().
6955
6956         * init.c (defaults): Don't initialize opt.ftp_pass.
6957
6958         * sysdep.h (S_ISLNK): Declare for OS/2; ditto for lstat.
6959         From Ivan F. Martinez <ivanfm@ecodigit.com.br>.
6960
6961 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
6962
6963         * recur.c (parse_robots): Check for comments more correctly.
6964
6965         * host.c (ftp_getaddress): Use STRDUP_ALLOCA.
6966         (ftp_getaddress): Add diagnostics when reverse-lookup yields only
6967         hostname.
6968
6969 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
6970
6971         * version.c: Wget 1.5-b2 is released.
6972
6973         * netrc.c (NETRC_FILE_NAME): Moved from netrc.h.
6974
6975         * utils.c (proclist): Pass FNM_PATHNAME to fnmatch().
6976
6977         * ftp-basic.c (ftp_pasv): Avoid unnecessary casting to unsigned
6978         char.
6979
6980         * log.c: Don't attempt to hide arguments from ansi2knr.
6981
6982         * cmpt.c: Synched strptime() and mktime() with glibc-2.0.6.
6983
6984         * ansi2knr.c: Use a later version, from fileutils-3.16l alpha.
6985
6986         * ftp.c (getftp): Ditto.
6987
6988         * http.c (gethttp): Use it.
6989
6990         * retr.c (get_contents): New argument EXPECTED; pass it to
6991         show_progress().
6992         (show_progress): New argument EXPECTED; use it to display
6993         percentages.
6994
6995         * init.c (setval): Ditto.
6996
6997         * http.c (gethttp): Ditto.
6998         (http_loop): Ditto.
6999
7000         * ftp.c (getftp): Ditto.
7001         (ftp_loop_internal): Ditto.
7002
7003         * ftp-ls.c (ftp_parse_unix_ls): Use abort() instead of assert(0).
7004
7005         * sysdep.h (CLOSE): Simplify; use DEBUGP.
7006
7007         * netrc.c (search_netrc): Use alloca().
7008
7009         * init.c (defaults): Initialize no_flush.
7010
7011         * log.c (vlogmsg): Don't flush if no_flush.
7012
7013         * options.h (struct options): New variable no_flush.
7014
7015         * main.c (main): Don't play games with buffering.
7016
7017         * log.c (vlogmsg): Flush the output after every message.
7018
7019 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
7020
7021         * init.c (parse_line): Ditto.
7022
7023         * url.c (get_urls_html): Ditto.
7024
7025         * main.c (main): Don't cast to unsigned char.
7026
7027         * init.c (run_wgetrc): Don't cast to unsigned char.
7028         (parse_line): Accept char instead of unsigned char.
7029
7030         * html.c (htmlfindurl): Use char instead of unsigned char.
7031
7032         * all: Use them.
7033
7034         * sysdep.h: Add wrappers to ctype macros to make them
7035         eight-bit-clean:
7036
7037 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
7038
7039         * html.c (htmlfindurl): Download <img lowsrc=...>
7040
7041         * main.c (main): Ignore SIGPIPE.
7042
7043         * connect.c (select_fd): New argument WRITEP.
7044         (iwrite): Call select_fd().
7045
7046 1997-02-27  Fila Kolodny <fila@ibi.com>
7047
7048         * ftp.c (ftp_retrieve_list): If retrieving symlink and the proper
7049         one already exists, just skip it.
7050
7051 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
7052
7053         * http.c (gethttp): Cosmetic changes.
7054
7055         * http.c (check_end): Allow `+D...' instead of `GMT'.
7056         From Fabrizio Pollastri <pollastri@cstv.to.cnr.it>.
7057
7058         * url.c (process_ftp_type): New function.
7059         (parseurl): Use it.
7060
7061         * connect.c (iwrite): Allow writing in a few chunks.
7062         (bindport): Made SRV static, so addr can point to it.
7063         (select_fd): Removed HPUX kludge.
7064
7065         * host.c (free_hlist): Incorporated into clean_hosts().
7066
7067 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
7068
7069         * host.c (hlist): Made static.
7070         (search_address): Cosmetic change.
7071
7072 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
7073
7074         * version.c: Wget v1.5-b1 is released.
7075
7076         * http.c (hgetlen): Use sizeof() to get the header length.
7077         (hgetrange): Ditto.
7078         (hgettype): Ditto.
7079         (hgetlocation): Ditto.
7080         (hgetmodified): Ditto.
7081         (haccepts_none): Ditto.
7082
7083         * main.c (main): Updated `--version' and `--help' output, as per
7084         Francois Pinard's suggestions.
7085
7086         * main.c: Include locale.h; call setlocale(), bindtextdomain() and 
7087         textdomain().
7088
7089         * config.h.in: Define stubs for I18N3.
7090
7091         * wget.h: Include libintl.h.
7092
7093 1998-01-28  Hrvoje Niksic  <hniksic@srce.hr>
7094
7095         * url.c (mkstruct): Check for opt.cut_dirs.
7096         (mkstruct): alloca()-te more, xmalloc() less.
7097
7098         * utils.c (load_file): Check for ferror().
7099
7100         * url.c (get_urls_file): Close only the files we opened.
7101         (get_urls_html): Ditto.
7102         (count_slashes): New function.
7103
7104         * http.h: Removed.
7105
7106         * http.c (gethttp): Respect username and password provided by
7107         proxy URL.
7108         (base64_encode_line): Write into an existing buffer instead of
7109         malloc-ing a new one.
7110         (struct http_stat): Moved from http.h
7111
7112         * retr.c (retrieve_url): Free SUF.
7113
7114         * all: Removed lots of unnecessary .h dependencies.
7115
7116         * html.c (global_state): Made static.
7117
7118         * utils.h (ALLOCA_ARRAY): New macro.
7119
7120         * main.c (main): New option `--cut-dirs'.
7121
7122         * url.c (construct): Use alloca() for T.
7123
7124         * utils.c (mkdirhier): Use STRDUP_ALLOCA.
7125
7126         * host.c (_host_t): Moved from host.h.
7127         (struct host): Renamed from _host_t.
7128         (store_hostaddress): Use STRDUP_ALLOCA for INET_S.
7129         (realhost): Ditto.
7130
7131         * host.h: Don't include url.h.
7132
7133         * ftp.c (LIST_FILENAME): Moved from ftp.h.
7134
7135         * init.c (DEFAULT_FTP_ACCT): Moved from ftp.h.
7136
7137         * main.c (main): Enable log if the output goes to a TTY.
7138
7139         * connect.h: Removed unused constant `BACKLOG'.
7140
7141         * config.h.in: Check for isatty().
7142
7143         * Makefile.in (LINK): Use CFLAGS when linking.
7144
7145 1998-01-27  Hrvoje Niksic  <hniksic@srce.hr>
7146
7147         * mswindows.c (ws_hangup): Use redirect_output().
7148
7149         * main.c (redirect_output_signal): New function; use
7150         redirect_output().
7151
7152         * log.c (redirect_output): New function, based on hangup(), which
7153         is deleted.
7154
7155         * log.c (vlogmsg): New function.
7156
7157         * wget.h (DEBUGP): Use debug_logmsg().
7158
7159         * main.c (hangup): Use it.
7160
7161         * log.c (log_dump): New function.
7162
7163         * utils.h (DO_REALLOC): Use `long' for various sizes.
7164
7165         * http.c (hskip_lws): Use `while', for clarity.
7166         (HTTP_DYNAMIC_LINE_BUFFER): New constant.
7167         (fetch_next_header): Use it instead of DYNAMIC_LINE_BUFFER.
7168
7169         * ftp-basic.c (FTP_DYNAMIC_LINE_BUFFER): New constant.
7170         (ftp_response): Use it instead of DYNAMIC_LINE_BUFFER.
7171
7172         * utils.c (DYNAMIC_LINE_BUFFER): Moved from utils.c.
7173         (LEGIBLE_SEPARATOR): Ditto.
7174         (FILE_BUFFER_SIZE): Ditto.
7175
7176         * retr.c (BUFFER_SIZE): Moved from retr.h.
7177
7178         * log.c: New file.
7179         (logmsg): Moved from utils.c.
7180         (debug_logmsg): New function.
7181
7182         * mswindows.h: Include it here.
7183
7184         * init.c: Ditto.
7185
7186         * utils.c: Don't include <windows.h>.
7187
7188 1998-01-25  Hrvoje Niksic  <hniksic@srce.hr>
7189
7190         * host.c (ftp_getaddress): Ditto.
7191
7192         * main.c (main): Use it.
7193
7194         * utils.h (STRDUP_ALLOCA): New macro.
7195
7196         * init.c: Prepend `wget: ' to error messages printed on stderr.
7197
7198         * utils.c (mkdirhier): Renamed from mymkdir.
7199         (touch): Renamed from my_touch.
7200         (pwd_cuserid): Renamed from my_cuserid().
7201
7202 1998-01-24  Andy Eskilsson  <andy.eskilsson@telelogic.se>
7203
7204         * utils.c (accdir): Process wildcards.
7205         (proclist): New function.
7206         (accdir): Use it to avoid code repetition.
7207
7208 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
7209
7210         * recur.c (parse_robots): Respect opt.useragent; use alloca().
7211
7212         * http.c (gethttp): Construct useragent accordingly.
7213
7214         * version.c: Changed version string to numbers-only.
7215
7216         * main.c (print_help): List all the options.
7217
7218         * mswindows.c (windows_main_junk): Initialize argv0 here.
7219
7220 1998-01-24  Karl Heuer  <kwzh@gnu.org>
7221
7222         * netrc.c (search_netrc): Initialize `l' only after processing
7223         netrc.
7224
7225         * main.c (main): Don't trap SIGHUP if it's being ignored.
7226
7227 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
7228
7229         * all: Use logmsg().
7230
7231         * utils.c (time_str): Moved from retr.c.
7232         (logmsg): New function.
7233         (logmsg_noflush): Ditto.
7234
7235         * rbuf.c: New file, moved buf_* functions here.
7236
7237         * ftp.c (ftp_expected_bytes): Moved from ftp-basic.c.
7238
7239         * ftp-basic.c (ftp_rest): Use prnum().
7240
7241         * ftp-basic.c: Ditto.
7242
7243         * ftp.c: Use the new reading functions and macros.
7244
7245         * retr.c (buf_initialize): New function.
7246         (buf_initialized_p): Ditto.
7247         (buf_uninitialize): Ditto.
7248         (buf_fd): Ditto.
7249
7250         * http.c (fetch_next_header): Use the BUF_READCHAR macro for
7251         efficiency.
7252         (gethttp): Use alloca() where appropriate.
7253
7254         * retr.c (buf_readchar): Use it.
7255         (buf_peek): Use rstreams.
7256
7257         * retr.h (BUF_READCHAR): New macro.
7258
7259         * init.c (home_dir): Rewritten for clarity.
7260         (init_path): Ditto.
7261
7262         * mswindows.c (ws_backgnd): Made static.
7263         (read_registry): Ditto.
7264         (ws_cleanup): Ditto.
7265         (ws_handler): Ditto.
7266
7267 1998-01-23  Hrvoje Niksic  <hniksic@srce.hr>
7268
7269         * alloca.c: New file.
7270
7271         * Makefile.in (ALLOCA): Define.
7272
7273         * mswindows.c (ws_help): Constify.
7274         (ws_help): Use alloca.
7275
7276         * mswindows.c: Reformat.
7277
7278         * all: Added _(...) annotations for I18N snarfing and translation.
7279
7280         * host.c (ftp_getaddress): Nuke SYSINFO.
7281         (ftp_getaddress): Don't use getdomainname().
7282         (ftp_getaddress): Use uname(), where available.
7283
7284         * http.c (gethttp): Protect a stray fprintf().
7285
7286         * init.c (settime): New function.
7287         (setval): Treat WAIT specially, allowing suffixes like `m' for
7288         minutes, etc.
7289
7290 1998-01-21  Hrvoje Niksic  <hniksic@srce.hr>
7291
7292         * url.c (get_urls_html): Use alloca() for TEMP.
7293
7294 1998-01-21  Jordan Mendelson  <jordy@wserv.com>
7295
7296         * url.c (rotate_backups): New function.
7297
7298         * http.c (gethttp): Ditto.
7299
7300         * ftp.c (getftp): Rotate backups.
7301
7302 1997-12-18  Hrvoje Niksic  <hniksic@srce.hr>
7303
7304         * all: Renamed nmalloc(), nrealloc() and nstrdup() to xmalloc(),
7305         xrealloc() and xstrdup().  Use the new functions.
7306
7307         * url.c (decode_string): Made static.
7308         (has_proto): Ditto.
7309         (parse_dir): Ditto.
7310         (parse_uname): Ditto.
7311         (mkstruct): Ditto.
7312         (construct): Ditto.
7313         (construct_relative): Ditto.
7314
7315         * retr.c (show_progress): Made static.
7316
7317         * recur.c (robots_url): Made static.
7318         (retrieve_robots): Ditto.
7319         (parse_robots): Ditto.
7320         (robots_match): Ditto.
7321
7322         * main.h: Removed.
7323
7324         * main.c (printhelp): Made static.
7325         (hangup): Ditto.
7326
7327         * init.c (comind): Made static.
7328         (defaults): Ditto.
7329         (init_path): Ditto.
7330         (run_wgetrc): Ditto.
7331         (onoff): Ditto.
7332         (setonoff): Ditto.
7333         (setnum): Ditto.
7334         (myatoi): Ditto.
7335         (getperms): Ditto.
7336         (setbytes): Ditto.
7337
7338         * http.c (fetch_next_header): Made static.
7339         (hparsestatline): Ditto.
7340         (hskip_lws): Ditto.
7341         (hgetlen): Ditto.
7342         (hgetrange): Ditto.
7343         (hgettype): Ditto.
7344         (hgetlocation): Ditto.
7345         (hgetmodified): Ditto.
7346         (haccepts_none): Ditto.
7347         (gethttp): Ditto.
7348         (base64_encode_line): Ditto.
7349         (mktime_from_utc): Ditto.
7350         (http_atotm): Ditto.
7351
7352         * html.c (idmatch): Made static.
7353
7354         * host.c (search_host): Made static.
7355         (search_address): Ditto.
7356         (free_hlist): Ditto.
7357
7358         * ftp.c (getftp): Made static.
7359         (ftp_loop_internal): Ditto.
7360         (ftp_get_listing): Ditto.
7361         (ftp_retrieve_list): Ditto.
7362         (ftp_retrieve_dirs): Ditto.
7363         (ftp_retrieve_glob): Ditto.
7364         (freefileinfo): Ditto.
7365         (delelement): Ditto.
7366
7367         * ftp-ls.c (symperms): Made static.
7368         (ftp_parse_unix_ls): Ditto.
7369
7370         * connect.c (select_fd): Made static.
7371
7372         * utils.c (xmalloc): Renamed from nmalloc.
7373         (xrealloc): Renamed from nrealloc.
7374         (xstrdup): Renamed from nstrdup.
7375
7376         * getopt.c (exchange): Use alloca.
7377
7378         * mswindows.c (mycuserid): Use strncpy.
7379
7380         * New files mswindows.c, mswindows.h, sysdep.h.  winjunk.c,
7381         systhings.h, windecl.h and winjunk.h removed.
7382
7383         * mswindows.c (sleep): New function.
7384
7385         * utils.c: Include <windows.h> under Windows.
7386
7387 1997-06-12  Darko Budor  <dbudor@zesoi.fer.hr>
7388
7389         * url.h (URL_UNSAFE): Change default under Windows.
7390
7391         * retr.c (retrieve_from_file): Respect opt.delete_after.
7392
7393         * main.c (main): Call ws_help on Windows.
7394
7395         * winjunk.c (windows_main_junk): New function.
7396
7397         * main.c (main): Junk-process argv[0].
7398
7399         * http.c (mktime_from_utc): Return -1 if mktime failed.
7400
7401         * http.c (http_loop): Ditto.
7402
7403         * ftp.c (ftp_loop_internal): Change title on Windows when using a
7404         new URL.
7405
7406         * winjunk.c (getdomainname): Lots of functions.
7407
7408 1997-06-12  Hrvoje Niksic  <hniksic@srce.hr>
7409
7410         * cmpt.c (strptime_internal): Handle years more correctly for
7411         `%y'.
7412
7413 1997-06-09  Mike Thomas <mthomas@reality.ctron.com>
7414
7415         * http.c (gethttp): Allocate enough space for
7416         `Proxy-Authorization' header.
7417
7418 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
7419
7420         * version.c: Wget/1.4.5 is released.
7421
7422 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
7423
7424         * retr.c (get_contents): Check return value of fwrite more
7425         carefully.
7426
7427 1997-03-30  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
7428
7429         * cmpt.c (strptime_internal) [case 'Y']: Always subtract 1900 from
7430         year, regardless of century.
7431
7432 1997-03-30  Hrvoje Niksic  <hniksic@srce.hr>
7433
7434         * utils.c (isfile): Use `lstat' instead of `stat'.
7435
7436 1997-03-29  Hrvoje Niksic  <hniksic@srce.hr>
7437
7438         * utils.c (numdigit): Use explicit test.
7439
7440 1997-03-21  Hrvoje Niksic  <hniksic@srce.hr>
7441
7442         * http.c (http_loop): Always use `url_filename' to get u->local.
7443
7444 1997-03-20  Hrvoje Niksic  <hniksic@srce.hr>
7445
7446         * url.c: Recognize https.
7447
7448 1997-03-13  Hrvoje Niksic  <hniksic@srce.hr>
7449
7450         * recur.c (recursive_retrieve): Lowercase just the host name.
7451
7452 1997-03-09  Hrvoje Niksic  <hniksic@srce.hr>
7453
7454         * url.c (get_urls_file): Use the correct test.
7455         (get_urls_html): Ditto.
7456
7457 1997-03-07  Hrvoje Niksic  <hniksic@srce.hr>
7458
7459         * connect.c: Reverted addrlen to int.
7460
7461         * init.c (parse_line): Check for -1 instead of NONE.
7462
7463         * version.c: Changed version to 1.4.5.
7464
7465 1997-02-17  Hrvoje Niksic  <hniksic@srce.hr>
7466
7467         * init.c: New option netrc.
7468         (initialize): Don't parse .netrc.
7469
7470         * cmpt.c (recursive): Return rp.
7471         (strptime_internal): Match the long strings first, the abbreviated
7472         second.
7473
7474 1997-02-16  Hrvoje Niksic  <hniksic@srce.hr>
7475
7476         * http.c (check_end): New function.
7477         (http_atotm): Use it.
7478  
7479 1997-02-13  gilles Cedoc  <gilles@cedocar.fr>
7480
7481         * http.c (gethttp): Use them.
7482
7483         * init.c: New options proxy_user and proxy_passwd.
7484
7485 1997-02-14  Hrvoje Niksic  <hniksic@srce.hr>
7486
7487         * ftp.c (ftp_retrieve_list): Create links even if not relative.
7488
7489 1997-02-10  Hrvoje Niksic  <hniksic@srce.hr>
7490
7491         * recur.c (recursive_retrieve): Lowercase the host name, if the
7492         URL is not "optimized".
7493
7494         * host.c (realhost): Return l->hostname, even if it matches with
7495         host.
7496
7497 1997-02-10  Marin Purgar  <pmc@asgard.hr>
7498
7499         * connect.c: Make addrlen size_t instead of int.
7500         (conaddr): Ditto.
7501
7502 1997-02-09  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
7503
7504         * systhings.h: Define S_ISLNK on NeXT too.
7505
7506 1997-02-09  Hrvoje Niksic  <hniksic@srce.hr>
7507
7508         * version.c: Released 1.4.3.
7509
7510         * url.c: Futher update to list of protostrings.
7511         (skip_proto): Skip `//' correctly for FTP and HTTP.
7512
7513         * url.c (get_urls_html): Handle bogus `http:' things a little
7514         different.
7515
7516         * main.c (main): Removed `follow-ftp' from `f'.
7517         (main): Dumped the `prefix-files' and `file-prefix' options and
7518         features; old and bogus.
7519         (main): Exit on failed setval() in `-e'.
7520
7521         * http.c (fetch_next_header): Use it to detect header continuation
7522         correctly.
7523
7524         * retr.c (buf_peek): New function.
7525
7526 1997-02-08  Hrvoje Niksic  <hniksic@srce.hr>
7527
7528         * wget.h: Include time.h and stuff.
7529
7530 1997-02-08  Roger Beeman  <beeman@cisco.com>
7531
7532         * ftp.c: Include <time.h>
7533
7534 1997-02-07  Hrvoje Niksic  <hniksic@srce.hr>
7535
7536         * url.c (findurl): Would read over buffer limits.
7537
7538 1997-02-06  Hrvoje Niksic  <hniksic@srce.hr>
7539
7540         * ftp-ls.c (ftp_parse_unix_ls): Allow spaces in file names.
7541
7542 1997-02-05  Hrvoje Niksic  <hniksic@srce.hr>
7543
7544         * http.c (http_atotm): Initialize tm.is_dst.
7545
7546 1997-02-02  Hrvoje Niksic  <hniksic@srce.hr>
7547
7548         * http.c (gethttp): Don't print the number of retrieved headers.
7549
7550         * main.c (main): New option `--no-clobber', alias for `-nc'.
7551
7552         * url.c: Recognize `https://'.
7553
7554 1997-02-01  Hrvoje Niksic  <hniksic@srce.hr>
7555
7556         * host.c (herrmsg): Don't use h_errno.
7557
7558 1997-01-30  Hrvoje Niksic  <hniksic@srce.hr>
7559
7560         * host.c (accept_domain): Use it.
7561
7562         * main.c (main): New option `--exclude-domains'.
7563
7564         * retr.c (retrieve_url): Use it.
7565         (retrieve_url): Bail out when an URL is redirecting to itself.
7566
7567         * url.c (url_equal): New function.
7568
7569 1997-01-29  Hrvoje Niksic  <hniksic@srce.hr>
7570
7571         * connect.c: Include arpa/inet.h instead of arpa/nameser.h.
7572
7573         * http.c (mk_utc_time): New function.
7574         (http_atotm): Use it; handle time zones correctly.
7575
7576 1997-01-28  Hrvoje Niksic  <hniksic@srce.hr>
7577
7578         * http.c: Ditto.
7579
7580         * ftp-basic.c: Use it instead of WRITE.
7581
7582         * connect.c (iwrite): New function.
7583
7584 1997-01-27  Hrvoje Niksic  <hniksic@srce.hr>
7585
7586         * cmpt.c (mktime): New function.
7587
7588         * netrc.c: Include <sys/types.h>.
7589
7590         * main.c (main): Wouldn't recognize --spider.
7591
7592         * retr.c (rate): Use `B', `KB' and `MB'.
7593         (reset_timer,elapsed_time): Moved from utils.c.
7594
7595         * ftp.c (ftp_retrieve_list): Ditto.
7596
7597         * http.c (http_loop): Don't touch the file if opt.dfp.
7598
7599 1997-01-24  Hrvoje Niksic  <hniksic@srce.hr>
7600
7601         * cmpt.c: New file.
7602
7603         * ftp.c (ftp_retrieve_glob): New argument semantics.
7604         (ftp_retrieve_dirs): Use it.
7605         (ftp_loop): Ditto.
7606
7607         * html.c (htmlfindurl): Recognize `'' as the quote char.
7608
7609 1997-01-23  Hrvoje Niksic  <hniksic@srce.hr>
7610
7611         * ftp.c (ftp_loop_internal): Use it.
7612
7613         * utils.c (remove_link): New function.
7614
7615 1997-01-22  Hrvoje Niksic  <hniksic@srce.hr>
7616
7617         * retr.c (retrieve_url): Require STRICT redirection URL.
7618
7619         * url.c (parseurl): New argument STRICT.
7620
7621         * http.c (hparsestatline): Be a little-bit less strict about
7622         status line format.
7623
7624 1997-01-21  Hrvoje Niksic  <hniksic@srce.hr>
7625
7626         * http.c (gethttp): Use it.
7627
7628         * main.c (main): Don't use '<digit>' as options.
7629
7630         * init.c: New option ignore_length.
7631
7632         * http.c (gethttp): Ditto.
7633         (http_loop): Check for redirection without Location:.
7634         (gethttp): Don't print Length unless RETROKF.
7635
7636         * ftp.c (getftp): Use it.
7637
7638         * url.c (mkalldirs): New function.
7639
7640         * utils.c (mymkdir): Don't check for existing non-directory.
7641
7642         * url.c (mkstruct): Don't create the directory.
7643
7644 1997-01-20  Hrvoje Niksic  <hniksic@srce.hr>
7645
7646         * init.c (setval): Removed NO_RECURSION checks.
7647
7648 1997-01-19  Hrvoje Niksic  <hniksic@srce.hr>
7649
7650         * version.c: "Released" 1.4.3-pre2.
7651
7652         * recur.c (recursive_retrieve): Bypass host checking only if URL
7653         is ftp AND parent URL is not ftp.
7654
7655         * ftp-basic.c (ftp_request): Print out Turtle Power.
7656
7657         * ftp.c (ftp_loop): Call ftp_retrieve_glob with 0 if there's no
7658         wildcard.
7659         (ftp_retrieve_glob): Call ftp_loop_internal even on empty list, if
7660         not glob.
7661
7662         * http.c (gethttp): Be a little bit smarter about status codes.
7663
7664         * recur.c (recursive_retrieve): Always reset opt.recursive when
7665         dealing with FTP.
7666
7667 1997-01-18  Hrvoje Niksic  <hniksic@srce.hr>
7668
7669         * retr.c (retrieve_url): New variable location_changed; use it for
7670         tests instead of mynewloc.
7671         (retrieve_url): Allow heuristic adding of html.
7672
7673         * url.c (url_filename): Don't use the `%' in Windows file names.
7674
7675         * http.c (http_loop): Always time-stamp the local file.
7676
7677         * http.c (http_loop): Ditto.
7678
7679         * ftp.c (ftp_retrieve_list): Use it.
7680
7681         * utils.c (my_touch): New function.
7682
7683         * ftp.c (ftp_retrieve_list): Use #ifdef HAVE_STRUCT_UTIMBUF
7684         instead of #ifndef NeXT.
7685
7686         * utils.c (strptime): New version, by Ulrich Drepper.
7687
7688 1997-01-17  Hrvoje Niksic  <hniksic@srce.hr>
7689
7690         * http.c (haccepts_none): Renamed from `haccepts_bytes'.
7691         (gethttp): If haccepts_none(), disable ACCEPTRANGES.
7692         (http_loop): Would remove ACCEPTRANGES.
7693
7694         * ftp.c (getftp): Call ftp_list with NULL.
7695
7696 1997-01-15  Hrvoje Niksic  <hniksic@srce.hr>
7697
7698         * html.c (ftp_index): Don't print minutes and seconds if we don't
7699         know them; beautify the output.
7700
7701         * ftp.c (getftp): Don't close the socket on FTPNSFOD.
7702
7703 1997-01-14  Hrvoje Niksic  <hniksic@srce.hr>
7704
7705         * utils.c (strptime): New function.
7706         (strptime): Don't use get_alt_number.
7707         (strptime): Don't use locale.
7708         (match_string): Made it a function.
7709
7710 1997-01-12  Hrvoje Niksic  <hniksic@srce.hr>
7711
7712         * http.c (http_atotm): New function.
7713         (http_loop): Use it.
7714
7715         * atotm.c: Removed from the distribution.
7716
7717         * http.c (base64_encode_line): Rewrite.
7718
7719 1997-01-09  Hrvoje Niksic  <hniksic@srce.hr>
7720
7721         * ftp.c (getftp): Use ftp_expected_bytes; print size.
7722
7723         * ftp-basic.c (ftp_response): Use ftp_last_respline.
7724         (ftp_expected_bytes): New function.
7725
7726         * ftp.c (getftp): Print the unauthoritative file length.
7727
7728         * ftp-ls.c: Renamed from ftp-unix.c.
7729         (ftp_parse_ls): Moved from ftp.c.
7730         (ftp_parse_unix_ls): Recognize seconds in time spec.
7731         (ftp_parse_unix_ls): Recognize year-less dates of the previous
7732         year.
7733
7734 1997-01-08  Hrvoje Niksic  <hniksic@srce.hr>
7735
7736         * ftp-basic.c: Don't declare errno if #defined.
7737
7738         * host.c (ftp_getaddress): Check for sysinfo legally.
7739
7740 1997-01-08  Darko Budor  <dbudor@diana.zems.fer.hr>
7741
7742         * connect.c (iread): Use READ.
7743
7744 1996-12-23  Hrvoje Niksic  <hniksic@srce.hr>
7745
7746         * url.c: Recognize finger, rlogin, tn3270, mid and cid as valid
7747         schemes.
7748
7749 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
7750
7751         * host.c (ftp_getaddress): Allow `.' in hostname.
7752
7753 1996-12-26  Darko Budor <dbudor@zems.fer.hr>
7754
7755         * wget.h: READ and WRITE macros for use instead of read and write
7756         on sockets, grep READ *.c, grep WRITE *.c
7757
7758         * wsstartup.c: new file - startup for winsock
7759
7760         * wsstartup.h: new file
7761
7762         * win32decl.h: new file - fixup for <errno.h> and winsock trouble
7763
7764         * configure.bat: Configure utility for MSVC
7765
7766         * src/Makefile.ms,config.h.ms: new files for use with MSVC 4.x
7767
7768 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
7769
7770         * version.c: Released 1.4.3-pre.
7771
7772         * utils.c (prnum): Accept long.
7773         (legible): Use prnum().
7774
7775         * connect.c (make_connection): Accept port as short.
7776         (bindport): Ditto.
7777
7778         * http.c (gethttp): Use search_netrc.
7779
7780 1996-12-21  Hrvoje Niksic  <hniksic@srce.hr>
7781
7782         * ftp.c (getftp): Use search_netrc.
7783
7784         * netrc.c (free_netrc): New function.
7785
7786         * init.c (home_dir): New function.
7787
7788         * url.c (convert_links): Allow REL2ABS changes.
7789
7790 1996-12-21  Gordon Matzigkeit  <gord@gnu.ai.mit.edu>
7791
7792         * netrc.c: New file.
7793         (parse_netrc, maybe_add_to_list): New functions.
7794
7795 1996-12-17  Hrvoje Niksic  <hniksic@srce.hr>
7796
7797         * retr.c (retrieve_url): Reset opt.recursion before calling
7798         ftp_loop if it is reached through newloc.
7799
7800         * init.c (run_wgetrc): Print the wgetrc path too, when reporting
7801         error; don't use "Syntax error", since we don't know if it is
7802         really a syntax error.
7803
7804 1996-12-16  Hrvoje Niksic  <hniksic@srce.hr>
7805
7806         * utils.c (acceptable): Extract the filename part of the path.
7807
7808         * recur.c (recursive_retrieve): Call acceptable() with the right
7809         argument; would bug out on wildcards.
7810
7811         * init.c (parse_line): Likewise.
7812
7813         * html.c (htmlfindurl): Cast to char * when calling stuff.
7814
7815 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
7816
7817         * ftp.c (getftp): Use ftp_pasv.
7818
7819         * ftp-basic.c (ftp_request): Accept NULL value.
7820         (ftp_pasv): New function.
7821
7822         * options.h (struct options): Add passive FTP option.
7823
7824 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
7825
7826         * url.c (parseurl): Debug output.
7827
7828         * utils.c (path_simplify): New one, adapted from bash's
7829         canonicalize_pathname().
7830
7831 1996-12-14  Hrvoje Niksic  <hniksic@srce.hr>
7832
7833         * ftp.c (getftp): Don't discard the buffer.
7834
7835         * retr.c (get_contents): New parameter nobuf.
7836
7837 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
7838
7839         * html.c (htmlfindurl): Recognize <meta contents="d; URL=...".
7840
7841         * init.c (setval): Strip the trailing slashes on CVECDIR.
7842
7843 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
7844
7845         * init.c: Make excludes and includes under CVECDIR instead of
7846         CVEC.
7847
7848 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
7849
7850         * url.c (get_urls_html): Skip "http:".
7851
7852 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
7853
7854         * utils.c (strcasecmp): From glibc.
7855         (strncasecmp): Also.
7856         (strstr): Also.
7857
7858         * url.c: Added javascript: to the list of URLs prefixes.
7859
7860 1996-12-12  Shawn McHorse  <riffraff@txdirect.net>
7861
7862         * recur.c (retrieve_robots): Print the warning message only if
7863         verbose.
7864
7865 1996-12-12  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
7866
7867         * ftp.c (ftp_retrieve_list): Use NeXT old utime interface.
7868
7869 1996-12-12  Hrvoje Niksic  <hniksic@srce.hr>
7870
7871         * systhings.h: New file.
7872
7873         * ../configure.in: Check for utime.h
7874
7875         * ftp.c: Check whether we have unistd.h.
7876
7877 1996-11-27  Hrvoje Niksic  <hniksic@srce.hr>
7878
7879         * recur.c (recursive_retrieve): Send the canonical URL as referer.
7880         (recursive_retrieve): Call get_urls_html with the canonical URL.
7881
7882 1996-12-13  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
7883
7884         * (configure.in, config.h.in, src/Makefile.in, src/*.[ch]): Add
7885         ansi2knr support for compilers which don't support ANSI style
7886         function prototypes and signatures.
7887
7888         * (aclocal.m4, src/ansi2knr.c, src/ansi2knr.1): New files.
7889
7890 1996-11-26  Hrvoje Niksic  <hniksic@srce.hr>
7891
7892         * url.c: Use it; Recognize paths ending with "." and ".." as
7893         directories.
7894         (url_filename): Append .n whenever file exists and could be a
7895         directory.
7896
7897         * url.h (ISDDOT): New macro.
7898
7899         * init.c (parse_line): Use unsigned char.
7900
7901         * url.c (get_urls_html): Cast to unsigned char * when calling
7902         htmlfindurl.
7903
7904         * html.c (htmlfindurl): Use unsigned char.
7905
7906         * version.c: Changed version to 1.4.3.
7907
7908 1996-11-25  Hrvoje Niksic  <hniksic@srce.hr>
7909
7910         * version.c: Released 1.4.2.
7911
7912         * ftp.c (getftp): Simplified assertion.
7913         (ftp_loop_internal): Remove symlink before downloading.
7914         (ftp_retrieve_list): Unlink the symlink name before attempting to
7915         create a symlink!
7916
7917         * options.h (struct options): Renamed print_server_response to
7918         server_response.
7919
7920         * ftp.c (rel_constr): Removed.
7921         (ftp_retrieve_list): Don't use it.
7922         (ftp_retrieve_list): Use opt.retr_symlinks.
7923
7924 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
7925
7926         * main.c (main): New option retr_symlinks.
7927
7928         * url.c (convert_links): Print verbose message.
7929
7930 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
7931
7932         * http.c (http_loop): Reset newloc in the beginning of function;
7933         would cause FMR in retrieve_url.
7934
7935 1996-11-23  Hrvoje Niksic  <hniksic@srce.hr>
7936
7937         * recur.c (convert_all_links): Find the URL of each HTML document,
7938         and feed it to get_urls_html; would bug out.
7939         (convert_all_links): Check for l2 instead of dl; removed dl.
7940
7941         * url.c (convert_links): Don't refer to freed newname.
7942
7943         * recur.c (recursive_retrieve): Add this_url to urls_downloaded.
7944
7945         * main.c (main): Print the OS_TYPE in the debug output, too.
7946
7947         * recur.c (recursive_retrieve): Check for opt.delete_after.
7948
7949         * main.c (main): New option delete-after.
7950
7951         * init.c (setval): Cleaned up.
7952
7953 1996-11-21  Hrvoje Niksic  <hniksic@srce.hr>
7954
7955         * Makefile.in (wget): Make `wget' the default target.
7956
7957         * ftp.c (ftp_loop_internal): Move noclobber checking out of the
7958         loop.
7959         (ftp_retrieve_list): Warn about non-matching sizes.
7960
7961         * http.c (http_loop): Made -nc non-dependent on opt.recursive.
7962
7963         * init.c (setnum): Renamed from setnuminf; New argument flags.
7964         (setval): Use it.
7965
7966         * main.c (main): Sorted the options.
7967         (main): New option --wait.
7968
7969 1996-11-21  Shawn McHorse  <riffraff@txdirect.net>
7970
7971         * html.c (htmlfindurl): Reset s->in_quote after getting out of
7972         quotes.
7973
7974 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
7975
7976         * version.c: Changed version to 1.4.2.
7977
7978 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
7979
7980         * version.c: Released 1.4.1.
7981
7982         * html.c (html_quote_string): New function.
7983         (ftp_index): Use it.
7984         (htmlfindurl): A more gentle ending debug message.
7985
7986         * ftp.c (ftp_loop): Check for opt.htmlify.
7987
7988         * init.c: New command htmlify.
7989
7990         * ftp.c (getftp): Nicer error messages, with `'-encapsulated
7991         strings.
7992         (ftp_loop): Print size of index.html.
7993
7994         * init.c (setval): Implement "styles".
7995
7996         * main.c (main): New option dotstyle.
7997
7998 1996-11-19  Hrvoje Niksic  <hniksic@srce.hr>
7999
8000         * ftp.c (getftp): Close the master socket in case of errors, after
8001         bindport().
8002
8003         * connect.c (bindport): Initialize msock to -1.
8004
8005         * ftp.c (getftp): Initialize dtsock to -1.
8006
8007         * connect.c (closeport): Don't close sock if sock == -1.
8008
8009 1996-11-18  Hrvoje Niksic  <hniksic@srce.hr>
8010
8011         * init.c (setnuminf): Nuked default value -- just leave unchanged.
8012         (setval): Don't send default values.
8013         (defaults): Use DEFAULT_TIMEOUT -- aaargh.
8014
8015         * options.h (struct options): Use long for dot_bytes.
8016
8017         * init.c (setquota): Renamed to setbytes.
8018         (setval): Use setbytes on DOTBYTES.
8019
8020 1996-11-17  Hrvoje Niksic  <hniksic@srce.hr>
8021
8022         * ftp.c (getftp): Initialize con->dltime.
8023
8024         * recur.c (recursive_retrieve): Use same_host instead of
8025         try_robots; simply load robots_txt whenever the host is changed.
8026         (recursive_retrieve): Free forbidden before calling parse_robots.
8027
8028 1996-11-16  Hrvoje Niksic  <hniksic@srce.hr>
8029
8030         * retr.c (show_progress): Use them.
8031
8032         * options.h (struct options): New options dot_bytes, dots_on_line
8033         and dot_spacing.
8034
8035 1996-11-16  Mark Boyns  <boyns@sdsu.edu>
8036
8037         * recur.c (recursive_retrieve): Retrieve directories regardless of
8038         acc/rej rules; check for empty u->file.
8039
8040 1996-11-14  Hrvoje Niksic  <hniksic@srce.hr>
8041
8042         * init.c (setval): Use it.
8043
8044         * utils.c (merge_vecs): New function.
8045
8046         * init.c (setval): Reset the list-type functions when encountering
8047         "".
8048
8049 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
8050
8051         * recur.c (recursive_retrieve): Use base_url instead of this_url
8052         for no_parent.
8053
8054 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
8055
8056         * html.c (htmlfindurl): Reset s->in_quote after exiting the quote.
8057
8058 1996-11-13  Hrvoje Niksic  <hniksic@srce.hr>
8059
8060         * utils.c (sepstring): Rewrote; don't use strtok.
8061
8062         * recur.c (recursive_retrieve): Enter assorted this_url to slist
8063         when running the first time.
8064         (retrieve_robots): Warn to ignore errors when robots are loaded.
8065
8066         * utils.c (load_file): Moved from url.c.
8067
8068         * http.c: Made static variables const too in h* functions.
8069
8070         * main.c (main): Renamed --continue-ftp to --continue.
8071
8072         * recur.c (recursive_retrieve): Use it.
8073
8074         * utils.c (frontcmp): New function.
8075
8076         * url.c (accdir): New function.
8077
8078         * html.c (htmlfindurl): Recognize <area href=...>.
8079
8080         * ftp.c (ftp_retrieve_dirs): Implemented opt.includes.
8081
8082         * init.c (setval): Free the existing opt.excludes and
8083         opt.includes, if available.
8084
8085         * main.c (main): New option -I.
8086
8087 1996-11-12  Hrvoje Niksic  <hniksic@srce.hr>
8088
8089         * ftp.c (ftp_retrieve_glob): Do not weed out directories.
8090
8091         * version.c: Changed version to 1.4.1.
8092
8093 1996-11-11  Hrvoje Niksic  <hniksic@srce.hr>
8094
8095         * version.c: Released 1.4.0.
8096
8097 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
8098
8099         * main.c (main): Free com and val after parse_line.
8100         (printhelp): Reorder the listing.
8101
8102         * http.c: More robust header parsing.
8103
8104         * http.c: Allow any number of spaces, or no spaces, precede ':'.
8105         (hskip_lws): New function.
8106         (haccepts_bytes): New function.
8107         (gethttp): Use it.
8108
8109         * init.c (setval): Check header sanity.
8110         (setval): Allow resetting of headers.
8111
8112 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
8113
8114         * http.c (http_loop): Don't use has_wildcards.
8115
8116         * http.c (gethttp): Free all_headers -- would leak.
8117
8118         * recur.c (recursive_retrieve): Initialize depth to 1 instead of
8119         0 -- this fixes a long-standing bug in -rl.
8120
8121 1996-11-09  Hrvoje Niksic  <hniksic@srce.hr>
8122
8123         * ftp.c: Use -1 as "impossible" value for con->fd.
8124
8125         * url.h (URL_SEPARATOR): Don't treat `*' and `+' as separators.
8126
8127         * init.c (parse_line): Use isalpha.
8128
8129         * ftp-unix.c: Use HAVE_UNISTD_H.
8130
8131         * mtch.c (has_wildcards): Don't match \.
8132
8133         * http.c (http_loop): Warn on HTTP wildcard usage.
8134
8135 1996-11-08  Hrvoje Niksic  <hniksic@srce.hr>
8136
8137         * url.c (url_filename): Do not create numbered suffixes if
8138         opt.noclobber -- would bug out on -nc.
8139
8140 1996-11-07  Hrvoje Niksic  <hniksic@srce.hr>
8141
8142         * recur.c (parse_robots): Don't chuck out the commands without
8143         arguments (`Disallow:<empty>' didn't work).
8144         (parse_robots): Compare versions lowercase.
8145         (parse_robots): Match on base_version, not version_string!
8146         (parse_robots): Handle comments properly.
8147         (parse_robots): Match versions in a sane way.
8148
8149         * init.c: Print nicer error messages.
8150
8151         * version.c: Changed version to 1.4.0.
8152
8153 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
8154
8155         * version.c: Released 1.4.0-test2.
8156
8157         * init.c (run_wgetrc): Close fp.
8158
8159         * ftp.c (ftp_retrieve_dirs): Allocate the correct length for
8160         u->dir.
8161
8162 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
8163
8164         * init.c (setquota): Allow inf as quota specification.
8165
8166 1996-11-05  Hrvoje Niksic  <hniksic@srce.hr>
8167
8168         * ftp.c (ftp_retrieve_dirs): Return QUOTEXC if quota exceeded.
8169         (ftp_retrieve_glob): Return QUOTEXC on quota exceeded.
8170
8171         * main.c (main): Check for quota by comparison with downloaded
8172         stuff, not from status.
8173
8174         * connect.c (select_fd): Should compile on HPUX without warnings now.
8175
8176         * ftp.c (ftp_get_listing): Check whether ftp_loop_internal
8177         returned RETROK.
8178
8179 1996-11-04  Hrvoje Niksic  <hniksic@srce.hr>
8180
8181         * ftp.c (ftp_retrieve_glob): Print the pattern nicely.
8182         (getftp): Return FTPRETRINT on control connection error.
8183
8184         * html.c (htmlfindurl): Recognize <embed src=...> and
8185         <bgsound src=...>.
8186         (ftp_index): Handle username and password correctly.
8187
8188         * main.c (main): Made `-np' a synonim for --no-parent.
8189
8190 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
8191
8192         * ftp.c (ftp_loop): Check for opt.ftp_glob too before calling
8193         ftp_retrieve_glob.
8194
8195         * version.c: Changed version to 1.4.0-test2.
8196
8197 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
8198
8199         * version.c: Released 1.4.0-test1.
8200
8201         * url.c (str_url): Don't use sprintf when creating %2F-prefixed
8202         directory.
8203         (convert_links): Removed definition of make_backup.
8204
8205         * http.h: Removed definition of MAX_ERROR_LENGTH.
8206
8207         * host.c (ftp_getaddress): Check for "(none)" domains.
8208
8209         * ftp.c (ftp_retrieve_dirs): Docfix.
8210
8211         * http.c (gethttp): Use ou->referer instead of u->referer.
8212
8213         * retr.c (retrieve_url): Reset u to avoid freeing pointers twice;
8214         this was known to cause coredumps on Linux.
8215
8216         * html.c (ftp_index): Cast the argument to local_time to time_t *.
8217
8218 1996-11-01  Hrvoje Niksic  <hniksic@srce.hr>
8219
8220         * connect.c (select_fd): Use exceptfds -- once and for all.
8221
8222         * retr.c (retrieve_from_file): Free filename after
8223         recursive_retrieve.
8224         (retrieve_from_file): Send RFIRST_TIME to recursive_retrieve on
8225         first-time retrieval.
8226         (retrieve_from_file): Return uerr_t; new argument, count.
8227         (retrieve_from_file): Break on QUOTEXC.
8228
8229         * init.c (setquota): Fixed a bug that caused rejection of
8230         non-postfixed values..
8231
8232 1996-10-30  Hrvoje Niksic  <hniksic@srce.hr>
8233
8234         * version.c: Changed name to wget.
8235
8236         * connect.c (iread): Smarter use of select.
8237         (select_fd): Set errno on timeout.  If not timeout, return 1
8238         instead of 0.
8239
8240 1996-10-29  Hrvoje Niksic  <hniksic@srce.hr>
8241
8242         * ftp.c (ftp_loop_internal): Don't use con->cmd before
8243         establishing it.
8244
8245 1996-10-26  Hrvoje Niksic  <hniksic@srce.hr>
8246
8247         * http.c (gethttp): Send correct referer when using proxy.
8248         (gethttp): Use struct urlinfo ou to access the relevant data; send
8249         correct authorization in all cases.
8250
8251         * host.c (same_host): Use skip_uname to skip username and
8252         password.
8253
8254         * url.c (skip_uname): New function.
8255         (parseurl): Use it.
8256
8257         * host.c (same_host): Do not assume HTTP -- same_host should now
8258         be totally foolproof.
8259
8260         * url.c (skip_proto): New function.
8261         (parse_uname): Use it.
8262
8263         * http.c (gethttp): Create local user and passwd from what is
8264         given.
8265
8266         * url.c (parseurl): Check for HTTP username and password too.
8267
8268 1996-10-25  Hrvoje Niksic  <hniksic@srce.hr>
8269
8270         * config.h.in: Removed #define gethostbyname R...
8271
8272 1996-10-22  Hrvoje Niksic  <hniksic@srce.hr>
8273
8274         * version.c: Changed version to 1.4.0-test1.
8275
8276 1996-10-21  Hrvoje Niksic  <hniksic@srce.hr>
8277
8278         * version.c: "Released" 1.4b29.
8279
8280         * recur.c (recursive_retrieve): Check for no_parent.
8281
8282         * init.c (setval): Option update.
8283
8284         * main.c (main): New option no-parent.
8285
8286         * options.h (struct options): New variable no_parent.
8287
8288         * recur.c (recursive_retrieve): Only files are checked for
8289         opt.accepts and opt.rejects.
8290         (recursive_retrieve): Check directories for opt.excludes.
8291         (recursive_retrieve): Make the dir absolute when checking
8292         opt.excludes.
8293
8294         * html.c (htmlfindurl): Recognize <applet code=...> and <script
8295         src=...>
8296
8297 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
8298
8299         * ftp.c (getftp): Do not line-break assert entries at all.
8300         (ftp_retrieve_dirs): docfix.
8301
8302         * connect.c (select_fd): Use fd + 1 as nfds.
8303
8304         * version.c: Changed version to 1.4b29.
8305
8306 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
8307
8308         * version.c: "Released" 1.4b28.
8309
8310         * ftp.c (ftp_loop_internal): Check whether f->size == len and
8311         don't continue the loop if it is.
8312         (ftp_get_listing): Remove list_filename on unsuccesful loop.
8313
8314 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
8315
8316         * ftp.c (ftp_loop_internal): Use strcpy to initialize tmp.
8317         (getftp): Do not use multiline assert.
8318
8319         * http.c (hparsestatline): Use mjr and mnr instead of major and
8320         minor, which don't compile on Ultrix.
8321         (http_loop): Use strcpy() to initialize tmp.
8322
8323         * all: Geturl -> Fetch
8324
8325 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
8326
8327         * recur.c (parse_robots): Fixed an off-by-one bug when looking for
8328         ':'.
8329
8330         * html.c (htmlfindurl): Fixed several possible off-by-one bugs by
8331         moving `bufsize &&' to the beginning of each check in for-loops.
8332
8333         * recur.c (parse_robots): Close fp on exit.
8334
8335         * url.c (mymkdir): Check for each directory before creating.
8336
8337 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
8338
8339         * version.c: Changed version to 1.4b28.
8340
8341 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
8342
8343         * version.c: "Released" 1.4b27.
8344
8345         * init.c (parse_line): Use isspace.
8346         (parse_line): Free *com on all errors.
8347
8348         * ftp.c (ftp_loop): Change FTPOK to RETROK before exiting.
8349         (delelement): Use next instead of f->next and prev instead of
8350         f->prev.
8351         (delelement): Free the members of the deleted element.
8352
8353         * http.c (http_loop): Do not return RETROK on code != 20x.
8354
8355         * init.c (cleanup): Free opt.user_header.
8356         (cleanup): Free opt.domains.
8357
8358         * url.c (freelists): Moved to cleanup().
8359
8360         * http.c (hparsestatline): Docfix.
8361
8362         * main.c (main): Return with error status on unsuccesful
8363         retrieval.
8364
8365         * init.c (setval): Do not remove listing when mirroring.
8366
8367         * url.c (url_filename): Use opt.fileprefix.
8368
8369         * ftp.c (ftp_get_listing): Use url_filename to get filename for
8370         .listing.
8371
8372         * main.c (main): New option: -rn.
8373
8374 1996-10-15  Hrvoje Niksic  <hniksic@srce.hr>
8375
8376         * Makefile.in (RM): Added RM = rm -f.
8377
8378         * host.c (clean_hosts): New function.
8379         (free_hlist): Just free the list, no reset.
8380
8381         * version.c: Changed version to 1.4b27.
8382
8383 1996-10-13  Hrvoje Niksic  <hniksic@srce.hr>
8384
8385         * version.c: "Released" 1.4b26.
8386
8387         * retr.c (retrieve_from_file): If call get_urls_html with
8388         opt.spider to make it silent in spider mode.
8389
8390         * url.c (str_url): Use CLEANDUP instead of URL_CLEANSE.
8391
8392         * url.h (CLEANDUP): New macro.
8393
8394         * http.c (gethttp): Fixed a bug that freed location only when it
8395         was NULL.
8396
8397         * retr.c (retrieve_url): Free url if it will not be stored,
8398         i.e. newloc is NULL.
8399
8400         * html.c (htmlfindurl): Handle exiting from quotes correctly; the
8401         old version would bug out on <a href="x#a"href="y">.
8402
8403         * html.h (state_t): New member in_quote.
8404
8405         * html.c (htmlfindurl): Free s->attr at the beginning of
8406         attr-loop.
8407
8408         * recur.c (recursive_retrieve): Recognize RCLEANUP.
8409         (tried_robots): Make hosts a global variable.
8410         (recursive_retrieve): Free constr after URL host optimization.
8411         (tried_robots): Free urlinfo before exiting.
8412
8413         * utils.c (free_slist): New function.
8414
8415         * recur.c (recursive_retrieve): Use flags to add cleanup
8416         possibility.
8417
8418         * main.c (main): Free filename after recursive_retrieve.
8419
8420         * http.c (gethttp): Store successful responses too.
8421
8422 1996-10-12  Hrvoje Niksic  <hniksic@srce.hr>
8423
8424         * all: Constified the whole source.  This required some minor
8425         changes in many functions in url.c, possibly introducing bugs -- I
8426         hope not.
8427
8428         * ftp-basic.c: Removed last_respline.
8429
8430         * http.c (gethttp): Free type.
8431
8432         * host.c (same_host): Free real1 and real2.
8433
8434         * main.c (main): New option --spider.
8435
8436         * retr.c (get_contents): Don't reset errno.
8437
8438         * main.c (main): Sorted the options.
8439
8440         * connect.c (iread): Set errno to ETIMEDOUT only if it was left
8441         uninitialized by select().
8442
8443         * http.c (http_loop): Print the time when the connection is
8444         closed.
8445         (gethttp): Debug-print the HTTP request.
8446
8447 1996-10-11  Hrvoje Niksic  <hniksic@srce.hr>
8448
8449         * connect.c (iread): Do not try reading after timeout.
8450
8451         * main.c (main): Would bug out on -T.
8452
8453         * connect.c (select_fd): Do not use exceptfds.
8454         (iread): Set ETIMEDOUT on select_fd <= 0.
8455
8456         * version.c: Changed version to 1.4b26.
8457
8458 1996-10-10  Hrvoje Niksic  <hniksic@srce.hr>
8459
8460         * version.c: "Released" 1.4b25.
8461
8462         * ftp-unix.c (ftp_parse_unix_ls): Ignore lines without file name
8463         or link name.
8464
8465         * http.c (gethttp): Add errcode to struct hstat.
8466         (http_loop): Use it.
8467
8468         * url.c (no_proxy_match): Simplify using char** for no_proxy.
8469
8470         * options.h (struct options): Make opt.no_proxy a vector.
8471
8472         * utils.c (sepstring): Use !*s instead of !strlen(s).
8473
8474         * init.c (setval): Set opt.maxreclevel to 0 on --mirror.
8475         (getperms): Use ISODIGIT instead of isdigit.
8476
8477         * ftp.c (getftp): Print time.
8478
8479         * main.c (main): Use legible output of downloaded quantity.
8480
8481         * ftp.c (getftp): Use elapsed_time().
8482         (ftp_loop_internal): Use rate().
8483
8484         * http.c (http_loop): Add download ratio output; Use rate().
8485
8486         * utils.c (rate): New function.
8487
8488 1996-10-09  Hrvoje Niksic  <hniksic@srce.hr>
8489
8490         * http.c (http_loop): Use timer.
8491
8492         * ftp.c: Split to ftp-basic.c and ftp.c
8493
8494         * utils.c (reset_timer): New function.
8495         (elapsed_time): New function.
8496
8497         * retr.c (show_progress): Make bytes_in_line and offs long; should
8498         work on 16-bit machines.
8499
8500 1996-10-08  Hrvoje Niksic  <hniksic@srce.hr>
8501
8502         * url.c (in_acclist): New argument backward.
8503
8504         * ftp.c (ftp_retrieve_glob): Use acceptable() to determine whether
8505         a file should be retrieved according to suffix.
8506         (ftp_get_listing): Check the return value of unlink; Do not call
8507         ftp_retrieve_dirs if depth reached maxreclevel.
8508         (ftp_retrieve_dirs): Check whether the directory is in
8509         exclude-list.
8510
8511         * main.c (main): Print the version number at the beginning of
8512         DEBUG output.
8513         (main): Use strrchr when creating exec_name.
8514
8515         * ftp.c (ftp_retrieve_glob): Do not close control connection.
8516
8517         * version.c: Changed version to 1.4b25.
8518
8519 1996-10-07  Hrvoje Niksic  <hniksic@srce.hr>
8520
8521         * version.c: "Released" 1.4b24.
8522
8523         * Makefile.in: Rewrite.
8524
8525         * ftp.c (ftp_loop_internal): Likewise.
8526
8527         * retr.c (time_str): Check for failed time().
8528
8529         * html.c (htmlfindurl): Recognize <fig src> and <overlay src> from
8530         HTML3.0.
8531
8532         * retr.c (time_str): Return time_t *.
8533
8534         * connect.c (bindport): Close msock on unsuccesful bind.
8535         (bindport): The same for getsockname and listen.
8536
8537         * retr.c (retrieve_url): Allow any number of retries on
8538         proxy.
8539
8540         * http.c (gethttp): Do not treat errno == 0 as timeout.
8541         (http_loop): Likewise.
8542         (http_loop): Cosmetic changes.
8543
8544         * connect.c (iread): Set errno to ETIMEDOUT in case of timeout.
8545
8546         * retr.c (get_contents): Reset errno.
8547
8548         * ftp.c (getftp): Minor fixes.
8549
8550 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
8551
8552         * http.c: Do not use backups.
8553
8554         * geturl.1 (WARNING): Warn that man-page could be obsolete.
8555
8556         * getopt.c (getopt_long): Moved to getopt.c
8557
8558         * geturl.texi: Enhanced.
8559
8560         * main.c (main): Use it.
8561
8562         * recur.c (convert_all_links): New function.
8563
8564         * utils.c (add_slist): New argument flags.
8565
8566         * recur.c (recursive_retrieve): Update a list of downloaded URLs.
8567         (parse_robots): Do not chuck out empty value fields.
8568         (parse_robots): Make yourself welcome on empty Disallow.
8569
8570         * version.c: Changed version to 1.4b24.
8571
8572 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
8573
8574         * version.c: "Released" 1.4b23.
8575
8576         * ftp.c (ftp_loop_internal): Get the time after getftp.
8577
8578         * Makefile.in (install.info): New target.
8579         (install): Use it.
8580
8581         * http.c (http_loop): Fix output when doing -O.
8582
8583 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
8584
8585         * geturl.texi: New file.
8586
8587         * main.c (main): Do not print the warnings and download summary if
8588         opt.quiet is set.
8589
8590         * version.c: Changed version to 1.4b23.
8591
8592 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
8593
8594         * "Released" 1.4b22.
8595
8596         * atotm.c (atotm): Use True and False instead of TRUE and FALSE,
8597         to avoid redefinition warnings.
8598
8599         * host.c (store_hostaddress): Use memcpy() to copy the address
8600         returned by inet_addr.
8601
8602         * version.c: Changed version to 1.4b22.
8603
8604 1996-10-04  Hrvoje Niksic  <hniksic@srce.hr>
8605
8606         * version.c: "Released" 1.4b21.
8607
8608         * ftp-unix.c (ftp_parse_ls): Renamed to ftp_parse_unix_ls.
8609
8610         * ftp.c (ftp_port): Use conaddr.
8611         (getftp): Print the file length.
8612         (ftp_retrieve_list): Check the stamps of plain files only.
8613
8614         * connect.c (closeport): Do not call shutdown().
8615         (conaddr): New function.
8616
8617         * html.c (ftp_index): Made it dfp-aware.
8618
8619         * init.c (cleanup): New name of freemem. Close opt.dfp.
8620
8621         * ftp.c (getftp): Use opt.dfp if it is set.
8622
8623         * ftp-unix.c (ftp_parse_ls): Recognize time in h:mm format.
8624
8625         * ftp.c (ftp_retrieve_dirs): Fixed a bug that caused incorrect
8626         CWDs to be sent with recursive FTP retrievals.
8627
8628 1996-10-03  Hrvoje Niksic  <hniksic@srce.hr>
8629
8630         * recur.c (parse_robots): Made it more compliant with "official"
8631         specifications.
8632
8633         * http.c: New function.
8634
8635         * ftp-unix.c (ftp_parse_ls): Added better debug output.
8636
8637         * ftp.c (getftp): Print out the LIST in case of
8638         opt.print_server_response.
8639
8640         * version.c: Changed version to 1.4b21.
8641
8642 1996-10-01  Hrvoje Niksic  <hniksic@srce.hr>
8643
8644         * version.c: "Released" 1.4b20.
8645
8646         * README: Update.
8647
8648         * http.c (gethttp): Preset lengths of various headers instead of
8649         calculating them dynamically.
8650         (gethttp): Check for 206 partial contents.
8651
8652 1996-09-30  Hrvoje Niksic  <hniksic@srce.hr>
8653
8654         * configure.in: Set SYSTEM_GETURLRC to $libdir/geturlrc
8655
8656         * http.c (gethttp): Send the port number in the Host: header.
8657
8658 1996-09-29  Hrvoje Niksic  <hniksic@srce.hr>
8659
8660         * http.c (gethttp): Send host: header.
8661         (gethttp): Add the possibility of user-defined headers.
8662         (gethttp): Move decision about pragma: no-cache to http_loop,
8663         where it belongs.
8664         (gethttp): Pass a struct instead of enormous argument list.
8665         (http_loop): Use a new, fancier display format.
8666         (ftp_loop): Likewise.
8667
8668         * main.c: (hangup): Turn off buffering of the new log file.
8669
8670         * install-sh: Likewise.
8671
8672         * config.sub: Replace with the one in autoconf-2.10
8673
8674         * geturl.1: Update.
8675
8676         * init.c: New options httpuser and httppasswd.
8677
8678         * http.c: (base64_encode_line): New function.
8679         (gethttp): Send authentication.
8680
8681         * connect.c (make_connection): Use store_hostaddress.
8682
8683 1996-09-28  Hrvoje Niksic  <hniksic@srce.hr>
8684
8685         * host.c (store_hostaddress): New function.
8686
8687         * NEWS: Update.
8688
8689         * http.c (hgetrange): New function.
8690         (gethttp): Use ranges.
8691
8692         * utils.c (numdigit): Accept long instead of int.
8693
8694         * http.c (http_loop): Add restart capabilities.
8695
8696         * ftp.c (ftp_retrieve_glob): Fixed a bug that could cause matchres
8697         being used uninitialized.
8698         (ftp_retrieve_list): Similar fix.
8699
8700         * host.c (add_hlist): Fixed a bug that could cause cmp being used
8701         uninitialized.
8702
8703         * url.c (construct_relative): New function.
8704
8705         * recur.c (recursive_retrieve): Use it.
8706
8707         * retr.c (convert_links): New function.
8708
8709 1996-09-27  Hrvoje Niksic  <hniksic@srce.hr>
8710
8711         * url.c (free_urlpos): New function.
8712
8713         * recur.c (recursive_retrieve): Adapt.
8714
8715         * url.c (get_urls_html): Return a linked list instead of a vector.
8716
8717         * url.c (get_urls_file): Return a linked list instead of a vector.
8718
8719         * geturl.1: Update.
8720
8721         * http.c (gethttp): Implement it.
8722
8723         * init.c (setval): New option: SAVEHEADERS
8724
8725         * ftp.c (ftp_loop_internal): Do not set restval if listing is to
8726         be retrieved. Lack of this test caused bugs when the connection
8727         was lost during listing.
8728
8729         * retr.c (retrieve_url): Fixed a bug that caused
8730         coredumps. *newloc is now reset by default.
8731         (retrieve_url): Lift the twenty-tries limit on proxies.
8732
8733         * version.c: Changed version to 1.4b20.
8734
8735 1996-09-20  Hrvoje Niksic  <hniksic@srce.hr>
8736
8737         * version.c: "Released" 1.4b19.
8738
8739 1996-09-19  Hrvoje Niksic  <hniksic@srce.hr>
8740
8741         * ftp.c (ftp_loop_internal): Renamed from ftp_1fl_loop.
8742         (getftp): Changed prototype to accept ccon *.
8743
8744 1996-09-17  Hrvoje Niksic  <hniksic@srce.hr>
8745
8746         * ftp.c (ftp_retrieve_list): Fixed a bug that caused setting
8747         incorrect values to files pointed to by symbolic links.
8748         (ftp_1fl_loop): Do not count listings among the downloaded URL-s.
8749
8750 1996-09-16  Hrvoje Niksic  <hniksic@srce.hr>
8751
8752         * url.c (mkstruct): Do not prepend "./" in front of a pathname.
8753
8754         * main.c (main): New option: --user-agent.
8755
8756         * geturl.1: Ditto.
8757
8758         * init.h: Ditto.
8759
8760         * init.c (setval): Ditto.
8761
8762         * main.c (main): Rename "server-headers" to "server-response".
8763
8764         * ftp-unix.c (ftp_parse_ls): Check for asterisks at the end of
8765         executables in 'ls -F' listings.
8766
8767 1996-09-15  Hrvoje Niksic  <hniksic@srce.hr>
8768
8769         * url.c (parseurl): Remove realloc() and sprintf().
8770         (str_url): Get rid of sprintf().
8771
8772         * recur.c (recursive_retrieve): Enable FTP recursion through proxy
8773         servers.
8774
8775         * url.h (URL_CLEANSE): Made it else-resistant.
8776         (USE_PROXY): New macro.
8777
8778 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
8779
8780         * NEWS: Update.
8781
8782         * version.c: Changed version to 1.4b19.
8783
8784 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
8785
8786         * version.c: "Released" 1.4b18.
8787
8788         * url.c: Made it reallocate space exponentially.
8789
8790 1996-09-14  Drazen Kacar  <dave@fly.cc.fer.hr>
8791
8792         * html.c (htmlfindurl): Added <frame src> and <iframe src> among
8793         the list of stuff to fetch.
8794
8795 1996-09-13  Hrvoje Niksic  <hniksic@srce.hr>
8796
8797         * url.c (get_urls_html): Fixed a bug that caused SIGSEGV's with
8798         -Fi.
8799
8800         * html.c (htmlfindurl): Rewrite.
8801
8802         * http.c (gethttp): Use opt.proxy_cache.
8803
8804         * main.c (main): Added --cache option.
8805
8806         * ftp.c (ftp_response): Print server response if opt.print_server
8807         response is set.
8808         (getftp): Print newlines after each request if the server response
8809         is to be printed.
8810         (ftp_response): Copy the last response line to last_respline.
8811
8812         * http.c (gethttp): Add Pragma: nocache for retried
8813         proxy-retrievals.
8814
8815         * ftp.c (getftp): Use it.
8816
8817         * retr.c (buf_discard): New function.
8818
8819         * ftp.c (ftp_response): Use buf_readchar().
8820         (getftp): Flush the control connection buffer before calling
8821         get_contents().
8822
8823         * retr.c (buf_readchar): New function.
8824         (buf_flush): New function.
8825         (get_contents): Use buf_readchar() instead of read(x, x, 1).
8826         (get_contents): Use buf_flush.
8827
8828 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
8829
8830         * ftp.c: Incorporate changes to ftp_response.
8831
8832         * ftp.c (ftp_response): Allocate the server response dynamically,
8833         as in read_whole_line and fetch_next_header.
8834
8835         * utils.c (read_whole_line): Fixed a bug that prevented reading
8836         the last line if it is not \n-terminated. Also fixed a possible
8837         memory overflow.
8838
8839         * http.c (fetch_next_header): Return malloc-ed string as large as
8840         needed.
8841         (gethttp): Use new fetch_next_header.
8842
8843 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
8844
8845         * http.c (hgetlen): Compute the header length the first time only.
8846         (hgettype): Ditto.
8847         (hgetlocation): Ditto.
8848         (hgetmodified): Ditto.
8849
8850 1996-09-11  Hrvoje Niksic  <hniksic@srce.hr>
8851
8852         * sample.geturlrc: Update.
8853
8854 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
8855
8856         * http.c (http_loop): Ditto.
8857
8858         * ftp.c (getftp): Open the output file as binary.
8859
8860         * version.c: Changed version to 1.4b18.
8861
8862 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
8863
8864         * version.c: "Released" 1.4b17.
8865
8866         * ftp-unix.c (ftp_parse_ls): If unable to open file, return NULL
8867         instead of failed assertion.
8868
8869 1996-09-09  Hrvoje Niksic  <hniksic@srce.hr>
8870
8871         * ftp.c (ftp_get_listing): Add a numbered suffix to LIST_FILENAME
8872         if a file of that name already exists.
8873
8874 1996-09-05  Hrvoje Niksic  <hniksic@srce.hr>
8875
8876         * ftp.c (ftp_1fl_loop): Handler FTPPORTERR and FOPENERR correctly.
8877
8878         * config.h.in: Define gethostbyname as Rgethostbyname when using
8879         Socks.
8880
8881         * configure.in: Check for -lresolv if using Socks.
8882
8883         * version.c: Changed version to 1.4b17.
8884
8885 1996-07-15  Hrvoje Niksic  <hniksic@srce.hr>
8886
8887         * version.c: "Released" 1.4b16.
8888
8889         * http.c (gethttp): More intelligent check for first line of HTTP
8890         response.
8891         (gethttp): Would bug out on time-stamping.
8892
8893         * version.c: Changed version to 1.4b16.
8894
8895 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
8896
8897         * version.c: Released 1.4b15.
8898
8899         * http.c (http_loop): Print \n after the loop entry, not before.
8900
8901         * url.c (url_filename): Use ISDOT.
8902
8903         * url.h (ISDOT): New macro.
8904
8905         * recur.c (recursive_retrieve): Change only opt.recursive for
8906         following FTP.
8907
8908 1996-07-11  Antonio Rosella <antonio.rosella@agip.it>
8909
8910         * socks/geturl.cgi: Fixed version No.
8911
8912         * socks/download-netscape.html: Ditto.
8913
8914         * socks/download.html: Changed socks.html to download.html.
8915
8916 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
8917
8918         * url.c (url_filename): Check for opt.dirstruct instead for
8919         opt.recursive && opt.dirstruct.
8920
8921         * init.c (defaults): Ditto.
8922         (defaults): Reset dirstruct by default.
8923         (setval): Set opt.dirstruct whenever setting recursive.
8924
8925         * init.h: Removed FORCEDIRHIER.
8926
8927         * INSTALL: Added -L to socks-description.
8928
8929         * version.c: Changed version to 1.4b15.
8930
8931 1996-07-10  Hrvoje Niksic  <hniksic@srce.hr>
8932
8933         * version.c: "Released" 1.4b14.
8934
8935         * geturl.1: Update AUTHOR to include Rosella as contributor.
8936
8937         * NEWS: Update.
8938
8939         * socks/geturl.cgi: Simplified command creation, nuked <blink>.
8940
8941         * socks/geturl.cgi: Wrap nutscape extensions within if $netscape.
8942         (cal_time): Fix == to eq.
8943
8944         * socks/geturl.cgi: GPL-ized with permission of A. Rosella.
8945
8946         * geturl.1 (hostname): Moved URL CONVENTIONS to the beginning.
8947
8948         * Makefile.in: Use @VERSION@.
8949
8950         * configure.in: Check version from version.c.
8951
8952         * socks/geturl.cgi: Changed /pub/bin/perl to /usr/bin/perl.
8953
8954         * socks/download.html: Created from download-netscape.html, made
8955         HTML-2.0 compliant.
8956
8957         * recur.c (recursive_retrieve): Set opt.force_dir_hier when
8958         following FTP links from recursions.
8959
8960 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
8961
8962         * url.c (mymkdir): Fixed a bug that prevented mymkdir() to create
8963         absolute directories correctly.
8964
8965         * version.c: Changed version to 1.4b14.
8966
8967 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
8968
8969         * version.c: "Released" 1.4b13.
8970
8971         * url.c (make_backup): New function.
8972
8973         * http.c (http_loop): Make a backup copy of the local file (using
8974         rename(2)) before opening it.
8975
8976         * main.c (main): Added --backups.
8977
8978         * host.c (ftp_getaddress): Bail out on failed mycuserid().
8979         (ftp_getaddress): Check for leading dot on MY_DOMAIN.
8980         (ftp_getaddress): Check for empty, null or (null) domain.
8981
8982         * url.c (get_urls_html): If this_url is NULL, the base must have a
8983         protocol.
8984         (parseurl): Use has_proto.
8985
8986         * retr.c (retrieve_url): Warn when proxy is used with more than 20
8987         retries.
8988
8989         * url.c (mkstruct): Create the directory (calling mymkdir()) only
8990         if it is not already there.
8991         (has_proto): New function.
8992         (get_urls_html): Eliminate the remaining call to findurl -- use
8993         has_proto.
8994
8995         * geturl.1: Ditto.
8996
8997         * main.c: Change -X to -x.
8998
8999         * url.c (url_filename): Simplify creation of filename if
9000         prefix_files is set.
9001         (url_filename): Simplify everything. And I do mean *everything*.
9002         (mkstruct): Add dir_prefix before hostname.
9003         (path_simplify): Fixed a bug that caused writing outside the path
9004         string in case of "." and ".." path strings.
9005
9006 1996-07-06  Hrvoje Niksic  <hniksic@srce.hr>
9007
9008         * init.c: Added --mirror.
9009
9010         * main.c (main): Added -X to force saving of directory hierarchy.
9011
9012         * ftp.c (ftp_retrieve_list): Added recursion depth counter.
9013         (ftp_retrieve_list): Check whether quota is exceeded.
9014
9015         * url.c (get_urls_html): Skip leading blanks for absolute URIs.
9016
9017         * http.c (gethttp): Use referer if present.
9018
9019         * recur.c (recursive_retrieve): Set u->referer before calling
9020         retrieve_url.
9021
9022         * url.c (newurl): Use memset to nullify the struct members.
9023         (freeurl): Free the referer field too.
9024
9025         * url.h: Added referer to urlinfo.
9026
9027         * geturl.1: Updated the manual to document some of the new features.
9028
9029         * utils.c (numdigit): Moved from url.c.
9030
9031         * README: Rewritten.
9032
9033         * config.h.in: Add the support for socks.
9034
9035         * configure.in: Add the support for socks.
9036
9037         * url.c (url_filename): If the dir_prefix is ".", work with just
9038         the file name.
9039         (url_filename): Do not look for .n extensions if timestamping if
9040         turned on.
9041
9042         * retr.c (show_progress): Skip the over-abundant restval data, and
9043         print the rest of it with ',' instead of '.'.
9044
9045 1996-07-05  Hrvoje Niksic  <hniksic@srce.hr>
9046
9047         * retr.c (show_progress): Changed second arg. to long (as it
9048         should be).
9049         (show_progress): Moved to retr.c.
9050         (get_contents): Moved to retr.c.
9051
9052         * version.c: Change version to 1.4b13.
9053
9054 1996-07-05  Hrvoje Lacko <hlacko@fly.cc.fer.hr>
9055
9056         * url.c (in_acclist): Would return after the first suffix.
9057
9058 1996-07-04  Hrvoje Niksic  <hniksic@srce.hr>
9059
9060         * version.c: "Released" 1.4b12.
9061
9062         * url.c (path_simplify): More kludgifications.
9063         (get_urls_html): Use new parameters for htmlfindurl.
9064
9065         * html.c: Removed memorizing "parser states", since the new
9066         organization does not require them.
9067
9068         * init.c (run_geturlrc): Use read_whole_line.
9069
9070         * ftp-unix.c (ftp_parse_ls): Use read_whole_line.
9071
9072         * recur.c (parse_robots): Use read_whole_line.
9073
9074         * utils.c (read_whole_line): New function.
9075
9076         * recur.c (tried_robots): Use add_slist/in_slist, *much* cleaner.
9077
9078         * host.c (ngethostbyname): Call inet_addr just once. Yet to be
9079         tested on OSF and Ultrix.
9080         (add_hlist): New function.
9081         (free_hlist): New function.
9082         (search_host): New function.
9083         (search_address): New function.
9084         (realhost): Use search_host, search_address and add_hlist.
9085         (same_host): Replaced realloc() with strdupdelim(), made
9086         case-insensitive, fixed a memory leak.
9087
9088         * html.c (ftp_index): Fixed tm_min and tm_sec to be tm_hour and
9089         tm_min, like intended.
9090
9091         * version.c: Change user agent information to
9092         Geturl/version.
9093
9094 1996-07-03  Hrvoje Niksic  <hniksic@srce.hr>
9095
9096         * utils.c: Renamed nmalloc.c to utils.c, .h likewise.
9097
9098         * url.c (acceptable): Always accept directories.
9099
9100         * ftp-unix.c (ftp_parse_ls): Support brain-damaged "ls -F"-loving
9101         servers by stripping trailing @ from symlinks and trailing / from
9102         directories.
9103
9104         * ftp.c (ftp_loop): Debugged the "enhanced" heuristics. :-)
9105
9106         * url.c (skip_url): Use toupper instead of UCASE.
9107
9108         * host.c (sufmatch): Made it case-insensitive.
9109
9110         * url.c (match_backwards_or_pattern): Fixed i == -1 to j == -1.
9111         (match_backwards): New function, instead of
9112         match_backwards_or_pattern.
9113
9114         * recur.c (recursive_retrieve): Increased performance by
9115         introducing inl, which reduces number of calls to in_slist to only
9116         one.
9117
9118         * ftp.c (ftp_loop): Enhanced the heuristics that decides which
9119         routine to use.
9120
9121         * main.c (printhelp): Removed the warranty stuff.
9122
9123 1996-07-02  Hrvoje Niksic  <hniksic@srce.hr>
9124
9125         * url.c (add_slist): Simplify.
9126         (match_backwards_or_pattern): New function.
9127         (in_acclist): Use match_backwards_or_pattern.
9128         (matches): Remove.
9129
9130 1996-06-30  Hrvoje Niksic  <hniksic@srce.hr>
9131
9132         * ftp.c (ftp_loop): Call ftp_index on empty file names, if not
9133         recursive.
9134
9135         * html.c (ftp_index): Fixed to work. Beautified the output.
9136
9137         * ftp.c (ftp_retrieve_glob): Another argument to control whether
9138         globbing is to be used.
9139         (ftp_retrieve_list): Compare the time-stamps of local and remote
9140         files to determine whether to download.
9141
9142 1996-06-29  Hrvoje Niksic  <hniksic@srce.hr>
9143
9144         * ftp.c (rel_constr): New function.
9145
9146         * retr.c (retrieve_from_file): Check for text/html before
9147         retrieving recursively.
9148
9149         * main.c (main): Check whether the file is HTML before going into
9150         recursive HTML retrieving.
9151
9152         * ftp.c (ftp_retrieve_list): Manage directories.
9153         (ftp_retrieve_glob): Pass all the file-types to ftp_retrieve_list.
9154         (ftp_1fl_loop): Fixed a bug that caused con->com to be incorrectly
9155         initialized, causing bugchecks in getftp to fail.
9156
9157         * configure.in: Check for symlink.
9158
9159         * ftp.c (ftp_retrieve_list): Added support for symlinks.
9160
9161         * version.c: "Released" 1.4b10.
9162
9163         * atotm.c (atotm): Redeclared as time_t.
9164
9165         * init.c: New variable "timestamping".
9166
9167         * main.c (main): New option 'N'.
9168
9169         * http.c (hgetlocation): Case-insensitive match.
9170         (hgetmodified): New function.
9171         (http_loop): Implement time-stamping.
9172
9173 1996-06-28  Hrvoje Niksic  <hniksic@srce.hr>
9174
9175         * version.c: Changed version to 1.4b10
9176
9177         * atotm.c: New file, from phttpd.
9178
9179         * options.h (struct options): New parameter timestamping.
9180
9181         * version.c: 1.4b9 "released".
9182
9183         * recur.c (recursive_retrieve): Used linked list (ulist) for
9184         faster storing of URLs.
9185
9186         * url.c (get_urls_html): Removed the old kludge with comparing the
9187         outputs of htmlfindurl and findurl.
9188         (get_urls_html): Added better protocol support here.
9189         (create_hash): Removed, as well as add_hash and in_hash.
9190         (addslist): New function.
9191         (in_slist): ditto
9192
9193         * version.c: Released 1.4b8, changed version to b9.
9194
9195 1996-06-27  Hrvoje Niksic  <hniksic@srce.hr>
9196
9197         * ftp.c (freefileinfo): New function.
9198         (delelement): New function.
9199
9200         * everywhere: GPL!
9201
9202         * ftp.c (ftp_loop): Use ccon.
9203         (ftp_retrieve_glob): Likewise.
9204
9205         * ftp.h: Define ccon, to define status of control connection.
9206
9207         * ftp.c (ftp_get_listing): New function.
9208         (ftp_retrieve_more): New function.
9209         (ftp_retrieve_glob): New function.
9210
9211 1996-06-25  Hrvoje Niksic  <hniksic@srce.hr>
9212
9213         * configure.in: Removed the search for cuserid().
9214
9215         * init.c (getmode): Renamed to getperms.
9216
9217 1996-06-24  Hrvoje Niksic  <hniksic@srce.hr>
9218
9219         * version.c: New version.
9220
9221         * main.c (hangup): New function, that handles hangup. Hangup
9222         signal now causes geturl to stop writing on stdout, and to write
9223         to a log file.
9224
9225         * ftp.c (getftp): "Released" 1.4b7.
9226
9227         * html.c (htmlfindurl): Ignore everything inside <head>...</head>.
9228         (ftp_index): Use fileinfo/urlinfo.
9229
9230         * ftp-unix.c (ftp_parse_ls): New function.
9231         (symperms): New function.
9232
9233         * ftp.c (ftp_1fl_loop): New function, to handle 1-file loops.
9234
9235         * retr.c (retrieve_url): Added FTP support.
9236
9237 1996-06-23  Hrvoje Niksic  <hniksic@srce.hr>
9238
9239         * geturl.h: Removed NOTFTP2HTML enum.
9240         Added DO_LOGIN, DO_CWD and DO_LIST. LIST_ONLY is obsolete.
9241
9242         * ftp.c (getftp): Resynched with urlinfo.
9243         (getftp): Removed HMTL-ization of index.html from getftp.
9244
9245         * version.c: 1.4b6 "released".
9246
9247         * options.h (options): New struct, to keep options in.
9248
9249         * http.c (http_loop,gethttp): Synched with proxy.
9250
9251         * retr.c (retrieve_url): Implemented proxy retrieval.
9252
9253         * main.c (main): Use retrieve_from_file.
9254
9255 1996-06-22  Hrvoje Niksic  <hniksic@srce.hr>
9256
9257         * retr.c (retrieve_from_file): New function.
9258
9259         * url.c (parseurl): Modified to return URLOK if all OK. Protocol
9260         can be found in u->proto.
9261
9262         * ftp.c (ftp_response): Fixed to accept multi-line responses as
9263         per RFC 959.
9264
9265         * recr.c (recursive_retrieve): Take newloc from retrieve_url.
9266
9267         * url.c (mymkdir): Removed the file of the same name, if one
9268         exists.
9269         (isfile): New function.
9270         (mkstruct): Fixed the '/' glitches.
9271         (path_simplify): Hacked to treat something/.. correctly.
9272
9273 1996-06-21  Hrvoje Niksic  <hniksic@srce.hr>
9274
9275         * http.c (gethttp): Close the socket after error in headers.
9276         (http_loop): HEOF no longer a fatal header.
9277
9278         * loop.c (retrieve_url): When dt is NULL, do not modify it. This
9279         simplifies the syntax of calling retrieve_url.
9280
9281         * recr.c (recursive_retrieve): Modified to use get_urls_html.
9282
9283         * url.c (get_urls_file): New function.
9284         (get_urls_html): New function.
9285
9286         * recr.c (recursive_retrieve): Patched up to conform to the
9287         standards.
9288
9289         * http.c (gethttp): Synched with the rest...
9290         (gethttp): Treat only CONREFUSED specially, with connection
9291         errors.
9292
9293         * init.c,geturl.1,http.c (http_loop): Removed kill_error.
9294
9295 1996-06-20  Hrvoje Niksic  <hniksic@srce.hr>
9296
9297         * http.c (http_loop): New function.
9298
9299         * loop.c: Removed *lots* of stuff from retrieve_url.
9300
9301         * url.c (parseurl): Changed to work with urlinfo. Integrated
9302         username finding and path parsing.
9303         (newurl): New function.
9304         (freeurl): New function.
9305         (mkstruct): Removed the old bogosities, made it urlinfo-compliant.
9306         (url_filename): Likewise.
9307         (path_simplify): Accept relative paths too.
9308         (opt_url): Made urlinfo-compliant, removed bogosities.
9309         (path_simplify): Expanded to accept relative paths.
9310         (str_url): A replacement for hide_url
9311         (decode_string): Fixed a bug that caused malfunctioning when
9312         encountering an illegal %.. combination.
9313         (opt_url): Removed the argument. Dot-optimizations are now default.
9314
9315         * nmalloc.c (strdupdelim): New function.
9316
9317         * url.h: Added the urlinfo structure
9318
9319 1996-06-19  Hrvoje Niksic  <hniksic@srce.hr>
9320
9321         * url.c (hide_url): Thrown out the protocol assertion. Do not
9322         change the URL if the protocol if not recognized.
9323         (findurl): Put continue instead of break.
9324
9325 1996-06-18  Hrvoje Niksic  <hniksic@srce.hr>
9326
9327         * sample.geturlrc: Changed the defaults to be commented out and
9328         harmless (previous defaults caused pains if copied to
9329         ~/.geturlrc).
9330
9331         * http.c (gethttp): Print the HTTP request in debug mode.
9332
9333         * connect.c (iread): Added EINTR check loop to select-ing
9334         too. EINTR is now correctly handled with select().
9335
9336         * TODO: new file
9337
9338 1996-05-07  Hrvoje Niksic  <hniksic@srce.hr>
9339
9340         * host.c (same_host): Made the function a little bit more
9341         intelligent regarding diversified URL syntaxes.
9342
9343         * url.c (skip_url): Spaces are now skipped after URL:
9344
9345         * Released 1.3.1 with the patch to prevent crashing when sending
9346         NULL to robot* functions and the patch to compile "out of the box"
9347         on AIX.
9348
9349         * recr.c (recursive_retrieve): Added checking whether this_url is
9350         NULL when calling the robot functions.
9351
9352         * ChangeLog: New file.