]> sjero.net Git - wget/blob - src/ChangeLog
5c3556b9e3ce346743bd94fa0ddc8ba72370a43e
[wget] / src / ChangeLog
1 2005-12-07  Mauro Tortonesi  <mauro@ferrara.linux.it>
2
3         * http.c: Fixed pre-download verbose output which was broken by 
4         HTTP code refactoring.
5
6 2005-11-23  Mauro Tortonesi  <mauro@ferrara.linux.it>
7
8         * http.c: Refactored HTTP code.  If -O is not used, the new code
9         delays the choice of the file name where the downloaded resource
10         will be saved until the HTTP headers have been retrieved.
11         Added support for Content-Disposition header. 
12
13 2005-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
14
15         * hash.c (INVALID_PTR): Use uintptr_t instead of unsigned long.
16         (hash_pointer): Don't assume a pointer fits in `unsigned long'.
17
18 2005-11-02  Mauro Tortonesi  <mauro@ferrara.linux.it>
19
20         * Makefile.in: Removed support for unit testing (now it is in
21         tests/Makefile.in).
22
23 2005-10-27  Mauro Tortonesi  <mauro@ferrara.linux.it>
24
25         * Makefile.in: Added basic support for unit testing.
26
27         * test.c: Ditto.
28         
29         * test.h: Ditto.
30         
31 2005-10-13  Daniel Stenberg  <daniel@haxx.se>
32
33         * http-ntlm.c (ntlm_output): Fixed buffer overflow vulnerability.
34
35 2005-10-09  Russ Allbery  <rra@stanford.edu>
36
37         * snprintf.c: Remove round to round_int and pow10 to pow10_int, to
38         avoid warnings from GCC 4.0.
39
40 2005-10-05  Mauro Tortonesi  <mauro@ferrara.linux.it>
41
42         * retr.c: Changed semantics of no_proxy_match.
43
44 2005-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
45
46         * main.c (main): Don't print the summary if nothing has been downloaded.
47
48 2005-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
49
50         * retr.c (retr_rate): Rename parameter from MSECS to SECS since it
51         no longer holds milliseconds.
52
53 2005-09-01  Hrvoje Niksic  <hniksic@xemacs.org>
54
55         * progress.c: Introduce symbolic constants for "magic" values of
56         0.2 and 0.9, REFRESH_INTERVAL and ETA_REFRESH_INTERVAL.
57
58 2005-08-27  Hrvoje Niksic  <hniksic@xemacs.org>
59
60         * cmpt.c (strtoll): Correctly handle strtoll("0x", ptr, 0) and
61         strtoll("0x<nonhexchar>", ptr, 0) -- in both cases *ptr must be
62         set to the position of 'x', not after it.
63
64 2005-08-27  Hrvoje Niksic  <hniksic@xemacs.org>
65
66         * hash.c (hash_table_map): Rename to hash_table_for_each and
67         update callers.
68         Document the meaning of the callback's return value.
69         (hash_table_iterate): New function.
70         (hash_table_iter_next): Likewise.
71         Update most places that used hash_table_for_each to use the
72         iteration, which doesn't require a temporary function with
73         explicit state management.
74
75 2005-08-26  Albert Chin  <wget@mlists.thewrittenword.com>
76
77         * Makefile.in: Use @datadir@.  Define localedir as $(datadir)/locale.
78
79 2005-08-26  Jeremy Shapiro  <jnshapiro@gmail.com>
80
81         * openssl.c (ssl_init): Set SSL_MODE_AUTO_RETRY.
82
83 2005-08-23  Hrvoje Niksic  <hniksic@xemacs.org>
84
85         * host.c (address_list_from_ipv4_addresses): Use IP_INADDR_DATA.
86
87 2005-08-12  Hrvoje Niksic  <hniksic@xemacs.org>
88
89         * wget.h: Renamed strtoll_return to strtoll_type.
90
91 2005-08-11  Hrvoje Niksic  <hniksic@xemacs.org>
92
93         * progress.c (eta_to_human_short): Switch to days when printing
94         more than 48h rather than 100h.  (It's not immediately apparent
95         how many days there are in 83h.)
96
97 2005-08-11  Hrvoje Niksic  <hniksic@xemacs.org>
98
99         * cmpt.c (strtoll): Define it if missing on the system and if Wget
100         needs it.
101
102         * mswindows.c (str_to_int64): Move to cmpt.c and rename to strtoll.
103
104 2005-08-10  Hrvoje Niksic  <hniksic@xemacs.org>
105
106         * host.c (print_address): Always use inet_ntop when IPv6 is
107         enabled.
108
109         * host.h (ip_address): Simplify the data union.
110
111 2005-08-09  Hrvoje Niksic  <hniksic@xemacs.org>
112
113         * mswindows.c (inet_ntop): Also handle IPv4 addresses for
114         completeness.
115
116 2005-08-09  Hrvoje Niksic  <hniksic@xemacs.org>
117
118         * http.c (gethttp): Don't read more than the amount of data
119         specified by the content-length header.
120
121 2005-08-09  Vasil Dimov  <vd@datamax.bg>
122
123         * ftp.c (getftp): Don't free RESPLINE if ftp_response returns a
124         status other than FTPOK.
125
126 2005-08-04  Giuseppe Bonacci  <g.bonacci@libero.it>
127
128         * ftp-ls.c (ftp_parse_unix_ls): Remember the position of the
129         previous token instead of backtracking back to it.
130
131 2005-07-08  Gisle Vanem  <giva@bgnett.no>
132
133         * mswindows.h: Include process.h to get getpid() declaration.
134
135 2005-07-08  Hrvoje Niksic  <hniksic@xemacs.org>
136
137         * utils.c (aprintf): Use vasprintf where available.
138
139 2005-07-08  Hrvoje Niksic  <hniksic@xemacs.org>
140
141         * url.c (rewrite_shorthand_url): Simplify code using aprintf and
142         strspn.
143
144 2005-07-07  Hrvoje Niksic  <hniksic@xemacs.org>
145
146         * gnutls.c (ssl_check_certificate): Check for the validity of the
147         presented X509 certificate.
148
149 2005-07-07  Hrvoje Niksic  <hniksic@xemacs.org>
150
151         * openssl.c (ssl_check_certificate): Print custom error messages
152         for frequent X509 certificate problems.
153
154 2005-07-07  Hrvoje Niksic  <hniksic@xemacs.org>
155
156         * mswindows.h: Define an alias for stat and fstat, as requested by
157         config-compiler.h.
158         (gai_strerror): Define to windows_strerror if NEED_GAI_STRERROR is
159         defined.
160
161 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
162
163         * mswindows.h: Use strtoll where available.
164
165 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
166
167         * sysdep.h: Add a full declaration of fnmatch.h.
168
169 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
170
171         * utils.c: Unconditionally include <setjmp.h>.
172
173 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
174
175         * utils.c (fnmatch_nocase): New function.
176         (proclist): Use it instead of fnmatch when opt.ignore_case is
177         requested.
178         (in_acclist): Respect opt.ignore_case.
179         (frontcmp): Respect opt.ignore_case.
180
181         * options.h (struct options): New flag opt.ignore_case.
182
183 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
184
185         * ptimer.c: Measure time in seconds rather than milliseconds.
186         Adjusted all callers.
187
188 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
189
190         * http.c (gethttp): When freeing MESSAGE, take into account that
191         it can be NULL.
192
193 2005-07-05  Hrvoje Niksic  <hniksic@xemacs.org>
194
195         * cmpt.c (timegm): Handle years after 2099.
196
197 2005-07-05  Hrvoje Niksic  <hniksic@xemacs.org>
198
199         * cmpt.c (timegm): Remove unused variable.
200
201 2005-07-05  Hrvoje Niksic  <hniksic@xemacs.org>
202
203         * cmpt.c (timegm): Don't call mktime; simply count the seconds
204         between 1970-01-01 and the specified date.
205
206 2005-07-05  Hrvoje Niksic  <hniksic@xemacs.org>
207
208         * wget.h (or): Define HAVE_SSL when either HAVE_OPENSSL or
209         HAVE_GNUTLS are defined.
210
211         * gnutls.c: New file.
212
213 2005-07-05  Hrvoje Niksic  <hniksic@xemacs.org>
214
215         * http.c (gethttp): Don't print the request write error message
216         twice.
217
218 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
219
220         * openssl.c (openssl_errstr): Instead of always using a large
221         static buffer, only allocate the error string when there is an
222         actual error.
223
224 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
225
226         * xmalloc.c (debugging_free): Prefix hex pointer value with "0x"
227         when printing.
228
229 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
230
231         * utils.c (NEXT_BASE64_CHAR): Rename to NEXT_CHAR and simplify to
232         get the next non-whitespace character.
233
234 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
235
236         * utils.c (base64_decode): Don't silently tolerate non-base64
237         non-white-space characters in the base64 stream.
238
239 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
240
241         * connect.c (LAZY_RETRIEVE_INFO): Make last_tick unsigned to match
242         transport_map_modified_tick.
243
244 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
245
246         * config-post.h (alloca): Updated declaration to not enumerate all
247         Windows compilers.
248
249 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
250
251         * openssl.c (openssl_errstr): Separate error messages with "; ".
252
253 2005-07-03  Hrvoje Niksic  <hniksic@xemacs.org>
254
255         * ftp.c (getftp): Ditto.
256
257         * http.c (gethttp): Use fd_errstr.
258
259         * connect.c (fd_register_transport): Restructure parameters to
260         include only a single structure that describes transport
261         implementation.
262
263         * openssl.c (openssl_errstr): New function: dump SSL error strings
264         into a static buffer and return a pointer to the buffer.
265
266         * connect.c (fd_errstr): New function; returns transport-specific
267         error message, or strerror(errno) if transport doesn't supply one.
268
269 2005-07-03  Hrvoje Niksic  <hniksic@xemacs.org>
270
271         * mswindows.h: Also wrap accept() and listen().
272
273 2005-07-03  Hrvoje Niksic  <hniksic@xemacs.org>
274
275         * url.c (path_end): Skip separators appropriate for the scheme.
276         (strpbrk_or_eos): Remove gcc-specific version, as the optimization
277         it tried to perform no longer applies.
278
279 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
280
281         * host.c: Don't include "connect.h" now that we no longer have
282         socket_has_inet6.
283
284 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
285
286         * host.c: Remove extraneous definition of netdb.h.
287
288 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
289
290         * http.c (gethttp): Skip error message body in the keep-alive
291         case.
292
293 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
294
295         * url.c (url_parse): Would crash when parsing fragments.  Support
296         fragments for FTP URLs too.
297
298 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
299
300         * version.c: Don't use "cvs" in version name, since we're not
301         using CVS anymore.
302
303 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
304
305         * progress.c (create_image): Ditto.
306
307         * retr.c (retr_rate): Display smaller rate numbers with greater
308         precision.
309
310 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
311
312         * http.c (response_head_terminator): Minor optimization.
313
314         * retr.c (fd_read_hunk): Call terminator with pointer to the start
315         of the data and the pointer to the current data.  Changed all
316         callers.
317
318 2005-07-01  Hrvoje Niksic  <hniksic@xemacs.org>
319
320         * url.c (url_parse): Make sure u->params is not initialized for
321         http/https URLs.
322         (url_parse): Don't crash on garbage following []-delimited IPv6
323         addresses.
324
325 2005-07-01  Hrvoje Niksic  <hniksic@xemacs.org>
326
327         * main.c (print_help): Don't refer to the non-existent -nr in
328         description of --mirror.
329
330 2005-06-30  Hrvoje Niksic  <hniksic@xemacs.org>
331
332         * host.c (pretty_print_address): Renamed to just print_address.
333         Clarify documentation.
334
335 2005-06-30  Hrvoje Niksic  <hniksic@xemacs.org>
336
337         * http.c (gethttp): Explicitly document the different cases when
338         generating the Host header.
339
340 2005-06-30  Hrvoje Niksic  <hniksic@xemacs.org>
341
342         * host.c (pretty_print_address): Handle error result from
343         inet_ntop.
344
345 2005-06-30  Gisle Vanem  <giva@bgnett.no>
346
347         * mswindows.c (inet_ntop): New function.  Print IPv6 addresses
348         using WSAAddressToString.
349
350 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
351
352         * progress.c (dot_update): Remove unused variable row_qty.
353
354 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
355
356         * main.c: Check for both SIGHUP and SIGUSR1 before using them.
357
358 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
359
360         * utils.c: Unconditionally include locale.h.
361
362 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
363
364         * ptimer.c: Include sys/time.h to get struct timeval.
365
366 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
367
368         * wget.h: Remove obsolete definition of with_thousand_seps_sum.
369
370 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
371
372         * gnu-md5.h: Unconditionally include limits.h.
373
374 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
375
376         * utils.c (random_number): Use lrand48 if available.
377         (random_float): Use drand48 if available.
378
379 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
380
381         * main.c (secs_to_human_time): Use print_decimal when printing
382         total download time in seconds.
383
384         * progress.c (print_row_stats): Use it to print total download
385         time at the end of the download.
386         (create_image): Ditto.
387
388         * utils.c (print_decimal): New function; print small decimal
389         numbers with more precision than large ones.
390
391         * progress.c (print_row_stats): New function.  Print ETA after the
392         download rate at the end of each row.
393
394 2005-06-28  Hrvoje Niksic  <hniksic@xemacs.org>
395
396         * init.c (parse_line): Check for alphanumerics.
397
398 2005-06-28  Hrvoje Niksic  <hniksic@xemacs.org>
399
400         * (dot_create): Remove unnecessary casts.
401
402 2005-06-28  Hrvoje Niksic  <hniksic@xemacs.org>
403
404         * ftp.c (getftp): Delete trailing newlines from LIST output so
405         lines don't come out with trailing \015\012 with -S.
406
407 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
408
409         * mswindows.h: Remove superfluous includes.
410
411 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
412
413         * config-post.h (alloca): Amend alloca declaration to take care of
414         all Win32 compilers, not just MSVC and MinGW.
415
416 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
417
418         * utils.c (get_grouping_data): Force separator to "." rather than
419         " " when "," is taken.
420
421 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
422
423         * wget.h (PTR_FORMAT): Cast the result of sizeof to int before
424         passing it to printf's %*.
425
426         * retr.h: Declare output_stream and output_stream_regular.
427
428         * ftp.h: Declare ftp_last_respline.
429
430         * convert.h: Declare dl_url_file_map.
431
432         * http.h: New file.
433
434 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
435
436         * cookies.c: Make cookies_now static.
437
438 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
439
440         * utils.c (human_readable): Remove intermediary cast to long; MSVC
441         has problems casting *unsigned* __int64 to double.
442
443 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
444
445         * sysdep.h: Use the system-provided fnmatch by default.
446
447 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
448
449         * http.c (mktime_from_utc): Renamed to timegm and moved to cmpt.c.
450         Don't compile it if GNU timegm is available.
451         (http_atotm): Use timegm.
452
453 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
454
455         * http.c (http_atotm): Correctly query the old locale value.
456
457 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
458
459         * config-post.h (alloca): Don't #define alloca under MinGW32,
460         which defines it in malloc.h, included from mswindows.h.
461
462 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
463
464         * utils.c (get_grouping_data): Force the use of separators in C
465         locale.
466
467 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
468
469         * main.c (i18n_initialize): Set all locale categories.
470
471         * http.c (http_atotm): Temporarily set locale to "C".
472
473 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
474
475         * http.c (gethttp): Improve "POST data file missing" error
476         message.
477
478 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
479
480         * progress.c (set_progress_implementation): Type COLON as const
481         char *.
482
483 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
484
485         * utils.c (with_thousand_seps): Handle negative numbers.
486
487 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
488
489         * progress.c (create_image): Mark the "eta" string for translation.
490
491 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
492
493         * html-url.c (get_urls_file): Don't explicitly set entry->next to
494         NULL since entry is already zeroed out.
495
496 2005-06-26  Gisle Vanem  <giva@bgnett.no>
497
498         * mswindows.h: Define gai_strerror under MinGW.
499
500 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
501
502         * utils.c (with_thousand_seps): Correctly implement thousand seps
503         consisting of more than one character.
504
505 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
506
507         * main.c (secs_to_human_time): Ditto.
508
509         * progress.c (create_image): Print more exact duration of very
510         short downloads.
511
512         * main.c (secs_to_human_time): Don't translate time suffixes "h",
513         "m", and "s", which are not strictly SI, but are "accepted for use
514         with SI".
515         (secs_to_human_time): Print really small intervals as 0s, not
516         0.00s.
517
518 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
519
520         * config-post.h: Replace the alloca declaration with the one from
521         the latest Autoconf manual.  This should remove a warning with GCC
522         on AIX.
523
524 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
525
526         * ftp.c (getftp): Always invoke SIZE, not only when continuing a
527         download.
528
529         * main.c (main): Ditto here.
530
531         * progress.c (create_image): When the download is finished, print
532         how long it took.
533
534 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
535
536         * main.c (main): Print the downloaded and quota amounts with the
537         "human_readable" function.
538
539         * ftp.c (print_length): Ditto.
540
541         * http.c (gethttp): Don't display thousand separators.
542
543         * utils.c (with_thousand_seps): Rewritten to respect locale
544         settings and to be type size agnostic.
545
546 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
547
548         * utils.c (human_readable): Divide with 1024 instead of shifting
549         so the operation can work with non-integer N.
550
551 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
552
553         * progress.c (eta_to_human): New logic for more human-readable
554         ETA.
555
556 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
557
558         * utils.c (with_thousand_seps_sum): Decrease buffer size so it
559         cannot overrun add_thousand_seps's buffer.
560
561 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
562
563         * utils.c (SPRINTF_WGINT): The correct format is %I64d, not just
564         %I64.
565
566 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
567
568         * http.c (http_loop): Don't warn about wildcards in HTTP URLs if
569         globbing isn't requested in the first place.
570
571         * retr.c (retrieve_url): Temporarily turn off globbing when
572         processing HTTP->FTP redirects.
573
574 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
575
576         * utils.c (with_thousand_seps_sum): Now defined only if
577         SUM_SIZE_INT is double.
578
579         * wget.h (SUM_SIZE_INT): Instead of bothering with long, long
580         long, __int64, and friends, simply either use wgint or double, end
581         of story.  Since we know how to print either, we no longer need
582         LARGE_INT_FMT.
583
584         * sysdeps.h (LARGE_INT): Renamed to SUM_SIZE_INT to better reflect
585         its intent, and moved to wget.h.
586
587 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
588
589         * Makefile.in: No need to clean .libs.
590
591 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
592
593         * cookies.c (parse_set_cookies): Cast pointer subtraction to int
594         before using it with %d; AIX compiler warns on this.
595         Reported by Jens Schleusener.
596
597 2005-06-24  Hrvoje Niksic  <hniksic@xemacs.org>
598
599         * http.c (gethttp): Don't prepend / here.
600
601         * cookies.c (cookie_handle_set_cookie): Prepend / to PATH.
602         (cookie_header): Ditto.
603
604 2005-06-24  Hrvoje Niksic  <hniksic@xemacs.org>
605
606         * init.c: opt.verbose must be declared as int.
607
608 2005-06-23  Hrvoje Niksic  <hniksic@xemacs.org>
609
610         * cmpt.c (strpbrk): Removed.
611         (mktime): Removed.
612         Include <time.h>.
613
614 2005-06-23  Hrvoje Niksic  <hniksic@xemacs.org>
615
616         * utils.c (read_file): Ditto.
617
618         * main.c (main): Use struct_fstat.
619
620         * mswindows.h (struct_fstat): Define a struct_fstat to deal with
621         the fact that Borland 5.5 has 64-bit stat, but not 64-bit fstat!
622
623 2005-06-23  Hrvoje Niksic  <hniksic@xemacs.org>
624
625         * sysdep.h: Remove code that deals with Watcom.
626
627 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
628
629         * all: Use bool instead of int and false/true instead of 0/non-0
630         for boolean variables and values.
631
632 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
633
634         * sysdep.h: Include the stdbool.h/_Bool/bool blurb from Autoconf.
635
636 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
637
638         * init.c (cmd_lockable_boolean): Removed.
639
640 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
641
642         * cookies.c (struct cookie): Use 1-bit bitfields for booleans
643         which makes the structure takes less space at no cost in
644         complexity.
645
646 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
647
648         * Makefile.in ($(OBJ)): Add the config.h dependency.
649
650 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
651
652         * openssl.c, connect.c, host.c: Replace instances of #ifdef
653         ENABLE_DEBUG if (opt.debug) {...} #endif with IF_DEBUG {...}.
654
655         * main.c: Rename the IF_DEBUG defined here to WHEN_DEBUG.
656
657         * wget.h (IF_DEBUG): New macro.
658         (DEBUGP): Define in terms of IF_DEBUG.
659
660 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
661
662         * http.c (gethttp): Only handle --set-cookies (and assert that
663         cookie jar exists) if opt.cookies is true.  Failure to do so
664         triggered the assert when --no-cookies was used and the server
665         sent a Set-Cookie header.  Ouch!
666
667 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
668
669         * connect.c (select_fd): Expect select() to exist.
670
671         * utils.c (xsleep): Always use select() as sleep fallback on
672         non-Windows platforms.
673
674         * ptimer.c: Delete the implementation of PTIMER_TIME.
675
676         * main.c: Assume existence of signal(), test for different signal
677         names instead.
678
679         * cmpt.c: Better document reasons why certain functions are
680         included.
681
682 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
683
684         * Makefile.in: Remove the manually maintained dependency list;
685         make all object files depend on every header.
686
687 2005-06-20  Hrvoje Niksic  <hniksic@xemacs.org>
688
689         * hash.c: Rename "mapping" to "cell" to avoid confusion with the
690         term "mapping" (or "map") sometimes being used for the entire hash
691         table.  Also rename "non-empty" to "occupied" for easier reading
692         of if (!NON_EMPTY (...)) ... .
693
694 2005-06-20  Hrvoje Niksic  <hniksic@xemacs.org>
695
696         * main.c, ptimer.c, sysdep.h, utils.c: Use #elif to simplify reading of
697         chained if-else-else-else-... statements.
698
699 2005-06-20  Hrvoje Niksic  <hniksic@xemacs.org>
700
701         * all: Return type of signal handlers is `void'.  Include signal.h
702         unconditionally.
703
704         * all: Don't explicitly cast values returned by malloc.  We no
705         longer support ancient compilers that don't declare malloc, and we
706         never supported C++ builds.
707
708 2005-06-19  Hrvoje Niksic  <hniksic@xemacs.org>
709
710         * all: Don't declare errno.  Include both time.h and sys/time.h,
711         as long as sys/time.h exists.  Don't dereference function pointers
712         when invoking the functions they point to.
713
714         * cmpt.c (memmove): Remove function mandated by C89.
715         (strerror): Ditto.
716         (strstr): Ditto.
717
718         * all: Undo the K&R-ization changes from 2005-05-03.
719
720         * all: Remove support for K&R compilers: use C89 function
721         declarations, remove definition of PARAMS, remove support for
722         varargs, and remove ansi2knr.  Assume the presence of time.h,
723         string.h, and other headers mandated by C89.
724
725 2005-06-19  Hrvoje Niksic  <hniksic@xemacs.org>
726
727         * init.c (cmd_lockable_boolean): Don't recognize literal "2" and
728         "-1" values; unlike 0 and 1, those should never be exposed to the
729         user.  Update the error message to be more self-consistent, as
730         proposed by Benno Schulenberg.
731
732 2005-06-18  Hrvoje Niksic  <hniksic@xemacs.org>
733
734         * http.c (gethttp): Don't free "head" before using it to save
735         headers.
736
737 2005-06-18  Hrvoje Niksic  <hniksic@xemacs.org>
738
739         * http.c (gethttp): When -E is in use, check for file existence
740         after appending ".html" to the name and modify the file name if
741         necessary.
742
743 2005-06-17  Hrvoje Niksic  <hniksic@xemacs.org>
744
745         * connect.c (socket_has_inet6): Removed.
746
747         * host.c (lookup_host): Don't use the AI_ADDRCONFIG getaddrinfo
748         hint.
749
750 2005-06-16  Hrvoje Niksic  <hniksic@xemacs.org>
751
752         * init.c (cmd_lockable_boolean): Improve the error message so it
753         lists the more useful values first.
754
755 2005-06-15  Hrvoje Niksic  <hniksic@xemacs.org>
756
757         * http.c (gethttp): Also report the system error when the POST
758         data file is missing.
759
760 2005-06-15  Benno Schulenberg  <benno@nietvergeten.nl>
761
762         * ftp.c, http.c, connect.c, cookies.c, html-url.c, init.c, res.c:
763         Gettext-ize messages that were previously missed.
764
765 2005-06-15  Hrvoje Niksic  <hniksic@xemacs.org>
766
767         * host.h (ip_address): Remove the trailing comma from the type
768         enum in the no-IPv6 case.
769
770         * main.c (struct cmdline_option): Remove the trailing comma from
771         the enum.
772
773         Reported by Jens Schleusener.
774
775 2005-05-30  Hrvoje Niksic  <hniksic@xemacs.org>
776
777         * url.c (strpbrk_or_eos): Check for a recent GCC version before
778         using the statement-as-expression extension.
779
780 2005-05-30  Hrvoje Niksic  <hniksic@xemacs.org>
781
782         * http.c (gethttp): Don't attempt to "skip short body" if we're
783         issuing a HEAD request (in which case the response head is not
784         followed by a body).
785
786 2005-05-30  Hrvoje Niksic  <hniksic@xemacs.org>
787
788         * init.c (cmd_spec_header): Don't split the string along the
789         commas using cmd_vector; just append the new value using
790         vec_append instead.
791
792         * utils.c (vec_append): New function.
793
794 2005-05-27  Andreas Beckmann  <debian@abeckmann.de>
795
796         * html-url.c (tag_handle_link): Mark the content from the <link
797         src="..."> tag as expecting HTML.
798
799 2005-05-24  Hrvoje Niksic  <hniksic@xemacs.org>
800
801         * http.c (http_atotm): Document the origin of the "cookie date"
802         format.
803
804 2005-05-21  Hrvoje Niksic  <hniksic@xemacs.org>
805
806         * init.c (setval_internal): Report exact command name alongside
807         the "display name".
808
809 2005-05-18  Hrvoje Niksic  <hniksic@xemacs.org>
810
811         * cookies.c (update_cookie_field): Explicitly cast -1 to time_t to
812         cope with systems where time_t is unsigned.
813
814         * cookies.c: Remove unnecessary casts to time_t from values
815         already of that type.
816
817 2005-05-17  Hrvoje Niksic  <hniksic@xemacs.org>
818
819         * ftp.c (ftp_loop_internal): Same here.
820
821         * http.c (http_loop): Don't clobber the file when -c is specified
822         and the first attempt to retrieve the file fails.
823
824 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
825
826         * openssl.c (ssl_check_certificate): Print all issues with a
827         certificate.
828
829 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
830
831         * ftp-basic.c: Don't xfree() the line returned by ftp_response if
832         the returned code is not FTPOK.
833
834 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
835
836         * init.c (cleanup): Don't free the non-existent opt.ftp_acc.  Free
837         the SSL-related stuff.
838
839 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
840
841         * ftp.c (print_length): Consistently print \n at end of the
842         "Length" line.
843
844 2005-05-14  Hrvoje Niksic  <hniksic@xemacs.org>
845
846         * openssl.c (ssl_connect): Announce the beginning and the end of
847         the SSL handshake when in debug mode.
848
849         * wget.h (PTR_FORMAT): New macro for easier printing of pointer
850         values.  Use %0*lx along with PTR_FORMAT instead of %p.
851
852 2005-05-14  Hrvoje Niksic  <hniksic@xemacs.org>
853
854         * http.c (gethttp): Would forget to close the connection when
855         keep_alive was not used.
856
857 2005-05-13  Hrvoje Niksic  <hniksic@xemacs.org>
858
859         * openssl.c (pattern_match): Document the code that decides
860         whether "*" matches ".".
861
862 2005-05-12  Hrvoje Niksic  <hniksic@xemacs.org>
863
864         * ftp-ls.c (ftp_index): Use %d to print the port number, which is
865         now int.
866         From Steven M. Schweda's VMS patches.
867
868 2005-05-12  Hrvoje Niksic  <hniksic@xemacs.org>
869
870         * url.c (rewrite_shorthand_url): Don't rewrite "https://host" to
871         "ftp://https//host" when SSL is not used.
872
873 2005-05-11  Hrvoje Niksic  <hniksic@xemacs.org>
874
875         * openssl.c (ssl_check_server_identity): Renamed to
876         ssl_check_certificate because it does more than just checking the
877         server's identity.
878         (ssl_check_certificate): Tell the user about
879         --no-check-certificate.
880
881 2005-05-11  Hrvoje Niksic  <hniksic@xemacs.org>
882
883         * openssl.c (ssl_init): Always use SSL_VERIFY_NONE, so that the
884         handshake finishes even if the certificate is invalid.  That way
885         ssl_check_server_identity can provide better diagnostics on why
886         the verification failed.
887
888 2005-05-11  Hrvoje Niksic  <hniksic@xemacs.org>
889
890         * openssl.c (pattern_match): New function.
891         (ssl_check_server_identity): Treat peer certificate common name as
892         wildcard.
893
894 2005-05-10  Hrvoje Niksic  <hniksic@xemacs.org>
895
896         * openssl.c (ssl_check_server_identity): Print certificate subject
897         and issuer.
898
899 2005-05-10  Hrvoje Niksic  <hniksic@xemacs.org>
900
901         * res.c (res_register_specs): Correctly pass pointers to
902         hash_table_get_pair.
903
904 2005-05-10  Hrvoje Niksic  <hniksic@xemacs.org>
905
906         * http.c (gethttp): Call ssl_check_server_identity.
907
908         * openssl.c (ssl_check_server_identity): New function, verifies
909         that the host name in the certificate matches the actual host
910         name.
911         (verify_cert_callback): Removed, since it didn't do anything
912         except returning the preverify_ok argument.
913
914         * connect.c (fd_transport_context): Allow retrieval of the context
915         pointer registered with fd_register_transport.
916
917 2005-05-09  Hrvoje Niksic  <hniksic@xemacs.org>
918
919         * openssl.c (verify_cert_callback): Renamed from verify_callback.
920         Always return the received "ok" value.  Print the X509 name in
921         debug mode.
922         (ssl_init): Enable partial writes in SSL context.
923
924 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
925
926         * http.c (http_loop): Check for wildcards in the URL path
927         component, not in the whole URL.
928
929         * ftp.c (ftp_loop): Check for wildcards in URL path before
930         unescaping, so the users can escape globbing metacharacters with %
931         escapes.
932
933 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
934
935         * init.c (run_command): Correctly interpret the return value of
936         parse_line.
937         (commands): Re-alphabetize.
938
939 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
940
941         * netrc.c (parse_netrc): Explicitly check for assignment != NULL
942         to silence warning from Borland C.
943
944         * url.c (sync_path): Don't unnecessarily increment p.
945         (url_parse): Don't unnecessarily set url_encode to NULL just
946         prior to return from the function.
947
948 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
949
950         * log.c (escnonprint_internal): Place variable declarations
951         before other statements.
952
953 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
954
955         * html-url.c: Include recur.h.
956
957         * http.c (request_new): Define as accepting no args.
958
959 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
960
961         * url.c (strpbrk_or_eos): Made inline.  Use strchr(s, '\0') for
962         finding the NUL char position.
963
964 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
965
966         * url.c (decide_copy_method): Renamed to char_needs_escaping.
967         Since it now returns only two possible values, change it to return
968         boolean (int).
969
970 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
971
972         * ftp-basic.c (ftp_request): Prevent newlines in VALUE causing
973         inadvertent sending of multiple FTP commands.
974
975 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
976
977         * url.c (decide_copy_method): Never cause reencode_escapes to
978         decode % escapes; it is too intrusive and breaks some servers.
979
980 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
981
982         * http.c (gethttp): When tunnelling SSL traffic over proxy with
983         CONNECT, we're really talking to the remote server directly.
984         Because of this, the request-line argument must be the URL path
985         rather than the whole URL, as it would be when using regular
986         proxies.
987         Reported by Charles Lane.
988
989 2005-05-06  Hrvoje Niksic  <hniksic@xemacs.org>
990
991         * init.c (cmd_spec_useragent): Allow empty User-Agent.
992
993         * http.c (gethttp): Don't print "unknown authentication scheme"
994         for failed Basic authentication.
995         (SET_USER_AGENT): Don't set user-agent if opt.useragent is empty.
996         (gethttp): Use alloca for allocation of www_authenticate.
997
998 2005-05-06  Hrvoje Niksic  <hniksic@xemacs.org>
999
1000         * main.c (print_help): Fix wording of --secure-protocol help text.
1001
1002 2005-05-06  Hrvoje Niksic  <hniksic@xemacs.org>
1003
1004         * cmpt.c (strstr): Updated from glibc 2.3.5.
1005
1006 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
1007
1008         * http.c (http_atotm): Zero out the whole struct tm being passed
1009         to strptime.
1010
1011 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
1012
1013         * main.c (main): Propagate option name to setoptval.
1014
1015         * init.c (setoptval): Accept another argument, OPTNAME.  Propagate
1016         that argument as the option name independently of the actual
1017         command, determined by command_by_name(com).
1018
1019 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
1020
1021         * init.c (parse_line): Make the return value indicate whether
1022         there was a syntax error or a setter failed.
1023         (run_wgetrc): Return an indication on whether an error has been
1024         encountered.
1025         (initialize): Abort if there have been errors running either
1026         .wgetrc file.
1027
1028 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
1029
1030         * log.c (copy_and_escape): Slightly reduce code repetition between
1031         the two loops.
1032
1033 2005-05-05  Charles C.Fu  <ccwf@bacchus.com>
1034
1035         * utils.c (proclist): Strip leading slash when calling fnmatch
1036         too, otherwise wildcard comparisons always fail.
1037
1038 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
1039
1040         * utils.c (touch): Set access time to current time.
1041
1042 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
1043
1044         * url.c (url_unescape): Don't unescape %00, it effectively
1045         truncates the string.
1046
1047 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
1048
1049         * log.c (copy_and_escape): Replace the FOR_URI argument with a
1050         slightly more general mechanism for specifying different kinds of
1051         escape.
1052
1053 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
1054
1055         * ftp-basic.c (ftp_response): Fix printing FTP server response.
1056
1057 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
1058
1059         * retr.c (limit_bandwidth_reset): Reset sleep_adjust.
1060         (limit_bandwidth): Don't allow huge "adjustment" values that
1061         result from being suspended for a while.
1062
1063 2005-05-04  Hrvoje Niksic  <hniksic@xemacs.org>
1064
1065         * wget.h: If gettext was found but libtintl.h wasn't, declare
1066         gettext's return type to avoid type mismatches.
1067
1068 2005-05-03  Hrvoje Niksic  <hniksic@xemacs.org>
1069
1070         * url.c (url_parse): Rename label `error' to avoid conflict with
1071         identifier.
1072
1073         * retr.c (fd_read_body): Rename label `out' to avoid conflict with
1074         identifier.
1075         (fd_read_hunk): Use explicit double constant.
1076         (retrieve_from_file): Don't use string concatenation.
1077         (sleep_between_retrievals): Make sure xsleep is called with a
1078         `double' argument.
1079         (no_proxy_match): Define as static, like it is declared.
1080
1081         * progress.c (bar_create): Use 0.0 instead of 0 because K&R
1082         compilers can't automatically promote it.
1083
1084         * http-ntlm.c (ntlm_output): Replace \xHH sequences with \OOO for
1085         the sake of old compilers.
1086
1087         * ftp.c (ftp_loop_internal): Don't use string concatenation.
1088
1089         * http.c (request_send): Use explicit double constants when
1090         calling fd_read and fd_write.
1091         (post_file): Ditto.
1092         (gethttp): Ditto.
1093         (skip_short_body): Ditto.
1094
1095         * ftp-basic.c: When calling fd_write, specify the last argument as
1096         a `double' constant for the sake of K&R compilers which don't see
1097         the prototype and therefore can't promote it to double
1098         automatically.
1099
1100         * cookies.c (cookie_jar_load): Rename abort label to abort_cookie
1101         to avoid name conflict in K&R compilers.
1102
1103 2005-04-29  Hrvoje Niksic  <hniksic@xemacs.org>
1104
1105         * ptimer.c (posix_init): Since we allow _POSIX_MONOTONIC_CLOCK==0,
1106         it is not enough to check for _POSIX_MONOTONIC_CLOCK-0, we must
1107         also check for defined(_POSIX_MONOTONIC_CLOCK).
1108
1109 2005-04-28  Hrvoje Niksic  <hniksic@xemacs.org>
1110
1111         * ftp.c, hash.c, connect.c, host.c, http.c: Remove unreached code,
1112         such as "break" following return or abort.
1113
1114 2005-04-28  Hrvoje Niksic  <hniksic@xemacs.org>
1115
1116         * init.c (commands): Wrap the use of opt.random_file in #ifdef
1117         HAVE_SSL.
1118
1119 2005-04-28  Hrvoje Niksic  <hniksic@xemacs.org>
1120
1121         * http.c (gethttp): Correctly set the user agent.
1122
1123 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
1124
1125         * init.c (cmd_spec_useragent): Free the old value of
1126         opt.useragent before setting the new one.
1127
1128 2005-04-27  Mauro Tortonesi  <mauro@ferrara.linux.it>
1129
1130         * main.c: Map --ftp-password, --http-password and --proxy-password to
1131         the new ftppassword, httppassword and proxypassword commands
1132         respectively.  Document the --user and --password options in the help
1133         string.
1134         
1135 2005-04-27  Mauro Tortonesi  <mauro@ferrara.linux.it>
1136
1137         * ftp.c: Add support for --user and --password.
1138         
1139         * http.c: Add support for --user and --password.
1140         
1141         * init.c: Deprecated ftppasswd, httppasswd, login, passwd and
1142         proxypasswd commands.  Added ftppassword, ftpuser, httppassword,
1143         password, proxypassword and user commands.
1144
1145         * main.c: Renamed --ftp-passwd to --ftp-password.  Added --ftp-user,
1146         --http-password, --password, --proxy-password and --user.  Deprecated
1147         --http-passwd and --proxy-passwd.  Added documentation for new options
1148         and removed documentation for deprecated options in the help string.
1149         
1150         * options.h (struct options): Added user and passwd members to handle
1151         --user and --password respectively.  Renamed ftp_acc and ftp_pass
1152         members to ftp_user and ftp_passwd for consistency.
1153
1154 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
1155
1156         * main.c (print_help): Advertise "DER", not "ASN1".
1157
1158 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
1159
1160         * openssl.c (init_prng): Disable the weak random seed by default.
1161
1162         * http.c (gethttp): Simplify SSL initialization; disable SSL when
1163         anything goes wrong with the initialization.
1164
1165         * options.h (struct options): New option opt.random_file.
1166
1167 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
1168
1169         * init.c: Wrap private key commands in IF_SSL.
1170
1171 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
1172
1173         * openssl.c (ssl_init): Ditto.
1174
1175         * options.h (struct options): Allow separate specification of key
1176         type and certificate type.
1177
1178         * init.c (cmd_spec_cert_type): Provide a "der" synonym for "asn1"
1179         certificate encoding.
1180
1181 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
1182
1183         * openssl.c: Renamed "gen_sslfunc.c" to "openssl.c" and
1184         "gen_sslfunc.h" to "openssl.h".  This reflects the intent of
1185         openssl.c encapsulating the OpenSSL-specific code.
1186
1187 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
1188
1189         * init.c: Renamed "closure" (a synonym for context in some
1190         cultures) to "place", which more accurately reflects the usage.
1191
1192 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
1193
1194         * gen_sslfunc.c (ssl_init): Use default locations for loading the
1195         certificate bundles.
1196         (ssl_init_prng): Disable the cryptographically weak PRNG
1197         initialization fallback.
1198
1199         * init.c: Renamed SSL command-line arguments and wgetrc commands.
1200         (defaults): Check the server certificate by default.
1201
1202 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
1203
1204         * cookies.c (cookie_handle_set_cookie): Delete the part of the
1205         path after the trailing slash.
1206
1207         * http.c (gethttp): Call cookie_handle_set_cookie with path that
1208         begins with '/'.
1209
1210 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
1211
1212         * http.c (gethttp): Call skip_short_body only if keep_alive is in
1213         use.
1214         (gethttp): Send the User-Agent header with the CONNECT request as
1215         well.
1216
1217 2005-04-25  Hrvoje Niksic  <hniksic@xemacs.org>
1218
1219         * main.c (option_data): Removed support for the undocumented flag
1220         --use-proxy.
1221
1222 2005-04-25  Hrvoje Niksic  <hniksic@xemacs.org>
1223
1224         * main.c (option_data): Don't treat -Y as a boolean switch; treat
1225         it as a value switch instead, so "-Y off" continues to work.
1226
1227 2005-04-24  Hrvoje Niksic  <hniksic@xemacs.org>
1228
1229         * utils.c (aprintf): Delete unreachable statement.
1230
1231 2005-04-24  Hrvoje Niksic  <hniksic@xemacs.org>
1232
1233         * host.c (cmp_prefer_ipv4): New function.
1234         (cmp_prefer_ipv6): New function.
1235         (lookup_host): Use the appropriate comparator according to
1236         opt.prefer_family.
1237
1238         * init.c: New option prefer_family.
1239
1240         * host.c (is_valid_ipv6_address): Spell NS_* constants in lower
1241         case to avoid clash with system headers.
1242         (lookup_host): Reorder the addresses so that IPv4 ones come first.
1243
1244         * utils.c (stable_sort): New function.
1245
1246 2005-04-24  Hrvoje Niksic  <hniksic@xemacs.org>
1247
1248         * connect.c (retryable_socket_connect_error): Return 0 for
1249         ENETUNREACH and EHOSTUNREACH.
1250
1251 2005-04-23  Hrvoje Niksic  <hniksic@xemacs.org>
1252
1253         * cmpt.c: Reenable the memmove implementation for systems that
1254         lack it.
1255
1256         * http.c (gethttp): Store the "authorized" state of the persistent
1257         connection.
1258         (request_remove_header): New function.
1259         (gethttp): Don't send the "Basic" authentication if the connection
1260         is already authorized.
1261
1262 2005-04-23  Hrvoje Niksic  <hniksic@xemacs.org>
1263
1264         * utils.c (base64_encode): Treat input as unsigned chars.
1265         Required for correct encoding of binary stuff.
1266
1267 2005-04-23  Hrvoje Niksic  <hniksic@xemacs.org>
1268
1269         * http-ntlm.c: Format the function definitions in an
1270         ansi2knr-friendly fashion.
1271
1272 2005-04-22  Hrvoje Niksic  <hniksic@xemacs.org>
1273
1274         * http.c (gethttp): Handle multiple WWW-Authentication headers,
1275         only one of which is recognized.  Those are sent by IIS with NTLM
1276         authorization.
1277         (create_authorization_line): Propagate information whether
1278         authorization is finished.
1279         (gethttp): Only stop authorization when it's really finished, not
1280         after fixed two steps.
1281
1282 2005-04-21  Hrvoje Niksic  <hniksic@xemacs.org>
1283
1284         * gen_sslfunc.c (ssl_init): Fix warning message text; mark the
1285         message as translatable.
1286
1287 2005-04-21  Hrvoje Niksic  <hniksic@xemacs.org>
1288
1289         * main.c (print_help): Print the EGD option outside the cluster of
1290         SSL options.
1291
1292 2005-04-21  Hrvoje Niksic  <hniksic@xemacs.org>
1293
1294         * http-ntlm.c (ntlm_output): Fix setting the domain.
1295         Suggested by Sami Krank.
1296
1297 2005-04-20  Mauro Tortonesi  <mauro@ferrara.linux.it>
1298
1299         * connect.c: Set IPV6_V6ONLY socket option when -6 switch is used.
1300
1301 2005-04-20  FUJISHIMA Satsuki  <sf@FreeBSD.org>
1302
1303         * http.c (request_set_header): Fix the check whether a new header
1304         needs to be allocated.
1305
1306 2005-04-18  Hrvoje Niksic  <hniksic@xemacs.org>
1307
1308         * utils.c (base64_encode): Use the parameter order that makes more
1309         sense.  Return the length of the base64 written.  Updated all
1310         callers.
1311
1312 2005-04-17  Hrvoje Niksic  <hniksic@xemacs.org>
1313
1314         * http.c (request_set_header): Free NAME when VALUE is NULL and
1315         freeing the header name is requested.
1316
1317 2005-04-17  Hrvoje Niksic  <hniksic@xemacs.org>
1318
1319         * snprintf.c (fmtstr): Declare VALUE as const char *.
1320         Based on patch by Russ Allbery.
1321
1322 2005-04-17  Hrvoje Niksic  <hniksic@xemacs.org>
1323
1324         * snprintf.c (fmtfp): More correct handling of significant digit
1325         count with %g -- 0.002 has one significant digit, not three.
1326
1327 2005-04-16  Hrvoje Niksic  <hniksic@xemacs.org>
1328
1329         * retr.c (fd_read_body): Respect read timeout with non-interactive
1330         or no progress gauge -- treat ETIMEDOUT specially only when
1331         progress_interactive.
1332         Reported by FUJISHIMA Satsuki.
1333
1334 2005-04-16  FUJISHIMA Satsuki  <sf@FreeBSD.org>
1335
1336         * http.c (gethttp): Don't use HTTP/1.0 persistent connections over
1337         proxy.
1338
1339 2005-04-16  Hrvoje Niksic  <hniksic@xemacs.org>
1340
1341         * snprintf.c: Use the PARAMS macro to handle prototypes.  Write
1342         function definitions in the ansi2knr-friendly way.
1343         (fmtstr): If string precision is specified, don't read VALUE past
1344         it.
1345         (dopr): Actually print %g and %e formats.
1346         (fmtfp): Fix a bug that caused 0.01 to be printed as 0.1.
1347         (fmtfp): Use LLONG in floating point conversions to be able to
1348         convert more digits.
1349         (fmtfp): Interpret precision as number of significant digits with
1350         %g.
1351         (fmtfp): Omit trailing decimal zeros with %g.
1352
1353         * snprintf.c: Don't include <ctype.h> because none of it is used.
1354         Include strings.h/string.h, as per Autoconf.
1355
1356 2005-04-15  Hrvoje Niksic  <hniksic@xemacs.org>
1357
1358         * ptimer.c: Use _POSIX_TIMERS - 0 > 0, which handles the case when
1359         _POSIX_TIMERS is defined but empty, as well as the case when it is
1360         undefined.  Do the same with the check for _POSIX_MONOTONIC_CLOCK.
1361         Suggested by Larry Jones.
1362
1363 2005-04-15  Hrvoje Niksic  <hniksic@xemacs.org>
1364
1365         * ptimer.c: Check that _POSIX_TIMERS is defined as well as > 0.
1366         Problem reported by Steven M. Schweda.
1367
1368 2005-04-14  Hrvoje Niksic  <hniksic@xemacs.org>
1369
1370         * http.c (skip_short_body): Print the skipped body data in debug
1371         mode.
1372         (skip_short_body): Don't skip more than 4k of body data.
1373         (skip_short_body): Return whether the skipping was successful.
1374         (gethttp): If skip_short_body failed, invalidate the connection.
1375
1376 2005-04-12  Gisle Vanem  <giva@bgnett.no>
1377
1378         * ftp.c (getftp): Ditto.
1379
1380         * http.c (gethttp): Open the output file in binary mode.
1381
1382 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
1383
1384         * hash.c: Conditionalize including config.h on HAVE_CONFIG_H
1385         instead of on STANDALONE.
1386
1387 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
1388
1389         * gen_sslfunc.c (ssl_print_errors): Made static.
1390         (ssl_print_errors): Eliminate potentially dangerous fixed-size
1391         error buffer.  Passing NULL to ERR_error_string causes it to use
1392         its own static buffer, which is fine for our purposes.
1393
1394         * gen_sslfunc.c: Include gen_sslfunc.h.  Make the declarations of
1395         ssl_init and ssl_conect match the actual definitions.
1396         (ssl_connect): Simply return a boolean, the SSL context is no
1397         longer useful as a return value.
1398
1399         * retr.c: Don't include SSL headers; we don't need them.
1400
1401 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
1402
1403         * config-post.h: Don't define _VA_LIST under Solaris; it breaks
1404         compilation with GCC 3.4 under Solaris 10.  (It was defined to
1405         avoid a warning with previous versions of GCC.)
1406
1407 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
1408
1409         * xmalloc.c (register_ptr): Warn the user to increase SZ prior to
1410         aborting.
1411
1412 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
1413
1414         * convert.c (convert_cleanup): Free converted_files.
1415
1416 2005-04-10  Hrvoje Niksic  <hniksic@xemacs.org>
1417
1418         * wget.h (DEBUGP): Use __builtin_expect to give a hint to GCC that
1419         opt.debug is false in the vast majority of cases.
1420
1421 2005-04-10  Hrvoje Niksic  <hniksic@xemacs.org>
1422
1423         * config-post.h: Declare alloca as void *, not char *.
1424
1425 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
1426
1427         * recur.c (download_child_p): When -p is used, (temporarily)
1428         ignore accept/reject rules for HTMLs, even when they are at the
1429         maximum recursion depth.  That is because with -p we are, if
1430         necessary, overstepping the max. depth to get the requisites.
1431
1432 2004-06-12  Larry Jones <lawrence.jones@ugsplm.com>
1433
1434         * recur.c (download_child_p): Correct the logic in check number 6:
1435         test opt.reclevel (not DEPTH) against INFINITE_RECURSION.
1436
1437 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
1438
1439         * url.c: Use "static const" in preference to "const static".
1440         Sun's cc warns that "storage class after type is obsolescent".
1441
1442         * url.c (urlchr_table): Don't mark ~ as unsafe, too many broken
1443         web sites are confused when ~ is changed to %7E.  Their servers
1444         redirect /%7Efoo/ to /~foo/, which Wget again accesses using %7E,
1445         causing further redirections, therefore looping infinitely.  See
1446         Debian bug #301624 for an example.
1447
1448 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
1449
1450         * alloca.c: Include wget.h to be able to use xmalloc.  In addition
1451         to defining malloc to xmalloc, also define free to xfree.
1452
1453 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
1454
1455         * http-ntlm.c (ntlm_output): Use "char", not "unsigned char" for
1456         ntlmbuf.  Our base64 functions accept char anyway.
1457         (ntlm_output): Join up the format string, since we nominally
1458         support K&R compilers.
1459         (ntlm_output): Ditto.
1460
1461 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
1462
1463         * ptimer.c: Use Windows timers under Cygwin, whose POSIX timer
1464         implementation is incomplete.
1465
1466 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
1467
1468         * ptimer.c (struct ptimer): Remove the unused initialized field.
1469
1470         * ptimer.c: Renamed function parameters from WT (which used to
1471         stand for wget_timer or wtimer) to PT.
1472
1473 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
1474
1475         * ptimer.c (posix_init): Be smarter about choosing clocks.  In
1476         decreasing order of preference, use CLOCK_MONOTONIC,
1477         CLOCK_HIGHRES, and CLOCK_REALTIME.
1478         (ptimer_allocate): Removed.
1479
1480         * ptimer.c: Refactor the code by cleanly separating the
1481         architecture-dependent code from the architecture-independent
1482         code.
1483
1484 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
1485
1486         * ptimer.c (ptimer_init): Explicitly check that
1487         _POSIX_MONOTONIC_CLOCK is *both* defined and >=0.  (Undefined
1488         symbols are >=0.)
1489
1490 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
1491
1492         * ptimer.c (ptimer_diff): Fix typo affecting Windows build.
1493
1494 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
1495
1496         * ptimer.c (ptimer_init): In fact, _POSIX_MONOTONIC_CLOCK needs to
1497         be >= 0.
1498
1499         * ptimer.c (ptimer_init): Check whether _POSIX_MONOTONIC_CLOCK is
1500         defined instead of whether it's greater than 0.  glibc defines it
1501         to 0, but still makes it available via sysconf.
1502
1503 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
1504
1505         * mswindows.c (str_to_int64): Rename OVERFLOW and UNDERFLOW to
1506         INT64_OVERFLOW and INT64_UNDERFLOW, since those names are used.
1507
1508 2005-04-07  Hrvoje Niksic  <hniksic@xemacs.org>
1509
1510         * ptimer.c: New file.  Move the "wtimer" functions from utils.c to
1511         this file and rename them to ptimer_.
1512
1513 2005-04-07  Hrvoje Niksic  <hniksic@xemacs.org>
1514
1515         * host.c (NO_ADDRESS): Define NO_ADDRESS only after the system
1516         headers have been included.
1517
1518 2005-04-06  Hrvoje Niksic  <hniksic@xemacs.org>
1519
1520         * http.c (pconn): Include NTLM data, which is per-connection.
1521         (known_authentication_scheme_p): Recognize NTLM authorization.
1522         (create_authorization_line): Call ntlm_input and ntlm_output.
1523
1524         * http-ntlm.c: New file, donated by Daniel Stenberg and originally
1525         written for curl, heavily modified for Wget.
1526
1527         * utils.c (base64_encode): Relocated from http.c, since it is now
1528         used by http-ntlm.c, and will possibly be used elsewhere.
1529         (base64_decode): New function, originally based on code from GNU
1530         recode.
1531
1532 2005-04-02  Hrvoje Niksic  <hniksic@xemacs.org>
1533
1534         * ftp.c (ftp_loop): Ditto.
1535
1536         * ftp-basic.c (ftp_pasv): Use the xzero shorthand for memset(0).
1537         (ftp_lpsv): Ditto.
1538
1539 2005-04-05  Mauro Tortonesi  <mauro@ferrara.linux.it>
1540
1541         * Makefile.in: removed string_t.c from list of source files.
1542
1543 2005-04-04  Mauro Tortonesi  <mauro@ferrara.linux.it>
1544
1545         * string_t.c: Removed.
1546         
1547         * string_t.h: Removed.
1548
1549 2005-04-02  Hrvoje Niksic  <hniksic@xemacs.org>
1550
1551         * url.c (rewrite_shorthand_url): Only accept recognized schemes.
1552         That way "foo:80" will correctly be rewritten to "http://foo:80"
1553         instead of left unchanged and ultimately rejected because of
1554         "unsupported scheme foo".
1555
1556 2005-03-31  Hrvoje Niksic  <hniksic@xemacs.org>
1557
1558         * utils.c (number_to_string): Avoid explicit 64-bit constants;
1559         construct them by multiplication at compile-time.
1560
1561         * utils.c, elsewhere: Don't append "L" to 32-bit integer
1562         constants; we aren't really compilable on 16-bit systems anyway.
1563
1564         * hash.c (prime_size): Remove primes larger than 2^31, but include
1565         2^31-1, which is prime.
1566
1567 2005-03-30  Hrvoje Niksic  <hniksic@xemacs.org>
1568
1569         * utils.c (string_set_to_array): New function.
1570
1571         * convert.c: Replace the use of "slists" with sets/hash-tables,
1572         which in fact suit the intended purpose much better.
1573         downloaded_html_list is removed altogether.
1574
1575 2005-03-29  Hrvoje Niksic  <hniksic@xemacs.org>
1576
1577         * ftp.h (enum): Rename GLOBALL, GETALL, and GETONE to
1578         GLOB_GLOBALL, GLOB_GETALL, and GLOB_GETONE to avoid conflict with
1579         Linux headers.
1580
1581 2005-03-29  Hrvoje Niksic  <hniksic@xemacs.org>
1582
1583         * utils.c (numdigit): More correct handling of negative numbers.
1584
1585 2005-03-21  Hrvoje Niksic  <hniksic@xemacs.org>
1586
1587         * http.c (gethttp): Print the human-readable size.
1588
1589         * ftp.c (getftp): Print the human-readable size of the file to be
1590         downloaded.
1591
1592         * utils.c (human_readable): New function.
1593
1594         * utils.c: Renamed "legible" to "with_thousand_seps",
1595         "legible_large_int" to "with_thousand_seps_large", and "legible_1"
1596         to "add_thousand_seps".
1597
1598 2005-03-21  Hrvoje Niksic  <hniksic@xemacs.org>
1599
1600         * http.c (gethttp): Inhibit persistent connections when talking to
1601         proxies, as mandated by RFC 2068.
1602
1603 2005-03-20  Hrvoje Niksic  <hniksic@xemacs.org>
1604
1605         * url.c (unescape_single_char): New function.
1606         (url_escape_dir): Use it to unescape slashes in directory
1607         components.
1608         (url_string): Escape unsafe chars in host name, except for the ':'
1609         charaters, which can appear in IPv6 addresses.
1610
1611         * main.c (main): Don't access the cookie jar directly.
1612
1613         * log.c (escnonprint_internal): Correctly calculate the needed
1614         string size.  Don't forget the buffer's new size after having
1615         reallocated it.
1616         (log_cleanup): New function.  Free the escnonprint ring data.
1617
1618         * init.c (cleanup): Don't free the cookie jar explicitly, it is
1619         now done by http_cleanup.
1620         (cleanup): opt.user_headers is now a vector, free it with
1621         free_vec.
1622
1623         * http.c (gethttp): Make sure to free the request data, the status
1624         message, and the response data before returning from the function.
1625         (save_cookies): New function.
1626         (http_cleanup): Free the cookie jar here.
1627
1628         * hash.c: Renamed string_hash to hash_string and ptrhash to
1629         hash_pointer.  Exported hash_pointer.
1630
1631         * xmalloc.c: Organized malloc_table (previously malloc_debug) as a
1632         simple EQ hash table.  register_ptr and unregister_ptr are now of
1633         O(1) complexity.
1634
1635         * xmalloc.c: Renamed "*_debug" to debugging_* and "*_real" to
1636         checking_*.
1637
1638 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
1639
1640         * utils.c (debug_test_md5): Moved to gen-md5.c.
1641
1642         * mswindows.h: Don't declare inet_ntop, since we don't use it.
1643
1644         * mswindows.h: For consistency, also wrap closesocket, it being
1645         a Winsock call.
1646
1647         * mswindows.h: Don't declare sleep and usleep; we're defining
1648         xsleep now.
1649
1650         * mswindows.h (mkdir): Don't special-case Borland C, _mkdir
1651         works there as well.
1652
1653         * host.c: Don't include winsock header files; the correct ones
1654         are already included by mswindows.h.
1655
1656         * mswindows.c (xsleep): Round toward the nearest millisecond
1657         in an attempt to avoid average short sleeps.
1658
1659         * utils.c (wtimer_granularity): Report correct values for
1660         Windows timers and for high-resolution timers.
1661
1662         * utils.c (wtimer_initialize_once): New function, called to
1663         initialize the timer frequency.
1664
1665         * utils.c: Replace the use of GetSystemTime with high-resolution
1666         counters under Windows.  When high-resolution counters are
1667         unavailable, use GetTickCount().
1668
1669 2005-03-15  Hrvoje Niksic  <hniksic@xemacs.org>
1670
1671         * retr.c (fd_read_body): Undo the 2004-11-18 change.  Instead,
1672         always be "exact".
1673
1674 2005-03-17  Hrvoje Niksic  <hniksic@xemacs.org>
1675
1676         * ftp-basic.c (ftp_login): Don't free the string if ftp_response
1677         returned an error status because the line didn't get allocated in
1678         the first place.
1679
1680 2005-03-15  Hrvoje Niksic  <hniksic@xemacs.org>
1681
1682         * http.c (read_http_response_head): Limit the response size to 64k
1683         bytes.
1684
1685         * retr.c (fd_read_hunk): Accept a MAXSIZE argument that limits the
1686         number of bytes the function is allowed to allocate.
1687         (fd_read_line): Limit the line to 4096 bytes.
1688
1689 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
1690
1691         * wget.h: Include options.h after wgint has been defined.
1692
1693         * options.h (struct options): Declare options processed with
1694         cmd_bytes as wgint, not long.
1695
1696 2005-03-18  Hrvoje Niksic  <hniksic@xemacs.org>
1697
1698         * init.c (cmd_file): Use concat_strings.
1699
1700         * http.c (basic_authentication_encode): Use concat_strings.
1701
1702         * ftp-ls.c (ftp_index): Use concat_strings.
1703
1704         * ftp-basic.c (ftp_request): Use concat_strings.
1705
1706         * utils.c (concat_strings): New function.
1707
1708 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
1709
1710         * init.c (simple_atof): Handle negative numbers; skip whitespace
1711         before the number.
1712         (simple_atoi): Ditto.  Also, check for overflow and underflow.
1713         (cmd_number): Bail out on negative numbers.
1714         (parse_bytes_helper): Ditto.
1715
1716 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
1717
1718         * http.c (gethttp): Handle multiple Set-Cookie headers sent by
1719         remote server.
1720
1721 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
1722
1723         * init.c (defaults): Use passive FTP by default.
1724
1725 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
1726
1727         * mswindows.c: Provide wrappers to Winsock functions that set
1728         errno to WSAGetLastError() in case of failure.  Also provide a
1729         Windows-specific version of strerror.
1730
1731         * mswindows.h: Wrap calls to socket, bind, connect, recv, send,
1732         select, getsockname, getpeername, and setsockopt.
1733
1734 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
1735
1736         * url.c (url_parse): Reject port numbers larger than 65535.  We
1737         also check for overflow while parsing port numbers.
1738
1739 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
1740
1741         * utils.c (read_file): Don't use wgint for file size; LFS won't
1742         work since the file is mmap'ed as a whole.
1743
1744         * options.h: Don't include stdio.h.
1745
1746         * log.c: Ditto.
1747
1748         * init.c: Disambiguate assignment from non-zero test to avoid
1749         Borland C warning.
1750
1751         * http.c (response_new): Don't needlessly post-increment count.
1752
1753         * hash.c: Include stdio.h.
1754
1755         * gnu-md5.h: Don't include stdio.h.
1756
1757         * getopt.h (struct option): Always use const.
1758
1759         * ftp.c (getftp): Avoid unnecessary assignment to RES to avoid
1760         Borland C warning.
1761
1762         * ftp-ls.c: Disambiguate assignment from non-zero test to avoid
1763         Borland C warning.
1764
1765         * cmpt.c (strptime_internal): Don't initialize rp_backup when
1766         !_NL_CURRENT to avoid Borland C warning.
1767
1768 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
1769
1770         * utils.c (fopen_excl): Fix parse error when O_BINARY is
1771         available.
1772
1773 2005-03-05  Hrvoje Niksic  <hniksic@xemacs.org>
1774
1775         * url.c (url_file_name): Don't allow hosts named ".." to be
1776         appended as path elements.
1777
1778 2005-03-03  Hrvoje Niksic  <hniksic@xemacs.org>
1779
1780         * retr.c (retrieve_url): Escape location header.
1781
1782         * http.c (print_server_response_1): Escape server response when
1783         printing it.
1784         (gethttp): Escape host name, status message, location header, and
1785         content type.
1786         (http_loop): Escape error message from server.
1787
1788         * host.c (lookup_host): Escape host name when printing it.
1789
1790         * ftp.c (getftp): Escape user name when printing it.
1791         (getftp): Escape remote file and directory for printing.
1792         (getftp): Escape server listing when printing it.
1793         (ftp_retrieve_list): Escape link name and file name.
1794         (ftp_retrieve_glob): Escape file name.
1795
1796         * ftp-basic.c (ftp_response): Escape server response when printing
1797         it.
1798
1799         * cookies.c (parse_set_cookies): Escape the cookie field when
1800         printing it.
1801         (parse_set_cookies): Escape contents of remote header.
1802         (cookie_handle_set_cookie): Escape host name and cookie domain.
1803
1804         * connect.c (connect_to_ip): Escape the host name.
1805
1806         * log.c (escnonprint): New function, used for printing strings
1807         coming from the server that possibly contain non-ASCII characters.
1808         (escnonprint_uri): Ditto.
1809
1810 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
1811
1812         * ftp.c (getftp): Ditto.
1813
1814         * http.c (gethttp): When we're not supposed to overwrite files,
1815         use fopen_excl to open the file and recompute the file name.
1816
1817         * log.c (redirect_output): Use unique_create to avoid a race
1818         condition.
1819
1820         * mswindows.c (fake_fork_child): Use unique_create.
1821
1822         * utils.c (fopen_excl): New function that opens a stdio stream
1823         with the O_EXCL flag (where available).
1824         (unique_create): New function, like unique_name, but also creating
1825         the file and returning a file pointer.
1826         (fork_to_background): Use unique_create to create the file
1827         immediately to avoid race condition with multiple instances of
1828         wget -b.
1829
1830 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
1831
1832         * host.c (lookup_host): Test for AI_ADDRCONFIG directly, instead
1833         of checking for HAVE_GETADDRINFO_AI_ADDRCONFIG.
1834
1835 2005-02-23  Hrvoje Niksic  <hniksic@xemacs.org>
1836
1837         * host.c (is_valid_ipv6_address): Move here from url.c.
1838         (lookup_host): If the address is numeric, don't print the
1839         "resolving..." line, don't set up DNS timeouts, and set the
1840         AI_NUMERICHOST hint, where available.
1841
1842 2005-02-26  Gisle Vanem  <giva@bgnett.no>
1843
1844         * utils.c: Use the nnnLL syntax under GCC.  Define struct_stat to
1845         struct _stati64 under __MINGW32__ as well as under MS VC.
1846
1847 2005-02-26  Hrvoje Niksic  <hniksic@xemacs.org>
1848
1849         * utils.c: Use the nnnI64 syntax for __int64 constants under all
1850         Windows compilers.
1851         (SPRINTF_WGINT): Use "%I64" under all Windows compilers.
1852
1853         * mswindows.h (WGINT_MAX): Use the nnnI64 syntax for
1854         __int64 constants under all Windows compilers.
1855         (struct_stat): Use `struct stati64' under Borland C.
1856         (fstat): Don't redefine to _fstati64 under Borland.
1857
1858         * mswindows.c: Define str_to_int64 under Borland C as well as
1859         under (older) Visual C.
1860
1861 2005-02-25  Hrvoje Niksic  <hniksic@xemacs.org>
1862
1863         * ftp.c (getftp): Initialize err to suppress compiler warning.
1864
1865 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
1866
1867         * ftp.c (ftp_expected_bytes): Fix bug that caused infloop because
1868         of not correctly skipping the '(' character.
1869
1870 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
1871
1872         * mswindows.c (wget_ftello): Removed.
1873
1874         * mswindows.h: Remove bogus definition of stat.
1875         (wget_ftello): Remove the leftover ftello replacement.
1876
1877 2005-02-20  Hrvoje Niksic  <hniksic@xemacs.org>
1878
1879         * mswindows.c (wget_ftello): Wget's replacement for ftello.
1880
1881         * utils.c (file_size): Use ftello where available.
1882
1883         * ftp-ls.c (ftp_parse_unix_ls): Use str_to_wgint to parse the file
1884         size.
1885         (ftp_parse_winnt_ls): Ditto.
1886
1887         * ftp-basic.c (ftp_size): Use str_to_wgint to convert number to
1888         wgint; pass 10 instead of 0 as the BASE argument.
1889
1890         * ftp.c (ftp_expected_bytes): Use str_to_wgint to parse the file
1891         size.
1892
1893         * sysdep.h (LARGE_INT_FMT): Use __int64 as LARGE_INT on
1894         MSVC/Windows; print it with "%I64".
1895
1896         * wget.h: Define a `wgint' type, normally aliased to (the possibly
1897         64-bit variant of) off_t.
1898
1899         * all: Use `wgint' instead of `long' for numeric variables that
1900         can hold file sizes.
1901
1902         * utils.c (number_to_string): Support printing of `wgint'
1903         argument.
1904         (number_to_static_string): New function.
1905
1906         * all: Replace printf("%ld", long_value) with printf("%s",
1907         number_to_static_string(wgint_value)).
1908
1909 2005-02-18  Mauro Tortonesi <mauro@ferrara.linux.it>
1910
1911         * main.c: Added the --ftp-passwd command line option.
1912
1913         * init.c: Renamed command passwd to ftppasswd.
1914
1915 2005-02-11  Mauro Tortonesi <mauro@ferrara.linux.it>
1916         
1917         * string_t.c: Fixed a bug in do_escape and triggered escape of
1918         backslashes in string_escape to avoid ambiguities in the result
1919         string.
1920         
1921 2005-02-10  Mauro Tortonesi <mauro@ferrara.linux.it>
1922
1923         * string.h: Renamed to string_t.h to fix a compilation conflict 
1924         with the string.h header in the standard C library.
1925         
1926         * string.c: Renamed to string_t.c for consistency with string.h.
1927         
1928         * string_t.c: Ditto.
1929
1930         * string_t.h: Ditto.
1931         
1932 2004-12-31  Mauro Tortonesi <mauro@ferrara.linux.it>
1933
1934         * string.c: New file.
1935
1936         * string.h: New file.
1937
1938         * Makefile.in: Added string.c to the list of modules to compile.
1939
1940         * main.c: Updated copyright.
1941
1942 2004-11-18  Ulf Harnhammar <ulf.harnhammar.9485@student.uu.se>
1943
1944         * ftp-ls.c: Fixed a problem in ftp_parse_winnt_ls that could allow a
1945         malicious remote FTP server to crash wget.
1946
1947 2004-11-18  Hans-Andreas Engel <engel@node.ch>
1948
1949         * http.c: Enable --convert-links (-k) when a single page is downloaded
1950         via --output-document (-O).
1951
1952 2004-11-18  Mauro Tortonesi <mauro@deepspace6.net>
1953
1954         * connect.c: Minor correction to the comment in front of fd_peek.
1955
1956 2004-11-18  Leonid Petrov <nouser@lpetrov.net>
1957
1958         * retr.c: Fix a timeout problem in fd_read_body when using http_proxy.
1959
1960 2004-11-15  YAMAZAKI Makoto <Yamazaki.Makoto@fujixerox.co.jp>
1961
1962         * netrc.c: Fix termination by assertion bug in netrc parsing.
1963
1964 2004-05-09  David Fritz  <zeroxdf@att.net>
1965
1966         * mswindows.c (fake_fork): Pass entire command line to the child
1967         process.
1968
1969 2004-03-31  Hrvoje Niksic  <hniksic@xemacs.org>
1970
1971         * http.c (gethttp): Fix typo: SCHEME_SSL -> SCHEME_HTTPS.
1972
1973 2004-03-30  Hrvoje Niksic  <hniksic@xemacs.org>
1974
1975         * http.c (gethttp): Send the Proxy-Authorization header over
1976         non-SSL connections too.
1977
1978 2004-03-25  David Fritz  <zeroxdf@att.net>
1979
1980         * mswindows.c (fake_fork_child): Ignore error code when
1981         OpenFileMapping() fails; assume it failed because the object does
1982         not exist.
1983
1984 2004-03-24  David Fritz  <zeroxdf@att.net>
1985
1986         * mswindows.c (fake_fork): New function.
1987
1988         * mswindows.c (fork_to_background): Use it.
1989
1990 2004-03-19  David Fritz  <zeroxdf@att.net>
1991
1992         * mswindows.c (ws_hangup): Incorporate old fork_to_background()
1993         code.  Add event name argument.
1994         (fork_to_backgorund): Now a simple wrapper around ws_hangup().
1995         (ws_handler): Correctly handle the case when neither CTRLC_BACKGND
1996         nor CTRLBREAK_BACKGND are defined.  Don't bother handling close,
1997         logoff, or shutdown events.  Call ws_hangup() with the correct
1998         event name; don't assume it was CTRL+Break.
1999
2000 2004-03-19  Hrvoje Niksic  <hniksic@xemacs.org>
2001
2002         * url.c (url_parse): Decode %HH sequences in host name.
2003
2004 2004-03-04  Hrvoje Niksic  <hniksic@xemacs.org>
2005
2006         * convert.c (local_quote_string): Quote "#" as "%23" and "%" as
2007         "%25" when creating links to local files.
2008
2009 2004-03-02  David Fritz  <zeroxdf@att.net>
2010
2011         * mswindows.c (ws_percenttitle): Guard against future changes by
2012         doing nothing if the proper variables have not been initialized.
2013         Clamp percentage value.
2014
2015 2004-03-04  Gisle Vanem  <giva@bgnett.no>
2016
2017         * retr.c (fd_read_body): Don't change console title if quiet.
2018
2019 2004-02-25  David Fritz  <zeroxdf@att.net>
2020
2021         * mswindows.c (set_sleep_mode): Remove argument and return value.
2022         Call GetModuleHandle() instead of LoadLibrary()/FreeLibrary() for
2023         kernel32.dll.  Use typedef for function-pointer.  Don't cast
2024         l-value.  Don't use dereference operator when calling through
2025         function-pointer.
2026         (ws_startup): Update call to set_sleep_mode().
2027         (ws_cleanup): Remove call to set_sleep_mode().
2028
2029 2004-02-23  David Fritz  <zeroxdf@att.net>
2030
2031         * http.c (http_loop): Ditto.
2032
2033         * ftp.c (ftp_loop_internal): Update call to ws_changetitle().
2034
2035         * main.c (main): Don't bother calling ws_changetitle().
2036
2037         * mswindows.h (ws_changetitle): Update prototype.
2038
2039         * mswindows.c (ws_changetitle): Remove second argument.  Use
2040         xfree_null().
2041         (ws_percenttitle): Only update title when percentage has changed.
2042
2043 2004-02-23  David Fritz  <zeroxdf@att.net>
2044
2045         * mswindows.h: Ditto.
2046
2047         * mswindows.c: Misc. formatting/comment tweaks throughout.
2048
2049 2004-02-20  David Fritz  <zeroxdf@att.net>
2050
2051         * main.c (print_help): Remove call to ws_help().
2052
2053         * mswindows.c (ws_help): Remove.
2054
2055         * mswindows.h (ws_help): Remove.
2056
2057 2004-02-16  David Fritz  <zeroxdf@att.net>
2058
2059         * init.c (home_dir): Use aprintf() instead of xmalloc()/sprintf().
2060         Under Windows, if $HOME is not defined, use the directory that
2061         contains the Wget binary instead of hard-coded `C:\'.
2062         (wgetrc_file_name): Under Windows, look for $HOME/.wgetrc then, if
2063         not found, look for wget.ini in the directory of the Wget binary.
2064
2065         * mswindows.c (ws_mypath): Employ slightly more robust methodology.
2066         Strip trailing path separator.
2067
2068 2004-02-06  Hrvoje Niksic  <hniksic@xemacs.org>
2069
2070         * http.c (gethttp): Respect --ignore-length.
2071         (gethttp): Inhibit keep-alive if --ignore-length is specified.
2072
2073 2004-02-06  Hrvoje Niksic  <hniksic@xemacs.org>
2074
2075         * connect.c (sockaddr_set_data): Zero out
2076         sockaddr_in/sockaddr_in6.  Apparently BSD-derived stacks need this
2077         when binding a socket to local address.
2078
2079 2004-02-04  Hrvoje Niksic  <hniksic@xemacs.org>
2080
2081         * hash.c: Make the file compilable outside Wget source tree when
2082         -DSTANDALONE is used.
2083
2084 2004-01-29  Hrvoje Niksic  <hniksic@xemacs.org>
2085
2086         * utils.c (determine_screen_width): Return 0 if not running on
2087         Windows or on a TIOCGWINSZ-capable system.
2088
2089 2004-01-28  David Fritz  <zeroxdf@att.net>
2090
2091         * utils.c (determine_screen_width): Correctly determine console
2092         width under Windows.
2093
2094 2004-01-28  Christian Biere  <christianbiere@gmx.de>
2095
2096         * progress.c (bar_set_params): Fixed syntax error when HAVE_ISATTY
2097         was undefined.
2098
2099         * ftp.c (ftp_loop_internal): Allocate a larger buffer in case
2100         "try" gets translated to something large.  Ditto in http_loop in
2101         http.c.
2102
2103         * http.c (response_header_copy): Don't write to buf[BUFSIZE].
2104
2105         * ftp-opie.c (skey_response): Eliminate unnecessary string
2106         concatenation; just call gen_md5_update twice.
2107
2108 2004-01-25  Hrvoje Niksic  <hniksic@xemacs.org>
2109
2110         * utils.c (xsleep): Don't call usleep with values larger than
2111         1,000,000.
2112
2113 2003-12-16  Hrvoje Niksic  <hniksic@xemacs.org>
2114
2115         * http.c (gethttp): Fix generation of `Content-Length'.
2116
2117 2003-12-15  Gisle Vanem  <giva@bgnett.no>
2118
2119         * url.c (url_skip_credentials): Fixed return value; 'url' if no
2120         credentials.
2121
2122 2003-12-14  Hrvoje Niksic  <hniksic@xemacs.org>
2123
2124         * url.c (url_skip_credentials): Return a pointer directly.
2125
2126 2003-12-14  Hrvoje Niksic  <hniksic@xemacs.org>
2127
2128         * url.c (url_file_name): Ditto.
2129         (parse_errors): Ditto.
2130
2131         * retr.c (retr_rate): Ditto.
2132
2133         * progress.c (create_image): Ditto.
2134
2135         * netrc.c (parse_netrc): Ditto.
2136
2137         * main.c (struct cmdline_option): Ditto.
2138         (redirect_output_signal): Ditto.
2139
2140         * init.c (commands): Ditto.
2141
2142         * ftp-ls.c (ftp_index): Ditto.
2143
2144         * cookies.c (check_domain_match): Declare the pointer to a literal
2145         string as `const'.
2146
2147 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
2148
2149         * retr.c (fd_read_body): Pass total size to progress_create, not
2150         the remaining amount.
2151
2152 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
2153
2154         * retr.c (fd_read_body): Don't fiddle with "interactive timeout"
2155         if read timeout is unset.
2156
2157 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
2158
2159         * connect.c (bind_local): Don't set the IPV6_V6ONLY option on the
2160         socket.
2161
2162 2003-12-06  Hrvoje Niksic  <hniksic@xemacs.org>
2163
2164         * url.c (url_file_name): Respect the setting of
2165         opt.protocol_directories.
2166
2167         * main.c (main): Only check for ret=='?' when longindex is unset.
2168         (option_data): New option --protocol-directories.
2169
2170 2003-12-06  Hrvoje Niksic  <hniksic@xemacs.org>
2171
2172         * ftp.c (getftp): Ditto.
2173
2174         * http.c (gethttp): Correctly calculate bandwidth as total data
2175         read divided with download time.
2176
2177         * retr.c (fd_read_body): Separate the return values for data
2178         written and read.
2179
2180 2003-12-05  Hrvoje Niksic  <hniksic@xemacs.org>
2181
2182         * http.c (H_REDIRECTED): Respect the HTTP/1.1 "303 See Other"
2183         response code.
2184         Suggested by Dan Razzell.
2185
2186 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
2187
2188         * retr.c (fd_read_body): Report the amount of data *written* as
2189         amount_read.  This is not entirely logical, but that's what the
2190         callers expect, and it's not easy to change.
2191
2192         * ftp.c (ftp_loop_internal): Ditto.
2193
2194         * http.c (http_loop): Be smarter about assigning restval; if we're
2195         in the nth pass of a download, simply use the information we have
2196         about how much data has been retrieved as restval.
2197
2198         * ftp.c (getftp): Ditto for FTP "REST" command.
2199
2200         * http.c (gethttp): When the server doesn't respect range, skip
2201         the first RESTVAL bytes of the read body.  Never truncate the
2202         output file.
2203
2204         * retr.c (fd_read_body): Support skipping initial STARTPOS octets.
2205
2206 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
2207
2208         * http.c (skip_short_body): Renamed skip_body to skip_short_body;
2209         don't bother calling fd_read_body.
2210
2211 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
2212
2213         * retr.c (fd_read_body): Sanitize arguments and document them
2214         better.  Make sure the timer is created and updated only if
2215         necessary.  Updated callers.
2216
2217 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
2218
2219         * http.c (skip_body): New function.
2220         (gethttp): Use it to skip the body of the responses we don't care
2221         to download.  That allows us to reuse the connection.
2222         (gethttp): Trust that the HEAD requests will not generate body
2223         data.
2224
2225         * retr.c (fd_read_body): Don't write to OUT if it's NULL.
2226
2227 2003-11-29  Hrvoje Niksic  <hniksic@xemacs.org>
2228
2229         * http.c (gethttp): Initialize SSL only the first time when SSL
2230         URL is downloaded.
2231
2232 2003-11-29  Hrvoje Niksic  <hniksic@xemacs.org>
2233
2234         * cookies.c (cookie_header): Only generate the contents of the
2235         header, not the leading "Cookie: " or the trailing "\r\n".
2236
2237         * http.c (gethttp): When adding headers specified with `--header',
2238         allow them to override the headers generated by Wget.
2239
2240         * init.c (cmd_spec_header): Made opt.user_headers a vector.
2241
2242         * http.c (request_new): New function.  Returns a request structure
2243         which can be modified in various ways, most notably by adding HTTP
2244         headers to the request.
2245         (request_set_header): New function for adding the header to the
2246         request.  If the header is already available, it gets replaced.
2247         (request_send): Construct and send the request.
2248         (gethttp): Use the request_* functions to generate the request.
2249
2250 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
2251
2252         * http.c (gethttp): Don't include the Proxy-Authorization header
2253         in the request tunneled through proxy.
2254
2255 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
2256
2257         * http.c (gethttp): Use the CONNECT handle to establish SSL
2258         passthrough through non-SSL proxies.
2259
2260 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
2261
2262         * init.c: Don't #include netinet/Winsock stuff.
2263
2264 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
2265
2266         * http.c: Deleted the old functions header_process,
2267         header_extract_number, header_exists, header_strdup,
2268         http_process_range, http_process_none, http_process_type, and
2269         http_process_connection.
2270
2271         * http.c (response_new): New function.
2272         (response_header_bounds): Ditto.
2273         (response_header_copy): Ditto.
2274         (response_header_strdup): Ditto.
2275         (response_status): Ditto.
2276         (gethttp): Use the new response_* functions to parse the response.
2277         Support HTTP/0.9 responses.
2278
2279 2003-11-27  Hrvoje Niksic  <hniksic@xemacs.org>
2280
2281         * progress.c (create_image): Don't calculate ETA if nothing has
2282         been downloaded yet, because it causes division by zero.
2283
2284 2003-11-27  Hrvoje Niksic  <hniksic@xemacs.org>
2285
2286         * connect.c (bind_local): Rename sa_len to addrlen because IRIX
2287         headers define sa_len as a macro.
2288
2289 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
2290
2291         * html-parse.c (convert_and_copy): Remove embedded newlines when
2292         AP_TRIM_BLANKS is specified.
2293
2294 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
2295
2296         * ftp.c: Set con->csock to -1 where rbuf_uninitialize was
2297         previously used.
2298
2299 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
2300
2301         * Makefile.in (http$o): Added the trailing backslash that was
2302         missing.
2303
2304 2003-11-21  Hrvoje Niksic  <hniksic@xemacs.org>
2305
2306         * headers.c: Removed.  The file is no longer relevant, now that no
2307         special handling of headers is done by the rbuf code.  Moved
2308         portions to http.c.
2309
2310 2003-11-21  Hrvoje Niksic  <hniksic@xemacs.org>
2311
2312         * rbuf.c: Removed.
2313
2314         * ftp-basic.c (ftp_response): Use fd_read_line.  No longer use
2315         struct rbuf.  Updated all callers.
2316
2317         * http.c (gethttp): Use fd_read_head to read all the headers in
2318         one go.
2319         (next_header): New function.
2320
2321         * retr.c (fd_read_line): New function: reads a line from FD,
2322         leaving the rest of the data unread.
2323         (fd_read_head): New function.
2324
2325         * connect.c (fd_peek): New function, implements peeking.
2326         (poll_internal): New function.
2327         (fd_read): Use it.
2328         (fd_write): Ditto.
2329         (fd_peek): Ditto.
2330         (fd_register_transport): Allow registering a "peeker" callback.
2331
2332 2003-11-20  Hrvoje Niksic  <hniksic@xemacs.org>
2333
2334         * connect.c: Renamed xread/xwrite/xclose to
2335         fd_read/fd_write/fd_close.  The "x" prefix is not appropriate
2336         because the semantics have diverged from read/write/close too
2337         significantly.  Updated all callers.
2338
2339 2003-11-20  Hrvoje Niksic  <hniksic@xemacs.org>
2340
2341         * connect.c (sock_write): It's not necessary to initialize RES.
2342
2343 2003-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
2344
2345         * main.c (main): Don't reference opt.ipv4_only and opt.ipv6_only
2346         if IPv6 is disabled.
2347
2348 2003-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
2349
2350         * connect.c (socket_has_inet6): Only compile it if IPv6 is enabled
2351         and AI_ADDRCONFIG is missing.
2352
2353 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
2354
2355         * gen_sslfunc.c (ssl_init_prng): Warn the user when using a weak
2356         random seed.
2357
2358 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
2359
2360         * host.c (address_list_contains): Renamed address_list_find to
2361         address_list_contains because its result is boolean.
2362
2363 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
2364
2365         * connect.c (select_fd): Return 1 if select is not available.
2366
2367 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
2368
2369         * connect.c (connect_to_host): Don't reference address list after
2370         releasing it.
2371
2372 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
2373
2374         * main.c (print_help): Fix alignment of FTP options output.
2375
2376 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
2377
2378         * host.c (lookup_host): Check for the ability to create IPv6
2379         sockets here.
2380
2381         * init.c (defaults): Don't auto-set --inet4-only on IPv6-less
2382         systems.
2383
2384 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
2385
2386         * main.c (print_help): Fix typo in `-O' help message.  Fix docs of
2387         -Y/--proxy.  Fix docs of `--cookies' and `--glob'.  Improve docs
2388         of --convert-links.  Fix docs of SSL options.
2389
2390 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
2391
2392         * ftp-basic.c: Don't include <arpa/inet.h> and others because
2393         they're no longer needed.
2394
2395 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
2396
2397         * main.c (main): Don't allow setting of both opt.ipv4_only and
2398         opt.ipv6_only.
2399
2400         * init.c (defaults): Mark opt.ipv4_only specially when set
2401         automatically.
2402
2403 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
2404
2405         * host.c (lookup_host): Use AI_ADDRCONFIG only if the family is
2406         unspecified.  This ensures that specifying `--no-inet4' on systems
2407         where IPv6 resolves, but doesn't work behaves the same regardless
2408         of the availability of AI_ADDRCONFIG.
2409
2410 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
2411
2412         * host.c: Don't refer to the now-removed function
2413         forget_host_lookup in the documentation of lookup_host.
2414
2415 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
2416
2417         * http.c (persistent_available_p): Correctly specify the endpoint
2418         argument to socket_ip_address.
2419         (gethttp): When printing the "reusing connection to..." message,
2420         specify the host name of the reused connection, not the current
2421         host name.  That makes more sense because it provides a useful
2422         piece of information -- we know to which host we're supposed to
2423         connect anyway!
2424
2425 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
2426
2427         * init.c: Make sure the options are in alphabetic order!
2428
2429         * host.c (lookup_host): Merge lookup_host_passive and lookup_host
2430         after all -- having both would result in some code duplication.
2431         (lookup_host): Set hints.ai_family to AF_INET if ipv4_only is
2432         requested.  Likewise, set it to AF_INET6 for ipv6_only.  Specify
2433         AI_ADDRCONFIG where available.
2434         (lookup_host): New flag LH_REFRESH that specifies that a cached
2435         entry for HOST should be refreshed.
2436         (cache_query): New function.
2437         (cache_store): Ditto.
2438         (cache_remove): Ditto.
2439         (forget_host_lookup): No longer necessary, replaced with static
2440         function cache_remove.
2441
2442 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
2443
2444         * main.c: Enable -4 and -6 only if IPv6 is enabled.
2445
2446 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
2447
2448         * connect.c (register_transport): Renamed from register_extended.
2449         Explain the intended usage.
2450
2451 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
2452
2453         * url.c (uri_merge): Merging "foo" and "bar" should result in
2454         "bar", not in "foo/bar".
2455         (path_simplify): Don't remove empty path elements; don't
2456         special-case leading slash.
2457         (path_simplify): Don't swallow ".."'s at the beginning of string.
2458         E.g. simplify "foo/../../bar" as "../bar", not as "bar".
2459         (append_uri_pathel): Defang ".." path element upon encountering
2460         it.
2461
2462 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
2463
2464         * http.c (persistent_available_p): Don't attempt to talk to two
2465         different SSL sites over the same secure connection.
2466
2467 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
2468
2469         * http.c (gethttp): Ditto.
2470
2471         * ftp.c (getftp): Use retryable_socket_connect_error instead of
2472         CONNECT_ERROR.
2473
2474         * wget.h (CONNECT_ERROR): Removed.
2475
2476         * connect.c (retryable_socket_connect_error): New function instead
2477         of unsupported_socket_family_error.
2478
2479 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
2480
2481         * wget.h (CONNECT_ERROR): Use it.
2482
2483         * connect.c (unsupported_socket_family_error): New function.
2484
2485 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
2486
2487         * connect.c (bind_local): Renamed bindport to bind_local; return
2488         the socket directly.  Updated callers.
2489         (accept_connection): Renamed acceptport to accept_connection;
2490         return the created socket directly.  Updated callers.
2491
2492 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
2493
2494         * init.c (defaults): Turn on opt.ipv4_only if we're compiling with
2495         IPv6, and AI_ADDRINFO is not available, and AF_INET6 sockets can't
2496         be created.
2497
2498 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
2499
2500         * host.c (lookup_host): Document the fact that the addresses are
2501         returned in order.
2502
2503 2003-11-12  Hrvoje Niksic  <hniksic@xemacs.org>
2504
2505         * utils.c: Use limits.h only where available.
2506
2507         * hash.c: Use INVALID_PTR and INVALID_PTR_BYTE.  Include limits.h.
2508
2509 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
2510
2511         * main.c: Added options --inet4-only and --inet6-only.
2512
2513 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
2514
2515         * host.c (host_errstr): Use the more standard message "Unknown
2516         host".
2517
2518 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
2519
2520         * connect.c (connect_to_host): Use that flag to decide whether to
2521         re-resolve the host name.
2522
2523         * host.c (struct address_list): Added a flag that maintains
2524         whether the connection worked at some point.
2525
2526 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
2527
2528         * host.c (lookup_host): Special-case the numeric addresses only in
2529         the non-IPv6 case.
2530
2531 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
2532
2533         * connect.c (resolve_bind_address): Call lookup_host_passive.
2534         Make sure that opt.bind_address is resolved only once.
2535
2536         * host.c (lookup_host_passive): New function, handles "passive"
2537         lookups.
2538         (lookup_host): Remove the passive flags.  Remove the
2539         family-related flags -- use ip_default_family instead.
2540
2541 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
2542
2543         * html-url.c: Get URLs from <object data="...">.
2544
2545 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
2546
2547         * main.c (option_data): Specify the command to use for --mirror.
2548
2549 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2550
2551         * cookies.c (cookie_handle_set_cookie): Specify exact match for
2552         unspecified domains.
2553
2554 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2555
2556         * main.c (main): Removed one-letter options `-C', `-g', `-G', and
2557         `-s'.
2558
2559 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2560
2561         * main.c (main): Add --dont-remove-listing for backward
2562         compatibility with previous versions.
2563         (print_help): Fix typo, spotted by Dennis Smit.
2564
2565 2003-11-08  Gisle Vanem  <giva@bgnett.no>
2566
2567         * ftp-basic.c: Support Windows-2000 ftp servers. Win-2000 *is*
2568         Win-NT 5.0 so calling it ST_WINNT is okay I guess.
2569
2570 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2571
2572         * progress.c (update_speed_ring): Clear the speed ring when the
2573         download stalls.
2574
2575         * retr.c (get_contents): Specify 0.95s read timeout, so that the
2576         progress gauge can be updated even when data arrives very slowly
2577         or stalls.
2578
2579 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2580
2581         * utils.c (wtimer_allocate): Bless the use of wtimer_read on a
2582         timer that has merely been allocated because get_contents() does
2583         that.
2584         (wtimer_update): Abort if the timer is not initialized.
2585
2586 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2587
2588         * retr.c (get_contents): Pass the timer to limit_bandwidth().
2589
2590         * utils.c (wtimer_update): New function instead of wget_elapsed;
2591         just update the timer, but don't return anything.
2592         (wtimer_read): Read and return the last known value of the timer.
2593
2594 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2595
2596         * http.c (persistent_available_p): Instead of matching all the
2597         addresses of HOST and last host, determine the peer's IP address
2598         with socket_ip_address and see if that address is one of those
2599         HOST resolves to.
2600
2601         * host.c (address_list_match_all): Removed.
2602         (address_list_find): New function, finds an IP address in the
2603         address list.
2604
2605         * ftp.c (ftp_do_pasv): Get the peer's address here, and pass it to
2606         ftp_epsv so it doesn't need to call getpeername.
2607
2608         * ftp-basic.c (ftp_port): Use socket_ip_address instead of
2609         getpeername.
2610         (ftp_lprt): Ditto.
2611
2612         * connect.c (socket_ip_address): Replaces conaddr, generalized to
2613         either get peer's or local address.
2614         (sockaddr_get_data): Made local to this file.
2615
2616 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2617
2618         * hash.c (HASH_POSITION): Explicitly accept the hash function.
2619         (grow_hash_table): Extract ht->hash_function outside the loop.
2620         (hash_table_remove): Ditto.
2621         (hash_table_clear): Fill entries with 0xff to clear them.
2622         (hash_table_remove): Mark entries as deleted with the correct
2623         marker.
2624
2625 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2626
2627         * http.c (persistent_available_p): No reason for the host lookup
2628         to be silent -- it's a lookup like any other.
2629
2630 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2631
2632         * connect.c (register_extended): Check that fd >= 0.
2633
2634 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
2635
2636         * connect.c (LAZY_RETRIEVE_INFO): Set LAST_INFO.
2637
2638 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
2639
2640         * hash.c (NON_EMPTY): Use the all-bit-set value as the marker that
2641         the field is empty.  This allows NULL pointer and 0 value to be
2642         used as keys, which is necessary for the connect.c code to work
2643         when fd==0.
2644         (hash_table_new): Fill mappings with 0xff.
2645         (grow_hash_table): Ditto.
2646
2647 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
2648
2649         * url.c (url_parse): Allow empty ports.
2650
2651 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
2652
2653         * main.c (print_help): Break the help string into multiple chunks.
2654         (cmdline_option): New option handler OPT_FUNCALL.  Generalized
2655         HANDLE_CMD to generic DATA.
2656         (option_data): Use the new OPT_FUNCALL feature.
2657
2658 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
2659
2660         * log.h: Declare log_init, log_close, and
2661         log_request_redirect_output here.
2662
2663 2003-11-05  Dennis Smit  <ds@nerds-incorporated.org>
2664
2665         * main.c: (main): added --preserve-permissions option.
2666
2667         * ftp.c (ftp_retrieve_list): added support for
2668         --preserve-permissions option.
2669
2670         * init.c: added support for --preserve-permission option.
2671
2672         * option.h: added support for --preserve-permission option.
2673
2674 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
2675
2676         * main.c (init_switches): New function.  Convert option_data to
2677         long_options and short_options, which can be fed to getopt_long.
2678         (main): Execute command-line options by consulting option_data.
2679
2680 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
2681
2682         * gen_sslfunc.c (ssl_read): Implement a more correct check for
2683         EINTR.
2684         (ssl_write): Ditto.
2685         (init_ssl): Use a global SSL context.
2686
2687 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
2688
2689         * connect.c (xclose): Free INFO even if it doesn't provide a
2690         closer.
2691
2692 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
2693
2694         * connect.c: Updated all callers of
2695         iread/ssl_iread/iwrite/ssl_iwrite to use xread and xwrite instead.
2696
2697         * rbuf.h (struct rbuf): Removed the SSL member because SSL is
2698         handled automatically by xread.
2699
2700         * hash.c (ptrhash): Made private.
2701         (ptrcmp): Ditto.
2702         (inthash): Removed.
2703
2704         * connect.c (select_fd): Don't set errno, leave it to the caller.
2705
2706         * gen_sslfunc.c (connect_ssl): Use register_extended to register
2707         SSL callbacks for communication with SSL-enabled endpoints.
2708         (ssl_read): New function.
2709         (ssl_write): Ditto.
2710         (ssl_poll): Ditto.
2711         (ssl_close): Ditto.
2712
2713         * connect.c (register_extended): New function -- register
2714         callbacks for basic socket operations.
2715         (xread): Ditto.
2716         (xwrite): Ditto.
2717         (xclose): Ditto.
2718         (sock_read): New function, default implementation for reading.
2719         (sock_write): Ditto for writing.
2720         (sock_poll): Ditto for polling.
2721         (sock_close): Ditto for closing.
2722
2723 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
2724
2725         * connect.c (bindport): Fix compilation under pre-C99 compilers.
2726
2727 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
2728
2729         * connect.c (connect_to_ip): More compact error checking.
2730         (bindport): Don't treat failed setsockopt as a fatal error.
2731
2732 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
2733
2734         * connect.c (resolve_bind_address): Use a more accurate error
2735         message -- we're not binding to ANY, we're disabling bind
2736         altogether.
2737
2738 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
2739
2740         * cookies.c (save_cookies_mapper): Respect the setting of
2741         keep-session-cookies.
2742         (cookie_jar_load): Import session cookies.
2743         Based on code submitted by Nicolas Schodet.
2744
2745         * utils.c (datetime_str): Use information in TM when it's
2746         non-NULL.
2747
2748         * main.c (main): New option `--keep-session-cookies'.
2749
2750 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
2751
2752         * Makefile.in (realclean): Delete config.h.in.
2753
2754 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
2755
2756         * config-post.h: New file, included from now autogenerated
2757         config.h.in.
2758
2759 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
2760
2761         * progress.c (progress_handle_sigwinch): Don't call
2762         determine_screen_width() from the signal handler.  Instead, just
2763         set a volatile variable.
2764         (bar_create): Check whether SIGWINCH was received.
2765         (bar_update): Ditto.
2766
2767         * sysdep.h: Define SYSTEM_FNMATCH only if HAVE_FNMATCH_H is true.
2768
2769 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
2770
2771         * utils.c (xsleep): New function.  Uses nanosleep where available,
2772         resuming sleeps interrupted by signals.  Updated callers of sleep
2773         and usleep to use xsleep.
2774
2775 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
2776
2777         * ftp-basic.c (ftp_login): Remove shadowing (and bogus)
2778         declaration of SEED.
2779
2780 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
2781
2782         * log.c (logvprintf): Documented better.  Renamed to
2783         log_vprintf_internal to avoid confusion with the public API
2784         functions logprintf and logputs.
2785
2786 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
2787
2788         * wget.h (N_): Don't parenthesize argument.
2789
2790 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
2791
2792         * host.h (ADDRESS_IPV4_DATA): Don't take the address of in.s_addr
2793         because that doesn't work on machines that define it as bitfield.
2794
2795 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
2796
2797         * connect.c (select_fd): Generalize the third argument into WAIT,
2798         so that the caller can request waiting for both read and write.
2799         Updated callers.
2800
2801 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
2802
2803         * html-url.c (cleanup_html_url): Destroy the hash tables, don't
2804         just call free on them.
2805         (init_interesting): Use hash_table_put instead of string_set_add
2806         because we don't need the strdup that the latter function
2807         performs.
2808
2809         * init.c (cleanup): Don't pass NULL to cookie_jar_delete.
2810
2811         * xmalloc.c (xfree_real): Abort when passed a NULL pointer.
2812         (xfree_debug): Print at the file and line of the offending call to
2813         free.
2814
2815 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
2816
2817         * wget.h: Retired the `boolean' type.  Moved the DEFAULT_LOGFILE
2818         define to log.h.  Moved the INFINITE_RECURSION define to recur.h.
2819
2820         * xmalloc.h: Renamed FREE_MAYBE to xfree_null and moved the
2821         definition from wget.h to xmalloc.h.
2822
2823 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
2824
2825         * html-parse.c (decode_entity): New function; split the decoding
2826         of entities here.
2827         (convert_and_copy): Use it to decode entities.
2828         (decode_entity): Handle the &apos entity.
2829         (decode_entity): Don't decode Latin 1 numeric entities.  Don't
2830         decode &#0.
2831
2832 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
2833
2834         * ftp-opie.c (calculate_skey_response): Use uint32_t instead of
2835         `unsigned long' for the cheksum array.  Document the function.
2836
2837 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
2838
2839         * connect.c (acceptport): Don't call select_fd when timeout is not
2840         requested.
2841
2842 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
2843
2844         * host.c: Removed the ip_default_family global variable.
2845
2846         * host.c (lookup_host): Document the function.  Fixed declaration
2847         of VEC.
2848
2849 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
2850
2851         * various: Use new macros xnew, xnew0, xnew_array, and xnew0_array
2852         in various places.
2853
2854 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
2855
2856         * wget.h: Move declarations of malloc and logging code to
2857         xmalloc.h and log.h respectively to unclutter this file.
2858         (STRDUP_ALLOCA): Made it side-effect free.
2859
2860         * xmalloc.h: New files.  Define macros xnew, xnew0, xnew_array,
2861         and xnew0_array.
2862
2863         * xmalloc.c: New file.  Move the xmalloc routines here.
2864
2865 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
2866
2867         * connect.c (sockaddr_set_data): Remove the broken code that
2868         checked for NULL address.
2869
2870 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
2871
2872         * host.c (address_list_from_single): Removed.
2873         (address_list_from_ipv4_addresses): Renamed from
2874         address_list_from_vector.
2875
2876 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
2877
2878         * sysdep.h (CLOSE): Don't call close on file descriptors less than
2879         0, i.e. on uncreated sockets.
2880
2881         * connect.c (resolve_bind_address): Work on struct sockaddr
2882         directly.
2883         (connect_to_host): Replacement for connect_to_many.  Resolve HOST
2884         and connect to any of its addresses.  If we can't connect and the
2885         host name lookup was cached, try to resolve it again.  This should
2886         fix problems with hosts behind dynamic DNS.  Updated all callers.
2887         (connect_to_ip): Replacement for connect_to_one.  Removed SILENT;
2888         added the argument PRINT instead.  Updated all callers.
2889         (set_connection_host_name): Removed.
2890
2891         * host.c (address_list_address_at): New function instead of
2892         address_list_copy_one. It returns a pointer to ip_address *, so
2893         it's not necessary to copy the data.
2894         (address_list_cached_p): New function.
2895         (forget_host_lookup): Ditto.
2896
2897         * connect.c: Got rid of the MSOCK global variable.  Made bindport
2898         return the local socket it creates.  Added a new argument to
2899         acceptport, the socket to call accept on.  Updated callers.
2900         (closeport): Removed.
2901
2902         * connect.c: Moved the sockaddr code from host.c to this file,
2903         because most of that stuff is used for connecting, and has nothing
2904         to do with host names anyway.
2905         (sockaddr_set_data, sockaddr_get_data): New functions, replace the
2906         old sockaddr_set_address, sockaddr_set_port, sockaddr_get_address,
2907         and sockaddr_get_port.
2908
2909 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
2910
2911         * sysdep.h: Use `S >= 8' rather than `S == 8' when looking for
2912         large integers.
2913
2914 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
2915
2916         * url.c (append_uri_pathel): New argument ESCAPED_P that says
2917         whether [B, E) is to be treated as URL-escaped or not.  If
2918         ESCAPED_P is false, don't unescape the region.
2919         (url_file_name): u->file is not URL-escaped.
2920
2921 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
2922
2923         * retr.c (retrieve_from_file): Use retrieve_tree for
2924         page-requisites.
2925
2926         * main.c (main): Don't define opt.recursive when -p is used.
2927         Instead, make sure that recursion is used for HTTP in that case.
2928
2929 2003-10-29  Hrvoje Niksic  <hniksic@xemacs.org>
2930
2931         * host.h: Defined accessors for elements of ip_address.  Updated
2932         all callers.
2933         (address_list_match_all): Use memcmp in the non-IPv6 case.
2934
2935         * wget.h (CONNECT_ERROR): Don't retry connecting if connect()
2936         returned EAFNOSUPPORT.
2937
2938 2003-10-27  Mauro Tortonesi <mauro@deepspace6.net>
2939
2940         * connect.h: changed bindport prototype and added the related
2941         BIND_ON_IPV4_ONLY and BIND_ON_IPV6_ONLY flags.
2942
2943         * connect.c: changed bindport and resolve_bind_address to allow
2944         protocol-version specific DNS resolution. modified conaddr,
2945         acceptport and connect_to_one to make use of struct
2946         sockaddr_storage and of the new ip_address structure.
2947
2948         * ftp-basic.c: added LPRT/LPSV (RFC1639) support, refactored
2949         PORT/PASV (RFC959) and EPRT/EPSV (RFC2428) support code.
2950
2951         * ftp.c: added the ftp_do_port and ftp_do_pasv functions to
2952         handle FTP over IPv6.
2953
2954         * ftp.h: changed prototype of ftp_epsv and added prototypes for
2955         ftp_lpsv, ftp_lprt and ftp_eprt.
2956
2957         * host.c: renamed the
2958         wget_sockaddr_set_address and wget_sockaddr_get_addr, and
2959         wget_sockaddr_{s,g}et_port couples to sockaddr_{s,g}et_address and
2960         sockaddr_{g,s}et_port respectively.  changed
2961         address_list_match_all, address_list_from_addrinfo sockaddr_len,
2962         pretty_print_address, lookup_host, sockaddr_{s,g}et_address and
2963         sockaddr_{g,s}et_port to make use of struct sockaddr_storage and
2964         of the new ip_address structure.  removed map_ipv4_to_ip and
2965         map_ip_to_ipv4.
2966
2967         * host.h: redefined structure ip_address and removed structure
2968         wget_sockaddr.
2969
2970 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
2971
2972         * sysdep.h: Include inttypes.h where available.
2973
2974         * host.c: Switch from u_int32_t to uint32_t.
2975
2976 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
2977
2978         * netrc.c (parse_netrc): Reset the QUOTE flag after the closing
2979         quote.
2980
2981 2003-10-25  Hrvoje Niksic  <hniksic@xemacs.org>
2982
2983         * url.c (is_valid_ipv6_address): Reformat to GNU coding style.
2984         Use enums for NS_IN* constants.  Use ISXDIGIT.
2985
2986         * convert.c (construct_relative): Document better how the function
2987         works.
2988
2989 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
2990
2991         * config.h.in: Deploy preprocessor magic to avoid Ultrix's
2992         <netdb.h> include <bitypes.h> which defines its own u_int32_t.
2993         Reported by Bernhard Simon.
2994
2995 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
2996
2997         * version.c: Bump version.
2998
2999 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
3000
3001         * url.c: Ditto.
3002
3003         * html-parse.c (advance_declaration): Don't use trailing comma in
3004         enum because older compilers don't support it.
3005
3006         * utils.c: Don't redefine HAVE_SIGSETJMP.
3007
3008 2003-10-16  Hrvoje Niksic  <hniksic@xemacs.org>
3009
3010         * convert.c (construct_relative): Don't handle absolute files
3011         specially -- for example, -P/tmp/foo shouldn't imply that
3012         converted files must refer to "/tmp/foo/..."!
3013
3014 2003-10-15  Hrvoje Niksic  <hniksic@xemacs.org>
3015
3016         * http.c: Consider status 307 a valid redirect.
3017
3018 2003-10-15  Philip Stadermann  <philip.stadermann@credativ.de>
3019
3020         * ftp.c (ftp_retrieve_glob): Correctly loop through the list whose
3021         elements might have been deleted.
3022
3023 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
3024
3025         * html-url.c (tag_handle_meta): Set the Refresh link to expect
3026         HTML.
3027         (append_one_url): Renamed to append_url.
3028
3029 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
3030
3031         * sysdep.h: Only define u_int32_t.
3032
3033 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
3034
3035         * utils.c (large_int_to_string): Use snprintf() to print the
3036         number.  This will work even on systems where libc doesn't
3037         understand %lld, but the compiler does, because it will use our
3038         snprintf replacement.
3039
3040         * init.c (parse_bytes_helper): New function.
3041         (cmd_bytes): Use it to parse bytes, but cast the result to long.
3042         (cmd_bytes_large): Ditto, but store the result to LARGE_INT.  Used
3043         for --quota so that --quota=10G works even on machines without
3044         long long.
3045
3046         * options.h (struct options): Declare quota as LARGE_INT.
3047
3048         * retr.c (downloaded_exceeds_quota): Removed.
3049         (downloaded_increase): Ditto.
3050         (total_downloaded_bytes): New variable, replaces opt.downloaded,
3051         which was the wrong place for it anyway.  Updated callers of
3052         downloaded_exceeds_quota and downloaded_increase to check this
3053         variable directly.
3054
3055         * sysdep.h: Get rid of VERY_LONG_TYPE.  Use LARGE_INT for the same
3056         purpose, defined as `long', `long long' or `double', depending on
3057         size of long and whether long long is available.
3058
3059 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
3060
3061         * sysdep.h: Also check size of short for int32_t.
3062
3063 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
3064
3065         * host.c (lookup_host): Use u_int32_t to store the result of
3066         inet_addr().  That removes the need for offset fiddling, caring
3067         about endian-ness, etc.
3068
3069         * sysdep.h: Define int32_t and u_int32_t if not available.
3070
3071 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
3072
3073         * ftp-basic.c (ftp_epsv): Use socklen_t * as the third argument to
3074         getpeername.
3075
3076         * config.h.in: Define socklen_t stub.
3077
3078         * host.c (sockaddr_len): Return socklen_t.
3079
3080         * connect.c (conaddr): Use socklen_t as the third argument to
3081         accept, getsockname, and connect.
3082
3083 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
3084
3085         * recur.c (retrieve_tree): Don't descend into documents that are
3086         not expected to contain HTML, regardless of their content-type.
3087
3088         * html-url.c (tag_url_attributes): Record which attributes are
3089         supposed to yield HTML links that can be followed.
3090         (tag_find_urls): Propagate that information to the caller through
3091         struct urlpos.
3092
3093 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
3094
3095         * hash.c (find_mapping): Return the next available mapping when
3096         the key is not found, not NULL.
3097         (hash_table_put): Use find_mapping to find the storage for the new
3098         data.
3099         (hash_table_put): Grow the table before exceeding maximum
3100         fullness, not afterwards.
3101
3102 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
3103
3104         * hash.c (hash_table_new): Slightly change the meaning of the
3105         first parameter.  Instead of being the minimum initial size, it is
3106         now the minimum number of items that the hash table can take
3107         without needing to resize.
3108
3109 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
3110
3111         * html-url.c (init_interesting): Initialize interesting_tags and
3112         interesting_attributes as hash tables.  This simplifies the code
3113         immensely because hash tables handle allocation and remove
3114         duplicates automatically.
3115         (find_tag): Removed.
3116         (collect_tags_mapper): Instead of calling find_tag, simply get the
3117         entry from interesting_tags hash table, which is both simpler and
3118         faster.
3119
3120 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
3121
3122         * hash.c (hash_table_get): Declare hash-table argument as const.
3123         (find_mapping): Ditto.
3124         (hash_table_get_pair): Ditto.
3125         (hash_table_contains): Ditto.
3126         (hash_table_count): Ditto.
3127
3128 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
3129
3130         * html-url.c (get_urls_html): Parse the appropriate flags to
3131         html-parse.c.
3132
3133         * html-parse.c (map_html_tags): Accept FLAGS from the caller
3134         instead of examining OPT.
3135
3136 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
3137
3138         * html-url.c (find_tag): Switch to binary search.
3139
3140 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
3141
3142         * main.c (print_help): Fix typo; stured -> stored.
3143
3144 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
3145
3146         * getopt.c: Add definitions of getopt_long and getopt_long_only.
3147
3148 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
3149
3150         * config.h.in: Renamed DEBUG to ENABLE_DEBUG.  ENABLE_DEBUG is, I
3151         think, a better name, because it implies that debugging output is
3152         merely possible, not "on by default", as might be construed from
3153         just DEBUG.
3154
3155 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
3156
3157         * ftp.c (has_insecure_name_p): Define it here.
3158
3159         * utils.c (has_wildcards_p): Define it here.
3160
3161         * sysdep.h: Declare fnmatch-related macros here, if not using
3162         system fnmatch().  Update .c files to not declare fnmatch.h
3163         directly.
3164
3165         * cmpt.c (fnmatch): Moved here.  Use it only under non-GNU libc.
3166
3167 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
3168
3169         * getopt.c: Newer version, imported from Free libit.
3170
3171 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
3172
3173         * cookies.c (struct cookie): Remove unused backpointer to cookie
3174         jar.
3175
3176 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
3177
3178         * cmpt.c (memmove): Comment out, since it's no longer used.
3179
3180         * cookies.c (cookie_jar_generate_cookie_header): Allocate room for
3181         chains in one pass.
3182         (find_chains_of_host): Assume that the caller has allocated DEST
3183         to be sufficiently large to take all the data.
3184         (eliminate_dups): Run through the array and eliminate dups on the
3185         fly instead of using memmove.
3186         (cookie_jar_process_set_cookie): Free cookie->domain before
3187         re-setting it.
3188
3189 2003-10-05  Gisle Vanem  <giva@bgnett.no>
3190
3191         * mswindows.c (set_sleep_mode): Fix type of
3192         _SetThreadExecutionState.
3193
3194 2003-10-05  Hrvoje Niksic  <hniksic@xemacs.org>
3195
3196         * utils.c (file_size): Return -1 if fopen() returns NULL.  Prior
3197         to this patch, wget --post-file=nosuchfile dumped core.
3198
3199 2003-10-04  Gisle Vanem  <giva@bgnett.no>
3200
3201         * mswindows.c (run_with_timeout): Use WaitForSingleObject to wait
3202         for thread termination.
3203
3204 2003-10-04  Hrvoje Niksic  <hniksic@xemacs.org>
3205
3206         * log.c: Use `...' in function definitions; ansi2knr will convert
3207         them to va_dcl.  This allowed removal of the ugly VA_START_1 and
3208         VA_START_2 macros.
3209
3210 2003-10-03  Gisle Vanem  <giva@bgnett.no>
3211
3212         * connect.c: And don't include them here.
3213
3214         * mswindows.h: Include winsock headers here.
3215
3216 2003-10-03  Hrvoje Niksic  <hniksic@xemacs.org>
3217
3218         * html-parse.c (convert_and_copy): Move variable declarations
3219         before statements.
3220
3221 2003-10-02  Gisle Vanem  <giva@bgnett.no>
3222         
3223         * mswindows.c (run_with_timeout): For Windows: Run the 'fun' in a
3224         thread via a helper function. Continually query the thread's
3225         exit-code until finished or timed out.
3226
3227 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
3228
3229         * wget.h (XMALLOC_ARRAY): Removed.
3230         (ALLOCA_ARRAY): Ditto.
3231
3232         * html-parse.c: Renamed alloca_p to resized.
3233         (GROW_ARRAY): Renamed DO_REALLOC_FROM_ALLOCA to GROW_ARRAY and
3234         returned it to html-parse.c, since nothing else was using it.
3235
3236 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
3237
3238         * retr.c (retrieve_url): Initialize DUMMY storage for DT.  Caught
3239         by valgrind.
3240
3241 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
3242
3243         * html-parse.c (convert_and_copy): Handle numeric entities in
3244         hexadecimal, &#xHH.
3245         (convert_and_copy): Copy the contents directly to the pool without
3246         a stack-allocated intermediary.
3247
3248 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
3249
3250         * utils.c (alarm_set): New function; use either setitimer or alarm
3251         to set up the alarm.
3252         (alarm_cancel): New function; cancel the alarm set up by
3253         alarm_set.
3254         (run_with_timeout): Use them.
3255
3256 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
3257
3258         * url.c (url_parse): Don't leak memory when a reencoded URL turns
3259         out to be invalid.
3260
3261         * url.c (parse_errors): Mark error messages for translation.
3262         (url_error): Translate error messages returned to the caller.
3263
3264 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
3265
3266         * ftp.c (ftp_loop_internal): Initialize TMRATE to NULL to shut up
3267         the compiler.
3268
3269 2003-09-26  Gisle Vanem  <giva@bgnett.no>
3270
3271         * src/mswindows.c: Added ws_percenttitle() showing progress in the
3272         window titlebar. Called from retr.c. Secured ws_mypath().
3273
3274         * windows/config.h.ms: alloca() prototype not needed.  Removed
3275         "#undef ENABLE_NLS"; should be in Makefile IMHO. Moved
3276         WGET_USE_STDARG from mswindows.h to config.ms.h because of #ifdef
3277         in log.c. (MSVC's vararg.h and stdarg.h are incompatible).
3278
3279 2003-09-29  Aaron Hawley <Aaron.Hawley@uvm.edu>
3280
3281         * ftp.c (getftp): --spider option should now work with FTP
3282         downloads.
3283         (ftp_loop_internal): quiet reports and calculations of downloads
3284         when --spider option set, nor try deleting when --delete-after
3285         also set.
3286         (ftp_loop): --spider will skip HTML-ification of .listing file.
3287
3288 2003-09-26  Gisle Vanem  <giva@bgnett.no>
3289
3290         * mswindows.c (read_registry): Removed.
3291         (set_sleep_mode): New function.
3292         (windows_main_junk): Call it.
3293
3294 2003-09-26  Gisle Vanem  <giva@bgnett.no>
3295
3296         * mswindows.c (read_registry): Fix invocation of registry
3297         functions.
3298
3299         * mswindows.c (read_registry): Condition definitions of sleep and
3300         usleep with not HAVE_SLEEP and HAVE_USLEEP respectively.  Define
3301         HAVE_SLEEP and HAVE_USLEEP under __DMC__.
3302
3303 2003-09-24  Hrvoje Niksic  <hniksic@xemacs.org>
3304
3305         * url.c (url_escape_1): Revert unintentional change to lowercase
3306         xdigit escapes.
3307         (url_escape_dir): Document that this function depends on the
3308         output of url_escape_1.
3309
3310 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
3311
3312         * progress.c (create_image): Print the current ETA if we're done
3313         with the download.
3314         (create_image): Change '-' display char to '+' in the progress bar.
3315
3316         * Makefile.in (clean): Remove .libs.
3317
3318 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
3319
3320         * cookies.c (struct cookie): New flag domain_exact.
3321         (update_cookie_field): Skip leading dot in domain.
3322         (find_matching_chains): Match numeric addresses exactly; don't
3323         needlessly copy HOST to the stack.
3324         (matching_cookie): Added argument HOST.  If cookie->domain_exact
3325         is set, check that HOST is equal to cookie->domain.
3326         (cookie_jar_load): Only use TAB as delimiter.  Document the
3327         meaning of DOMAIN-FLAG.  Skip leading dot in domain.
3328         (cookie_jar_load): Don't ignore DOMAIN-FLAG -- instead, set
3329         domain_exact to true if DOMAIN-FLAG is false.
3330         (save_cookies_mapper): If domain_exact is false, prepend the
3331         domain with dot, like Mozilla does.
3332
3333 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
3334
3335         * progress.c (create_image): Print the initial part of the
3336         download with '-' characters, analogous to how dot progress prints
3337         the initial part with ','.
3338
3339         * hash.c (ptrhash): New function.
3340         (ptrcmp): Ditto.
3341         (hash_table_new): Default to identity hash table.
3342
3343 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
3344
3345         * safe-ctype.h (_sch_test): The cast of BIT to unsigned char was
3346         broken -- _sch_istable bitmasks are 16-bit, not 8-bit!  Cast BIT
3347         to unsigned short instead.
3348
3349 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
3350
3351         * url.c (path_simplify): Instead of calls to memmove, handle "./"
3352         and "../" by advancing pointers.
3353
3354 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
3355
3356         * retr.c (getproxy): Moved from url.c.
3357
3358         * convert.c: Split off link conversion from url.c into separate
3359         file.  Also included the book-keeping stuff from recur.c.
3360
3361 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
3362
3363         * init.c: Improved documentation of functions.
3364         (cmd_boolean): Attempt to make code that tries to avoid calling
3365         strcmp for "speed" a bit more readable.
3366
3367         * init.c (simple_atof): Report error on encountering non-digit,
3368         non-"." character.
3369         (simple_atoi): Replacement for myatoi(), calling interface
3370         compatible with simple_atof.  Updated myatoi's callers.
3371
3372 2003-09-21  Bertrand Demiddelaer  <bert@b3rt.org>
3373
3374         * url.c (path_simplify): Would read two bytes past the end of the
3375         string in the "./" case.
3376
3377 2003-09-21  Matthew J. Mellon  <mellon@tymenet.com>
3378
3379         * http.c (gethttp): Recognize content-type "application/xhtml+xml"
3380         as what Wget considers "text/html".
3381
3382 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
3383
3384         * connect.c (connect_with_timeout): Made timeout type double.
3385
3386         * options.h (struct options): New members read_timeout,
3387         dns_timeout, and connect_timeout.
3388         Use them.
3389
3390 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
3391
3392         * init.c (simple_atof): New function.
3393         (cmd_time): Use it.
3394         (cmd_bytes): Accept things like "1.5k" and such.  Use simple_atof
3395         to parse decimals.
3396
3397         * retr.c (limit_bandwidth): Adjust each sleep by the error of the
3398         previous one.
3399
3400 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
3401
3402         * main.c (main): Use setoptval() for setting the options.  Use
3403         run_command for `-e'.
3404
3405         * init.c (parse_line): Rewritten to return COMIND right away.
3406         Changed linkage to static.
3407         (run_wgetrc): Use the available comind when calling setval, so it
3408         doesn't have to be computed twice.
3409         (setval_internal): New function, runs the command's action without
3410         any error checking.
3411         (setoptval): New function, does what setval used to do, but exits
3412         in case of error.
3413         (run_command): New function.
3414
3415 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
3416
3417         * connect.c (select_fd): Change MAXTIME's type to double.  Handle
3418         its decimal part.
3419
3420         * retr.c (sleep_between_retrievals): In the random-wait case, use
3421         random_float() to wait between 0 and 2*opt.wait seconds.
3422
3423         * utils.c (run_with_timeout): Accept `double' timeouts.  Correctly
3424         handle timeout values in (0, 1) range.
3425         (random_float): New function.
3426
3427         * options.h (struct options): Change the types of wait, waitretry,
3428         and timeout to double.
3429
3430         * init.c (cmd_time): Accept floating point time.
3431
3432 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
3433
3434         * retr.c (get_contents): Cosmetic fixes.
3435
3436 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
3437
3438         * url.c (uri_merge): Get rid of uri_merge_1.
3439         (uri_merge): Merge "foo//", "bar" as "foo//bar", not "foo///bar",
3440         i.e. don't add an extra slash merely because BASE ends with two
3441         slashes.
3442         (parse_credentials): Renamed from parse_uname.  Rewrittern in
3443         standard [beg, end) calling style.
3444         (url_skip_credentials): Renamed from url_skip_uname.  Made static.
3445         (url_skip_credentials): Include # and ; as terminators.  Old code
3446         would mistakenly consider "http://foo.com#hniksic@iskon.hr" to
3447         contain a username.
3448         (url_skip_scheme): Removed because it was unused.
3449         (url_has_scheme): Require "scheme" to be at least one char long.
3450
3451 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
3452
3453         * url.c (url_file_name): Expect NULL dir_prefix.
3454
3455         * init.c (cmd_file): Use a macro to prevent multiple #ifdef
3456         WINDOWS.
3457         (defaults): Set dir_prefix to NULL by default.
3458
3459 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
3460
3461         * safe-ctype.h (_sch_test): Cast BIT to unsigned char, like latest
3462         gcc does.
3463
3464 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
3465
3466         * wget.h (BOUNDED_TO_ALLOCA): Evaluate PLACE only once.
3467         (ARRAY_SIZE): Renamed to countof.  All callers updated.
3468
3469 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
3470
3471         * main.c (main): New option --strict-comments.
3472
3473         * html-parse.c (find_comment_end): New function: simple BM search
3474         for "-->".
3475         (map_html_tags): Use it if looking at a comment and not in strict
3476         comments mode.
3477
3478 2003-09-17  Aurelien Marchand  <artaxerxes@users.sf.net>
3479
3480         * ftp.h: Added OS400 system in enum
3481         * ftp-basic.c: recognize OS400 systems
3482         * ftp.c: don't prepend the CWD if talking to OS400, since it
3483         breaks the change in library
3484
3485 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
3486
3487         * retr.c (get_contents): Pass the correct argument to ssl_iread.
3488
3489 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
3490
3491         * safe-ctype.h: Don't #define ctype.h macros to errors because
3492         that loses when someone #include's ctype.h after safe-ctype.h.
3493
3494 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
3495
3496         * url.c: Undef U, W, C after use.
3497
3498 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
3499
3500         * init.c (cmd_spec_restrict_file_names): Allow the OS setting to
3501         be augmented by ",nocontrol" which means don't escape the control
3502         characters, but otherwise keep OS settings.
3503
3504         * url.c (file_unsafe_char): Deleted.
3505         (append_uri_pathel): Query filechr_table directly.
3506         (filechr_table): Separated Unix, Windows, and control-unsafe
3507         characters.
3508
3509 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
3510
3511         * url.c (url_escape_1): New function.
3512         (url_escape): Use it.
3513         (sync_path): Handle pathological cases where u->file and u->dir
3514         contain really strange characters.
3515         (ENCODE): Deleted.
3516         (REENCODE): Deleted.
3517
3518 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
3519
3520         * url.c (url_file_name): Don't reallocate FNAME if the file
3521         doesn't exist, as is usually the case.
3522
3523         * utils.c (unique_name): New flag allow_passthrough.
3524
3525 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
3526
3527         * utils.c (wtimer_sys_diff): Convert the time difference to signed
3528         __int64, then to double.  This works around MS VC++ 6 which can't
3529         convert unsigned __int64 to double directly.
3530
3531 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
3532
3533         * Makefile.in (clean): Also remove the core.<number> files
3534         produced by recent Linux systems.
3535
3536 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
3537
3538         * http.c (post_file): Don't pad the file if it's not large
3539         enough.  Bail out instead.
3540
3541 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
3542
3543         * retr.c (get_contents): Reduce the buffer size to the amount of
3544         data that may pass through for one second.  This prevents long
3545         sleeps when limiting bandwidth.
3546
3547         * connect.c (connect_to_one): Reduce the socket's RCVBUF when
3548         bandwidth limitation to small values is requested.
3549
3550 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
3551
3552         * progress.c (update_speed_ring): Moved the speed ring update to a
3553         separate function and documented it better.
3554
3555         * progress.c: Use `double' for most timers to support granularity
3556         smaller than 1ms.
3557
3558 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
3559
3560         * wget.h (XDIGIT_TO_XCHAR): Implement as index into a literal
3561         string.
3562         (XDIGIT_TO_xchar): Ditto.
3563
3564 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
3565
3566         * utils.c: Change the type of timer-related functions from long to
3567         double, for better precision.  On machines supporting gettimeofday
3568         the timers now work with granularity of less than one millisecond.
3569
3570 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
3571
3572         * cookies.c (parse_set_cookies): Fixed the parser to handle more
3573         edge conditions.
3574         (test_cookies): New function, contains a test suite for
3575         parse_set_cookies.
3576
3577 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
3578
3579         * url.c (strpbrk_or_eos): Implement as a macro under Gcc.
3580
3581 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
3582
3583         * cookies.c (parse_set_cookies): Allow trailing space in
3584         set-cookies header.  Also, allow any amount of whitespace, not
3585         only one character.  Allow empty set-cookies header without
3586         spewing an error.
3587
3588 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
3589
3590         * url.c (append_uri_pathel): Use opt.restrict_file_names when
3591         calling file_unsafe_char.
3592
3593         * init.c: New command restrict_file_names.
3594
3595         * main.c (main): New option --restrict-file-names[=windows,unix].
3596
3597         * url.c (url_file_name): Renamed from url_filename.
3598         (url_file_name): Add directory and hostdir prefix here, not in
3599         mkstruct.
3600         (append_dir_structure): New function, does part of the work that
3601         used to be in mkstruct.  Iterates over path elements in u->path,
3602         calling append_uri_pathel on each one to append it to the file
3603         name.
3604         (append_uri_pathel): URL-unescape a path element and reencode it
3605         with a different set of rules, more appropriate for handling of
3606         files.
3607         (file_unsafe_char): New function, uses a lookup table to decide
3608         whether a character should be escaped for use in file name.
3609         (append_string): New utility function.
3610         (append_char): Ditto.
3611         (file_unsafe_char): New argument restrict_for_windows, decide
3612         whether Windows file names should be escaped in run-time.
3613
3614         * connect.c: Include <stdlib.h> to get prototype for abort().
3615
3616 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
3617
3618         * utils.c (wtimer_sys_set): Extracted the code that sets the
3619         current time here.
3620         (wtimer_reset): Call it.
3621         (wtimer_sys_diff): Extracted the code that calculates the
3622         difference between two system times here.
3623         (wtimer_elapsed): Call it.
3624         (wtimer_elapsed): Don't return a value smaller than the previous
3625         one, which could previously happen when system time is set back.
3626         Instead, reset start time to current time and note the elapsed
3627         offset for future calculations.  The returned times are now
3628         guaranteed to be monotonically nondecreasing.
3629
3630 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
3631
3632         * host.c (lookup_host): Print the result of the DNS lookup.
3633
3634 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
3635
3636         * init.c (cmd_boolean): Accept yes/no along with on/off.
3637         (cmd_lockable_boolean): Ditto.
3638
3639 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
3640
3641         * init.c: New command dns_cache.
3642
3643         * main.c (main): New option --dns-cache[=off].
3644
3645 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
3646
3647         * config.h.in: Initialize HAVE_GETADDRINFO and ENABLE_IPV6.
3648
3649         * all: Use #ifdef ENABLE_IPV6 instead of the older INET6.  Use
3650         HAVE_GETADDRINFO for getaddrinfo-related stuff.
3651
3652 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
3653
3654         * url.c (url_parse): Return an error if the URL contains a [...]
3655         IPv6 numeric address and we don't support IPv6.
3656
3657 2003-09-05  Hrvoje Niksic  <hniksic@xemacs.org>
3658
3659         * url.c (is_valid_ipv6_address): Modified to not require
3660         zero-terminated strings.
3661         (is_valid_ipv4_address): Ditto.
3662
3663 2003-09-05  Mauro Tortonesi <mauro@deepspace6.net>
3664
3665         src/url.c: added RFC 2732 compliance for URL parsing. The
3666         functions is_*_address valid are a modified version of
3667         glibc 2.3.2 inet_pton's code.
3668
3669 2003-09-03  Ahmon Dancy  <dancy@dancysoft.com>
3670
3671         * main.c init.c options.h: Added --retry-connrefused option so
3672         that Connection Refused failures are treated as non-fatal (when
3673         trying to retrieve from busy servers).
3674
3675         * wget.h: New CONNECT_ERROR macro for encapsulating this
3676         modification.
3677
3678         * ftp.c http.c : Use CONNECT_ERROR macro in places where
3679         ECONNREFUSED was checked.
3680
3681 2003-01-11  Ian Abbott  <abbotti@mev.co.uk>
3682
3683         * ftp.c (ftp_retrieve_glob): Reject insecure filenames as determined
3684         by calling new function has_insecure_name_p.  This is based on a
3685         patch by Red Hat.
3686
3687         * fnmatch.c (has_insecure_name_p): New function: returns non-zero
3688         if filename starts with `/' or contains `../' and is therefore
3689         considered insecure.
3690
3691         * fnmatch.h: Declare has_insecure_name_p().
3692
3693 2002-08-03  Hrvoje Niksic  <hniksic@xemacs.org>
3694
3695         * init.c (cmd_file): Allocate RESULT correctly.
3696
3697 2002-07-24  Hrvoje Niksic  <hniksic@xemacs.org>
3698
3699         * recur.c (retrieve_tree): Check whether downloaded_html_set is
3700         non-NULL before using it.
3701
3702 2002-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3703
3704         * html-parse.c (NAME_CHAR_P): Allow almost any character here.
3705
3706 2002-05-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3707
3708         * progress.c (bar_set_params): Fall back to dot progress if the
3709         terminal type is "emacs".
3710
3711 2002-05-20  Hrvoje Niksic  <hniksic@arsdigita.com>
3712
3713         * log.c: Don't #undef WGET_USE_STDARG.
3714
3715 2002-05-16  Hrvoje Niksic  <hniksic@arsdigita.com>
3716
3717         * hash.c (prime_size): Store the offset of the prime number in the
3718         prime table.  When searching, start with the given offset.
3719         (hash_table_new): Pass the pointer to ht->prime_offset to
3720         prime_size.
3721         (grow_hash_table): Ditto.
3722         (prime_size): Make 13 the first prime to make empty hash tables
3723         slightly smaller.
3724
3725 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
3726
3727         * recur.c (download_child_p): Minor optimization to avoid an
3728         unnecessary additional call to schemes_are_similar_p function.
3729
3730 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
3731
3732         * url.c (schemes_are_similar_p): New function to test enumerated
3733         scheme codes for similarity.
3734
3735         * url.h: Declare it.
3736
3737         * recur.c (download_child_p): Use it to compare schemes.  This
3738         also fixes a bug that allows hosts to be spanned (without the
3739         -H option) when the parent scheme is https and the child's is
3740         http or vice versa.
3741
3742 2002-05-14  Bill Richardson  <bill@riverstonenet.com>
3743
3744         * ftp.c (getftp): Don't ftruncate stdout.
3745
3746         * http.c (gethttp): Don't ftruncate stdout.
3747
3748 2002-05-09  Ian Abbott  <abbotti@mev.co.uk>
3749
3750         * cmpt.c (strptime_internal): Synched with glibc-2.1.3.
3751         (get_number): Ditto.
3752         (get_alt_number): Ditto.
3753         (__isleap): New function-like macro used by strptime.
3754         (day_of_the_week): New function used by strptime.
3755         (day_of_the_year): Ditto.
3756         (__mon_yday): Now shared by mktime and strptime implementations.
3757
3758 2002-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3759
3760         * cookies.c (check_domain_match): Use match_tail in case
3761         insensitive mode.
3762
3763         * utils.c (match_tail): Allow the caller to specify case
3764         insensitive mode.
3765
3766         * cookies.c (store_cookie): When expiry_time is 0, print it as
3767         undefined, not indefinite.
3768
3769 2002-05-07  Ian Abbott  <abbotti@mev.co.uk>
3770
3771         * cookies.c (cookie_jar_process_set_cookie): Do not store
3772         discarded cookie.
3773
3774 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
3775
3776         * cookies.c (check_domain_match): Allow cookies to be set for
3777         subdomains of unknown top-level domains under some circumstances.
3778
3779 2002-04-21  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
3780
3781         * gen_ssl.c:
3782         - allow checking of server cert
3783         - allow defining client cert type
3784         - allow limit of ssl protocol
3785         - check more return values
3786         - added debug message on break
3787
3788 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
3789
3790         * recur.c (download_child_p): Revert order of items in check
3791         number 6 for clarity.
3792
3793 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
3794
3795         * init.c: Ditto.
3796
3797         * main.c: Ditto.
3798
3799         * http.c: Use the new interface.
3800
3801         * cookies.c: Provide an OO-style "cookie jar" interface to enable
3802         separate cookie jars.
3803
3804         * http.c (http_atotm): Declare argument as const.
3805
3806 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
3807
3808         * cookies.c (cookie_new): Default to PORT_ANY.
3809         (find_cookie_chain_exact): Only search by DOMAIN.
3810         (find_matching_cookie): Also check that PORT matches.
3811         (store_cookie): Only match the domain.
3812         (set_cookie_header_cb): When a cookie "fakes" a domain, assume it
3813         is valid for that host rather than discarding it completely.
3814         (find_matching_chains): Don't search by PORT.
3815         (matching_cookie): Also match PORT.
3816         (load_cookies): Set the port if specified, otherwise leave it as
3817         ANY.
3818         (save_cookies_mapper): Save the port if specified, otherwise leave
3819         it empty.
3820
3821 2002-04-19  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
3822
3823         * init.c: The option `egdfile' was not in sort order.
3824
3825 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
3826
3827         * ftp.c (getftp): Treat directories that begin with <letter>: as
3828         absolute.
3829         (getftp): Strip trailing slashes from con->id before merging it
3830         with TARGET.
3831
3832 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
3833
3834         * http.c (gethttp): If Content-Type is not given, assume
3835         text/html.
3836
3837 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
3838
3839         * recur.c (download_child_p): Don't ignore rejection of HTML
3840         documents that are themselves leaves of recursion.
3841
3842 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
3843
3844         Makefile.in: Updated several dependencies for object files to take
3845         account of nested include files.
3846
3847 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
3848
3849         Makefile.in: The target `connect$o' (connect.o) now depends on
3850         `utils.h'
3851
3852 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
3853
3854         * host.c (SET_H_ERRNO): New function-like macro to set `h_errno'.
3855         (gethostbyname_with_timeout): Use it.
3856
3857         * utils.c: Don't define `SETJMP()', `run_with_timeout_env' or
3858         `abort_run_with_timeout()' when `USE_SIGNAL_TIMEOUT' is undefined.
3859
3860 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
3861
3862         * host.c (getaddrinfo_with_timeout): New function.
3863         (gethostbyname_with_timeout): Ditto.
3864         (lookup_host): Use them.
3865
3866 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3867
3868         * utils.c (number_to_string): Handle the case when n < -INT_MAX.
3869
3870 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3871
3872         * init.c (comind): Use a marginally faster implementation of
3873         binary search.  To quote Martin Buchholz, "a nanosecond saved is a
3874         nanosecond earned."
3875
3876 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3877
3878         * main.c (print_help): Document `--post-data' and `--post-file'.
3879
3880 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3881
3882         * http.c (gethttp): Ditto.
3883
3884         * retr.c (retrieve_url): Initialize variables to appease the
3885         compiler.
3886
3887         * gen_sslfunc.c (ssl_iread): Don't handle EINTR when calling
3888         select_fd.
3889         (ssl_iwrite): Ditto.
3890
3891         * connect.c (select_fd): Rewrite to handle EINTR.  Set errno to
3892         ETIMEDOUT in case of timeout.
3893         (iread): No need to handle EINTR when calling select_fd.
3894         (iwrite): Ditto.
3895
3896 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3897
3898         * retr.c (retrieve_url): Make sure that POST is not honored for
3899         redirections.
3900
3901         * http.c (gethttp): Send the POST data when requested.
3902         (post_file): New function.
3903         (gethttp): Use it.
3904
3905         * main.c (main): Ditto.
3906
3907         * init.c: Add new options.
3908
3909         * options.h (struct options): New options post_data and
3910         post_file_name.
3911
3912 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3913
3914         * connect.c (connect_with_timeout): Firing SIGALRM can result in
3915         connect() exiting with EINTR.  Treat EINTR the same as ETIMEDOUT.
3916
3917 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3918
3919         * connect.c (connect_with_timeout): Use it.
3920
3921         * utils.c (run_with_timeout): New function.
3922
3923 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3924
3925         * url.c (getproxy): Accept a struct url argument.  This obviates
3926         the need for USE_PROXY_P.
3927
3928         * retr.c (retrieve_url): Allow proxy to be a non-FTP URL.
3929
3930         * ftp.c (getftp): Recognize FWTK-style proxy.
3931
3932 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3933
3934         * config.h.in: Only define _VA_LIST when compiled with gcc.
3935
3936 2002-04012  Ian Abbott  <abbotti@mev.co.uk>
3937
3938         * http.c (http_loop): Compensate for MS Windows two-second
3939         granularity of file modification time when comparing timestamps.
3940
3941         * ftp.c (ftp_retrieve_list): Ditto.
3942
3943 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
3944
3945         * utils.c (has_html_suffix_p): New function to test filename for
3946         common html extensions.
3947
3948         * utils.h: Declare it.
3949
3950         * http.c (http_loop): Use it instead of previous test.
3951
3952         * retr.c (retrieve_url): Ditto.
3953
3954         * recur.c (download_child_p): Ditto.
3955
3956 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3957
3958         * config.h.in: Define _VA_LIST on Solaris to prevent stdio.h from
3959         declaring va_list.
3960         From Kevin Rodgers <kevinr@ihs.com>.
3961
3962 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
3963
3964         * Makefile.in: Specify libtool mode explicitly when linking.
3965
3966 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3967
3968         * connect.c (connect_with_timeout): New function.
3969         (connect_to_one): Use it.
3970
3971         * config.h.in: Add stubs for HAVE_SIGSETJMP, HAVE_SIGBLOCK, and
3972         HAVE_SETJMP_H.
3973
3974 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3975
3976         * log.c: Set WGET_USE_STDARG if __STDC__ is defined and stdarg.h
3977         is present.
3978
3979 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3980
3981         * progress.c (bar_create): If INITIAL is larger than TOTAL, fix
3982         TOTAL.
3983         (bar_finish): Likewise.
3984
3985 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3986
3987         * html-url.c (tag_handle_form): New function.  Pick up form
3988         actions and mark them for conversion only.
3989
3990 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3991
3992         * progress.c (struct progress_implementation): Use PARAMS when
3993         declaring the parameters of *create, *update, *finish, and
3994         *set_params.
3995
3996         * netrc.c: Ditto.
3997
3998         * http.c: Reformat some function definitions so that ansi2knr can
3999         read them.
4000
4001         * hash.c (struct hash_table): Use the PARAMS macro around
4002         parameters in the declaration of hash_function and test_function.
4003         (prime_size): Spell 2580823717UL and 3355070839UL as (unsigned
4004         long)0x99d43ea5 and (unsigned long)0xc7fa5177 respectively, so
4005         that pre-ANSI compilers can read them.
4006         (find_mapping): Use PARAMS when declaring EQUALS.
4007         (hash_table_put): Ditto.
4008
4009         * ftp.h: Wrap the parameters of ftp_index declaration in PARAMS.
4010
4011         * cookies.c (cookie_new): Use (unsigned long)0 instead of 0UL,
4012         which was unsupported by pre-ANSI compilers.
4013
4014         From Nelson H. F. Beebe <beebe@math.utah.edu>, for the most part.
4015
4016 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4017
4018         * url.c (url_filename): Use compose_file_name regardless of
4019         whether opt.dirstruct is set.
4020         (mkstruct): Don't handle the query and the reencoding of DIR; that
4021         is done in compose_file_name.
4022
4023 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4024
4025         * wget.h: Ditto for extern char *exec_name.
4026
4027         * options.h: Don't guard against OPTIONS_DEFINED_HERE -- it is
4028         perfectly legal to follow an `extern' with a non-`extern' ones,
4029         provided the types match.
4030
4031         * main.c: Don't define OPTIONS_DEFINED_HERE.
4032
4033 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4034
4035         * progress.c (create_image): Revert to calculating ETA based on
4036         average download speed.
4037         (create_image): Don't print ETA until the download has been active
4038         for at least 3 seconds.
4039         (create_image): When ETA is not available, don't print anything.
4040         The previous version would print --:--.
4041
4042 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4043
4044         * progress.c (bar_update): Keep updating a subinterval until it
4045         reaches or exceeds a watermark.  That way the measurement will be
4046         guaranteed to span a configurable minimum of time.  The current
4047         default is 3s in 30 100ms intervals.
4048
4049 2002-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4050
4051         * progress.c (bar_update): Maintain an array of the time it took
4052         to perform previous 30 network reads.
4053         (create_image): Calculate the download speed and ETA based on the
4054         last 30 reads, not the entire download.
4055         (create_image): Make sure that the ETA is not changed more than
4056         once per second.
4057
4058 2002-04-09  Ian Abbott  <abbotti@mev.co.uk>
4059
4060         * mswindows.c (borland_utime): New function conditionally defined
4061         when `HACK_BCC_UTIME_BUG' is defined.  A reimplementation of
4062         `utime()' as Borland's `utime()' function is broken on Windows 9x
4063         systems.  (Original patch by Chin-yuan Kuo <sr1111111@yahoo.com.tw>.)
4064
4065 2002-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
4066
4067         * ftp.c (ftp_loop): Propagate the result of ftp_retrieve_glob.
4068
4069 2002-03-26  Ian Abbott  <abbotti@mev.co.uk>
4070
4071         * Makefile.in: Updated several dependencies for object files.
4072
4073 2002-03-20  Ian Abbott  <abbotti@mev.co.uk>
4074
4075         * mswindows.c: Include "utils.h".
4076
4077 2002-03-18  Ian Abbott  <abbotti@mev.co.uk>
4078
4079         * host.h: Don't include netdb.h on windows.
4080
4081 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4082
4083         * recur.c (retrieve_tree): Handle the case when start_url doesn't
4084         parse.
4085
4086 2002-02-19  Andreas Damm  <andreas-sourceforge@radab.org>
4087
4088         * wget.h (DO_REALLOC_FROM_ALLOCA): Multiply with sizeof(type) when
4089         calling xmalloc and memcpy.
4090
4091 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4092
4093         * host.h: Include Unix-specific includes #ifndef WINDOWS.
4094         Patch originally provided by Christian Lackas.
4095
4096 2002-02-11  Christian Lackas  <delta@lackas.net>
4097
4098         * recur.c: recurive downloading for https fixed.
4099
4100 2002-02-19  Alan Eldridge  <alane@geeksrus.net>
4101
4102         * host.h: Also include <netinet/in.h> and <sys/socket.h>.
4103
4104         * ftp-basic.c: Also include <netinet/in.h>.
4105
4106 2002-02-05  Ian Abbott  <abbotti@mev.co.uk>
4107
4108         * http.c (gethttp): when -c used, mark already fully retrieved
4109         file as successfully retrieved.
4110
4111 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4112
4113         * url.c (url_parse): Don't treat '?' as query string separator
4114         when parsing FTP URLs.
4115
4116 2002-02-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4117
4118         * html-url.c (tag_handle_meta): Don't crash on <meta
4119         http-equiv=refresh> where content is missing.
4120
4121 2002-01-31  Herold Heiko  <Heiko.Herold@previnet.it>
4122
4123         * ftp-basic.c, host.c: don't include sys/socket.h, arpa/inet.h,
4124         netdb.h on windows.
4125
4126 2002-01-30  Hrvoje Niksic  <hniksic@arsdigita.com>
4127
4128         * retr.c (retrieve_url): Remove redirection cycle detection.  This
4129         is because some sites legitimately redirect the user back to the
4130         same location, e.g. after an authorization check performed by
4131         another page.  MAX_REDIRECTIONS is still used to prevent infinite
4132         redirection loops.
4133
4134 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4135
4136         * http.c (gethttp): Wrap host name in square brackets if it
4137         contains a colon.
4138
4139 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4140
4141         * url.c (url_parse): Allow all hex digits, not only decimal ones,
4142         to form an IP address.
4143
4144 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4145
4146         * url.c (urlchr_table): Make square braces reserved, so we can
4147         parse http://[::1]/.
4148         (url_parse): Handle host in braces.
4149         (url_string): If url->host contains colons, wrap it in braces.
4150
4151 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4152
4153         * connect.c (resolve_bind_address): New function.
4154         (connect_to_one): Use it.
4155         (bindport): Ditto.
4156
4157         * init.c: Don't resolve bind-address here.
4158
4159         * host.c (wget_sockaddr_set_address): Would bug out with ADDR == NULL.
4160
4161 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4162
4163         * host.c (lookup_host): Use sizeof(ip4_address) to calculate the
4164         offset.
4165         (address_list_new): Use map_ipv4_to_ip.
4166         (wget_sockaddr_set_address): Convert ADDR to IPv4 before using it
4167         in IPv4 context.
4168
4169 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4170
4171         * source: Integrated IPv6 support.
4172         Written by Thomas Lussnig <thomas.lussnig@bewegungsmelder.de>.
4173
4174 2002-01-15  Ian Abbott  <abbotti@mev.co.uk>
4175
4176         * init.c (cmd_file): Change `\' to `/' for Windows (yes, really!)
4177         (cmd_directory): New function. Like cmd_file(), but strips
4178         trailing directory separators.
4179         (commands): Change action for "dirprefix" from `cmd_file' to
4180         `cmd_directory'.
4181
4182         * utils.c (make_directory): Allow intermediate `mkdir' calls to
4183         fail, as not all path components that do not exist should be
4184         directory components, especially under Windows.
4185
4186 2002-01-17  Hrvoje Niksic  <hniksic@arsdigita.com>
4187
4188         * netrc.c (parse_netrc): Skip leading whitespace before testing
4189         whether the line is empty.  Empty lines still contain the line
4190         terminator.
4191
4192 2002-01-15  Hrvoje Niksic  <hniksic@arsdigita.com>
4193
4194         * gen_sslfunc.c (ssl_iread): Call select on the file descriptor
4195         only if no data is pending in SSL buffers.
4196         From tony@bluetail.com.
4197
4198 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4199
4200         * headers.c (header_get): Strip trailing whitespace from the
4201         header.
4202
4203 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4204
4205         * url.c (parse_uname): URL-decode *USER and *PASSWD.
4206
4207 2002-01-07  Ian Abbott <abbotti@mev.co.uk>
4208
4209         * url.c (uri_merge_1): Deal with "net path" relative URL (one that
4210         starts with "//").
4211
4212 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4213
4214         * http.c (gethttp): Invalidate SOCK if get_contents encountered an
4215         error.
4216
4217 2001-12-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4218
4219         * version.c: Wget 1.8.1 is released.
4220
4221 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4222
4223         * version.c: Wget 1.8.1-pre3 is released.
4224
4225 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4226
4227         * recur.c (retrieve_tree): Enqueue the canonical representation of
4228         start_url, so that the test against dl_url_file_map works.
4229
4230 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4231
4232         * log.c (logputs): Check for requested verbosity before printing
4233         anything.
4234
4235 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4236
4237         * html-url.c (tag_handle_link): Treat the "shortcut icon" link as
4238         inline.
4239
4240 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
4241
4242         * recur.c (retrieve_tree): Make a copy of file obtained from
4243         dl_url_file_map because the code calls xfree(file) later.
4244
4245 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
4246
4247         * recur.c (register_html): Maintain a hash table of HTML files
4248         along with the list.  Disallow duplicates.
4249         (retrieve_tree): Use downloaded_html_set to check whether the file
4250         found in dl_url_file_map is an HTML file, and descend into it if
4251         so.
4252         (convert_all_links): Don't guard against duplicates in
4253         downloaded_html_list, since they are no longer possible.
4254
4255 2001-12-18  Ian Abbott  <abbotti@mev.co.uk>
4256
4257         * recur.c (retrieve_tree): Pass on referring URL when retrieving
4258         recursed URL.
4259
4260 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
4261
4262         * version.c: Wget 1.8.1-pre2 is released.
4263
4264 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
4265
4266         * retr.c (sleep_between_retrievals): Simplify indentation.
4267
4268 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
4269
4270         * gen_sslfunc.c (ssl_init_prng): Use random_number to get a byte
4271         of "randomness" at a time.
4272         (ssl_init_prng): Don't seed the PRNG; random_number will do that.
4273
4274         * retr.c (sleep_between_retrievals): Use it.  Make sure that the
4275         random amount averages in opt.wait.
4276         (sleep_between_retrievals): Don't seed the PRNG; random_number
4277         will do that.
4278
4279         * utils.c (random_number): New function.
4280
4281 2001-12-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4282
4283         * url.c (path_simplify): Move here from utils.c, and make static.
4284
4285 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4286
4287         * init.c (wgetrc_file_name): Print correct message when loading
4288         getenv("WGETRC") fails.
4289
4290 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4291
4292         * recur.c (register_download): Don't abort when one URL references
4293         two different files.
4294
4295 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4296
4297         * http.c (gethttp): Check for conn->scheme, not u->scheme, before
4298         calling ssl_iwrite.
4299
4300 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4301
4302         * version.c: Wget 1.8.1-pre1 is released.
4303
4304 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4305
4306         * res.c (matches): Fix broken URL in the docstring.
4307
4308 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4309
4310         * html-url.c (tag_url_attributes): Mark <embed href=...> as
4311         external.
4312
4313 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4314
4315         * url.c (get_urls_file): Cosmetic changes.
4316
4317 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4318
4319         * html-url.c (append_one_url): Resurrect warning when unable to
4320         resolve a relative link.
4321
4322 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4323
4324         * html-url.c (collect_tags_mapper): Break into several functions.
4325         (tag_url_attributes): Collect <embed href=...>.
4326
4327 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4328
4329         * host.c: New type ipv4_address.  Use it consistently instead of
4330         `unsigned char[4]' and `unsigned char *'.
4331         (pretty_print_address): Accept a `const void *', to require even
4332         less casting.
4333
4334 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4335
4336         * ftp-ls.c (ftp_parse_vms_ls): Fix obvious memory leaks.
4337
4338 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4339
4340         * main.c (main): Initialize progress after fork_to_background, so
4341         that it knows when to use dots.
4342
4343         * mswindows.c (ws_hangup): Call log_request_redirect_output.
4344
4345         * utils.c (fork_to_background): Print the PID of the child
4346         process.
4347
4348         * log.c (log_request_redirect_output): Set a flag that output
4349         redirection has been requested.  Doing anything else in a signal
4350         handler is unsafe.
4351         (check_redirect_output): New function: check whether redirection
4352         has been requested and, if so, call redirect_output().
4353         (logputs): Call check_redirect_output.
4354         (logprintf): Ditto.
4355         (debug_logprintf): Ditto.
4356         (redirect_output): Print clearer messages.
4357
4358         * main.c (redirect_output_signal): Don't call
4359         redirect_output_signal directly.  Instead, call
4360         log_request_redirect_output.
4361
4362         * utils.c (memfatal): Ditto.
4363
4364         * progress.c (display_image): Use it.
4365
4366         * log.c (log_set_save_context): New function: allow the caller to
4367         turn off saving log context lines.
4368
4369 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4370
4371         * host.c (address_list_set_faulty): Uncomment a sanity check.
4372
4373 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4374
4375         * utils.c (long_to_string): Return a pointer after where the
4376         number ends.
4377         (long_to_string): Rename to number_to_string.
4378
4379 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4380
4381         * utils.c (path_simplify): Correctly handle the unlikely case that
4382         b starts out as path + 1.
4383
4384 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4385
4386         * utils.c (path_simplify): Rewrite, with better comments, and
4387         without the use of strcpy to move overlapping blocks.
4388
4389 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4390
4391         * init.c (cmd_spec_progress): Resurrect.  Check whether VAL is a
4392         valid progress type before setting it.
4393
4394 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4395
4396         * main.c (main): Remove stray debugging message.
4397
4398 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4399
4400         * progress.c (create_image): Fix ETA padding when hours are prined.
4401
4402 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4403
4404         * version.c: Wget 1.8 is released.
4405
4406 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4407
4408         * url.c (reencode_string): Declare static.
4409
4410         * res.c (registered_specs): Declare static.
4411
4412         * progress.c (current_impl_locked): Declare static.
4413
4414         * log.c (flush_log_p): Declare static.
4415         (needs_flushing): Ditto.
4416
4417         * http.c (digest_authentication_encode): Declare static.
4418
4419         * html-url.c (init_interesting): Declare static.
4420
4421         * host.c (host_name_addresses_map): Declare static.
4422
4423         * cookies.c (find_matching_chains): Declare static.
4424
4425         * ftp-ls.c (ftp_parse_vms_ls): Warn about the memory leak
4426         indicated by lint.
4427
4428         * utils.c (path_simplify): Remove unused variable STUB_CHAR.
4429
4430         * host.c (address_list_set_faulty): Document that INDEX is
4431         currently unused.
4432
4433         * url.c (rewrite_shorthand_url): Remove unused variable PATH.
4434
4435 2001-12-08  Hrvoje Niksic  <hniksic@arsdigita.com>
4436
4437         * version.c: Wget 1.8-pre2 is released.
4438
4439 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4440
4441         * progress.c (progress_handle_sigwinch): Set up the signal again.
4442
4443         * utils.c: Include <sys/termios.h>, where Solaris defines
4444         TIOCGWINSZ.
4445
4446         * progress.c (bar_create): Don't use the last column on the screen.
4447         (create_image): Pad ETA to constant size.  Pad SIZE to nine digits
4448         only until it exceeded them.
4449
4450 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4451
4452         * version.c: Wget 1.8-pre1 is released.
4453
4454 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4455
4456         * progress.c (progress_create): Make sure that, when the output is
4457         redirected, the progress implementation gets changed to the
4458         fallback one.
4459         (bar_set_params): Set current_impl_locked to 1 when "force" is
4460         specified.
4461         (progress_create): Don't change the progress implementation if
4462         current_impl_locked is non-zero.
4463
4464         * main.c (redirect_output_signal): Call
4465         progress_schedule_redirect.
4466
4467         * progress.c (progress_schedule_redirect): New function.
4468
4469 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4470
4471         * log.c (logvprintf): Restructure to allow being called multiple
4472         times.
4473         (logprintf): Call logvprintf in a loop.
4474         (debug_logprintf): Ditto.
4475
4476 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4477
4478         * gen_sslfunc.c (ssl_init_prng): Allow the user to disable EGD by
4479         setting egd_file it to empty string.
4480
4481         * main.c (main): Change the option name from --sslegdsock to
4482         --egd-file.
4483
4484 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4485
4486         * gen_sslfunc.c (ssl_init_prng): Make the printed message
4487         translatable.
4488
4489 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4490
4491         * url.c (scheme_disable): New function.
4492
4493         * main.c (main): Call ssl_init_prng from here rather than from
4494         init_ssl, so that it has a chance to disable support for https
4495         before a URL has been resolved.
4496
4497         * gen_sslfunc.c (ssl_init_prng): Seed with rand() if all else
4498         failed.
4499         (ssl_init_prng): Disable support for https if seeding the PRNG
4500         fails.
4501
4502 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4503
4504         * utils.c (read_whole_line): Handle lines beginning with \0.
4505
4506 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
4507
4508         * recur.c (convert_all_links): Guard against duplicates in
4509         downloaded_html_files.
4510         (register_download): Don't invalidate similar-looking URLs.
4511         (match_except_index): New function.
4512
4513 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
4514
4515         * utils.c (path_simplify): Document with test cases.
4516
4517 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
4518
4519         * gen_sslfunc.c: Ditto.
4520
4521         * rbuf.c: Include <string.h>.
4522
4523 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
4524
4525         * recur.c (retrieve_tree): Check whether the URL was already
4526         downloaded before downloading it again.
4527         (descend_child_p): Renamed to download_child_p.
4528         (register_download): When one URL is downloaded to a file already
4529         "owned" by another URL, delete all references that map any URL to
4530         that file.
4531         (register_delete_file): New function.
4532         (retrieve_tree): Use it after deleting a file.
4533
4534         * url.c (url_parse): Re-canonicalize the URL also if the path is
4535         empty, so that e.g. "http://www.server.com" ->
4536         "http://www.server.com/".
4537         (lowercase_str): Use ISUPPER instead of !ISLOWER.
4538
4539         * retr.c (retrieve_url): Use the canonical URL form when calling
4540         register_download().
4541
4542 2001-12-04  Ian Abbott <abbotti@mev.co.uk>
4543
4544         * snprintf.c (dopr): Use `unsigned int' as the second argument to
4545         va_arg when casting to `unsigned short' is intended.
4546
4547 2001-12-04  Herold Heiko  <Heiko.Herold@previnet.it>
4548
4549         * gen_sslfunc.c: on windows provide ssl crypto random 
4550           initialization through RAND_screen(); could possibly
4551           be not enough for strong ssl communication (see the 
4552           relevant manual page from the openssl package).
4553
4554 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
4555
4556         * url.c (local_quote_string): Reenable quoting of question marks,
4557         but only when `--html-extension' is used.
4558
4559 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
4560
4561         * version.c: Wget 1.8-beta3 is released.
4562
4563 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
4564
4565         * snprintf.c (dopr): Cast the result of va_arg to short int and
4566         short unsigned int where these types are expected to be used.
4567
4568 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
4569
4570         * snprintf.c (dopr): Replace `short int' and `unsigned short int'
4571         with `int' when using it as the second argument to `va_arg'.
4572
4573 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
4574
4575         * host.c (address_list_new_one): New function.
4576         (lookup_host): Use it.
4577
4578 2001-12-03  Andre Majorel  <amajorel@teaser.fr>
4579
4580         * host.c (lookup_host): Don't initialize TMPSTORE directly because
4581         it's not legal C.
4582
4583 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
4584
4585         * ftp-basic.c (ftp_port): Don't return HOSTERR if we fail getting
4586         the socket data.
4587
4588         * ftp.c: Ditto.
4589
4590         * http.c: No need to declare h_errno.
4591
4592         * host.c: Declare h_errno.
4593
4594 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4595
4596         * utils.c (file_merge): If BASE doesn't contain a slash, just
4597         return a copy of FILE.
4598
4599 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4600
4601         * version.c: Wget 1.8-beta2 is released.
4602
4603 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4604
4605         * ftp.c (getftp): When PWD fails, assume "/".
4606
4607         * ftp-basic.c (ftp_syst): Fix indentation.
4608
4609 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4610
4611         * url.c (get_urls_file): If opt.base_href is specified, merge each
4612         URL with the base.
4613
4614 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4615
4616         * main.c (print_help): Don't document the removed `-nh'.
4617
4618 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4619
4620         * url.c (url_full_path): Document better.
4621
4622         * http.c (gethttp): Use the full path when creating digest
4623         authorization.
4624
4625 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4626
4627         * cookies.c (path_matches): Return 0 if PREFIX doesn't begin with
4628         '/'.
4629
4630 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4631
4632         * cookies.c (path_matches): FULL_PATH doesn't begin with '/', but
4633         PREFIX does.
4634
4635 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4636
4637         * cookies.c (check_domain_match): Reimplement to match Netscape's
4638         "preliminary specification" for cookies.
4639
4640 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4641
4642         * url.c (replace_attr_refresh_hack): New function.
4643         (convert_links): Call replace_attr_refresh_hack for Refresh
4644         links.  It will add the "TMOUT; URL=" junk before the link.
4645
4646         * html-url.c (collect_tags_mapper): Set ID to the ID of the
4647         "content" attribute, not "http-equiv".
4648         (collect_tags_mapper): Don't use OFFSET to hack the raw_* values;
4649         instead, store the information that this entry belongs to a
4650         "refresh" link.
4651
4652 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4653
4654         * version.c: Wget 1.8-beta1 is released.
4655
4656 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4657
4658         * recur.c (retrieve_tree): Allow -p retrievals to exceed maximum
4659         depth by more than one.
4660
4661 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
4662
4663         * retr.c (retrieve_url): Don't allow more than 20 redirections.
4664
4665 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
4666
4667         * recur.c (retrieve_tree): Skip the non-inline entries when
4668         enqueuing the children of a leaf HTML node in -p mode.
4669         (descend_url_p): Ignore opt.no_parent when in -p mode and UPOS is
4670         "inline".
4671
4672         * html-url.c (get_urls_html): Don't accept dash_p_leaf_HTML.
4673         (collect_tags_mapper): When an entry is "inline", mark it as such.
4674
4675         * recur.c (descend_url_p): Fix test when checking for
4676         acceptance/rejection rules.
4677
4678 2001-10-31 Daniel BODEA <dali@dali-designs.com>
4679
4680         * netrc.c (search_netrc): When slack_default is 0, still look for
4681         an account with matching password, just not the "default account".
4682         HTTP Authorization using .netrc should now work as expected.
4683
4684 2001-11-30  T. Bharath  <TBharath@responsenetworks.com>
4685
4686         * http.c (persistent_available_p): Call SHUTDOWN_SSL if
4687         test_socket_open fails.
4688
4689 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
4690
4691         * progress.c (display_image): Just print one CR to reset the
4692         cursor position.
4693
4694 2001-11-30  Christian Fraenkel  <c.fraenkel@gmx.net>
4695
4696         * init.c: New command `ssl_egd_sock'.
4697
4698         * main.c (main): New option `--sslegdsock'.
4699
4700         * gen_sslfunc.c (ssl_init_prng): Seed the RNG using EGD.
4701
4702 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
4703
4704         * cmpt.c (memmove): Include a simple memmove implementation.
4705
4706 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
4707
4708         * headers: Guard against header files being included twice.
4709
4710 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
4711
4712         * gen-md5.c: Use unsigned char * as the buffer argument to
4713         gen_md5_update.
4714
4715 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
4716
4717         * connect.h: Declare select_fd.
4718
4719 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
4720
4721         * recur.c (descend_url_p): When resolving no_parent, compare with
4722         start_url, not parent url.  Otherwise link from /a/b/ to /a/c/
4723         wouldn't be followed, although the download started from /a/.
4724
4725 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
4726
4727         * config.h.ms, mswindows.h: defined HAVE_ISATTY, use _isatty for
4728         MS VC; somebody with Borland compiler please check and provide
4729         patch if possible;
4730
4731         * cmpt.c: provided a usleep emulation.
4732
4733 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
4734
4735         * host.c (address_list_new): Initialize al->faulty.
4736
4737 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
4738
4739         * http.c (http_process_range): Accept the broken output of
4740         "JavaWebServer/1.1.1".
4741
4742 2001-11-28  Hrvoje Niksic  <hniksic@arsdigita.com>
4743
4744         * progress.c (dot_set_params): If PARAMS is unspecified, use
4745         dot_style, if available.
4746
4747         * init.c: Ditto.
4748
4749         * main.c (main): Resurect --dot-style.
4750
4751         * progress.c (dot_finish): Print the quantity if we're left at the
4752         beginning of a row.
4753
4754 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4755
4756         * cmpt.c (random): Removed.
4757
4758         * retr.c (sleep_between_retrievals): Use the more portable rand()
4759         instead of random().
4760
4761 2001-11-27  Ian Abbott <abbotti@mev.co.uk>
4762
4763         * retr.c (retrieve_from_file): Initialize `new_file' to NULL to
4764         prevent seg fault.
4765
4766 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4767
4768         * connect.c (connect_to_many): Use address_list_set_faulty to
4769         prevent the faulty address from being reused.
4770
4771         * host.c (address_list_set_faulty): New function.
4772         (address_list_get_bounds): New function, instead of
4773         address_list_count.
4774
4775 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4776
4777         * url.c (convert_links): Don't translate %d-%d.
4778
4779         * main.c (print_help): Remove stray HAVE_RANDOM code.
4780
4781 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4782
4783         * ftp.c (getftp): Improve output after sending PASV.  Don't
4784         attempt to "look up" the IP address we already know; call
4785         connect_to_one directly.
4786
4787 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4788
4789         * progress.c: Change the default progress implementation to "bar".
4790
4791 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4792
4793         * progress.c (bar_create): Print two newlines.
4794
4795 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4796
4797         * cmpt.c (random): New function, a simple-minded replacement for
4798         random() on systems that don't have it.
4799
4800 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4801
4802         * config.h.in: Put a HAVE_USLEEP stub.
4803
4804         * cmpt.c (usleep): Replacement implementation of usleep using
4805         select.
4806
4807         * init.c: New option init_rate.
4808
4809         * main.c (main): New option --limit-rate.
4810
4811         * retr.c (limit_bandwidth): New function.
4812         (get_contents): Call it to limit the bandwidth used when
4813         downloading.
4814
4815         * progress.c (dot_update): Would print the wrong download speed on
4816         rows other than the first one when the download was continued.
4817         (dot_finish): Ditto.
4818
4819 2001-11-26  Ian Abbott <abbotti@mev.co.uk>
4820
4821         * http.c (gethttp): fix undeclared variable 'err' when compiled
4822         with HAVE_SSL.
4823
4824 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4825
4826         * progress.c: Don't allocate new timers; use the timing data
4827         propagated from the caller.
4828
4829         * retr.c (get_contents): Allocate and use a timer.
4830
4831 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4832
4833         * http.c (last_host_ip): Made into an address_list.
4834         (invalidate_persistent): Release pc_last_host_ip.
4835         (register_persistent): Use lookup_host.
4836         (persistent_available_p): Check for equality of hosts using
4837         address_list_match_all.  Call address_list_release.
4838         (http_cleanup): New function.
4839
4840         * ftp.c (getftp): Use lookup_host and connect_to_many.
4841
4842         * http.c (gethttp): Use lookup_host and connect_to_many.
4843
4844         * connect.c (make_connection): Removed.
4845         (connect_to_one): New function.
4846         (connect_to_many): Ditto.
4847         (set_connection_host_name): Ditto.
4848
4849         * host.c (lookup_host): New function; new return type.
4850         (address_list_new): New function.
4851         (address_list_count): Ditto.
4852         (address_list_copy_one): Ditto.
4853         (address_list_delete): Ditto.
4854         (address_list_release): Ditto.
4855         (pretty_print_address): Ditto.
4856
4857 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4858
4859         * recur.c (retrieve_tree): In case of followed redirection,
4860         blacklist the pre-redirection URL.
4861
4862 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4863
4864         * recur.c (descend_redirect_p): New function.
4865         (retrieve_tree): Make sure redirections are not blindly followed.
4866
4867 2001-11-04  Alan Eldridge  <alane@geeksrus.net>
4868
4869         * config.h.in: added HAVE_RANDOM.
4870
4871         * options.h: added random_wait to struct options.
4872
4873         * main.c (print_help [HAVE_RANDOM], main): added arg parsing, help
4874         for --random-wait.
4875
4876         * retr.c (sleep_between_retrievals) [HAVE_RANDOM]: added
4877         implementation of random wait times.
4878
4879         * init.c (commands): added "randomwait" keyword.
4880
4881 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4882
4883         * recur.c (descend_url_p): Be more conservative with blacklisting
4884         URLs.
4885         (convert_all_links): Print how many files have been converted, and
4886         how long it took.
4887
4888         * progress.c (create_image): Place the number of downloaded bytes
4889         right after the progress bar.
4890
4891         * utils.c (suffix): Return a pointer into the string.
4892
4893 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4894
4895         * url.c (convert_links): Handle CO_NULLIFY_BASE.
4896
4897         * recur.c (retrieve_tree): Ignore download-ignorable children.
4898         (convert_all_links): Specify CO_NULLIFY_BASE when link_base_p.
4899
4900         * html-url.c (handle_link): Return the newly created urlpos.
4901         (collect_tags_mapper): When dealing with BASE, store the base
4902         reference and mark it as download-ignorable.
4903
4904 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4905
4906         * url.c (convert_links): Attempt to quote '?' as "%3F" when
4907         linking to local files.  Given up on the attempt, as it breaks
4908         local browsing.
4909
4910 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4911
4912         * main.c (private_initialize): Removed.
4913         (main): Don't call private_initialize.
4914
4915         * http.c: Call lookup_host.
4916
4917         * host.c (host_init): Removed.
4918         (add_host_to_cache): Initialize host_name_address_map here, on
4919         demand.
4920         (ngethostbyname): Commented out.
4921
4922         * connect.c (make_connection): Remove dead code; use lookup_host.
4923
4924         * host.c (store_hostaddress): Renamed to lookup_host and reversed
4925         the args.
4926         Removed host_address_name_map and host_slave_master_map.
4927
4928 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4929
4930         * progress.c (dot_create): Align the "[ skipping ... ]" string
4931         with the dots.
4932
4933         * retr.c (rate): Split into two functions: calc_rate and
4934         retr_rate.
4935
4936         * progress.c (create_image): Draw a dummy progress bar even when
4937         total size is unknown.
4938         (display_image): Place the text cursor at the end of the "image".
4939
4940 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4941
4942         * url.c (reencode_string): Use unsigned char, not char --
4943         otherwise the hex digits come out wrong for 8-bit chars such as
4944         nbsp.
4945         (lowercase_str): New function.
4946         (url_parse): Canonicalize u->url if needed.
4947         (get_urls_file): Parse each URL, and return only the valid ones.
4948         (free_urlpos): Call url_free.
4949         (mkstruct): Add :port if the port is non-standard.
4950         (mkstruct): Append the query string to the file name, if any.
4951         (urlpath_length): Use strpbrk_or_eos.
4952         (uri_merge_1): Handle the cases where LINK is an empty string,
4953         where LINK consists only of query, and where LINK consists only of
4954         fragment.
4955         (convert_links): Count and report both kinds of conversion.
4956         (downloaded_file): Use a hash table, not a list.
4957         (downloaded_files_free): Free the hash table.
4958
4959         * retr.c (retrieve_from_file): Ditto.
4960
4961         * main.c (main): Call either retrieve_url or retrieve_tree
4962         for each URL, not both.
4963
4964         * retr.c (register_all_redirections): New function.
4965         (register_redirections_mapper): Ditto.
4966         (retrieve_url): Register the redirections.
4967         (retrieve_url): Make the string "Error parsing proxy ..." 
4968         translatable.
4969
4970         * res.c (add_path): Strip leading slash from robots.txt paths so
4971         that the path representations are "compatible".
4972         (free_specs): Free each individual path, too.
4973         (res_cleanup): New function.
4974         (cleanup_hash_table_mapper): Ditto.
4975
4976         * recur.c (url_queue_new): New function.
4977         (url_queue_delete): Ditto.
4978         (url_enqueue): Ditto.
4979         (url_dequeue): Ditto.
4980         (retrieve_tree): New function, replacement for recursive_retrieve.
4981         (descend_url_p): New function.
4982         (register_redirection): New function.
4983
4984         * progress.c (create_image): Cosmetic changes.
4985
4986         * init.c (cleanup): Do all those complex cleanups only if
4987         DEBUG_MALLOC is defined.
4988
4989         * main.c: Removed --simple-check and the corresponding
4990         simple_host_check in init.c.
4991
4992         * html-url.c (handle_link): Parse the URL here, and propagate the
4993         parsed URL to the caller, who would otherwise have to parse it
4994         again.
4995
4996         * host.c (xstrdup_lower): Moved to utils.c.
4997         (realhost): Removed.
4998         (same_host): Ditto.
4999
5000 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
5001
5002         * utils.c (path_simplify): Preserver the (non-)existence of
5003         leading slash.  Return non-zero if changes were made.
5004
5005 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
5006
5007         * progress.c (bar_update): Don't modify bp->total_length if it is
5008         zero.
5009
5010 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
5011
5012         * retr.c (retrieve_url): When the redirection URL doesn't parse,
5013         print the correct error message rather than "UNKNOWN".
5014
5015 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
5016
5017         * progress.c (bar_finish): If the timer didn't record any time
5018         since the download beginning, fake 1ms.
5019
5020 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
5021
5022         * recur.c (recursive_retrieve): Fix typo.
5023
5024 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
5025
5026         * progress.c (create_image): Don't translate "%ld ".
5027
5028 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
5029
5030         * progress.c (bar_set_params): Allow the user to force the use of
5031         the bar.
5032
5033 2001-11-23  Lemble Gregory  <gregory.lemble@st.com>
5034
5035         * gen_sslfunc.c (ssl_init_prng): New function; seed the SSL RNG.
5036
5037 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
5038
5039         * progress.c: Renamed dp_* functions to dot_* for greater clarity
5040         and consistency with bar_*.
5041         (print_download_speed): Get rid of the unneeded '@' character.
5042         (create_image): Fix download rate geometry.
5043
5044         * progress.c (print_elapsed): Remove spurious space.
5045         (print_elapsed): Renamed to print_download_speed, since that's
5046         what it does.
5047
5048 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
5049
5050         * progress.c (bar_update): If the downloaded amount becomes larger
5051         than the expected amount, adjust the expected amount accordingly.
5052
5053 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
5054
5055         * utils.c (determine_screen_width): New function.
5056
5057         * main.c (main): New option `--progress=TYPE'.
5058         (main): Implement compatibility with the old option `--dot-style'.
5059
5060         * init.c: Removed cmd_spec_dotstyle -- that logic is now in
5061         dp_set_params.
5062         (cmd_spec_progress): New function.
5063
5064         * retr.c (get_contents): Use the progress_* functions instead of
5065         the old show_progress().
5066         (show_progress): Removed.
5067         (rate): Print "xxxx.xx K/s" instead of "KB/s".  Ditto for MB/s,
5068         etc.
5069
5070         * progress.c (set_progress_implementation): New function.
5071         (valid_progress_implementation_p): Ditto.
5072         (progress_create): Ditto.
5073         (progress_update): Ditto.
5074         (progress_finish): Ditto.
5075         (dp_create): Ditto.
5076         (dp_update): Ditto.
5077         (dp_finish): Ditto.
5078         (dp_set_params): Ditto.
5079         (print_elapsed): Ditto.
5080
5081 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
5082
5083         * retr.c (show_progress): Use it.
5084
5085         * log.c (log_set_flush): New function.
5086
5087 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
5088
5089         * utils.c (path_simplify): Don't remove trailing slashes.
5090
5091         * ftp.c (ftp_get_listing): Use it.
5092
5093         * utils.c (file_merge): New function.
5094
5095         * url.c (opt_url): Removed.
5096
5097         * recur.c (recursive_retrieve): Inline "opt_url" logic.
5098
5099         * main.c (main): Use xfree(), not free().
5100
5101         * url.c (rewrite_url_maybe): Renamed to rewrite_shorthand_url.
5102
5103         * ftp.c (ccon): Move `ccon' typedef here, since it's only used
5104         internally.
5105
5106         * config.h.in: Include a stub for HAVE_STRPBRK.
5107
5108         * cmpt.c (strpbrk): Include a replacement for systems without
5109         strpbrk().
5110
5111         * ftp.c: Use url_set_dir and url_set_file when modifying the URL.
5112
5113         * url.c (url_set_dir): New function.
5114         (url_set_file): Ditto.
5115
5116         * ftp-basic.c (ftp_process_type): Process FTP type here; the URL
5117         parser makes the URL "params" available, so we can do that in this
5118         function.
5119
5120         * retr.c: Ditto.
5121
5122         * ftp.c: Ditto; pass the local file information in `ccon'.
5123
5124         * http.c: Get rid of the ugly kludge that had URL being replaced
5125         with the proxy URL when proxy retrieval was requested.  Use a
5126         separate parameter to http_loop and gethttp for the proxy URL.
5127
5128         * http.c: Changed to reflect the fact that local file, proxy, and
5129         referer information are no longer stored in struct url.  The local
5130         file information is passed in `struct hstat' now.
5131
5132         * url.c: Reworked URL parsing to be more regular.  Reencode the
5133         URL using reencode_string.
5134         Removed non-URL-related information from struct url.  This
5135         includes fields `proxy', `local', and `referer'.
5136
5137 2001-11-22  Jochen Hein  <jochen@jochen.org>
5138
5139         * main.c (main): Split the copyright notice for easier
5140         translation.
5141
5142 2001-08-21  Dave Turner <dct25@hermes.cam.ac.uk>
5143
5144         * ftp-basic.c (ftp_size): New function to send non-standard SIZE
5145           command to server to request file size.
5146         * ftp.h (ftp_size): Export it.
5147         * ftp.c (getftp): Use new ftp_size function if restoring
5148           transfer of a file with unknown size.
5149
5150 2001-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
5151
5152         * url.c (parseurl): Don't depend on the now-obsolete TYPE.
5153
5154 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
5155
5156         * url.c (getproxy): Handle URL shorthands.
5157
5158 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
5159
5160         * main.c: Remove --wait / --waitretry backwards compatibility
5161         code.
5162         
5163 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
5164
5165         * main.c (main): Use it.
5166
5167         * url.c (rewrite_url_maybe): New function.
5168
5169 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
5170
5171         * url.c: Clean up handling of URL schemes.
5172
5173 2001-05-13  Hrvoje Niksic  <hniksic@arsdigita.com>
5174
5175         * url.c: Get rid of `protostrings'.
5176         (skip_proto): Don't use protostrings.
5177         (has_proto): Ditto.
5178
5179 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
5180
5181         * Makefile.in: Conditionally compile getopt.o.
5182
5183 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
5184
5185         * md5.h: Renamed to gnu-md5.h.
5186
5187         * md5.c: Renamed to gnu-md5.c.
5188
5189         * http.c: Ditto.
5190
5191         * ftp-opie.c: Use the new macros.
5192
5193         * sysdep.h: Define md5-related macros.
5194
5195         * config.h.in: Define HAVE_SOLARIS_MD5 or HAVE_BUILTIN_MD5
5196         depending on which md5 implementation is used.
5197
5198 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
5199
5200         * res.c (res_register_specs): Initialize OLD and HP_OLD to appease
5201         the compiler.
5202
5203 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
5204
5205         * http.c (gethttp): Print the whole response line when printing
5206         headers is requested.
5207
5208 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
5209
5210         * res.c: New file.  Implement all RES-related code here.
5211
5212 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
5213
5214         * version.c: Wget 1.7.1 is released.
5215
5216 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
5217
5218         * headers.c (header_extract_number): Ignore trailing whitespace.
5219
5220 2001-08-24  Ian Abbott  <abbotti@mev.co.uk>
5221
5222         * html-url.c (collect_tags_mapper): Fix bug converting links
5223         with -k option for tags with multiple link attributes by
5224         handling links in the order they appear.
5225
5226 2001-08-15  Ian Abbott  <abbotti@mev.co.uk>
5227
5228         * ftp.c (ftp_loop_internal): Avoid a potential buffer overflow in
5229           the call to the 'rate' function by moving it past the error
5230           checking for the 'getftp' function return value.
5231
5232 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
5233
5234         * html-parse.c (advance_declaration): Use 0x22 instead of '"' or
5235         '\"'.  Different compilers' assert macros are broken in different
5236         ways.
5237
5238 2001-09-29  Christian Fraenkel  <c.fraenkel@gmx.net>
5239
5240         * http.c (gethttp): print debug output for errors occuring during
5241         the ssl handshake.
5242
5243 2001-11-16  Chris Seawood  <cls@seawood.org>
5244
5245         * init.c: Ditto.
5246
5247         * host.c: Ditto.
5248
5249         * connect.c: Ditto.
5250
5251         * sysdep.h: Support compilation under BEOS.
5252
5253 2001-06-08  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
5254
5255         * url.c (url_equal): Fix a memory leak when parseurl returns an
5256         error on the second URL. Also, since url_equal is not used at the
5257         moment, do not compile it.
5258
5259         * url.h: Ditto for the prototype of url_equal.
5260
5261 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
5262
5263         * html-parse.c (map_html_tags): Support XML-style empty tags.
5264
5265 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
5266
5267         * wget.h (DO_REALLOC_FROM_ALLOCA): Check for do_realloc_newsize in
5268         loop condition because we're no longer setting SIZEVAR here.
5269
5270 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
5271
5272         * wget.h (DO_REALLOC_FROM_ALLOCA): Set SIZEVAR after the memcpy()
5273         call because it needs the old value.
5274
5275 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
5276
5277         * cookies.c (ATTR_NAME_CHAR): Allow almost any character to be in
5278         an attribute name.
5279
5280 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
5281
5282         * url.c (url_filename): Make sure that slashes that sneak in to
5283         u->file via query string get protected.
5284         (file_name_protect_query_string): New function.
5285
5286 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
5287
5288         * recur.c (recursive_retrieve): Also check undesirable_urls with
5289         canonicalized URL.
5290
5291 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
5292
5293         * http.c (gethttp): Search `.netrc' with real host, not the proxy
5294         one.
5295
5296 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
5297
5298         * sysdep.h (MAP_FAILED): Provide MAP_FAILED for systems that don't
5299         define it.
5300
5301 2001-06-09  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5302
5303         * ftp.h: Provide correct prototype for ftp_parse_ls().
5304
5305 2001-06-04  Hrvoje Niksic  <hniksic@arsdigita.com>
5306
5307         * version.c: Wget 1.7 is released.
5308
5309 2001-06-03  Karl Eichwalder  <ke@suse.de>
5310
5311         * ftp-ls.c (ftp_parse_ls): Fix typo.
5312
5313 2001-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
5314
5315         * all: Update copyright information.
5316
5317 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
5318
5319         * http.c (gethttp): Indicate that the continued download failed
5320         for *this* file.
5321
5322 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
5323
5324         * version.c: Wget 1.7-pre1 is released.
5325
5326 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
5327
5328         * version.c: Updated version to 1.7-pre1.
5329
5330 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
5331
5332         * gen_sslfunc.c: Don't include <sys/time.h> directly.
5333
5334 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
5335
5336         * http.c (gethttp): Use real URL data for cookies, not the proxy
5337         stuff.
5338
5339 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
5340
5341         * main.c (print_help): Document `--no-http-keep-alive'.
5342
5343         * utils.c (numdigit): Handle negative numbers *correctly*.
5344
5345         * hash.c (make_nocase_string_hash_table): Use term "nocase" rather
5346         than the confusing "unsigned".
5347
5348         * utils.c (string_set_contains): Renamed from string_set_exists.
5349
5350         * hash.c (hash_table_contains): Renamed from hash_table_exists.
5351
5352         * cookies.c: Move case-insensitive hash tables to hash.c.
5353
5354 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
5355
5356         * http.c (gethttp): Before concluding that the file is already
5357         fully retrieved, make sure that the file existed and `Range' was
5358         actually requested.
5359
5360 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
5361
5362         * cookies.c (eliminate_dups): New function.
5363         (build_cookies_request): Use it.
5364         (build_cookies_request): Set chain_store_size after reallocating
5365         all_chains.
5366         (check_domain_match): Annotated for easier future debugging.
5367         (store_cookie): In the debug message, print whether the cookie is
5368         permanent.
5369
5370 2001-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
5371
5372         * http.c (http_loop): Reset no_truncate before deciding whether to
5373         set it.
5374         (gethttp): Further clarify "-c conflicts with existing file" error
5375         message, based on input from Herold Heiko.
5376
5377 2001-05-07  Hrvoje Niksic  <hniksic@arsdigita.com>
5378
5379         * http.c (http_loop): If restval is set, set no_truncate to 1
5380         unconditionally.
5381
5382 2001-05-02  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5383
5384         * ftp-ls.c (ftp_parse_winnt_ls): Assure months are being correctly
5385         converted. Pointed out by <Stefan.Weil@de.heidelberg.com>.
5386         (ftp_parse_vms_ls): Ditto.
5387
5388 2001-04-30  Hrvoje Niksic  <hniksic@arsdigita.com>
5389
5390         * init.c (cmd_address): Zero SIN before using it; apparently
5391         needed on *BSD.
5392
5393 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
5394
5395         * ftp.c (ftp_loop_internal): Don't set NO_TRUNCATE if the file is
5396         empty.
5397
5398 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
5399
5400         * main.c (main): Make `--cookies' respect its argument.
5401
5402 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
5403
5404         * main.c (main): Removed undocumented option `--email-address'.
5405
5406         * netrc.c: Use the latest read_whole_line.
5407
5408         * init.c (defaults): Set opt.ftp_pass to "-wget@".
5409
5410         * mswindows.c (pwd_cuserid): Ditto.
5411
5412         * utils.c (pwd_cuserid): Removed.
5413
5414         * host.c (ftp_getaddress): Removed.
5415
5416 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
5417
5418         (http_loop): Allocate space for filename_plus_orig_suffix with
5419         alloca; this is more efficient and removes the need to free it
5420         before each and every return.
5421
5422 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
5423
5424         * http.c (gethttp): Return RETRUNNEEDED when the retrieval is
5425         unneeded because the file is already there and fully downloaded,
5426         and -c is specified.
5427         (http_loop): Handle RETRUNNEEDED.
5428
5429         * wget.h (uerr_t): New value RETRUNNEEDED.
5430
5431         * http.c (http_loop): Set no_truncate for files that both exist
5432         and are non-empty.
5433         (gethttp): Consider the download finished when restval >= contlen,
5434         not only when restval==contlen.
5435         (gethttp): Handle redirection before giving up due to -c.
5436         (gethttp): Clarify error message which explains that -c will not
5437         truncate the file.
5438         (gethttp): When returning CONTNOTSUPPORTED, don't forget to free
5439         the stuff that needs freeing and release the socket.
5440
5441 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
5442
5443         * main.c (print_help): Wget booleans accept "off", not "no".
5444
5445 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
5446
5447         * http.c (http_loop): If allow_cache is zero, always disable
5448         caching, not only when retrieving through proxy.
5449
5450         * init.c: Ditto.
5451
5452         * options.h (struct options): Rename proxy_cache to allow_cache.
5453
5454 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
5455
5456         * http.c (mktime_from_utc): Improve documentation.
5457         (http_atotm): Put format strings into a separate array.
5458
5459 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
5460
5461         * safe-ctype.h: Instead of throwing #error when isalpha is
5462         defined, redefine it to something that will throw a compile-time
5463         error if actually *used*.  Do the same for the rest of the
5464         standard C macros.
5465
5466 2001-04-26  Hrvoje Niksic  <hniksic@arsdigita.com>
5467
5468         * url.c (getproxy): Ignore empty proxy vars.
5469
5470 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5471
5472         * http.c (http_loop): Would load cookies every time.
5473
5474         * cookies.c (load_cookies): Handle cookies whose values contain
5475         embedded spaces.
5476
5477 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5478
5479         * utils.c: Define each DIGITS_* in one line.
5480
5481 2001-04-25  Roger L. Beeman  <beeman@cisco.com>
5482
5483         * http.c (http_atotm): Initialize t.tm_isdst to 0.
5484         (mktime_from_utc): Prevent mktime() from having discontinuities at
5485         DST transition points.
5486
5487 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5488
5489         * html-url.c (get_urls_html): Fix documentation.
5490
5491 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5492
5493         * url.c (UNSAFE_CHAR): Reimplement using a static table.
5494         (url_init): Removed.
5495         (init_unsafe_char_table): Removed.
5496
5497 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5498
5499         * snprintf.c (dopr): Replace ISDIGIT with '0' <= ch && ch <= '9'.
5500
5501 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5502
5503         * utils.c: Document timer functions.
5504
5505         * retr.c (rate): Use it.
5506         (rate): Print in GB/s if transfer rate exceeds 1 GB/s.
5507
5508         * utils.c (wtimer_granularity): New function.
5509
5510 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
5511
5512         * retr.c (show_progress): Ditto.
5513
5514         * ftp.c (getftp): Ditto.
5515
5516         * http.c (gethttp): Use new timer functions.
5517
5518         * utils.c (wtimer_allocate): New function.
5519         (wtimer_new): Ditto.
5520         (wtimer_delete): Ditto.
5521         (wtimer_reset): Ditto.
5522         (wtimer_elapsed): Ditto.
5523
5524 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
5525
5526         * utils.c (long_to_string): New, faster version.  Favors smaller
5527         numbers; much of the calculation is now done at compile-time.
5528
5529 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
5530
5531         * utils.c (numdigit): Handle negative numbers.
5532
5533 2001-04-23  Hrvoje Niksic  <hniksic@arsdigita.com>
5534
5535         * retr.c (show_progress): Print the download rate even when the
5536         percentages are not available.
5537
5538 2001-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
5539
5540         * ftp.c (getftp): Adjust expected_bytes if the length is
5541         authoritative.
5542
5543 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
5544
5545         * url.c: Don't declare `construct'.
5546
5547         * hash.c (grow_hash_table): Speed up rehashing; inline storing of
5548         mappings to new locations.
5549         (hash_table_new): Make resize_threshold a field in the hash table,
5550         so we don't have to recalculate it in each hash_table_put.
5551         (grow_hash_table): Update resize_threshold.
5552         (MAX): Remove unused macro.
5553         (prime_size): Made static.
5554
5555 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
5556
5557         * retr.c (retrieve_url): Call uri_merge, not url_concat.
5558
5559         * html-url.c (collect_tags_mapper): Call uri_merge, not
5560         url_concat.
5561
5562         * url.c (mkstruct): Use encode_string instead of xstrdup followed
5563         by URL_CLEANSE.
5564         (path_simplify_with_kludge): Deleted.
5565         (contains_unsafe): Deleted.
5566         (construct): Renamed to uri_merge_1.
5567         (url_concat): Renamed to uri_merge.
5568
5569 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
5570
5571         * url.c (str_url): Use encode_string instead of the unnecessary
5572         CLEANDUP.
5573         (encode_string_maybe): New function, returns input string if no
5574         encoding is needed.
5575         (encode_string): Call encode_string_maybe to do the dirty work,
5576         xstrdup if no work needed.
5577
5578 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
5579
5580         * wget.h (XDIGIT_TO_xchar): Define here.
5581
5582         * url.c (decode_string): Use new name.
5583         (encode_string): Ditto.
5584
5585         * http.c (XDIGIT_TO_xchar): Rename HEXD2asc to XDIGIT_TO_xchar.
5586         (dump_hash): Use new name.
5587
5588         * wget.h: Rename ASC2HEXD and HEXD2ASC to XCHAR_TO_XDIGIT and
5589         XDIGIT_TO_XCHAR respectively.
5590
5591 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
5592
5593         * init.c: Include cookies.h.
5594
5595         * cookies.h: Declare cookies_cleanup.
5596
5597         * cookies.c (check_domain_match): Remove unused variable.
5598         (save_cookies): Remove extraneous argument from debug statement.
5599
5600         * host.c (same_host): Don't call skip_url.
5601
5602         * url.c (skip_url): Removed.  Removed its calls from various
5603         functions in url.c.
5604
5605 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
5606
5607         * cookies.c (unsigned_string_hash): Use the new code in
5608         string_hash as reference.
5609
5610         * hash.c (hash_table_map): Allow deletion and change of the
5611         element processed by MAPFUN.
5612         (string_hash): Use the function from glib.
5613
5614 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
5615
5616         * config.h.in: Include #undef stub.
5617
5618         * hash.c (hash_table_remove): Rewrite to actually clear deleted
5619         entries instead of just marking them as deleted.
5620
5621 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
5622
5623         * hash.h: Declare hash_table_get_pair and hash_table_count.
5624
5625 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
5626
5627         * cookies.c: Declare http_atotm.
5628
5629 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
5630
5631         * ftp-ls.c (ftp_parse_unix_ls): Use octal constants for
5632         permissions.  A compiler that doesn't accept octal constants is
5633         seriously broken and shouldn't be used -- octal constants were
5634         present in K&R C!
5635
5636 2001-01-20  Karl Eichwalder  <ke@suse.de>
5637
5638         * Makefile.in: Provide and use DESTDIR according to the Coding
5639         Standards.
5640
5641 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
5642
5643         * ftp-ls.c (ftp_parse_vms_ls): Make seconds optional in time
5644         specification.
5645
5646 2001-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
5647
5648         * url.c (parseurl): Don't strip trailing slash when u->dir is "/"
5649         because that strips the *leading* slash, thus forcing relative
5650         FTP retrieval.
5651
5652 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5653
5654         * ftp.c (getftp): Convert initial FTP directory from VMS to UNIX
5655         notation for VMS servers. 
5656         (ftp_retrieve_dirs): Do not prepend '/' to f->name when
5657         odir is an empty string.
5658
5659 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5660
5661         * ftp-ls.c (ftp_parse_winnt_ls): Made the fix for AM/PM more
5662         effective. Suggested by Edward J. Sabol.
5663
5664 2001-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
5665
5666         * cookies.c (build_cookies_request): Use and sort cookies from all
5667         matching domains.
5668         (build_cookies_request): Check for duplicates before generating
5669         the `Cookies' header.
5670
5671         * main.c (main): Don't load cookies here.
5672         (main): Make loadcookies and savecookies call the correct command.
5673
5674         * http.c (http_loop): Load cookies on-demand.
5675
5676 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
5677
5678         * http.c (gethttp): Fix indentation of SSL ifdef.
5679
5680 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
5681
5682         * ftp.c (ftp_retrieve_dirs): Don't forcibly prepend "/" to u->dir;
5683         that hack is no longer necessary.
5684         (getftp): Prepend initial directory to *non*-absolute u->dir's.
5685
5686 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
5687
5688         * init.c (cmd_file): New function.
5689         (enable_tilde_expansion): New variable.
5690         (run_wgetrc): Use it.
5691         (cmd_file): Use it.
5692
5693 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
5694
5695         * init.c: Include cookie-related options.
5696
5697         * main.c (main): Include cookie-specific options.
5698         (main): Load cookies before download is finished.
5699         (main): Save cookies when done.
5700
5701         * http.c (gethttp): Process the `Set-Cookie' header.
5702         (gethttp): Include cookies in the response.
5703
5704         * cookies.c: New file.
5705
5706 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
5707
5708         * utils.c (datetime_str): New function.
5709
5710 2001-04-08  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5711
5712         * ftp-ls.c (ftp_parse_winnt_ls): The AM/PM change did assume
5713         12:01PM == 00:01, which was obviously wrong. Taken care of this
5714         anomaly.
5715
5716         * ChangeLog: Removed an excess conflict marker. Reformatted the
5717         entry by Philipp Thomas from 2001-03-09.
5718
5719         * ftp-ls.c (ftp_parse_winnt_ls): Ensure that adjusted PM hours lay
5720         between 0 and 23. Elminate unused variable `sec'.
5721
5722 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
5723
5724         * hash.c (hash_table_count): New function.
5725
5726 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5727
5728         * utils.c (read_file): Cast MAP_FAILED to char *.  Enforced by
5729         Digital Unix cc.
5730
5731 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5732
5733         * config.h.in: Oops, do the namespace tweaks only on systems we
5734         know about.
5735
5736 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5737
5738         * hash.c: Include <string.h>.
5739
5740 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5741
5742         * config.h.in: Define "compilation environment" options that work
5743         under Linux and Solaris.  To be reviewed on other OS'es.
5744
5745 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5746
5747         * http.c (gethttp): Prepend literal newline with `\n\'.
5748
5749 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5750
5751         * sysdep.h: Don't define VERY_LONG_FORMAT.
5752
5753         * utils.c (very_long_to_string): New function.
5754         (legible_very_long): Use it; don't use VERY_LONG_FORMAT.
5755
5756 2001-04-04  Christian Fraenkel  <christian.fraenkel@gmx.net>
5757
5758         * url.c (parse_uname): Would run past the end of the string if the
5759         username was present, but the URL did not contain a slash, e.g.
5760         http://foo:bar@myhost.
5761
5762 2001-04-03  KOJIMA Hajime  <kjm@rins.ryukoku.ac.jp>
5763
5764         * http.c (http_atotm): Use %A instead of %a to match full
5765         weekday.  (On most systems there is no difference.)
5766
5767 2001-04-03  Paul Bludov  <paul@ozero.net>
5768
5769         * mswindows.c (sleep): Use SleepEx() instead of Sleep().
5770         (ws_changetitle): Use alloca() instead of malloc() to avoid memory
5771         leak.
5772         (ws_mypath): Use GetModuleFileName instead of argv[0].
5773         (ws_startup): Use data.wVersion for comparison.
5774
5775 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
5776
5777         * http.c (http_loop): Ditto.
5778
5779         * ftp.c (ftp_loop_internal): Made the check whether to continue
5780         retrieval `-O'-friendly.
5781
5782 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
5783
5784         * netrc.c (parse_netrc): Don't trim the line endings explicitly;
5785         they will be handled as whitespace.
5786         (parse_netrc): Correctly handle lines that end with whitespace.
5787
5788 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
5789
5790         * retr.c (retrieve_url): New variable global_download_count used
5791         to identify first retrieval.
5792
5793         * ftp.c (getftp): Ditto.
5794
5795         * http.c (gethttp): Rewind opt.dfp only on first retrieval.
5796
5797 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
5798
5799         * init.c (cmd_address): Heap-allocate the address that gets stored
5800         to CLOSURE.  Old code would simply assign an address on the stack.
5801
5802 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
5803
5804         * ftp.c (ftp_get_listing): Propagate error status.
5805         (ftp_retrieve_glob): Use it.
5806         (ftp_loop): Ditto.
5807
5808 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
5809
5810         * main.c (main): Add -C to the string that is the third arg to
5811         getopt_long().
5812
5813 2001-04-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5814
5815         * ftp.c (getftp): Don't start the download from scratch if `-c'
5816         was specified, but the file is already fully downloaded.
5817
5818         * http.c (gethttp): Don't truncate a pre-existing file if `-c' was
5819         specified and the server doesn't support continued download.
5820         (gethttp): Don't start the download from scratch if `-c' was
5821         specified, but the file is already fully downloaded.
5822
5823 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
5824
5825         (recursive_retrieve): Don't clear the hash tables at this point at
5826         all; it interferes with the normal operation of register_download.
5827
5828 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
5829
5830         * recur.c (recursive_retrieve): Clear the hash tables only when
5831         they are defined.
5832
5833 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
5834
5835         * http.c (gethttp): Make sure the socket is closed with
5836         CLOSE_INVALIDATE before we have drained the body.
5837
5838 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
5839
5840         * retr.c (retrieve_url): Call register_download() for downloaded
5841         files and register_html() for downloaded HTML files.
5842
5843         * recur.c (register_download): New function; register here that a
5844         file has been downloaded, rather than in recursive_retrieve().
5845         (register_html): New function; enqueue the location of HTML files
5846         here rather than in recursive_retrieve().
5847
5848 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
5849
5850         * main.c (print_help): Use multiple fputs instead of a single ugly
5851         printf().
5852         (main): Consistently assign numbers >128 to options without a
5853         corresponding character.
5854
5855 2001-03-09  Philipp Thomas  <pthomas@suse.de>
5856
5857         * safe-ctype.h: New file. Locale independent ctype.h replacement
5858         taken from libiberty.
5859
5860         * safe-ctype.c: New file. Tables for above.
5861
5862         * Makefile.in: Add safe-ctype$o to OBJS.  Add dependencies for
5863         safe-ctype$o.
5864
5865         * cmpt.c: Remove include of ctype.h. Use ISSPACE instead of
5866         isspace.
5867
5868         * ftp-basic.c: Don't include ctype.h.
5869
5870         * ftp-ls.c: Likewise.
5871
5872         * ftp.c: Likewise.
5873
5874         * headers.c: Likewise.
5875
5876         * host.c: Likewise.
5877
5878         * html-parse.c: Likewise.
5879
5880         * html-url.c: Likewise.
5881
5882         * http.c: Likewise.
5883
5884         * init.c: Likewise.
5885
5886         * main.c: Likewise. Set LC_CTYPE along with LC_MESSAGES.
5887
5888         * netrc.c: Likewise.
5889
5890         * recur.c: Likewise.
5891
5892         * retr.c: Likewise.
5893
5894         * snprintf.c: Replace ctype.h with safe-ctype.h. Use ISDIGIT
5895         instead of isdigit.
5896
5897         * sysdep.h: Remove defines of ctype macros as they aren't needed
5898         for safe-ctype-h.
5899
5900         * url.c: Don't include ctype.h.
5901
5902         * utils.c: Likewise.
5903
5904         * wget.h: Include safe-ctype.h.
5905
5906 2001-03-27  Dan Harkless  <wget@harkless.org>
5907
5908         * Makefile.in: Moved top_builddir out of "User configuration
5909         section" of top Makefile and analogous spot in this one.
5910
5911 2001-03-17  Dan Harkless  <wget@harkless.org>
5912
5913         * Makefile.in: Include @SSL_INCLUDES@ substition in INCLUDES.
5914         Define top_builddir.  Link wget with libtool so the user doesn't
5915         have to supply a bunch of custom environment variables to 
5916         correctly link with the OpenSSL shared libraries.
5917
5918 2001-03-06  Hack Kampbjorn  <hack@hackdata.com>
5919
5920         * http.c (gethttp): skip :port in host header if it is the
5921         DEFAULT_HTTPS_PORT when using SSL.
5922
5923         * url.c: move the #define of DEFAULT_HTTP_PORT, DEFAULT_FTP_PORT
5924         and DEFAULT_HTTPS_PORT to the header file so it can be use in the
5925         rest of the code. 
5926         * url.h: Ditto
5927
5928 2001-03-01  Jonas Jensen  <bones@huleboer.dk>
5929
5930         * retr.c (show_progress): Correctly calculate the number of bytes
5931         in the first line of the download that have been actually
5932         downloaded in this run.
5933
5934 2001-02-23  Dan Harkless  <wget@harkless.org>
5935
5936         * main.c (print_help): --help documentation for -N said it would
5937         re-download files if they had the _same_ timestamp on server.
5938         (print_help): -nr belongs in "FTP options" section of --help
5939         output, not "Recursive retrieval" section.  Alphabetized FTP
5940         options by long option name.
5941
5942 2001-02-16  Dan Harkless  <wget@harkless.org>
5943
5944         * init.c (commands): Hack Kampbjørn <hack@hackdata.com> discovered
5945         that "httpsproxy" had been inserted into commands[] out of
5946         alphabetical order, causing "BUG: unknown command `httpuser'".
5947
5948 2001-02-13  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5949
5950         * ftp-ls.c (ftp_parse_ls): Added support of ST_MACOS (Unix-like
5951         listing without correct permissons).
5952
5953         * ftp.h (stype): Added ST_MACOS to identify the NetPresenz MacOS
5954         FTP server. 
5955
5956         * ftp.c (ftp_retrieve_list): New mirroring logic: A remote file
5957         shall be donwloaded only when it's newer than the local copy or
5958         when it has the same timeestamp but its size is different. ST_VMS
5959         and ST_MACOS as special cases that lie about file size. 
5960
5961         * ftp-ls.c (ftp_parse_ls): Support for ST_MACOS.
5962
5963         * Makefile.in: Removed dependency on ftpparse library due to unclear
5964         copyright issues and absence of any feedback to our queries. 
5965
5966         * ftp-ls.c: Removed dependency on ftpparse library due to unclear
5967         copyright issues and absence of any feedback to our queries.   
5968         (ftp_parse_ls): Added a warning message when remote server system
5969         does not seem to be suported by wget. 
5970         (ftp_parse_vms_ls): New function for parsing VMS ftp
5971         server listing output.
5972         (clean_line): New function responsible for removing
5973         end-of-line characters from FTP listing texts.
5974
5975         * ftp.c (getftp): Global variables pwd and host_type are now
5976         member of the ccon structure under names ccon.id and ccon.rs. 
5977
5978         * ftp.h (struct ccon): Added formed global variables from ftp.c,
5979         enum stype rs (remote system identification) and char *id (initial
5980         working directory), as suggested by Hrvoje.
5981
5982         * url.c (parse_uname): Added support for passwords containing '@'
5983         characters.
5984         (skip_uname): Ditto.
5985
5986 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
5987
5988         * ftp.c (ftp_loop): Reset con.
5989
5990 2001-01-06  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5991
5992         * url.c (parse_uname): Added support for passwords containing '@'
5993         characters.
5994         (skip_uname): Ditto.
5995
5996 2001-02-11  Hack Kampbjørn  <hack@hackdata.com>
5997
5998         * url.c (parseurl): Debug-print u->ftp_type.
5999
6000 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
6001
6002         * ftp.c (ftp_loop_internal): Disable padding.
6003         (getftp): Ditto.
6004
6005         * http.c (http_loop): Disable padding.
6006
6007         * retr.c (show_progress): Use it to enable padding.
6008
6009         * retr.c (rate): Optional parameter PAD for padding the rate.
6010
6011 2001-02-10  Hrvoje Niksic  <hniksic@arsdigita.com>
6012
6013         * retr.c (show_progress): Make sure that the last output line
6014         includes progress.
6015
6016 2001-02-10  Jonas Jensen  <bones@huleboer.dk>
6017
6018         * retr.c (show_progress): Print the download rate along with the
6019         percentages.
6020         Along with Anders Thorsby <anders@thorsby.dk>.
6021
6022 2001-02-10  Tim Mooney  <mooney@dogbert.cc.ndsu.NoDak.edu>
6023
6024         * ftp.h: Rename enums `command' to `wget_ftp_command' and
6025         `fstatus' to `wget_ftp_status' because old names clash with Tru64
6026         net/if.h.
6027
6028 2001-02-08  Christian Fraenkel <christian.fraenkel@gmx.net>
6029
6030         * gen_sslfunc.c: verify_callback is now static
6031
6032         * gen_sslfunc.c (init_ssl): load certificate if specified
6033
6034         * gen_sslfunc.c (ssl_printerr): new function
6035
6036         * init.c: added new --sslcertfile and --sslcertkey switches
6037
6038         * main.c: ditto
6039
6040         * options.h: ditto
6041
6042         * http.c (gethttp): abort when init_ssl fails
6043
6044 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
6045
6046         * mswindows.h: Include <malloc.h>; it's needed for alloca().
6047
6048 2001-01-10  Dan Harkless  <wget@harkless.org>
6049
6050         * url.c (str_url): Clarified this function's comment header after
6051         Hrvoje answered my question on the list as to when hide != 1.
6052         Also Hrvoje pointed out I need to use xstrdup() on the string literal.
6053
6054 2001-01-06  Hrvoje Niksic  <hniksic@arsdigita.com>
6055
6056         * connect.c (bindport): Declare addrlen as int.  Diagnosed by
6057         Drazen Kacar <dave@arsdigita.com>.
6058         (conaddr): Ditto.
6059
6060 2001-01-09  Dan Harkless  <wget@harkless.org>
6061
6062         * html-url.c: A bunch of fixup of `--page-requisites'-related
6063         comments to reflect Hrvoje's changes to my code when transplanting
6064         it into this new file, to fix spelling mistakes, to clarify, etc.
6065
6066         * url.c (write_backup_file): Clarified a comment.
6067         (str_url): Henrik van Ginhoven pointed out on the list that we
6068         shouldn't give away the number of characters in the password by
6069         replacing each character with a 'x'.  Use "<password>" instead.
6070
6071         * ftp.c (ftp_retrieve_dirs): The bug where recursion into FTP
6072         directories didn't work if logging in put you in a directory other
6073         than "/" is fixed now.  Removed the comment here warning of the bug.
6074
6075         * main.c (print_help): --continue's description was misleading.
6076         We don't "restart", we "resume".  Also, better to say
6077         "partially-downloaded file" rather than just "existing file".
6078
6079 2001-01-06  Dan Harkless  <wget@harkless.org>
6080
6081         * ChangeLog: The '[Not in 1.6 branch.]'s were decided not to be
6082         the best way to go about my aim.  Removed them in favor of:
6083
6084         * ChangeLog-branches/1.6_branch.ChangeLog: New file.
6085
6086 2001-01-04  Hrvoje Niksic  <hniksic@arsdigita.com>
6087
6088         * url.c (replace_attr): New function, to be used by both
6089         TO_COMPLETE and TO_RELATIVE case in convert_links.
6090         (find_fragment): New function for finding URL fragments.
6091         (replace_attr): Better handle the case where the original string
6092         is not quoted.  Use find_fragment.
6093         (convert_links): Use replace_attr().
6094
6095 2000-12-31  Dan Harkless  <wget@harkless.org>
6096
6097         * ChangeLog: Since this flat file doesn't have multiple branches,
6098         looking at the dates would make you think that things went into
6099         1.6 that actually just went into the 1.7-dev branch.  Added "[Not
6100         in 1.6 branch.]" where appropriate to clarify.
6101         
6102 2000-12-30  Dan Harkless  <wget@harkless.org>
6103
6104         * ftp.c, http.c:  Applied Hack Kampbjørn <hack@hackdata.com>'s
6105         patch to deal with h_errno not being defined in netdb.h under Cygwin.
6106
6107 2000-12-18  Csaba Raduly  <csaba.raduly@sophos.com>
6108
6109         * sysdep.h: Include <malloc.h> and <io.h> under Watcom.
6110
6111 2000-12-17  Igor Khristophorov  <igor@atdot.org>
6112
6113         * http.c (check_end): Fix test for '+' or '-'.
6114
6115 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
6116
6117         * url.c (parseurl): Rename inner loop var from i to ind to avoid
6118         clash with the function top-level-declared variable i.
6119         (str_url): Likewise, rename inner-loop i to j.
6120
6121         * recur.c (parse_robots): Don't declare LEN at top of function.
6122         (robots_match): Renamed parameter FORBIDDEN to avoid hiding of
6123         global variable.
6124
6125         * main.c (main): Change erroneous use of bitwise and to logical.
6126
6127         * init.c (cmd_address): Don't heap-allocate `sin'; it can be on
6128         the stack because it will be copied to closure.
6129
6130         Thanks to Csaba Raduly's run of PC-LINT over the sources.
6131
6132 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
6133
6134         * http.c (basic_authentication_encode): Use xmalloc(), not
6135         malloc().  Thanks to Csaba Raduly's run of PC-LINT over the
6136         sources.
6137
6138 2000-12-17  Csaba Raduly  <csaba.raduly@sophos.com>
6139
6140         * sysdep.h: Test for __EMX__ rather than for EMXOS2 for OS/2
6141         compilation.
6142
6143 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
6144
6145         * mswindows.c: Include <errno.h>.
6146
6147         * gen_sslfunc.c: Include <errno.h>.
6148
6149         * ftp-basic.c: Don't attempt to declare errno or h_errno because
6150         they're not used.
6151
6152         * main.c: Include <errno.h> because errno is used.
6153
6154         * ftp.c: Ditto.
6155
6156         * http.c: Include <netdb.h> for h_errno.
6157
6158 2000-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
6159
6160         * html-parse.c (advance_declaration): MSVC assert() chokes on
6161         '\"'.  Use '"' instead.
6162
6163 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
6164
6165         * utils.c (xfree_real): Removed.
6166         (xfree_debug): Just call free().
6167
6168         * wget.h (xfree): Make it an alias for free.
6169
6170 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
6171
6172         * http.c (http_loop): Furthermore, touch output_document only if
6173         it is known to be an existing regular file.
6174
6175 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
6176
6177         * ftp.c (ftp_retrieve_list): Ditto.
6178
6179         * http.c (http_loop): Touch output_document if that is used for
6180         output.
6181
6182 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
6183
6184         * http.c: Include gen_sslfunc.h after including Wget's headers.
6185         (persistent_available_p): Needed coma before `int ssl'.
6186
6187 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
6188
6189         * ftp.c (ftp_loop_internal): Ditto.
6190
6191         * http.c (http_loop): Use it.
6192
6193         * retr.c (sleep_between_retrievals): New function that handles the
6194         logic of opt.wait and opt.waitretry.
6195
6196 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
6197
6198         * rbuf.h: Implement only a single version of RBUF_READCHAR, using
6199         rbuf_read_bufferful when the buffer is depleted.
6200
6201         * rbuf.c (rbuf_read_bufferful): New function.
6202
6203 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
6204
6205         * gen_sslfunc.h: Use ansi2knr style function declarations.
6206
6207         * gen_sslfunc.c: Reformat according to the GNU coding standards.
6208         More should be done.
6209
6210         * http.c (persistent_available_p): Place the cheap SSL test nearer
6211         the top of the function.
6212         (CLOSE_FINISH, CLOSE_INVALIDATE): Define only one version of each.
6213
6214 2000-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
6215
6216         * url.c (init_unsafe_char_table): Reinstate space as an unsafe
6217         char.
6218
6219 2000-12-03  Christian Fraenkel <christian.fraenkel@gmx.net>
6220
6221         * Makefile.in: added gen_sslfunc object
6222         * config.h.in: added HAVE_SSL define
6223         * connect.c: changed select_fd from static int to int
6224         * connect.h: ditto
6225         * gen_sslfunc.h: New file
6226         * gen_sslfunc.c: ditto
6227         * http.c: added HTTPS fuctionality
6228         * retrc.c: ditto
6229         * url.c: ditto
6230         * init.c: added opt.httpsproxy
6231         * options.h: ditto
6232         * rbuf.h: added alternate rbuf struct
6233         * wget.h: added CONSSLERR
6234         * rbuf.c: ditto
6235
6236         * http.c: Added HTTPS fuctionality.
6237
6238         * retrc.c: Ditto.
6239
6240         * url.c: Ditto.
6241
6242         * init.c: Added opt.httpsproxy.
6243
6244         * options.h: Ditto.
6245
6246         * rbuf.h: Added alternate rbuf struct.
6247
6248         * wget.h: Added CONSSLERR.
6249
6250         * rbuf.c: Ditto.
6251
6252 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
6253
6254         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
6255         "ignore_perms" to ignore file and directory permissions for
6256         Windows NT FTP server listings.
6257         (ftp_parse_winnt_ls): New function.
6258         (ftp_parse_ls): Parses UNIX and Windows NT listings
6259         separately. Simple heuristics for distinguishing between UNIX and
6260         MS-DOS-like FTP listing provided by Windows NT FTP service.
6261
6262 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
6263
6264         * ftpparse.c, ftpparse.h: New files.
6265
6266         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
6267         only. Use ftp_parse_nonunix_ls otherwise.
6268         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
6269         exotic FTP servers.
6270
6271         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
6272         FTP servers.
6273
6274         * ftp.c: New static wariables host_type, pwd, and pwd_len. 
6275         (getftp): Support for VMS. Support for FTP servers that do not
6276         place you in the root directory after login.
6277         (ftp_retrieve_list): VMS is silent about the real file size, issue
6278         a more appropriate message.
6279         (ftp_get_listing): Pass host_type to ftp_parse_ls.
6280
6281         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
6282
6283 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
6284
6285         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
6286         "ignore_perms" to ignore file and directory permissions for
6287         Windows NT FTP server listings.
6288         (ftp_parse_winnt_ls): New function.
6289         (ftp_parse_ls): Parses UNIX and Windows NT listings
6290         separately. Simple heuristics for distinguishing between UNIX
6291         and MS-DOS-like FTP listing provided by Windows NT FTP service.
6292
6293 2000-11-29  John Summerfield  <summer@OS2.ami.com.au>
6294
6295         * netrc.c (parse_netrc): Get rid of line ending.
6296
6297 2000-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
6298
6299         * ftp.c (ftp_retrieve_list): Undo typo "fix" until resolution by
6300         Dan.
6301
6302 2000-11-24  Karl Eichwalder  <ke@suse.de>
6303
6304         * main.c (print_help): Untabify.
6305
6306 2000-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
6307
6308         * utils.c (xrealloc_debug): Do the unregister/register thing only
6309         if the pointer has actually changed.
6310         (xmalloc_real): Declare `static' in DEBUG_MALLOC builds.
6311         (xfree_real): Ditto.
6312         (xrealloc_real): Ditto.
6313         (xstrdup_real): Ditto.
6314
6315 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
6316
6317         * ftp.c (getftp): ftp_getaddress() returns a malloc'ed copy of the
6318         string; no need to strdup() it.
6319         (getftp): Make pwd_len a local variable.
6320         (ftp_loop): Free PWD before returning.
6321
6322         * init.c (cleanup): Free opt.ftp_pass only if it's non-NULL.
6323
6324 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
6325
6326         * all: Use xfree() instead of free.
6327
6328         * utils.c (xfree): New function.
6329
6330 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
6331
6332         * url.c (convert_links): HTML-quote the converted string.
6333
6334         * utils.c (html_quote_string): Move here from ftp-ls.c
6335         (html_quote_string): Make non-static; declare in utils.h.
6336         (html_quote_string): Convert SP to &#32;.
6337
6338 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
6339
6340         * ftp.c (getftp): Reformat Jan's code according to GNU coding
6341         standards; remove (debugging?) printf's; use '\0' for the ASCII
6342         zero character.  Use alloca() instead of malloc() for
6343         inter-function temporary allocations.
6344
6345 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
6346
6347         * ftpparse.c, ftpparse.h: New files.
6348
6349         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
6350         only. Use ftp_parse_nonunix_ls otherwise.
6351         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
6352         exotic FTP servers.
6353
6354         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
6355         FTP servers.
6356
6357         * ftp.c: New static wariables host_type, pwd, and pwd_len. 
6358         (getftp): Support for VMS. Support for FTP servers that do not
6359         place you in the root directory after login.
6360         (ftp_retrieve_list): VMS is silent about the real file size, issue
6361         a more appropriate message.
6362         (ftp_get_listing): Pass host_type to ftp_parse_ls.
6363
6364         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
6365
6366 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
6367
6368         * hash.c (hash_table_put): Don't overwrite deleted mappings.
6369
6370 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
6371
6372         * hash.c (find_mapping): New function.
6373         (hash_table_get): Use it.
6374         (hash_table_get_pair): Ditto.
6375         (hash_table_exists): Ditto.
6376         (hash_table_remove): Ditto.
6377         (hash_table_remove): Really delete the entry if the mapping
6378         following LOCATION is empty.
6379
6380         * utils.c (string_set_add): Check whether the element has existed
6381         before.
6382
6383         * hash.c (hash_table_get_pair): New function.
6384
6385 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
6386
6387         * http.c (http_process_type): Ignore trailing whitespace; use
6388         strdupdelim().
6389
6390         * recur.c (recursive_retrieve): Use the new `convert' field.
6391         (convert_all_links): Ditto.
6392         (convert_all_links): Don't respect meta_disallow_follow.
6393
6394         * html-url.c (handle_link): Fill out link_relative_p and
6395         link_complete_p.
6396
6397         * url.h (struct _urlpos): Make elements more readable.
6398
6399         * recur.c (recursive_retrieve): Call slist_prepend instead of
6400         slist_append.
6401         (convert_all_links): Call slist_nreverse before iterating through
6402         urls_html.
6403
6404         * utils.c (slist_prepend): New function.
6405         (slist_nreverse): Ditto.
6406
6407 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
6408
6409         * http.c (check_end): Constify.
6410
6411 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
6412
6413         * http.c (http_loop): If username and password are known, try the
6414         `Basic' authentication scheme by default.
6415
6416         * connect.h: Declare test_socket_open.
6417
6418 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
6419
6420         * version.c: Bump version from 1.5.3+dev to 1.7-dev.
6421
6422 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
6423
6424         * http.c (gethttp): Don't use the return value of sprintf().
6425         (gethttp): Inhibit keep-alive if opt.http_keep_alive is 0.
6426
6427 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
6428
6429         * recur.c (recursive_retrieve): Print the "so we don't load"
6430         debugging message only if we really don't load.
6431
6432         * http.c (gethttp): Inhibit keep-alive if proxy is being used.
6433         (gethttp): Don't request keep-alive if keep-alive is inhibited.
6434
6435 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
6436
6437         * http.c (gethttp): Make the HTTP persistent connections more
6438         robust.
6439
6440 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
6441
6442         * retr.c (get_contents): If use_expected, make sure that the
6443         appropriate amount of data is being read.
6444
6445         * http.c (gethttp): Check for both `Keep-Alive: ...' and
6446         `Connection: Keep-Alive'.
6447
6448         * wget.h (DEBUGP): Call debug_logprintf only if opt.debug is
6449         turned on.
6450
6451 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
6452
6453         * http.c (connection_available_p): Use it.
6454
6455         * connect.c (test_socket_open): New function.
6456
6457         * http.c (gethttp): Support persistent connections.  Based on the
6458         ideas, and partly on code, by Sam Horrocks <sam@daemoninc.com>.
6459         (register_persistent): New function.
6460         (connection_available_p): Ditto.
6461         (invalidate_connection): Ditto.
6462
6463 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
6464
6465         * url.c (convert_links): Handle UREL2ABS case.
6466
6467         * recur.c (recursive_retrieve): Instead of the list
6468         urls_downloaded, use hash tables dl_file_url_map and
6469         dl_url_file_map.
6470         (convert_all_links): Use them to retrieve data.
6471
6472         * host.c (clean_hosts): Free the hash tables.
6473
6474         * main.c (private_initialize): Call host_init().
6475
6476         * host.c (store_hostaddress): Use a saner, hash table-based data
6477         model.
6478         (realhost): Ditto.
6479         (host_init): Initialize the hash tables.
6480
6481 2000-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
6482
6483         * utils.c (slist_append): Eviscerate NOSORT.  Hash tables are now
6484         used for what the sorted slists used to be used for.
6485         (slist_contains): Don't rely on the list being sorted.
6486         (slist_append): Simplify the code.
6487
6488         * recur.c (recursive_cleanup): Use free_string_set.
6489
6490         * utils.c (string_set_add, string_set_exists, string_set_free):
6491         New functions for easier freeing of hash tables whose keys are
6492         strdup'ed strings.
6493
6494         * recur.c (recursive_retrieve): Use the hash table functions for
6495         storing undesirable URLs.
6496
6497         * hash.c: New file.
6498
6499 2000-11-17  Hrvoje Niksic  <hniksic@arsdigita.com>
6500
6501         * main.c (private_initialize): Call url_init.
6502         (main): Call private_initialize.
6503
6504         * url.c (unsafe_char_table): New table.
6505         (UNSAFE_CHAR): Use it.
6506         (init_unsafe_char_table): New function.
6507         (url_init): New function; call init_unsafe_char_table.
6508
6509 2000-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
6510
6511         * mswindows.h: Define snprintf and vsnprintf to _snprintf and
6512         _vsnprintf respectively.
6513
6514 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
6515
6516         * config.h.in: Do the _XOPEN_SOURCE and _SVID_SOURCE things only
6517         on Linux.
6518
6519 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
6520
6521         * html-url.c (handle_link): Handle HTML fragment identifiers.
6522
6523         * recur.c (recursive_retrieve): If norobot info is respected and
6524         the file is specified not to be followed by robots, respect that.
6525
6526         * html-url.c (collect_tags_mapper): Handle <meta name=robots
6527         content=X>.  For us the important cases are where X is NONE or
6528         where X contains NOFOLLOW.
6529         (get_urls_html): Propagate that information to the caller.
6530
6531 2000-11-13  Hrvoje Niksic  <hniksic@arsdigita.com>
6532
6533         * url.c (convert_links): Unlink the file we might be reading from
6534         before writing to it.
6535         (convert_links): Use alloca instead of malloc for
6536         filename_plus_orig_suffix.
6537
6538 2000-11-12  Hrvoje Niksic  <hniksic@arsdigita.com>
6539
6540         * host.c (realhost): Add HOST to the list with quality==0 only if
6541         it wasn't already there.
6542         Based on analysis by Lu Guohan <feng@public.bjnet.edu.cn>.
6543
6544 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
6545
6546         * url.c (get_urls_file): Ditto.
6547         (convert_links): Ditto.
6548
6549         * html-url.c (get_urls_html): Use read_file() instead of
6550         load_file().
6551
6552         * utils.c (read_file): New function, instead of the old
6553         load_file().
6554         (read_file_free): Ditto.
6555
6556         * url.c (findurl): Search only for the supported protocols.
6557         (convert_links): Use fwrite() when writing out a region of
6558         characters.
6559
6560 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
6561
6562         * ftp-ls.c: Move html_quote_string and ftp_index here.
6563
6564         * url.c: Remove get_urls_html, since that's now in html-url.c.
6565
6566         * html-url.c: New file.
6567
6568         * html-parse.c: New file.
6569
6570 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
6571
6572         * init.c (run_wgetrc): Don't bother killing off '\r' since
6573         pars_line() skips whitespace at end of line anyway.
6574         (parse_line): Oops, it didn't.  Now it does.
6575
6576         * recur.c (parse_robots): Ditto here.
6577
6578         * ftp-ls.c (ftp_parse_unix_ls): Kill off the newline character
6579         manually because read_whole_line no longer does.
6580
6581         * utils.c (read_whole_line): Rewrite to: a) use less memory
6582         (reallocates to needed size after work), b) work faster -->
6583         fgets() instead of getc, c) be more correct --> doesn't kill the
6584         newline character at the end of line.
6585
6586 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
6587
6588         * init.c (comind): Initialize MAX to array size - 1.
6589
6590 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
6591
6592         * url.c (construct): Changed last_slash[-1] to *(last_slash - 1).
6593         Suggested by Edward J. Sabol.
6594
6595 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
6596
6597         * url.c (construct): Handle the case where host name is not
6598         followed by a slash.
6599
6600 2000-11-06  Hrvoje Niksic  <hniksic@arsdigita.com>
6601
6602         * init.c: commands[] need to be sorted!  ("base" wasn't.)
6603
6604 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
6605
6606         * wget.h (DO_REALLOC_FROM_ALLOCA): Use braces to disambiguate
6607         `if'.
6608
6609 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
6610
6611         * url.c (construct): Insert unneeded initialization for the
6612         compiler to shut up.
6613
6614         * config.h.in: Define _XOPEN_SOURCE to 500 to get the prototype
6615         for strptime() (*duh*).  Define _SVID_SOURCE to get S_IFLNK which
6616         otherwise gets lost when you define _XOPEN_SOURCE.
6617
6618         * utils.c (touch): Include the file name in the error message.
6619         From Debian.
6620
6621 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
6622
6623         * log.c (logvprintf): Use vsnprintf() in all cases.  If necessary,
6624         resize the buffer to fit the formated message.  That way, messages
6625         of arbitrary size may be printed.
6626         (logvprintf): Use saved_append() to optionally log the last
6627         several lines of output.
6628         (logputs): Ditto.
6629         (log_close): Adapt to new data structures.
6630         (log_dump): Ditto.
6631         (redirect_output): Print messages to stderr, not to stdout.
6632
6633         * log.c (saved_append_1): New function.  Replaces the old logging
6634         system ("log all output until 10M characters") with a new, much
6635         more reasonable one ("log last screenful of text").
6636         (saved_append): New function; call saved_append_1.
6637         (free_log_line): New function.
6638
6639 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
6640
6641         * url.c (construct): Fix comment.
6642         (find_last_char): Document.
6643
6644 2000-11-04  Hrvoje Niksic  <hniksic@arsdigita.com>
6645
6646         * snprintf.c: New file.
6647
6648 2000-11-03  Hrvoje Niksic  <hniksic@arsdigita.com>
6649
6650         * wget.h: If HAVE_STDARG_H is not defined, don't declare argument
6651         types to logprintf() and debug_logprintf().
6652
6653 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
6654
6655         * ftp.c (ftp_loop_internal): Hide the password from the URL when
6656         printing non-verbose.  Problem spotted by Dariusz Mlynarczyk
6657         <darekm@bydg.lomac.com.pl>.
6658
6659 2000-11-02  Junio Hamano  <junio@twinsun.com>
6660
6661         * ftp-basic.c (ftp_login): Make comparison case-insensitive.
6662
6663 2000-11-02  Tyler Riddle  <triddle@liquidmarket.com>
6664
6665         * http.c (known_authentication_scheme_p): Recognize NTML
6666         authentication.
6667         (create_authorization_line): Treat NTML the same as `Basic'.
6668
6669 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
6670
6671         * retr.c (retrieve_url): Free url before returning.
6672         (retrieve_url): Free mynewloc before returning.
6673         Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
6674
6675 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
6676
6677         * url.c (parseurl): Remove possible reading past the end of
6678         sup_protos[].  Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
6679
6680 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6681
6682         * main.c (main): In case of opt.downloaded overflowing, print
6683         <overflow> instead of a totally bogus random value.
6684
6685         * retr.c (retrieve_from_file): Ditto.
6686
6687         * recur.c (recursive_retrieve): Ditto.
6688
6689         * main.c (main): Ditto.
6690
6691         * http.c (http_loop): Ditto.
6692
6693         * ftp.c (ftp_loop_internal): Use downloaded_increase() instead of
6694         `+=', and downloaded_exceeds_quota() instead of the simple-minded
6695         check.
6696         (ftp_retrieve_list): Ditto.
6697         (ftp_retrieve_dirs): Ditto.
6698         (ftp_retrieve_glob): Ditto.
6699
6700         * retr.c (downloaded_increase): New function.  Notice overflows of
6701         opt.downloaded.
6702         (downloaded_exceeds_quota): Make sure that opt.downloaded is not
6703         used if it overflowed.
6704
6705         * options.h (struct options): New member downloaded_overflow.
6706
6707 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6708
6709         * wget.h (enum): Remove extra space after last enumeration.
6710
6711 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6712
6713         * main.c (main): Use legible_very_long() for printing
6714         opt.downloaded.
6715
6716         * utils.c (legible_1): New function that operates on strings and
6717         does the brunt of legible()'s work.
6718         (legible): Use legible_1().
6719         (legible_very_long): New function; dump the argument with
6720         sprintf(), and call legible_1().
6721
6722         * options.h (struct options): Use VERY_LONG_TYPE for
6723         opt.downloaded.
6724
6725         * sysdep.h (VERY_LONG_TYPE): Define it to have a 64-bit or greater
6726         type.
6727
6728         * config.h.in: Make sure that SIZEOF_LONG and SIZEOF_LONG_LONG get
6729         defined.  Define HAVE_LONG_LONG if long long is available.
6730
6731 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6732
6733         * utils.c (long_to_string): Update with a later, better version.
6734
6735 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6736
6737         * url.c (path_simplify_with_kludge): New function.
6738         (path_simplify_with_kludge): Disable it.  Instead...
6739         (parse_dir): ...make sure that at this point the right thing is
6740         done, i.e. that "query" part of the URL (?...) is always assigned
6741         to the file, never to the directory portion of the path.
6742
6743 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6744
6745         * retr.c (retrieve_url): Detect redirection cycles.
6746
6747 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6748
6749         * url.c (get_urls_html): Decode HTML entities using
6750         html_decode_entities.
6751
6752         * html.c (htmlfindurl): Don't count the `#' in numeric entities
6753         (&#NNN;) as an HTML fragemnt.
6754         (html_decode_entities): New function.
6755
6756 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6757
6758         * html.c (htmlfindurl): Fix recognition of # HTML fragments.
6759
6760 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6761
6762         * url.c (construct): Rewritten for clarity.  Avoids the
6763         unnecessary copying and stack-allocation the old version
6764         performed.
6765
6766 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
6767
6768         * ftp.c (getftp): Ditto.
6769
6770         * http.c (gethttp): Rewind the stream when retrying from scratch.
6771
6772 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
6773
6774         * retr.c (retrieve_url): Use url_concat() to handle relative
6775         redirections instead of /ad hoc/ code.
6776
6777         * url.c (url_concat): New function encapsulating weird
6778         construct().
6779         (urllen_http_hack): New function.
6780         (construct): When constructing new URLs, recognize that `?' does
6781         not form part of the file name in HTTP.
6782
6783 2000-10-13  Adrian Aichner  <adrian@xemacs.org>
6784
6785         * retr.c: Add msec timing support for WINDOWS.
6786         * retr.c (reset_timer): GetSystemTime() on WINDOWS.
6787         * retr.c (elapsed_time): Calculate delta time to msec on WINDOWS.
6788
6789 2000-10-27  Dan Harkless  <wget@harkless.org>
6790
6791         * retr.c (retrieve_url): Manually applied T. Bharath
6792         <TBharath@responsenetworks.com>'s patch to get wget to grok
6793         illegal relative URL redirects.  Reformatted and re-commented it.
6794
6795 2000-10-23  Dan Harkless  <wget@harkless.org>
6796
6797         * connect.c (make_connection and bindport): Manually applied Rob
6798         Mayoff <mayoff@dqd.com>'s 1.5.3 patch to add --bind-address,
6799         changing coding style to GNU's.
6800
6801         * ftp.c (ftp_loop_internal): --delete-after wasn't implemented for
6802         files downloaded via FTP.  Per a comment, .listing files were not
6803         counted towards number of bytes and files downloaded because they're 
6804         deleted anyway.  Well, they aren't under -nr, so count them then.
6805
6806         * init.c: Manually applied Rob Mayoff's 1.5.3 patch to add
6807         --bind-address, alphabetizing, changing coding style to GNU's,
6808         commenting, and renaming cmd_ip_address() to cmd_address() to
6809         imply hostnames also okay.
6810                 
6811         * main.c (main): --delete-after didn't delete the root of the
6812         tree.  Ignore --convert-links if --delete-after was specified.
6813         Manually applied Rob Mayoff's 1.5.3 patch to add --bind-address,
6814         fixing duplicate use of added-since-1.5.3 case value.
6815         (print_help): Clarified that --delete-after deletes local files.
6816         Rob forgot to add a line for his new --bind-address option.
6817                 
6818         * options.h (struct options): Manually applied Rob Mayoff's patch
6819         to add --bind-address (bind_address structure member).
6820                 
6821         * recur.c (recursive_retrieve): Improved comment; added DEBUGP().
6822         Ignore --convert-links if --delete-after was specified.
6823                 
6824         * retr.c (retrieve_from_file): Just added a DEBUGP().
6825                 
6826 2000-10-19  Dan Harkless  <wget@harkless.org>
6827
6828         * ftp.c (ftp_loop_internal): downloaded_file() enumerators changed.
6829         (getftp): Applied Piotr Sulecki <Piotr.Sulecki@ios.krakow.pl>'s
6830         patch to work around FTP servers that incorrectly respond to the
6831         "REST" command with the remaining size rather than the total file size.
6832                 
6833         * http.c (gethttp): Improved a comment and added code to tack on
6834         ".html" to text/html files without that extension when -E specified.
6835         (http_loop): Use new downloaded_file() enumerators and deal with
6836         the case of gethttp() called xrealloc() on u->local.
6837
6838         * init.c (commands): Added new "htmlextension" command.
6839         Also renamed John Daily's cmd_quad() to the more descriptive
6840         cmd_lockable_boolean(), alpha-sorted the CMD_DECLARE()s and
6841         removed duplicate cmd_boolean() declaration.
6842
6843         * main.c (print_help): Added my new -E / --html-extension option.
6844         (main): Undocumented --email-address option previously used -E synonym.
6845         Stole it away for the much more deserving --html-extension's use.
6846
6847         * options.h (struct options): Added html_extension field.
6848
6849         * url.c (convert_links): URL X that we saved as X.html locally due
6850         to -E needs to be backed up as X.orig, not X.html.orig.  Added comments.
6851         (downloaded_file): Now remembers if we added .html extension to a file.
6852
6853         * url.h (downloaded_file_t): Added extra enumerators to support above.
6854         (downloaded_file): Now takes and returns a downloaded_file_t.
6855
6856         * wget.h (unnamed "dt" enum): Added ADDED_HTML_EXTENSION enumerator.
6857         
6858 2000-10-09  Dan Harkless  <wget@harkless.org>
6859
6860         * html.c (htmlfindurl): Added unneeded initialization to quiet warning.
6861                 
6862         * main.c (print_help): Clarified what --retr-symlinks does.
6863         
6864 2000-09-15  John Daily  <jdaily@cyberdude.com>
6865
6866         * init.c: Add support for "always" and "never" values to allow
6867         .wgetrc to override commandline (useful e.g. with .pm files
6868         calling `wget --passive-ftp' when your firewall doesn't allow that).
6869
6870         * ftp.c (getftp): passive_ftp is first option to support always/never.
6871
6872 2000-08-30  Dan Harkless  <wget@harkless.org>
6873
6874         * ftp.c (ftp_retrieve_list): Use new INFINITE_RECURSION #define.
6875         
6876         * html.c: htmlfindurl() now takes final `dash_p_leaf_HTML' parameter.
6877         Wrapped some > 80-column lines.  When -p is specified and we're at a 
6878         leaf node, do not traverse <A>, <AREA>, or <LINK> tags other than 
6879         <LINK REL="stylesheet">.
6880         
6881         * html.h (htmlfindurl): Now takes final `dash_p_leaf_HTML' parameter.
6882         
6883         * init.c: Added new -p / --page-requisites / page_requisites option.
6884
6885         * main.c (print_help): Clarified that -l inf and -l 0 both allow
6886         infinite recursion.  Changed the unhelpful --mirrior description
6887         to simply give the options it's equivalent to.  Added new -p option.
6888         (main): Added some comments; handle new -p / --page-requisites.
6889         
6890         * options.h (struct options): Added new page_requisites field.
6891
6892         * recur.c: Changed "URL-s" to "URLs" and "HTML-s" to "HTMLs".
6893         Calculate and pass down new `dash_p_leaf_HTML' parameter to
6894         get_urls_html().  Use new INFINITE_RECURSION #define.
6895
6896         * retr.c: Changed "URL-s" to "URLs".  get_urls_html() now takes
6897         final `dash_p_leaf_HTML' parameter.
6898
6899         * url.c: get_urls_html() and htmlfindurl() now take final
6900         `dash_p_leaf_HTML' parameter.
6901
6902         * url.h (get_urls_html): Now takes final `dash_p_leaf_HTML' parameter.
6903
6904         * wget.h: Added some comments and new INFINITE_RECURSION #define.
6905         
6906 2000-08-23  Dan Harkless  <wget@harkless.org>
6907
6908         * main.c (print_help): -B / --base was not mentioned.
6909
6910 2000-08-22  Dan Harkless  <wget@harkless.org>
6911
6912         * main.c (print_help): Modified -nc description to mention that it
6913         also prevents the creation of multiple versions of the same file
6914         with ".<number>" suffixes.
6915
6916 2000-07-14  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
6917
6918         * retr.c (retrieve_url): Consistently strdup opt.referer when
6919         setting u->referer.
6920
6921 2000-06-09  Dan Harkless  <wget@harkless.org>
6922
6923         * main.c (print_help): --help output for --waitretry was over 80 cols.
6924
6925 2000-06-09  Hrvoje Niksic  <hniksic@iskon.hr>
6926
6927         * url.c (encode_string): Fix comment.
6928         Suggested by Herold Heiko <Heiko.Herold@previnet.it>.
6929
6930 2000-06-01  Const Kaplinsky  <const@ce.cctpu.edu.ru>
6931
6932         * ftp.c (ftp_retrieve_list): Change permissions only on plain
6933         files.
6934
6935 2000-06-01  Hrvoje Niksic  <hniksic@iskon.hr>
6936
6937         * url.c (str_url): Print the port number only if it's different
6938         from the default port number for that protocol.
6939
6940 2000-05-22  Dan Harkless  <wget@harkless.org>
6941
6942         * main.c (print_help): Added --help line for Damir Dzeko
6943         <ddzeko@zesoi.fer.hr>'s until-now-undocumented --referer option.
6944         Removed comments that --referer and --waitretry were undocumented.
6945         Changed "`.wgetrc' command" to "`.wgetrc'-style command" on --help
6946         line for --execute.
6947
6948 2000-05-18  Hrvoje Niksic  <hniksic@iskon.hr>
6949
6950         * ftp.c (getftp): Ditto.
6951
6952         * http.c (gethttp): Check for return value of fclose/fflush.
6953
6954 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
6955
6956         * host.c (store_hostaddress): Instead of shifting ADDR, start
6957         copying from the correct address.
6958
6959 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
6960
6961         * http.c (gethttp): Don't free REQUEST -- it was allocated with
6962         alloca().
6963         Pointed out by Gisle Vanem <gvanem@eunet.no>.
6964
6965 2000-04-04  Dan Harkless  <wget@harkless.org>
6966
6967         * host.c (store_hostaddress): R. K. Owen's patch introduces a
6968         "left shift count >= width of type" warning on 32-bit
6969         architectures.  Got rid of it by tricking the compiler w/ a variable.
6970         
6971         * url.c (UNSAFE_CHAR): The macro didn't include all the illegal
6972         characters per RFC1738, namely everything above '~'.  It also
6973         generated a warning on OSes where char =~ unsigned char.  Fixed.
6974         
6975 1998-10-17  Hrvoje Niksic  <hniksic@srce.hr>
6976
6977         * http.c (http_process_type): Removed needless strdup(), a memory
6978         leak.
6979
6980 1998-09-25  Hrvoje Niksic  <hniksic@srce.hr>
6981
6982         * html.c (htmlfindurl): Set PH to the first occurrence of `#'.
6983
6984 1998-09-25  Simon Munton  <simonm@m4data.co.uk>
6985
6986         * init.c (wgetrc_file_name): Don't free HOME under Windows.
6987
6988 1998-12-01  "R. K. Owen"  <rkowen@Nersc.GOV>
6989
6990         * host.c (store_hostaddress): Fix for big endian 64-bit machines.
6991
6992 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
6993
6994         * url.c (UNSAFE_CHAR): New macro.
6995         (contains_unsafe): Use it.
6996         (encode_string): Ditto.
6997
6998 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
6999
7000         * main.c (i18n_initialize): Use LC_MESSAGES only if available.
7001
7002 2000-03-31  Hrvoje Niksic  <hniksic@srce.hr>
7003
7004         * Use TOUPPER/TOLOWER.
7005
7006 1998-12-22  Alexander V. Lukyanov  <lav@yars.free.net>
7007
7008         * ftp-opie.c (btoe): Zero-terminate OSTORE.
7009
7010 2000-03-21  Hrvoje Niksic  <hniksic@iskon.hr>
7011
7012         * wget.h (DO_REALLOC_FROM_ALLOCA): Ditto.
7013
7014         * sysdep.h (ISALNUM): New macro.
7015         (TOLOWER): Ditto.
7016         (TOUPPER): Ditto.
7017
7018 2000-03-10  Dan Harkless  <wget@harkless.org>
7019
7020         * html.c (idmatch): Implemented checking of my new --follow-tags
7021         and --ignore-tags options.
7022         
7023         * init.c (commands): Added comment reminding people adding new
7024         entries doing allocation to add corresponding freeing in cleanup().
7025         (commands): Added new followtags and ignoretags commands.
7026         (cleanup): Free storage for new followtags and ignoretags.
7027         
7028         * main.c: Use of "comma-separated list" was random -- normalized
7029         it.  Did some alphabetization.  Added comments pointing out
7030         "Options without arguments" and "Options accepting an argument"
7031         sections of long_options[].  Added new options --follow-tags and
7032         -G / --ignore-tags.  Added comment that Damir's --referer is
7033         currently undocumented.  Added comment that Heiko's --waitretry is
7034         partially undocumented (mentioned in --help but not in
7035         wget.texi).  Moved improperly sorted 24, 129, and 'G' cases.
7036         
7037         * options.h (struct options): Added new fields follow_tags and
7038         ignore_tags. 
7039         
7040         * wget.h: Added "#define EQ 0" so we can say "strcmp(a, b) == EQ".
7041         
7042 2000-03-02  Dan Harkless  <wget@harkless.org>
7043
7044         * ftp.c (ftp_loop_internal): Heiko introduced "suggest explicit
7045         braces to avoid ambiguous `else'" warnings.  Eliminated them.
7046         
7047         * http.c (gethttp): Dan Berger's query string patch is totally
7048         bogus.  If you have two different URLs, gen_page.cgi?page1 and
7049         get_page.cgi?page2, they'll both be saved as get_page.cgi and the
7050         second will overwrite the first.  Also, parameters to implicit
7051         CGIs, like "http://www.host.com/db/?2000-03-02" cause the URLs to
7052         be printed with trailing garbage characters, and could seg fault.
7053         Backing out the patch, which Dan B. informed me by email was just
7054         a kludge to download StarOffice from Sun made necessary due to
7055         wget's unconditional escaping of certain characters (room for an
7056         option there?).
7057         (http_loop): Heiko introduced "suggest explicit braces to avoid
7058         ambiguous `else'" warnings.  Eliminated them.
7059         
7060         * main.c: Heiko's --wait / --waitretry backwards compatibility
7061         code looks to have been totally untested -- automatic variable
7062         'wr' was used without being initialized, and a long int was passed
7063         into setval()'s char* val parameter.
7064         
7065         * recur.c (parse_robots): Applied Edward J. Sabol
7066         <sabol@alderaan.gsfc.nasa.gov>'s patch for Guan Yang's reported
7067         problem with "User-agent:<space>*<space>" lines in robots.txt.
7068         
7069         * url.c (parseurl, str_url): Removing Dan Berger's code (see
7070         http.c above for explanation).
7071         
7072 1999-08-25  Heiko Herold  <Heiko.Herold@previnet.it>
7073
7074         * ftp.c: Respect new option waitretry.
7075
7076 2000-01-30  Damir Dzeko  <ddzeko@zesoi.fer.hr>
7077
7078         * http.c (gethttp): Send custom Referer, if required.
7079
7080 1999-09-24  Charles G Waldman  <cgw@fnal.gov>
7081
7082         * netrc.c (parse_netrc): Allow passwords to contain spaces.
7083
7084         * netrc.c (parse_netrc): New function.
7085
7086 1999-09-17  Dan Berger  <dberger@ix.netcom.com>
7087
7088         * http.c (gethttp): Send it.
7089
7090         * url.c (parseurl): Detect query string in HTTP URL-s.
7091         (str_url): Print it.
7092
7093 2000-03-02  HIROSE Masaaki  <hirose31@t3.rim.or.jp>
7094
7095         * html.c (html_allow): Add <link href=...> and <script src=...>.
7096
7097 1999-05-02  andrew deryabin  <djsf@softhome.net>
7098
7099         * http.c (gethttp): Specify port in `Host' header only if it's
7100         different from 80.
7101
7102 1998-11-03  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
7103
7104         * recur.c (recursive_retrieve): If a finite maximum depth is
7105         specified, and we're are already at that depth, don't download the
7106         HTML file for parsing.
7107
7108 2000-03-01  Dan Harkless  <wget@harkless.org>
7109
7110         * ftp.c (ftp_loop_internal): Call new downloaded_file() function,
7111         even though we don't do conversion on HTML files retrieved via
7112         FTP, so _current_ usage of downloaded_file() makes this call unneeded. 
7113         (ftp_retrieve_list): Added a comment saying where we need to
7114         stat() a .orig file if FTP'd HTML file conversion is ever implemented.
7115         (ftp_retrieve_list): "Local file '%s' is more recent," is sometimes
7116         a lie -- reworded as "Server file no newer than local file '%s' --".
7117         
7118         * http.c (http_loop): Fixed a typo and clarified a comment.
7119         (http_loop): When -K and -N are specified together, compare size
7120         and timestamp of server file X against local file X.orig (if
7121         extant) rather than converted local file X.
7122         (http_loop): "Local file '%s' is more recent," is sometimes a lie
7123         -- reworded as "Server file no newer than local file '%s' --".
7124         (http_loop): Call new downloaded_file() function to prevent
7125         wrongful overwriting of .orig file when -N is specified.
7126         
7127         * url.c (convert_links): When -K specified, only rename X to
7128         X.orig if downloaded_file() returns TRUE.  Otherwise when we skip
7129         file X due to -N, we clobber an X.orig from a previous invocation.
7130         (convert_links): Call the failsafe xstrdup(), not the real strdup().
7131         (convert_links): Added a note asking anyone who understands how
7132         multiple URLs can correspond to a single file to comment it.
7133         (downloaded_file): Added this new function.
7134         
7135         * url.h (downloaded_file): Added prototype for this new function
7136         as well as its downloaded_file_t enum type.
7137
7138         * wget.h (boolean): Added this new typedef and TRUE and FALSE #defines.
7139
7140 2000-02-29  Dan Harkless  <wget@harkless.org>
7141
7142         * version.c: Upped version to developer-only "1.5.3+dev".
7143
7144 2000-02-18  Dan Harkless  <wget@harkless.org>
7145
7146         * init.c (backup_converted): Added this new option.
7147
7148         * main.c (-K / --backup-converted): Added this new option.
7149
7150         * options.h (backup_converted): Added this new option.
7151
7152         * url.c (convert_links): When backup_converted is specified, save
7153         file X as X.orig before converting.
7154
7155         * url.h (urlpos): Fixed typo -- said "Rekative" instead of "Relative".
7156
7157 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
7158
7159         * version.c: Wget 1.5.3 is released.
7160
7161 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
7162
7163         * host.c (ftp_getaddress): Don't warn when reverse-lookup of local 
7164         address doesn't yield FQDN.
7165
7166 1998-09-21  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
7167
7168         * cmpt.c (strerror): Fix declaration of sys_errlist.
7169
7170 1998-09-11  Hrvoje Niksic  <hniksic@srce.hr>
7171
7172         * main.c (main): Don't use an array subscript as the first
7173         argument to STRDUP_ALLOCA.
7174         From Kaveh R. Ghazi.
7175
7176 1998-09-11  Szakacsits Szabolcs  <szaka@sienet.hu>
7177
7178         * html.c (htmlfindurl): Download table background.
7179
7180 1998-09-11  Hans Grobler  <grobh@conde.ee.sun.ac.za>
7181
7182         * init.c (parse_line): Would free *com before allocating it.
7183         (parse_line): Would free com instead of *com.
7184
7185 1998-09-10  Howard Gayle  <howard@fjst.com>
7186
7187         * url.c (get_urls_html): Would drop the last character of the
7188         link.
7189
7190 1998-09-10  Hrvoje Niksic  <hniksic@srce.hr>
7191
7192         * http.c (http_loop): Don't print status code if quiet.
7193
7194 1998-09-10  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
7195
7196         * log.c: Use <stdarg.h> only when __STDC__.
7197
7198 1998-09-10  Adam D. Moss  <adam@foxbox.org>
7199
7200         * html.c (htmlfindurl): Download <layer src=...>.
7201
7202 1998-09-10  Howard Gayle  <howard@fjst.com>
7203
7204         * ftp.c (ftp_retrieve_list): Don't update the time stamp of a file 
7205         not retrieved.
7206
7207 1998-06-27  Hrvoje Niksic  <hniksic@srce.hr>
7208
7209         * utils.c: Include <libc.h> on NeXT.
7210
7211 1998-06-26  Heinz Salzmann  <heinz.salzmann@intermetall.de>
7212
7213         * url.c (get_urls_html): Fix calculation of URL position.
7214
7215 1998-06-23  Hrvoje Niksic  <hniksic@srce.hr>
7216
7217         * version.c: Wget 1.5.2 is released.
7218
7219 1998-06-23  Dave Love  <d.love@dl.ac.uk>
7220
7221         * ftp.c, init.c, netrc.c: Include errno.h.
7222
7223         * http.c: Include errno.h and time header.
7224
7225         * Makefile.in (exext): Define.
7226         (install.bin, uninstall.bin): Use it.
7227
7228 1998-06-21  Hrvoje Niksic  <hniksic@srce.hr>
7229
7230         * http.c (http_loop): Don't attempt to compare local and remote
7231         sizes if the remote size is unknown.
7232
7233 1998-06-16  Hrvoje Niksic  <hniksic@srce.hr>
7234
7235         * url.c (get_urls_html): Use malloc() instead of alloca in the
7236         loop.
7237
7238 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
7239
7240         * version.c: Wget 1.5.2-b4 is released.
7241
7242 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
7243
7244         * url.c (get_urls_html): Ignore spaces before and after the URI.
7245
7246 1998-06-08  Wanderlei Antonio Cavassin  <cavassin@conectiva.com.br>
7247
7248         * ftp.c (getftp): Translate `done'.
7249
7250 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
7251
7252         * version.c: Wget 1.5.2-b3 is released.
7253
7254 1998-06-06  Alexander Kourakos  <awk@bnt.com>
7255
7256         * init.c (cleanup): Close dfp, don't free it.
7257
7258 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
7259
7260         * utils.c (make_directory): Twiddle.
7261
7262         * config.h.in: Added template for access().
7263
7264 1998-06-05  Mathieu Guillaume  <mat@cythere.com>
7265
7266         * html.c (htmlfindurl): Download <input src=...>
7267
7268 1998-06-03  Hrvoje Niksic  <hniksic@srce.hr>
7269
7270         * utils.c (file_exists_p): Use access() with two arguments.
7271
7272 1998-05-27  Martin Kraemer  <Martin.Kraemer@mch.sni.de>
7273
7274         * netrc.c (parse_netrc): Correct logic.
7275
7276 1998-05-27  Hrvoje Niksic  <hniksic@srce.hr>
7277
7278         * ftp.c (getftp): Added `break'; suggested by Lin Zhe Min
7279         <ljm@ljm.wownet.net>.
7280
7281 1998-05-24  Hrvoje Niksic  <hniksic@srce.hr>
7282
7283         * version.c: Wget 1.5.2-b2 is released.
7284
7285 1998-05-18  Juan Jose Rodriguez  <jcnsoft@jal1.telmex.net.mx>
7286
7287         * mswindows.h: Don't translate mkdir to _mkdir under Borland.
7288
7289 1998-05-17  Hrvoje Niksic  <hniksic@srce.hr>
7290
7291         * retr.c (elapsed_time): Return correct value when
7292         HAVE_GETTIMEOFDAY is undefined.
7293
7294 1998-05-13  Hrvoje Niksic  <hniksic@srce.hr>
7295
7296         * version.c: Wget 1.5.2-b1 is released.
7297
7298 1998-05-08  Hrvoje Niksic  <hniksic@srce.hr>
7299
7300         * getopt.c (_getopt_internal): Use exec_name instead of argv[0].
7301         (_getopt_internal): Don't translate `#if 0'-ed strings.
7302
7303 1998-05-06  Douglas E. Wegscheid  <wegscd@whirlpool.com>
7304
7305         * mswindows.c (ws_handler): Use fork_to_background().
7306
7307 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
7308
7309         * version.c: Wget 1.5.1 is released.
7310
7311 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
7312
7313         * http.c (parse_http_status_line): Avoid `minor' and `major'
7314         names.
7315
7316 1998-05-02  Hrvoje Niksic  <hniksic@srce.hr>
7317
7318         * utils.c (mkdirhier): Renamed to make_directory.
7319
7320 1998-05-01  Hrvoje Niksic  <hniksic@srce.hr>
7321
7322         * mswindows.c (fork_to_background): Define under Windows.
7323
7324         * utils.c (fork_to_background): New function.
7325
7326         * html.c (htmlfindurl): Removed rerdundant casts.
7327
7328 1998-05-01  Douglas E. Wegscheid  <wegscd@whirlpool.com>
7329
7330         * mswindows.c (ws_mypath): Cache the path.
7331
7332 1998-04-30  Douglas E. Wegscheid  <wegscd@whirlpool.com>
7333
7334         * ftp.h: Prefix enum ftype members with FT_.
7335
7336         * ftp-ls.c, ftp.c, html.h: Adjust accordingly.
7337
7338         * mswindows.h: Use stat under Borland, _stat under MSVC.
7339
7340 1998-04-28  Hrvoje Niksic  <hniksic@srce.hr>
7341
7342         * http.c (known_authentication_scheme_p): New function.
7343         (gethttp): Handle authorization more correctly.
7344
7345         * ftp-basic.h: Removed.
7346
7347         * cmpt.h: Removed.
7348
7349         * utils.c: Include <unistd.h> before <pwd.h>; needed under SunOS
7350         with gcc 2.8.
7351         (numdigit): Use `while' loop.
7352
7353         * http.c (create_authorization_line): Detect authentication
7354         schemes case-insensitively.
7355
7356         * http.c (extract_header_attr): Use strdupdelim().
7357         (digest_authentication_encode): Move declaration of local
7358         variables to smaller scope.
7359         (digest_authentication_encode): Reset REALM, OPAQUE and NONCE.
7360         (create_authorization_line): Detect authentication schemes
7361         case-insensitively.
7362
7363         * utils.c (touch): Constify.
7364
7365         * http.c (gethttp): Report a nicer error when no data is received.
7366
7367         * rbuf.h (RBUF_READCHAR): Ditto.
7368
7369         * ftp-basic.c (ftp_response): Use sizeof.
7370
7371 1998-04-27  Hrvoje Niksic  <hniksic@srce.hr>
7372
7373         * retr.c (print_percentage): EXPECTED is long, not int.
7374         (print_percentage): Use floating-point arithmetic to avoid
7375         overflow with large files' sizes multiplied with 100.
7376
7377 1998-04-27  Gregor Hoffleit  <flight@mathi.uni-heidelberg.de>
7378
7379         * config.h.in: Added pid_t stub.
7380
7381         * sysdep.h (S_ISREG): Moved here from mswindows.h (NeXT doesn't
7382         define it).
7383
7384 1998-04-20  Hrvoje Niksic  <hniksic@srce.hr>
7385
7386         * version.c: Wget 1.5.0 is released.
7387
7388 1998-04-18  Hrvoje Niksic  <hniksic@srce.hr>
7389
7390         * url.c (str_url): Ditto.
7391
7392         * ftp-basic.c (ftp_rest): Use new name.
7393
7394         * utils.c (long_to_string): Renamed from prnum().
7395
7396 1998-04-16  Hrvoje Niksic  <hniksic@srce.hr>
7397
7398         * version.c: Wget 1.5-b17 is released.
7399
7400 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
7401
7402         * headers.c (header_get): New argument FLAGS.
7403
7404         * http.c (gethttp): If request is malformed, bail out of the
7405         header loop.
7406         (gethttp): Check for empty header *after* the status line checks.
7407         (gethttp): Disallow continuations for status line.
7408
7409 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
7410
7411         * version.c: Wget 1.5-b16 is released.
7412
7413 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
7414
7415         * init.c (commands): Renamed `always_rest' to `continue'.
7416
7417 1998-04-05  Hrvoje Niksic  <hniksic@srce.hr>
7418
7419         * all: Use it.
7420
7421         * log.c (logputs): New argument.
7422         (logvprintf): Ditto.
7423         (logprintf): Ditto.
7424
7425 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
7426
7427         * http.c (http_atotm): Update comment.
7428
7429         * main.c (i18n_initialize): Set LC_MESSAGES, not LC_ALL.
7430
7431         * wget.h: Renamed ENABLED_NLS to HAVE_NLS.
7432
7433         * main.c (i18n_initialize): New function.
7434         (main): Use it.
7435
7436         * log.c: Include <unistd.h>.
7437
7438         * retr.c (show_progress): Cast alloca to char *.
7439
7440 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
7441
7442         * version.c: Wget 1.5-b15 is released.
7443
7444 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
7445
7446         * utils.h: Declare file_non_directory_p().
7447
7448 1998-04-03  Hrvoje Niksic  <hniksic@srce.hr>
7449
7450         * main.c (main): It's `tries', not `numtries' now.
7451
7452 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
7453
7454         * init.c (getperms): Removed.
7455
7456 1998-04-01  Tim Charron  <tcharron@interlog.com>
7457
7458         * log.c (logvprintf): Don't use ARGS twice.
7459
7460 1998-04-01  John  <john@futuresguide.com>
7461
7462         * mswindows.c: Cleaned up.
7463
7464 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
7465
7466         * version.c: Wget 1.5-b14 is released.
7467
7468 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
7469
7470         * ftp-opie.c (STRLEN4): New macro.
7471         (btoe): Use it.
7472
7473 1998-04-01  Junio Hamano  <junio@twinsun.com>
7474
7475         * http.c: Document all the Digest functions.
7476
7477 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
7478
7479         * utils.c (file_non_directory_p): Renamed from isfile().
7480
7481         * mswindows.h (S_ISREG): New macro, suggested by Tim Adam.
7482
7483 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
7484
7485         * utils.c (mkdirhier): Use 0777 instead of opt.dirmode.
7486
7487         * init.c (cmd_spec_dotstyle): Use 48 dots per line for binary
7488         style.
7489         (cmd_permissions): Removed.
7490
7491         * config.h.in: Add template for WORDS_BIGENDIAN.
7492
7493 1998-03-31  Junio Hamano  <junio@twinsun.com>
7494
7495         * http.c (HEXD2asc): New macro.
7496         (dump_hash): Use it.
7497
7498 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
7499
7500         * version.c: Wget 1.5-b13 is released.
7501
7502 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
7503
7504         * main.c (main): Don't try to use `com'.
7505
7506 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
7507
7508         * init.c (cmd_permissions): New function.
7509
7510 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
7511
7512         * version.c: Wget 1.5-b12 is released.
7513
7514 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
7515
7516         * init.c (commands): Renamed `numtries' to `tries'.
7517         (cmd_spec_debug): Removed.
7518         (home_dir): Under Windows, return `C:\' if HOME is undefined.
7519
7520 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
7521
7522         * config.h.in: Define _XOPEN_SOURCE.
7523
7524         * init.c (check_user_specified_header): New function.
7525         (cmd_spec_header): Use it.
7526         (cmd_spec_useragent): New function.
7527
7528 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
7529
7530         * version.c: Wget 1.5-b11 is released.
7531
7532 1998-03-28  Hrvoje Niksic  <hniksic@srce.hr>
7533
7534         * wget.h: Include <libintl.h> only if NLS is enabled.
7535
7536 1998-03-26  Hrvoje Niksic  <hniksic@srce.hr>
7537
7538         * options.h (struct options): Made `wait' a long.
7539         (struct options): Ditto for `timeout'.
7540
7541 1998-03-19  Hrvoje Niksic  <hniksic@srce.hr>
7542
7543         * utils.c (exists): Renamed to file_exists_p.
7544         (file_exists_p): Use access() if available.
7545
7546 1998-03-17  Hrvoje Niksic  <hniksic@srce.hr>
7547
7548         * utils.c (memfatal): Set save_log_p to 0 to avoid potential
7549         infloop.
7550
7551         * log.c: do_logging -> save_log_p.
7552
7553         * config.h.in: Added template for HAVE_VSNPRINTF.
7554
7555 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
7556
7557         * init.c: Ditto.
7558
7559         * http.c: Protect declaration against non-ANSI compiler.
7560
7561         * log.c (logvprintf): Use vsnprintf() if available.
7562
7563         * getopt.c (main): Don't translate test stuff.
7564
7565 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
7566
7567         * version.c: Wget 1.5-b10 is released.
7568
7569 1998-03-11  Hrvoje Niksic  <hniksic@srce.hr>
7570
7571         * ftp.c (getftp): Don't translate "CWD %s".
7572
7573         * wget.h (GCC_FORMAT_ATTR): Renamed from FORMAT_ATTR.
7574
7575 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
7576
7577         * ftp-opie.c (btoe): Use memcpy() instead of strncat().
7578
7579         * log.c (logputs): New function.
7580         (logvprintf): Renamed from vlogmsg; use logputs().
7581
7582         * retr.c (show_progress): Print `[100%]' when the retrieval is
7583         finished.
7584
7585         * init.c (run_wgetrc): Use FILE, not PATH.
7586         (wgetrc_file_name): Ditto.
7587
7588 1998-03-07  Tim Adam  <tma@osa.com.au>
7589
7590         * recur.c (parse_robots): Correctly reset `entries' on empty
7591         disallow.
7592
7593 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
7594
7595         * init.c (cmd_spec_debug): Use cmd_boolean().
7596
7597 1998-02-23  Hrvoje Niksic  <hniksic@srce.hr>
7598
7599         * http.c (gethttp): Create proxy-authorization correctly.
7600
7601 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
7602
7603         * md5.c: Ditto.
7604
7605         * getopt.c: Use ANSI function definitions.
7606
7607         * ftp-opie.c: New file.
7608
7609         * options.h: Don't redefine EXTERN.
7610
7611         * init.c: Sort it correctly.
7612
7613 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
7614
7615         * version.c: Wget 1.5-b9 is released.
7616
7617 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
7618
7619         * recur.c (recursive_retrieve): Reset `first_time'.
7620
7621         * ftp.c (getftp): Added `default' clause to switches of uerr_t.
7622
7623         * rbuf.c (rbuf_peek): Simplified.
7624         (rbuf_flush): Use MINVAL.
7625
7626         * wget.h (MINVAL): Moved from url.h.
7627
7628         * rbuf.h (RBUF_FD): New macro.
7629
7630         * url.c (add_url): Add to the head of the list.
7631
7632         * ftp.c (ftp_retrieve_list): Set the permissions to downloaded
7633         file.
7634         (getftp): Set the default permissions to 0600.
7635
7636 1998-02-21  Hrvoje Niksic  <hniksic@srce.hr>
7637
7638         * url.c (get_urls_html): Ditto.
7639         (convert_links): Ditto.
7640
7641         * recur.c (parse_robots): Ditto.
7642
7643         * html.c (ftp_index): Ditto.
7644
7645         * ftp-ls.c (ftp_parse_unix_ls): Open file as binary.
7646
7647         * init.c (defaults): Initialize `opt' to zero via memset.
7648
7649         * http.c (digest_authentication_encode): goto considered harmful.
7650
7651 1998-02-19  Hrvoje Niksic  <hniksic@srce.hr>
7652
7653         * ftp.c (delelement): Simplify and fix leak.
7654
7655 1998-02-18  Hrvoje Niksic  <hniksic@srce.hr>
7656
7657         * http.c (dump_hash): Use HEXD2ASC instead of home-grown stuff.
7658
7659         * url.h (HEXD2ASC): Removed warning.
7660
7661         * init.c (comind): Use binary search.
7662         (commands): Reorganized.
7663         (setval): Ditto.
7664         (cmd_boolean): New function.
7665         (cmd_number): Ditto.
7666         (cmd_number_inf): Ditto.
7667         (cmd_string): Ditto.
7668         (cmd_vector): Ditto.
7669         (cmd_directory_vector): Ditto.
7670         (cmd_bytes): Ditto.
7671         (cmd_time): Ditto.
7672         (cmd_spec_debug): Ditto.
7673         (cmd_spec_dirmode): Ditto.
7674         (cmd_spec_dirstruct): Ditto.
7675         (cmd_spec_dotstyle): Ditto.
7676         (cmd_spec_header): Ditto.
7677         (cmd_spec_htmlify): Ditto.
7678         (cmd_spec_mirror): Ditto.
7679         (cmd_spec_outputdocument): Ditto.
7680         (cmd_spec_recursive): Ditto.
7681         (settime): Merged with cmd_time().
7682         (setbytes): Merged with cmd_bytes().
7683         (setonoff): Merged with cmd_boolean().
7684         (onoff): Ditto.
7685
7686 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
7687
7688         * Makefile.in (distclean): Remove `config.h'.
7689
7690 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
7691
7692         * version.c: Wget 1.5-b8 is released.
7693
7694 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
7695
7696         * http.c (digest_authentication_encode): New function.
7697         (create_authorization_line): Use it.
7698         (dump_hash): New function.
7699         (digest_authentication_encode): Use it.
7700
7701         * fnmatch.c: Renamed from `mtch.c'.
7702
7703 1998-02-15  Karl Eichwalder  <ke@suse.de>
7704
7705         * main.c (main): Tag "Written by..." string as translatable.
7706
7707 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
7708
7709         * wget.h (FREE_MAYBE): New macro.
7710
7711         * http.c (create_authorization_line): Don't use ANSI C string
7712         concatenation feature.
7713         (basic_authentication_encode): Use alloca() for temporary
7714         variables.
7715
7716         * recur.h: Ditto.
7717
7718         * http.c: Ditto.
7719
7720         * headers.h: Ditto.
7721
7722         * ftp-basic.c: Protect declaration against non-ANSI compiler.
7723
7724         * http.c (create_authorization_line): Cast `unsigned char *' to
7725         `char *' for sprintf, to shut up the noisy Digital Unix cc.
7726
7727 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
7728
7729         * version.c: Wget 1.5-b7 is released.
7730
7731 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
7732
7733         * cmpt.c (strstr): Synched with glibc-2.0.6.
7734
7735         * ftp-basic.c (calculate_skey_response): Ditto.
7736         (calculate_skey_response): Use alloca().
7737
7738         * http.c (create_authorization_line): Work with FSF's version of
7739         md5.c.
7740
7741         * md5.c: New file, from GNU libc.
7742
7743 1998-02-14  Hrvoje Niksic  <hniksic@srce.hr>
7744
7745         * url.h (URL_CLEANSE): Name the temporary variable more carefully.
7746
7747 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
7748
7749         * http.c (basic_authentication_encode): New function, instead of
7750         the macro.
7751
7752 1998-02-13  Junio Hamano  <junio@twinsun.com>
7753
7754         * http.c: Add HTTP-DA support.
7755         * ftp-basic.c: Add Opie/S-key support.
7756         * config.h.in, Makefile.in: Add HTTP-DA and Opie/S-key support.
7757         * md5.c, md5.h: New files.
7758
7759 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
7760
7761         * http.c (http_process_range): Renamed from hprocrange().
7762         (http_process_range): Parse the whole header.
7763
7764         * headers.c: New file.
7765         (header_process): New function.
7766         (header_get): Renamed from fetch_next_header.
7767
7768         * all: Include utils.h only where necessary.
7769
7770         * wget.h: Declare xmalloc(), xrealloc() and xstrdup() here.
7771
7772         * wget.h: Add provisions for dmalloc.
7773
7774 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
7775
7776         * version.c: Wget 1.5-b6 is released.
7777
7778 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
7779
7780         * ftp.c (ftp_loop): Determine `filename' more precisely.
7781
7782         * init.c (setval): Don't set `opt.quiet' if output-document is
7783         `-'.
7784
7785         * log.c (log_init): Print to STDERR instead of STDOUT.
7786         (vlogmsg): Use STDERR by default.
7787         (logflush): Ditto.
7788
7789 1998-02-11  Simon Josefsson  <jas@pdc.kth.se>
7790
7791         * host.c: Use addr_in again.
7792
7793 1998-02-08  Karl Eichwalder  <karl@suse.de>
7794
7795         * http.c (gethttp): Fixed typo.
7796
7797 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
7798
7799         * version.c: Wget 1.5-b5 is released.
7800
7801 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
7802
7803         * retr.c (show_progress): Use it.
7804
7805         * log.c (logflush): New function.
7806
7807         * wget.h: Utilize __attribute__ if on gcc.
7808
7809 1998-02-07  Hrvoje Niksic  <hniksic@srce.hr>
7810
7811         * http.c (base64_encode_line): New argument LENGTH.
7812         (BASIC_AUTHENTICATION_ENCODE): Use it.
7813         (BASIC_AUTHENTICATION_ENCODE): Take length of HEADER into account.
7814
7815         * main.c (main): Fixed fprintf() format mismatch.
7816
7817 1998-02-06  Hrvoje Niksic  <hniksic@srce.hr>
7818
7819         * version.c: Wget 1.5-b4 is released.
7820
7821 1998-02-03  Simon Josefsson  <jas@pdc.kth.se>
7822
7823         * host.c: use sockaddr_in instead of addr_in.
7824
7825 1998-02-04  Hrvoje Niksic  <hniksic@srce.hr>
7826
7827         * init.c (cleanup): Use it.
7828
7829         * recur.c (recursive_cleanup): New function.
7830
7831         * retr.c (retrieve_from_file): Ditto.
7832
7833         * main.c (main): Use it.
7834
7835         * recur.c (recursive_reset): New function.
7836
7837         * retr.c (retrieve_from_file): Ditto.
7838
7839         * main.c (main): Simplify call to recursive_retrieve().
7840
7841         * recur.c (recursive_retrieve): Removed FLAGS argument.
7842
7843         * http.c (gethttp): Changed call to iwrite().
7844
7845 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
7846
7847         * url.c (get_urls_html): Ditto.
7848         (free_urlpos): Ditto.
7849         (mkstruct): Ditto.
7850         (construct): Ditto.
7851
7852         * retr.c (retrieve_url): Move declaration of local variables to
7853         smaller scope.
7854
7855         * url.c (urlproto): Use it.
7856         (parseurl): Ditto.
7857         (str_url): Ditto.
7858         (get_urls_html): Ditto.
7859
7860         * utils.h (ARRAY_SIZE): New macro.
7861
7862         * url.c (proto): Moved from url.h.
7863
7864         * url.h (URL_CLEANSE): Reformatted.
7865         (USE_PROXY_P): Renamed from USE_PROXY.
7866
7867         * ftp-basic.c: Adjust to the new interface of iwrite().
7868
7869         * ftp-basic.c (ftp_port): Use alloca().
7870
7871 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
7872
7873         * version.c: Wget 1.5-b3 is released.
7874
7875         * host.c (ftp_getaddress): Don't print to stderr directly.
7876
7877         * init.c (setbytes): Support `g' for gigabytes.
7878         (cmdtype): New specification CTIME.
7879         (setval): Use it with settime().
7880         (commands): Use it for WAIT and TIMEOUT.
7881
7882 1998-02-02  Hrvoje Niksic  <hniksic@srce.hr>
7883
7884         * http.c (BASIC_AUTHENTICATION_ENCODE): New macro.
7885         (gethttp): Use it.
7886
7887         * utils.c (unique_name_1): Moved from url.c.
7888         (unique_name): Ditto.
7889
7890         * url.c (url_filename): Ditto.
7891
7892         * log.c (redirect_output): Changed call to unique_name().
7893
7894         * url.c (unique_name_1): Renamed from unique_name().
7895         (unique_name): Changed interface.
7896
7897         * init.c (enum cmdid): Moved from init.h.
7898         (cmdtype): Ditto.
7899         (struct cmd): Ditto.
7900
7901         * main.c (main): Use it.
7902         (main): Moved `--backups' to not have a short option.
7903
7904         * options.h (struct options): New member BACKGROUND.
7905
7906         * main.c (print_help): Rearranged.
7907         (main): New long options for -n* short options: --no-directories,
7908         --no-host-directories, --non-verbose, --no-host-lookup and
7909         --dont-remove-listing.
7910
7911 1998-02-01  Hrvoje Niksic  <hniksic@srce.hr>
7912
7913         * main.c (main): Use log_close().
7914
7915         * log.c: New variable LOGFP.
7916         (vlogmsg): Use it.
7917         (redirect_output): Don't open /dev/null; set LOGFP to stdin
7918         instead.
7919         (log_close): New function.
7920
7921         * options.h (struct options): Removed LFILE.
7922
7923         * log.c (log_enable): Removed.
7924
7925         * main.c (main): Use it.
7926
7927         * log.c (log_init): New function.
7928
7929         * url.c (get_urls_html): Removed needless assignment to BASE.
7930
7931         * host.c (add_hlist): Don't set CMP needlessly.
7932
7933         * utils.c (match_backwards): Ditto.
7934         (in_acclist): Ditto.
7935
7936         * url.c (findurl): Ditto.
7937
7938         * netrc.c (parse_netrc): Ditto.
7939
7940         * log.c (log_dump): Ditto.
7941
7942         * html.c (html_quote_string): Ditto.
7943
7944         * ftp-basic.c (ftp_request): Made static.
7945
7946         * connect.c: Made global variables static.
7947
7948         * url.c (construct): Ditto.
7949
7950         * init.c (init_path): Avoid assignment inside `if'-condition.
7951
7952         * ftp.c: Don't include in.h or winsock.h.
7953
7954         * ftp.c (ftp_loop): Use SZ.
7955
7956         * connect.c (bindport): Cast &addrlen to int *.
7957         (conaddr): Ditto.
7958
7959         * init.c (initialize): Don't use SYSTEM_WGETRC unconditionally.
7960
7961 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
7962
7963         * ftp.c (getftp): Initialize opt.ftp_pass here.
7964         (ftp_retrieve_dirs): Use alloca().
7965
7966         * init.c (defaults): Don't initialize opt.ftp_pass.
7967
7968         * sysdep.h (S_ISLNK): Declare for OS/2; ditto for lstat.
7969         From Ivan F. Martinez <ivanfm@ecodigit.com.br>.
7970
7971 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
7972
7973         * recur.c (parse_robots): Check for comments more correctly.
7974
7975         * host.c (ftp_getaddress): Use STRDUP_ALLOCA.
7976         (ftp_getaddress): Add diagnostics when reverse-lookup yields only
7977         hostname.
7978
7979 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
7980
7981         * version.c: Wget 1.5-b2 is released.
7982
7983         * netrc.c (NETRC_FILE_NAME): Moved from netrc.h.
7984
7985         * utils.c (proclist): Pass FNM_PATHNAME to fnmatch().
7986
7987         * ftp-basic.c (ftp_pasv): Avoid unnecessary casting to unsigned
7988         char.
7989
7990         * log.c: Don't attempt to hide arguments from ansi2knr.
7991
7992         * cmpt.c: Synched strptime() and mktime() with glibc-2.0.6.
7993
7994         * ansi2knr.c: Use a later version, from fileutils-3.16l alpha.
7995
7996         * ftp.c (getftp): Ditto.
7997
7998         * http.c (gethttp): Use it.
7999
8000         * retr.c (get_contents): New argument EXPECTED; pass it to
8001         show_progress().
8002         (show_progress): New argument EXPECTED; use it to display
8003         percentages.
8004
8005         * init.c (setval): Ditto.
8006
8007         * http.c (gethttp): Ditto.
8008         (http_loop): Ditto.
8009
8010         * ftp.c (getftp): Ditto.
8011         (ftp_loop_internal): Ditto.
8012
8013         * ftp-ls.c (ftp_parse_unix_ls): Use abort() instead of assert(0).
8014
8015         * sysdep.h (CLOSE): Simplify; use DEBUGP.
8016
8017         * netrc.c (search_netrc): Use alloca().
8018
8019         * init.c (defaults): Initialize no_flush.
8020
8021         * log.c (vlogmsg): Don't flush if no_flush.
8022
8023         * options.h (struct options): New variable no_flush.
8024
8025         * main.c (main): Don't play games with buffering.
8026
8027         * log.c (vlogmsg): Flush the output after every message.
8028
8029 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
8030
8031         * init.c (parse_line): Ditto.
8032
8033         * url.c (get_urls_html): Ditto.
8034
8035         * main.c (main): Don't cast to unsigned char.
8036
8037         * init.c (run_wgetrc): Don't cast to unsigned char.
8038         (parse_line): Accept char instead of unsigned char.
8039
8040         * html.c (htmlfindurl): Use char instead of unsigned char.
8041
8042         * all: Use them.
8043
8044         * sysdep.h: Add wrappers to ctype macros to make them
8045         eight-bit-clean:
8046
8047 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
8048
8049         * html.c (htmlfindurl): Download <img lowsrc=...>
8050
8051         * main.c (main): Ignore SIGPIPE.
8052
8053         * connect.c (select_fd): New argument WRITEP.
8054         (iwrite): Call select_fd().
8055
8056 1997-02-27  Fila Kolodny <fila@ibi.com>
8057
8058         * ftp.c (ftp_retrieve_list): If retrieving symlink and the proper
8059         one already exists, just skip it.
8060
8061 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
8062
8063         * http.c (gethttp): Cosmetic changes.
8064
8065         * http.c (check_end): Allow `+D...' instead of `GMT'.
8066         From Fabrizio Pollastri <pollastri@cstv.to.cnr.it>.
8067
8068         * url.c (process_ftp_type): New function.
8069         (parseurl): Use it.
8070
8071         * connect.c (iwrite): Allow writing in a few chunks.
8072         (bindport): Made SRV static, so addr can point to it.
8073         (select_fd): Removed HPUX kludge.
8074
8075         * host.c (free_hlist): Incorporated into clean_hosts().
8076
8077 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
8078
8079         * host.c (hlist): Made static.
8080         (search_address): Cosmetic change.
8081
8082 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
8083
8084         * version.c: Wget v1.5-b1 is released.
8085
8086         * http.c (hgetlen): Use sizeof() to get the header length.
8087         (hgetrange): Ditto.
8088         (hgettype): Ditto.
8089         (hgetlocation): Ditto.
8090         (hgetmodified): Ditto.
8091         (haccepts_none): Ditto.
8092
8093         * main.c (main): Updated `--version' and `--help' output, as per
8094         Francois Pinard's suggestions.
8095
8096         * main.c: Include locale.h; call setlocale(), bindtextdomain() and 
8097         textdomain().
8098
8099         * config.h.in: Define stubs for I18N3.
8100
8101         * wget.h: Include libintl.h.
8102
8103 1998-01-28  Hrvoje Niksic  <hniksic@srce.hr>
8104
8105         * url.c (mkstruct): Check for opt.cut_dirs.
8106         (mkstruct): alloca()-te more, xmalloc() less.
8107
8108         * utils.c (load_file): Check for ferror().
8109
8110         * url.c (get_urls_file): Close only the files we opened.
8111         (get_urls_html): Ditto.
8112         (count_slashes): New function.
8113
8114         * http.h: Removed.
8115
8116         * http.c (gethttp): Respect username and password provided by
8117         proxy URL.
8118         (base64_encode_line): Write into an existing buffer instead of
8119         malloc-ing a new one.
8120         (struct http_stat): Moved from http.h
8121
8122         * retr.c (retrieve_url): Free SUF.
8123
8124         * all: Removed lots of unnecessary .h dependencies.
8125
8126         * html.c (global_state): Made static.
8127
8128         * utils.h (ALLOCA_ARRAY): New macro.
8129
8130         * main.c (main): New option `--cut-dirs'.
8131
8132         * url.c (construct): Use alloca() for T.
8133
8134         * utils.c (mkdirhier): Use STRDUP_ALLOCA.
8135
8136         * host.c (_host_t): Moved from host.h.
8137         (struct host): Renamed from _host_t.
8138         (store_hostaddress): Use STRDUP_ALLOCA for INET_S.
8139         (realhost): Ditto.
8140
8141         * host.h: Don't include url.h.
8142
8143         * ftp.c (LIST_FILENAME): Moved from ftp.h.
8144
8145         * init.c (DEFAULT_FTP_ACCT): Moved from ftp.h.
8146
8147         * main.c (main): Enable log if the output goes to a TTY.
8148
8149         * connect.h: Removed unused constant `BACKLOG'.
8150
8151         * config.h.in: Check for isatty().
8152
8153         * Makefile.in (LINK): Use CFLAGS when linking.
8154
8155 1998-01-27  Hrvoje Niksic  <hniksic@srce.hr>
8156
8157         * mswindows.c (ws_hangup): Use redirect_output().
8158
8159         * main.c (redirect_output_signal): New function; use
8160         redirect_output().
8161
8162         * log.c (redirect_output): New function, based on hangup(), which
8163         is deleted.
8164
8165         * log.c (vlogmsg): New function.
8166
8167         * wget.h (DEBUGP): Use debug_logmsg().
8168
8169         * main.c (hangup): Use it.
8170
8171         * log.c (log_dump): New function.
8172
8173         * utils.h (DO_REALLOC): Use `long' for various sizes.
8174
8175         * http.c (hskip_lws): Use `while', for clarity.
8176         (HTTP_DYNAMIC_LINE_BUFFER): New constant.
8177         (fetch_next_header): Use it instead of DYNAMIC_LINE_BUFFER.
8178
8179         * ftp-basic.c (FTP_DYNAMIC_LINE_BUFFER): New constant.
8180         (ftp_response): Use it instead of DYNAMIC_LINE_BUFFER.
8181
8182         * utils.c (DYNAMIC_LINE_BUFFER): Moved from utils.c.
8183         (LEGIBLE_SEPARATOR): Ditto.
8184         (FILE_BUFFER_SIZE): Ditto.
8185
8186         * retr.c (BUFFER_SIZE): Moved from retr.h.
8187
8188         * log.c: New file.
8189         (logmsg): Moved from utils.c.
8190         (debug_logmsg): New function.
8191
8192         * mswindows.h: Include it here.
8193
8194         * init.c: Ditto.
8195
8196         * utils.c: Don't include <windows.h>.
8197
8198 1998-01-25  Hrvoje Niksic  <hniksic@srce.hr>
8199
8200         * host.c (ftp_getaddress): Ditto.
8201
8202         * main.c (main): Use it.
8203
8204         * utils.h (STRDUP_ALLOCA): New macro.
8205
8206         * init.c: Prepend `wget: ' to error messages printed on stderr.
8207
8208         * utils.c (mkdirhier): Renamed from mymkdir.
8209         (touch): Renamed from my_touch.
8210         (pwd_cuserid): Renamed from my_cuserid().
8211
8212 1998-01-24  Andy Eskilsson  <andy.eskilsson@telelogic.se>
8213
8214         * utils.c (accdir): Process wildcards.
8215         (proclist): New function.
8216         (accdir): Use it to avoid code repetition.
8217
8218 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
8219
8220         * recur.c (parse_robots): Respect opt.useragent; use alloca().
8221
8222         * http.c (gethttp): Construct useragent accordingly.
8223
8224         * version.c: Changed version string to numbers-only.
8225
8226         * main.c (print_help): List all the options.
8227
8228         * mswindows.c (windows_main_junk): Initialize argv0 here.
8229
8230 1998-01-24  Karl Heuer  <kwzh@gnu.org>
8231
8232         * netrc.c (search_netrc): Initialize `l' only after processing
8233         netrc.
8234
8235         * main.c (main): Don't trap SIGHUP if it's being ignored.
8236
8237 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
8238
8239         * all: Use logmsg().
8240
8241         * utils.c (time_str): Moved from retr.c.
8242         (logmsg): New function.
8243         (logmsg_noflush): Ditto.
8244
8245         * rbuf.c: New file, moved buf_* functions here.
8246
8247         * ftp.c (ftp_expected_bytes): Moved from ftp-basic.c.
8248
8249         * ftp-basic.c (ftp_rest): Use prnum().
8250
8251         * ftp-basic.c: Ditto.
8252
8253         * ftp.c: Use the new reading functions and macros.
8254
8255         * retr.c (buf_initialize): New function.
8256         (buf_initialized_p): Ditto.
8257         (buf_uninitialize): Ditto.
8258         (buf_fd): Ditto.
8259
8260         * http.c (fetch_next_header): Use the BUF_READCHAR macro for
8261         efficiency.
8262         (gethttp): Use alloca() where appropriate.
8263
8264         * retr.c (buf_readchar): Use it.
8265         (buf_peek): Use rstreams.
8266
8267         * retr.h (BUF_READCHAR): New macro.
8268
8269         * init.c (home_dir): Rewritten for clarity.
8270         (init_path): Ditto.
8271
8272         * mswindows.c (ws_backgnd): Made static.
8273         (read_registry): Ditto.
8274         (ws_cleanup): Ditto.
8275         (ws_handler): Ditto.
8276
8277 1998-01-23  Hrvoje Niksic  <hniksic@srce.hr>
8278
8279         * alloca.c: New file.
8280
8281         * Makefile.in (ALLOCA): Define.
8282
8283         * mswindows.c (ws_help): Constify.
8284         (ws_help): Use alloca.
8285
8286         * mswindows.c: Reformat.
8287
8288         * all: Added _(...) annotations for I18N snarfing and translation.
8289
8290         * host.c (ftp_getaddress): Nuke SYSINFO.
8291         (ftp_getaddress): Don't use getdomainname().
8292         (ftp_getaddress): Use uname(), where available.
8293
8294         * http.c (gethttp): Protect a stray fprintf().
8295
8296         * init.c (settime): New function.
8297         (setval): Treat WAIT specially, allowing suffixes like `m' for
8298         minutes, etc.
8299
8300 1998-01-21  Hrvoje Niksic  <hniksic@srce.hr>
8301
8302         * url.c (get_urls_html): Use alloca() for TEMP.
8303
8304 1998-01-21  Jordan Mendelson  <jordy@wserv.com>
8305
8306         * url.c (rotate_backups): New function.
8307
8308         * http.c (gethttp): Ditto.
8309
8310         * ftp.c (getftp): Rotate backups.
8311
8312 1997-12-18  Hrvoje Niksic  <hniksic@srce.hr>
8313
8314         * all: Renamed nmalloc(), nrealloc() and nstrdup() to xmalloc(),
8315         xrealloc() and xstrdup().  Use the new functions.
8316
8317         * url.c (decode_string): Made static.
8318         (has_proto): Ditto.
8319         (parse_dir): Ditto.
8320         (parse_uname): Ditto.
8321         (mkstruct): Ditto.
8322         (construct): Ditto.
8323         (construct_relative): Ditto.
8324
8325         * retr.c (show_progress): Made static.
8326
8327         * recur.c (robots_url): Made static.
8328         (retrieve_robots): Ditto.
8329         (parse_robots): Ditto.
8330         (robots_match): Ditto.
8331
8332         * main.h: Removed.
8333
8334         * main.c (printhelp): Made static.
8335         (hangup): Ditto.
8336
8337         * init.c (comind): Made static.
8338         (defaults): Ditto.
8339         (init_path): Ditto.
8340         (run_wgetrc): Ditto.
8341         (onoff): Ditto.
8342         (setonoff): Ditto.
8343         (setnum): Ditto.
8344         (myatoi): Ditto.
8345         (getperms): Ditto.
8346         (setbytes): Ditto.
8347
8348         * http.c (fetch_next_header): Made static.
8349         (hparsestatline): Ditto.
8350         (hskip_lws): Ditto.
8351         (hgetlen): Ditto.
8352         (hgetrange): Ditto.
8353         (hgettype): Ditto.
8354         (hgetlocation): Ditto.
8355         (hgetmodified): Ditto.
8356         (haccepts_none): Ditto.
8357         (gethttp): Ditto.
8358         (base64_encode_line): Ditto.
8359         (mktime_from_utc): Ditto.
8360         (http_atotm): Ditto.
8361
8362         * html.c (idmatch): Made static.
8363
8364         * host.c (search_host): Made static.
8365         (search_address): Ditto.
8366         (free_hlist): Ditto.
8367
8368         * ftp.c (getftp): Made static.
8369         (ftp_loop_internal): Ditto.
8370         (ftp_get_listing): Ditto.
8371         (ftp_retrieve_list): Ditto.
8372         (ftp_retrieve_dirs): Ditto.
8373         (ftp_retrieve_glob): Ditto.
8374         (freefileinfo): Ditto.
8375         (delelement): Ditto.
8376
8377         * ftp-ls.c (symperms): Made static.
8378         (ftp_parse_unix_ls): Ditto.
8379
8380         * connect.c (select_fd): Made static.
8381
8382         * utils.c (xmalloc): Renamed from nmalloc.
8383         (xrealloc): Renamed from nrealloc.
8384         (xstrdup): Renamed from nstrdup.
8385
8386         * getopt.c (exchange): Use alloca.
8387
8388         * mswindows.c (mycuserid): Use strncpy.
8389
8390         * New files mswindows.c, mswindows.h, sysdep.h.  winjunk.c,
8391         systhings.h, windecl.h and winjunk.h removed.
8392
8393         * mswindows.c (sleep): New function.
8394
8395         * utils.c: Include <windows.h> under Windows.
8396
8397 1997-06-12  Darko Budor  <dbudor@zesoi.fer.hr>
8398
8399         * url.h (URL_UNSAFE): Change default under Windows.
8400
8401         * retr.c (retrieve_from_file): Respect opt.delete_after.
8402
8403         * main.c (main): Call ws_help on Windows.
8404
8405         * winjunk.c (windows_main_junk): New function.
8406
8407         * main.c (main): Junk-process argv[0].
8408
8409         * http.c (mktime_from_utc): Return -1 if mktime failed.
8410
8411         * http.c (http_loop): Ditto.
8412
8413         * ftp.c (ftp_loop_internal): Change title on Windows when using a
8414         new URL.
8415
8416         * winjunk.c (getdomainname): Lots of functions.
8417
8418 1997-06-12  Hrvoje Niksic  <hniksic@srce.hr>
8419
8420         * cmpt.c (strptime_internal): Handle years more correctly for
8421         `%y'.
8422
8423 1997-06-09  Mike Thomas <mthomas@reality.ctron.com>
8424
8425         * http.c (gethttp): Allocate enough space for
8426         `Proxy-Authorization' header.
8427
8428 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
8429
8430         * version.c: Wget/1.4.5 is released.
8431
8432 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
8433
8434         * retr.c (get_contents): Check return value of fwrite more
8435         carefully.
8436
8437 1997-03-30  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
8438
8439         * cmpt.c (strptime_internal) [case 'Y']: Always subtract 1900 from
8440         year, regardless of century.
8441
8442 1997-03-30  Hrvoje Niksic  <hniksic@srce.hr>
8443
8444         * utils.c (isfile): Use `lstat' instead of `stat'.
8445
8446 1997-03-29  Hrvoje Niksic  <hniksic@srce.hr>
8447
8448         * utils.c (numdigit): Use explicit test.
8449
8450 1997-03-21  Hrvoje Niksic  <hniksic@srce.hr>
8451
8452         * http.c (http_loop): Always use `url_filename' to get u->local.
8453
8454 1997-03-20  Hrvoje Niksic  <hniksic@srce.hr>
8455
8456         * url.c: Recognize https.
8457
8458 1997-03-13  Hrvoje Niksic  <hniksic@srce.hr>
8459
8460         * recur.c (recursive_retrieve): Lowercase just the host name.
8461
8462 1997-03-09  Hrvoje Niksic  <hniksic@srce.hr>
8463
8464         * url.c (get_urls_file): Use the correct test.
8465         (get_urls_html): Ditto.
8466
8467 1997-03-07  Hrvoje Niksic  <hniksic@srce.hr>
8468
8469         * connect.c: Reverted addrlen to int.
8470
8471         * init.c (parse_line): Check for -1 instead of NONE.
8472
8473         * version.c: Changed version to 1.4.5.
8474
8475 1997-02-17  Hrvoje Niksic  <hniksic@srce.hr>
8476
8477         * init.c: New option netrc.
8478         (initialize): Don't parse .netrc.
8479
8480         * cmpt.c (recursive): Return rp.
8481         (strptime_internal): Match the long strings first, the abbreviated
8482         second.
8483
8484 1997-02-16  Hrvoje Niksic  <hniksic@srce.hr>
8485
8486         * http.c (check_end): New function.
8487         (http_atotm): Use it.
8488  
8489 1997-02-13  gilles Cedoc  <gilles@cedocar.fr>
8490
8491         * http.c (gethttp): Use them.
8492
8493         * init.c: New options proxy_user and proxy_passwd.
8494
8495 1997-02-14  Hrvoje Niksic  <hniksic@srce.hr>
8496
8497         * ftp.c (ftp_retrieve_list): Create links even if not relative.
8498
8499 1997-02-10  Hrvoje Niksic  <hniksic@srce.hr>
8500
8501         * recur.c (recursive_retrieve): Lowercase the host name, if the
8502         URL is not "optimized".
8503
8504         * host.c (realhost): Return l->hostname, even if it matches with
8505         host.
8506
8507 1997-02-10  Marin Purgar  <pmc@asgard.hr>
8508
8509         * connect.c: Make addrlen size_t instead of int.
8510         (conaddr): Ditto.
8511
8512 1997-02-09  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
8513
8514         * systhings.h: Define S_ISLNK on NeXT too.
8515
8516 1997-02-09  Hrvoje Niksic  <hniksic@srce.hr>
8517
8518         * version.c: Released 1.4.3.
8519
8520         * url.c: Futher update to list of protostrings.
8521         (skip_proto): Skip `//' correctly for FTP and HTTP.
8522
8523         * url.c (get_urls_html): Handle bogus `http:' things a little
8524         different.
8525
8526         * main.c (main): Removed `follow-ftp' from `f'.
8527         (main): Dumped the `prefix-files' and `file-prefix' options and
8528         features; old and bogus.
8529         (main): Exit on failed setval() in `-e'.
8530
8531         * http.c (fetch_next_header): Use it to detect header continuation
8532         correctly.
8533
8534         * retr.c (buf_peek): New function.
8535
8536 1997-02-08  Hrvoje Niksic  <hniksic@srce.hr>
8537
8538         * wget.h: Include time.h and stuff.
8539
8540 1997-02-08  Roger Beeman  <beeman@cisco.com>
8541
8542         * ftp.c: Include <time.h>
8543
8544 1997-02-07  Hrvoje Niksic  <hniksic@srce.hr>
8545
8546         * url.c (findurl): Would read over buffer limits.
8547
8548 1997-02-06  Hrvoje Niksic  <hniksic@srce.hr>
8549
8550         * ftp-ls.c (ftp_parse_unix_ls): Allow spaces in file names.
8551
8552 1997-02-05  Hrvoje Niksic  <hniksic@srce.hr>
8553
8554         * http.c (http_atotm): Initialize tm.is_dst.
8555
8556 1997-02-02  Hrvoje Niksic  <hniksic@srce.hr>
8557
8558         * http.c (gethttp): Don't print the number of retrieved headers.
8559
8560         * main.c (main): New option `--no-clobber', alias for `-nc'.
8561
8562         * url.c: Recognize `https://'.
8563
8564 1997-02-01  Hrvoje Niksic  <hniksic@srce.hr>
8565
8566         * host.c (herrmsg): Don't use h_errno.
8567
8568 1997-01-30  Hrvoje Niksic  <hniksic@srce.hr>
8569
8570         * host.c (accept_domain): Use it.
8571
8572         * main.c (main): New option `--exclude-domains'.
8573
8574         * retr.c (retrieve_url): Use it.
8575         (retrieve_url): Bail out when an URL is redirecting to itself.
8576
8577         * url.c (url_equal): New function.
8578
8579 1997-01-29  Hrvoje Niksic  <hniksic@srce.hr>
8580
8581         * connect.c: Include arpa/inet.h instead of arpa/nameser.h.
8582
8583         * http.c (mk_utc_time): New function.
8584         (http_atotm): Use it; handle time zones correctly.
8585
8586 1997-01-28  Hrvoje Niksic  <hniksic@srce.hr>
8587
8588         * http.c: Ditto.
8589
8590         * ftp-basic.c: Use it instead of WRITE.
8591
8592         * connect.c (iwrite): New function.
8593
8594 1997-01-27  Hrvoje Niksic  <hniksic@srce.hr>
8595
8596         * cmpt.c (mktime): New function.
8597
8598         * netrc.c: Include <sys/types.h>.
8599
8600         * main.c (main): Wouldn't recognize --spider.
8601
8602         * retr.c (rate): Use `B', `KB' and `MB'.
8603         (reset_timer,elapsed_time): Moved from utils.c.
8604
8605         * ftp.c (ftp_retrieve_list): Ditto.
8606
8607         * http.c (http_loop): Don't touch the file if opt.dfp.
8608
8609 1997-01-24  Hrvoje Niksic  <hniksic@srce.hr>
8610
8611         * cmpt.c: New file.
8612
8613         * ftp.c (ftp_retrieve_glob): New argument semantics.
8614         (ftp_retrieve_dirs): Use it.
8615         (ftp_loop): Ditto.
8616
8617         * html.c (htmlfindurl): Recognize `'' as the quote char.
8618
8619 1997-01-23  Hrvoje Niksic  <hniksic@srce.hr>
8620
8621         * ftp.c (ftp_loop_internal): Use it.
8622
8623         * utils.c (remove_link): New function.
8624
8625 1997-01-22  Hrvoje Niksic  <hniksic@srce.hr>
8626
8627         * retr.c (retrieve_url): Require STRICT redirection URL.
8628
8629         * url.c (parseurl): New argument STRICT.
8630
8631         * http.c (hparsestatline): Be a little-bit less strict about
8632         status line format.
8633
8634 1997-01-21  Hrvoje Niksic  <hniksic@srce.hr>
8635
8636         * http.c (gethttp): Use it.
8637
8638         * main.c (main): Don't use '<digit>' as options.
8639
8640         * init.c: New option ignore_length.
8641
8642         * http.c (gethttp): Ditto.
8643         (http_loop): Check for redirection without Location:.
8644         (gethttp): Don't print Length unless RETROKF.
8645
8646         * ftp.c (getftp): Use it.
8647
8648         * url.c (mkalldirs): New function.
8649
8650         * utils.c (mymkdir): Don't check for existing non-directory.
8651
8652         * url.c (mkstruct): Don't create the directory.
8653
8654 1997-01-20  Hrvoje Niksic  <hniksic@srce.hr>
8655
8656         * init.c (setval): Removed NO_RECURSION checks.
8657
8658 1997-01-19  Hrvoje Niksic  <hniksic@srce.hr>
8659
8660         * version.c: "Released" 1.4.3-pre2.
8661
8662         * recur.c (recursive_retrieve): Bypass host checking only if URL
8663         is ftp AND parent URL is not ftp.
8664
8665         * ftp-basic.c (ftp_request): Print out Turtle Power.
8666
8667         * ftp.c (ftp_loop): Call ftp_retrieve_glob with 0 if there's no
8668         wildcard.
8669         (ftp_retrieve_glob): Call ftp_loop_internal even on empty list, if
8670         not glob.
8671
8672         * http.c (gethttp): Be a little bit smarter about status codes.
8673
8674         * recur.c (recursive_retrieve): Always reset opt.recursive when
8675         dealing with FTP.
8676
8677 1997-01-18  Hrvoje Niksic  <hniksic@srce.hr>
8678
8679         * retr.c (retrieve_url): New variable location_changed; use it for
8680         tests instead of mynewloc.
8681         (retrieve_url): Allow heuristic adding of html.
8682
8683         * url.c (url_filename): Don't use the `%' in Windows file names.
8684
8685         * http.c (http_loop): Always time-stamp the local file.
8686
8687         * http.c (http_loop): Ditto.
8688
8689         * ftp.c (ftp_retrieve_list): Use it.
8690
8691         * utils.c (my_touch): New function.
8692
8693         * ftp.c (ftp_retrieve_list): Use #ifdef HAVE_STRUCT_UTIMBUF
8694         instead of #ifndef NeXT.
8695
8696         * utils.c (strptime): New version, by Ulrich Drepper.
8697
8698 1997-01-17  Hrvoje Niksic  <hniksic@srce.hr>
8699
8700         * http.c (haccepts_none): Renamed from `haccepts_bytes'.
8701         (gethttp): If haccepts_none(), disable ACCEPTRANGES.
8702         (http_loop): Would remove ACCEPTRANGES.
8703
8704         * ftp.c (getftp): Call ftp_list with NULL.
8705
8706 1997-01-15  Hrvoje Niksic  <hniksic@srce.hr>
8707
8708         * html.c (ftp_index): Don't print minutes and seconds if we don't
8709         know them; beautify the output.
8710
8711         * ftp.c (getftp): Don't close the socket on FTPNSFOD.
8712
8713 1997-01-14  Hrvoje Niksic  <hniksic@srce.hr>
8714
8715         * utils.c (strptime): New function.
8716         (strptime): Don't use get_alt_number.
8717         (strptime): Don't use locale.
8718         (match_string): Made it a function.
8719
8720 1997-01-12  Hrvoje Niksic  <hniksic@srce.hr>
8721
8722         * http.c (http_atotm): New function.
8723         (http_loop): Use it.
8724
8725         * atotm.c: Removed from the distribution.
8726
8727         * http.c (base64_encode_line): Rewrite.
8728
8729 1997-01-09  Hrvoje Niksic  <hniksic@srce.hr>
8730
8731         * ftp.c (getftp): Use ftp_expected_bytes; print size.
8732
8733         * ftp-basic.c (ftp_response): Use ftp_last_respline.
8734         (ftp_expected_bytes): New function.
8735
8736         * ftp.c (getftp): Print the unauthoritative file length.
8737
8738         * ftp-ls.c: Renamed from ftp-unix.c.
8739         (ftp_parse_ls): Moved from ftp.c.
8740         (ftp_parse_unix_ls): Recognize seconds in time spec.
8741         (ftp_parse_unix_ls): Recognize year-less dates of the previous
8742         year.
8743
8744 1997-01-08  Hrvoje Niksic  <hniksic@srce.hr>
8745
8746         * ftp-basic.c: Don't declare errno if #defined.
8747
8748         * host.c (ftp_getaddress): Check for sysinfo legally.
8749
8750 1997-01-08  Darko Budor  <dbudor@diana.zems.fer.hr>
8751
8752         * connect.c (iread): Use READ.
8753
8754 1996-12-23  Hrvoje Niksic  <hniksic@srce.hr>
8755
8756         * url.c: Recognize finger, rlogin, tn3270, mid and cid as valid
8757         schemes.
8758
8759 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
8760
8761         * host.c (ftp_getaddress): Allow `.' in hostname.
8762
8763 1996-12-26  Darko Budor <dbudor@zems.fer.hr>
8764
8765         * wget.h: READ and WRITE macros for use instead of read and write
8766         on sockets, grep READ *.c, grep WRITE *.c
8767
8768         * wsstartup.c: new file - startup for winsock
8769
8770         * wsstartup.h: new file
8771
8772         * win32decl.h: new file - fixup for <errno.h> and winsock trouble
8773
8774         * configure.bat: Configure utility for MSVC
8775
8776         * src/Makefile.ms,config.h.ms: new files for use with MSVC 4.x
8777
8778 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
8779
8780         * version.c: Released 1.4.3-pre.
8781
8782         * utils.c (prnum): Accept long.
8783         (legible): Use prnum().
8784
8785         * connect.c (make_connection): Accept port as short.
8786         (bindport): Ditto.
8787
8788         * http.c (gethttp): Use search_netrc.
8789
8790 1996-12-21  Hrvoje Niksic  <hniksic@srce.hr>
8791
8792         * ftp.c (getftp): Use search_netrc.
8793
8794         * netrc.c (free_netrc): New function.
8795
8796         * init.c (home_dir): New function.
8797
8798         * url.c (convert_links): Allow REL2ABS changes.
8799
8800 1996-12-21  Gordon Matzigkeit  <gord@gnu.ai.mit.edu>
8801
8802         * netrc.c: New file.
8803         (parse_netrc, maybe_add_to_list): New functions.
8804
8805 1996-12-17  Hrvoje Niksic  <hniksic@srce.hr>
8806
8807         * retr.c (retrieve_url): Reset opt.recursion before calling
8808         ftp_loop if it is reached through newloc.
8809
8810         * init.c (run_wgetrc): Print the wgetrc path too, when reporting
8811         error; don't use "Syntax error", since we don't know if it is
8812         really a syntax error.
8813
8814 1996-12-16  Hrvoje Niksic  <hniksic@srce.hr>
8815
8816         * utils.c (acceptable): Extract the filename part of the path.
8817
8818         * recur.c (recursive_retrieve): Call acceptable() with the right
8819         argument; would bug out on wildcards.
8820
8821         * init.c (parse_line): Likewise.
8822
8823         * html.c (htmlfindurl): Cast to char * when calling stuff.
8824
8825 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
8826
8827         * ftp.c (getftp): Use ftp_pasv.
8828
8829         * ftp-basic.c (ftp_request): Accept NULL value.
8830         (ftp_pasv): New function.
8831
8832         * options.h (struct options): Add passive FTP option.
8833
8834 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
8835
8836         * url.c (parseurl): Debug output.
8837
8838         * utils.c (path_simplify): New one, adapted from bash's
8839         canonicalize_pathname().
8840
8841 1996-12-14  Hrvoje Niksic  <hniksic@srce.hr>
8842
8843         * ftp.c (getftp): Don't discard the buffer.
8844
8845         * retr.c (get_contents): New parameter nobuf.
8846
8847 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
8848
8849         * html.c (htmlfindurl): Recognize <meta contents="d; URL=...".
8850
8851         * init.c (setval): Strip the trailing slashes on CVECDIR.
8852
8853 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
8854
8855         * init.c: Make excludes and includes under CVECDIR instead of
8856         CVEC.
8857
8858 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
8859
8860         * url.c (get_urls_html): Skip "http:".
8861
8862 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
8863
8864         * utils.c (strcasecmp): From glibc.
8865         (strncasecmp): Also.
8866         (strstr): Also.
8867
8868         * url.c: Added javascript: to the list of URLs prefixes.
8869
8870 1996-12-12  Shawn McHorse  <riffraff@txdirect.net>
8871
8872         * recur.c (retrieve_robots): Print the warning message only if
8873         verbose.
8874
8875 1996-12-12  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
8876
8877         * ftp.c (ftp_retrieve_list): Use NeXT old utime interface.
8878
8879 1996-12-12  Hrvoje Niksic  <hniksic@srce.hr>
8880
8881         * systhings.h: New file.
8882
8883         * ../configure.in: Check for utime.h
8884
8885         * ftp.c: Check whether we have unistd.h.
8886
8887 1996-11-27  Hrvoje Niksic  <hniksic@srce.hr>
8888
8889         * recur.c (recursive_retrieve): Send the canonical URL as referer.
8890         (recursive_retrieve): Call get_urls_html with the canonical URL.
8891
8892 1996-12-13  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
8893
8894         * (configure.in, config.h.in, src/Makefile.in, src/*.[ch]): Add
8895         ansi2knr support for compilers which don't support ANSI style
8896         function prototypes and signatures.
8897
8898         * (aclocal.m4, src/ansi2knr.c, src/ansi2knr.1): New files.
8899
8900 1996-11-26  Hrvoje Niksic  <hniksic@srce.hr>
8901
8902         * url.c: Use it; Recognize paths ending with "." and ".." as
8903         directories.
8904         (url_filename): Append .n whenever file exists and could be a
8905         directory.
8906
8907         * url.h (ISDDOT): New macro.
8908
8909         * init.c (parse_line): Use unsigned char.
8910
8911         * url.c (get_urls_html): Cast to unsigned char * when calling
8912         htmlfindurl.
8913
8914         * html.c (htmlfindurl): Use unsigned char.
8915
8916         * version.c: Changed version to 1.4.3.
8917
8918 1996-11-25  Hrvoje Niksic  <hniksic@srce.hr>
8919
8920         * version.c: Released 1.4.2.
8921
8922         * ftp.c (getftp): Simplified assertion.
8923         (ftp_loop_internal): Remove symlink before downloading.
8924         (ftp_retrieve_list): Unlink the symlink name before attempting to
8925         create a symlink!
8926
8927         * options.h (struct options): Renamed print_server_response to
8928         server_response.
8929
8930         * ftp.c (rel_constr): Removed.
8931         (ftp_retrieve_list): Don't use it.
8932         (ftp_retrieve_list): Use opt.retr_symlinks.
8933
8934 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
8935
8936         * main.c (main): New option retr_symlinks.
8937
8938         * url.c (convert_links): Print verbose message.
8939
8940 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
8941
8942         * http.c (http_loop): Reset newloc in the beginning of function;
8943         would cause FMR in retrieve_url.
8944
8945 1996-11-23  Hrvoje Niksic  <hniksic@srce.hr>
8946
8947         * recur.c (convert_all_links): Find the URL of each HTML document,
8948         and feed it to get_urls_html; would bug out.
8949         (convert_all_links): Check for l2 instead of dl; removed dl.
8950
8951         * url.c (convert_links): Don't refer to freed newname.
8952
8953         * recur.c (recursive_retrieve): Add this_url to urls_downloaded.
8954
8955         * main.c (main): Print the OS_TYPE in the debug output, too.
8956
8957         * recur.c (recursive_retrieve): Check for opt.delete_after.
8958
8959         * main.c (main): New option delete-after.
8960
8961         * init.c (setval): Cleaned up.
8962
8963 1996-11-21  Hrvoje Niksic  <hniksic@srce.hr>
8964
8965         * Makefile.in (wget): Make `wget' the default target.
8966
8967         * ftp.c (ftp_loop_internal): Move noclobber checking out of the
8968         loop.
8969         (ftp_retrieve_list): Warn about non-matching sizes.
8970
8971         * http.c (http_loop): Made -nc non-dependent on opt.recursive.
8972
8973         * init.c (setnum): Renamed from setnuminf; New argument flags.
8974         (setval): Use it.
8975
8976         * main.c (main): Sorted the options.
8977         (main): New option --wait.
8978
8979 1996-11-21  Shawn McHorse  <riffraff@txdirect.net>
8980
8981         * html.c (htmlfindurl): Reset s->in_quote after getting out of
8982         quotes.
8983
8984 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
8985
8986         * version.c: Changed version to 1.4.2.
8987
8988 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
8989
8990         * version.c: Released 1.4.1.
8991
8992         * html.c (html_quote_string): New function.
8993         (ftp_index): Use it.
8994         (htmlfindurl): A more gentle ending debug message.
8995
8996         * ftp.c (ftp_loop): Check for opt.htmlify.
8997
8998         * init.c: New command htmlify.
8999
9000         * ftp.c (getftp): Nicer error messages, with `'-encapsulated
9001         strings.
9002         (ftp_loop): Print size of index.html.
9003
9004         * init.c (setval): Implement "styles".
9005
9006         * main.c (main): New option dotstyle.
9007
9008 1996-11-19  Hrvoje Niksic  <hniksic@srce.hr>
9009
9010         * ftp.c (getftp): Close the master socket in case of errors, after
9011         bindport().
9012
9013         * connect.c (bindport): Initialize msock to -1.
9014
9015         * ftp.c (getftp): Initialize dtsock to -1.
9016
9017         * connect.c (closeport): Don't close sock if sock == -1.
9018
9019 1996-11-18  Hrvoje Niksic  <hniksic@srce.hr>
9020
9021         * init.c (setnuminf): Nuked default value -- just leave unchanged.
9022         (setval): Don't send default values.
9023         (defaults): Use DEFAULT_TIMEOUT -- aaargh.
9024
9025         * options.h (struct options): Use long for dot_bytes.
9026
9027         * init.c (setquota): Renamed to setbytes.
9028         (setval): Use setbytes on DOTBYTES.
9029
9030 1996-11-17  Hrvoje Niksic  <hniksic@srce.hr>
9031
9032         * ftp.c (getftp): Initialize con->dltime.
9033
9034         * recur.c (recursive_retrieve): Use same_host instead of
9035         try_robots; simply load robots_txt whenever the host is changed.
9036         (recursive_retrieve): Free forbidden before calling parse_robots.
9037
9038 1996-11-16  Hrvoje Niksic  <hniksic@srce.hr>
9039
9040         * retr.c (show_progress): Use them.
9041
9042         * options.h (struct options): New options dot_bytes, dots_on_line
9043         and dot_spacing.
9044
9045 1996-11-16  Mark Boyns  <boyns@sdsu.edu>
9046
9047         * recur.c (recursive_retrieve): Retrieve directories regardless of
9048         acc/rej rules; check for empty u->file.
9049
9050 1996-11-14  Hrvoje Niksic  <hniksic@srce.hr>
9051
9052         * init.c (setval): Use it.
9053
9054         * utils.c (merge_vecs): New function.
9055
9056         * init.c (setval): Reset the list-type functions when encountering
9057         "".
9058
9059 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
9060
9061         * recur.c (recursive_retrieve): Use base_url instead of this_url
9062         for no_parent.
9063
9064 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
9065
9066         * html.c (htmlfindurl): Reset s->in_quote after exiting the quote.
9067
9068 1996-11-13  Hrvoje Niksic  <hniksic@srce.hr>
9069
9070         * utils.c (sepstring): Rewrote; don't use strtok.
9071
9072         * recur.c (recursive_retrieve): Enter assorted this_url to slist
9073         when running the first time.
9074         (retrieve_robots): Warn to ignore errors when robots are loaded.
9075
9076         * utils.c (load_file): Moved from url.c.
9077
9078         * http.c: Made static variables const too in h* functions.
9079
9080         * main.c (main): Renamed --continue-ftp to --continue.
9081
9082         * recur.c (recursive_retrieve): Use it.
9083
9084         * utils.c (frontcmp): New function.
9085
9086         * url.c (accdir): New function.
9087
9088         * html.c (htmlfindurl): Recognize <area href=...>.
9089
9090         * ftp.c (ftp_retrieve_dirs): Implemented opt.includes.
9091
9092         * init.c (setval): Free the existing opt.excludes and
9093         opt.includes, if available.
9094
9095         * main.c (main): New option -I.
9096
9097 1996-11-12  Hrvoje Niksic  <hniksic@srce.hr>
9098
9099         * ftp.c (ftp_retrieve_glob): Do not weed out directories.
9100
9101         * version.c: Changed version to 1.4.1.
9102
9103 1996-11-11  Hrvoje Niksic  <hniksic@srce.hr>
9104
9105         * version.c: Released 1.4.0.
9106
9107 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
9108
9109         * main.c (main): Free com and val after parse_line.
9110         (printhelp): Reorder the listing.
9111
9112         * http.c: More robust header parsing.
9113
9114         * http.c: Allow any number of spaces, or no spaces, precede ':'.
9115         (hskip_lws): New function.
9116         (haccepts_bytes): New function.
9117         (gethttp): Use it.
9118
9119         * init.c (setval): Check header sanity.
9120         (setval): Allow resetting of headers.
9121
9122 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
9123
9124         * http.c (http_loop): Don't use has_wildcards.
9125
9126         * http.c (gethttp): Free all_headers -- would leak.
9127
9128         * recur.c (recursive_retrieve): Initialize depth to 1 instead of
9129         0 -- this fixes a long-standing bug in -rl.
9130
9131 1996-11-09  Hrvoje Niksic  <hniksic@srce.hr>
9132
9133         * ftp.c: Use -1 as "impossible" value for con->fd.
9134
9135         * url.h (URL_SEPARATOR): Don't treat `*' and `+' as separators.
9136
9137         * init.c (parse_line): Use isalpha.
9138
9139         * ftp-unix.c: Use HAVE_UNISTD_H.
9140
9141         * mtch.c (has_wildcards): Don't match \.
9142
9143         * http.c (http_loop): Warn on HTTP wildcard usage.
9144
9145 1996-11-08  Hrvoje Niksic  <hniksic@srce.hr>
9146
9147         * url.c (url_filename): Do not create numbered suffixes if
9148         opt.noclobber -- would bug out on -nc.
9149
9150 1996-11-07  Hrvoje Niksic  <hniksic@srce.hr>
9151
9152         * recur.c (parse_robots): Don't chuck out the commands without
9153         arguments (`Disallow:<empty>' didn't work).
9154         (parse_robots): Compare versions lowercase.
9155         (parse_robots): Match on base_version, not version_string!
9156         (parse_robots): Handle comments properly.
9157         (parse_robots): Match versions in a sane way.
9158
9159         * init.c: Print nicer error messages.
9160
9161         * version.c: Changed version to 1.4.0.
9162
9163 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
9164
9165         * version.c: Released 1.4.0-test2.
9166
9167         * init.c (run_wgetrc): Close fp.
9168
9169         * ftp.c (ftp_retrieve_dirs): Allocate the correct length for
9170         u->dir.
9171
9172 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
9173
9174         * init.c (setquota): Allow inf as quota specification.
9175
9176 1996-11-05  Hrvoje Niksic  <hniksic@srce.hr>
9177
9178         * ftp.c (ftp_retrieve_dirs): Return QUOTEXC if quota exceeded.
9179         (ftp_retrieve_glob): Return QUOTEXC on quota exceeded.
9180
9181         * main.c (main): Check for quota by comparison with downloaded
9182         stuff, not from status.
9183
9184         * connect.c (select_fd): Should compile on HPUX without warnings now.
9185
9186         * ftp.c (ftp_get_listing): Check whether ftp_loop_internal
9187         returned RETROK.
9188
9189 1996-11-04  Hrvoje Niksic  <hniksic@srce.hr>
9190
9191         * ftp.c (ftp_retrieve_glob): Print the pattern nicely.
9192         (getftp): Return FTPRETRINT on control connection error.
9193
9194         * html.c (htmlfindurl): Recognize <embed src=...> and
9195         <bgsound src=...>.
9196         (ftp_index): Handle username and password correctly.
9197
9198         * main.c (main): Made `-np' a synonim for --no-parent.
9199
9200 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
9201
9202         * ftp.c (ftp_loop): Check for opt.ftp_glob too before calling
9203         ftp_retrieve_glob.
9204
9205         * version.c: Changed version to 1.4.0-test2.
9206
9207 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
9208
9209         * version.c: Released 1.4.0-test1.
9210
9211         * url.c (str_url): Don't use sprintf when creating %2F-prefixed
9212         directory.
9213         (convert_links): Removed definition of make_backup.
9214
9215         * http.h: Removed definition of MAX_ERROR_LENGTH.
9216
9217         * host.c (ftp_getaddress): Check for "(none)" domains.
9218
9219         * ftp.c (ftp_retrieve_dirs): Docfix.
9220
9221         * http.c (gethttp): Use ou->referer instead of u->referer.
9222
9223         * retr.c (retrieve_url): Reset u to avoid freeing pointers twice;
9224         this was known to cause coredumps on Linux.
9225
9226         * html.c (ftp_index): Cast the argument to local_time to time_t *.
9227
9228 1996-11-01  Hrvoje Niksic  <hniksic@srce.hr>
9229
9230         * connect.c (select_fd): Use exceptfds -- once and for all.
9231
9232         * retr.c (retrieve_from_file): Free filename after
9233         recursive_retrieve.
9234         (retrieve_from_file): Send RFIRST_TIME to recursive_retrieve on
9235         first-time retrieval.
9236         (retrieve_from_file): Return uerr_t; new argument, count.
9237         (retrieve_from_file): Break on QUOTEXC.
9238
9239         * init.c (setquota): Fixed a bug that caused rejection of
9240         non-postfixed values..
9241
9242 1996-10-30  Hrvoje Niksic  <hniksic@srce.hr>
9243
9244         * version.c: Changed name to wget.
9245
9246         * connect.c (iread): Smarter use of select.
9247         (select_fd): Set errno on timeout.  If not timeout, return 1
9248         instead of 0.
9249
9250 1996-10-29  Hrvoje Niksic  <hniksic@srce.hr>
9251
9252         * ftp.c (ftp_loop_internal): Don't use con->cmd before
9253         establishing it.
9254
9255 1996-10-26  Hrvoje Niksic  <hniksic@srce.hr>
9256
9257         * http.c (gethttp): Send correct referer when using proxy.
9258         (gethttp): Use struct urlinfo ou to access the relevant data; send
9259         correct authorization in all cases.
9260
9261         * host.c (same_host): Use skip_uname to skip username and
9262         password.
9263
9264         * url.c (skip_uname): New function.
9265         (parseurl): Use it.
9266
9267         * host.c (same_host): Do not assume HTTP -- same_host should now
9268         be totally foolproof.
9269
9270         * url.c (skip_proto): New function.
9271         (parse_uname): Use it.
9272
9273         * http.c (gethttp): Create local user and passwd from what is
9274         given.
9275
9276         * url.c (parseurl): Check for HTTP username and password too.
9277
9278 1996-10-25  Hrvoje Niksic  <hniksic@srce.hr>
9279
9280         * config.h.in: Removed #define gethostbyname R...
9281
9282 1996-10-22  Hrvoje Niksic  <hniksic@srce.hr>
9283
9284         * version.c: Changed version to 1.4.0-test1.
9285
9286 1996-10-21  Hrvoje Niksic  <hniksic@srce.hr>
9287
9288         * version.c: "Released" 1.4b29.
9289
9290         * recur.c (recursive_retrieve): Check for no_parent.
9291
9292         * init.c (setval): Option update.
9293
9294         * main.c (main): New option no-parent.
9295
9296         * options.h (struct options): New variable no_parent.
9297
9298         * recur.c (recursive_retrieve): Only files are checked for
9299         opt.accepts and opt.rejects.
9300         (recursive_retrieve): Check directories for opt.excludes.
9301         (recursive_retrieve): Make the dir absolute when checking
9302         opt.excludes.
9303
9304         * html.c (htmlfindurl): Recognize <applet code=...> and <script
9305         src=...>
9306
9307 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
9308
9309         * ftp.c (getftp): Do not line-break assert entries at all.
9310         (ftp_retrieve_dirs): docfix.
9311
9312         * connect.c (select_fd): Use fd + 1 as nfds.
9313
9314         * version.c: Changed version to 1.4b29.
9315
9316 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
9317
9318         * version.c: "Released" 1.4b28.
9319
9320         * ftp.c (ftp_loop_internal): Check whether f->size == len and
9321         don't continue the loop if it is.
9322         (ftp_get_listing): Remove list_filename on unsuccesful loop.
9323
9324 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
9325
9326         * ftp.c (ftp_loop_internal): Use strcpy to initialize tmp.
9327         (getftp): Do not use multiline assert.
9328
9329         * http.c (hparsestatline): Use mjr and mnr instead of major and
9330         minor, which don't compile on Ultrix.
9331         (http_loop): Use strcpy() to initialize tmp.
9332
9333         * all: Geturl -> Fetch
9334
9335 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
9336
9337         * recur.c (parse_robots): Fixed an off-by-one bug when looking for
9338         ':'.
9339
9340         * html.c (htmlfindurl): Fixed several possible off-by-one bugs by
9341         moving `bufsize &&' to the beginning of each check in for-loops.
9342
9343         * recur.c (parse_robots): Close fp on exit.
9344
9345         * url.c (mymkdir): Check for each directory before creating.
9346
9347 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
9348
9349         * version.c: Changed version to 1.4b28.
9350
9351 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
9352
9353         * version.c: "Released" 1.4b27.
9354
9355         * init.c (parse_line): Use isspace.
9356         (parse_line): Free *com on all errors.
9357
9358         * ftp.c (ftp_loop): Change FTPOK to RETROK before exiting.
9359         (delelement): Use next instead of f->next and prev instead of
9360         f->prev.
9361         (delelement): Free the members of the deleted element.
9362
9363         * http.c (http_loop): Do not return RETROK on code != 20x.
9364
9365         * init.c (cleanup): Free opt.user_header.
9366         (cleanup): Free opt.domains.
9367
9368         * url.c (freelists): Moved to cleanup().
9369
9370         * http.c (hparsestatline): Docfix.
9371
9372         * main.c (main): Return with error status on unsuccesful
9373         retrieval.
9374
9375         * init.c (setval): Do not remove listing when mirroring.
9376
9377         * url.c (url_filename): Use opt.fileprefix.
9378
9379         * ftp.c (ftp_get_listing): Use url_filename to get filename for
9380         .listing.
9381
9382         * main.c (main): New option: -rn.
9383
9384 1996-10-15  Hrvoje Niksic  <hniksic@srce.hr>
9385
9386         * Makefile.in (RM): Added RM = rm -f.
9387
9388         * host.c (clean_hosts): New function.
9389         (free_hlist): Just free the list, no reset.
9390
9391         * version.c: Changed version to 1.4b27.
9392
9393 1996-10-13  Hrvoje Niksic  <hniksic@srce.hr>
9394
9395         * version.c: "Released" 1.4b26.
9396
9397         * retr.c (retrieve_from_file): If call get_urls_html with
9398         opt.spider to make it silent in spider mode.
9399
9400         * url.c (str_url): Use CLEANDUP instead of URL_CLEANSE.
9401
9402         * url.h (CLEANDUP): New macro.
9403
9404         * http.c (gethttp): Fixed a bug that freed location only when it
9405         was NULL.
9406
9407         * retr.c (retrieve_url): Free url if it will not be stored,
9408         i.e. newloc is NULL.
9409
9410         * html.c (htmlfindurl): Handle exiting from quotes correctly; the
9411         old version would bug out on <a href="x#a"href="y">.
9412
9413         * html.h (state_t): New member in_quote.
9414
9415         * html.c (htmlfindurl): Free s->attr at the beginning of
9416         attr-loop.
9417
9418         * recur.c (recursive_retrieve): Recognize RCLEANUP.
9419         (tried_robots): Make hosts a global variable.
9420         (recursive_retrieve): Free constr after URL host optimization.
9421         (tried_robots): Free urlinfo before exiting.
9422
9423         * utils.c (free_slist): New function.
9424
9425         * recur.c (recursive_retrieve): Use flags to add cleanup
9426         possibility.
9427
9428         * main.c (main): Free filename after recursive_retrieve.
9429
9430         * http.c (gethttp): Store successful responses too.
9431
9432 1996-10-12  Hrvoje Niksic  <hniksic@srce.hr>
9433
9434         * all: Constified the whole source.  This required some minor
9435         changes in many functions in url.c, possibly introducing bugs -- I
9436         hope not.
9437
9438         * ftp-basic.c: Removed last_respline.
9439
9440         * http.c (gethttp): Free type.
9441
9442         * host.c (same_host): Free real1 and real2.
9443
9444         * main.c (main): New option --spider.
9445
9446         * retr.c (get_contents): Don't reset errno.
9447
9448         * main.c (main): Sorted the options.
9449
9450         * connect.c (iread): Set errno to ETIMEDOUT only if it was left
9451         uninitialized by select().
9452
9453         * http.c (http_loop): Print the time when the connection is
9454         closed.
9455         (gethttp): Debug-print the HTTP request.
9456
9457 1996-10-11  Hrvoje Niksic  <hniksic@srce.hr>
9458
9459         * connect.c (iread): Do not try reading after timeout.
9460
9461         * main.c (main): Would bug out on -T.
9462
9463         * connect.c (select_fd): Do not use exceptfds.
9464         (iread): Set ETIMEDOUT on select_fd <= 0.
9465
9466         * version.c: Changed version to 1.4b26.
9467
9468 1996-10-10  Hrvoje Niksic  <hniksic@srce.hr>
9469
9470         * version.c: "Released" 1.4b25.
9471
9472         * ftp-unix.c (ftp_parse_unix_ls): Ignore lines without file name
9473         or link name.
9474
9475         * http.c (gethttp): Add errcode to struct hstat.
9476         (http_loop): Use it.
9477
9478         * url.c (no_proxy_match): Simplify using char** for no_proxy.
9479
9480         * options.h (struct options): Make opt.no_proxy a vector.
9481
9482         * utils.c (sepstring): Use !*s instead of !strlen(s).
9483
9484         * init.c (setval): Set opt.maxreclevel to 0 on --mirror.
9485         (getperms): Use ISODIGIT instead of isdigit.
9486
9487         * ftp.c (getftp): Print time.
9488
9489         * main.c (main): Use legible output of downloaded quantity.
9490
9491         * ftp.c (getftp): Use elapsed_time().
9492         (ftp_loop_internal): Use rate().
9493
9494         * http.c (http_loop): Add download ratio output; Use rate().
9495
9496         * utils.c (rate): New function.
9497
9498 1996-10-09  Hrvoje Niksic  <hniksic@srce.hr>
9499
9500         * http.c (http_loop): Use timer.
9501
9502         * ftp.c: Split to ftp-basic.c and ftp.c
9503
9504         * utils.c (reset_timer): New function.
9505         (elapsed_time): New function.
9506
9507         * retr.c (show_progress): Make bytes_in_line and offs long; should
9508         work on 16-bit machines.
9509
9510 1996-10-08  Hrvoje Niksic  <hniksic@srce.hr>
9511
9512         * url.c (in_acclist): New argument backward.
9513
9514         * ftp.c (ftp_retrieve_glob): Use acceptable() to determine whether
9515         a file should be retrieved according to suffix.
9516         (ftp_get_listing): Check the return value of unlink; Do not call
9517         ftp_retrieve_dirs if depth reached maxreclevel.
9518         (ftp_retrieve_dirs): Check whether the directory is in
9519         exclude-list.
9520
9521         * main.c (main): Print the version number at the beginning of
9522         DEBUG output.
9523         (main): Use strrchr when creating exec_name.
9524
9525         * ftp.c (ftp_retrieve_glob): Do not close control connection.
9526
9527         * version.c: Changed version to 1.4b25.
9528
9529 1996-10-07  Hrvoje Niksic  <hniksic@srce.hr>
9530
9531         * version.c: "Released" 1.4b24.
9532
9533         * Makefile.in: Rewrite.
9534
9535         * ftp.c (ftp_loop_internal): Likewise.
9536
9537         * retr.c (time_str): Check for failed time().
9538
9539         * html.c (htmlfindurl): Recognize <fig src> and <overlay src> from
9540         HTML3.0.
9541
9542         * retr.c (time_str): Return time_t *.
9543
9544         * connect.c (bindport): Close msock on unsuccesful bind.
9545         (bindport): The same for getsockname and listen.
9546
9547         * retr.c (retrieve_url): Allow any number of retries on
9548         proxy.
9549
9550         * http.c (gethttp): Do not treat errno == 0 as timeout.
9551         (http_loop): Likewise.
9552         (http_loop): Cosmetic changes.
9553
9554         * connect.c (iread): Set errno to ETIMEDOUT in case of timeout.
9555
9556         * retr.c (get_contents): Reset errno.
9557
9558         * ftp.c (getftp): Minor fixes.
9559
9560 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
9561
9562         * http.c: Do not use backups.
9563
9564         * geturl.1 (WARNING): Warn that man-page could be obsolete.
9565
9566         * getopt.c (getopt_long): Moved to getopt.c
9567
9568         * geturl.texi: Enhanced.
9569
9570         * main.c (main): Use it.
9571
9572         * recur.c (convert_all_links): New function.
9573
9574         * utils.c (add_slist): New argument flags.
9575
9576         * recur.c (recursive_retrieve): Update a list of downloaded URLs.
9577         (parse_robots): Do not chuck out empty value fields.
9578         (parse_robots): Make yourself welcome on empty Disallow.
9579
9580         * version.c: Changed version to 1.4b24.
9581
9582 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
9583
9584         * version.c: "Released" 1.4b23.
9585
9586         * ftp.c (ftp_loop_internal): Get the time after getftp.
9587
9588         * Makefile.in (install.info): New target.
9589         (install): Use it.
9590
9591         * http.c (http_loop): Fix output when doing -O.
9592
9593 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
9594
9595         * geturl.texi: New file.
9596
9597         * main.c (main): Do not print the warnings and download summary if
9598         opt.quiet is set.
9599
9600         * version.c: Changed version to 1.4b23.
9601
9602 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
9603
9604         * "Released" 1.4b22.
9605
9606         * atotm.c (atotm): Use True and False instead of TRUE and FALSE,
9607         to avoid redefinition warnings.
9608
9609         * host.c (store_hostaddress): Use memcpy() to copy the address
9610         returned by inet_addr.
9611
9612         * version.c: Changed version to 1.4b22.
9613
9614 1996-10-04  Hrvoje Niksic  <hniksic@srce.hr>
9615
9616         * version.c: "Released" 1.4b21.
9617
9618         * ftp-unix.c (ftp_parse_ls): Renamed to ftp_parse_unix_ls.
9619
9620         * ftp.c (ftp_port): Use conaddr.
9621         (getftp): Print the file length.
9622         (ftp_retrieve_list): Check the stamps of plain files only.
9623
9624         * connect.c (closeport): Do not call shutdown().
9625         (conaddr): New function.
9626
9627         * html.c (ftp_index): Made it dfp-aware.
9628
9629         * init.c (cleanup): New name of freemem. Close opt.dfp.
9630
9631         * ftp.c (getftp): Use opt.dfp if it is set.
9632
9633         * ftp-unix.c (ftp_parse_ls): Recognize time in h:mm format.
9634
9635         * ftp.c (ftp_retrieve_dirs): Fixed a bug that caused incorrect
9636         CWDs to be sent with recursive FTP retrievals.
9637
9638 1996-10-03  Hrvoje Niksic  <hniksic@srce.hr>
9639
9640         * recur.c (parse_robots): Made it more compliant with "official"
9641         specifications.
9642
9643         * http.c: New function.
9644
9645         * ftp-unix.c (ftp_parse_ls): Added better debug output.
9646
9647         * ftp.c (getftp): Print out the LIST in case of
9648         opt.print_server_response.
9649
9650         * version.c: Changed version to 1.4b21.
9651
9652 1996-10-01  Hrvoje Niksic  <hniksic@srce.hr>
9653
9654         * version.c: "Released" 1.4b20.
9655
9656         * README: Update.
9657
9658         * http.c (gethttp): Preset lengths of various headers instead of
9659         calculating them dynamically.
9660         (gethttp): Check for 206 partial contents.
9661
9662 1996-09-30  Hrvoje Niksic  <hniksic@srce.hr>
9663
9664         * configure.in: Set SYSTEM_GETURLRC to $libdir/geturlrc
9665
9666         * http.c (gethttp): Send the port number in the Host: header.
9667
9668 1996-09-29  Hrvoje Niksic  <hniksic@srce.hr>
9669
9670         * http.c (gethttp): Send host: header.
9671         (gethttp): Add the possibility of user-defined headers.
9672         (gethttp): Move decision about pragma: no-cache to http_loop,
9673         where it belongs.
9674         (gethttp): Pass a struct instead of enormous argument list.
9675         (http_loop): Use a new, fancier display format.
9676         (ftp_loop): Likewise.
9677
9678         * main.c: (hangup): Turn off buffering of the new log file.
9679
9680         * install-sh: Likewise.
9681
9682         * config.sub: Replace with the one in autoconf-2.10
9683
9684         * geturl.1: Update.
9685
9686         * init.c: New options httpuser and httppasswd.
9687
9688         * http.c: (base64_encode_line): New function.
9689         (gethttp): Send authentication.
9690
9691         * connect.c (make_connection): Use store_hostaddress.
9692
9693 1996-09-28  Hrvoje Niksic  <hniksic@srce.hr>
9694
9695         * host.c (store_hostaddress): New function.
9696
9697         * NEWS: Update.
9698
9699         * http.c (hgetrange): New function.
9700         (gethttp): Use ranges.
9701
9702         * utils.c (numdigit): Accept long instead of int.
9703
9704         * http.c (http_loop): Add restart capabilities.
9705
9706         * ftp.c (ftp_retrieve_glob): Fixed a bug that could cause matchres
9707         being used uninitialized.
9708         (ftp_retrieve_list): Similar fix.
9709
9710         * host.c (add_hlist): Fixed a bug that could cause cmp being used
9711         uninitialized.
9712
9713         * url.c (construct_relative): New function.
9714
9715         * recur.c (recursive_retrieve): Use it.
9716
9717         * retr.c (convert_links): New function.
9718
9719 1996-09-27  Hrvoje Niksic  <hniksic@srce.hr>
9720
9721         * url.c (free_urlpos): New function.
9722
9723         * recur.c (recursive_retrieve): Adapt.
9724
9725         * url.c (get_urls_html): Return a linked list instead of a vector.
9726
9727         * url.c (get_urls_file): Return a linked list instead of a vector.
9728
9729         * geturl.1: Update.
9730
9731         * http.c (gethttp): Implement it.
9732
9733         * init.c (setval): New option: SAVEHEADERS
9734
9735         * ftp.c (ftp_loop_internal): Do not set restval if listing is to
9736         be retrieved. Lack of this test caused bugs when the connection
9737         was lost during listing.
9738
9739         * retr.c (retrieve_url): Fixed a bug that caused
9740         coredumps. *newloc is now reset by default.
9741         (retrieve_url): Lift the twenty-tries limit on proxies.
9742
9743         * version.c: Changed version to 1.4b20.
9744
9745 1996-09-20  Hrvoje Niksic  <hniksic@srce.hr>
9746
9747         * version.c: "Released" 1.4b19.
9748
9749 1996-09-19  Hrvoje Niksic  <hniksic@srce.hr>
9750
9751         * ftp.c (ftp_loop_internal): Renamed from ftp_1fl_loop.
9752         (getftp): Changed prototype to accept ccon *.
9753
9754 1996-09-17  Hrvoje Niksic  <hniksic@srce.hr>
9755
9756         * ftp.c (ftp_retrieve_list): Fixed a bug that caused setting
9757         incorrect values to files pointed to by symbolic links.
9758         (ftp_1fl_loop): Do not count listings among the downloaded URL-s.
9759
9760 1996-09-16  Hrvoje Niksic  <hniksic@srce.hr>
9761
9762         * url.c (mkstruct): Do not prepend "./" in front of a pathname.
9763
9764         * main.c (main): New option: --user-agent.
9765
9766         * geturl.1: Ditto.
9767
9768         * init.h: Ditto.
9769
9770         * init.c (setval): Ditto.
9771
9772         * main.c (main): Rename "server-headers" to "server-response".
9773
9774         * ftp-unix.c (ftp_parse_ls): Check for asterisks at the end of
9775         executables in 'ls -F' listings.
9776
9777 1996-09-15  Hrvoje Niksic  <hniksic@srce.hr>
9778
9779         * url.c (parseurl): Remove realloc() and sprintf().
9780         (str_url): Get rid of sprintf().
9781
9782         * recur.c (recursive_retrieve): Enable FTP recursion through proxy
9783         servers.
9784
9785         * url.h (URL_CLEANSE): Made it else-resistant.
9786         (USE_PROXY): New macro.
9787
9788 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
9789
9790         * NEWS: Update.
9791
9792         * version.c: Changed version to 1.4b19.
9793
9794 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
9795
9796         * version.c: "Released" 1.4b18.
9797
9798         * url.c: Made it reallocate space exponentially.
9799
9800 1996-09-14  Drazen Kacar  <dave@fly.cc.fer.hr>
9801
9802         * html.c (htmlfindurl): Added <frame src> and <iframe src> among
9803         the list of stuff to fetch.
9804
9805 1996-09-13  Hrvoje Niksic  <hniksic@srce.hr>
9806
9807         * url.c (get_urls_html): Fixed a bug that caused SIGSEGV's with
9808         -Fi.
9809
9810         * html.c (htmlfindurl): Rewrite.
9811
9812         * http.c (gethttp): Use opt.proxy_cache.
9813
9814         * main.c (main): Added --cache option.
9815
9816         * ftp.c (ftp_response): Print server response if opt.print_server
9817         response is set.
9818         (getftp): Print newlines after each request if the server response
9819         is to be printed.
9820         (ftp_response): Copy the last response line to last_respline.
9821
9822         * http.c (gethttp): Add Pragma: nocache for retried
9823         proxy-retrievals.
9824
9825         * ftp.c (getftp): Use it.
9826
9827         * retr.c (buf_discard): New function.
9828
9829         * ftp.c (ftp_response): Use buf_readchar().
9830         (getftp): Flush the control connection buffer before calling
9831         get_contents().
9832
9833         * retr.c (buf_readchar): New function.
9834         (buf_flush): New function.
9835         (get_contents): Use buf_readchar() instead of read(x, x, 1).
9836         (get_contents): Use buf_flush.
9837
9838 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
9839
9840         * ftp.c: Incorporate changes to ftp_response.
9841
9842         * ftp.c (ftp_response): Allocate the server response dynamically,
9843         as in read_whole_line and fetch_next_header.
9844
9845         * utils.c (read_whole_line): Fixed a bug that prevented reading
9846         the last line if it is not \n-terminated. Also fixed a possible
9847         memory overflow.
9848
9849         * http.c (fetch_next_header): Return malloc-ed string as large as
9850         needed.
9851         (gethttp): Use new fetch_next_header.
9852
9853 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
9854
9855         * http.c (hgetlen): Compute the header length the first time only.
9856         (hgettype): Ditto.
9857         (hgetlocation): Ditto.
9858         (hgetmodified): Ditto.
9859
9860 1996-09-11  Hrvoje Niksic  <hniksic@srce.hr>
9861
9862         * sample.geturlrc: Update.
9863
9864 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
9865
9866         * http.c (http_loop): Ditto.
9867
9868         * ftp.c (getftp): Open the output file as binary.
9869
9870         * version.c: Changed version to 1.4b18.
9871
9872 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
9873
9874         * version.c: "Released" 1.4b17.
9875
9876         * ftp-unix.c (ftp_parse_ls): If unable to open file, return NULL
9877         instead of failed assertion.
9878
9879 1996-09-09  Hrvoje Niksic  <hniksic@srce.hr>
9880
9881         * ftp.c (ftp_get_listing): Add a numbered suffix to LIST_FILENAME
9882         if a file of that name already exists.
9883
9884 1996-09-05  Hrvoje Niksic  <hniksic@srce.hr>
9885
9886         * ftp.c (ftp_1fl_loop): Handler FTPPORTERR and FOPENERR correctly.
9887
9888         * config.h.in: Define gethostbyname as Rgethostbyname when using
9889         Socks.
9890
9891         * configure.in: Check for -lresolv if using Socks.
9892
9893         * version.c: Changed version to 1.4b17.
9894
9895 1996-07-15  Hrvoje Niksic  <hniksic@srce.hr>
9896
9897         * version.c: "Released" 1.4b16.
9898
9899         * http.c (gethttp): More intelligent check for first line of HTTP
9900         response.
9901         (gethttp): Would bug out on time-stamping.
9902
9903         * version.c: Changed version to 1.4b16.
9904
9905 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
9906
9907         * version.c: Released 1.4b15.
9908
9909         * http.c (http_loop): Print \n after the loop entry, not before.
9910
9911         * url.c (url_filename): Use ISDOT.
9912
9913         * url.h (ISDOT): New macro.
9914
9915         * recur.c (recursive_retrieve): Change only opt.recursive for
9916         following FTP.
9917
9918 1996-07-11  Antonio Rosella <antonio.rosella@agip.it>
9919
9920         * socks/geturl.cgi: Fixed version No.
9921
9922         * socks/download-netscape.html: Ditto.
9923
9924         * socks/download.html: Changed socks.html to download.html.
9925
9926 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
9927
9928         * url.c (url_filename): Check for opt.dirstruct instead for
9929         opt.recursive && opt.dirstruct.
9930
9931         * init.c (defaults): Ditto.
9932         (defaults): Reset dirstruct by default.
9933         (setval): Set opt.dirstruct whenever setting recursive.
9934
9935         * init.h: Removed FORCEDIRHIER.
9936
9937         * INSTALL: Added -L to socks-description.
9938
9939         * version.c: Changed version to 1.4b15.
9940
9941 1996-07-10  Hrvoje Niksic  <hniksic@srce.hr>
9942
9943         * version.c: "Released" 1.4b14.
9944
9945         * geturl.1: Update AUTHOR to include Rosella as contributor.
9946
9947         * NEWS: Update.
9948
9949         * socks/geturl.cgi: Simplified command creation, nuked <blink>.
9950
9951         * socks/geturl.cgi: Wrap nutscape extensions within if $netscape.
9952         (cal_time): Fix == to eq.
9953
9954         * socks/geturl.cgi: GPL-ized with permission of A. Rosella.
9955
9956         * geturl.1 (hostname): Moved URL CONVENTIONS to the beginning.
9957
9958         * Makefile.in: Use @VERSION@.
9959
9960         * configure.in: Check version from version.c.
9961
9962         * socks/geturl.cgi: Changed /pub/bin/perl to /usr/bin/perl.
9963
9964         * socks/download.html: Created from download-netscape.html, made
9965         HTML-2.0 compliant.
9966
9967         * recur.c (recursive_retrieve): Set opt.force_dir_hier when
9968         following FTP links from recursions.
9969
9970 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
9971
9972         * url.c (mymkdir): Fixed a bug that prevented mymkdir() to create
9973         absolute directories correctly.
9974
9975         * version.c: Changed version to 1.4b14.
9976
9977 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
9978
9979         * version.c: "Released" 1.4b13.
9980
9981         * url.c (make_backup): New function.
9982
9983         * http.c (http_loop): Make a backup copy of the local file (using
9984         rename(2)) before opening it.
9985
9986         * main.c (main): Added --backups.
9987
9988         * host.c (ftp_getaddress): Bail out on failed mycuserid().
9989         (ftp_getaddress): Check for leading dot on MY_DOMAIN.
9990         (ftp_getaddress): Check for empty, null or (null) domain.
9991
9992         * url.c (get_urls_html): If this_url is NULL, the base must have a
9993         protocol.
9994         (parseurl): Use has_proto.
9995
9996         * retr.c (retrieve_url): Warn when proxy is used with more than 20
9997         retries.
9998
9999         * url.c (mkstruct): Create the directory (calling mymkdir()) only
10000         if it is not already there.
10001         (has_proto): New function.
10002         (get_urls_html): Eliminate the remaining call to findurl -- use
10003         has_proto.
10004
10005         * geturl.1: Ditto.
10006
10007         * main.c: Change -X to -x.
10008
10009         * url.c (url_filename): Simplify creation of filename if
10010         prefix_files is set.
10011         (url_filename): Simplify everything. And I do mean *everything*.
10012         (mkstruct): Add dir_prefix before hostname.
10013         (path_simplify): Fixed a bug that caused writing outside the path
10014         string in case of "." and ".." path strings.
10015
10016 1996-07-06  Hrvoje Niksic  <hniksic@srce.hr>
10017
10018         * init.c: Added --mirror.
10019
10020         * main.c (main): Added -X to force saving of directory hierarchy.
10021
10022         * ftp.c (ftp_retrieve_list): Added recursion depth counter.
10023         (ftp_retrieve_list): Check whether quota is exceeded.
10024
10025         * url.c (get_urls_html): Skip leading blanks for absolute URIs.
10026
10027         * http.c (gethttp): Use referer if present.
10028
10029         * recur.c (recursive_retrieve): Set u->referer before calling
10030         retrieve_url.
10031
10032         * url.c (newurl): Use memset to nullify the struct members.
10033         (freeurl): Free the referer field too.
10034
10035         * url.h: Added referer to urlinfo.
10036
10037         * geturl.1: Updated the manual to document some of the new features.
10038
10039         * utils.c (numdigit): Moved from url.c.
10040
10041         * README: Rewritten.
10042
10043         * config.h.in: Add the support for socks.
10044
10045         * configure.in: Add the support for socks.
10046
10047         * url.c (url_filename): If the dir_prefix is ".", work with just
10048         the file name.
10049         (url_filename): Do not look for .n extensions if timestamping if
10050         turned on.
10051
10052         * retr.c (show_progress): Skip the over-abundant restval data, and
10053         print the rest of it with ',' instead of '.'.
10054
10055 1996-07-05  Hrvoje Niksic  <hniksic@srce.hr>
10056
10057         * retr.c (show_progress): Changed second arg. to long (as it
10058         should be).
10059         (show_progress): Moved to retr.c.
10060         (get_contents): Moved to retr.c.
10061
10062         * version.c: Change version to 1.4b13.
10063
10064 1996-07-05  Hrvoje Lacko <hlacko@fly.cc.fer.hr>
10065
10066         * url.c (in_acclist): Would return after the first suffix.
10067
10068 1996-07-04  Hrvoje Niksic  <hniksic@srce.hr>
10069
10070         * version.c: "Released" 1.4b12.
10071
10072         * url.c (path_simplify): More kludgifications.
10073         (get_urls_html): Use new parameters for htmlfindurl.
10074
10075         * html.c: Removed memorizing "parser states", since the new
10076         organization does not require them.
10077
10078         * init.c (run_geturlrc): Use read_whole_line.
10079
10080         * ftp-unix.c (ftp_parse_ls): Use read_whole_line.
10081
10082         * recur.c (parse_robots): Use read_whole_line.
10083
10084         * utils.c (read_whole_line): New function.
10085
10086         * recur.c (tried_robots): Use add_slist/in_slist, *much* cleaner.
10087
10088         * host.c (ngethostbyname): Call inet_addr just once. Yet to be
10089         tested on OSF and Ultrix.
10090         (add_hlist): New function.
10091         (free_hlist): New function.
10092         (search_host): New function.
10093         (search_address): New function.
10094         (realhost): Use search_host, search_address and add_hlist.
10095         (same_host): Replaced realloc() with strdupdelim(), made
10096         case-insensitive, fixed a memory leak.
10097
10098         * html.c (ftp_index): Fixed tm_min and tm_sec to be tm_hour and
10099         tm_min, like intended.
10100
10101         * version.c: Change user agent information to
10102         Geturl/version.
10103
10104 1996-07-03  Hrvoje Niksic  <hniksic@srce.hr>
10105
10106         * utils.c: Renamed nmalloc.c to utils.c, .h likewise.
10107
10108         * url.c (acceptable): Always accept directories.
10109
10110         * ftp-unix.c (ftp_parse_ls): Support brain-damaged "ls -F"-loving
10111         servers by stripping trailing @ from symlinks and trailing / from
10112         directories.
10113
10114         * ftp.c (ftp_loop): Debugged the "enhanced" heuristics. :-)
10115
10116         * url.c (skip_url): Use toupper instead of UCASE.
10117
10118         * host.c (sufmatch): Made it case-insensitive.
10119
10120         * url.c (match_backwards_or_pattern): Fixed i == -1 to j == -1.
10121         (match_backwards): New function, instead of
10122         match_backwards_or_pattern.
10123
10124         * recur.c (recursive_retrieve): Increased performance by
10125         introducing inl, which reduces number of calls to in_slist to only
10126         one.
10127
10128         * ftp.c (ftp_loop): Enhanced the heuristics that decides which
10129         routine to use.
10130
10131         * main.c (printhelp): Removed the warranty stuff.
10132
10133 1996-07-02  Hrvoje Niksic  <hniksic@srce.hr>
10134
10135         * url.c (add_slist): Simplify.
10136         (match_backwards_or_pattern): New function.
10137         (in_acclist): Use match_backwards_or_pattern.
10138         (matches): Remove.
10139
10140 1996-06-30  Hrvoje Niksic  <hniksic@srce.hr>
10141
10142         * ftp.c (ftp_loop): Call ftp_index on empty file names, if not
10143         recursive.
10144
10145         * html.c (ftp_index): Fixed to work. Beautified the output.
10146
10147         * ftp.c (ftp_retrieve_glob): Another argument to control whether
10148         globbing is to be used.
10149         (ftp_retrieve_list): Compare the time-stamps of local and remote
10150         files to determine whether to download.
10151
10152 1996-06-29  Hrvoje Niksic  <hniksic@srce.hr>
10153
10154         * ftp.c (rel_constr): New function.
10155
10156         * retr.c (retrieve_from_file): Check for text/html before
10157         retrieving recursively.
10158
10159         * main.c (main): Check whether the file is HTML before going into
10160         recursive HTML retrieving.
10161
10162         * ftp.c (ftp_retrieve_list): Manage directories.
10163         (ftp_retrieve_glob): Pass all the file-types to ftp_retrieve_list.
10164         (ftp_1fl_loop): Fixed a bug that caused con->com to be incorrectly
10165         initialized, causing bugchecks in getftp to fail.
10166
10167         * configure.in: Check for symlink.
10168
10169         * ftp.c (ftp_retrieve_list): Added support for symlinks.
10170
10171         * version.c: "Released" 1.4b10.
10172
10173         * atotm.c (atotm): Redeclared as time_t.
10174
10175         * init.c: New variable "timestamping".
10176
10177         * main.c (main): New option 'N'.
10178
10179         * http.c (hgetlocation): Case-insensitive match.
10180         (hgetmodified): New function.
10181         (http_loop): Implement time-stamping.
10182
10183 1996-06-28  Hrvoje Niksic  <hniksic@srce.hr>
10184
10185         * version.c: Changed version to 1.4b10
10186
10187         * atotm.c: New file, from phttpd.
10188
10189         * options.h (struct options): New parameter timestamping.
10190
10191         * version.c: 1.4b9 "released".
10192
10193         * recur.c (recursive_retrieve): Used linked list (ulist) for
10194         faster storing of URLs.
10195
10196         * url.c (get_urls_html): Removed the old kludge with comparing the
10197         outputs of htmlfindurl and findurl.
10198         (get_urls_html): Added better protocol support here.
10199         (create_hash): Removed, as well as add_hash and in_hash.
10200         (addslist): New function.
10201         (in_slist): ditto
10202
10203         * version.c: Released 1.4b8, changed version to b9.
10204
10205 1996-06-27  Hrvoje Niksic  <hniksic@srce.hr>
10206
10207         * ftp.c (freefileinfo): New function.
10208         (delelement): New function.
10209
10210         * everywhere: GPL!
10211
10212         * ftp.c (ftp_loop): Use ccon.
10213         (ftp_retrieve_glob): Likewise.
10214
10215         * ftp.h: Define ccon, to define status of control connection.
10216
10217         * ftp.c (ftp_get_listing): New function.
10218         (ftp_retrieve_more): New function.
10219         (ftp_retrieve_glob): New function.
10220
10221 1996-06-25  Hrvoje Niksic  <hniksic@srce.hr>
10222
10223         * configure.in: Removed the search for cuserid().
10224
10225         * init.c (getmode): Renamed to getperms.
10226
10227 1996-06-24  Hrvoje Niksic  <hniksic@srce.hr>
10228
10229         * version.c: New version.
10230
10231         * main.c (hangup): New function, that handles hangup. Hangup
10232         signal now causes geturl to stop writing on stdout, and to write
10233         to a log file.
10234
10235         * ftp.c (getftp): "Released" 1.4b7.
10236
10237         * html.c (htmlfindurl): Ignore everything inside <head>...</head>.
10238         (ftp_index): Use fileinfo/urlinfo.
10239
10240         * ftp-unix.c (ftp_parse_ls): New function.
10241         (symperms): New function.
10242
10243         * ftp.c (ftp_1fl_loop): New function, to handle 1-file loops.
10244
10245         * retr.c (retrieve_url): Added FTP support.
10246
10247 1996-06-23  Hrvoje Niksic  <hniksic@srce.hr>
10248
10249         * geturl.h: Removed NOTFTP2HTML enum.
10250         Added DO_LOGIN, DO_CWD and DO_LIST. LIST_ONLY is obsolete.
10251
10252         * ftp.c (getftp): Resynched with urlinfo.
10253         (getftp): Removed HMTL-ization of index.html from getftp.
10254
10255         * version.c: 1.4b6 "released".
10256
10257         * options.h (options): New struct, to keep options in.
10258
10259         * http.c (http_loop,gethttp): Synched with proxy.
10260
10261         * retr.c (retrieve_url): Implemented proxy retrieval.
10262
10263         * main.c (main): Use retrieve_from_file.
10264
10265 1996-06-22  Hrvoje Niksic  <hniksic@srce.hr>
10266
10267         * retr.c (retrieve_from_file): New function.
10268
10269         * url.c (parseurl): Modified to return URLOK if all OK. Protocol
10270         can be found in u->proto.
10271
10272         * ftp.c (ftp_response): Fixed to accept multi-line responses as
10273         per RFC 959.
10274
10275         * recr.c (recursive_retrieve): Take newloc from retrieve_url.
10276
10277         * url.c (mymkdir): Removed the file of the same name, if one
10278         exists.
10279         (isfile): New function.
10280         (mkstruct): Fixed the '/' glitches.
10281         (path_simplify): Hacked to treat something/.. correctly.
10282
10283 1996-06-21  Hrvoje Niksic  <hniksic@srce.hr>
10284
10285         * http.c (gethttp): Close the socket after error in headers.
10286         (http_loop): HEOF no longer a fatal header.
10287
10288         * loop.c (retrieve_url): When dt is NULL, do not modify it. This
10289         simplifies the syntax of calling retrieve_url.
10290
10291         * recr.c (recursive_retrieve): Modified to use get_urls_html.
10292
10293         * url.c (get_urls_file): New function.
10294         (get_urls_html): New function.
10295
10296         * recr.c (recursive_retrieve): Patched up to conform to the
10297         standards.
10298
10299         * http.c (gethttp): Synched with the rest...
10300         (gethttp): Treat only CONREFUSED specially, with connection
10301         errors.
10302
10303         * init.c,geturl.1,http.c (http_loop): Removed kill_error.
10304
10305 1996-06-20  Hrvoje Niksic  <hniksic@srce.hr>
10306
10307         * http.c (http_loop): New function.
10308
10309         * loop.c: Removed *lots* of stuff from retrieve_url.
10310
10311         * url.c (parseurl): Changed to work with urlinfo. Integrated
10312         username finding and path parsing.
10313         (newurl): New function.
10314         (freeurl): New function.
10315         (mkstruct): Removed the old bogosities, made it urlinfo-compliant.
10316         (url_filename): Likewise.
10317         (path_simplify): Accept relative paths too.
10318         (opt_url): Made urlinfo-compliant, removed bogosities.
10319         (path_simplify): Expanded to accept relative paths.
10320         (str_url): A replacement for hide_url
10321         (decode_string): Fixed a bug that caused malfunctioning when
10322         encountering an illegal %.. combination.
10323         (opt_url): Removed the argument. Dot-optimizations are now default.
10324
10325         * nmalloc.c (strdupdelim): New function.
10326
10327         * url.h: Added the urlinfo structure
10328
10329 1996-06-19  Hrvoje Niksic  <hniksic@srce.hr>
10330
10331         * url.c (hide_url): Thrown out the protocol assertion. Do not
10332         change the URL if the protocol if not recognized.
10333         (findurl): Put continue instead of break.
10334
10335 1996-06-18  Hrvoje Niksic  <hniksic@srce.hr>
10336
10337         * sample.geturlrc: Changed the defaults to be commented out and
10338         harmless (previous defaults caused pains if copied to
10339         ~/.geturlrc).
10340
10341         * http.c (gethttp): Print the HTTP request in debug mode.
10342
10343         * connect.c (iread): Added EINTR check loop to select-ing
10344         too. EINTR is now correctly handled with select().
10345
10346         * TODO: new file
10347
10348 1996-05-07  Hrvoje Niksic  <hniksic@srce.hr>
10349
10350         * host.c (same_host): Made the function a little bit more
10351         intelligent regarding diversified URL syntaxes.
10352
10353         * url.c (skip_url): Spaces are now skipped after URL:
10354
10355         * Released 1.3.1 with the patch to prevent crashing when sending
10356         NULL to robot* functions and the patch to compile "out of the box"
10357         on AIX.
10358
10359         * recr.c (recursive_retrieve): Added checking whether this_url is
10360         NULL when calling the robot functions.
10361
10362         * ChangeLog: New file.