]> sjero.net Git - wget/blob - src/ChangeLog
[svn] Fixed a number of bugs in snprintf.c.
[wget] / src / ChangeLog
1 2005-04-16  Hrvoje Niksic  <hniksic@xemacs.org>
2
3         * snprintf.c: Use the PARAMS macro to handle prototypes.  Write
4         function definitions in the ansi2knr-friendly way.
5         (fmtstr): If string precision is specified, don't read VALUE past
6         it.
7         (dopr): Actually print %g and %e formats.
8         (fmtfp): Fix a bug that caused 0.01 to be printed as 0.1.
9         (fmtfp): Use LLONG in floating point conversions to be able to
10         convert more digits.
11         (fmtfp): Interpret precision as number of significant digits with
12         %g.
13         (fmtfp): Omit trailing decimal zeros with %g.
14
15         * snprintf.c: Don't include <ctype.h> because none of it is used.
16         Include strings.h/string.h, as per Autoconf.
17
18 2005-04-15  Hrvoje Niksic  <hniksic@xemacs.org>
19
20         * ptimer.c: Use _POSIX_TIMERS - 0 > 0, which handles the case when
21         _POSIX_TIMERS is defined but empty, as well as the case when it is
22         undefined.  Do the same with the check for _POSIX_MONOTONIC_CLOCK.
23         Suggested by Larry Jones.
24
25 2005-04-15  Hrvoje Niksic  <hniksic@xemacs.org>
26
27         * ptimer.c: Check that _POSIX_TIMERS is defined as well as > 0.
28         Problem reported by Steven M. Schweda.
29
30 2005-04-14  Hrvoje Niksic  <hniksic@xemacs.org>
31
32         * http.c (skip_short_body): Print the skipped body data in debug
33         mode.
34         (skip_short_body): Don't skip more than 4k of body data.
35         (skip_short_body): Return whether the skipping was successful.
36         (gethttp): If skip_short_body failed, invalidate the connection.
37
38 2005-04-12  Gisle Vanem  <giva@bgnett.no>
39
40         * ftp.c (getftp): Ditto.
41
42         * http.c (gethttp): Open the output file in binary mode.
43
44 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
45
46         * hash.c: Conditionalize including config.h on HAVE_CONFIG_H
47         instead of on STANDALONE.
48
49 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
50
51         * gen_sslfunc.c (ssl_print_errors): Made static.
52         (ssl_print_errors): Eliminate potentially dangerous fixed-size
53         error buffer.  Passing NULL to ERR_error_string causes it to use
54         its own static buffer, which is fine for our purposes.
55
56         * gen_sslfunc.c: Include gen_sslfunc.h.  Make the declarations of
57         ssl_init and ssl_conect match the actual definitions.
58         (ssl_connect): Simply return a boolean, the SSL context is no
59         longer useful as a return value.
60
61         * retr.c: Don't include SSL headers; we don't need them.
62
63 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
64
65         * config-post.h: Don't define _VA_LIST under Solaris; it breaks
66         compilation with GCC 3.4 under Solaris 10.  (It was defined to
67         avoid a warning with previous versions of GCC.)
68
69 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
70
71         * xmalloc.c (register_ptr): Warn the user to increase SZ prior to
72         aborting.
73
74 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
75
76         * convert.c (convert_cleanup): Free converted_files.
77
78 2005-04-10  Hrvoje Niksic  <hniksic@xemacs.org>
79
80         * wget.h (DEBUGP): Use __builtin_expect to give a hint to GCC that
81         opt.debug is false in the vast majority of cases.
82
83 2005-04-10  Hrvoje Niksic  <hniksic@xemacs.org>
84
85         * config-post.h: Declare alloca as void *, not char *.
86
87 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
88
89         * recur.c (download_child_p): When -p is used, (temporarily)
90         ignore accept/reject rules for HTMLs, even when they are at the
91         maximum recursion depth.  That is because with -p we are, if
92         necessary, overstepping the max. depth to get the requisites.
93
94 2004-06-12  Larry Jones <lawrence.jones@ugsplm.com>
95
96         * recur.c (download_child_p): Correct the logic in check number 6:
97         test opt.reclevel (not DEPTH) against INFINITE_RECURSION.
98
99 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
100
101         * url.c: Use "static const" in preference to "const static".
102         Sun's cc warns that "storage class after type is obsolescent".
103
104         * url.c (urlchr_table): Don't mark ~ as unsafe, too many broken
105         web sites are confused when ~ is changed to %7E.  Their servers
106         redirect /%7Efoo/ to /~foo/, which Wget again accesses using %7E,
107         causing further redirections, therefore looping infinitely.  See
108         Debian bug #301624 for an example.
109
110 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
111
112         * alloca.c: Include wget.h to be able to use xmalloc.  In addition
113         to defining malloc to xmalloc, also define free to xfree.
114
115 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
116
117         * http-ntlm.c (ntlm_output): Use "char", not "unsigned char" for
118         ntlmbuf.  Our base64 functions accept char anyway.
119         (ntlm_output): Join up the format string, since we nominally
120         support K&R compilers.
121         (ntlm_output): Ditto.
122
123 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
124
125         * ptimer.c: Use Windows timers under Cygwin, whose POSIX timer
126         implementation is incomplete.
127
128 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
129
130         * ptimer.c (struct ptimer): Remove the unused initialized field.
131
132         * ptimer.c: Renamed function parameters from WT (which used to
133         stand for wget_timer or wtimer) to PT.
134
135 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
136
137         * ptimer.c (posix_init): Be smarter about choosing clocks.  In
138         decreasing order of preference, use CLOCK_MONOTONIC,
139         CLOCK_HIGHRES, and CLOCK_REALTIME.
140         (ptimer_allocate): Removed.
141
142         * ptimer.c: Refactor the code by cleanly separating the
143         architecture-dependent code from the architecture-independent
144         code.
145
146 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
147
148         * ptimer.c (ptimer_init): Explicitly check that
149         _POSIX_MONOTONIC_CLOCK is *both* defined and >=0.  (Undefined
150         symbols are >=0.)
151
152 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
153
154         * ptimer.c (ptimer_diff): Fix typo affecting Windows build.
155
156 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
157
158         * ptimer.c (ptimer_init): In fact, _POSIX_MONOTONIC_CLOCK needs to
159         be >= 0.
160
161         * ptimer.c (ptimer_init): Check whether _POSIX_MONOTONIC_CLOCK is
162         defined instead of whether it's greater than 0.  glibc defines it
163         to 0, but still makes it available via sysconf.
164
165 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
166
167         * mswindows.c (str_to_int64): Rename OVERFLOW and UNDERFLOW to
168         INT64_OVERFLOW and INT64_UNDERFLOW, since those names are used.
169
170 2005-04-07  Hrvoje Niksic  <hniksic@xemacs.org>
171
172         * ptimer.c: New file.  Move the "wtimer" functions from utils.c to
173         this file and rename them to ptimer_.
174
175 2005-04-07  Hrvoje Niksic  <hniksic@xemacs.org>
176
177         * host.c (NO_ADDRESS): Define NO_ADDRESS only after the system
178         headers have been included.
179
180 2005-04-06  Hrvoje Niksic  <hniksic@xemacs.org>
181
182         * http.c (pconn): Include NTLM data, which is per-connection.
183         (known_authentication_scheme_p): Recognize NTLM authorization.
184         (create_authorization_line): Call ntlm_input and ntlm_output.
185
186         * http-ntlm.c: New file, donated by Daniel Stenberg and originally
187         written for curl, heavily modified for Wget.
188
189         * utils.c (base64_encode): Relocated from http.c, since it is now
190         used by http-ntlm.c, and will possibly be used elsewhere.
191         (base64_decode): New function, originally based on code from GNU
192         recode.
193
194 2005-04-02  Hrvoje Niksic  <hniksic@xemacs.org>
195
196         * ftp.c (ftp_loop): Ditto.
197
198         * ftp-basic.c (ftp_pasv): Use the xzero shorthand for memset(0).
199         (ftp_lpsv): Ditto.
200
201 2005-04-05  Mauro Tortonesi  <mauro@ferrara.linux.it>
202
203         * Makefile.in: removed string_t.c from list of source files.
204
205 2005-04-04  Mauro Tortonesi  <mauro@ferrara.linux.it>
206
207         * string_t.c: Removed.
208         
209         * string_t.h: Removed.
210
211 2005-04-02  Hrvoje Niksic  <hniksic@xemacs.org>
212
213         * url.c (rewrite_shorthand_url): Only accept recognized schemes.
214         That way "foo:80" will correctly be rewritten to "http://foo:80"
215         instead of left unchanged and ultimately rejected because of
216         "unsupported scheme foo".
217
218 2005-03-31  Hrvoje Niksic  <hniksic@xemacs.org>
219
220         * utils.c (number_to_string): Avoid explicit 64-bit constants;
221         construct them by multiplication at compile-time.
222
223         * utils.c, elsewhere: Don't append "L" to 32-bit integer
224         constants; we aren't really compilable on 16-bit systems anyway.
225
226         * hash.c (prime_size): Remove primes larger than 2^31, but include
227         2^31-1, which is prime.
228
229 2005-03-30  Hrvoje Niksic  <hniksic@xemacs.org>
230
231         * utils.c (string_set_to_array): New function.
232
233         * convert.c: Replace the use of "slists" with sets/hash-tables,
234         which in fact suit the intended purpose much better.
235         downloaded_html_list is removed altogether.
236
237 2005-03-29  Hrvoje Niksic  <hniksic@xemacs.org>
238
239         * ftp.h (enum): Rename GLOBALL, GETALL, and GETONE to
240         GLOB_GLOBALL, GLOB_GETALL, and GLOB_GETONE to avoid conflict with
241         Linux headers.
242
243 2005-03-29  Hrvoje Niksic  <hniksic@xemacs.org>
244
245         * utils.c (numdigit): More correct handling of negative numbers.
246
247 2005-03-21  Hrvoje Niksic  <hniksic@xemacs.org>
248
249         * http.c (gethttp): Print the human-readable size.
250
251         * ftp.c (getftp): Print the human-readable size of the file to be
252         downloaded.
253
254         * utils.c (human_readable): New function.
255
256         * utils.c: Renamed "legible" to "with_thousand_seps",
257         "legible_large_int" to "with_thousand_seps_large", and "legible_1"
258         to "add_thousand_seps".
259
260 2005-03-21  Hrvoje Niksic  <hniksic@xemacs.org>
261
262         * http.c (gethttp): Inhibit persistent connections when talking to
263         proxies, as mandated by RFC 2068.
264
265 2005-03-20  Hrvoje Niksic  <hniksic@xemacs.org>
266
267         * url.c (unescape_single_char): New function.
268         (url_escape_dir): Use it to unescape slashes in directory
269         components.
270         (url_string): Escape unsafe chars in host name, except for the ':'
271         charaters, which can appear in IPv6 addresses.
272
273         * main.c (main): Don't access the cookie jar directly.
274
275         * log.c (escnonprint_internal): Correctly calculate the needed
276         string size.  Don't forget the buffer's new size after having
277         reallocated it.
278         (log_cleanup): New function.  Free the escnonprint ring data.
279
280         * init.c (cleanup): Don't free the cookie jar explicitly, it is
281         now done by http_cleanup.
282         (cleanup): opt.user_headers is now a vector, free it with
283         free_vec.
284
285         * http.c (gethttp): Make sure to free the request data, the status
286         message, and the response data before returning from the function.
287         (save_cookies): New function.
288         (http_cleanup): Free the cookie jar here.
289
290         * hash.c: Renamed string_hash to hash_string and ptrhash to
291         hash_pointer.  Exported hash_pointer.
292
293         * xmalloc.c: Organized malloc_table (previously malloc_debug) as a
294         simple EQ hash table.  register_ptr and unregister_ptr are now of
295         O(1) complexity.
296
297         * xmalloc.c: Renamed "*_debug" to debugging_* and "*_real" to
298         checking_*.
299
300 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
301
302         * utils.c (debug_test_md5): Moved to gen-md5.c.
303
304         * mswindows.h: Don't declare inet_ntop, since we don't use it.
305
306         * mswindows.h: For consistency, also wrap closesocket, it being
307         a Winsock call.
308
309         * mswindows.h: Don't declare sleep and usleep; we're defining
310         xsleep now.
311
312         * mswindows.h (mkdir): Don't special-case Borland C, _mkdir
313         works there as well.
314
315         * host.c: Don't include winsock header files; the correct ones
316         are already included by mswindows.h.
317
318         * mswindows.c (xsleep): Round toward the nearest millisecond
319         in an attempt to avoid average short sleeps.
320
321         * utils.c (wtimer_granularity): Report correct values for
322         Windows timers and for high-resolution timers.
323
324         * utils.c (wtimer_initialize_once): New function, called to
325         initialize the timer frequency.
326
327         * utils.c: Replace the use of GetSystemTime with high-resolution
328         counters under Windows.  When high-resolution counters are
329         unavailable, use GetTickCount().
330
331 2005-03-15  Hrvoje Niksic  <hniksic@xemacs.org>
332
333         * retr.c (fd_read_body): Undo the 2004-11-18 change.  Instead,
334         always be "exact".
335
336 2005-03-17  Hrvoje Niksic  <hniksic@xemacs.org>
337
338         * ftp-basic.c (ftp_login): Don't free the string if ftp_response
339         returned an error status because the line didn't get allocated in
340         the first place.
341
342 2005-03-15  Hrvoje Niksic  <hniksic@xemacs.org>
343
344         * http.c (read_http_response_head): Limit the response size to 64k
345         bytes.
346
347         * retr.c (fd_read_hunk): Accept a MAXSIZE argument that limits the
348         number of bytes the function is allowed to allocate.
349         (fd_read_line): Limit the line to 4096 bytes.
350
351 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
352
353         * wget.h: Include options.h after wgint has been defined.
354
355         * options.h (struct options): Declare options processed with
356         cmd_bytes as wgint, not long.
357
358 2005-03-18  Hrvoje Niksic  <hniksic@xemacs.org>
359
360         * init.c (cmd_file): Use concat_strings.
361
362         * http.c (basic_authentication_encode): Use concat_strings.
363
364         * ftp-ls.c (ftp_index): Use concat_strings.
365
366         * ftp-basic.c (ftp_request): Use concat_strings.
367
368         * utils.c (concat_strings): New function.
369
370 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
371
372         * init.c (simple_atof): Handle negative numbers; skip whitespace
373         before the number.
374         (simple_atoi): Ditto.  Also, check for overflow and underflow.
375         (cmd_number): Bail out on negative numbers.
376         (parse_bytes_helper): Ditto.
377
378 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
379
380         * http.c (gethttp): Handle multiple Set-Cookie headers sent by
381         remote server.
382
383 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
384
385         * init.c (defaults): Use passive FTP by default.
386
387 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
388
389         * mswindows.c: Provide wrappers to Winsock functions that set
390         errno to WSAGetLastError() in case of failure.  Also provide a
391         Windows-specific version of strerror.
392
393         * mswindows.h: Wrap calls to socket, bind, connect, recv, send,
394         select, getsockname, getpeername, and setsockopt.
395
396 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
397
398         * url.c (url_parse): Reject port numbers larger than 65535.  We
399         also check for overflow while parsing port numbers.
400
401 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
402
403         * utils.c (read_file): Don't use wgint for file size; LFS won't
404         work since the file is mmap'ed as a whole.
405
406         * options.h: Don't include stdio.h.
407
408         * log.c: Ditto.
409
410         * init.c: Disambiguate assignment from non-zero test to avoid
411         Borland C warning.
412
413         * http.c (response_new): Don't needlessly post-increment count.
414
415         * hash.c: Include stdio.h.
416
417         * gnu-md5.h: Don't include stdio.h.
418
419         * getopt.h (struct option): Always use const.
420
421         * ftp.c (getftp): Avoid unnecessary assignment to RES to avoid
422         Borland C warning.
423
424         * ftp-ls.c: Disambiguate assignment from non-zero test to avoid
425         Borland C warning.
426
427         * cmpt.c (strptime_internal): Don't initialize rp_backup when
428         !_NL_CURRENT to avoid Borland C warning.
429
430 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
431
432         * utils.c (fopen_excl): Fix parse error when O_BINARY is
433         available.
434
435 2005-03-05  Hrvoje Niksic  <hniksic@xemacs.org>
436
437         * url.c (url_file_name): Don't allow hosts named ".." to be
438         appended as path elements.
439
440 2005-03-03  Hrvoje Niksic  <hniksic@xemacs.org>
441
442         * retr.c (retrieve_url): Escape location header.
443
444         * http.c (print_server_response_1): Escape server response when
445         printing it.
446         (gethttp): Escape host name, status message, location header, and
447         content type.
448         (http_loop): Escape error message from server.
449
450         * host.c (lookup_host): Escape host name when printing it.
451
452         * ftp.c (getftp): Escape user name when printing it.
453         (getftp): Escape remote file and directory for printing.
454         (getftp): Escape server listing when printing it.
455         (ftp_retrieve_list): Escape link name and file name.
456         (ftp_retrieve_glob): Escape file name.
457
458         * ftp-basic.c (ftp_response): Escape server response when printing
459         it.
460
461         * cookies.c (parse_set_cookies): Escape the cookie field when
462         printing it.
463         (parse_set_cookies): Escape contents of remote header.
464         (cookie_handle_set_cookie): Escape host name and cookie domain.
465
466         * connect.c (connect_to_ip): Escape the host name.
467
468         * log.c (escnonprint): New function, used for printing strings
469         coming from the server that possibly contain non-ASCII characters.
470         (escnonprint_uri): Ditto.
471
472 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
473
474         * ftp.c (getftp): Ditto.
475
476         * http.c (gethttp): When we're not supposed to overwrite files,
477         use fopen_excl to open the file and recompute the file name.
478
479         * log.c (redirect_output): Use unique_create to avoid a race
480         condition.
481
482         * mswindows.c (fake_fork_child): Use unique_create.
483
484         * utils.c (fopen_excl): New function that opens a stdio stream
485         with the O_EXCL flag (where available).
486         (unique_create): New function, like unique_name, but also creating
487         the file and returning a file pointer.
488         (fork_to_background): Use unique_create to create the file
489         immediately to avoid race condition with multiple instances of
490         wget -b.
491
492 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
493
494         * host.c (lookup_host): Test for AI_ADDRCONFIG directly, instead
495         of checking for HAVE_GETADDRINFO_AI_ADDRCONFIG.
496
497 2005-02-23  Hrvoje Niksic  <hniksic@xemacs.org>
498
499         * host.c (is_valid_ipv6_address): Move here from url.c.
500         (lookup_host): If the address is numeric, don't print the
501         "resolving..." line, don't set up DNS timeouts, and set the
502         AI_NUMERICHOST hint, where available.
503
504 2005-02-26  Gisle Vanem  <giva@bgnett.no>
505
506         * utils.c: Use the nnnLL syntax under GCC.  Define struct_stat to
507         struct _stati64 under __MINGW32__ as well as under MS VC.
508
509 2005-02-26  Hrvoje Niksic  <hniksic@xemacs.org>
510
511         * utils.c: Use the nnnI64 syntax for __int64 constants under all
512         Windows compilers.
513         (SPRINTF_WGINT): Use "%I64" under all Windows compilers.
514
515         * mswindows.h (WGINT_MAX): Use the nnnI64 syntax for
516         __int64 constants under all Windows compilers.
517         (struct_stat): Use `struct stati64' under Borland C.
518         (fstat): Don't redefine to _fstati64 under Borland.
519
520         * mswindows.c: Define str_to_int64 under Borland C as well as
521         under (older) Visual C.
522
523 2005-02-25  Hrvoje Niksic  <hniksic@xemacs.org>
524
525         * ftp.c (getftp): Initialize err to suppress compiler warning.
526
527 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
528
529         * ftp.c (ftp_expected_bytes): Fix bug that caused infloop because
530         of not correctly skipping the '(' character.
531
532 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
533
534         * mswindows.c (wget_ftello): Removed.
535
536         * mswindows.h: Remove bogus definition of stat.
537         (wget_ftello): Remove the leftover ftello replacement.
538
539 2005-02-20  Hrvoje Niksic  <hniksic@xemacs.org>
540
541         * mswindows.c (wget_ftello): Wget's replacement for ftello.
542
543         * utils.c (file_size): Use ftello where available.
544
545         * ftp-ls.c (ftp_parse_unix_ls): Use str_to_wgint to parse the file
546         size.
547         (ftp_parse_winnt_ls): Ditto.
548
549         * ftp-basic.c (ftp_size): Use str_to_wgint to convert number to
550         wgint; pass 10 instead of 0 as the BASE argument.
551
552         * ftp.c (ftp_expected_bytes): Use str_to_wgint to parse the file
553         size.
554
555         * sysdep.h (LARGE_INT_FMT): Use __int64 as LARGE_INT on
556         MSVC/Windows; print it with "%I64".
557
558         * wget.h: Define a `wgint' type, normally aliased to (the possibly
559         64-bit variant of) off_t.
560
561         * all: Use `wgint' instead of `long' for numeric variables that
562         can hold file sizes.
563
564         * utils.c (number_to_string): Support printing of `wgint'
565         argument.
566         (number_to_static_string): New function.
567
568         * all: Replace printf("%ld", long_value) with printf("%s",
569         number_to_static_string(wgint_value)).
570
571 2005-02-18  Mauro Tortonesi <mauro@ferrara.linux.it>
572
573         * main.c: Added the --ftp-passwd command line option.
574
575         * init.c: Renamed command passwd to ftppasswd.
576
577 2005-02-11  Mauro Tortonesi <mauro@ferrara.linux.it>
578         
579         * string_t.c: Fixed a bug in do_escape and triggered escape of
580         backslashes in string_escape to avoid ambiguities in the result
581         string.
582         
583 2005-02-10  Mauro Tortonesi <mauro@ferrara.linux.it>
584
585         * string.h: Renamed to string_t.h to fix a compilation conflict 
586         with the string.h header in the standard C library.
587         
588         * string.c: Renamed to string_t.c for consistency with string.h.
589         
590         * string_t.c: Ditto.
591
592         * string_t.h: Ditto.
593         
594 2004-12-31  Mauro Tortonesi <mauro@ferrara.linux.it>
595
596         * string.c: New file.
597
598         * string.h: New file.
599
600         * Makefile.in: Added string.c to the list of modules to compile.
601
602         * main.c: Updated copyright.
603
604 2004-11-18  Ulf Harnhammar <ulf.harnhammar.9485@student.uu.se>
605
606         * ftp-ls.c: Fixed a problem in ftp_parse_winnt_ls that could allow a
607         malicious remote FTP server to crash wget.
608
609 2004-11-18  Hans-Andreas Engel <engel@node.ch>
610
611         * http.c: Enable --convert-links (-k) when a single page is downloaded
612         via --output-document (-O).
613
614 2004-11-18  Mauro Tortonesi <mauro@deepspace6.net>
615
616         * connect.c: Minor correction to the comment in front of fd_peek.
617
618 2004-11-18  Leonid Petrov <nouser@lpetrov.net>
619
620         * retr.c: Fix a timeout problem in fd_read_body when using http_proxy.
621
622 2004-11-15  YAMAZAKI Makoto <Yamazaki.Makoto@fujixerox.co.jp>
623
624         * netrc.c: Fix termination by assertion bug in netrc parsing.
625
626 2004-05-09  David Fritz  <zeroxdf@att.net>
627
628         * mswindows.c (fake_fork): Pass entire command line to the child
629         process.
630
631 2004-03-31  Hrvoje Niksic  <hniksic@xemacs.org>
632
633         * http.c (gethttp): Fix typo: SCHEME_SSL -> SCHEME_HTTPS.
634
635 2004-03-30  Hrvoje Niksic  <hniksic@xemacs.org>
636
637         * http.c (gethttp): Send the Proxy-Authorization header over
638         non-SSL connections too.
639
640 2004-03-25  David Fritz  <zeroxdf@att.net>
641
642         * mswindows.c (fake_fork_child): Ignore error code when
643         OpenFileMapping() fails; assume it failed because the object does
644         not exist.
645
646 2004-03-24  David Fritz  <zeroxdf@att.net>
647
648         * mswindows.c (fake_fork): New function.
649
650         * mswindows.c (fork_to_background): Use it.
651
652 2004-03-19  David Fritz  <zeroxdf@att.net>
653
654         * mswindows.c (ws_hangup): Incorporate old fork_to_background()
655         code.  Add event name argument.
656         (fork_to_backgorund): Now a simple wrapper around ws_hangup().
657         (ws_handler): Correctly handle the case when neither CTRLC_BACKGND
658         nor CTRLBREAK_BACKGND are defined.  Don't bother handling close,
659         logoff, or shutdown events.  Call ws_hangup() with the correct
660         event name; don't assume it was CTRL+Break.
661
662 2004-03-19  Hrvoje Niksic  <hniksic@xemacs.org>
663
664         * url.c (url_parse): Decode %HH sequences in host name.
665
666 2004-03-04  Hrvoje Niksic  <hniksic@xemacs.org>
667
668         * convert.c (local_quote_string): Quote "#" as "%23" and "%" as
669         "%25" when creating links to local files.
670
671 2004-03-02  David Fritz  <zeroxdf@att.net>
672
673         * mswindows.c (ws_percenttitle): Guard against future changes by
674         doing nothing if the proper variables have not been initialized.
675         Clamp percentage value.
676
677 2004-03-04  Gisle Vanem  <giva@bgnett.no>
678
679         * retr.c (fd_read_body): Don't change console title if quiet.
680
681 2004-02-25  David Fritz  <zeroxdf@att.net>
682
683         * mswindows.c (set_sleep_mode): Remove argument and return value.
684         Call GetModuleHandle() instead of LoadLibrary()/FreeLibrary() for
685         kernel32.dll.  Use typedef for function-pointer.  Don't cast
686         l-value.  Don't use dereference operator when calling through
687         function-pointer.
688         (ws_startup): Update call to set_sleep_mode().
689         (ws_cleanup): Remove call to set_sleep_mode().
690
691 2004-02-23  David Fritz  <zeroxdf@att.net>
692
693         * http.c (http_loop): Ditto.
694
695         * ftp.c (ftp_loop_internal): Update call to ws_changetitle().
696
697         * main.c (main): Don't bother calling ws_changetitle().
698
699         * mswindows.h (ws_changetitle): Update prototype.
700
701         * mswindows.c (ws_changetitle): Remove second argument.  Use
702         xfree_null().
703         (ws_percenttitle): Only update title when percentage has changed.
704
705 2004-02-23  David Fritz  <zeroxdf@att.net>
706
707         * mswindows.h: Ditto.
708
709         * mswindows.c: Misc. formatting/comment tweaks throughout.
710
711 2004-02-20  David Fritz  <zeroxdf@att.net>
712
713         * main.c (print_help): Remove call to ws_help().
714
715         * mswindows.c (ws_help): Remove.
716
717         * mswindows.h (ws_help): Remove.
718
719 2004-02-16  David Fritz  <zeroxdf@att.net>
720
721         * init.c (home_dir): Use aprintf() instead of xmalloc()/sprintf().
722         Under Windows, if $HOME is not defined, use the directory that
723         contains the Wget binary instead of hard-coded `C:\'.
724         (wgetrc_file_name): Under Windows, look for $HOME/.wgetrc then, if
725         not found, look for wget.ini in the directory of the Wget binary.
726
727         * mswindows.c (ws_mypath): Employ slightly more robust methodology.
728         Strip trailing path separator.
729
730 2004-02-06  Hrvoje Niksic  <hniksic@xemacs.org>
731
732         * http.c (gethttp): Respect --ignore-length.
733         (gethttp): Inhibit keep-alive if --ignore-length is specified.
734
735 2004-02-06  Hrvoje Niksic  <hniksic@xemacs.org>
736
737         * connect.c (sockaddr_set_data): Zero out
738         sockaddr_in/sockaddr_in6.  Apparently BSD-derived stacks need this
739         when binding a socket to local address.
740
741 2004-02-04  Hrvoje Niksic  <hniksic@xemacs.org>
742
743         * hash.c: Make the file compilable outside Wget source tree when
744         -DSTANDALONE is used.
745
746 2004-01-29  Hrvoje Niksic  <hniksic@xemacs.org>
747
748         * utils.c (determine_screen_width): Return 0 if not running on
749         Windows or on a TIOCGWINSZ-capable system.
750
751 2004-01-28  David Fritz  <zeroxdf@att.net>
752
753         * utils.c (determine_screen_width): Correctly determine console
754         width under Windows.
755
756 2004-01-28  Christian Biere  <christianbiere@gmx.de>
757
758         * progress.c (bar_set_params): Fixed syntax error when HAVE_ISATTY
759         was undefined.
760
761         * ftp.c (ftp_loop_internal): Allocate a larger buffer in case
762         "try" gets translated to something large.  Ditto in http_loop in
763         http.c.
764
765         * http.c (response_header_copy): Don't write to buf[BUFSIZE].
766
767         * ftp-opie.c (skey_response): Eliminate unnecessary string
768         concatenation; just call gen_md5_update twice.
769
770 2004-01-25  Hrvoje Niksic  <hniksic@xemacs.org>
771
772         * utils.c (xsleep): Don't call usleep with values larger than
773         1,000,000.
774
775 2003-12-16  Hrvoje Niksic  <hniksic@xemacs.org>
776
777         * http.c (gethttp): Fix generation of `Content-Length'.
778
779 2003-12-15  Gisle Vanem  <giva@bgnett.no>
780
781         * url.c (url_skip_credentials): Fixed return value; 'url' if no
782         credentials.
783
784 2003-12-14  Hrvoje Niksic  <hniksic@xemacs.org>
785
786         * url.c (url_skip_credentials): Return a pointer directly.
787
788 2003-12-14  Hrvoje Niksic  <hniksic@xemacs.org>
789
790         * url.c (url_file_name): Ditto.
791         (parse_errors): Ditto.
792
793         * retr.c (retr_rate): Ditto.
794
795         * progress.c (create_image): Ditto.
796
797         * netrc.c (parse_netrc): Ditto.
798
799         * main.c (struct cmdline_option): Ditto.
800         (redirect_output_signal): Ditto.
801
802         * init.c (commands): Ditto.
803
804         * ftp-ls.c (ftp_index): Ditto.
805
806         * cookies.c (check_domain_match): Declare the pointer to a literal
807         string as `const'.
808
809 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
810
811         * retr.c (fd_read_body): Pass total size to progress_create, not
812         the remaining amount.
813
814 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
815
816         * retr.c (fd_read_body): Don't fiddle with "interactive timeout"
817         if read timeout is unset.
818
819 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
820
821         * connect.c (bind_local): Don't set the IPV6_V6ONLY option on the
822         socket.
823
824 2003-12-06  Hrvoje Niksic  <hniksic@xemacs.org>
825
826         * url.c (url_file_name): Respect the setting of
827         opt.protocol_directories.
828
829         * main.c (main): Only check for ret=='?' when longindex is unset.
830         (option_data): New option --protocol-directories.
831
832 2003-12-06  Hrvoje Niksic  <hniksic@xemacs.org>
833
834         * ftp.c (getftp): Ditto.
835
836         * http.c (gethttp): Correctly calculate bandwidth as total data
837         read divided with download time.
838
839         * retr.c (fd_read_body): Separate the return values for data
840         written and read.
841
842 2003-12-05  Hrvoje Niksic  <hniksic@xemacs.org>
843
844         * http.c (H_REDIRECTED): Respect the HTTP/1.1 "303 See Other"
845         response code.
846         Suggested by Dan Razzell.
847
848 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
849
850         * retr.c (fd_read_body): Report the amount of data *written* as
851         amount_read.  This is not entirely logical, but that's what the
852         callers expect, and it's not easy to change.
853
854         * ftp.c (ftp_loop_internal): Ditto.
855
856         * http.c (http_loop): Be smarter about assigning restval; if we're
857         in the nth pass of a download, simply use the information we have
858         about how much data has been retrieved as restval.
859
860         * ftp.c (getftp): Ditto for FTP "REST" command.
861
862         * http.c (gethttp): When the server doesn't respect range, skip
863         the first RESTVAL bytes of the read body.  Never truncate the
864         output file.
865
866         * retr.c (fd_read_body): Support skipping initial STARTPOS octets.
867
868 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
869
870         * http.c (skip_short_body): Renamed skip_body to skip_short_body;
871         don't bother calling fd_read_body.
872
873 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
874
875         * retr.c (fd_read_body): Sanitize arguments and document them
876         better.  Make sure the timer is created and updated only if
877         necessary.  Updated callers.
878
879 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
880
881         * http.c (skip_body): New function.
882         (gethttp): Use it to skip the body of the responses we don't care
883         to download.  That allows us to reuse the connection.
884         (gethttp): Trust that the HEAD requests will not generate body
885         data.
886
887         * retr.c (fd_read_body): Don't write to OUT if it's NULL.
888
889 2003-11-29  Hrvoje Niksic  <hniksic@xemacs.org>
890
891         * http.c (gethttp): Initialize SSL only the first time when SSL
892         URL is downloaded.
893
894 2003-11-29  Hrvoje Niksic  <hniksic@xemacs.org>
895
896         * cookies.c (cookie_header): Only generate the contents of the
897         header, not the leading "Cookie: " or the trailing "\r\n".
898
899         * http.c (gethttp): When adding headers specified with `--header',
900         allow them to override the headers generated by Wget.
901
902         * init.c (cmd_spec_header): Made opt.user_headers a vector.
903
904         * http.c (request_new): New function.  Returns a request structure
905         which can be modified in various ways, most notably by adding HTTP
906         headers to the request.
907         (request_set_header): New function for adding the header to the
908         request.  If the header is already available, it gets replaced.
909         (request_send): Construct and send the request.
910         (gethttp): Use the request_* functions to generate the request.
911
912 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
913
914         * http.c (gethttp): Don't include the Proxy-Authorization header
915         in the request tunneled through proxy.
916
917 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
918
919         * http.c (gethttp): Use the CONNECT handle to establish SSL
920         passthrough through non-SSL proxies.
921
922 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
923
924         * init.c: Don't #include netinet/Winsock stuff.
925
926 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
927
928         * http.c: Deleted the old functions header_process,
929         header_extract_number, header_exists, header_strdup,
930         http_process_range, http_process_none, http_process_type, and
931         http_process_connection.
932
933         * http.c (response_new): New function.
934         (response_header_bounds): Ditto.
935         (response_header_copy): Ditto.
936         (response_header_strdup): Ditto.
937         (response_status): Ditto.
938         (gethttp): Use the new response_* functions to parse the response.
939         Support HTTP/0.9 responses.
940
941 2003-11-27  Hrvoje Niksic  <hniksic@xemacs.org>
942
943         * progress.c (create_image): Don't calculate ETA if nothing has
944         been downloaded yet, because it causes division by zero.
945
946 2003-11-27  Hrvoje Niksic  <hniksic@xemacs.org>
947
948         * connect.c (bind_local): Rename sa_len to addrlen because IRIX
949         headers define sa_len as a macro.
950
951 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
952
953         * html-parse.c (convert_and_copy): Remove embedded newlines when
954         AP_TRIM_BLANKS is specified.
955
956 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
957
958         * ftp.c: Set con->csock to -1 where rbuf_uninitialize was
959         previously used.
960
961 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
962
963         * Makefile.in (http$o): Added the trailing backslash that was
964         missing.
965
966 2003-11-21  Hrvoje Niksic  <hniksic@xemacs.org>
967
968         * headers.c: Removed.  The file is no longer relevant, now that no
969         special handling of headers is done by the rbuf code.  Moved
970         portions to http.c.
971
972 2003-11-21  Hrvoje Niksic  <hniksic@xemacs.org>
973
974         * rbuf.c: Removed.
975
976         * ftp-basic.c (ftp_response): Use fd_read_line.  No longer use
977         struct rbuf.  Updated all callers.
978
979         * http.c (gethttp): Use fd_read_head to read all the headers in
980         one go.
981         (next_header): New function.
982
983         * retr.c (fd_read_line): New function: reads a line from FD,
984         leaving the rest of the data unread.
985         (fd_read_head): New function.
986
987         * connect.c (fd_peek): New function, implements peeking.
988         (poll_internal): New function.
989         (fd_read): Use it.
990         (fd_write): Ditto.
991         (fd_peek): Ditto.
992         (fd_register_transport): Allow registering a "peeker" callback.
993
994 2003-11-20  Hrvoje Niksic  <hniksic@xemacs.org>
995
996         * connect.c: Renamed xread/xwrite/xclose to
997         fd_read/fd_write/fd_close.  The "x" prefix is not appropriate
998         because the semantics have diverged from read/write/close too
999         significantly.  Updated all callers.
1000
1001 2003-11-20  Hrvoje Niksic  <hniksic@xemacs.org>
1002
1003         * connect.c (sock_write): It's not necessary to initialize RES.
1004
1005 2003-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
1006
1007         * main.c (main): Don't reference opt.ipv4_only and opt.ipv6_only
1008         if IPv6 is disabled.
1009
1010 2003-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
1011
1012         * connect.c (socket_has_inet6): Only compile it if IPv6 is enabled
1013         and AI_ADDRCONFIG is missing.
1014
1015 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
1016
1017         * gen_sslfunc.c (ssl_init_prng): Warn the user when using a weak
1018         random seed.
1019
1020 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
1021
1022         * host.c (address_list_contains): Renamed address_list_find to
1023         address_list_contains because its result is boolean.
1024
1025 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
1026
1027         * connect.c (select_fd): Return 1 if select is not available.
1028
1029 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
1030
1031         * connect.c (connect_to_host): Don't reference address list after
1032         releasing it.
1033
1034 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
1035
1036         * main.c (print_help): Fix alignment of FTP options output.
1037
1038 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
1039
1040         * host.c (lookup_host): Check for the ability to create IPv6
1041         sockets here.
1042
1043         * init.c (defaults): Don't auto-set --inet4-only on IPv6-less
1044         systems.
1045
1046 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
1047
1048         * main.c (print_help): Fix typo in `-O' help message.  Fix docs of
1049         -Y/--proxy.  Fix docs of `--cookies' and `--glob'.  Improve docs
1050         of --convert-links.  Fix docs of SSL options.
1051
1052 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
1053
1054         * ftp-basic.c: Don't include <arpa/inet.h> and others because
1055         they're no longer needed.
1056
1057 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
1058
1059         * main.c (main): Don't allow setting of both opt.ipv4_only and
1060         opt.ipv6_only.
1061
1062         * init.c (defaults): Mark opt.ipv4_only specially when set
1063         automatically.
1064
1065 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
1066
1067         * host.c (lookup_host): Use AI_ADDRCONFIG only if the family is
1068         unspecified.  This ensures that specifying `--no-inet4' on systems
1069         where IPv6 resolves, but doesn't work behaves the same regardless
1070         of the availability of AI_ADDRCONFIG.
1071
1072 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
1073
1074         * host.c: Don't refer to the now-removed function
1075         forget_host_lookup in the documentation of lookup_host.
1076
1077 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
1078
1079         * http.c (persistent_available_p): Correctly specify the endpoint
1080         argument to socket_ip_address.
1081         (gethttp): When printing the "reusing connection to..." message,
1082         specify the host name of the reused connection, not the current
1083         host name.  That makes more sense because it provides a useful
1084         piece of information -- we know to which host we're supposed to
1085         connect anyway!
1086
1087 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
1088
1089         * init.c: Make sure the options are in alphabetic order!
1090
1091         * host.c (lookup_host): Merge lookup_host_passive and lookup_host
1092         after all -- having both would result in some code duplication.
1093         (lookup_host): Set hints.ai_family to AF_INET if ipv4_only is
1094         requested.  Likewise, set it to AF_INET6 for ipv6_only.  Specify
1095         AI_ADDRCONFIG where available.
1096         (lookup_host): New flag LH_REFRESH that specifies that a cached
1097         entry for HOST should be refreshed.
1098         (cache_query): New function.
1099         (cache_store): Ditto.
1100         (cache_remove): Ditto.
1101         (forget_host_lookup): No longer necessary, replaced with static
1102         function cache_remove.
1103
1104 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
1105
1106         * main.c: Enable -4 and -6 only if IPv6 is enabled.
1107
1108 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
1109
1110         * connect.c (register_transport): Renamed from register_extended.
1111         Explain the intended usage.
1112
1113 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
1114
1115         * url.c (uri_merge): Merging "foo" and "bar" should result in
1116         "bar", not in "foo/bar".
1117         (path_simplify): Don't remove empty path elements; don't
1118         special-case leading slash.
1119         (path_simplify): Don't swallow ".."'s at the beginning of string.
1120         E.g. simplify "foo/../../bar" as "../bar", not as "bar".
1121         (append_uri_pathel): Defang ".." path element upon encountering
1122         it.
1123
1124 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
1125
1126         * http.c (persistent_available_p): Don't attempt to talk to two
1127         different SSL sites over the same secure connection.
1128
1129 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
1130
1131         * http.c (gethttp): Ditto.
1132
1133         * ftp.c (getftp): Use retryable_socket_connect_error instead of
1134         CONNECT_ERROR.
1135
1136         * wget.h (CONNECT_ERROR): Removed.
1137
1138         * connect.c (retryable_socket_connect_error): New function instead
1139         of unsupported_socket_family_error.
1140
1141 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
1142
1143         * wget.h (CONNECT_ERROR): Use it.
1144
1145         * connect.c (unsupported_socket_family_error): New function.
1146
1147 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
1148
1149         * connect.c (bind_local): Renamed bindport to bind_local; return
1150         the socket directly.  Updated callers.
1151         (accept_connection): Renamed acceptport to accept_connection;
1152         return the created socket directly.  Updated callers.
1153
1154 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
1155
1156         * init.c (defaults): Turn on opt.ipv4_only if we're compiling with
1157         IPv6, and AI_ADDRINFO is not available, and AF_INET6 sockets can't
1158         be created.
1159
1160 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
1161
1162         * host.c (lookup_host): Document the fact that the addresses are
1163         returned in order.
1164
1165 2003-11-12  Hrvoje Niksic  <hniksic@xemacs.org>
1166
1167         * utils.c: Use limits.h only where available.
1168
1169         * hash.c: Use INVALID_PTR and INVALID_PTR_BYTE.  Include limits.h.
1170
1171 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
1172
1173         * main.c: Added options --inet4-only and --inet6-only.
1174
1175 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
1176
1177         * host.c (host_errstr): Use the more standard message "Unknown
1178         host".
1179
1180 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
1181
1182         * connect.c (connect_to_host): Use that flag to decide whether to
1183         re-resolve the host name.
1184
1185         * host.c (struct address_list): Added a flag that maintains
1186         whether the connection worked at some point.
1187
1188 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
1189
1190         * host.c (lookup_host): Special-case the numeric addresses only in
1191         the non-IPv6 case.
1192
1193 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
1194
1195         * connect.c (resolve_bind_address): Call lookup_host_passive.
1196         Make sure that opt.bind_address is resolved only once.
1197
1198         * host.c (lookup_host_passive): New function, handles "passive"
1199         lookups.
1200         (lookup_host): Remove the passive flags.  Remove the
1201         family-related flags -- use ip_default_family instead.
1202
1203 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
1204
1205         * html-url.c: Get URLs from <object data="...">.
1206
1207 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
1208
1209         * main.c (option_data): Specify the command to use for --mirror.
1210
1211 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1212
1213         * cookies.c (cookie_handle_set_cookie): Specify exact match for
1214         unspecified domains.
1215
1216 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1217
1218         * main.c (main): Removed one-letter options `-C', `-g', `-G', and
1219         `-s'.
1220
1221 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1222
1223         * main.c (main): Add --dont-remove-listing for backward
1224         compatibility with previous versions.
1225         (print_help): Fix typo, spotted by Dennis Smit.
1226
1227 2003-11-08  Gisle Vanem  <giva@bgnett.no>
1228
1229         * ftp-basic.c: Support Windows-2000 ftp servers. Win-2000 *is*
1230         Win-NT 5.0 so calling it ST_WINNT is okay I guess.
1231
1232 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1233
1234         * progress.c (update_speed_ring): Clear the speed ring when the
1235         download stalls.
1236
1237         * retr.c (get_contents): Specify 0.95s read timeout, so that the
1238         progress gauge can be updated even when data arrives very slowly
1239         or stalls.
1240
1241 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1242
1243         * utils.c (wtimer_allocate): Bless the use of wtimer_read on a
1244         timer that has merely been allocated because get_contents() does
1245         that.
1246         (wtimer_update): Abort if the timer is not initialized.
1247
1248 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1249
1250         * retr.c (get_contents): Pass the timer to limit_bandwidth().
1251
1252         * utils.c (wtimer_update): New function instead of wget_elapsed;
1253         just update the timer, but don't return anything.
1254         (wtimer_read): Read and return the last known value of the timer.
1255
1256 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1257
1258         * http.c (persistent_available_p): Instead of matching all the
1259         addresses of HOST and last host, determine the peer's IP address
1260         with socket_ip_address and see if that address is one of those
1261         HOST resolves to.
1262
1263         * host.c (address_list_match_all): Removed.
1264         (address_list_find): New function, finds an IP address in the
1265         address list.
1266
1267         * ftp.c (ftp_do_pasv): Get the peer's address here, and pass it to
1268         ftp_epsv so it doesn't need to call getpeername.
1269
1270         * ftp-basic.c (ftp_port): Use socket_ip_address instead of
1271         getpeername.
1272         (ftp_lprt): Ditto.
1273
1274         * connect.c (socket_ip_address): Replaces conaddr, generalized to
1275         either get peer's or local address.
1276         (sockaddr_get_data): Made local to this file.
1277
1278 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1279
1280         * hash.c (HASH_POSITION): Explicitly accept the hash function.
1281         (grow_hash_table): Extract ht->hash_function outside the loop.
1282         (hash_table_remove): Ditto.
1283         (hash_table_clear): Fill entries with 0xff to clear them.
1284         (hash_table_remove): Mark entries as deleted with the correct
1285         marker.
1286
1287 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1288
1289         * http.c (persistent_available_p): No reason for the host lookup
1290         to be silent -- it's a lookup like any other.
1291
1292 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1293
1294         * connect.c (register_extended): Check that fd >= 0.
1295
1296 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
1297
1298         * connect.c (LAZY_RETRIEVE_INFO): Set LAST_INFO.
1299
1300 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
1301
1302         * hash.c (NON_EMPTY): Use the all-bit-set value as the marker that
1303         the field is empty.  This allows NULL pointer and 0 value to be
1304         used as keys, which is necessary for the connect.c code to work
1305         when fd==0.
1306         (hash_table_new): Fill mappings with 0xff.
1307         (grow_hash_table): Ditto.
1308
1309 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
1310
1311         * url.c (url_parse): Allow empty ports.
1312
1313 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
1314
1315         * main.c (print_help): Break the help string into multiple chunks.
1316         (cmdline_option): New option handler OPT_FUNCALL.  Generalized
1317         HANDLE_CMD to generic DATA.
1318         (option_data): Use the new OPT_FUNCALL feature.
1319
1320 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
1321
1322         * log.h: Declare log_init, log_close, and
1323         log_request_redirect_output here.
1324
1325 2003-11-05  Dennis Smit  <ds@nerds-incorporated.org>
1326
1327         * main.c: (main): added --preserve-permissions option.
1328
1329         * ftp.c (ftp_retrieve_list): added support for
1330         --preserve-permissions option.
1331
1332         * init.c: added support for --preserve-permission option.
1333
1334         * option.h: added support for --preserve-permission option.
1335
1336 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
1337
1338         * main.c (init_switches): New function.  Convert option_data to
1339         long_options and short_options, which can be fed to getopt_long.
1340         (main): Execute command-line options by consulting option_data.
1341
1342 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
1343
1344         * gen_sslfunc.c (ssl_read): Implement a more correct check for
1345         EINTR.
1346         (ssl_write): Ditto.
1347         (init_ssl): Use a global SSL context.
1348
1349 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
1350
1351         * connect.c (xclose): Free INFO even if it doesn't provide a
1352         closer.
1353
1354 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
1355
1356         * connect.c: Updated all callers of
1357         iread/ssl_iread/iwrite/ssl_iwrite to use xread and xwrite instead.
1358
1359         * rbuf.h (struct rbuf): Removed the SSL member because SSL is
1360         handled automatically by xread.
1361
1362         * hash.c (ptrhash): Made private.
1363         (ptrcmp): Ditto.
1364         (inthash): Removed.
1365
1366         * connect.c (select_fd): Don't set errno, leave it to the caller.
1367
1368         * gen_sslfunc.c (connect_ssl): Use register_extended to register
1369         SSL callbacks for communication with SSL-enabled endpoints.
1370         (ssl_read): New function.
1371         (ssl_write): Ditto.
1372         (ssl_poll): Ditto.
1373         (ssl_close): Ditto.
1374
1375         * connect.c (register_extended): New function -- register
1376         callbacks for basic socket operations.
1377         (xread): Ditto.
1378         (xwrite): Ditto.
1379         (xclose): Ditto.
1380         (sock_read): New function, default implementation for reading.
1381         (sock_write): Ditto for writing.
1382         (sock_poll): Ditto for polling.
1383         (sock_close): Ditto for closing.
1384
1385 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
1386
1387         * connect.c (bindport): Fix compilation under pre-C99 compilers.
1388
1389 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
1390
1391         * connect.c (connect_to_ip): More compact error checking.
1392         (bindport): Don't treat failed setsockopt as a fatal error.
1393
1394 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
1395
1396         * connect.c (resolve_bind_address): Use a more accurate error
1397         message -- we're not binding to ANY, we're disabling bind
1398         altogether.
1399
1400 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
1401
1402         * cookies.c (save_cookies_mapper): Respect the setting of
1403         keep-session-cookies.
1404         (cookie_jar_load): Import session cookies.
1405         Based on code submitted by Nicolas Schodet.
1406
1407         * utils.c (datetime_str): Use information in TM when it's
1408         non-NULL.
1409
1410         * main.c (main): New option `--keep-session-cookies'.
1411
1412 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
1413
1414         * Makefile.in (realclean): Delete config.h.in.
1415
1416 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
1417
1418         * config-post.h: New file, included from now autogenerated
1419         config.h.in.
1420
1421 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
1422
1423         * progress.c (progress_handle_sigwinch): Don't call
1424         determine_screen_width() from the signal handler.  Instead, just
1425         set a volatile variable.
1426         (bar_create): Check whether SIGWINCH was received.
1427         (bar_update): Ditto.
1428
1429         * sysdep.h: Define SYSTEM_FNMATCH only if HAVE_FNMATCH_H is true.
1430
1431 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
1432
1433         * utils.c (xsleep): New function.  Uses nanosleep where available,
1434         resuming sleeps interrupted by signals.  Updated callers of sleep
1435         and usleep to use xsleep.
1436
1437 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
1438
1439         * ftp-basic.c (ftp_login): Remove shadowing (and bogus)
1440         declaration of SEED.
1441
1442 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
1443
1444         * log.c (logvprintf): Documented better.  Renamed to
1445         log_vprintf_internal to avoid confusion with the public API
1446         functions logprintf and logputs.
1447
1448 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
1449
1450         * wget.h (N_): Don't parenthesize argument.
1451
1452 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
1453
1454         * host.h (ADDRESS_IPV4_DATA): Don't take the address of in.s_addr
1455         because that doesn't work on machines that define it as bitfield.
1456
1457 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
1458
1459         * connect.c (select_fd): Generalize the third argument into WAIT,
1460         so that the caller can request waiting for both read and write.
1461         Updated callers.
1462
1463 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
1464
1465         * html-url.c (cleanup_html_url): Destroy the hash tables, don't
1466         just call free on them.
1467         (init_interesting): Use hash_table_put instead of string_set_add
1468         because we don't need the strdup that the latter function
1469         performs.
1470
1471         * init.c (cleanup): Don't pass NULL to cookie_jar_delete.
1472
1473         * xmalloc.c (xfree_real): Abort when passed a NULL pointer.
1474         (xfree_debug): Print at the file and line of the offending call to
1475         free.
1476
1477 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
1478
1479         * wget.h: Retired the `boolean' type.  Moved the DEFAULT_LOGFILE
1480         define to log.h.  Moved the INFINITE_RECURSION define to recur.h.
1481
1482         * xmalloc.h: Renamed FREE_MAYBE to xfree_null and moved the
1483         definition from wget.h to xmalloc.h.
1484
1485 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
1486
1487         * html-parse.c (decode_entity): New function; split the decoding
1488         of entities here.
1489         (convert_and_copy): Use it to decode entities.
1490         (decode_entity): Handle the &apos entity.
1491         (decode_entity): Don't decode Latin 1 numeric entities.  Don't
1492         decode &#0.
1493
1494 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
1495
1496         * ftp-opie.c (calculate_skey_response): Use uint32_t instead of
1497         `unsigned long' for the cheksum array.  Document the function.
1498
1499 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
1500
1501         * connect.c (acceptport): Don't call select_fd when timeout is not
1502         requested.
1503
1504 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
1505
1506         * host.c: Removed the ip_default_family global variable.
1507
1508         * host.c (lookup_host): Document the function.  Fixed declaration
1509         of VEC.
1510
1511 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
1512
1513         * various: Use new macros xnew, xnew0, xnew_array, and xnew0_array
1514         in various places.
1515
1516 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
1517
1518         * wget.h: Move declarations of malloc and logging code to
1519         xmalloc.h and log.h respectively to unclutter this file.
1520         (STRDUP_ALLOCA): Made it side-effect free.
1521
1522         * xmalloc.h: New files.  Define macros xnew, xnew0, xnew_array,
1523         and xnew0_array.
1524
1525         * xmalloc.c: New file.  Move the xmalloc routines here.
1526
1527 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
1528
1529         * connect.c (sockaddr_set_data): Remove the broken code that
1530         checked for NULL address.
1531
1532 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
1533
1534         * host.c (address_list_from_single): Removed.
1535         (address_list_from_ipv4_addresses): Renamed from
1536         address_list_from_vector.
1537
1538 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
1539
1540         * sysdep.h (CLOSE): Don't call close on file descriptors less than
1541         0, i.e. on uncreated sockets.
1542
1543         * connect.c (resolve_bind_address): Work on struct sockaddr
1544         directly.
1545         (connect_to_host): Replacement for connect_to_many.  Resolve HOST
1546         and connect to any of its addresses.  If we can't connect and the
1547         host name lookup was cached, try to resolve it again.  This should
1548         fix problems with hosts behind dynamic DNS.  Updated all callers.
1549         (connect_to_ip): Replacement for connect_to_one.  Removed SILENT;
1550         added the argument PRINT instead.  Updated all callers.
1551         (set_connection_host_name): Removed.
1552
1553         * host.c (address_list_address_at): New function instead of
1554         address_list_copy_one. It returns a pointer to ip_address *, so
1555         it's not necessary to copy the data.
1556         (address_list_cached_p): New function.
1557         (forget_host_lookup): Ditto.
1558
1559         * connect.c: Got rid of the MSOCK global variable.  Made bindport
1560         return the local socket it creates.  Added a new argument to
1561         acceptport, the socket to call accept on.  Updated callers.
1562         (closeport): Removed.
1563
1564         * connect.c: Moved the sockaddr code from host.c to this file,
1565         because most of that stuff is used for connecting, and has nothing
1566         to do with host names anyway.
1567         (sockaddr_set_data, sockaddr_get_data): New functions, replace the
1568         old sockaddr_set_address, sockaddr_set_port, sockaddr_get_address,
1569         and sockaddr_get_port.
1570
1571 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
1572
1573         * sysdep.h: Use `S >= 8' rather than `S == 8' when looking for
1574         large integers.
1575
1576 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
1577
1578         * url.c (append_uri_pathel): New argument ESCAPED_P that says
1579         whether [B, E) is to be treated as URL-escaped or not.  If
1580         ESCAPED_P is false, don't unescape the region.
1581         (url_file_name): u->file is not URL-escaped.
1582
1583 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
1584
1585         * retr.c (retrieve_from_file): Use retrieve_tree for
1586         page-requisites.
1587
1588         * main.c (main): Don't define opt.recursive when -p is used.
1589         Instead, make sure that recursion is used for HTTP in that case.
1590
1591 2003-10-29  Hrvoje Niksic  <hniksic@xemacs.org>
1592
1593         * host.h: Defined accessors for elements of ip_address.  Updated
1594         all callers.
1595         (address_list_match_all): Use memcmp in the non-IPv6 case.
1596
1597         * wget.h (CONNECT_ERROR): Don't retry connecting if connect()
1598         returned EAFNOSUPPORT.
1599
1600 2003-10-27  Mauro Tortonesi <mauro@deepspace6.net>
1601
1602         * connect.h: changed bindport prototype and added the related
1603         BIND_ON_IPV4_ONLY and BIND_ON_IPV6_ONLY flags.
1604
1605         * connect.c: changed bindport and resolve_bind_address to allow
1606         protocol-version specific DNS resolution. modified conaddr,
1607         acceptport and connect_to_one to make use of struct
1608         sockaddr_storage and of the new ip_address structure.
1609
1610         * ftp-basic.c: added LPRT/LPSV (RFC1639) support, refactored
1611         PORT/PASV (RFC959) and EPRT/EPSV (RFC2428) support code.
1612
1613         * ftp.c: added the ftp_do_port and ftp_do_pasv functions to
1614         handle FTP over IPv6.
1615
1616         * ftp.h: changed prototype of ftp_epsv and added prototypes for
1617         ftp_lpsv, ftp_lprt and ftp_eprt.
1618
1619         * host.c: renamed the
1620         wget_sockaddr_set_address and wget_sockaddr_get_addr, and
1621         wget_sockaddr_{s,g}et_port couples to sockaddr_{s,g}et_address and
1622         sockaddr_{g,s}et_port respectively.  changed
1623         address_list_match_all, address_list_from_addrinfo sockaddr_len,
1624         pretty_print_address, lookup_host, sockaddr_{s,g}et_address and
1625         sockaddr_{g,s}et_port to make use of struct sockaddr_storage and
1626         of the new ip_address structure.  removed map_ipv4_to_ip and
1627         map_ip_to_ipv4.
1628
1629         * host.h: redefined structure ip_address and removed structure
1630         wget_sockaddr.
1631
1632 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
1633
1634         * sysdep.h: Include inttypes.h where available.
1635
1636         * host.c: Switch from u_int32_t to uint32_t.
1637
1638 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
1639
1640         * netrc.c (parse_netrc): Reset the QUOTE flag after the closing
1641         quote.
1642
1643 2003-10-25  Hrvoje Niksic  <hniksic@xemacs.org>
1644
1645         * url.c (is_valid_ipv6_address): Reformat to GNU coding style.
1646         Use enums for NS_IN* constants.  Use ISXDIGIT.
1647
1648         * convert.c (construct_relative): Document better how the function
1649         works.
1650
1651 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
1652
1653         * config.h.in: Deploy preprocessor magic to avoid Ultrix's
1654         <netdb.h> include <bitypes.h> which defines its own u_int32_t.
1655         Reported by Bernhard Simon.
1656
1657 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
1658
1659         * version.c: Bump version.
1660
1661 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
1662
1663         * url.c: Ditto.
1664
1665         * html-parse.c (advance_declaration): Don't use trailing comma in
1666         enum because older compilers don't support it.
1667
1668         * utils.c: Don't redefine HAVE_SIGSETJMP.
1669
1670 2003-10-16  Hrvoje Niksic  <hniksic@xemacs.org>
1671
1672         * convert.c (construct_relative): Don't handle absolute files
1673         specially -- for example, -P/tmp/foo shouldn't imply that
1674         converted files must refer to "/tmp/foo/..."!
1675
1676 2003-10-15  Hrvoje Niksic  <hniksic@xemacs.org>
1677
1678         * http.c: Consider status 307 a valid redirect.
1679
1680 2003-10-15  Philip Stadermann  <philip.stadermann@credativ.de>
1681
1682         * ftp.c (ftp_retrieve_glob): Correctly loop through the list whose
1683         elements might have been deleted.
1684
1685 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
1686
1687         * html-url.c (tag_handle_meta): Set the Refresh link to expect
1688         HTML.
1689         (append_one_url): Renamed to append_url.
1690
1691 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
1692
1693         * sysdep.h: Only define u_int32_t.
1694
1695 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
1696
1697         * utils.c (large_int_to_string): Use snprintf() to print the
1698         number.  This will work even on systems where libc doesn't
1699         understand %lld, but the compiler does, because it will use our
1700         snprintf replacement.
1701
1702         * init.c (parse_bytes_helper): New function.
1703         (cmd_bytes): Use it to parse bytes, but cast the result to long.
1704         (cmd_bytes_large): Ditto, but store the result to LARGE_INT.  Used
1705         for --quota so that --quota=10G works even on machines without
1706         long long.
1707
1708         * options.h (struct options): Declare quota as LARGE_INT.
1709
1710         * retr.c (downloaded_exceeds_quota): Removed.
1711         (downloaded_increase): Ditto.
1712         (total_downloaded_bytes): New variable, replaces opt.downloaded,
1713         which was the wrong place for it anyway.  Updated callers of
1714         downloaded_exceeds_quota and downloaded_increase to check this
1715         variable directly.
1716
1717         * sysdep.h: Get rid of VERY_LONG_TYPE.  Use LARGE_INT for the same
1718         purpose, defined as `long', `long long' or `double', depending on
1719         size of long and whether long long is available.
1720
1721 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
1722
1723         * sysdep.h: Also check size of short for int32_t.
1724
1725 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
1726
1727         * host.c (lookup_host): Use u_int32_t to store the result of
1728         inet_addr().  That removes the need for offset fiddling, caring
1729         about endian-ness, etc.
1730
1731         * sysdep.h: Define int32_t and u_int32_t if not available.
1732
1733 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
1734
1735         * ftp-basic.c (ftp_epsv): Use socklen_t * as the third argument to
1736         getpeername.
1737
1738         * config.h.in: Define socklen_t stub.
1739
1740         * host.c (sockaddr_len): Return socklen_t.
1741
1742         * connect.c (conaddr): Use socklen_t as the third argument to
1743         accept, getsockname, and connect.
1744
1745 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
1746
1747         * recur.c (retrieve_tree): Don't descend into documents that are
1748         not expected to contain HTML, regardless of their content-type.
1749
1750         * html-url.c (tag_url_attributes): Record which attributes are
1751         supposed to yield HTML links that can be followed.
1752         (tag_find_urls): Propagate that information to the caller through
1753         struct urlpos.
1754
1755 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
1756
1757         * hash.c (find_mapping): Return the next available mapping when
1758         the key is not found, not NULL.
1759         (hash_table_put): Use find_mapping to find the storage for the new
1760         data.
1761         (hash_table_put): Grow the table before exceeding maximum
1762         fullness, not afterwards.
1763
1764 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
1765
1766         * hash.c (hash_table_new): Slightly change the meaning of the
1767         first parameter.  Instead of being the minimum initial size, it is
1768         now the minimum number of items that the hash table can take
1769         without needing to resize.
1770
1771 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
1772
1773         * html-url.c (init_interesting): Initialize interesting_tags and
1774         interesting_attributes as hash tables.  This simplifies the code
1775         immensely because hash tables handle allocation and remove
1776         duplicates automatically.
1777         (find_tag): Removed.
1778         (collect_tags_mapper): Instead of calling find_tag, simply get the
1779         entry from interesting_tags hash table, which is both simpler and
1780         faster.
1781
1782 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
1783
1784         * hash.c (hash_table_get): Declare hash-table argument as const.
1785         (find_mapping): Ditto.
1786         (hash_table_get_pair): Ditto.
1787         (hash_table_contains): Ditto.
1788         (hash_table_count): Ditto.
1789
1790 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1791
1792         * html-url.c (get_urls_html): Parse the appropriate flags to
1793         html-parse.c.
1794
1795         * html-parse.c (map_html_tags): Accept FLAGS from the caller
1796         instead of examining OPT.
1797
1798 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1799
1800         * html-url.c (find_tag): Switch to binary search.
1801
1802 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1803
1804         * main.c (print_help): Fix typo; stured -> stored.
1805
1806 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1807
1808         * getopt.c: Add definitions of getopt_long and getopt_long_only.
1809
1810 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1811
1812         * config.h.in: Renamed DEBUG to ENABLE_DEBUG.  ENABLE_DEBUG is, I
1813         think, a better name, because it implies that debugging output is
1814         merely possible, not "on by default", as might be construed from
1815         just DEBUG.
1816
1817 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1818
1819         * ftp.c (has_insecure_name_p): Define it here.
1820
1821         * utils.c (has_wildcards_p): Define it here.
1822
1823         * sysdep.h: Declare fnmatch-related macros here, if not using
1824         system fnmatch().  Update .c files to not declare fnmatch.h
1825         directly.
1826
1827         * cmpt.c (fnmatch): Moved here.  Use it only under non-GNU libc.
1828
1829 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1830
1831         * getopt.c: Newer version, imported from Free libit.
1832
1833 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
1834
1835         * cookies.c (struct cookie): Remove unused backpointer to cookie
1836         jar.
1837
1838 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
1839
1840         * cmpt.c (memmove): Comment out, since it's no longer used.
1841
1842         * cookies.c (cookie_jar_generate_cookie_header): Allocate room for
1843         chains in one pass.
1844         (find_chains_of_host): Assume that the caller has allocated DEST
1845         to be sufficiently large to take all the data.
1846         (eliminate_dups): Run through the array and eliminate dups on the
1847         fly instead of using memmove.
1848         (cookie_jar_process_set_cookie): Free cookie->domain before
1849         re-setting it.
1850
1851 2003-10-05  Gisle Vanem  <giva@bgnett.no>
1852
1853         * mswindows.c (set_sleep_mode): Fix type of
1854         _SetThreadExecutionState.
1855
1856 2003-10-05  Hrvoje Niksic  <hniksic@xemacs.org>
1857
1858         * utils.c (file_size): Return -1 if fopen() returns NULL.  Prior
1859         to this patch, wget --post-file=nosuchfile dumped core.
1860
1861 2003-10-04  Gisle Vanem  <giva@bgnett.no>
1862
1863         * mswindows.c (run_with_timeout): Use WaitForSingleObject to wait
1864         for thread termination.
1865
1866 2003-10-04  Hrvoje Niksic  <hniksic@xemacs.org>
1867
1868         * log.c: Use `...' in function definitions; ansi2knr will convert
1869         them to va_dcl.  This allowed removal of the ugly VA_START_1 and
1870         VA_START_2 macros.
1871
1872 2003-10-03  Gisle Vanem  <giva@bgnett.no>
1873
1874         * connect.c: And don't include them here.
1875
1876         * mswindows.h: Include winsock headers here.
1877
1878 2003-10-03  Hrvoje Niksic  <hniksic@xemacs.org>
1879
1880         * html-parse.c (convert_and_copy): Move variable declarations
1881         before statements.
1882
1883 2003-10-02  Gisle Vanem  <giva@bgnett.no>
1884         
1885         * mswindows.c (run_with_timeout): For Windows: Run the 'fun' in a
1886         thread via a helper function. Continually query the thread's
1887         exit-code until finished or timed out.
1888
1889 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
1890
1891         * wget.h (XMALLOC_ARRAY): Removed.
1892         (ALLOCA_ARRAY): Ditto.
1893
1894         * html-parse.c: Renamed alloca_p to resized.
1895         (GROW_ARRAY): Renamed DO_REALLOC_FROM_ALLOCA to GROW_ARRAY and
1896         returned it to html-parse.c, since nothing else was using it.
1897
1898 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
1899
1900         * retr.c (retrieve_url): Initialize DUMMY storage for DT.  Caught
1901         by valgrind.
1902
1903 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
1904
1905         * html-parse.c (convert_and_copy): Handle numeric entities in
1906         hexadecimal, &#xHH.
1907         (convert_and_copy): Copy the contents directly to the pool without
1908         a stack-allocated intermediary.
1909
1910 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
1911
1912         * utils.c (alarm_set): New function; use either setitimer or alarm
1913         to set up the alarm.
1914         (alarm_cancel): New function; cancel the alarm set up by
1915         alarm_set.
1916         (run_with_timeout): Use them.
1917
1918 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
1919
1920         * url.c (url_parse): Don't leak memory when a reencoded URL turns
1921         out to be invalid.
1922
1923         * url.c (parse_errors): Mark error messages for translation.
1924         (url_error): Translate error messages returned to the caller.
1925
1926 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
1927
1928         * ftp.c (ftp_loop_internal): Initialize TMRATE to NULL to shut up
1929         the compiler.
1930
1931 2003-09-26  Gisle Vanem  <giva@bgnett.no>
1932
1933         * src/mswindows.c: Added ws_percenttitle() showing progress in the
1934         window titlebar. Called from retr.c. Secured ws_mypath().
1935
1936         * windows/config.h.ms: alloca() prototype not needed.  Removed
1937         "#undef ENABLE_NLS"; should be in Makefile IMHO. Moved
1938         WGET_USE_STDARG from mswindows.h to config.ms.h because of #ifdef
1939         in log.c. (MSVC's vararg.h and stdarg.h are incompatible).
1940
1941 2003-09-29  Aaron Hawley <Aaron.Hawley@uvm.edu>
1942
1943         * ftp.c (getftp): --spider option should now work with FTP
1944         downloads.
1945         (ftp_loop_internal): quiet reports and calculations of downloads
1946         when --spider option set, nor try deleting when --delete-after
1947         also set.
1948         (ftp_loop): --spider will skip HTML-ification of .listing file.
1949
1950 2003-09-26  Gisle Vanem  <giva@bgnett.no>
1951
1952         * mswindows.c (read_registry): Removed.
1953         (set_sleep_mode): New function.
1954         (windows_main_junk): Call it.
1955
1956 2003-09-26  Gisle Vanem  <giva@bgnett.no>
1957
1958         * mswindows.c (read_registry): Fix invocation of registry
1959         functions.
1960
1961         * mswindows.c (read_registry): Condition definitions of sleep and
1962         usleep with not HAVE_SLEEP and HAVE_USLEEP respectively.  Define
1963         HAVE_SLEEP and HAVE_USLEEP under __DMC__.
1964
1965 2003-09-24  Hrvoje Niksic  <hniksic@xemacs.org>
1966
1967         * url.c (url_escape_1): Revert unintentional change to lowercase
1968         xdigit escapes.
1969         (url_escape_dir): Document that this function depends on the
1970         output of url_escape_1.
1971
1972 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
1973
1974         * progress.c (create_image): Print the current ETA if we're done
1975         with the download.
1976         (create_image): Change '-' display char to '+' in the progress bar.
1977
1978         * Makefile.in (clean): Remove .libs.
1979
1980 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
1981
1982         * cookies.c (struct cookie): New flag domain_exact.
1983         (update_cookie_field): Skip leading dot in domain.
1984         (find_matching_chains): Match numeric addresses exactly; don't
1985         needlessly copy HOST to the stack.
1986         (matching_cookie): Added argument HOST.  If cookie->domain_exact
1987         is set, check that HOST is equal to cookie->domain.
1988         (cookie_jar_load): Only use TAB as delimiter.  Document the
1989         meaning of DOMAIN-FLAG.  Skip leading dot in domain.
1990         (cookie_jar_load): Don't ignore DOMAIN-FLAG -- instead, set
1991         domain_exact to true if DOMAIN-FLAG is false.
1992         (save_cookies_mapper): If domain_exact is false, prepend the
1993         domain with dot, like Mozilla does.
1994
1995 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
1996
1997         * progress.c (create_image): Print the initial part of the
1998         download with '-' characters, analogous to how dot progress prints
1999         the initial part with ','.
2000
2001         * hash.c (ptrhash): New function.
2002         (ptrcmp): Ditto.
2003         (hash_table_new): Default to identity hash table.
2004
2005 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
2006
2007         * safe-ctype.h (_sch_test): The cast of BIT to unsigned char was
2008         broken -- _sch_istable bitmasks are 16-bit, not 8-bit!  Cast BIT
2009         to unsigned short instead.
2010
2011 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
2012
2013         * url.c (path_simplify): Instead of calls to memmove, handle "./"
2014         and "../" by advancing pointers.
2015
2016 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
2017
2018         * retr.c (getproxy): Moved from url.c.
2019
2020         * convert.c: Split off link conversion from url.c into separate
2021         file.  Also included the book-keeping stuff from recur.c.
2022
2023 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
2024
2025         * init.c: Improved documentation of functions.
2026         (cmd_boolean): Attempt to make code that tries to avoid calling
2027         strcmp for "speed" a bit more readable.
2028
2029         * init.c (simple_atof): Report error on encountering non-digit,
2030         non-"." character.
2031         (simple_atoi): Replacement for myatoi(), calling interface
2032         compatible with simple_atof.  Updated myatoi's callers.
2033
2034 2003-09-21  Bertrand Demiddelaer  <bert@b3rt.org>
2035
2036         * url.c (path_simplify): Would read two bytes past the end of the
2037         string in the "./" case.
2038
2039 2003-09-21  Matthew J. Mellon  <mellon@tymenet.com>
2040
2041         * http.c (gethttp): Recognize content-type "application/xhtml+xml"
2042         as what Wget considers "text/html".
2043
2044 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
2045
2046         * connect.c (connect_with_timeout): Made timeout type double.
2047
2048         * options.h (struct options): New members read_timeout,
2049         dns_timeout, and connect_timeout.
2050         Use them.
2051
2052 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
2053
2054         * init.c (simple_atof): New function.
2055         (cmd_time): Use it.
2056         (cmd_bytes): Accept things like "1.5k" and such.  Use simple_atof
2057         to parse decimals.
2058
2059         * retr.c (limit_bandwidth): Adjust each sleep by the error of the
2060         previous one.
2061
2062 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
2063
2064         * main.c (main): Use setoptval() for setting the options.  Use
2065         run_command for `-e'.
2066
2067         * init.c (parse_line): Rewritten to return COMIND right away.
2068         Changed linkage to static.
2069         (run_wgetrc): Use the available comind when calling setval, so it
2070         doesn't have to be computed twice.
2071         (setval_internal): New function, runs the command's action without
2072         any error checking.
2073         (setoptval): New function, does what setval used to do, but exits
2074         in case of error.
2075         (run_command): New function.
2076
2077 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
2078
2079         * connect.c (select_fd): Change MAXTIME's type to double.  Handle
2080         its decimal part.
2081
2082         * retr.c (sleep_between_retrievals): In the random-wait case, use
2083         random_float() to wait between 0 and 2*opt.wait seconds.
2084
2085         * utils.c (run_with_timeout): Accept `double' timeouts.  Correctly
2086         handle timeout values in (0, 1) range.
2087         (random_float): New function.
2088
2089         * options.h (struct options): Change the types of wait, waitretry,
2090         and timeout to double.
2091
2092         * init.c (cmd_time): Accept floating point time.
2093
2094 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
2095
2096         * retr.c (get_contents): Cosmetic fixes.
2097
2098 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
2099
2100         * url.c (uri_merge): Get rid of uri_merge_1.
2101         (uri_merge): Merge "foo//", "bar" as "foo//bar", not "foo///bar",
2102         i.e. don't add an extra slash merely because BASE ends with two
2103         slashes.
2104         (parse_credentials): Renamed from parse_uname.  Rewrittern in
2105         standard [beg, end) calling style.
2106         (url_skip_credentials): Renamed from url_skip_uname.  Made static.
2107         (url_skip_credentials): Include # and ; as terminators.  Old code
2108         would mistakenly consider "http://foo.com#hniksic@iskon.hr" to
2109         contain a username.
2110         (url_skip_scheme): Removed because it was unused.
2111         (url_has_scheme): Require "scheme" to be at least one char long.
2112
2113 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
2114
2115         * url.c (url_file_name): Expect NULL dir_prefix.
2116
2117         * init.c (cmd_file): Use a macro to prevent multiple #ifdef
2118         WINDOWS.
2119         (defaults): Set dir_prefix to NULL by default.
2120
2121 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
2122
2123         * safe-ctype.h (_sch_test): Cast BIT to unsigned char, like latest
2124         gcc does.
2125
2126 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
2127
2128         * wget.h (BOUNDED_TO_ALLOCA): Evaluate PLACE only once.
2129         (ARRAY_SIZE): Renamed to countof.  All callers updated.
2130
2131 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
2132
2133         * main.c (main): New option --strict-comments.
2134
2135         * html-parse.c (find_comment_end): New function: simple BM search
2136         for "-->".
2137         (map_html_tags): Use it if looking at a comment and not in strict
2138         comments mode.
2139
2140 2003-09-17  Aurelien Marchand  <artaxerxes@users.sf.net>
2141
2142         * ftp.h: Added OS400 system in enum
2143         * ftp-basic.c: recognize OS400 systems
2144         * ftp.c: don't prepend the CWD if talking to OS400, since it
2145         breaks the change in library
2146
2147 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
2148
2149         * retr.c (get_contents): Pass the correct argument to ssl_iread.
2150
2151 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
2152
2153         * safe-ctype.h: Don't #define ctype.h macros to errors because
2154         that loses when someone #include's ctype.h after safe-ctype.h.
2155
2156 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
2157
2158         * url.c: Undef U, W, C after use.
2159
2160 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
2161
2162         * init.c (cmd_spec_restrict_file_names): Allow the OS setting to
2163         be augmented by ",nocontrol" which means don't escape the control
2164         characters, but otherwise keep OS settings.
2165
2166         * url.c (file_unsafe_char): Deleted.
2167         (append_uri_pathel): Query filechr_table directly.
2168         (filechr_table): Separated Unix, Windows, and control-unsafe
2169         characters.
2170
2171 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
2172
2173         * url.c (url_escape_1): New function.
2174         (url_escape): Use it.
2175         (sync_path): Handle pathological cases where u->file and u->dir
2176         contain really strange characters.
2177         (ENCODE): Deleted.
2178         (REENCODE): Deleted.
2179
2180 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
2181
2182         * url.c (url_file_name): Don't reallocate FNAME if the file
2183         doesn't exist, as is usually the case.
2184
2185         * utils.c (unique_name): New flag allow_passthrough.
2186
2187 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
2188
2189         * utils.c (wtimer_sys_diff): Convert the time difference to signed
2190         __int64, then to double.  This works around MS VC++ 6 which can't
2191         convert unsigned __int64 to double directly.
2192
2193 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
2194
2195         * Makefile.in (clean): Also remove the core.<number> files
2196         produced by recent Linux systems.
2197
2198 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
2199
2200         * http.c (post_file): Don't pad the file if it's not large
2201         enough.  Bail out instead.
2202
2203 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
2204
2205         * retr.c (get_contents): Reduce the buffer size to the amount of
2206         data that may pass through for one second.  This prevents long
2207         sleeps when limiting bandwidth.
2208
2209         * connect.c (connect_to_one): Reduce the socket's RCVBUF when
2210         bandwidth limitation to small values is requested.
2211
2212 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
2213
2214         * progress.c (update_speed_ring): Moved the speed ring update to a
2215         separate function and documented it better.
2216
2217         * progress.c: Use `double' for most timers to support granularity
2218         smaller than 1ms.
2219
2220 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
2221
2222         * wget.h (XDIGIT_TO_XCHAR): Implement as index into a literal
2223         string.
2224         (XDIGIT_TO_xchar): Ditto.
2225
2226 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
2227
2228         * utils.c: Change the type of timer-related functions from long to
2229         double, for better precision.  On machines supporting gettimeofday
2230         the timers now work with granularity of less than one millisecond.
2231
2232 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
2233
2234         * cookies.c (parse_set_cookies): Fixed the parser to handle more
2235         edge conditions.
2236         (test_cookies): New function, contains a test suite for
2237         parse_set_cookies.
2238
2239 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
2240
2241         * url.c (strpbrk_or_eos): Implement as a macro under Gcc.
2242
2243 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
2244
2245         * cookies.c (parse_set_cookies): Allow trailing space in
2246         set-cookies header.  Also, allow any amount of whitespace, not
2247         only one character.  Allow empty set-cookies header without
2248         spewing an error.
2249
2250 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
2251
2252         * url.c (append_uri_pathel): Use opt.restrict_file_names when
2253         calling file_unsafe_char.
2254
2255         * init.c: New command restrict_file_names.
2256
2257         * main.c (main): New option --restrict-file-names[=windows,unix].
2258
2259         * url.c (url_file_name): Renamed from url_filename.
2260         (url_file_name): Add directory and hostdir prefix here, not in
2261         mkstruct.
2262         (append_dir_structure): New function, does part of the work that
2263         used to be in mkstruct.  Iterates over path elements in u->path,
2264         calling append_uri_pathel on each one to append it to the file
2265         name.
2266         (append_uri_pathel): URL-unescape a path element and reencode it
2267         with a different set of rules, more appropriate for handling of
2268         files.
2269         (file_unsafe_char): New function, uses a lookup table to decide
2270         whether a character should be escaped for use in file name.
2271         (append_string): New utility function.
2272         (append_char): Ditto.
2273         (file_unsafe_char): New argument restrict_for_windows, decide
2274         whether Windows file names should be escaped in run-time.
2275
2276         * connect.c: Include <stdlib.h> to get prototype for abort().
2277
2278 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
2279
2280         * utils.c (wtimer_sys_set): Extracted the code that sets the
2281         current time here.
2282         (wtimer_reset): Call it.
2283         (wtimer_sys_diff): Extracted the code that calculates the
2284         difference between two system times here.
2285         (wtimer_elapsed): Call it.
2286         (wtimer_elapsed): Don't return a value smaller than the previous
2287         one, which could previously happen when system time is set back.
2288         Instead, reset start time to current time and note the elapsed
2289         offset for future calculations.  The returned times are now
2290         guaranteed to be monotonically nondecreasing.
2291
2292 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
2293
2294         * host.c (lookup_host): Print the result of the DNS lookup.
2295
2296 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
2297
2298         * init.c (cmd_boolean): Accept yes/no along with on/off.
2299         (cmd_lockable_boolean): Ditto.
2300
2301 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
2302
2303         * init.c: New command dns_cache.
2304
2305         * main.c (main): New option --dns-cache[=off].
2306
2307 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
2308
2309         * config.h.in: Initialize HAVE_GETADDRINFO and ENABLE_IPV6.
2310
2311         * all: Use #ifdef ENABLE_IPV6 instead of the older INET6.  Use
2312         HAVE_GETADDRINFO for getaddrinfo-related stuff.
2313
2314 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
2315
2316         * url.c (url_parse): Return an error if the URL contains a [...]
2317         IPv6 numeric address and we don't support IPv6.
2318
2319 2003-09-05  Hrvoje Niksic  <hniksic@xemacs.org>
2320
2321         * url.c (is_valid_ipv6_address): Modified to not require
2322         zero-terminated strings.
2323         (is_valid_ipv4_address): Ditto.
2324
2325 2003-09-05  Mauro Tortonesi <mauro@deepspace6.net>
2326
2327         src/url.c: added RFC 2732 compliance for URL parsing. The
2328         functions is_*_address valid are a modified version of
2329         glibc 2.3.2 inet_pton's code.
2330
2331 2003-09-03  Ahmon Dancy  <dancy@dancysoft.com>
2332
2333         * main.c init.c options.h: Added --retry-connrefused option so
2334         that Connection Refused failures are treated as non-fatal (when
2335         trying to retrieve from busy servers).
2336
2337         * wget.h: New CONNECT_ERROR macro for encapsulating this
2338         modification.
2339
2340         * ftp.c http.c : Use CONNECT_ERROR macro in places where
2341         ECONNREFUSED was checked.
2342
2343 2003-01-11  Ian Abbott  <abbotti@mev.co.uk>
2344
2345         * ftp.c (ftp_retrieve_glob): Reject insecure filenames as determined
2346         by calling new function has_insecure_name_p.  This is based on a
2347         patch by Red Hat.
2348
2349         * fnmatch.c (has_insecure_name_p): New function: returns non-zero
2350         if filename starts with `/' or contains `../' and is therefore
2351         considered insecure.
2352
2353         * fnmatch.h: Declare has_insecure_name_p().
2354
2355 2002-08-03  Hrvoje Niksic  <hniksic@xemacs.org>
2356
2357         * init.c (cmd_file): Allocate RESULT correctly.
2358
2359 2002-07-24  Hrvoje Niksic  <hniksic@xemacs.org>
2360
2361         * recur.c (retrieve_tree): Check whether downloaded_html_set is
2362         non-NULL before using it.
2363
2364 2002-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2365
2366         * html-parse.c (NAME_CHAR_P): Allow almost any character here.
2367
2368 2002-05-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2369
2370         * progress.c (bar_set_params): Fall back to dot progress if the
2371         terminal type is "emacs".
2372
2373 2002-05-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2374
2375         * log.c: Don't #undef WGET_USE_STDARG.
2376
2377 2002-05-16  Hrvoje Niksic  <hniksic@arsdigita.com>
2378
2379         * hash.c (prime_size): Store the offset of the prime number in the
2380         prime table.  When searching, start with the given offset.
2381         (hash_table_new): Pass the pointer to ht->prime_offset to
2382         prime_size.
2383         (grow_hash_table): Ditto.
2384         (prime_size): Make 13 the first prime to make empty hash tables
2385         slightly smaller.
2386
2387 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
2388
2389         * recur.c (download_child_p): Minor optimization to avoid an
2390         unnecessary additional call to schemes_are_similar_p function.
2391
2392 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
2393
2394         * url.c (schemes_are_similar_p): New function to test enumerated
2395         scheme codes for similarity.
2396
2397         * url.h: Declare it.
2398
2399         * recur.c (download_child_p): Use it to compare schemes.  This
2400         also fixes a bug that allows hosts to be spanned (without the
2401         -H option) when the parent scheme is https and the child's is
2402         http or vice versa.
2403
2404 2002-05-14  Bill Richardson  <bill@riverstonenet.com>
2405
2406         * ftp.c (getftp): Don't ftruncate stdout.
2407
2408         * http.c (gethttp): Don't ftruncate stdout.
2409
2410 2002-05-09  Ian Abbott  <abbotti@mev.co.uk>
2411
2412         * cmpt.c (strptime_internal): Synched with glibc-2.1.3.
2413         (get_number): Ditto.
2414         (get_alt_number): Ditto.
2415         (__isleap): New function-like macro used by strptime.
2416         (day_of_the_week): New function used by strptime.
2417         (day_of_the_year): Ditto.
2418         (__mon_yday): Now shared by mktime and strptime implementations.
2419
2420 2002-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
2421
2422         * cookies.c (check_domain_match): Use match_tail in case
2423         insensitive mode.
2424
2425         * utils.c (match_tail): Allow the caller to specify case
2426         insensitive mode.
2427
2428         * cookies.c (store_cookie): When expiry_time is 0, print it as
2429         undefined, not indefinite.
2430
2431 2002-05-07  Ian Abbott  <abbotti@mev.co.uk>
2432
2433         * cookies.c (cookie_jar_process_set_cookie): Do not store
2434         discarded cookie.
2435
2436 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
2437
2438         * cookies.c (check_domain_match): Allow cookies to be set for
2439         subdomains of unknown top-level domains under some circumstances.
2440
2441 2002-04-21  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
2442
2443         * gen_ssl.c:
2444         - allow checking of server cert
2445         - allow defining client cert type
2446         - allow limit of ssl protocol
2447         - check more return values
2448         - added debug message on break
2449
2450 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
2451
2452         * recur.c (download_child_p): Revert order of items in check
2453         number 6 for clarity.
2454
2455 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2456
2457         * init.c: Ditto.
2458
2459         * main.c: Ditto.
2460
2461         * http.c: Use the new interface.
2462
2463         * cookies.c: Provide an OO-style "cookie jar" interface to enable
2464         separate cookie jars.
2465
2466         * http.c (http_atotm): Declare argument as const.
2467
2468 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2469
2470         * cookies.c (cookie_new): Default to PORT_ANY.
2471         (find_cookie_chain_exact): Only search by DOMAIN.
2472         (find_matching_cookie): Also check that PORT matches.
2473         (store_cookie): Only match the domain.
2474         (set_cookie_header_cb): When a cookie "fakes" a domain, assume it
2475         is valid for that host rather than discarding it completely.
2476         (find_matching_chains): Don't search by PORT.
2477         (matching_cookie): Also match PORT.
2478         (load_cookies): Set the port if specified, otherwise leave it as
2479         ANY.
2480         (save_cookies_mapper): Save the port if specified, otherwise leave
2481         it empty.
2482
2483 2002-04-19  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
2484
2485         * init.c: The option `egdfile' was not in sort order.
2486
2487 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
2488
2489         * ftp.c (getftp): Treat directories that begin with <letter>: as
2490         absolute.
2491         (getftp): Strip trailing slashes from con->id before merging it
2492         with TARGET.
2493
2494 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
2495
2496         * http.c (gethttp): If Content-Type is not given, assume
2497         text/html.
2498
2499 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
2500
2501         * recur.c (download_child_p): Don't ignore rejection of HTML
2502         documents that are themselves leaves of recursion.
2503
2504 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
2505
2506         Makefile.in: Updated several dependencies for object files to take
2507         account of nested include files.
2508
2509 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
2510
2511         Makefile.in: The target `connect$o' (connect.o) now depends on
2512         `utils.h'
2513
2514 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
2515
2516         * host.c (SET_H_ERRNO): New function-like macro to set `h_errno'.
2517         (gethostbyname_with_timeout): Use it.
2518
2519         * utils.c: Don't define `SETJMP()', `run_with_timeout_env' or
2520         `abort_run_with_timeout()' when `USE_SIGNAL_TIMEOUT' is undefined.
2521
2522 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
2523
2524         * host.c (getaddrinfo_with_timeout): New function.
2525         (gethostbyname_with_timeout): Ditto.
2526         (lookup_host): Use them.
2527
2528 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2529
2530         * utils.c (number_to_string): Handle the case when n < -INT_MAX.
2531
2532 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2533
2534         * init.c (comind): Use a marginally faster implementation of
2535         binary search.  To quote Martin Buchholz, "a nanosecond saved is a
2536         nanosecond earned."
2537
2538 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2539
2540         * main.c (print_help): Document `--post-data' and `--post-file'.
2541
2542 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2543
2544         * http.c (gethttp): Ditto.
2545
2546         * retr.c (retrieve_url): Initialize variables to appease the
2547         compiler.
2548
2549         * gen_sslfunc.c (ssl_iread): Don't handle EINTR when calling
2550         select_fd.
2551         (ssl_iwrite): Ditto.
2552
2553         * connect.c (select_fd): Rewrite to handle EINTR.  Set errno to
2554         ETIMEDOUT in case of timeout.
2555         (iread): No need to handle EINTR when calling select_fd.
2556         (iwrite): Ditto.
2557
2558 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2559
2560         * retr.c (retrieve_url): Make sure that POST is not honored for
2561         redirections.
2562
2563         * http.c (gethttp): Send the POST data when requested.
2564         (post_file): New function.
2565         (gethttp): Use it.
2566
2567         * main.c (main): Ditto.
2568
2569         * init.c: Add new options.
2570
2571         * options.h (struct options): New options post_data and
2572         post_file_name.
2573
2574 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2575
2576         * connect.c (connect_with_timeout): Firing SIGALRM can result in
2577         connect() exiting with EINTR.  Treat EINTR the same as ETIMEDOUT.
2578
2579 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2580
2581         * connect.c (connect_with_timeout): Use it.
2582
2583         * utils.c (run_with_timeout): New function.
2584
2585 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2586
2587         * url.c (getproxy): Accept a struct url argument.  This obviates
2588         the need for USE_PROXY_P.
2589
2590         * retr.c (retrieve_url): Allow proxy to be a non-FTP URL.
2591
2592         * ftp.c (getftp): Recognize FWTK-style proxy.
2593
2594 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2595
2596         * config.h.in: Only define _VA_LIST when compiled with gcc.
2597
2598 2002-04012  Ian Abbott  <abbotti@mev.co.uk>
2599
2600         * http.c (http_loop): Compensate for MS Windows two-second
2601         granularity of file modification time when comparing timestamps.
2602
2603         * ftp.c (ftp_retrieve_list): Ditto.
2604
2605 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
2606
2607         * utils.c (has_html_suffix_p): New function to test filename for
2608         common html extensions.
2609
2610         * utils.h: Declare it.
2611
2612         * http.c (http_loop): Use it instead of previous test.
2613
2614         * retr.c (retrieve_url): Ditto.
2615
2616         * recur.c (download_child_p): Ditto.
2617
2618 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2619
2620         * config.h.in: Define _VA_LIST on Solaris to prevent stdio.h from
2621         declaring va_list.
2622         From Kevin Rodgers <kevinr@ihs.com>.
2623
2624 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
2625
2626         * Makefile.in: Specify libtool mode explicitly when linking.
2627
2628 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2629
2630         * connect.c (connect_with_timeout): New function.
2631         (connect_to_one): Use it.
2632
2633         * config.h.in: Add stubs for HAVE_SIGSETJMP, HAVE_SIGBLOCK, and
2634         HAVE_SETJMP_H.
2635
2636 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2637
2638         * log.c: Set WGET_USE_STDARG if __STDC__ is defined and stdarg.h
2639         is present.
2640
2641 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2642
2643         * progress.c (bar_create): If INITIAL is larger than TOTAL, fix
2644         TOTAL.
2645         (bar_finish): Likewise.
2646
2647 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2648
2649         * html-url.c (tag_handle_form): New function.  Pick up form
2650         actions and mark them for conversion only.
2651
2652 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2653
2654         * progress.c (struct progress_implementation): Use PARAMS when
2655         declaring the parameters of *create, *update, *finish, and
2656         *set_params.
2657
2658         * netrc.c: Ditto.
2659
2660         * http.c: Reformat some function definitions so that ansi2knr can
2661         read them.
2662
2663         * hash.c (struct hash_table): Use the PARAMS macro around
2664         parameters in the declaration of hash_function and test_function.
2665         (prime_size): Spell 2580823717UL and 3355070839UL as (unsigned
2666         long)0x99d43ea5 and (unsigned long)0xc7fa5177 respectively, so
2667         that pre-ANSI compilers can read them.
2668         (find_mapping): Use PARAMS when declaring EQUALS.
2669         (hash_table_put): Ditto.
2670
2671         * ftp.h: Wrap the parameters of ftp_index declaration in PARAMS.
2672
2673         * cookies.c (cookie_new): Use (unsigned long)0 instead of 0UL,
2674         which was unsupported by pre-ANSI compilers.
2675
2676         From Nelson H. F. Beebe <beebe@math.utah.edu>, for the most part.
2677
2678 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2679
2680         * url.c (url_filename): Use compose_file_name regardless of
2681         whether opt.dirstruct is set.
2682         (mkstruct): Don't handle the query and the reencoding of DIR; that
2683         is done in compose_file_name.
2684
2685 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2686
2687         * wget.h: Ditto for extern char *exec_name.
2688
2689         * options.h: Don't guard against OPTIONS_DEFINED_HERE -- it is
2690         perfectly legal to follow an `extern' with a non-`extern' ones,
2691         provided the types match.
2692
2693         * main.c: Don't define OPTIONS_DEFINED_HERE.
2694
2695 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2696
2697         * progress.c (create_image): Revert to calculating ETA based on
2698         average download speed.
2699         (create_image): Don't print ETA until the download has been active
2700         for at least 3 seconds.
2701         (create_image): When ETA is not available, don't print anything.
2702         The previous version would print --:--.
2703
2704 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2705
2706         * progress.c (bar_update): Keep updating a subinterval until it
2707         reaches or exceeds a watermark.  That way the measurement will be
2708         guaranteed to span a configurable minimum of time.  The current
2709         default is 3s in 30 100ms intervals.
2710
2711 2002-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2712
2713         * progress.c (bar_update): Maintain an array of the time it took
2714         to perform previous 30 network reads.
2715         (create_image): Calculate the download speed and ETA based on the
2716         last 30 reads, not the entire download.
2717         (create_image): Make sure that the ETA is not changed more than
2718         once per second.
2719
2720 2002-04-09  Ian Abbott  <abbotti@mev.co.uk>
2721
2722         * mswindows.c (borland_utime): New function conditionally defined
2723         when `HACK_BCC_UTIME_BUG' is defined.  A reimplementation of
2724         `utime()' as Borland's `utime()' function is broken on Windows 9x
2725         systems.  (Original patch by Chin-yuan Kuo <sr1111111@yahoo.com.tw>.)
2726
2727 2002-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
2728
2729         * ftp.c (ftp_loop): Propagate the result of ftp_retrieve_glob.
2730
2731 2002-03-26  Ian Abbott  <abbotti@mev.co.uk>
2732
2733         * Makefile.in: Updated several dependencies for object files.
2734
2735 2002-03-20  Ian Abbott  <abbotti@mev.co.uk>
2736
2737         * mswindows.c: Include "utils.h".
2738
2739 2002-03-18  Ian Abbott  <abbotti@mev.co.uk>
2740
2741         * host.h: Don't include netdb.h on windows.
2742
2743 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2744
2745         * recur.c (retrieve_tree): Handle the case when start_url doesn't
2746         parse.
2747
2748 2002-02-19  Andreas Damm  <andreas-sourceforge@radab.org>
2749
2750         * wget.h (DO_REALLOC_FROM_ALLOCA): Multiply with sizeof(type) when
2751         calling xmalloc and memcpy.
2752
2753 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2754
2755         * host.h: Include Unix-specific includes #ifndef WINDOWS.
2756         Patch originally provided by Christian Lackas.
2757
2758 2002-02-11  Christian Lackas  <delta@lackas.net>
2759
2760         * recur.c: recurive downloading for https fixed.
2761
2762 2002-02-19  Alan Eldridge  <alane@geeksrus.net>
2763
2764         * host.h: Also include <netinet/in.h> and <sys/socket.h>.
2765
2766         * ftp-basic.c: Also include <netinet/in.h>.
2767
2768 2002-02-05  Ian Abbott  <abbotti@mev.co.uk>
2769
2770         * http.c (gethttp): when -c used, mark already fully retrieved
2771         file as successfully retrieved.
2772
2773 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2774
2775         * url.c (url_parse): Don't treat '?' as query string separator
2776         when parsing FTP URLs.
2777
2778 2002-02-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2779
2780         * html-url.c (tag_handle_meta): Don't crash on <meta
2781         http-equiv=refresh> where content is missing.
2782
2783 2002-01-31  Herold Heiko  <Heiko.Herold@previnet.it>
2784
2785         * ftp-basic.c, host.c: don't include sys/socket.h, arpa/inet.h,
2786         netdb.h on windows.
2787
2788 2002-01-30  Hrvoje Niksic  <hniksic@arsdigita.com>
2789
2790         * retr.c (retrieve_url): Remove redirection cycle detection.  This
2791         is because some sites legitimately redirect the user back to the
2792         same location, e.g. after an authorization check performed by
2793         another page.  MAX_REDIRECTIONS is still used to prevent infinite
2794         redirection loops.
2795
2796 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2797
2798         * http.c (gethttp): Wrap host name in square brackets if it
2799         contains a colon.
2800
2801 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2802
2803         * url.c (url_parse): Allow all hex digits, not only decimal ones,
2804         to form an IP address.
2805
2806 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2807
2808         * url.c (urlchr_table): Make square braces reserved, so we can
2809         parse http://[::1]/.
2810         (url_parse): Handle host in braces.
2811         (url_string): If url->host contains colons, wrap it in braces.
2812
2813 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2814
2815         * connect.c (resolve_bind_address): New function.
2816         (connect_to_one): Use it.
2817         (bindport): Ditto.
2818
2819         * init.c: Don't resolve bind-address here.
2820
2821         * host.c (wget_sockaddr_set_address): Would bug out with ADDR == NULL.
2822
2823 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2824
2825         * host.c (lookup_host): Use sizeof(ip4_address) to calculate the
2826         offset.
2827         (address_list_new): Use map_ipv4_to_ip.
2828         (wget_sockaddr_set_address): Convert ADDR to IPv4 before using it
2829         in IPv4 context.
2830
2831 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2832
2833         * source: Integrated IPv6 support.
2834         Written by Thomas Lussnig <thomas.lussnig@bewegungsmelder.de>.
2835
2836 2002-01-15  Ian Abbott  <abbotti@mev.co.uk>
2837
2838         * init.c (cmd_file): Change `\' to `/' for Windows (yes, really!)
2839         (cmd_directory): New function. Like cmd_file(), but strips
2840         trailing directory separators.
2841         (commands): Change action for "dirprefix" from `cmd_file' to
2842         `cmd_directory'.
2843
2844         * utils.c (make_directory): Allow intermediate `mkdir' calls to
2845         fail, as not all path components that do not exist should be
2846         directory components, especially under Windows.
2847
2848 2002-01-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2849
2850         * netrc.c (parse_netrc): Skip leading whitespace before testing
2851         whether the line is empty.  Empty lines still contain the line
2852         terminator.
2853
2854 2002-01-15  Hrvoje Niksic  <hniksic@arsdigita.com>
2855
2856         * gen_sslfunc.c (ssl_iread): Call select on the file descriptor
2857         only if no data is pending in SSL buffers.
2858         From tony@bluetail.com.
2859
2860 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2861
2862         * headers.c (header_get): Strip trailing whitespace from the
2863         header.
2864
2865 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2866
2867         * url.c (parse_uname): URL-decode *USER and *PASSWD.
2868
2869 2002-01-07  Ian Abbott <abbotti@mev.co.uk>
2870
2871         * url.c (uri_merge_1): Deal with "net path" relative URL (one that
2872         starts with "//").
2873
2874 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2875
2876         * http.c (gethttp): Invalidate SOCK if get_contents encountered an
2877         error.
2878
2879 2001-12-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2880
2881         * version.c: Wget 1.8.1 is released.
2882
2883 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2884
2885         * version.c: Wget 1.8.1-pre3 is released.
2886
2887 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2888
2889         * recur.c (retrieve_tree): Enqueue the canonical representation of
2890         start_url, so that the test against dl_url_file_map works.
2891
2892 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2893
2894         * log.c (logputs): Check for requested verbosity before printing
2895         anything.
2896
2897 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2898
2899         * html-url.c (tag_handle_link): Treat the "shortcut icon" link as
2900         inline.
2901
2902 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2903
2904         * recur.c (retrieve_tree): Make a copy of file obtained from
2905         dl_url_file_map because the code calls xfree(file) later.
2906
2907 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2908
2909         * recur.c (register_html): Maintain a hash table of HTML files
2910         along with the list.  Disallow duplicates.
2911         (retrieve_tree): Use downloaded_html_set to check whether the file
2912         found in dl_url_file_map is an HTML file, and descend into it if
2913         so.
2914         (convert_all_links): Don't guard against duplicates in
2915         downloaded_html_list, since they are no longer possible.
2916
2917 2001-12-18  Ian Abbott  <abbotti@mev.co.uk>
2918
2919         * recur.c (retrieve_tree): Pass on referring URL when retrieving
2920         recursed URL.
2921
2922 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2923
2924         * version.c: Wget 1.8.1-pre2 is released.
2925
2926 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2927
2928         * retr.c (sleep_between_retrievals): Simplify indentation.
2929
2930 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2931
2932         * gen_sslfunc.c (ssl_init_prng): Use random_number to get a byte
2933         of "randomness" at a time.
2934         (ssl_init_prng): Don't seed the PRNG; random_number will do that.
2935
2936         * retr.c (sleep_between_retrievals): Use it.  Make sure that the
2937         random amount averages in opt.wait.
2938         (sleep_between_retrievals): Don't seed the PRNG; random_number
2939         will do that.
2940
2941         * utils.c (random_number): New function.
2942
2943 2001-12-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2944
2945         * url.c (path_simplify): Move here from utils.c, and make static.
2946
2947 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2948
2949         * init.c (wgetrc_file_name): Print correct message when loading
2950         getenv("WGETRC") fails.
2951
2952 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2953
2954         * recur.c (register_download): Don't abort when one URL references
2955         two different files.
2956
2957 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2958
2959         * http.c (gethttp): Check for conn->scheme, not u->scheme, before
2960         calling ssl_iwrite.
2961
2962 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2963
2964         * version.c: Wget 1.8.1-pre1 is released.
2965
2966 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2967
2968         * res.c (matches): Fix broken URL in the docstring.
2969
2970 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2971
2972         * html-url.c (tag_url_attributes): Mark <embed href=...> as
2973         external.
2974
2975 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2976
2977         * url.c (get_urls_file): Cosmetic changes.
2978
2979 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2980
2981         * html-url.c (append_one_url): Resurrect warning when unable to
2982         resolve a relative link.
2983
2984 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2985
2986         * html-url.c (collect_tags_mapper): Break into several functions.
2987         (tag_url_attributes): Collect <embed href=...>.
2988
2989 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2990
2991         * host.c: New type ipv4_address.  Use it consistently instead of
2992         `unsigned char[4]' and `unsigned char *'.
2993         (pretty_print_address): Accept a `const void *', to require even
2994         less casting.
2995
2996 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2997
2998         * ftp-ls.c (ftp_parse_vms_ls): Fix obvious memory leaks.
2999
3000 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3001
3002         * main.c (main): Initialize progress after fork_to_background, so
3003         that it knows when to use dots.
3004
3005         * mswindows.c (ws_hangup): Call log_request_redirect_output.
3006
3007         * utils.c (fork_to_background): Print the PID of the child
3008         process.
3009
3010         * log.c (log_request_redirect_output): Set a flag that output
3011         redirection has been requested.  Doing anything else in a signal
3012         handler is unsafe.
3013         (check_redirect_output): New function: check whether redirection
3014         has been requested and, if so, call redirect_output().
3015         (logputs): Call check_redirect_output.
3016         (logprintf): Ditto.
3017         (debug_logprintf): Ditto.
3018         (redirect_output): Print clearer messages.
3019
3020         * main.c (redirect_output_signal): Don't call
3021         redirect_output_signal directly.  Instead, call
3022         log_request_redirect_output.
3023
3024         * utils.c (memfatal): Ditto.
3025
3026         * progress.c (display_image): Use it.
3027
3028         * log.c (log_set_save_context): New function: allow the caller to
3029         turn off saving log context lines.
3030
3031 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3032
3033         * host.c (address_list_set_faulty): Uncomment a sanity check.
3034
3035 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3036
3037         * utils.c (long_to_string): Return a pointer after where the
3038         number ends.
3039         (long_to_string): Rename to number_to_string.
3040
3041 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3042
3043         * utils.c (path_simplify): Correctly handle the unlikely case that
3044         b starts out as path + 1.
3045
3046 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3047
3048         * utils.c (path_simplify): Rewrite, with better comments, and
3049         without the use of strcpy to move overlapping blocks.
3050
3051 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3052
3053         * init.c (cmd_spec_progress): Resurrect.  Check whether VAL is a
3054         valid progress type before setting it.
3055
3056 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3057
3058         * main.c (main): Remove stray debugging message.
3059
3060 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3061
3062         * progress.c (create_image): Fix ETA padding when hours are prined.
3063
3064 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3065
3066         * version.c: Wget 1.8 is released.
3067
3068 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3069
3070         * url.c (reencode_string): Declare static.
3071
3072         * res.c (registered_specs): Declare static.
3073
3074         * progress.c (current_impl_locked): Declare static.
3075
3076         * log.c (flush_log_p): Declare static.
3077         (needs_flushing): Ditto.
3078
3079         * http.c (digest_authentication_encode): Declare static.
3080
3081         * html-url.c (init_interesting): Declare static.
3082
3083         * host.c (host_name_addresses_map): Declare static.
3084
3085         * cookies.c (find_matching_chains): Declare static.
3086
3087         * ftp-ls.c (ftp_parse_vms_ls): Warn about the memory leak
3088         indicated by lint.
3089
3090         * utils.c (path_simplify): Remove unused variable STUB_CHAR.
3091
3092         * host.c (address_list_set_faulty): Document that INDEX is
3093         currently unused.
3094
3095         * url.c (rewrite_shorthand_url): Remove unused variable PATH.
3096
3097 2001-12-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3098
3099         * version.c: Wget 1.8-pre2 is released.
3100
3101 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3102
3103         * progress.c (progress_handle_sigwinch): Set up the signal again.
3104
3105         * utils.c: Include <sys/termios.h>, where Solaris defines
3106         TIOCGWINSZ.
3107
3108         * progress.c (bar_create): Don't use the last column on the screen.
3109         (create_image): Pad ETA to constant size.  Pad SIZE to nine digits
3110         only until it exceeded them.
3111
3112 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3113
3114         * version.c: Wget 1.8-pre1 is released.
3115
3116 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3117
3118         * progress.c (progress_create): Make sure that, when the output is
3119         redirected, the progress implementation gets changed to the
3120         fallback one.
3121         (bar_set_params): Set current_impl_locked to 1 when "force" is
3122         specified.
3123         (progress_create): Don't change the progress implementation if
3124         current_impl_locked is non-zero.
3125
3126         * main.c (redirect_output_signal): Call
3127         progress_schedule_redirect.
3128
3129         * progress.c (progress_schedule_redirect): New function.
3130
3131 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3132
3133         * log.c (logvprintf): Restructure to allow being called multiple
3134         times.
3135         (logprintf): Call logvprintf in a loop.
3136         (debug_logprintf): Ditto.
3137
3138 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3139
3140         * gen_sslfunc.c (ssl_init_prng): Allow the user to disable EGD by
3141         setting egd_file it to empty string.
3142
3143         * main.c (main): Change the option name from --sslegdsock to
3144         --egd-file.
3145
3146 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3147
3148         * gen_sslfunc.c (ssl_init_prng): Make the printed message
3149         translatable.
3150
3151 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3152
3153         * url.c (scheme_disable): New function.
3154
3155         * main.c (main): Call ssl_init_prng from here rather than from
3156         init_ssl, so that it has a chance to disable support for https
3157         before a URL has been resolved.
3158
3159         * gen_sslfunc.c (ssl_init_prng): Seed with rand() if all else
3160         failed.
3161         (ssl_init_prng): Disable support for https if seeding the PRNG
3162         fails.
3163
3164 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3165
3166         * utils.c (read_whole_line): Handle lines beginning with \0.
3167
3168 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
3169
3170         * recur.c (convert_all_links): Guard against duplicates in
3171         downloaded_html_files.
3172         (register_download): Don't invalidate similar-looking URLs.
3173         (match_except_index): New function.
3174
3175 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
3176
3177         * utils.c (path_simplify): Document with test cases.
3178
3179 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
3180
3181         * gen_sslfunc.c: Ditto.
3182
3183         * rbuf.c: Include <string.h>.
3184
3185 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
3186
3187         * recur.c (retrieve_tree): Check whether the URL was already
3188         downloaded before downloading it again.
3189         (descend_child_p): Renamed to download_child_p.
3190         (register_download): When one URL is downloaded to a file already
3191         "owned" by another URL, delete all references that map any URL to
3192         that file.
3193         (register_delete_file): New function.
3194         (retrieve_tree): Use it after deleting a file.
3195
3196         * url.c (url_parse): Re-canonicalize the URL also if the path is
3197         empty, so that e.g. "http://www.server.com" ->
3198         "http://www.server.com/".
3199         (lowercase_str): Use ISUPPER instead of !ISLOWER.
3200
3201         * retr.c (retrieve_url): Use the canonical URL form when calling
3202         register_download().
3203
3204 2001-12-04  Ian Abbott <abbotti@mev.co.uk>
3205
3206         * snprintf.c (dopr): Use `unsigned int' as the second argument to
3207         va_arg when casting to `unsigned short' is intended.
3208
3209 2001-12-04  Herold Heiko  <Heiko.Herold@previnet.it>
3210
3211         * gen_sslfunc.c: on windows provide ssl crypto random 
3212           initialization through RAND_screen(); could possibly
3213           be not enough for strong ssl communication (see the 
3214           relevant manual page from the openssl package).
3215
3216 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
3217
3218         * url.c (local_quote_string): Reenable quoting of question marks,
3219         but only when `--html-extension' is used.
3220
3221 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
3222
3223         * version.c: Wget 1.8-beta3 is released.
3224
3225 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
3226
3227         * snprintf.c (dopr): Cast the result of va_arg to short int and
3228         short unsigned int where these types are expected to be used.
3229
3230 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
3231
3232         * snprintf.c (dopr): Replace `short int' and `unsigned short int'
3233         with `int' when using it as the second argument to `va_arg'.
3234
3235 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
3236
3237         * host.c (address_list_new_one): New function.
3238         (lookup_host): Use it.
3239
3240 2001-12-03  Andre Majorel  <amajorel@teaser.fr>
3241
3242         * host.c (lookup_host): Don't initialize TMPSTORE directly because
3243         it's not legal C.
3244
3245 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
3246
3247         * ftp-basic.c (ftp_port): Don't return HOSTERR if we fail getting
3248         the socket data.
3249
3250         * ftp.c: Ditto.
3251
3252         * http.c: No need to declare h_errno.
3253
3254         * host.c: Declare h_errno.
3255
3256 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3257
3258         * utils.c (file_merge): If BASE doesn't contain a slash, just
3259         return a copy of FILE.
3260
3261 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3262
3263         * version.c: Wget 1.8-beta2 is released.
3264
3265 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3266
3267         * ftp.c (getftp): When PWD fails, assume "/".
3268
3269         * ftp-basic.c (ftp_syst): Fix indentation.
3270
3271 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3272
3273         * url.c (get_urls_file): If opt.base_href is specified, merge each
3274         URL with the base.
3275
3276 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3277
3278         * main.c (print_help): Don't document the removed `-nh'.
3279
3280 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3281
3282         * url.c (url_full_path): Document better.
3283
3284         * http.c (gethttp): Use the full path when creating digest
3285         authorization.
3286
3287 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3288
3289         * cookies.c (path_matches): Return 0 if PREFIX doesn't begin with
3290         '/'.
3291
3292 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3293
3294         * cookies.c (path_matches): FULL_PATH doesn't begin with '/', but
3295         PREFIX does.
3296
3297 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3298
3299         * cookies.c (check_domain_match): Reimplement to match Netscape's
3300         "preliminary specification" for cookies.
3301
3302 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3303
3304         * url.c (replace_attr_refresh_hack): New function.
3305         (convert_links): Call replace_attr_refresh_hack for Refresh
3306         links.  It will add the "TMOUT; URL=" junk before the link.
3307
3308         * html-url.c (collect_tags_mapper): Set ID to the ID of the
3309         "content" attribute, not "http-equiv".
3310         (collect_tags_mapper): Don't use OFFSET to hack the raw_* values;
3311         instead, store the information that this entry belongs to a
3312         "refresh" link.
3313
3314 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3315
3316         * version.c: Wget 1.8-beta1 is released.
3317
3318 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3319
3320         * recur.c (retrieve_tree): Allow -p retrievals to exceed maximum
3321         depth by more than one.
3322
3323 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
3324
3325         * retr.c (retrieve_url): Don't allow more than 20 redirections.
3326
3327 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
3328
3329         * recur.c (retrieve_tree): Skip the non-inline entries when
3330         enqueuing the children of a leaf HTML node in -p mode.
3331         (descend_url_p): Ignore opt.no_parent when in -p mode and UPOS is
3332         "inline".
3333
3334         * html-url.c (get_urls_html): Don't accept dash_p_leaf_HTML.
3335         (collect_tags_mapper): When an entry is "inline", mark it as such.
3336
3337         * recur.c (descend_url_p): Fix test when checking for
3338         acceptance/rejection rules.
3339
3340 2001-10-31 Daniel BODEA <dali@dali-designs.com>
3341
3342         * netrc.c (search_netrc): When slack_default is 0, still look for
3343         an account with matching password, just not the "default account".
3344         HTTP Authorization using .netrc should now work as expected.
3345
3346 2001-11-30  T. Bharath  <TBharath@responsenetworks.com>
3347
3348         * http.c (persistent_available_p): Call SHUTDOWN_SSL if
3349         test_socket_open fails.
3350
3351 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
3352
3353         * progress.c (display_image): Just print one CR to reset the
3354         cursor position.
3355
3356 2001-11-30  Christian Fraenkel  <c.fraenkel@gmx.net>
3357
3358         * init.c: New command `ssl_egd_sock'.
3359
3360         * main.c (main): New option `--sslegdsock'.
3361
3362         * gen_sslfunc.c (ssl_init_prng): Seed the RNG using EGD.
3363
3364 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3365
3366         * cmpt.c (memmove): Include a simple memmove implementation.
3367
3368 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3369
3370         * headers: Guard against header files being included twice.
3371
3372 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3373
3374         * gen-md5.c: Use unsigned char * as the buffer argument to
3375         gen_md5_update.
3376
3377 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3378
3379         * connect.h: Declare select_fd.
3380
3381 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3382
3383         * recur.c (descend_url_p): When resolving no_parent, compare with
3384         start_url, not parent url.  Otherwise link from /a/b/ to /a/c/
3385         wouldn't be followed, although the download started from /a/.
3386
3387 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
3388
3389         * config.h.ms, mswindows.h: defined HAVE_ISATTY, use _isatty for
3390         MS VC; somebody with Borland compiler please check and provide
3391         patch if possible;
3392
3393         * cmpt.c: provided a usleep emulation.
3394
3395 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3396
3397         * host.c (address_list_new): Initialize al->faulty.
3398
3399 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3400
3401         * http.c (http_process_range): Accept the broken output of
3402         "JavaWebServer/1.1.1".
3403
3404 2001-11-28  Hrvoje Niksic  <hniksic@arsdigita.com>
3405
3406         * progress.c (dot_set_params): If PARAMS is unspecified, use
3407         dot_style, if available.
3408
3409         * init.c: Ditto.
3410
3411         * main.c (main): Resurect --dot-style.
3412
3413         * progress.c (dot_finish): Print the quantity if we're left at the
3414         beginning of a row.
3415
3416 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3417
3418         * cmpt.c (random): Removed.
3419
3420         * retr.c (sleep_between_retrievals): Use the more portable rand()
3421         instead of random().
3422
3423 2001-11-27  Ian Abbott <abbotti@mev.co.uk>
3424
3425         * retr.c (retrieve_from_file): Initialize `new_file' to NULL to
3426         prevent seg fault.
3427
3428 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3429
3430         * connect.c (connect_to_many): Use address_list_set_faulty to
3431         prevent the faulty address from being reused.
3432
3433         * host.c (address_list_set_faulty): New function.
3434         (address_list_get_bounds): New function, instead of
3435         address_list_count.
3436
3437 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3438
3439         * url.c (convert_links): Don't translate %d-%d.
3440
3441         * main.c (print_help): Remove stray HAVE_RANDOM code.
3442
3443 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3444
3445         * ftp.c (getftp): Improve output after sending PASV.  Don't
3446         attempt to "look up" the IP address we already know; call
3447         connect_to_one directly.
3448
3449 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3450
3451         * progress.c: Change the default progress implementation to "bar".
3452
3453 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3454
3455         * progress.c (bar_create): Print two newlines.
3456
3457 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3458
3459         * cmpt.c (random): New function, a simple-minded replacement for
3460         random() on systems that don't have it.
3461
3462 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3463
3464         * config.h.in: Put a HAVE_USLEEP stub.
3465
3466         * cmpt.c (usleep): Replacement implementation of usleep using
3467         select.
3468
3469         * init.c: New option init_rate.
3470
3471         * main.c (main): New option --limit-rate.
3472
3473         * retr.c (limit_bandwidth): New function.
3474         (get_contents): Call it to limit the bandwidth used when
3475         downloading.
3476
3477         * progress.c (dot_update): Would print the wrong download speed on
3478         rows other than the first one when the download was continued.
3479         (dot_finish): Ditto.
3480
3481 2001-11-26  Ian Abbott <abbotti@mev.co.uk>
3482
3483         * http.c (gethttp): fix undeclared variable 'err' when compiled
3484         with HAVE_SSL.
3485
3486 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3487
3488         * progress.c: Don't allocate new timers; use the timing data
3489         propagated from the caller.
3490
3491         * retr.c (get_contents): Allocate and use a timer.
3492
3493 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3494
3495         * http.c (last_host_ip): Made into an address_list.
3496         (invalidate_persistent): Release pc_last_host_ip.
3497         (register_persistent): Use lookup_host.
3498         (persistent_available_p): Check for equality of hosts using
3499         address_list_match_all.  Call address_list_release.
3500         (http_cleanup): New function.
3501
3502         * ftp.c (getftp): Use lookup_host and connect_to_many.
3503
3504         * http.c (gethttp): Use lookup_host and connect_to_many.
3505
3506         * connect.c (make_connection): Removed.
3507         (connect_to_one): New function.
3508         (connect_to_many): Ditto.
3509         (set_connection_host_name): Ditto.
3510
3511         * host.c (lookup_host): New function; new return type.
3512         (address_list_new): New function.
3513         (address_list_count): Ditto.
3514         (address_list_copy_one): Ditto.
3515         (address_list_delete): Ditto.
3516         (address_list_release): Ditto.
3517         (pretty_print_address): Ditto.
3518
3519 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3520
3521         * recur.c (retrieve_tree): In case of followed redirection,
3522         blacklist the pre-redirection URL.
3523
3524 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3525
3526         * recur.c (descend_redirect_p): New function.
3527         (retrieve_tree): Make sure redirections are not blindly followed.
3528
3529 2001-11-04  Alan Eldridge  <alane@geeksrus.net>
3530
3531         * config.h.in: added HAVE_RANDOM.
3532
3533         * options.h: added random_wait to struct options.
3534
3535         * main.c (print_help [HAVE_RANDOM], main): added arg parsing, help
3536         for --random-wait.
3537
3538         * retr.c (sleep_between_retrievals) [HAVE_RANDOM]: added
3539         implementation of random wait times.
3540
3541         * init.c (commands): added "randomwait" keyword.
3542
3543 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3544
3545         * recur.c (descend_url_p): Be more conservative with blacklisting
3546         URLs.
3547         (convert_all_links): Print how many files have been converted, and
3548         how long it took.
3549
3550         * progress.c (create_image): Place the number of downloaded bytes
3551         right after the progress bar.
3552
3553         * utils.c (suffix): Return a pointer into the string.
3554
3555 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3556
3557         * url.c (convert_links): Handle CO_NULLIFY_BASE.
3558
3559         * recur.c (retrieve_tree): Ignore download-ignorable children.
3560         (convert_all_links): Specify CO_NULLIFY_BASE when link_base_p.
3561
3562         * html-url.c (handle_link): Return the newly created urlpos.
3563         (collect_tags_mapper): When dealing with BASE, store the base
3564         reference and mark it as download-ignorable.
3565
3566 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3567
3568         * url.c (convert_links): Attempt to quote '?' as "%3F" when
3569         linking to local files.  Given up on the attempt, as it breaks
3570         local browsing.
3571
3572 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3573
3574         * main.c (private_initialize): Removed.
3575         (main): Don't call private_initialize.
3576
3577         * http.c: Call lookup_host.
3578
3579         * host.c (host_init): Removed.
3580         (add_host_to_cache): Initialize host_name_address_map here, on
3581         demand.
3582         (ngethostbyname): Commented out.
3583
3584         * connect.c (make_connection): Remove dead code; use lookup_host.
3585
3586         * host.c (store_hostaddress): Renamed to lookup_host and reversed
3587         the args.
3588         Removed host_address_name_map and host_slave_master_map.
3589
3590 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3591
3592         * progress.c (dot_create): Align the "[ skipping ... ]" string
3593         with the dots.
3594
3595         * retr.c (rate): Split into two functions: calc_rate and
3596         retr_rate.
3597
3598         * progress.c (create_image): Draw a dummy progress bar even when
3599         total size is unknown.
3600         (display_image): Place the text cursor at the end of the "image".
3601
3602 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3603
3604         * url.c (reencode_string): Use unsigned char, not char --
3605         otherwise the hex digits come out wrong for 8-bit chars such as
3606         nbsp.
3607         (lowercase_str): New function.
3608         (url_parse): Canonicalize u->url if needed.
3609         (get_urls_file): Parse each URL, and return only the valid ones.
3610         (free_urlpos): Call url_free.
3611         (mkstruct): Add :port if the port is non-standard.
3612         (mkstruct): Append the query string to the file name, if any.
3613         (urlpath_length): Use strpbrk_or_eos.
3614         (uri_merge_1): Handle the cases where LINK is an empty string,
3615         where LINK consists only of query, and where LINK consists only of
3616         fragment.
3617         (convert_links): Count and report both kinds of conversion.
3618         (downloaded_file): Use a hash table, not a list.
3619         (downloaded_files_free): Free the hash table.
3620
3621         * retr.c (retrieve_from_file): Ditto.
3622
3623         * main.c (main): Call either retrieve_url or retrieve_tree
3624         for each URL, not both.
3625
3626         * retr.c (register_all_redirections): New function.
3627         (register_redirections_mapper): Ditto.
3628         (retrieve_url): Register the redirections.
3629         (retrieve_url): Make the string "Error parsing proxy ..." 
3630         translatable.
3631
3632         * res.c (add_path): Strip leading slash from robots.txt paths so
3633         that the path representations are "compatible".
3634         (free_specs): Free each individual path, too.
3635         (res_cleanup): New function.
3636         (cleanup_hash_table_mapper): Ditto.
3637
3638         * recur.c (url_queue_new): New function.
3639         (url_queue_delete): Ditto.
3640         (url_enqueue): Ditto.
3641         (url_dequeue): Ditto.
3642         (retrieve_tree): New function, replacement for recursive_retrieve.
3643         (descend_url_p): New function.
3644         (register_redirection): New function.
3645
3646         * progress.c (create_image): Cosmetic changes.
3647
3648         * init.c (cleanup): Do all those complex cleanups only if
3649         DEBUG_MALLOC is defined.
3650
3651         * main.c: Removed --simple-check and the corresponding
3652         simple_host_check in init.c.
3653
3654         * html-url.c (handle_link): Parse the URL here, and propagate the
3655         parsed URL to the caller, who would otherwise have to parse it
3656         again.
3657
3658         * host.c (xstrdup_lower): Moved to utils.c.
3659         (realhost): Removed.
3660         (same_host): Ditto.
3661
3662 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3663
3664         * utils.c (path_simplify): Preserver the (non-)existence of
3665         leading slash.  Return non-zero if changes were made.
3666
3667 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3668
3669         * progress.c (bar_update): Don't modify bp->total_length if it is
3670         zero.
3671
3672 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3673
3674         * retr.c (retrieve_url): When the redirection URL doesn't parse,
3675         print the correct error message rather than "UNKNOWN".
3676
3677 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3678
3679         * progress.c (bar_finish): If the timer didn't record any time
3680         since the download beginning, fake 1ms.
3681
3682 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3683
3684         * recur.c (recursive_retrieve): Fix typo.
3685
3686 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
3687
3688         * progress.c (create_image): Don't translate "%ld ".
3689
3690 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
3691
3692         * progress.c (bar_set_params): Allow the user to force the use of
3693         the bar.
3694
3695 2001-11-23  Lemble Gregory  <gregory.lemble@st.com>
3696
3697         * gen_sslfunc.c (ssl_init_prng): New function; seed the SSL RNG.
3698
3699 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
3700
3701         * progress.c: Renamed dp_* functions to dot_* for greater clarity
3702         and consistency with bar_*.
3703         (print_download_speed): Get rid of the unneeded '@' character.
3704         (create_image): Fix download rate geometry.
3705
3706         * progress.c (print_elapsed): Remove spurious space.
3707         (print_elapsed): Renamed to print_download_speed, since that's
3708         what it does.
3709
3710 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
3711
3712         * progress.c (bar_update): If the downloaded amount becomes larger
3713         than the expected amount, adjust the expected amount accordingly.
3714
3715 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
3716
3717         * utils.c (determine_screen_width): New function.
3718
3719         * main.c (main): New option `--progress=TYPE'.
3720         (main): Implement compatibility with the old option `--dot-style'.
3721
3722         * init.c: Removed cmd_spec_dotstyle -- that logic is now in
3723         dp_set_params.
3724         (cmd_spec_progress): New function.
3725
3726         * retr.c (get_contents): Use the progress_* functions instead of
3727         the old show_progress().
3728         (show_progress): Removed.
3729         (rate): Print "xxxx.xx K/s" instead of "KB/s".  Ditto for MB/s,
3730         etc.
3731
3732         * progress.c (set_progress_implementation): New function.
3733         (valid_progress_implementation_p): Ditto.
3734         (progress_create): Ditto.
3735         (progress_update): Ditto.
3736         (progress_finish): Ditto.
3737         (dp_create): Ditto.
3738         (dp_update): Ditto.
3739         (dp_finish): Ditto.
3740         (dp_set_params): Ditto.
3741         (print_elapsed): Ditto.
3742
3743 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
3744
3745         * retr.c (show_progress): Use it.
3746
3747         * log.c (log_set_flush): New function.
3748
3749 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
3750
3751         * utils.c (path_simplify): Don't remove trailing slashes.
3752
3753         * ftp.c (ftp_get_listing): Use it.
3754
3755         * utils.c (file_merge): New function.
3756
3757         * url.c (opt_url): Removed.
3758
3759         * recur.c (recursive_retrieve): Inline "opt_url" logic.
3760
3761         * main.c (main): Use xfree(), not free().
3762
3763         * url.c (rewrite_url_maybe): Renamed to rewrite_shorthand_url.
3764
3765         * ftp.c (ccon): Move `ccon' typedef here, since it's only used
3766         internally.
3767
3768         * config.h.in: Include a stub for HAVE_STRPBRK.
3769
3770         * cmpt.c (strpbrk): Include a replacement for systems without
3771         strpbrk().
3772
3773         * ftp.c: Use url_set_dir and url_set_file when modifying the URL.
3774
3775         * url.c (url_set_dir): New function.
3776         (url_set_file): Ditto.
3777
3778         * ftp-basic.c (ftp_process_type): Process FTP type here; the URL
3779         parser makes the URL "params" available, so we can do that in this
3780         function.
3781
3782         * retr.c: Ditto.
3783
3784         * ftp.c: Ditto; pass the local file information in `ccon'.
3785
3786         * http.c: Get rid of the ugly kludge that had URL being replaced
3787         with the proxy URL when proxy retrieval was requested.  Use a
3788         separate parameter to http_loop and gethttp for the proxy URL.
3789
3790         * http.c: Changed to reflect the fact that local file, proxy, and
3791         referer information are no longer stored in struct url.  The local
3792         file information is passed in `struct hstat' now.
3793
3794         * url.c: Reworked URL parsing to be more regular.  Reencode the
3795         URL using reencode_string.
3796         Removed non-URL-related information from struct url.  This
3797         includes fields `proxy', `local', and `referer'.
3798
3799 2001-11-22  Jochen Hein  <jochen@jochen.org>
3800
3801         * main.c (main): Split the copyright notice for easier
3802         translation.
3803
3804 2001-08-21  Dave Turner <dct25@hermes.cam.ac.uk>
3805
3806         * ftp-basic.c (ftp_size): New function to send non-standard SIZE
3807           command to server to request file size.
3808         * ftp.h (ftp_size): Export it.
3809         * ftp.c (getftp): Use new ftp_size function if restoring
3810           transfer of a file with unknown size.
3811
3812 2001-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
3813
3814         * url.c (parseurl): Don't depend on the now-obsolete TYPE.
3815
3816 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3817
3818         * url.c (getproxy): Handle URL shorthands.
3819
3820 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3821
3822         * main.c: Remove --wait / --waitretry backwards compatibility
3823         code.
3824         
3825 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3826
3827         * main.c (main): Use it.
3828
3829         * url.c (rewrite_url_maybe): New function.
3830
3831 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3832
3833         * url.c: Clean up handling of URL schemes.
3834
3835 2001-05-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3836
3837         * url.c: Get rid of `protostrings'.
3838         (skip_proto): Don't use protostrings.
3839         (has_proto): Ditto.
3840
3841 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3842
3843         * Makefile.in: Conditionally compile getopt.o.
3844
3845 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3846
3847         * md5.h: Renamed to gnu-md5.h.
3848
3849         * md5.c: Renamed to gnu-md5.c.
3850
3851         * http.c: Ditto.
3852
3853         * ftp-opie.c: Use the new macros.
3854
3855         * sysdep.h: Define md5-related macros.
3856
3857         * config.h.in: Define HAVE_SOLARIS_MD5 or HAVE_BUILTIN_MD5
3858         depending on which md5 implementation is used.
3859
3860 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3861
3862         * res.c (res_register_specs): Initialize OLD and HP_OLD to appease
3863         the compiler.
3864
3865 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3866
3867         * http.c (gethttp): Print the whole response line when printing
3868         headers is requested.
3869
3870 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3871
3872         * res.c: New file.  Implement all RES-related code here.
3873
3874 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3875
3876         * version.c: Wget 1.7.1 is released.
3877
3878 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
3879
3880         * headers.c (header_extract_number): Ignore trailing whitespace.
3881
3882 2001-08-24  Ian Abbott  <abbotti@mev.co.uk>
3883
3884         * html-url.c (collect_tags_mapper): Fix bug converting links
3885         with -k option for tags with multiple link attributes by
3886         handling links in the order they appear.
3887
3888 2001-08-15  Ian Abbott  <abbotti@mev.co.uk>
3889
3890         * ftp.c (ftp_loop_internal): Avoid a potential buffer overflow in
3891           the call to the 'rate' function by moving it past the error
3892           checking for the 'getftp' function return value.
3893
3894 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
3895
3896         * html-parse.c (advance_declaration): Use 0x22 instead of '"' or
3897         '\"'.  Different compilers' assert macros are broken in different
3898         ways.
3899
3900 2001-09-29  Christian Fraenkel  <c.fraenkel@gmx.net>
3901
3902         * http.c (gethttp): print debug output for errors occuring during
3903         the ssl handshake.
3904
3905 2001-11-16  Chris Seawood  <cls@seawood.org>
3906
3907         * init.c: Ditto.
3908
3909         * host.c: Ditto.
3910
3911         * connect.c: Ditto.
3912
3913         * sysdep.h: Support compilation under BEOS.
3914
3915 2001-06-08  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
3916
3917         * url.c (url_equal): Fix a memory leak when parseurl returns an
3918         error on the second URL. Also, since url_equal is not used at the
3919         moment, do not compile it.
3920
3921         * url.h: Ditto for the prototype of url_equal.
3922
3923 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
3924
3925         * html-parse.c (map_html_tags): Support XML-style empty tags.
3926
3927 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3928
3929         * wget.h (DO_REALLOC_FROM_ALLOCA): Check for do_realloc_newsize in
3930         loop condition because we're no longer setting SIZEVAR here.
3931
3932 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3933
3934         * wget.h (DO_REALLOC_FROM_ALLOCA): Set SIZEVAR after the memcpy()
3935         call because it needs the old value.
3936
3937 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3938
3939         * cookies.c (ATTR_NAME_CHAR): Allow almost any character to be in
3940         an attribute name.
3941
3942 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3943
3944         * url.c (url_filename): Make sure that slashes that sneak in to
3945         u->file via query string get protected.
3946         (file_name_protect_query_string): New function.
3947
3948 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3949
3950         * recur.c (recursive_retrieve): Also check undesirable_urls with
3951         canonicalized URL.
3952
3953 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3954
3955         * http.c (gethttp): Search `.netrc' with real host, not the proxy
3956         one.
3957
3958 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3959
3960         * sysdep.h (MAP_FAILED): Provide MAP_FAILED for systems that don't
3961         define it.
3962
3963 2001-06-09  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3964
3965         * ftp.h: Provide correct prototype for ftp_parse_ls().
3966
3967 2001-06-04  Hrvoje Niksic  <hniksic@arsdigita.com>
3968
3969         * version.c: Wget 1.7 is released.
3970
3971 2001-06-03  Karl Eichwalder  <ke@suse.de>
3972
3973         * ftp-ls.c (ftp_parse_ls): Fix typo.
3974
3975 2001-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3976
3977         * all: Update copyright information.
3978
3979 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3980
3981         * http.c (gethttp): Indicate that the continued download failed
3982         for *this* file.
3983
3984 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3985
3986         * version.c: Wget 1.7-pre1 is released.
3987
3988 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3989
3990         * version.c: Updated version to 1.7-pre1.
3991
3992 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3993
3994         * gen_sslfunc.c: Don't include <sys/time.h> directly.
3995
3996 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3997
3998         * http.c (gethttp): Use real URL data for cookies, not the proxy
3999         stuff.
4000
4001 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4002
4003         * main.c (print_help): Document `--no-http-keep-alive'.
4004
4005         * utils.c (numdigit): Handle negative numbers *correctly*.
4006
4007         * hash.c (make_nocase_string_hash_table): Use term "nocase" rather
4008         than the confusing "unsigned".
4009
4010         * utils.c (string_set_contains): Renamed from string_set_exists.
4011
4012         * hash.c (hash_table_contains): Renamed from hash_table_exists.
4013
4014         * cookies.c: Move case-insensitive hash tables to hash.c.
4015
4016 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4017
4018         * http.c (gethttp): Before concluding that the file is already
4019         fully retrieved, make sure that the file existed and `Range' was
4020         actually requested.
4021
4022 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4023
4024         * cookies.c (eliminate_dups): New function.
4025         (build_cookies_request): Use it.
4026         (build_cookies_request): Set chain_store_size after reallocating
4027         all_chains.
4028         (check_domain_match): Annotated for easier future debugging.
4029         (store_cookie): In the debug message, print whether the cookie is
4030         permanent.
4031
4032 2001-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
4033
4034         * http.c (http_loop): Reset no_truncate before deciding whether to
4035         set it.
4036         (gethttp): Further clarify "-c conflicts with existing file" error
4037         message, based on input from Herold Heiko.
4038
4039 2001-05-07  Hrvoje Niksic  <hniksic@arsdigita.com>
4040
4041         * http.c (http_loop): If restval is set, set no_truncate to 1
4042         unconditionally.
4043
4044 2001-05-02  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4045
4046         * ftp-ls.c (ftp_parse_winnt_ls): Assure months are being correctly
4047         converted. Pointed out by <Stefan.Weil@de.heidelberg.com>.
4048         (ftp_parse_vms_ls): Ditto.
4049
4050 2001-04-30  Hrvoje Niksic  <hniksic@arsdigita.com>
4051
4052         * init.c (cmd_address): Zero SIN before using it; apparently
4053         needed on *BSD.
4054
4055 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
4056
4057         * ftp.c (ftp_loop_internal): Don't set NO_TRUNCATE if the file is
4058         empty.
4059
4060 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
4061
4062         * main.c (main): Make `--cookies' respect its argument.
4063
4064 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
4065
4066         * main.c (main): Removed undocumented option `--email-address'.
4067
4068         * netrc.c: Use the latest read_whole_line.
4069
4070         * init.c (defaults): Set opt.ftp_pass to "-wget@".
4071
4072         * mswindows.c (pwd_cuserid): Ditto.
4073
4074         * utils.c (pwd_cuserid): Removed.
4075
4076         * host.c (ftp_getaddress): Removed.
4077
4078 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
4079
4080         (http_loop): Allocate space for filename_plus_orig_suffix with
4081         alloca; this is more efficient and removes the need to free it
4082         before each and every return.
4083
4084 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
4085
4086         * http.c (gethttp): Return RETRUNNEEDED when the retrieval is
4087         unneeded because the file is already there and fully downloaded,
4088         and -c is specified.
4089         (http_loop): Handle RETRUNNEEDED.
4090
4091         * wget.h (uerr_t): New value RETRUNNEEDED.
4092
4093         * http.c (http_loop): Set no_truncate for files that both exist
4094         and are non-empty.
4095         (gethttp): Consider the download finished when restval >= contlen,
4096         not only when restval==contlen.
4097         (gethttp): Handle redirection before giving up due to -c.
4098         (gethttp): Clarify error message which explains that -c will not
4099         truncate the file.
4100         (gethttp): When returning CONTNOTSUPPORTED, don't forget to free
4101         the stuff that needs freeing and release the socket.
4102
4103 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4104
4105         * main.c (print_help): Wget booleans accept "off", not "no".
4106
4107 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4108
4109         * http.c (http_loop): If allow_cache is zero, always disable
4110         caching, not only when retrieving through proxy.
4111
4112         * init.c: Ditto.
4113
4114         * options.h (struct options): Rename proxy_cache to allow_cache.
4115
4116 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4117
4118         * http.c (mktime_from_utc): Improve documentation.
4119         (http_atotm): Put format strings into a separate array.
4120
4121 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4122
4123         * safe-ctype.h: Instead of throwing #error when isalpha is
4124         defined, redefine it to something that will throw a compile-time
4125         error if actually *used*.  Do the same for the rest of the
4126         standard C macros.
4127
4128 2001-04-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4129
4130         * url.c (getproxy): Ignore empty proxy vars.
4131
4132 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4133
4134         * http.c (http_loop): Would load cookies every time.
4135
4136         * cookies.c (load_cookies): Handle cookies whose values contain
4137         embedded spaces.
4138
4139 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4140
4141         * utils.c: Define each DIGITS_* in one line.
4142
4143 2001-04-25  Roger L. Beeman  <beeman@cisco.com>
4144
4145         * http.c (http_atotm): Initialize t.tm_isdst to 0.
4146         (mktime_from_utc): Prevent mktime() from having discontinuities at
4147         DST transition points.
4148
4149 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4150
4151         * html-url.c (get_urls_html): Fix documentation.
4152
4153 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4154
4155         * url.c (UNSAFE_CHAR): Reimplement using a static table.
4156         (url_init): Removed.
4157         (init_unsafe_char_table): Removed.
4158
4159 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4160
4161         * snprintf.c (dopr): Replace ISDIGIT with '0' <= ch && ch <= '9'.
4162
4163 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4164
4165         * utils.c: Document timer functions.
4166
4167         * retr.c (rate): Use it.
4168         (rate): Print in GB/s if transfer rate exceeds 1 GB/s.
4169
4170         * utils.c (wtimer_granularity): New function.
4171
4172 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4173
4174         * retr.c (show_progress): Ditto.
4175
4176         * ftp.c (getftp): Ditto.
4177
4178         * http.c (gethttp): Use new timer functions.
4179
4180         * utils.c (wtimer_allocate): New function.
4181         (wtimer_new): Ditto.
4182         (wtimer_delete): Ditto.
4183         (wtimer_reset): Ditto.
4184         (wtimer_elapsed): Ditto.
4185
4186 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4187
4188         * utils.c (long_to_string): New, faster version.  Favors smaller
4189         numbers; much of the calculation is now done at compile-time.
4190
4191 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4192
4193         * utils.c (numdigit): Handle negative numbers.
4194
4195 2001-04-23  Hrvoje Niksic  <hniksic@arsdigita.com>
4196
4197         * retr.c (show_progress): Print the download rate even when the
4198         percentages are not available.
4199
4200 2001-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
4201
4202         * ftp.c (getftp): Adjust expected_bytes if the length is
4203         authoritative.
4204
4205 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4206
4207         * url.c: Don't declare `construct'.
4208
4209         * hash.c (grow_hash_table): Speed up rehashing; inline storing of
4210         mappings to new locations.
4211         (hash_table_new): Make resize_threshold a field in the hash table,
4212         so we don't have to recalculate it in each hash_table_put.
4213         (grow_hash_table): Update resize_threshold.
4214         (MAX): Remove unused macro.
4215         (prime_size): Made static.
4216
4217 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4218
4219         * retr.c (retrieve_url): Call uri_merge, not url_concat.
4220
4221         * html-url.c (collect_tags_mapper): Call uri_merge, not
4222         url_concat.
4223
4224         * url.c (mkstruct): Use encode_string instead of xstrdup followed
4225         by URL_CLEANSE.
4226         (path_simplify_with_kludge): Deleted.
4227         (contains_unsafe): Deleted.
4228         (construct): Renamed to uri_merge_1.
4229         (url_concat): Renamed to uri_merge.
4230
4231 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4232
4233         * url.c (str_url): Use encode_string instead of the unnecessary
4234         CLEANDUP.
4235         (encode_string_maybe): New function, returns input string if no
4236         encoding is needed.
4237         (encode_string): Call encode_string_maybe to do the dirty work,
4238         xstrdup if no work needed.
4239
4240 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4241
4242         * wget.h (XDIGIT_TO_xchar): Define here.
4243
4244         * url.c (decode_string): Use new name.
4245         (encode_string): Ditto.
4246
4247         * http.c (XDIGIT_TO_xchar): Rename HEXD2asc to XDIGIT_TO_xchar.
4248         (dump_hash): Use new name.
4249
4250         * wget.h: Rename ASC2HEXD and HEXD2ASC to XCHAR_TO_XDIGIT and
4251         XDIGIT_TO_XCHAR respectively.
4252
4253 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4254
4255         * init.c: Include cookies.h.
4256
4257         * cookies.h: Declare cookies_cleanup.
4258
4259         * cookies.c (check_domain_match): Remove unused variable.
4260         (save_cookies): Remove extraneous argument from debug statement.
4261
4262         * host.c (same_host): Don't call skip_url.
4263
4264         * url.c (skip_url): Removed.  Removed its calls from various
4265         functions in url.c.
4266
4267 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4268
4269         * cookies.c (unsigned_string_hash): Use the new code in
4270         string_hash as reference.
4271
4272         * hash.c (hash_table_map): Allow deletion and change of the
4273         element processed by MAPFUN.
4274         (string_hash): Use the function from glib.
4275
4276 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4277
4278         * config.h.in: Include #undef stub.
4279
4280         * hash.c (hash_table_remove): Rewrite to actually clear deleted
4281         entries instead of just marking them as deleted.
4282
4283 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4284
4285         * hash.h: Declare hash_table_get_pair and hash_table_count.
4286
4287 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4288
4289         * cookies.c: Declare http_atotm.
4290
4291 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4292
4293         * ftp-ls.c (ftp_parse_unix_ls): Use octal constants for
4294         permissions.  A compiler that doesn't accept octal constants is
4295         seriously broken and shouldn't be used -- octal constants were
4296         present in K&R C!
4297
4298 2001-01-20  Karl Eichwalder  <ke@suse.de>
4299
4300         * Makefile.in: Provide and use DESTDIR according to the Coding
4301         Standards.
4302
4303 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4304
4305         * ftp-ls.c (ftp_parse_vms_ls): Make seconds optional in time
4306         specification.
4307
4308 2001-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4309
4310         * url.c (parseurl): Don't strip trailing slash when u->dir is "/"
4311         because that strips the *leading* slash, thus forcing relative
4312         FTP retrieval.
4313
4314 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4315
4316         * ftp.c (getftp): Convert initial FTP directory from VMS to UNIX
4317         notation for VMS servers. 
4318         (ftp_retrieve_dirs): Do not prepend '/' to f->name when
4319         odir is an empty string.
4320
4321 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4322
4323         * ftp-ls.c (ftp_parse_winnt_ls): Made the fix for AM/PM more
4324         effective. Suggested by Edward J. Sabol.
4325
4326 2001-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4327
4328         * cookies.c (build_cookies_request): Use and sort cookies from all
4329         matching domains.
4330         (build_cookies_request): Check for duplicates before generating
4331         the `Cookies' header.
4332
4333         * main.c (main): Don't load cookies here.
4334         (main): Make loadcookies and savecookies call the correct command.
4335
4336         * http.c (http_loop): Load cookies on-demand.
4337
4338 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4339
4340         * http.c (gethttp): Fix indentation of SSL ifdef.
4341
4342 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4343
4344         * ftp.c (ftp_retrieve_dirs): Don't forcibly prepend "/" to u->dir;
4345         that hack is no longer necessary.
4346         (getftp): Prepend initial directory to *non*-absolute u->dir's.
4347
4348 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4349
4350         * init.c (cmd_file): New function.
4351         (enable_tilde_expansion): New variable.
4352         (run_wgetrc): Use it.
4353         (cmd_file): Use it.
4354
4355 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
4356
4357         * init.c: Include cookie-related options.
4358
4359         * main.c (main): Include cookie-specific options.
4360         (main): Load cookies before download is finished.
4361         (main): Save cookies when done.
4362
4363         * http.c (gethttp): Process the `Set-Cookie' header.
4364         (gethttp): Include cookies in the response.
4365
4366         * cookies.c: New file.
4367
4368 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
4369
4370         * utils.c (datetime_str): New function.
4371
4372 2001-04-08  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4373
4374         * ftp-ls.c (ftp_parse_winnt_ls): The AM/PM change did assume
4375         12:01PM == 00:01, which was obviously wrong. Taken care of this
4376         anomaly.
4377
4378         * ChangeLog: Removed an excess conflict marker. Reformatted the
4379         entry by Philipp Thomas from 2001-03-09.
4380
4381         * ftp-ls.c (ftp_parse_winnt_ls): Ensure that adjusted PM hours lay
4382         between 0 and 23. Elminate unused variable `sec'.
4383
4384 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
4385
4386         * hash.c (hash_table_count): New function.
4387
4388 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4389
4390         * utils.c (read_file): Cast MAP_FAILED to char *.  Enforced by
4391         Digital Unix cc.
4392
4393 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4394
4395         * config.h.in: Oops, do the namespace tweaks only on systems we
4396         know about.
4397
4398 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4399
4400         * hash.c: Include <string.h>.
4401
4402 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4403
4404         * config.h.in: Define "compilation environment" options that work
4405         under Linux and Solaris.  To be reviewed on other OS'es.
4406
4407 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4408
4409         * http.c (gethttp): Prepend literal newline with `\n\'.
4410
4411 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4412
4413         * sysdep.h: Don't define VERY_LONG_FORMAT.
4414
4415         * utils.c (very_long_to_string): New function.
4416         (legible_very_long): Use it; don't use VERY_LONG_FORMAT.
4417
4418 2001-04-04  Christian Fraenkel  <christian.fraenkel@gmx.net>
4419
4420         * url.c (parse_uname): Would run past the end of the string if the
4421         username was present, but the URL did not contain a slash, e.g.
4422         http://foo:bar@myhost.
4423
4424 2001-04-03  KOJIMA Hajime  <kjm@rins.ryukoku.ac.jp>
4425
4426         * http.c (http_atotm): Use %A instead of %a to match full
4427         weekday.  (On most systems there is no difference.)
4428
4429 2001-04-03  Paul Bludov  <paul@ozero.net>
4430
4431         * mswindows.c (sleep): Use SleepEx() instead of Sleep().
4432         (ws_changetitle): Use alloca() instead of malloc() to avoid memory
4433         leak.
4434         (ws_mypath): Use GetModuleFileName instead of argv[0].
4435         (ws_startup): Use data.wVersion for comparison.
4436
4437 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4438
4439         * http.c (http_loop): Ditto.
4440
4441         * ftp.c (ftp_loop_internal): Made the check whether to continue
4442         retrieval `-O'-friendly.
4443
4444 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4445
4446         * netrc.c (parse_netrc): Don't trim the line endings explicitly;
4447         they will be handled as whitespace.
4448         (parse_netrc): Correctly handle lines that end with whitespace.
4449
4450 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4451
4452         * retr.c (retrieve_url): New variable global_download_count used
4453         to identify first retrieval.
4454
4455         * ftp.c (getftp): Ditto.
4456
4457         * http.c (gethttp): Rewind opt.dfp only on first retrieval.
4458
4459 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4460
4461         * init.c (cmd_address): Heap-allocate the address that gets stored
4462         to CLOSURE.  Old code would simply assign an address on the stack.
4463
4464 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
4465
4466         * ftp.c (ftp_get_listing): Propagate error status.
4467         (ftp_retrieve_glob): Use it.
4468         (ftp_loop): Ditto.
4469
4470 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
4471
4472         * main.c (main): Add -C to the string that is the third arg to
4473         getopt_long().
4474
4475 2001-04-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4476
4477         * ftp.c (getftp): Don't start the download from scratch if `-c'
4478         was specified, but the file is already fully downloaded.
4479
4480         * http.c (gethttp): Don't truncate a pre-existing file if `-c' was
4481         specified and the server doesn't support continued download.
4482         (gethttp): Don't start the download from scratch if `-c' was
4483         specified, but the file is already fully downloaded.
4484
4485 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
4486
4487         (recursive_retrieve): Don't clear the hash tables at this point at
4488         all; it interferes with the normal operation of register_download.
4489
4490 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
4491
4492         * recur.c (recursive_retrieve): Clear the hash tables only when
4493         they are defined.
4494
4495 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
4496
4497         * http.c (gethttp): Make sure the socket is closed with
4498         CLOSE_INVALIDATE before we have drained the body.
4499
4500 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
4501
4502         * retr.c (retrieve_url): Call register_download() for downloaded
4503         files and register_html() for downloaded HTML files.
4504
4505         * recur.c (register_download): New function; register here that a
4506         file has been downloaded, rather than in recursive_retrieve().
4507         (register_html): New function; enqueue the location of HTML files
4508         here rather than in recursive_retrieve().
4509
4510 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
4511
4512         * main.c (print_help): Use multiple fputs instead of a single ugly
4513         printf().
4514         (main): Consistently assign numbers >128 to options without a
4515         corresponding character.
4516
4517 2001-03-09  Philipp Thomas  <pthomas@suse.de>
4518
4519         * safe-ctype.h: New file. Locale independent ctype.h replacement
4520         taken from libiberty.
4521
4522         * safe-ctype.c: New file. Tables for above.
4523
4524         * Makefile.in: Add safe-ctype$o to OBJS.  Add dependencies for
4525         safe-ctype$o.
4526
4527         * cmpt.c: Remove include of ctype.h. Use ISSPACE instead of
4528         isspace.
4529
4530         * ftp-basic.c: Don't include ctype.h.
4531
4532         * ftp-ls.c: Likewise.
4533
4534         * ftp.c: Likewise.
4535
4536         * headers.c: Likewise.
4537
4538         * host.c: Likewise.
4539
4540         * html-parse.c: Likewise.
4541
4542         * html-url.c: Likewise.
4543
4544         * http.c: Likewise.
4545
4546         * init.c: Likewise.
4547
4548         * main.c: Likewise. Set LC_CTYPE along with LC_MESSAGES.
4549
4550         * netrc.c: Likewise.
4551
4552         * recur.c: Likewise.
4553
4554         * retr.c: Likewise.
4555
4556         * snprintf.c: Replace ctype.h with safe-ctype.h. Use ISDIGIT
4557         instead of isdigit.
4558
4559         * sysdep.h: Remove defines of ctype macros as they aren't needed
4560         for safe-ctype-h.
4561
4562         * url.c: Don't include ctype.h.
4563
4564         * utils.c: Likewise.
4565
4566         * wget.h: Include safe-ctype.h.
4567
4568 2001-03-27  Dan Harkless  <wget@harkless.org>
4569
4570         * Makefile.in: Moved top_builddir out of "User configuration
4571         section" of top Makefile and analogous spot in this one.
4572
4573 2001-03-17  Dan Harkless  <wget@harkless.org>
4574
4575         * Makefile.in: Include @SSL_INCLUDES@ substition in INCLUDES.
4576         Define top_builddir.  Link wget with libtool so the user doesn't
4577         have to supply a bunch of custom environment variables to 
4578         correctly link with the OpenSSL shared libraries.
4579
4580 2001-03-06  Hack Kampbjorn  <hack@hackdata.com>
4581
4582         * http.c (gethttp): skip :port in host header if it is the
4583         DEFAULT_HTTPS_PORT when using SSL.
4584
4585         * url.c: move the #define of DEFAULT_HTTP_PORT, DEFAULT_FTP_PORT
4586         and DEFAULT_HTTPS_PORT to the header file so it can be use in the
4587         rest of the code. 
4588         * url.h: Ditto
4589
4590 2001-03-01  Jonas Jensen  <bones@huleboer.dk>
4591
4592         * retr.c (show_progress): Correctly calculate the number of bytes
4593         in the first line of the download that have been actually
4594         downloaded in this run.
4595
4596 2001-02-23  Dan Harkless  <wget@harkless.org>
4597
4598         * main.c (print_help): --help documentation for -N said it would
4599         re-download files if they had the _same_ timestamp on server.
4600         (print_help): -nr belongs in "FTP options" section of --help
4601         output, not "Recursive retrieval" section.  Alphabetized FTP
4602         options by long option name.
4603
4604 2001-02-16  Dan Harkless  <wget@harkless.org>
4605
4606         * init.c (commands): Hack Kampbjørn <hack@hackdata.com> discovered
4607         that "httpsproxy" had been inserted into commands[] out of
4608         alphabetical order, causing "BUG: unknown command `httpuser'".
4609
4610 2001-02-13  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4611
4612         * ftp-ls.c (ftp_parse_ls): Added support of ST_MACOS (Unix-like
4613         listing without correct permissons).
4614
4615         * ftp.h (stype): Added ST_MACOS to identify the NetPresenz MacOS
4616         FTP server. 
4617
4618         * ftp.c (ftp_retrieve_list): New mirroring logic: A remote file
4619         shall be donwloaded only when it's newer than the local copy or
4620         when it has the same timeestamp but its size is different. ST_VMS
4621         and ST_MACOS as special cases that lie about file size. 
4622
4623         * ftp-ls.c (ftp_parse_ls): Support for ST_MACOS.
4624
4625         * Makefile.in: Removed dependency on ftpparse library due to unclear
4626         copyright issues and absence of any feedback to our queries. 
4627
4628         * ftp-ls.c: Removed dependency on ftpparse library due to unclear
4629         copyright issues and absence of any feedback to our queries.   
4630         (ftp_parse_ls): Added a warning message when remote server system
4631         does not seem to be suported by wget. 
4632         (ftp_parse_vms_ls): New function for parsing VMS ftp
4633         server listing output.
4634         (clean_line): New function responsible for removing
4635         end-of-line characters from FTP listing texts.
4636
4637         * ftp.c (getftp): Global variables pwd and host_type are now
4638         member of the ccon structure under names ccon.id and ccon.rs. 
4639
4640         * ftp.h (struct ccon): Added formed global variables from ftp.c,
4641         enum stype rs (remote system identification) and char *id (initial
4642         working directory), as suggested by Hrvoje.
4643
4644         * url.c (parse_uname): Added support for passwords containing '@'
4645         characters.
4646         (skip_uname): Ditto.
4647
4648 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4649
4650         * ftp.c (ftp_loop): Reset con.
4651
4652 2001-01-06  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4653
4654         * url.c (parse_uname): Added support for passwords containing '@'
4655         characters.
4656         (skip_uname): Ditto.
4657
4658 2001-02-11  Hack Kampbjørn  <hack@hackdata.com>
4659
4660         * url.c (parseurl): Debug-print u->ftp_type.
4661
4662 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4663
4664         * ftp.c (ftp_loop_internal): Disable padding.
4665         (getftp): Ditto.
4666
4667         * http.c (http_loop): Disable padding.
4668
4669         * retr.c (show_progress): Use it to enable padding.
4670
4671         * retr.c (rate): Optional parameter PAD for padding the rate.
4672
4673 2001-02-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4674
4675         * retr.c (show_progress): Make sure that the last output line
4676         includes progress.
4677
4678 2001-02-10  Jonas Jensen  <bones@huleboer.dk>
4679
4680         * retr.c (show_progress): Print the download rate along with the
4681         percentages.
4682         Along with Anders Thorsby <anders@thorsby.dk>.
4683
4684 2001-02-10  Tim Mooney  <mooney@dogbert.cc.ndsu.NoDak.edu>
4685
4686         * ftp.h: Rename enums `command' to `wget_ftp_command' and
4687         `fstatus' to `wget_ftp_status' because old names clash with Tru64
4688         net/if.h.
4689
4690 2001-02-08  Christian Fraenkel <christian.fraenkel@gmx.net>
4691
4692         * gen_sslfunc.c: verify_callback is now static
4693
4694         * gen_sslfunc.c (init_ssl): load certificate if specified
4695
4696         * gen_sslfunc.c (ssl_printerr): new function
4697
4698         * init.c: added new --sslcertfile and --sslcertkey switches
4699
4700         * main.c: ditto
4701
4702         * options.h: ditto
4703
4704         * http.c (gethttp): abort when init_ssl fails
4705
4706 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
4707
4708         * mswindows.h: Include <malloc.h>; it's needed for alloca().
4709
4710 2001-01-10  Dan Harkless  <wget@harkless.org>
4711
4712         * url.c (str_url): Clarified this function's comment header after
4713         Hrvoje answered my question on the list as to when hide != 1.
4714         Also Hrvoje pointed out I need to use xstrdup() on the string literal.
4715
4716 2001-01-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4717
4718         * connect.c (bindport): Declare addrlen as int.  Diagnosed by
4719         Drazen Kacar <dave@arsdigita.com>.
4720         (conaddr): Ditto.
4721
4722 2001-01-09  Dan Harkless  <wget@harkless.org>
4723
4724         * html-url.c: A bunch of fixup of `--page-requisites'-related
4725         comments to reflect Hrvoje's changes to my code when transplanting
4726         it into this new file, to fix spelling mistakes, to clarify, etc.
4727
4728         * url.c (write_backup_file): Clarified a comment.
4729         (str_url): Henrik van Ginhoven pointed out on the list that we
4730         shouldn't give away the number of characters in the password by
4731         replacing each character with a 'x'.  Use "<password>" instead.
4732
4733         * ftp.c (ftp_retrieve_dirs): The bug where recursion into FTP
4734         directories didn't work if logging in put you in a directory other
4735         than "/" is fixed now.  Removed the comment here warning of the bug.
4736
4737         * main.c (print_help): --continue's description was misleading.
4738         We don't "restart", we "resume".  Also, better to say
4739         "partially-downloaded file" rather than just "existing file".
4740
4741 2001-01-06  Dan Harkless  <wget@harkless.org>
4742
4743         * ChangeLog: The '[Not in 1.6 branch.]'s were decided not to be
4744         the best way to go about my aim.  Removed them in favor of:
4745
4746         * ChangeLog-branches/1.6_branch.ChangeLog: New file.
4747
4748 2001-01-04  Hrvoje Niksic  <hniksic@arsdigita.com>
4749
4750         * url.c (replace_attr): New function, to be used by both
4751         TO_COMPLETE and TO_RELATIVE case in convert_links.
4752         (find_fragment): New function for finding URL fragments.
4753         (replace_attr): Better handle the case where the original string
4754         is not quoted.  Use find_fragment.
4755         (convert_links): Use replace_attr().
4756
4757 2000-12-31  Dan Harkless  <wget@harkless.org>
4758
4759         * ChangeLog: Since this flat file doesn't have multiple branches,
4760         looking at the dates would make you think that things went into
4761         1.6 that actually just went into the 1.7-dev branch.  Added "[Not
4762         in 1.6 branch.]" where appropriate to clarify.
4763         
4764 2000-12-30  Dan Harkless  <wget@harkless.org>
4765
4766         * ftp.c, http.c:  Applied Hack Kampbjørn <hack@hackdata.com>'s
4767         patch to deal with h_errno not being defined in netdb.h under Cygwin.
4768
4769 2000-12-18  Csaba Raduly  <csaba.raduly@sophos.com>
4770
4771         * sysdep.h: Include <malloc.h> and <io.h> under Watcom.
4772
4773 2000-12-17  Igor Khristophorov  <igor@atdot.org>
4774
4775         * http.c (check_end): Fix test for '+' or '-'.
4776
4777 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
4778
4779         * url.c (parseurl): Rename inner loop var from i to ind to avoid
4780         clash with the function top-level-declared variable i.
4781         (str_url): Likewise, rename inner-loop i to j.
4782
4783         * recur.c (parse_robots): Don't declare LEN at top of function.
4784         (robots_match): Renamed parameter FORBIDDEN to avoid hiding of
4785         global variable.
4786
4787         * main.c (main): Change erroneous use of bitwise and to logical.
4788
4789         * init.c (cmd_address): Don't heap-allocate `sin'; it can be on
4790         the stack because it will be copied to closure.
4791
4792         Thanks to Csaba Raduly's run of PC-LINT over the sources.
4793
4794 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
4795
4796         * http.c (basic_authentication_encode): Use xmalloc(), not
4797         malloc().  Thanks to Csaba Raduly's run of PC-LINT over the
4798         sources.
4799
4800 2000-12-17  Csaba Raduly  <csaba.raduly@sophos.com>
4801
4802         * sysdep.h: Test for __EMX__ rather than for EMXOS2 for OS/2
4803         compilation.
4804
4805 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
4806
4807         * mswindows.c: Include <errno.h>.
4808
4809         * gen_sslfunc.c: Include <errno.h>.
4810
4811         * ftp-basic.c: Don't attempt to declare errno or h_errno because
4812         they're not used.
4813
4814         * main.c: Include <errno.h> because errno is used.
4815
4816         * ftp.c: Ditto.
4817
4818         * http.c: Include <netdb.h> for h_errno.
4819
4820 2000-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4821
4822         * html-parse.c (advance_declaration): MSVC assert() chokes on
4823         '\"'.  Use '"' instead.
4824
4825 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4826
4827         * utils.c (xfree_real): Removed.
4828         (xfree_debug): Just call free().
4829
4830         * wget.h (xfree): Make it an alias for free.
4831
4832 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4833
4834         * http.c (http_loop): Furthermore, touch output_document only if
4835         it is known to be an existing regular file.
4836
4837 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4838
4839         * ftp.c (ftp_retrieve_list): Ditto.
4840
4841         * http.c (http_loop): Touch output_document if that is used for
4842         output.
4843
4844 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4845
4846         * http.c: Include gen_sslfunc.h after including Wget's headers.
4847         (persistent_available_p): Needed coma before `int ssl'.
4848
4849 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4850
4851         * ftp.c (ftp_loop_internal): Ditto.
4852
4853         * http.c (http_loop): Use it.
4854
4855         * retr.c (sleep_between_retrievals): New function that handles the
4856         logic of opt.wait and opt.waitretry.
4857
4858 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4859
4860         * rbuf.h: Implement only a single version of RBUF_READCHAR, using
4861         rbuf_read_bufferful when the buffer is depleted.
4862
4863         * rbuf.c (rbuf_read_bufferful): New function.
4864
4865 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4866
4867         * gen_sslfunc.h: Use ansi2knr style function declarations.
4868
4869         * gen_sslfunc.c: Reformat according to the GNU coding standards.
4870         More should be done.
4871
4872         * http.c (persistent_available_p): Place the cheap SSL test nearer
4873         the top of the function.
4874         (CLOSE_FINISH, CLOSE_INVALIDATE): Define only one version of each.
4875
4876 2000-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
4877
4878         * url.c (init_unsafe_char_table): Reinstate space as an unsafe
4879         char.
4880
4881 2000-12-03  Christian Fraenkel <christian.fraenkel@gmx.net>
4882
4883         * Makefile.in: added gen_sslfunc object
4884         * config.h.in: added HAVE_SSL define
4885         * connect.c: changed select_fd from static int to int
4886         * connect.h: ditto
4887         * gen_sslfunc.h: New file
4888         * gen_sslfunc.c: ditto
4889         * http.c: added HTTPS fuctionality
4890         * retrc.c: ditto
4891         * url.c: ditto
4892         * init.c: added opt.httpsproxy
4893         * options.h: ditto
4894         * rbuf.h: added alternate rbuf struct
4895         * wget.h: added CONSSLERR
4896         * rbuf.c: ditto
4897
4898         * http.c: Added HTTPS fuctionality.
4899
4900         * retrc.c: Ditto.
4901
4902         * url.c: Ditto.
4903
4904         * init.c: Added opt.httpsproxy.
4905
4906         * options.h: Ditto.
4907
4908         * rbuf.h: Added alternate rbuf struct.
4909
4910         * wget.h: Added CONSSLERR.
4911
4912         * rbuf.c: Ditto.
4913
4914 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4915
4916         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
4917         "ignore_perms" to ignore file and directory permissions for
4918         Windows NT FTP server listings.
4919         (ftp_parse_winnt_ls): New function.
4920         (ftp_parse_ls): Parses UNIX and Windows NT listings
4921         separately. Simple heuristics for distinguishing between UNIX and
4922         MS-DOS-like FTP listing provided by Windows NT FTP service.
4923
4924 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4925
4926         * ftpparse.c, ftpparse.h: New files.
4927
4928         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
4929         only. Use ftp_parse_nonunix_ls otherwise.
4930         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
4931         exotic FTP servers.
4932
4933         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
4934         FTP servers.
4935
4936         * ftp.c: New static wariables host_type, pwd, and pwd_len. 
4937         (getftp): Support for VMS. Support for FTP servers that do not
4938         place you in the root directory after login.
4939         (ftp_retrieve_list): VMS is silent about the real file size, issue
4940         a more appropriate message.
4941         (ftp_get_listing): Pass host_type to ftp_parse_ls.
4942
4943         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
4944
4945 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4946
4947         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
4948         "ignore_perms" to ignore file and directory permissions for
4949         Windows NT FTP server listings.
4950         (ftp_parse_winnt_ls): New function.
4951         (ftp_parse_ls): Parses UNIX and Windows NT listings
4952         separately. Simple heuristics for distinguishing between UNIX
4953         and MS-DOS-like FTP listing provided by Windows NT FTP service.
4954
4955 2000-11-29  John Summerfield  <summer@OS2.ami.com.au>
4956
4957         * netrc.c (parse_netrc): Get rid of line ending.
4958
4959 2000-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4960
4961         * ftp.c (ftp_retrieve_list): Undo typo "fix" until resolution by
4962         Dan.
4963
4964 2000-11-24  Karl Eichwalder  <ke@suse.de>
4965
4966         * main.c (print_help): Untabify.
4967
4968 2000-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
4969
4970         * utils.c (xrealloc_debug): Do the unregister/register thing only
4971         if the pointer has actually changed.
4972         (xmalloc_real): Declare `static' in DEBUG_MALLOC builds.
4973         (xfree_real): Ditto.
4974         (xrealloc_real): Ditto.
4975         (xstrdup_real): Ditto.
4976
4977 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
4978
4979         * ftp.c (getftp): ftp_getaddress() returns a malloc'ed copy of the
4980         string; no need to strdup() it.
4981         (getftp): Make pwd_len a local variable.
4982         (ftp_loop): Free PWD before returning.
4983
4984         * init.c (cleanup): Free opt.ftp_pass only if it's non-NULL.
4985
4986 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
4987
4988         * all: Use xfree() instead of free.
4989
4990         * utils.c (xfree): New function.
4991
4992 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
4993
4994         * url.c (convert_links): HTML-quote the converted string.
4995
4996         * utils.c (html_quote_string): Move here from ftp-ls.c
4997         (html_quote_string): Make non-static; declare in utils.h.
4998         (html_quote_string): Convert SP to &#32;.
4999
5000 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
5001
5002         * ftp.c (getftp): Reformat Jan's code according to GNU coding
5003         standards; remove (debugging?) printf's; use '\0' for the ASCII
5004         zero character.  Use alloca() instead of malloc() for
5005         inter-function temporary allocations.
5006
5007 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5008
5009         * ftpparse.c, ftpparse.h: New files.
5010
5011         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
5012         only. Use ftp_parse_nonunix_ls otherwise.
5013         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
5014         exotic FTP servers.
5015
5016         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
5017         FTP servers.
5018
5019         * ftp.c: New static wariables host_type, pwd, and pwd_len. 
5020         (getftp): Support for VMS. Support for FTP servers that do not
5021         place you in the root directory after login.
5022         (ftp_retrieve_list): VMS is silent about the real file size, issue
5023         a more appropriate message.
5024         (ftp_get_listing): Pass host_type to ftp_parse_ls.
5025
5026         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
5027
5028 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
5029
5030         * hash.c (hash_table_put): Don't overwrite deleted mappings.
5031
5032 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
5033
5034         * hash.c (find_mapping): New function.
5035         (hash_table_get): Use it.
5036         (hash_table_get_pair): Ditto.
5037         (hash_table_exists): Ditto.
5038         (hash_table_remove): Ditto.
5039         (hash_table_remove): Really delete the entry if the mapping
5040         following LOCATION is empty.
5041
5042         * utils.c (string_set_add): Check whether the element has existed
5043         before.
5044
5045         * hash.c (hash_table_get_pair): New function.
5046
5047 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
5048
5049         * http.c (http_process_type): Ignore trailing whitespace; use
5050         strdupdelim().
5051
5052         * recur.c (recursive_retrieve): Use the new `convert' field.
5053         (convert_all_links): Ditto.
5054         (convert_all_links): Don't respect meta_disallow_follow.
5055
5056         * html-url.c (handle_link): Fill out link_relative_p and
5057         link_complete_p.
5058
5059         * url.h (struct _urlpos): Make elements more readable.
5060
5061         * recur.c (recursive_retrieve): Call slist_prepend instead of
5062         slist_append.
5063         (convert_all_links): Call slist_nreverse before iterating through
5064         urls_html.
5065
5066         * utils.c (slist_prepend): New function.
5067         (slist_nreverse): Ditto.
5068
5069 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
5070
5071         * http.c (check_end): Constify.
5072
5073 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
5074
5075         * http.c (http_loop): If username and password are known, try the
5076         `Basic' authentication scheme by default.
5077
5078         * connect.h: Declare test_socket_open.
5079
5080 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
5081
5082         * version.c: Bump version from 1.5.3+dev to 1.7-dev.
5083
5084 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
5085
5086         * http.c (gethttp): Don't use the return value of sprintf().
5087         (gethttp): Inhibit keep-alive if opt.http_keep_alive is 0.
5088
5089 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
5090
5091         * recur.c (recursive_retrieve): Print the "so we don't load"
5092         debugging message only if we really don't load.
5093
5094         * http.c (gethttp): Inhibit keep-alive if proxy is being used.
5095         (gethttp): Don't request keep-alive if keep-alive is inhibited.
5096
5097 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
5098
5099         * http.c (gethttp): Make the HTTP persistent connections more
5100         robust.
5101
5102 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
5103
5104         * retr.c (get_contents): If use_expected, make sure that the
5105         appropriate amount of data is being read.
5106
5107         * http.c (gethttp): Check for both `Keep-Alive: ...' and
5108         `Connection: Keep-Alive'.
5109
5110         * wget.h (DEBUGP): Call debug_logprintf only if opt.debug is
5111         turned on.
5112
5113 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
5114
5115         * http.c (connection_available_p): Use it.
5116
5117         * connect.c (test_socket_open): New function.
5118
5119         * http.c (gethttp): Support persistent connections.  Based on the
5120         ideas, and partly on code, by Sam Horrocks <sam@daemoninc.com>.
5121         (register_persistent): New function.
5122         (connection_available_p): Ditto.
5123         (invalidate_connection): Ditto.
5124
5125 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
5126
5127         * url.c (convert_links): Handle UREL2ABS case.
5128
5129         * recur.c (recursive_retrieve): Instead of the list
5130         urls_downloaded, use hash tables dl_file_url_map and
5131         dl_url_file_map.
5132         (convert_all_links): Use them to retrieve data.
5133
5134         * host.c (clean_hosts): Free the hash tables.
5135
5136         * main.c (private_initialize): Call host_init().
5137
5138         * host.c (store_hostaddress): Use a saner, hash table-based data
5139         model.
5140         (realhost): Ditto.
5141         (host_init): Initialize the hash tables.
5142
5143 2000-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
5144
5145         * utils.c (slist_append): Eviscerate NOSORT.  Hash tables are now
5146         used for what the sorted slists used to be used for.
5147         (slist_contains): Don't rely on the list being sorted.
5148         (slist_append): Simplify the code.
5149
5150         * recur.c (recursive_cleanup): Use free_string_set.
5151
5152         * utils.c (string_set_add, string_set_exists, string_set_free):
5153         New functions for easier freeing of hash tables whose keys are
5154         strdup'ed strings.
5155
5156         * recur.c (recursive_retrieve): Use the hash table functions for
5157         storing undesirable URLs.
5158
5159         * hash.c: New file.
5160
5161 2000-11-17  Hrvoje Niksic  <hniksic@arsdigita.com>
5162
5163         * main.c (private_initialize): Call url_init.
5164         (main): Call private_initialize.
5165
5166         * url.c (unsafe_char_table): New table.
5167         (UNSAFE_CHAR): Use it.
5168         (init_unsafe_char_table): New function.
5169         (url_init): New function; call init_unsafe_char_table.
5170
5171 2000-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
5172
5173         * mswindows.h: Define snprintf and vsnprintf to _snprintf and
5174         _vsnprintf respectively.
5175
5176 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
5177
5178         * config.h.in: Do the _XOPEN_SOURCE and _SVID_SOURCE things only
5179         on Linux.
5180
5181 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
5182
5183         * html-url.c (handle_link): Handle HTML fragment identifiers.
5184
5185         * recur.c (recursive_retrieve): If norobot info is respected and
5186         the file is specified not to be followed by robots, respect that.
5187
5188         * html-url.c (collect_tags_mapper): Handle <meta name=robots
5189         content=X>.  For us the important cases are where X is NONE or
5190         where X contains NOFOLLOW.
5191         (get_urls_html): Propagate that information to the caller.
5192
5193 2000-11-13  Hrvoje Niksic  <hniksic@arsdigita.com>
5194
5195         * url.c (convert_links): Unlink the file we might be reading from
5196         before writing to it.
5197         (convert_links): Use alloca instead of malloc for
5198         filename_plus_orig_suffix.
5199
5200 2000-11-12  Hrvoje Niksic  <hniksic@arsdigita.com>
5201
5202         * host.c (realhost): Add HOST to the list with quality==0 only if
5203         it wasn't already there.
5204         Based on analysis by Lu Guohan <feng@public.bjnet.edu.cn>.
5205
5206 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
5207
5208         * url.c (get_urls_file): Ditto.
5209         (convert_links): Ditto.
5210
5211         * html-url.c (get_urls_html): Use read_file() instead of
5212         load_file().
5213
5214         * utils.c (read_file): New function, instead of the old
5215         load_file().
5216         (read_file_free): Ditto.
5217
5218         * url.c (findurl): Search only for the supported protocols.
5219         (convert_links): Use fwrite() when writing out a region of
5220         characters.
5221
5222 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
5223
5224         * ftp-ls.c: Move html_quote_string and ftp_index here.
5225
5226         * url.c: Remove get_urls_html, since that's now in html-url.c.
5227
5228         * html-url.c: New file.
5229
5230         * html-parse.c: New file.
5231
5232 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
5233
5234         * init.c (run_wgetrc): Don't bother killing off '\r' since
5235         pars_line() skips whitespace at end of line anyway.
5236         (parse_line): Oops, it didn't.  Now it does.
5237
5238         * recur.c (parse_robots): Ditto here.
5239
5240         * ftp-ls.c (ftp_parse_unix_ls): Kill off the newline character
5241         manually because read_whole_line no longer does.
5242
5243         * utils.c (read_whole_line): Rewrite to: a) use less memory
5244         (reallocates to needed size after work), b) work faster -->
5245         fgets() instead of getc, c) be more correct --> doesn't kill the
5246         newline character at the end of line.
5247
5248 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
5249
5250         * init.c (comind): Initialize MAX to array size - 1.
5251
5252 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
5253
5254         * url.c (construct): Changed last_slash[-1] to *(last_slash - 1).
5255         Suggested by Edward J. Sabol.
5256
5257 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
5258
5259         * url.c (construct): Handle the case where host name is not
5260         followed by a slash.
5261
5262 2000-11-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5263
5264         * init.c: commands[] need to be sorted!  ("base" wasn't.)
5265
5266 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
5267
5268         * wget.h (DO_REALLOC_FROM_ALLOCA): Use braces to disambiguate
5269         `if'.
5270
5271 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
5272
5273         * url.c (construct): Insert unneeded initialization for the
5274         compiler to shut up.
5275
5276         * config.h.in: Define _XOPEN_SOURCE to 500 to get the prototype
5277         for strptime() (*duh*).  Define _SVID_SOURCE to get S_IFLNK which
5278         otherwise gets lost when you define _XOPEN_SOURCE.
5279
5280         * utils.c (touch): Include the file name in the error message.
5281         From Debian.
5282
5283 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
5284
5285         * log.c (logvprintf): Use vsnprintf() in all cases.  If necessary,
5286         resize the buffer to fit the formated message.  That way, messages
5287         of arbitrary size may be printed.
5288         (logvprintf): Use saved_append() to optionally log the last
5289         several lines of output.
5290         (logputs): Ditto.
5291         (log_close): Adapt to new data structures.
5292         (log_dump): Ditto.
5293         (redirect_output): Print messages to stderr, not to stdout.
5294
5295         * log.c (saved_append_1): New function.  Replaces the old logging
5296         system ("log all output until 10M characters") with a new, much
5297         more reasonable one ("log last screenful of text").
5298         (saved_append): New function; call saved_append_1.
5299         (free_log_line): New function.
5300
5301 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
5302
5303         * url.c (construct): Fix comment.
5304         (find_last_char): Document.
5305
5306 2000-11-04  Hrvoje Niksic  <hniksic@arsdigita.com>
5307
5308         * snprintf.c: New file.
5309
5310 2000-11-03  Hrvoje Niksic  <hniksic@arsdigita.com>
5311
5312         * wget.h: If HAVE_STDARG_H is not defined, don't declare argument
5313         types to logprintf() and debug_logprintf().
5314
5315 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
5316
5317         * ftp.c (ftp_loop_internal): Hide the password from the URL when
5318         printing non-verbose.  Problem spotted by Dariusz Mlynarczyk
5319         <darekm@bydg.lomac.com.pl>.
5320
5321 2000-11-02  Junio Hamano  <junio@twinsun.com>
5322
5323         * ftp-basic.c (ftp_login): Make comparison case-insensitive.
5324
5325 2000-11-02  Tyler Riddle  <triddle@liquidmarket.com>
5326
5327         * http.c (known_authentication_scheme_p): Recognize NTML
5328         authentication.
5329         (create_authorization_line): Treat NTML the same as `Basic'.
5330
5331 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
5332
5333         * retr.c (retrieve_url): Free url before returning.
5334         (retrieve_url): Free mynewloc before returning.
5335         Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
5336
5337 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
5338
5339         * url.c (parseurl): Remove possible reading past the end of
5340         sup_protos[].  Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
5341
5342 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5343
5344         * main.c (main): In case of opt.downloaded overflowing, print
5345         <overflow> instead of a totally bogus random value.
5346
5347         * retr.c (retrieve_from_file): Ditto.
5348
5349         * recur.c (recursive_retrieve): Ditto.
5350
5351         * main.c (main): Ditto.
5352
5353         * http.c (http_loop): Ditto.
5354
5355         * ftp.c (ftp_loop_internal): Use downloaded_increase() instead of
5356         `+=', and downloaded_exceeds_quota() instead of the simple-minded
5357         check.
5358         (ftp_retrieve_list): Ditto.
5359         (ftp_retrieve_dirs): Ditto.
5360         (ftp_retrieve_glob): Ditto.
5361
5362         * retr.c (downloaded_increase): New function.  Notice overflows of
5363         opt.downloaded.
5364         (downloaded_exceeds_quota): Make sure that opt.downloaded is not
5365         used if it overflowed.
5366
5367         * options.h (struct options): New member downloaded_overflow.
5368
5369 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5370
5371         * wget.h (enum): Remove extra space after last enumeration.
5372
5373 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5374
5375         * main.c (main): Use legible_very_long() for printing
5376         opt.downloaded.
5377
5378         * utils.c (legible_1): New function that operates on strings and
5379         does the brunt of legible()'s work.
5380         (legible): Use legible_1().
5381         (legible_very_long): New function; dump the argument with
5382         sprintf(), and call legible_1().
5383
5384         * options.h (struct options): Use VERY_LONG_TYPE for
5385         opt.downloaded.
5386
5387         * sysdep.h (VERY_LONG_TYPE): Define it to have a 64-bit or greater
5388         type.
5389
5390         * config.h.in: Make sure that SIZEOF_LONG and SIZEOF_LONG_LONG get
5391         defined.  Define HAVE_LONG_LONG if long long is available.
5392
5393 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5394
5395         * utils.c (long_to_string): Update with a later, better version.
5396
5397 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5398
5399         * url.c (path_simplify_with_kludge): New function.
5400         (path_simplify_with_kludge): Disable it.  Instead...
5401         (parse_dir): ...make sure that at this point the right thing is
5402         done, i.e. that "query" part of the URL (?...) is always assigned
5403         to the file, never to the directory portion of the path.
5404
5405 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5406
5407         * retr.c (retrieve_url): Detect redirection cycles.
5408
5409 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5410
5411         * url.c (get_urls_html): Decode HTML entities using
5412         html_decode_entities.
5413
5414         * html.c (htmlfindurl): Don't count the `#' in numeric entities
5415         (&#NNN;) as an HTML fragemnt.
5416         (html_decode_entities): New function.
5417
5418 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5419
5420         * html.c (htmlfindurl): Fix recognition of # HTML fragments.
5421
5422 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5423
5424         * url.c (construct): Rewritten for clarity.  Avoids the
5425         unnecessary copying and stack-allocation the old version
5426         performed.
5427
5428 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
5429
5430         * ftp.c (getftp): Ditto.
5431
5432         * http.c (gethttp): Rewind the stream when retrying from scratch.
5433
5434 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
5435
5436         * retr.c (retrieve_url): Use url_concat() to handle relative
5437         redirections instead of /ad hoc/ code.
5438
5439         * url.c (url_concat): New function encapsulating weird
5440         construct().
5441         (urllen_http_hack): New function.
5442         (construct): When constructing new URLs, recognize that `?' does
5443         not form part of the file name in HTTP.
5444
5445 2000-10-13  Adrian Aichner  <adrian@xemacs.org>
5446
5447         * retr.c: Add msec timing support for WINDOWS.
5448         * retr.c (reset_timer): GetSystemTime() on WINDOWS.
5449         * retr.c (elapsed_time): Calculate delta time to msec on WINDOWS.
5450
5451 2000-10-27  Dan Harkless  <wget@harkless.org>
5452
5453         * retr.c (retrieve_url): Manually applied T. Bharath
5454         <TBharath@responsenetworks.com>'s patch to get wget to grok
5455         illegal relative URL redirects.  Reformatted and re-commented it.
5456
5457 2000-10-23  Dan Harkless  <wget@harkless.org>
5458
5459         * connect.c (make_connection and bindport): Manually applied Rob
5460         Mayoff <mayoff@dqd.com>'s 1.5.3 patch to add --bind-address,
5461         changing coding style to GNU's.
5462
5463         * ftp.c (ftp_loop_internal): --delete-after wasn't implemented for
5464         files downloaded via FTP.  Per a comment, .listing files were not
5465         counted towards number of bytes and files downloaded because they're 
5466         deleted anyway.  Well, they aren't under -nr, so count them then.
5467
5468         * init.c: Manually applied Rob Mayoff's 1.5.3 patch to add
5469         --bind-address, alphabetizing, changing coding style to GNU's,
5470         commenting, and renaming cmd_ip_address() to cmd_address() to
5471         imply hostnames also okay.
5472                 
5473         * main.c (main): --delete-after didn't delete the root of the
5474         tree.  Ignore --convert-links if --delete-after was specified.
5475         Manually applied Rob Mayoff's 1.5.3 patch to add --bind-address,
5476         fixing duplicate use of added-since-1.5.3 case value.
5477         (print_help): Clarified that --delete-after deletes local files.
5478         Rob forgot to add a line for his new --bind-address option.
5479                 
5480         * options.h (struct options): Manually applied Rob Mayoff's patch
5481         to add --bind-address (bind_address structure member).
5482                 
5483         * recur.c (recursive_retrieve): Improved comment; added DEBUGP().
5484         Ignore --convert-links if --delete-after was specified.
5485                 
5486         * retr.c (retrieve_from_file): Just added a DEBUGP().
5487                 
5488 2000-10-19  Dan Harkless  <wget@harkless.org>
5489
5490         * ftp.c (ftp_loop_internal): downloaded_file() enumerators changed.
5491         (getftp): Applied Piotr Sulecki <Piotr.Sulecki@ios.krakow.pl>'s
5492         patch to work around FTP servers that incorrectly respond to the
5493         "REST" command with the remaining size rather than the total file size.
5494                 
5495         * http.c (gethttp): Improved a comment and added code to tack on
5496         ".html" to text/html files without that extension when -E specified.
5497         (http_loop): Use new downloaded_file() enumerators and deal with
5498         the case of gethttp() called xrealloc() on u->local.
5499
5500         * init.c (commands): Added new "htmlextension" command.
5501         Also renamed John Daily's cmd_quad() to the more descriptive
5502         cmd_lockable_boolean(), alpha-sorted the CMD_DECLARE()s and
5503         removed duplicate cmd_boolean() declaration.
5504
5505         * main.c (print_help): Added my new -E / --html-extension option.
5506         (main): Undocumented --email-address option previously used -E synonym.
5507         Stole it away for the much more deserving --html-extension's use.
5508
5509         * options.h (struct options): Added html_extension field.
5510
5511         * url.c (convert_links): URL X that we saved as X.html locally due
5512         to -E needs to be backed up as X.orig, not X.html.orig.  Added comments.
5513         (downloaded_file): Now remembers if we added .html extension to a file.
5514
5515         * url.h (downloaded_file_t): Added extra enumerators to support above.
5516         (downloaded_file): Now takes and returns a downloaded_file_t.
5517
5518         * wget.h (unnamed "dt" enum): Added ADDED_HTML_EXTENSION enumerator.
5519         
5520 2000-10-09  Dan Harkless  <wget@harkless.org>
5521
5522         * html.c (htmlfindurl): Added unneeded initialization to quiet warning.
5523                 
5524         * main.c (print_help): Clarified what --retr-symlinks does.
5525         
5526 2000-09-15  John Daily  <jdaily@cyberdude.com>
5527
5528         * init.c: Add support for "always" and "never" values to allow
5529         .wgetrc to override commandline (useful e.g. with .pm files
5530         calling `wget --passive-ftp' when your firewall doesn't allow that).
5531
5532         * ftp.c (getftp): passive_ftp is first option to support always/never.
5533
5534 2000-08-30  Dan Harkless  <wget@harkless.org>
5535
5536         * ftp.c (ftp_retrieve_list): Use new INFINITE_RECURSION #define.
5537         
5538         * html.c: htmlfindurl() now takes final `dash_p_leaf_HTML' parameter.
5539         Wrapped some > 80-column lines.  When -p is specified and we're at a 
5540         leaf node, do not traverse <A>, <AREA>, or <LINK> tags other than 
5541         <LINK REL="stylesheet">.
5542         
5543         * html.h (htmlfindurl): Now takes final `dash_p_leaf_HTML' parameter.
5544         
5545         * init.c: Added new -p / --page-requisites / page_requisites option.
5546
5547         * main.c (print_help): Clarified that -l inf and -l 0 both allow
5548         infinite recursion.  Changed the unhelpful --mirrior description
5549         to simply give the options it's equivalent to.  Added new -p option.
5550         (main): Added some comments; handle new -p / --page-requisites.
5551         
5552         * options.h (struct options): Added new page_requisites field.
5553
5554         * recur.c: Changed "URL-s" to "URLs" and "HTML-s" to "HTMLs".
5555         Calculate and pass down new `dash_p_leaf_HTML' parameter to
5556         get_urls_html().  Use new INFINITE_RECURSION #define.
5557
5558         * retr.c: Changed "URL-s" to "URLs".  get_urls_html() now takes
5559         final `dash_p_leaf_HTML' parameter.
5560
5561         * url.c: get_urls_html() and htmlfindurl() now take final
5562         `dash_p_leaf_HTML' parameter.
5563
5564         * url.h (get_urls_html): Now takes final `dash_p_leaf_HTML' parameter.
5565
5566         * wget.h: Added some comments and new INFINITE_RECURSION #define.
5567         
5568 2000-08-23  Dan Harkless  <wget@harkless.org>
5569
5570         * main.c (print_help): -B / --base was not mentioned.
5571
5572 2000-08-22  Dan Harkless  <wget@harkless.org>
5573
5574         * main.c (print_help): Modified -nc description to mention that it
5575         also prevents the creation of multiple versions of the same file
5576         with ".<number>" suffixes.
5577
5578 2000-07-14  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5579
5580         * retr.c (retrieve_url): Consistently strdup opt.referer when
5581         setting u->referer.
5582
5583 2000-06-09  Dan Harkless  <wget@harkless.org>
5584
5585         * main.c (print_help): --help output for --waitretry was over 80 cols.
5586
5587 2000-06-09  Hrvoje Niksic  <hniksic@iskon.hr>
5588
5589         * url.c (encode_string): Fix comment.
5590         Suggested by Herold Heiko <Heiko.Herold@previnet.it>.
5591
5592 2000-06-01  Const Kaplinsky  <const@ce.cctpu.edu.ru>
5593
5594         * ftp.c (ftp_retrieve_list): Change permissions only on plain
5595         files.
5596
5597 2000-06-01  Hrvoje Niksic  <hniksic@iskon.hr>
5598
5599         * url.c (str_url): Print the port number only if it's different
5600         from the default port number for that protocol.
5601
5602 2000-05-22  Dan Harkless  <wget@harkless.org>
5603
5604         * main.c (print_help): Added --help line for Damir Dzeko
5605         <ddzeko@zesoi.fer.hr>'s until-now-undocumented --referer option.
5606         Removed comments that --referer and --waitretry were undocumented.
5607         Changed "`.wgetrc' command" to "`.wgetrc'-style command" on --help
5608         line for --execute.
5609
5610 2000-05-18  Hrvoje Niksic  <hniksic@iskon.hr>
5611
5612         * ftp.c (getftp): Ditto.
5613
5614         * http.c (gethttp): Check for return value of fclose/fflush.
5615
5616 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
5617
5618         * host.c (store_hostaddress): Instead of shifting ADDR, start
5619         copying from the correct address.
5620
5621 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
5622
5623         * http.c (gethttp): Don't free REQUEST -- it was allocated with
5624         alloca().
5625         Pointed out by Gisle Vanem <gvanem@eunet.no>.
5626
5627 2000-04-04  Dan Harkless  <wget@harkless.org>
5628
5629         * host.c (store_hostaddress): R. K. Owen's patch introduces a
5630         "left shift count >= width of type" warning on 32-bit
5631         architectures.  Got rid of it by tricking the compiler w/ a variable.
5632         
5633         * url.c (UNSAFE_CHAR): The macro didn't include all the illegal
5634         characters per RFC1738, namely everything above '~'.  It also
5635         generated a warning on OSes where char =~ unsigned char.  Fixed.
5636         
5637 1998-10-17  Hrvoje Niksic  <hniksic@srce.hr>
5638
5639         * http.c (http_process_type): Removed needless strdup(), a memory
5640         leak.
5641
5642 1998-09-25  Hrvoje Niksic  <hniksic@srce.hr>
5643
5644         * html.c (htmlfindurl): Set PH to the first occurrence of `#'.
5645
5646 1998-09-25  Simon Munton  <simonm@m4data.co.uk>
5647
5648         * init.c (wgetrc_file_name): Don't free HOME under Windows.
5649
5650 1998-12-01  "R. K. Owen"  <rkowen@Nersc.GOV>
5651
5652         * host.c (store_hostaddress): Fix for big endian 64-bit machines.
5653
5654 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
5655
5656         * url.c (UNSAFE_CHAR): New macro.
5657         (contains_unsafe): Use it.
5658         (encode_string): Ditto.
5659
5660 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
5661
5662         * main.c (i18n_initialize): Use LC_MESSAGES only if available.
5663
5664 2000-03-31  Hrvoje Niksic  <hniksic@srce.hr>
5665
5666         * Use TOUPPER/TOLOWER.
5667
5668 1998-12-22  Alexander V. Lukyanov  <lav@yars.free.net>
5669
5670         * ftp-opie.c (btoe): Zero-terminate OSTORE.
5671
5672 2000-03-21  Hrvoje Niksic  <hniksic@iskon.hr>
5673
5674         * wget.h (DO_REALLOC_FROM_ALLOCA): Ditto.
5675
5676         * sysdep.h (ISALNUM): New macro.
5677         (TOLOWER): Ditto.
5678         (TOUPPER): Ditto.
5679
5680 2000-03-10  Dan Harkless  <wget@harkless.org>
5681
5682         * html.c (idmatch): Implemented checking of my new --follow-tags
5683         and --ignore-tags options.
5684         
5685         * init.c (commands): Added comment reminding people adding new
5686         entries doing allocation to add corresponding freeing in cleanup().
5687         (commands): Added new followtags and ignoretags commands.
5688         (cleanup): Free storage for new followtags and ignoretags.
5689         
5690         * main.c: Use of "comma-separated list" was random -- normalized
5691         it.  Did some alphabetization.  Added comments pointing out
5692         "Options without arguments" and "Options accepting an argument"
5693         sections of long_options[].  Added new options --follow-tags and
5694         -G / --ignore-tags.  Added comment that Damir's --referer is
5695         currently undocumented.  Added comment that Heiko's --waitretry is
5696         partially undocumented (mentioned in --help but not in
5697         wget.texi).  Moved improperly sorted 24, 129, and 'G' cases.
5698         
5699         * options.h (struct options): Added new fields follow_tags and
5700         ignore_tags. 
5701         
5702         * wget.h: Added "#define EQ 0" so we can say "strcmp(a, b) == EQ".
5703         
5704 2000-03-02  Dan Harkless  <wget@harkless.org>
5705
5706         * ftp.c (ftp_loop_internal): Heiko introduced "suggest explicit
5707         braces to avoid ambiguous `else'" warnings.  Eliminated them.
5708         
5709         * http.c (gethttp): Dan Berger's query string patch is totally
5710         bogus.  If you have two different URLs, gen_page.cgi?page1 and
5711         get_page.cgi?page2, they'll both be saved as get_page.cgi and the
5712         second will overwrite the first.  Also, parameters to implicit
5713         CGIs, like "http://www.host.com/db/?2000-03-02" cause the URLs to
5714         be printed with trailing garbage characters, and could seg fault.
5715         Backing out the patch, which Dan B. informed me by email was just
5716         a kludge to download StarOffice from Sun made necessary due to
5717         wget's unconditional escaping of certain characters (room for an
5718         option there?).
5719         (http_loop): Heiko introduced "suggest explicit braces to avoid
5720         ambiguous `else'" warnings.  Eliminated them.
5721         
5722         * main.c: Heiko's --wait / --waitretry backwards compatibility
5723         code looks to have been totally untested -- automatic variable
5724         'wr' was used without being initialized, and a long int was passed
5725         into setval()'s char* val parameter.
5726         
5727         * recur.c (parse_robots): Applied Edward J. Sabol
5728         <sabol@alderaan.gsfc.nasa.gov>'s patch for Guan Yang's reported
5729         problem with "User-agent:<space>*<space>" lines in robots.txt.
5730         
5731         * url.c (parseurl, str_url): Removing Dan Berger's code (see
5732         http.c above for explanation).
5733         
5734 1999-08-25  Heiko Herold  <Heiko.Herold@previnet.it>
5735
5736         * ftp.c: Respect new option waitretry.
5737
5738 2000-01-30  Damir Dzeko  <ddzeko@zesoi.fer.hr>
5739
5740         * http.c (gethttp): Send custom Referer, if required.
5741
5742 1999-09-24  Charles G Waldman  <cgw@fnal.gov>
5743
5744         * netrc.c (parse_netrc): Allow passwords to contain spaces.
5745
5746         * netrc.c (parse_netrc): New function.
5747
5748 1999-09-17  Dan Berger  <dberger@ix.netcom.com>
5749
5750         * http.c (gethttp): Send it.
5751
5752         * url.c (parseurl): Detect query string in HTTP URL-s.
5753         (str_url): Print it.
5754
5755 2000-03-02  HIROSE Masaaki  <hirose31@t3.rim.or.jp>
5756
5757         * html.c (html_allow): Add <link href=...> and <script src=...>.
5758
5759 1999-05-02  andrew deryabin  <djsf@softhome.net>
5760
5761         * http.c (gethttp): Specify port in `Host' header only if it's
5762         different from 80.
5763
5764 1998-11-03  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
5765
5766         * recur.c (recursive_retrieve): If a finite maximum depth is
5767         specified, and we're are already at that depth, don't download the
5768         HTML file for parsing.
5769
5770 2000-03-01  Dan Harkless  <wget@harkless.org>
5771
5772         * ftp.c (ftp_loop_internal): Call new downloaded_file() function,
5773         even though we don't do conversion on HTML files retrieved via
5774         FTP, so _current_ usage of downloaded_file() makes this call unneeded. 
5775         (ftp_retrieve_list): Added a comment saying where we need to
5776         stat() a .orig file if FTP'd HTML file conversion is ever implemented.
5777         (ftp_retrieve_list): "Local file '%s' is more recent," is sometimes
5778         a lie -- reworded as "Server file no newer than local file '%s' --".
5779         
5780         * http.c (http_loop): Fixed a typo and clarified a comment.
5781         (http_loop): When -K and -N are specified together, compare size
5782         and timestamp of server file X against local file X.orig (if
5783         extant) rather than converted local file X.
5784         (http_loop): "Local file '%s' is more recent," is sometimes a lie
5785         -- reworded as "Server file no newer than local file '%s' --".
5786         (http_loop): Call new downloaded_file() function to prevent
5787         wrongful overwriting of .orig file when -N is specified.
5788         
5789         * url.c (convert_links): When -K specified, only rename X to
5790         X.orig if downloaded_file() returns TRUE.  Otherwise when we skip
5791         file X due to -N, we clobber an X.orig from a previous invocation.
5792         (convert_links): Call the failsafe xstrdup(), not the real strdup().
5793         (convert_links): Added a note asking anyone who understands how
5794         multiple URLs can correspond to a single file to comment it.
5795         (downloaded_file): Added this new function.
5796         
5797         * url.h (downloaded_file): Added prototype for this new function
5798         as well as its downloaded_file_t enum type.
5799
5800         * wget.h (boolean): Added this new typedef and TRUE and FALSE #defines.
5801
5802 2000-02-29  Dan Harkless  <wget@harkless.org>
5803
5804         * version.c: Upped version to developer-only "1.5.3+dev".
5805
5806 2000-02-18  Dan Harkless  <wget@harkless.org>
5807
5808         * init.c (backup_converted): Added this new option.
5809
5810         * main.c (-K / --backup-converted): Added this new option.
5811
5812         * options.h (backup_converted): Added this new option.
5813
5814         * url.c (convert_links): When backup_converted is specified, save
5815         file X as X.orig before converting.
5816
5817         * url.h (urlpos): Fixed typo -- said "Rekative" instead of "Relative".
5818
5819 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
5820
5821         * version.c: Wget 1.5.3 is released.
5822
5823 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
5824
5825         * host.c (ftp_getaddress): Don't warn when reverse-lookup of local 
5826         address doesn't yield FQDN.
5827
5828 1998-09-21  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
5829
5830         * cmpt.c (strerror): Fix declaration of sys_errlist.
5831
5832 1998-09-11  Hrvoje Niksic  <hniksic@srce.hr>
5833
5834         * main.c (main): Don't use an array subscript as the first
5835         argument to STRDUP_ALLOCA.
5836         From Kaveh R. Ghazi.
5837
5838 1998-09-11  Szakacsits Szabolcs  <szaka@sienet.hu>
5839
5840         * html.c (htmlfindurl): Download table background.
5841
5842 1998-09-11  Hans Grobler  <grobh@conde.ee.sun.ac.za>
5843
5844         * init.c (parse_line): Would free *com before allocating it.
5845         (parse_line): Would free com instead of *com.
5846
5847 1998-09-10  Howard Gayle  <howard@fjst.com>
5848
5849         * url.c (get_urls_html): Would drop the last character of the
5850         link.
5851
5852 1998-09-10  Hrvoje Niksic  <hniksic@srce.hr>
5853
5854         * http.c (http_loop): Don't print status code if quiet.
5855
5856 1998-09-10  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
5857
5858         * log.c: Use <stdarg.h> only when __STDC__.
5859
5860 1998-09-10  Adam D. Moss  <adam@foxbox.org>
5861
5862         * html.c (htmlfindurl): Download <layer src=...>.
5863
5864 1998-09-10  Howard Gayle  <howard@fjst.com>
5865
5866         * ftp.c (ftp_retrieve_list): Don't update the time stamp of a file 
5867         not retrieved.
5868
5869 1998-06-27  Hrvoje Niksic  <hniksic@srce.hr>
5870
5871         * utils.c: Include <libc.h> on NeXT.
5872
5873 1998-06-26  Heinz Salzmann  <heinz.salzmann@intermetall.de>
5874
5875         * url.c (get_urls_html): Fix calculation of URL position.
5876
5877 1998-06-23  Hrvoje Niksic  <hniksic@srce.hr>
5878
5879         * version.c: Wget 1.5.2 is released.
5880
5881 1998-06-23  Dave Love  <d.love@dl.ac.uk>
5882
5883         * ftp.c, init.c, netrc.c: Include errno.h.
5884
5885         * http.c: Include errno.h and time header.
5886
5887         * Makefile.in (exext): Define.
5888         (install.bin, uninstall.bin): Use it.
5889
5890 1998-06-21  Hrvoje Niksic  <hniksic@srce.hr>
5891
5892         * http.c (http_loop): Don't attempt to compare local and remote
5893         sizes if the remote size is unknown.
5894
5895 1998-06-16  Hrvoje Niksic  <hniksic@srce.hr>
5896
5897         * url.c (get_urls_html): Use malloc() instead of alloca in the
5898         loop.
5899
5900 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
5901
5902         * version.c: Wget 1.5.2-b4 is released.
5903
5904 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
5905
5906         * url.c (get_urls_html): Ignore spaces before and after the URI.
5907
5908 1998-06-08  Wanderlei Antonio Cavassin  <cavassin@conectiva.com.br>
5909
5910         * ftp.c (getftp): Translate `done'.
5911
5912 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
5913
5914         * version.c: Wget 1.5.2-b3 is released.
5915
5916 1998-06-06  Alexander Kourakos  <awk@bnt.com>
5917
5918         * init.c (cleanup): Close dfp, don't free it.
5919
5920 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
5921
5922         * utils.c (make_directory): Twiddle.
5923
5924         * config.h.in: Added template for access().
5925
5926 1998-06-05  Mathieu Guillaume  <mat@cythere.com>
5927
5928         * html.c (htmlfindurl): Download <input src=...>
5929
5930 1998-06-03  Hrvoje Niksic  <hniksic@srce.hr>
5931
5932         * utils.c (file_exists_p): Use access() with two arguments.
5933
5934 1998-05-27  Martin Kraemer  <Martin.Kraemer@mch.sni.de>
5935
5936         * netrc.c (parse_netrc): Correct logic.
5937
5938 1998-05-27  Hrvoje Niksic  <hniksic@srce.hr>
5939
5940         * ftp.c (getftp): Added `break'; suggested by Lin Zhe Min
5941         <ljm@ljm.wownet.net>.
5942
5943 1998-05-24  Hrvoje Niksic  <hniksic@srce.hr>
5944
5945         * version.c: Wget 1.5.2-b2 is released.
5946
5947 1998-05-18  Juan Jose Rodriguez  <jcnsoft@jal1.telmex.net.mx>
5948
5949         * mswindows.h: Don't translate mkdir to _mkdir under Borland.
5950
5951 1998-05-17  Hrvoje Niksic  <hniksic@srce.hr>
5952
5953         * retr.c (elapsed_time): Return correct value when
5954         HAVE_GETTIMEOFDAY is undefined.
5955
5956 1998-05-13  Hrvoje Niksic  <hniksic@srce.hr>
5957
5958         * version.c: Wget 1.5.2-b1 is released.
5959
5960 1998-05-08  Hrvoje Niksic  <hniksic@srce.hr>
5961
5962         * getopt.c (_getopt_internal): Use exec_name instead of argv[0].
5963         (_getopt_internal): Don't translate `#if 0'-ed strings.
5964
5965 1998-05-06  Douglas E. Wegscheid  <wegscd@whirlpool.com>
5966
5967         * mswindows.c (ws_handler): Use fork_to_background().
5968
5969 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
5970
5971         * version.c: Wget 1.5.1 is released.
5972
5973 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
5974
5975         * http.c (parse_http_status_line): Avoid `minor' and `major'
5976         names.
5977
5978 1998-05-02  Hrvoje Niksic  <hniksic@srce.hr>
5979
5980         * utils.c (mkdirhier): Renamed to make_directory.
5981
5982 1998-05-01  Hrvoje Niksic  <hniksic@srce.hr>
5983
5984         * mswindows.c (fork_to_background): Define under Windows.
5985
5986         * utils.c (fork_to_background): New function.
5987
5988         * html.c (htmlfindurl): Removed rerdundant casts.
5989
5990 1998-05-01  Douglas E. Wegscheid  <wegscd@whirlpool.com>
5991
5992         * mswindows.c (ws_mypath): Cache the path.
5993
5994 1998-04-30  Douglas E. Wegscheid  <wegscd@whirlpool.com>
5995
5996         * ftp.h: Prefix enum ftype members with FT_.
5997
5998         * ftp-ls.c, ftp.c, html.h: Adjust accordingly.
5999
6000         * mswindows.h: Use stat under Borland, _stat under MSVC.
6001
6002 1998-04-28  Hrvoje Niksic  <hniksic@srce.hr>
6003
6004         * http.c (known_authentication_scheme_p): New function.
6005         (gethttp): Handle authorization more correctly.
6006
6007         * ftp-basic.h: Removed.
6008
6009         * cmpt.h: Removed.
6010
6011         * utils.c: Include <unistd.h> before <pwd.h>; needed under SunOS
6012         with gcc 2.8.
6013         (numdigit): Use `while' loop.
6014
6015         * http.c (create_authorization_line): Detect authentication
6016         schemes case-insensitively.
6017
6018         * http.c (extract_header_attr): Use strdupdelim().
6019         (digest_authentication_encode): Move declaration of local
6020         variables to smaller scope.
6021         (digest_authentication_encode): Reset REALM, OPAQUE and NONCE.
6022         (create_authorization_line): Detect authentication schemes
6023         case-insensitively.
6024
6025         * utils.c (touch): Constify.
6026
6027         * http.c (gethttp): Report a nicer error when no data is received.
6028
6029         * rbuf.h (RBUF_READCHAR): Ditto.
6030
6031         * ftp-basic.c (ftp_response): Use sizeof.
6032
6033 1998-04-27  Hrvoje Niksic  <hniksic@srce.hr>
6034
6035         * retr.c (print_percentage): EXPECTED is long, not int.
6036         (print_percentage): Use floating-point arithmetic to avoid
6037         overflow with large files' sizes multiplied with 100.
6038
6039 1998-04-27  Gregor Hoffleit  <flight@mathi.uni-heidelberg.de>
6040
6041         * config.h.in: Added pid_t stub.
6042
6043         * sysdep.h (S_ISREG): Moved here from mswindows.h (NeXT doesn't
6044         define it).
6045
6046 1998-04-20  Hrvoje Niksic  <hniksic@srce.hr>
6047
6048         * version.c: Wget 1.5.0 is released.
6049
6050 1998-04-18  Hrvoje Niksic  <hniksic@srce.hr>
6051
6052         * url.c (str_url): Ditto.
6053
6054         * ftp-basic.c (ftp_rest): Use new name.
6055
6056         * utils.c (long_to_string): Renamed from prnum().
6057
6058 1998-04-16  Hrvoje Niksic  <hniksic@srce.hr>
6059
6060         * version.c: Wget 1.5-b17 is released.
6061
6062 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
6063
6064         * headers.c (header_get): New argument FLAGS.
6065
6066         * http.c (gethttp): If request is malformed, bail out of the
6067         header loop.
6068         (gethttp): Check for empty header *after* the status line checks.
6069         (gethttp): Disallow continuations for status line.
6070
6071 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
6072
6073         * version.c: Wget 1.5-b16 is released.
6074
6075 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
6076
6077         * init.c (commands): Renamed `always_rest' to `continue'.
6078
6079 1998-04-05  Hrvoje Niksic  <hniksic@srce.hr>
6080
6081         * all: Use it.
6082
6083         * log.c (logputs): New argument.
6084         (logvprintf): Ditto.
6085         (logprintf): Ditto.
6086
6087 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
6088
6089         * http.c (http_atotm): Update comment.
6090
6091         * main.c (i18n_initialize): Set LC_MESSAGES, not LC_ALL.
6092
6093         * wget.h: Renamed ENABLED_NLS to HAVE_NLS.
6094
6095         * main.c (i18n_initialize): New function.
6096         (main): Use it.
6097
6098         * log.c: Include <unistd.h>.
6099
6100         * retr.c (show_progress): Cast alloca to char *.
6101
6102 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
6103
6104         * version.c: Wget 1.5-b15 is released.
6105
6106 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
6107
6108         * utils.h: Declare file_non_directory_p().
6109
6110 1998-04-03  Hrvoje Niksic  <hniksic@srce.hr>
6111
6112         * main.c (main): It's `tries', not `numtries' now.
6113
6114 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
6115
6116         * init.c (getperms): Removed.
6117
6118 1998-04-01  Tim Charron  <tcharron@interlog.com>
6119
6120         * log.c (logvprintf): Don't use ARGS twice.
6121
6122 1998-04-01  John  <john@futuresguide.com>
6123
6124         * mswindows.c: Cleaned up.
6125
6126 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
6127
6128         * version.c: Wget 1.5-b14 is released.
6129
6130 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
6131
6132         * ftp-opie.c (STRLEN4): New macro.
6133         (btoe): Use it.
6134
6135 1998-04-01  Junio Hamano  <junio@twinsun.com>
6136
6137         * http.c: Document all the Digest functions.
6138
6139 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
6140
6141         * utils.c (file_non_directory_p): Renamed from isfile().
6142
6143         * mswindows.h (S_ISREG): New macro, suggested by Tim Adam.
6144
6145 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
6146
6147         * utils.c (mkdirhier): Use 0777 instead of opt.dirmode.
6148
6149         * init.c (cmd_spec_dotstyle): Use 48 dots per line for binary
6150         style.
6151         (cmd_permissions): Removed.
6152
6153         * config.h.in: Add template for WORDS_BIGENDIAN.
6154
6155 1998-03-31  Junio Hamano  <junio@twinsun.com>
6156
6157         * http.c (HEXD2asc): New macro.
6158         (dump_hash): Use it.
6159
6160 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
6161
6162         * version.c: Wget 1.5-b13 is released.
6163
6164 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
6165
6166         * main.c (main): Don't try to use `com'.
6167
6168 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
6169
6170         * init.c (cmd_permissions): New function.
6171
6172 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
6173
6174         * version.c: Wget 1.5-b12 is released.
6175
6176 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
6177
6178         * init.c (commands): Renamed `numtries' to `tries'.
6179         (cmd_spec_debug): Removed.
6180         (home_dir): Under Windows, return `C:\' if HOME is undefined.
6181
6182 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
6183
6184         * config.h.in: Define _XOPEN_SOURCE.
6185
6186         * init.c (check_user_specified_header): New function.
6187         (cmd_spec_header): Use it.
6188         (cmd_spec_useragent): New function.
6189
6190 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
6191
6192         * version.c: Wget 1.5-b11 is released.
6193
6194 1998-03-28  Hrvoje Niksic  <hniksic@srce.hr>
6195
6196         * wget.h: Include <libintl.h> only if NLS is enabled.
6197
6198 1998-03-26  Hrvoje Niksic  <hniksic@srce.hr>
6199
6200         * options.h (struct options): Made `wait' a long.
6201         (struct options): Ditto for `timeout'.
6202
6203 1998-03-19  Hrvoje Niksic  <hniksic@srce.hr>
6204
6205         * utils.c (exists): Renamed to file_exists_p.
6206         (file_exists_p): Use access() if available.
6207
6208 1998-03-17  Hrvoje Niksic  <hniksic@srce.hr>
6209
6210         * utils.c (memfatal): Set save_log_p to 0 to avoid potential
6211         infloop.
6212
6213         * log.c: do_logging -> save_log_p.
6214
6215         * config.h.in: Added template for HAVE_VSNPRINTF.
6216
6217 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
6218
6219         * init.c: Ditto.
6220
6221         * http.c: Protect declaration against non-ANSI compiler.
6222
6223         * log.c (logvprintf): Use vsnprintf() if available.
6224
6225         * getopt.c (main): Don't translate test stuff.
6226
6227 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
6228
6229         * version.c: Wget 1.5-b10 is released.
6230
6231 1998-03-11  Hrvoje Niksic  <hniksic@srce.hr>
6232
6233         * ftp.c (getftp): Don't translate "CWD %s".
6234
6235         * wget.h (GCC_FORMAT_ATTR): Renamed from FORMAT_ATTR.
6236
6237 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
6238
6239         * ftp-opie.c (btoe): Use memcpy() instead of strncat().
6240
6241         * log.c (logputs): New function.
6242         (logvprintf): Renamed from vlogmsg; use logputs().
6243
6244         * retr.c (show_progress): Print `[100%]' when the retrieval is
6245         finished.
6246
6247         * init.c (run_wgetrc): Use FILE, not PATH.
6248         (wgetrc_file_name): Ditto.
6249
6250 1998-03-07  Tim Adam  <tma@osa.com.au>
6251
6252         * recur.c (parse_robots): Correctly reset `entries' on empty
6253         disallow.
6254
6255 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
6256
6257         * init.c (cmd_spec_debug): Use cmd_boolean().
6258
6259 1998-02-23  Hrvoje Niksic  <hniksic@srce.hr>
6260
6261         * http.c (gethttp): Create proxy-authorization correctly.
6262
6263 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
6264
6265         * md5.c: Ditto.
6266
6267         * getopt.c: Use ANSI function definitions.
6268
6269         * ftp-opie.c: New file.
6270
6271         * options.h: Don't redefine EXTERN.
6272
6273         * init.c: Sort it correctly.
6274
6275 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
6276
6277         * version.c: Wget 1.5-b9 is released.
6278
6279 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
6280
6281         * recur.c (recursive_retrieve): Reset `first_time'.
6282
6283         * ftp.c (getftp): Added `default' clause to switches of uerr_t.
6284
6285         * rbuf.c (rbuf_peek): Simplified.
6286         (rbuf_flush): Use MINVAL.
6287
6288         * wget.h (MINVAL): Moved from url.h.
6289
6290         * rbuf.h (RBUF_FD): New macro.
6291
6292         * url.c (add_url): Add to the head of the list.
6293
6294         * ftp.c (ftp_retrieve_list): Set the permissions to downloaded
6295         file.
6296         (getftp): Set the default permissions to 0600.
6297
6298 1998-02-21  Hrvoje Niksic  <hniksic@srce.hr>
6299
6300         * url.c (get_urls_html): Ditto.
6301         (convert_links): Ditto.
6302
6303         * recur.c (parse_robots): Ditto.
6304
6305         * html.c (ftp_index): Ditto.
6306
6307         * ftp-ls.c (ftp_parse_unix_ls): Open file as binary.
6308
6309         * init.c (defaults): Initialize `opt' to zero via memset.
6310
6311         * http.c (digest_authentication_encode): goto considered harmful.
6312
6313 1998-02-19  Hrvoje Niksic  <hniksic@srce.hr>
6314
6315         * ftp.c (delelement): Simplify and fix leak.
6316
6317 1998-02-18  Hrvoje Niksic  <hniksic@srce.hr>
6318
6319         * http.c (dump_hash): Use HEXD2ASC instead of home-grown stuff.
6320
6321         * url.h (HEXD2ASC): Removed warning.
6322
6323         * init.c (comind): Use binary search.
6324         (commands): Reorganized.
6325         (setval): Ditto.
6326         (cmd_boolean): New function.
6327         (cmd_number): Ditto.
6328         (cmd_number_inf): Ditto.
6329         (cmd_string): Ditto.
6330         (cmd_vector): Ditto.
6331         (cmd_directory_vector): Ditto.
6332         (cmd_bytes): Ditto.
6333         (cmd_time): Ditto.
6334         (cmd_spec_debug): Ditto.
6335         (cmd_spec_dirmode): Ditto.
6336         (cmd_spec_dirstruct): Ditto.
6337         (cmd_spec_dotstyle): Ditto.
6338         (cmd_spec_header): Ditto.
6339         (cmd_spec_htmlify): Ditto.
6340         (cmd_spec_mirror): Ditto.
6341         (cmd_spec_outputdocument): Ditto.
6342         (cmd_spec_recursive): Ditto.
6343         (settime): Merged with cmd_time().
6344         (setbytes): Merged with cmd_bytes().
6345         (setonoff): Merged with cmd_boolean().
6346         (onoff): Ditto.
6347
6348 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
6349
6350         * Makefile.in (distclean): Remove `config.h'.
6351
6352 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
6353
6354         * version.c: Wget 1.5-b8 is released.
6355
6356 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
6357
6358         * http.c (digest_authentication_encode): New function.
6359         (create_authorization_line): Use it.
6360         (dump_hash): New function.
6361         (digest_authentication_encode): Use it.
6362
6363         * fnmatch.c: Renamed from `mtch.c'.
6364
6365 1998-02-15  Karl Eichwalder  <ke@suse.de>
6366
6367         * main.c (main): Tag "Written by..." string as translatable.
6368
6369 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
6370
6371         * wget.h (FREE_MAYBE): New macro.
6372
6373         * http.c (create_authorization_line): Don't use ANSI C string
6374         concatenation feature.
6375         (basic_authentication_encode): Use alloca() for temporary
6376         variables.
6377
6378         * recur.h: Ditto.
6379
6380         * http.c: Ditto.
6381
6382         * headers.h: Ditto.
6383
6384         * ftp-basic.c: Protect declaration against non-ANSI compiler.
6385
6386         * http.c (create_authorization_line): Cast `unsigned char *' to
6387         `char *' for sprintf, to shut up the noisy Digital Unix cc.
6388
6389 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
6390
6391         * version.c: Wget 1.5-b7 is released.
6392
6393 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
6394
6395         * cmpt.c (strstr): Synched with glibc-2.0.6.
6396
6397         * ftp-basic.c (calculate_skey_response): Ditto.
6398         (calculate_skey_response): Use alloca().
6399
6400         * http.c (create_authorization_line): Work with FSF's version of
6401         md5.c.
6402
6403         * md5.c: New file, from GNU libc.
6404
6405 1998-02-14  Hrvoje Niksic  <hniksic@srce.hr>
6406
6407         * url.h (URL_CLEANSE): Name the temporary variable more carefully.
6408
6409 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
6410
6411         * http.c (basic_authentication_encode): New function, instead of
6412         the macro.
6413
6414 1998-02-13  Junio Hamano  <junio@twinsun.com>
6415
6416         * http.c: Add HTTP-DA support.
6417         * ftp-basic.c: Add Opie/S-key support.
6418         * config.h.in, Makefile.in: Add HTTP-DA and Opie/S-key support.
6419         * md5.c, md5.h: New files.
6420
6421 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
6422
6423         * http.c (http_process_range): Renamed from hprocrange().
6424         (http_process_range): Parse the whole header.
6425
6426         * headers.c: New file.
6427         (header_process): New function.
6428         (header_get): Renamed from fetch_next_header.
6429
6430         * all: Include utils.h only where necessary.
6431
6432         * wget.h: Declare xmalloc(), xrealloc() and xstrdup() here.
6433
6434         * wget.h: Add provisions for dmalloc.
6435
6436 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
6437
6438         * version.c: Wget 1.5-b6 is released.
6439
6440 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
6441
6442         * ftp.c (ftp_loop): Determine `filename' more precisely.
6443
6444         * init.c (setval): Don't set `opt.quiet' if output-document is
6445         `-'.
6446
6447         * log.c (log_init): Print to STDERR instead of STDOUT.
6448         (vlogmsg): Use STDERR by default.
6449         (logflush): Ditto.
6450
6451 1998-02-11  Simon Josefsson  <jas@pdc.kth.se>
6452
6453         * host.c: Use addr_in again.
6454
6455 1998-02-08  Karl Eichwalder  <karl@suse.de>
6456
6457         * http.c (gethttp): Fixed typo.
6458
6459 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
6460
6461         * version.c: Wget 1.5-b5 is released.
6462
6463 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
6464
6465         * retr.c (show_progress): Use it.
6466
6467         * log.c (logflush): New function.
6468
6469         * wget.h: Utilize __attribute__ if on gcc.
6470
6471 1998-02-07  Hrvoje Niksic  <hniksic@srce.hr>
6472
6473         * http.c (base64_encode_line): New argument LENGTH.
6474         (BASIC_AUTHENTICATION_ENCODE): Use it.
6475         (BASIC_AUTHENTICATION_ENCODE): Take length of HEADER into account.
6476
6477         * main.c (main): Fixed fprintf() format mismatch.
6478
6479 1998-02-06  Hrvoje Niksic  <hniksic@srce.hr>
6480
6481         * version.c: Wget 1.5-b4 is released.
6482
6483 1998-02-03  Simon Josefsson  <jas@pdc.kth.se>
6484
6485         * host.c: use sockaddr_in instead of addr_in.
6486
6487 1998-02-04  Hrvoje Niksic  <hniksic@srce.hr>
6488
6489         * init.c (cleanup): Use it.
6490
6491         * recur.c (recursive_cleanup): New function.
6492
6493         * retr.c (retrieve_from_file): Ditto.
6494
6495         * main.c (main): Use it.
6496
6497         * recur.c (recursive_reset): New function.
6498
6499         * retr.c (retrieve_from_file): Ditto.
6500
6501         * main.c (main): Simplify call to recursive_retrieve().
6502
6503         * recur.c (recursive_retrieve): Removed FLAGS argument.
6504
6505         * http.c (gethttp): Changed call to iwrite().
6506
6507 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
6508
6509         * url.c (get_urls_html): Ditto.
6510         (free_urlpos): Ditto.
6511         (mkstruct): Ditto.
6512         (construct): Ditto.
6513
6514         * retr.c (retrieve_url): Move declaration of local variables to
6515         smaller scope.
6516
6517         * url.c (urlproto): Use it.
6518         (parseurl): Ditto.
6519         (str_url): Ditto.
6520         (get_urls_html): Ditto.
6521
6522         * utils.h (ARRAY_SIZE): New macro.
6523
6524         * url.c (proto): Moved from url.h.
6525
6526         * url.h (URL_CLEANSE): Reformatted.
6527         (USE_PROXY_P): Renamed from USE_PROXY.
6528
6529         * ftp-basic.c: Adjust to the new interface of iwrite().
6530
6531         * ftp-basic.c (ftp_port): Use alloca().
6532
6533 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
6534
6535         * version.c: Wget 1.5-b3 is released.
6536
6537         * host.c (ftp_getaddress): Don't print to stderr directly.
6538
6539         * init.c (setbytes): Support `g' for gigabytes.
6540         (cmdtype): New specification CTIME.
6541         (setval): Use it with settime().
6542         (commands): Use it for WAIT and TIMEOUT.
6543
6544 1998-02-02  Hrvoje Niksic  <hniksic@srce.hr>
6545
6546         * http.c (BASIC_AUTHENTICATION_ENCODE): New macro.
6547         (gethttp): Use it.
6548
6549         * utils.c (unique_name_1): Moved from url.c.
6550         (unique_name): Ditto.
6551
6552         * url.c (url_filename): Ditto.
6553
6554         * log.c (redirect_output): Changed call to unique_name().
6555
6556         * url.c (unique_name_1): Renamed from unique_name().
6557         (unique_name): Changed interface.
6558
6559         * init.c (enum cmdid): Moved from init.h.
6560         (cmdtype): Ditto.
6561         (struct cmd): Ditto.
6562
6563         * main.c (main): Use it.
6564         (main): Moved `--backups' to not have a short option.
6565
6566         * options.h (struct options): New member BACKGROUND.
6567
6568         * main.c (print_help): Rearranged.
6569         (main): New long options for -n* short options: --no-directories,
6570         --no-host-directories, --non-verbose, --no-host-lookup and
6571         --dont-remove-listing.
6572
6573 1998-02-01  Hrvoje Niksic  <hniksic@srce.hr>
6574
6575         * main.c (main): Use log_close().
6576
6577         * log.c: New variable LOGFP.
6578         (vlogmsg): Use it.
6579         (redirect_output): Don't open /dev/null; set LOGFP to stdin
6580         instead.
6581         (log_close): New function.
6582
6583         * options.h (struct options): Removed LFILE.
6584
6585         * log.c (log_enable): Removed.
6586
6587         * main.c (main): Use it.
6588
6589         * log.c (log_init): New function.
6590
6591         * url.c (get_urls_html): Removed needless assignment to BASE.
6592
6593         * host.c (add_hlist): Don't set CMP needlessly.
6594
6595         * utils.c (match_backwards): Ditto.
6596         (in_acclist): Ditto.
6597
6598         * url.c (findurl): Ditto.
6599
6600         * netrc.c (parse_netrc): Ditto.
6601
6602         * log.c (log_dump): Ditto.
6603
6604         * html.c (html_quote_string): Ditto.
6605
6606         * ftp-basic.c (ftp_request): Made static.
6607
6608         * connect.c: Made global variables static.
6609
6610         * url.c (construct): Ditto.
6611
6612         * init.c (init_path): Avoid assignment inside `if'-condition.
6613
6614         * ftp.c: Don't include in.h or winsock.h.
6615
6616         * ftp.c (ftp_loop): Use SZ.
6617
6618         * connect.c (bindport): Cast &addrlen to int *.
6619         (conaddr): Ditto.
6620
6621         * init.c (initialize): Don't use SYSTEM_WGETRC unconditionally.
6622
6623 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
6624
6625         * ftp.c (getftp): Initialize opt.ftp_pass here.
6626         (ftp_retrieve_dirs): Use alloca().
6627
6628         * init.c (defaults): Don't initialize opt.ftp_pass.
6629
6630         * sysdep.h (S_ISLNK): Declare for OS/2; ditto for lstat.
6631         From Ivan F. Martinez <ivanfm@ecodigit.com.br>.
6632
6633 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
6634
6635         * recur.c (parse_robots): Check for comments more correctly.
6636
6637         * host.c (ftp_getaddress): Use STRDUP_ALLOCA.
6638         (ftp_getaddress): Add diagnostics when reverse-lookup yields only
6639         hostname.
6640
6641 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
6642
6643         * version.c: Wget 1.5-b2 is released.
6644
6645         * netrc.c (NETRC_FILE_NAME): Moved from netrc.h.
6646
6647         * utils.c (proclist): Pass FNM_PATHNAME to fnmatch().
6648
6649         * ftp-basic.c (ftp_pasv): Avoid unnecessary casting to unsigned
6650         char.
6651
6652         * log.c: Don't attempt to hide arguments from ansi2knr.
6653
6654         * cmpt.c: Synched strptime() and mktime() with glibc-2.0.6.
6655
6656         * ansi2knr.c: Use a later version, from fileutils-3.16l alpha.
6657
6658         * ftp.c (getftp): Ditto.
6659
6660         * http.c (gethttp): Use it.
6661
6662         * retr.c (get_contents): New argument EXPECTED; pass it to
6663         show_progress().
6664         (show_progress): New argument EXPECTED; use it to display
6665         percentages.
6666
6667         * init.c (setval): Ditto.
6668
6669         * http.c (gethttp): Ditto.
6670         (http_loop): Ditto.
6671
6672         * ftp.c (getftp): Ditto.
6673         (ftp_loop_internal): Ditto.
6674
6675         * ftp-ls.c (ftp_parse_unix_ls): Use abort() instead of assert(0).
6676
6677         * sysdep.h (CLOSE): Simplify; use DEBUGP.
6678
6679         * netrc.c (search_netrc): Use alloca().
6680
6681         * init.c (defaults): Initialize no_flush.
6682
6683         * log.c (vlogmsg): Don't flush if no_flush.
6684
6685         * options.h (struct options): New variable no_flush.
6686
6687         * main.c (main): Don't play games with buffering.
6688
6689         * log.c (vlogmsg): Flush the output after every message.
6690
6691 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
6692
6693         * init.c (parse_line): Ditto.
6694
6695         * url.c (get_urls_html): Ditto.
6696
6697         * main.c (main): Don't cast to unsigned char.
6698
6699         * init.c (run_wgetrc): Don't cast to unsigned char.
6700         (parse_line): Accept char instead of unsigned char.
6701
6702         * html.c (htmlfindurl): Use char instead of unsigned char.
6703
6704         * all: Use them.
6705
6706         * sysdep.h: Add wrappers to ctype macros to make them
6707         eight-bit-clean:
6708
6709 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
6710
6711         * html.c (htmlfindurl): Download <img lowsrc=...>
6712
6713         * main.c (main): Ignore SIGPIPE.
6714
6715         * connect.c (select_fd): New argument WRITEP.
6716         (iwrite): Call select_fd().
6717
6718 1997-02-27  Fila Kolodny <fila@ibi.com>
6719
6720         * ftp.c (ftp_retrieve_list): If retrieving symlink and the proper
6721         one already exists, just skip it.
6722
6723 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
6724
6725         * http.c (gethttp): Cosmetic changes.
6726
6727         * http.c (check_end): Allow `+D...' instead of `GMT'.
6728         From Fabrizio Pollastri <pollastri@cstv.to.cnr.it>.
6729
6730         * url.c (process_ftp_type): New function.
6731         (parseurl): Use it.
6732
6733         * connect.c (iwrite): Allow writing in a few chunks.
6734         (bindport): Made SRV static, so addr can point to it.
6735         (select_fd): Removed HPUX kludge.
6736
6737         * host.c (free_hlist): Incorporated into clean_hosts().
6738
6739 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
6740
6741         * host.c (hlist): Made static.
6742         (search_address): Cosmetic change.
6743
6744 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
6745
6746         * version.c: Wget v1.5-b1 is released.
6747
6748         * http.c (hgetlen): Use sizeof() to get the header length.
6749         (hgetrange): Ditto.
6750         (hgettype): Ditto.
6751         (hgetlocation): Ditto.
6752         (hgetmodified): Ditto.
6753         (haccepts_none): Ditto.
6754
6755         * main.c (main): Updated `--version' and `--help' output, as per
6756         Francois Pinard's suggestions.
6757
6758         * main.c: Include locale.h; call setlocale(), bindtextdomain() and 
6759         textdomain().
6760
6761         * config.h.in: Define stubs for I18N3.
6762
6763         * wget.h: Include libintl.h.
6764
6765 1998-01-28  Hrvoje Niksic  <hniksic@srce.hr>
6766
6767         * url.c (mkstruct): Check for opt.cut_dirs.
6768         (mkstruct): alloca()-te more, xmalloc() less.
6769
6770         * utils.c (load_file): Check for ferror().
6771
6772         * url.c (get_urls_file): Close only the files we opened.
6773         (get_urls_html): Ditto.
6774         (count_slashes): New function.
6775
6776         * http.h: Removed.
6777
6778         * http.c (gethttp): Respect username and password provided by
6779         proxy URL.
6780         (base64_encode_line): Write into an existing buffer instead of
6781         malloc-ing a new one.
6782         (struct http_stat): Moved from http.h
6783
6784         * retr.c (retrieve_url): Free SUF.
6785
6786         * all: Removed lots of unnecessary .h dependencies.
6787
6788         * html.c (global_state): Made static.
6789
6790         * utils.h (ALLOCA_ARRAY): New macro.
6791
6792         * main.c (main): New option `--cut-dirs'.
6793
6794         * url.c (construct): Use alloca() for T.
6795
6796         * utils.c (mkdirhier): Use STRDUP_ALLOCA.
6797
6798         * host.c (_host_t): Moved from host.h.
6799         (struct host): Renamed from _host_t.
6800         (store_hostaddress): Use STRDUP_ALLOCA for INET_S.
6801         (realhost): Ditto.
6802
6803         * host.h: Don't include url.h.
6804
6805         * ftp.c (LIST_FILENAME): Moved from ftp.h.
6806
6807         * init.c (DEFAULT_FTP_ACCT): Moved from ftp.h.
6808
6809         * main.c (main): Enable log if the output goes to a TTY.
6810
6811         * connect.h: Removed unused constant `BACKLOG'.
6812
6813         * config.h.in: Check for isatty().
6814
6815         * Makefile.in (LINK): Use CFLAGS when linking.
6816
6817 1998-01-27  Hrvoje Niksic  <hniksic@srce.hr>
6818
6819         * mswindows.c (ws_hangup): Use redirect_output().
6820
6821         * main.c (redirect_output_signal): New function; use
6822         redirect_output().
6823
6824         * log.c (redirect_output): New function, based on hangup(), which
6825         is deleted.
6826
6827         * log.c (vlogmsg): New function.
6828
6829         * wget.h (DEBUGP): Use debug_logmsg().
6830
6831         * main.c (hangup): Use it.
6832
6833         * log.c (log_dump): New function.
6834
6835         * utils.h (DO_REALLOC): Use `long' for various sizes.
6836
6837         * http.c (hskip_lws): Use `while', for clarity.
6838         (HTTP_DYNAMIC_LINE_BUFFER): New constant.
6839         (fetch_next_header): Use it instead of DYNAMIC_LINE_BUFFER.
6840
6841         * ftp-basic.c (FTP_DYNAMIC_LINE_BUFFER): New constant.
6842         (ftp_response): Use it instead of DYNAMIC_LINE_BUFFER.
6843
6844         * utils.c (DYNAMIC_LINE_BUFFER): Moved from utils.c.
6845         (LEGIBLE_SEPARATOR): Ditto.
6846         (FILE_BUFFER_SIZE): Ditto.
6847
6848         * retr.c (BUFFER_SIZE): Moved from retr.h.
6849
6850         * log.c: New file.
6851         (logmsg): Moved from utils.c.
6852         (debug_logmsg): New function.
6853
6854         * mswindows.h: Include it here.
6855
6856         * init.c: Ditto.
6857
6858         * utils.c: Don't include <windows.h>.
6859
6860 1998-01-25  Hrvoje Niksic  <hniksic@srce.hr>
6861
6862         * host.c (ftp_getaddress): Ditto.
6863
6864         * main.c (main): Use it.
6865
6866         * utils.h (STRDUP_ALLOCA): New macro.
6867
6868         * init.c: Prepend `wget: ' to error messages printed on stderr.
6869
6870         * utils.c (mkdirhier): Renamed from mymkdir.
6871         (touch): Renamed from my_touch.
6872         (pwd_cuserid): Renamed from my_cuserid().
6873
6874 1998-01-24  Andy Eskilsson  <andy.eskilsson@telelogic.se>
6875
6876         * utils.c (accdir): Process wildcards.
6877         (proclist): New function.
6878         (accdir): Use it to avoid code repetition.
6879
6880 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
6881
6882         * recur.c (parse_robots): Respect opt.useragent; use alloca().
6883
6884         * http.c (gethttp): Construct useragent accordingly.
6885
6886         * version.c: Changed version string to numbers-only.
6887
6888         * main.c (print_help): List all the options.
6889
6890         * mswindows.c (windows_main_junk): Initialize argv0 here.
6891
6892 1998-01-24  Karl Heuer  <kwzh@gnu.org>
6893
6894         * netrc.c (search_netrc): Initialize `l' only after processing
6895         netrc.
6896
6897         * main.c (main): Don't trap SIGHUP if it's being ignored.
6898
6899 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
6900
6901         * all: Use logmsg().
6902
6903         * utils.c (time_str): Moved from retr.c.
6904         (logmsg): New function.
6905         (logmsg_noflush): Ditto.
6906
6907         * rbuf.c: New file, moved buf_* functions here.
6908
6909         * ftp.c (ftp_expected_bytes): Moved from ftp-basic.c.
6910
6911         * ftp-basic.c (ftp_rest): Use prnum().
6912
6913         * ftp-basic.c: Ditto.
6914
6915         * ftp.c: Use the new reading functions and macros.
6916
6917         * retr.c (buf_initialize): New function.
6918         (buf_initialized_p): Ditto.
6919         (buf_uninitialize): Ditto.
6920         (buf_fd): Ditto.
6921
6922         * http.c (fetch_next_header): Use the BUF_READCHAR macro for
6923         efficiency.
6924         (gethttp): Use alloca() where appropriate.
6925
6926         * retr.c (buf_readchar): Use it.
6927         (buf_peek): Use rstreams.
6928
6929         * retr.h (BUF_READCHAR): New macro.
6930
6931         * init.c (home_dir): Rewritten for clarity.
6932         (init_path): Ditto.
6933
6934         * mswindows.c (ws_backgnd): Made static.
6935         (read_registry): Ditto.
6936         (ws_cleanup): Ditto.
6937         (ws_handler): Ditto.
6938
6939 1998-01-23  Hrvoje Niksic  <hniksic@srce.hr>
6940
6941         * alloca.c: New file.
6942
6943         * Makefile.in (ALLOCA): Define.
6944
6945         * mswindows.c (ws_help): Constify.
6946         (ws_help): Use alloca.
6947
6948         * mswindows.c: Reformat.
6949
6950         * all: Added _(...) annotations for I18N snarfing and translation.
6951
6952         * host.c (ftp_getaddress): Nuke SYSINFO.
6953         (ftp_getaddress): Don't use getdomainname().
6954         (ftp_getaddress): Use uname(), where available.
6955
6956         * http.c (gethttp): Protect a stray fprintf().
6957
6958         * init.c (settime): New function.
6959         (setval): Treat WAIT specially, allowing suffixes like `m' for
6960         minutes, etc.
6961
6962 1998-01-21  Hrvoje Niksic  <hniksic@srce.hr>
6963
6964         * url.c (get_urls_html): Use alloca() for TEMP.
6965
6966 1998-01-21  Jordan Mendelson  <jordy@wserv.com>
6967
6968         * url.c (rotate_backups): New function.
6969
6970         * http.c (gethttp): Ditto.
6971
6972         * ftp.c (getftp): Rotate backups.
6973
6974 1997-12-18  Hrvoje Niksic  <hniksic@srce.hr>
6975
6976         * all: Renamed nmalloc(), nrealloc() and nstrdup() to xmalloc(),
6977         xrealloc() and xstrdup().  Use the new functions.
6978
6979         * url.c (decode_string): Made static.
6980         (has_proto): Ditto.
6981         (parse_dir): Ditto.
6982         (parse_uname): Ditto.
6983         (mkstruct): Ditto.
6984         (construct): Ditto.
6985         (construct_relative): Ditto.
6986
6987         * retr.c (show_progress): Made static.
6988
6989         * recur.c (robots_url): Made static.
6990         (retrieve_robots): Ditto.
6991         (parse_robots): Ditto.
6992         (robots_match): Ditto.
6993
6994         * main.h: Removed.
6995
6996         * main.c (printhelp): Made static.
6997         (hangup): Ditto.
6998
6999         * init.c (comind): Made static.
7000         (defaults): Ditto.
7001         (init_path): Ditto.
7002         (run_wgetrc): Ditto.
7003         (onoff): Ditto.
7004         (setonoff): Ditto.
7005         (setnum): Ditto.
7006         (myatoi): Ditto.
7007         (getperms): Ditto.
7008         (setbytes): Ditto.
7009
7010         * http.c (fetch_next_header): Made static.
7011         (hparsestatline): Ditto.
7012         (hskip_lws): Ditto.
7013         (hgetlen): Ditto.
7014         (hgetrange): Ditto.
7015         (hgettype): Ditto.
7016         (hgetlocation): Ditto.
7017         (hgetmodified): Ditto.
7018         (haccepts_none): Ditto.
7019         (gethttp): Ditto.
7020         (base64_encode_line): Ditto.
7021         (mktime_from_utc): Ditto.
7022         (http_atotm): Ditto.
7023
7024         * html.c (idmatch): Made static.
7025
7026         * host.c (search_host): Made static.
7027         (search_address): Ditto.
7028         (free_hlist): Ditto.
7029
7030         * ftp.c (getftp): Made static.
7031         (ftp_loop_internal): Ditto.
7032         (ftp_get_listing): Ditto.
7033         (ftp_retrieve_list): Ditto.
7034         (ftp_retrieve_dirs): Ditto.
7035         (ftp_retrieve_glob): Ditto.
7036         (freefileinfo): Ditto.
7037         (delelement): Ditto.
7038
7039         * ftp-ls.c (symperms): Made static.
7040         (ftp_parse_unix_ls): Ditto.
7041
7042         * connect.c (select_fd): Made static.
7043
7044         * utils.c (xmalloc): Renamed from nmalloc.
7045         (xrealloc): Renamed from nrealloc.
7046         (xstrdup): Renamed from nstrdup.
7047
7048         * getopt.c (exchange): Use alloca.
7049
7050         * mswindows.c (mycuserid): Use strncpy.
7051
7052         * New files mswindows.c, mswindows.h, sysdep.h.  winjunk.c,
7053         systhings.h, windecl.h and winjunk.h removed.
7054
7055         * mswindows.c (sleep): New function.
7056
7057         * utils.c: Include <windows.h> under Windows.
7058
7059 1997-06-12  Darko Budor  <dbudor@zesoi.fer.hr>
7060
7061         * url.h (URL_UNSAFE): Change default under Windows.
7062
7063         * retr.c (retrieve_from_file): Respect opt.delete_after.
7064
7065         * main.c (main): Call ws_help on Windows.
7066
7067         * winjunk.c (windows_main_junk): New function.
7068
7069         * main.c (main): Junk-process argv[0].
7070
7071         * http.c (mktime_from_utc): Return -1 if mktime failed.
7072
7073         * http.c (http_loop): Ditto.
7074
7075         * ftp.c (ftp_loop_internal): Change title on Windows when using a
7076         new URL.
7077
7078         * winjunk.c (getdomainname): Lots of functions.
7079
7080 1997-06-12  Hrvoje Niksic  <hniksic@srce.hr>
7081
7082         * cmpt.c (strptime_internal): Handle years more correctly for
7083         `%y'.
7084
7085 1997-06-09  Mike Thomas <mthomas@reality.ctron.com>
7086
7087         * http.c (gethttp): Allocate enough space for
7088         `Proxy-Authorization' header.
7089
7090 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
7091
7092         * version.c: Wget/1.4.5 is released.
7093
7094 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
7095
7096         * retr.c (get_contents): Check return value of fwrite more
7097         carefully.
7098
7099 1997-03-30  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
7100
7101         * cmpt.c (strptime_internal) [case 'Y']: Always subtract 1900 from
7102         year, regardless of century.
7103
7104 1997-03-30  Hrvoje Niksic  <hniksic@srce.hr>
7105
7106         * utils.c (isfile): Use `lstat' instead of `stat'.
7107
7108 1997-03-29  Hrvoje Niksic  <hniksic@srce.hr>
7109
7110         * utils.c (numdigit): Use explicit test.
7111
7112 1997-03-21  Hrvoje Niksic  <hniksic@srce.hr>
7113
7114         * http.c (http_loop): Always use `url_filename' to get u->local.
7115
7116 1997-03-20  Hrvoje Niksic  <hniksic@srce.hr>
7117
7118         * url.c: Recognize https.
7119
7120 1997-03-13  Hrvoje Niksic  <hniksic@srce.hr>
7121
7122         * recur.c (recursive_retrieve): Lowercase just the host name.
7123
7124 1997-03-09  Hrvoje Niksic  <hniksic@srce.hr>
7125
7126         * url.c (get_urls_file): Use the correct test.
7127         (get_urls_html): Ditto.
7128
7129 1997-03-07  Hrvoje Niksic  <hniksic@srce.hr>
7130
7131         * connect.c: Reverted addrlen to int.
7132
7133         * init.c (parse_line): Check for -1 instead of NONE.
7134
7135         * version.c: Changed version to 1.4.5.
7136
7137 1997-02-17  Hrvoje Niksic  <hniksic@srce.hr>
7138
7139         * init.c: New option netrc.
7140         (initialize): Don't parse .netrc.
7141
7142         * cmpt.c (recursive): Return rp.
7143         (strptime_internal): Match the long strings first, the abbreviated
7144         second.
7145
7146 1997-02-16  Hrvoje Niksic  <hniksic@srce.hr>
7147
7148         * http.c (check_end): New function.
7149         (http_atotm): Use it.
7150  
7151 1997-02-13  gilles Cedoc  <gilles@cedocar.fr>
7152
7153         * http.c (gethttp): Use them.
7154
7155         * init.c: New options proxy_user and proxy_passwd.
7156
7157 1997-02-14  Hrvoje Niksic  <hniksic@srce.hr>
7158
7159         * ftp.c (ftp_retrieve_list): Create links even if not relative.
7160
7161 1997-02-10  Hrvoje Niksic  <hniksic@srce.hr>
7162
7163         * recur.c (recursive_retrieve): Lowercase the host name, if the
7164         URL is not "optimized".
7165
7166         * host.c (realhost): Return l->hostname, even if it matches with
7167         host.
7168
7169 1997-02-10  Marin Purgar  <pmc@asgard.hr>
7170
7171         * connect.c: Make addrlen size_t instead of int.
7172         (conaddr): Ditto.
7173
7174 1997-02-09  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
7175
7176         * systhings.h: Define S_ISLNK on NeXT too.
7177
7178 1997-02-09  Hrvoje Niksic  <hniksic@srce.hr>
7179
7180         * version.c: Released 1.4.3.
7181
7182         * url.c: Futher update to list of protostrings.
7183         (skip_proto): Skip `//' correctly for FTP and HTTP.
7184
7185         * url.c (get_urls_html): Handle bogus `http:' things a little
7186         different.
7187
7188         * main.c (main): Removed `follow-ftp' from `f'.
7189         (main): Dumped the `prefix-files' and `file-prefix' options and
7190         features; old and bogus.
7191         (main): Exit on failed setval() in `-e'.
7192
7193         * http.c (fetch_next_header): Use it to detect header continuation
7194         correctly.
7195
7196         * retr.c (buf_peek): New function.
7197
7198 1997-02-08  Hrvoje Niksic  <hniksic@srce.hr>
7199
7200         * wget.h: Include time.h and stuff.
7201
7202 1997-02-08  Roger Beeman  <beeman@cisco.com>
7203
7204         * ftp.c: Include <time.h>
7205
7206 1997-02-07  Hrvoje Niksic  <hniksic@srce.hr>
7207
7208         * url.c (findurl): Would read over buffer limits.
7209
7210 1997-02-06  Hrvoje Niksic  <hniksic@srce.hr>
7211
7212         * ftp-ls.c (ftp_parse_unix_ls): Allow spaces in file names.
7213
7214 1997-02-05  Hrvoje Niksic  <hniksic@srce.hr>
7215
7216         * http.c (http_atotm): Initialize tm.is_dst.
7217
7218 1997-02-02  Hrvoje Niksic  <hniksic@srce.hr>
7219
7220         * http.c (gethttp): Don't print the number of retrieved headers.
7221
7222         * main.c (main): New option `--no-clobber', alias for `-nc'.
7223
7224         * url.c: Recognize `https://'.
7225
7226 1997-02-01  Hrvoje Niksic  <hniksic@srce.hr>
7227
7228         * host.c (herrmsg): Don't use h_errno.
7229
7230 1997-01-30  Hrvoje Niksic  <hniksic@srce.hr>
7231
7232         * host.c (accept_domain): Use it.
7233
7234         * main.c (main): New option `--exclude-domains'.
7235
7236         * retr.c (retrieve_url): Use it.
7237         (retrieve_url): Bail out when an URL is redirecting to itself.
7238
7239         * url.c (url_equal): New function.
7240
7241 1997-01-29  Hrvoje Niksic  <hniksic@srce.hr>
7242
7243         * connect.c: Include arpa/inet.h instead of arpa/nameser.h.
7244
7245         * http.c (mk_utc_time): New function.
7246         (http_atotm): Use it; handle time zones correctly.
7247
7248 1997-01-28  Hrvoje Niksic  <hniksic@srce.hr>
7249
7250         * http.c: Ditto.
7251
7252         * ftp-basic.c: Use it instead of WRITE.
7253
7254         * connect.c (iwrite): New function.
7255
7256 1997-01-27  Hrvoje Niksic  <hniksic@srce.hr>
7257
7258         * cmpt.c (mktime): New function.
7259
7260         * netrc.c: Include <sys/types.h>.
7261
7262         * main.c (main): Wouldn't recognize --spider.
7263
7264         * retr.c (rate): Use `B', `KB' and `MB'.
7265         (reset_timer,elapsed_time): Moved from utils.c.
7266
7267         * ftp.c (ftp_retrieve_list): Ditto.
7268
7269         * http.c (http_loop): Don't touch the file if opt.dfp.
7270
7271 1997-01-24  Hrvoje Niksic  <hniksic@srce.hr>
7272
7273         * cmpt.c: New file.
7274
7275         * ftp.c (ftp_retrieve_glob): New argument semantics.
7276         (ftp_retrieve_dirs): Use it.
7277         (ftp_loop): Ditto.
7278
7279         * html.c (htmlfindurl): Recognize `'' as the quote char.
7280
7281 1997-01-23  Hrvoje Niksic  <hniksic@srce.hr>
7282
7283         * ftp.c (ftp_loop_internal): Use it.
7284
7285         * utils.c (remove_link): New function.
7286
7287 1997-01-22  Hrvoje Niksic  <hniksic@srce.hr>
7288
7289         * retr.c (retrieve_url): Require STRICT redirection URL.
7290
7291         * url.c (parseurl): New argument STRICT.
7292
7293         * http.c (hparsestatline): Be a little-bit less strict about
7294         status line format.
7295
7296 1997-01-21  Hrvoje Niksic  <hniksic@srce.hr>
7297
7298         * http.c (gethttp): Use it.
7299
7300         * main.c (main): Don't use '<digit>' as options.
7301
7302         * init.c: New option ignore_length.
7303
7304         * http.c (gethttp): Ditto.
7305         (http_loop): Check for redirection without Location:.
7306         (gethttp): Don't print Length unless RETROKF.
7307
7308         * ftp.c (getftp): Use it.
7309
7310         * url.c (mkalldirs): New function.
7311
7312         * utils.c (mymkdir): Don't check for existing non-directory.
7313
7314         * url.c (mkstruct): Don't create the directory.
7315
7316 1997-01-20  Hrvoje Niksic  <hniksic@srce.hr>
7317
7318         * init.c (setval): Removed NO_RECURSION checks.
7319
7320 1997-01-19  Hrvoje Niksic  <hniksic@srce.hr>
7321
7322         * version.c: "Released" 1.4.3-pre2.
7323
7324         * recur.c (recursive_retrieve): Bypass host checking only if URL
7325         is ftp AND parent URL is not ftp.
7326
7327         * ftp-basic.c (ftp_request): Print out Turtle Power.
7328
7329         * ftp.c (ftp_loop): Call ftp_retrieve_glob with 0 if there's no
7330         wildcard.
7331         (ftp_retrieve_glob): Call ftp_loop_internal even on empty list, if
7332         not glob.
7333
7334         * http.c (gethttp): Be a little bit smarter about status codes.
7335
7336         * recur.c (recursive_retrieve): Always reset opt.recursive when
7337         dealing with FTP.
7338
7339 1997-01-18  Hrvoje Niksic  <hniksic@srce.hr>
7340
7341         * retr.c (retrieve_url): New variable location_changed; use it for
7342         tests instead of mynewloc.
7343         (retrieve_url): Allow heuristic adding of html.
7344
7345         * url.c (url_filename): Don't use the `%' in Windows file names.
7346
7347         * http.c (http_loop): Always time-stamp the local file.
7348
7349         * http.c (http_loop): Ditto.
7350
7351         * ftp.c (ftp_retrieve_list): Use it.
7352
7353         * utils.c (my_touch): New function.
7354
7355         * ftp.c (ftp_retrieve_list): Use #ifdef HAVE_STRUCT_UTIMBUF
7356         instead of #ifndef NeXT.
7357
7358         * utils.c (strptime): New version, by Ulrich Drepper.
7359
7360 1997-01-17  Hrvoje Niksic  <hniksic@srce.hr>
7361
7362         * http.c (haccepts_none): Renamed from `haccepts_bytes'.
7363         (gethttp): If haccepts_none(), disable ACCEPTRANGES.
7364         (http_loop): Would remove ACCEPTRANGES.
7365
7366         * ftp.c (getftp): Call ftp_list with NULL.
7367
7368 1997-01-15  Hrvoje Niksic  <hniksic@srce.hr>
7369
7370         * html.c (ftp_index): Don't print minutes and seconds if we don't
7371         know them; beautify the output.
7372
7373         * ftp.c (getftp): Don't close the socket on FTPNSFOD.
7374
7375 1997-01-14  Hrvoje Niksic  <hniksic@srce.hr>
7376
7377         * utils.c (strptime): New function.
7378         (strptime): Don't use get_alt_number.
7379         (strptime): Don't use locale.
7380         (match_string): Made it a function.
7381
7382 1997-01-12  Hrvoje Niksic  <hniksic@srce.hr>
7383
7384         * http.c (http_atotm): New function.
7385         (http_loop): Use it.
7386
7387         * atotm.c: Removed from the distribution.
7388
7389         * http.c (base64_encode_line): Rewrite.
7390
7391 1997-01-09  Hrvoje Niksic  <hniksic@srce.hr>
7392
7393         * ftp.c (getftp): Use ftp_expected_bytes; print size.
7394
7395         * ftp-basic.c (ftp_response): Use ftp_last_respline.
7396         (ftp_expected_bytes): New function.
7397
7398         * ftp.c (getftp): Print the unauthoritative file length.
7399
7400         * ftp-ls.c: Renamed from ftp-unix.c.
7401         (ftp_parse_ls): Moved from ftp.c.
7402         (ftp_parse_unix_ls): Recognize seconds in time spec.
7403         (ftp_parse_unix_ls): Recognize year-less dates of the previous
7404         year.
7405
7406 1997-01-08  Hrvoje Niksic  <hniksic@srce.hr>
7407
7408         * ftp-basic.c: Don't declare errno if #defined.
7409
7410         * host.c (ftp_getaddress): Check for sysinfo legally.
7411
7412 1997-01-08  Darko Budor  <dbudor@diana.zems.fer.hr>
7413
7414         * connect.c (iread): Use READ.
7415
7416 1996-12-23  Hrvoje Niksic  <hniksic@srce.hr>
7417
7418         * url.c: Recognize finger, rlogin, tn3270, mid and cid as valid
7419         schemes.
7420
7421 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
7422
7423         * host.c (ftp_getaddress): Allow `.' in hostname.
7424
7425 1996-12-26  Darko Budor <dbudor@zems.fer.hr>
7426
7427         * wget.h: READ and WRITE macros for use instead of read and write
7428         on sockets, grep READ *.c, grep WRITE *.c
7429
7430         * wsstartup.c: new file - startup for winsock
7431
7432         * wsstartup.h: new file
7433
7434         * win32decl.h: new file - fixup for <errno.h> and winsock trouble
7435
7436         * configure.bat: Configure utility for MSVC
7437
7438         * src/Makefile.ms,config.h.ms: new files for use with MSVC 4.x
7439
7440 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
7441
7442         * version.c: Released 1.4.3-pre.
7443
7444         * utils.c (prnum): Accept long.
7445         (legible): Use prnum().
7446
7447         * connect.c (make_connection): Accept port as short.
7448         (bindport): Ditto.
7449
7450         * http.c (gethttp): Use search_netrc.
7451
7452 1996-12-21  Hrvoje Niksic  <hniksic@srce.hr>
7453
7454         * ftp.c (getftp): Use search_netrc.
7455
7456         * netrc.c (free_netrc): New function.
7457
7458         * init.c (home_dir): New function.
7459
7460         * url.c (convert_links): Allow REL2ABS changes.
7461
7462 1996-12-21  Gordon Matzigkeit  <gord@gnu.ai.mit.edu>
7463
7464         * netrc.c: New file.
7465         (parse_netrc, maybe_add_to_list): New functions.
7466
7467 1996-12-17  Hrvoje Niksic  <hniksic@srce.hr>
7468
7469         * retr.c (retrieve_url): Reset opt.recursion before calling
7470         ftp_loop if it is reached through newloc.
7471
7472         * init.c (run_wgetrc): Print the wgetrc path too, when reporting
7473         error; don't use "Syntax error", since we don't know if it is
7474         really a syntax error.
7475
7476 1996-12-16  Hrvoje Niksic  <hniksic@srce.hr>
7477
7478         * utils.c (acceptable): Extract the filename part of the path.
7479
7480         * recur.c (recursive_retrieve): Call acceptable() with the right
7481         argument; would bug out on wildcards.
7482
7483         * init.c (parse_line): Likewise.
7484
7485         * html.c (htmlfindurl): Cast to char * when calling stuff.
7486
7487 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
7488
7489         * ftp.c (getftp): Use ftp_pasv.
7490
7491         * ftp-basic.c (ftp_request): Accept NULL value.
7492         (ftp_pasv): New function.
7493
7494         * options.h (struct options): Add passive FTP option.
7495
7496 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
7497
7498         * url.c (parseurl): Debug output.
7499
7500         * utils.c (path_simplify): New one, adapted from bash's
7501         canonicalize_pathname().
7502
7503 1996-12-14  Hrvoje Niksic  <hniksic@srce.hr>
7504
7505         * ftp.c (getftp): Don't discard the buffer.
7506
7507         * retr.c (get_contents): New parameter nobuf.
7508
7509 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
7510
7511         * html.c (htmlfindurl): Recognize <meta contents="d; URL=...".
7512
7513         * init.c (setval): Strip the trailing slashes on CVECDIR.
7514
7515 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
7516
7517         * init.c: Make excludes and includes under CVECDIR instead of
7518         CVEC.
7519
7520 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
7521
7522         * url.c (get_urls_html): Skip "http:".
7523
7524 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
7525
7526         * utils.c (strcasecmp): From glibc.
7527         (strncasecmp): Also.
7528         (strstr): Also.
7529
7530         * url.c: Added javascript: to the list of URLs prefixes.
7531
7532 1996-12-12  Shawn McHorse  <riffraff@txdirect.net>
7533
7534         * recur.c (retrieve_robots): Print the warning message only if
7535         verbose.
7536
7537 1996-12-12  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
7538
7539         * ftp.c (ftp_retrieve_list): Use NeXT old utime interface.
7540
7541 1996-12-12  Hrvoje Niksic  <hniksic@srce.hr>
7542
7543         * systhings.h: New file.
7544
7545         * ../configure.in: Check for utime.h
7546
7547         * ftp.c: Check whether we have unistd.h.
7548
7549 1996-11-27  Hrvoje Niksic  <hniksic@srce.hr>
7550
7551         * recur.c (recursive_retrieve): Send the canonical URL as referer.
7552         (recursive_retrieve): Call get_urls_html with the canonical URL.
7553
7554 1996-12-13  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
7555
7556         * (configure.in, config.h.in, src/Makefile.in, src/*.[ch]): Add
7557         ansi2knr support for compilers which don't support ANSI style
7558         function prototypes and signatures.
7559
7560         * (aclocal.m4, src/ansi2knr.c, src/ansi2knr.1): New files.
7561
7562 1996-11-26  Hrvoje Niksic  <hniksic@srce.hr>
7563
7564         * url.c: Use it; Recognize paths ending with "." and ".." as
7565         directories.
7566         (url_filename): Append .n whenever file exists and could be a
7567         directory.
7568
7569         * url.h (ISDDOT): New macro.
7570
7571         * init.c (parse_line): Use unsigned char.
7572
7573         * url.c (get_urls_html): Cast to unsigned char * when calling
7574         htmlfindurl.
7575
7576         * html.c (htmlfindurl): Use unsigned char.
7577
7578         * version.c: Changed version to 1.4.3.
7579
7580 1996-11-25  Hrvoje Niksic  <hniksic@srce.hr>
7581
7582         * version.c: Released 1.4.2.
7583
7584         * ftp.c (getftp): Simplified assertion.
7585         (ftp_loop_internal): Remove symlink before downloading.
7586         (ftp_retrieve_list): Unlink the symlink name before attempting to
7587         create a symlink!
7588
7589         * options.h (struct options): Renamed print_server_response to
7590         server_response.
7591
7592         * ftp.c (rel_constr): Removed.
7593         (ftp_retrieve_list): Don't use it.
7594         (ftp_retrieve_list): Use opt.retr_symlinks.
7595
7596 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
7597
7598         * main.c (main): New option retr_symlinks.
7599
7600         * url.c (convert_links): Print verbose message.
7601
7602 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
7603
7604         * http.c (http_loop): Reset newloc in the beginning of function;
7605         would cause FMR in retrieve_url.
7606
7607 1996-11-23  Hrvoje Niksic  <hniksic@srce.hr>
7608
7609         * recur.c (convert_all_links): Find the URL of each HTML document,
7610         and feed it to get_urls_html; would bug out.
7611         (convert_all_links): Check for l2 instead of dl; removed dl.
7612
7613         * url.c (convert_links): Don't refer to freed newname.
7614
7615         * recur.c (recursive_retrieve): Add this_url to urls_downloaded.
7616
7617         * main.c (main): Print the OS_TYPE in the debug output, too.
7618
7619         * recur.c (recursive_retrieve): Check for opt.delete_after.
7620
7621         * main.c (main): New option delete-after.
7622
7623         * init.c (setval): Cleaned up.
7624
7625 1996-11-21  Hrvoje Niksic  <hniksic@srce.hr>
7626
7627         * Makefile.in (wget): Make `wget' the default target.
7628
7629         * ftp.c (ftp_loop_internal): Move noclobber checking out of the
7630         loop.
7631         (ftp_retrieve_list): Warn about non-matching sizes.
7632
7633         * http.c (http_loop): Made -nc non-dependent on opt.recursive.
7634
7635         * init.c (setnum): Renamed from setnuminf; New argument flags.
7636         (setval): Use it.
7637
7638         * main.c (main): Sorted the options.
7639         (main): New option --wait.
7640
7641 1996-11-21  Shawn McHorse  <riffraff@txdirect.net>
7642
7643         * html.c (htmlfindurl): Reset s->in_quote after getting out of
7644         quotes.
7645
7646 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
7647
7648         * version.c: Changed version to 1.4.2.
7649
7650 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
7651
7652         * version.c: Released 1.4.1.
7653
7654         * html.c (html_quote_string): New function.
7655         (ftp_index): Use it.
7656         (htmlfindurl): A more gentle ending debug message.
7657
7658         * ftp.c (ftp_loop): Check for opt.htmlify.
7659
7660         * init.c: New command htmlify.
7661
7662         * ftp.c (getftp): Nicer error messages, with `'-encapsulated
7663         strings.
7664         (ftp_loop): Print size of index.html.
7665
7666         * init.c (setval): Implement "styles".
7667
7668         * main.c (main): New option dotstyle.
7669
7670 1996-11-19  Hrvoje Niksic  <hniksic@srce.hr>
7671
7672         * ftp.c (getftp): Close the master socket in case of errors, after
7673         bindport().
7674
7675         * connect.c (bindport): Initialize msock to -1.
7676
7677         * ftp.c (getftp): Initialize dtsock to -1.
7678
7679         * connect.c (closeport): Don't close sock if sock == -1.
7680
7681 1996-11-18  Hrvoje Niksic  <hniksic@srce.hr>
7682
7683         * init.c (setnuminf): Nuked default value -- just leave unchanged.
7684         (setval): Don't send default values.
7685         (defaults): Use DEFAULT_TIMEOUT -- aaargh.
7686
7687         * options.h (struct options): Use long for dot_bytes.
7688
7689         * init.c (setquota): Renamed to setbytes.
7690         (setval): Use setbytes on DOTBYTES.
7691
7692 1996-11-17  Hrvoje Niksic  <hniksic@srce.hr>
7693
7694         * ftp.c (getftp): Initialize con->dltime.
7695
7696         * recur.c (recursive_retrieve): Use same_host instead of
7697         try_robots; simply load robots_txt whenever the host is changed.
7698         (recursive_retrieve): Free forbidden before calling parse_robots.
7699
7700 1996-11-16  Hrvoje Niksic  <hniksic@srce.hr>
7701
7702         * retr.c (show_progress): Use them.
7703
7704         * options.h (struct options): New options dot_bytes, dots_on_line
7705         and dot_spacing.
7706
7707 1996-11-16  Mark Boyns  <boyns@sdsu.edu>
7708
7709         * recur.c (recursive_retrieve): Retrieve directories regardless of
7710         acc/rej rules; check for empty u->file.
7711
7712 1996-11-14  Hrvoje Niksic  <hniksic@srce.hr>
7713
7714         * init.c (setval): Use it.
7715
7716         * utils.c (merge_vecs): New function.
7717
7718         * init.c (setval): Reset the list-type functions when encountering
7719         "".
7720
7721 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
7722
7723         * recur.c (recursive_retrieve): Use base_url instead of this_url
7724         for no_parent.
7725
7726 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
7727
7728         * html.c (htmlfindurl): Reset s->in_quote after exiting the quote.
7729
7730 1996-11-13  Hrvoje Niksic  <hniksic@srce.hr>
7731
7732         * utils.c (sepstring): Rewrote; don't use strtok.
7733
7734         * recur.c (recursive_retrieve): Enter assorted this_url to slist
7735         when running the first time.
7736         (retrieve_robots): Warn to ignore errors when robots are loaded.
7737
7738         * utils.c (load_file): Moved from url.c.
7739
7740         * http.c: Made static variables const too in h* functions.
7741
7742         * main.c (main): Renamed --continue-ftp to --continue.
7743
7744         * recur.c (recursive_retrieve): Use it.
7745
7746         * utils.c (frontcmp): New function.
7747
7748         * url.c (accdir): New function.
7749
7750         * html.c (htmlfindurl): Recognize <area href=...>.
7751
7752         * ftp.c (ftp_retrieve_dirs): Implemented opt.includes.
7753
7754         * init.c (setval): Free the existing opt.excludes and
7755         opt.includes, if available.
7756
7757         * main.c (main): New option -I.
7758
7759 1996-11-12  Hrvoje Niksic  <hniksic@srce.hr>
7760
7761         * ftp.c (ftp_retrieve_glob): Do not weed out directories.
7762
7763         * version.c: Changed version to 1.4.1.
7764
7765 1996-11-11  Hrvoje Niksic  <hniksic@srce.hr>
7766
7767         * version.c: Released 1.4.0.
7768
7769 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
7770
7771         * main.c (main): Free com and val after parse_line.
7772         (printhelp): Reorder the listing.
7773
7774         * http.c: More robust header parsing.
7775
7776         * http.c: Allow any number of spaces, or no spaces, precede ':'.
7777         (hskip_lws): New function.
7778         (haccepts_bytes): New function.
7779         (gethttp): Use it.
7780
7781         * init.c (setval): Check header sanity.
7782         (setval): Allow resetting of headers.
7783
7784 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
7785
7786         * http.c (http_loop): Don't use has_wildcards.
7787
7788         * http.c (gethttp): Free all_headers -- would leak.
7789
7790         * recur.c (recursive_retrieve): Initialize depth to 1 instead of
7791         0 -- this fixes a long-standing bug in -rl.
7792
7793 1996-11-09  Hrvoje Niksic  <hniksic@srce.hr>
7794
7795         * ftp.c: Use -1 as "impossible" value for con->fd.
7796
7797         * url.h (URL_SEPARATOR): Don't treat `*' and `+' as separators.
7798
7799         * init.c (parse_line): Use isalpha.
7800
7801         * ftp-unix.c: Use HAVE_UNISTD_H.
7802
7803         * mtch.c (has_wildcards): Don't match \.
7804
7805         * http.c (http_loop): Warn on HTTP wildcard usage.
7806
7807 1996-11-08  Hrvoje Niksic  <hniksic@srce.hr>
7808
7809         * url.c (url_filename): Do not create numbered suffixes if
7810         opt.noclobber -- would bug out on -nc.
7811
7812 1996-11-07  Hrvoje Niksic  <hniksic@srce.hr>
7813
7814         * recur.c (parse_robots): Don't chuck out the commands without
7815         arguments (`Disallow:<empty>' didn't work).
7816         (parse_robots): Compare versions lowercase.
7817         (parse_robots): Match on base_version, not version_string!
7818         (parse_robots): Handle comments properly.
7819         (parse_robots): Match versions in a sane way.
7820
7821         * init.c: Print nicer error messages.
7822
7823         * version.c: Changed version to 1.4.0.
7824
7825 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
7826
7827         * version.c: Released 1.4.0-test2.
7828
7829         * init.c (run_wgetrc): Close fp.
7830
7831         * ftp.c (ftp_retrieve_dirs): Allocate the correct length for
7832         u->dir.
7833
7834 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
7835
7836         * init.c (setquota): Allow inf as quota specification.
7837
7838 1996-11-05  Hrvoje Niksic  <hniksic@srce.hr>
7839
7840         * ftp.c (ftp_retrieve_dirs): Return QUOTEXC if quota exceeded.
7841         (ftp_retrieve_glob): Return QUOTEXC on quota exceeded.
7842
7843         * main.c (main): Check for quota by comparison with downloaded
7844         stuff, not from status.
7845
7846         * connect.c (select_fd): Should compile on HPUX without warnings now.
7847
7848         * ftp.c (ftp_get_listing): Check whether ftp_loop_internal
7849         returned RETROK.
7850
7851 1996-11-04  Hrvoje Niksic  <hniksic@srce.hr>
7852
7853         * ftp.c (ftp_retrieve_glob): Print the pattern nicely.
7854         (getftp): Return FTPRETRINT on control connection error.
7855
7856         * html.c (htmlfindurl): Recognize <embed src=...> and
7857         <bgsound src=...>.
7858         (ftp_index): Handle username and password correctly.
7859
7860         * main.c (main): Made `-np' a synonim for --no-parent.
7861
7862 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
7863
7864         * ftp.c (ftp_loop): Check for opt.ftp_glob too before calling
7865         ftp_retrieve_glob.
7866
7867         * version.c: Changed version to 1.4.0-test2.
7868
7869 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
7870
7871         * version.c: Released 1.4.0-test1.
7872
7873         * url.c (str_url): Don't use sprintf when creating %2F-prefixed
7874         directory.
7875         (convert_links): Removed definition of make_backup.
7876
7877         * http.h: Removed definition of MAX_ERROR_LENGTH.
7878
7879         * host.c (ftp_getaddress): Check for "(none)" domains.
7880
7881         * ftp.c (ftp_retrieve_dirs): Docfix.
7882
7883         * http.c (gethttp): Use ou->referer instead of u->referer.
7884
7885         * retr.c (retrieve_url): Reset u to avoid freeing pointers twice;
7886         this was known to cause coredumps on Linux.
7887
7888         * html.c (ftp_index): Cast the argument to local_time to time_t *.
7889
7890 1996-11-01  Hrvoje Niksic  <hniksic@srce.hr>
7891
7892         * connect.c (select_fd): Use exceptfds -- once and for all.
7893
7894         * retr.c (retrieve_from_file): Free filename after
7895         recursive_retrieve.
7896         (retrieve_from_file): Send RFIRST_TIME to recursive_retrieve on
7897         first-time retrieval.
7898         (retrieve_from_file): Return uerr_t; new argument, count.
7899         (retrieve_from_file): Break on QUOTEXC.
7900
7901         * init.c (setquota): Fixed a bug that caused rejection of
7902         non-postfixed values..
7903
7904 1996-10-30  Hrvoje Niksic  <hniksic@srce.hr>
7905
7906         * version.c: Changed name to wget.
7907
7908         * connect.c (iread): Smarter use of select.
7909         (select_fd): Set errno on timeout.  If not timeout, return 1
7910         instead of 0.
7911
7912 1996-10-29  Hrvoje Niksic  <hniksic@srce.hr>
7913
7914         * ftp.c (ftp_loop_internal): Don't use con->cmd before
7915         establishing it.
7916
7917 1996-10-26  Hrvoje Niksic  <hniksic@srce.hr>
7918
7919         * http.c (gethttp): Send correct referer when using proxy.
7920         (gethttp): Use struct urlinfo ou to access the relevant data; send
7921         correct authorization in all cases.
7922
7923         * host.c (same_host): Use skip_uname to skip username and
7924         password.
7925
7926         * url.c (skip_uname): New function.
7927         (parseurl): Use it.
7928
7929         * host.c (same_host): Do not assume HTTP -- same_host should now
7930         be totally foolproof.
7931
7932         * url.c (skip_proto): New function.
7933         (parse_uname): Use it.
7934
7935         * http.c (gethttp): Create local user and passwd from what is
7936         given.
7937
7938         * url.c (parseurl): Check for HTTP username and password too.
7939
7940 1996-10-25  Hrvoje Niksic  <hniksic@srce.hr>
7941
7942         * config.h.in: Removed #define gethostbyname R...
7943
7944 1996-10-22  Hrvoje Niksic  <hniksic@srce.hr>
7945
7946         * version.c: Changed version to 1.4.0-test1.
7947
7948 1996-10-21  Hrvoje Niksic  <hniksic@srce.hr>
7949
7950         * version.c: "Released" 1.4b29.
7951
7952         * recur.c (recursive_retrieve): Check for no_parent.
7953
7954         * init.c (setval): Option update.
7955
7956         * main.c (main): New option no-parent.
7957
7958         * options.h (struct options): New variable no_parent.
7959
7960         * recur.c (recursive_retrieve): Only files are checked for
7961         opt.accepts and opt.rejects.
7962         (recursive_retrieve): Check directories for opt.excludes.
7963         (recursive_retrieve): Make the dir absolute when checking
7964         opt.excludes.
7965
7966         * html.c (htmlfindurl): Recognize <applet code=...> and <script
7967         src=...>
7968
7969 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
7970
7971         * ftp.c (getftp): Do not line-break assert entries at all.
7972         (ftp_retrieve_dirs): docfix.
7973
7974         * connect.c (select_fd): Use fd + 1 as nfds.
7975
7976         * version.c: Changed version to 1.4b29.
7977
7978 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
7979
7980         * version.c: "Released" 1.4b28.
7981
7982         * ftp.c (ftp_loop_internal): Check whether f->size == len and
7983         don't continue the loop if it is.
7984         (ftp_get_listing): Remove list_filename on unsuccesful loop.
7985
7986 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
7987
7988         * ftp.c (ftp_loop_internal): Use strcpy to initialize tmp.
7989         (getftp): Do not use multiline assert.
7990
7991         * http.c (hparsestatline): Use mjr and mnr instead of major and
7992         minor, which don't compile on Ultrix.
7993         (http_loop): Use strcpy() to initialize tmp.
7994
7995         * all: Geturl -> Fetch
7996
7997 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
7998
7999         * recur.c (parse_robots): Fixed an off-by-one bug when looking for
8000         ':'.
8001
8002         * html.c (htmlfindurl): Fixed several possible off-by-one bugs by
8003         moving `bufsize &&' to the beginning of each check in for-loops.
8004
8005         * recur.c (parse_robots): Close fp on exit.
8006
8007         * url.c (mymkdir): Check for each directory before creating.
8008
8009 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
8010
8011         * version.c: Changed version to 1.4b28.
8012
8013 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
8014
8015         * version.c: "Released" 1.4b27.
8016
8017         * init.c (parse_line): Use isspace.
8018         (parse_line): Free *com on all errors.
8019
8020         * ftp.c (ftp_loop): Change FTPOK to RETROK before exiting.
8021         (delelement): Use next instead of f->next and prev instead of
8022         f->prev.
8023         (delelement): Free the members of the deleted element.
8024
8025         * http.c (http_loop): Do not return RETROK on code != 20x.
8026
8027         * init.c (cleanup): Free opt.user_header.
8028         (cleanup): Free opt.domains.
8029
8030         * url.c (freelists): Moved to cleanup().
8031
8032         * http.c (hparsestatline): Docfix.
8033
8034         * main.c (main): Return with error status on unsuccesful
8035         retrieval.
8036
8037         * init.c (setval): Do not remove listing when mirroring.
8038
8039         * url.c (url_filename): Use opt.fileprefix.
8040
8041         * ftp.c (ftp_get_listing): Use url_filename to get filename for
8042         .listing.
8043
8044         * main.c (main): New option: -rn.
8045
8046 1996-10-15  Hrvoje Niksic  <hniksic@srce.hr>
8047
8048         * Makefile.in (RM): Added RM = rm -f.
8049
8050         * host.c (clean_hosts): New function.
8051         (free_hlist): Just free the list, no reset.
8052
8053         * version.c: Changed version to 1.4b27.
8054
8055 1996-10-13  Hrvoje Niksic  <hniksic@srce.hr>
8056
8057         * version.c: "Released" 1.4b26.
8058
8059         * retr.c (retrieve_from_file): If call get_urls_html with
8060         opt.spider to make it silent in spider mode.
8061
8062         * url.c (str_url): Use CLEANDUP instead of URL_CLEANSE.
8063
8064         * url.h (CLEANDUP): New macro.
8065
8066         * http.c (gethttp): Fixed a bug that freed location only when it
8067         was NULL.
8068
8069         * retr.c (retrieve_url): Free url if it will not be stored,
8070         i.e. newloc is NULL.
8071
8072         * html.c (htmlfindurl): Handle exiting from quotes correctly; the
8073         old version would bug out on <a href="x#a"href="y">.
8074
8075         * html.h (state_t): New member in_quote.
8076
8077         * html.c (htmlfindurl): Free s->attr at the beginning of
8078         attr-loop.
8079
8080         * recur.c (recursive_retrieve): Recognize RCLEANUP.
8081         (tried_robots): Make hosts a global variable.
8082         (recursive_retrieve): Free constr after URL host optimization.
8083         (tried_robots): Free urlinfo before exiting.
8084
8085         * utils.c (free_slist): New function.
8086
8087         * recur.c (recursive_retrieve): Use flags to add cleanup
8088         possibility.
8089
8090         * main.c (main): Free filename after recursive_retrieve.
8091
8092         * http.c (gethttp): Store successful responses too.
8093
8094 1996-10-12  Hrvoje Niksic  <hniksic@srce.hr>
8095
8096         * all: Constified the whole source.  This required some minor
8097         changes in many functions in url.c, possibly introducing bugs -- I
8098         hope not.
8099
8100         * ftp-basic.c: Removed last_respline.
8101
8102         * http.c (gethttp): Free type.
8103
8104         * host.c (same_host): Free real1 and real2.
8105
8106         * main.c (main): New option --spider.
8107
8108         * retr.c (get_contents): Don't reset errno.
8109
8110         * main.c (main): Sorted the options.
8111
8112         * connect.c (iread): Set errno to ETIMEDOUT only if it was left
8113         uninitialized by select().
8114
8115         * http.c (http_loop): Print the time when the connection is
8116         closed.
8117         (gethttp): Debug-print the HTTP request.
8118
8119 1996-10-11  Hrvoje Niksic  <hniksic@srce.hr>
8120
8121         * connect.c (iread): Do not try reading after timeout.
8122
8123         * main.c (main): Would bug out on -T.
8124
8125         * connect.c (select_fd): Do not use exceptfds.
8126         (iread): Set ETIMEDOUT on select_fd <= 0.
8127
8128         * version.c: Changed version to 1.4b26.
8129
8130 1996-10-10  Hrvoje Niksic  <hniksic@srce.hr>
8131
8132         * version.c: "Released" 1.4b25.
8133
8134         * ftp-unix.c (ftp_parse_unix_ls): Ignore lines without file name
8135         or link name.
8136
8137         * http.c (gethttp): Add errcode to struct hstat.
8138         (http_loop): Use it.
8139
8140         * url.c (no_proxy_match): Simplify using char** for no_proxy.
8141
8142         * options.h (struct options): Make opt.no_proxy a vector.
8143
8144         * utils.c (sepstring): Use !*s instead of !strlen(s).
8145
8146         * init.c (setval): Set opt.maxreclevel to 0 on --mirror.
8147         (getperms): Use ISODIGIT instead of isdigit.
8148
8149         * ftp.c (getftp): Print time.
8150
8151         * main.c (main): Use legible output of downloaded quantity.
8152
8153         * ftp.c (getftp): Use elapsed_time().
8154         (ftp_loop_internal): Use rate().
8155
8156         * http.c (http_loop): Add download ratio output; Use rate().
8157
8158         * utils.c (rate): New function.
8159
8160 1996-10-09  Hrvoje Niksic  <hniksic@srce.hr>
8161
8162         * http.c (http_loop): Use timer.
8163
8164         * ftp.c: Split to ftp-basic.c and ftp.c
8165
8166         * utils.c (reset_timer): New function.
8167         (elapsed_time): New function.
8168
8169         * retr.c (show_progress): Make bytes_in_line and offs long; should
8170         work on 16-bit machines.
8171
8172 1996-10-08  Hrvoje Niksic  <hniksic@srce.hr>
8173
8174         * url.c (in_acclist): New argument backward.
8175
8176         * ftp.c (ftp_retrieve_glob): Use acceptable() to determine whether
8177         a file should be retrieved according to suffix.
8178         (ftp_get_listing): Check the return value of unlink; Do not call
8179         ftp_retrieve_dirs if depth reached maxreclevel.
8180         (ftp_retrieve_dirs): Check whether the directory is in
8181         exclude-list.
8182
8183         * main.c (main): Print the version number at the beginning of
8184         DEBUG output.
8185         (main): Use strrchr when creating exec_name.
8186
8187         * ftp.c (ftp_retrieve_glob): Do not close control connection.
8188
8189         * version.c: Changed version to 1.4b25.
8190
8191 1996-10-07  Hrvoje Niksic  <hniksic@srce.hr>
8192
8193         * version.c: "Released" 1.4b24.
8194
8195         * Makefile.in: Rewrite.
8196
8197         * ftp.c (ftp_loop_internal): Likewise.
8198
8199         * retr.c (time_str): Check for failed time().
8200
8201         * html.c (htmlfindurl): Recognize <fig src> and <overlay src> from
8202         HTML3.0.
8203
8204         * retr.c (time_str): Return time_t *.
8205
8206         * connect.c (bindport): Close msock on unsuccesful bind.
8207         (bindport): The same for getsockname and listen.
8208
8209         * retr.c (retrieve_url): Allow any number of retries on
8210         proxy.
8211
8212         * http.c (gethttp): Do not treat errno == 0 as timeout.
8213         (http_loop): Likewise.
8214         (http_loop): Cosmetic changes.
8215
8216         * connect.c (iread): Set errno to ETIMEDOUT in case of timeout.
8217
8218         * retr.c (get_contents): Reset errno.
8219
8220         * ftp.c (getftp): Minor fixes.
8221
8222 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
8223
8224         * http.c: Do not use backups.
8225
8226         * geturl.1 (WARNING): Warn that man-page could be obsolete.
8227
8228         * getopt.c (getopt_long): Moved to getopt.c
8229
8230         * geturl.texi: Enhanced.
8231
8232         * main.c (main): Use it.
8233
8234         * recur.c (convert_all_links): New function.
8235
8236         * utils.c (add_slist): New argument flags.
8237
8238         * recur.c (recursive_retrieve): Update a list of downloaded URLs.
8239         (parse_robots): Do not chuck out empty value fields.
8240         (parse_robots): Make yourself welcome on empty Disallow.
8241
8242         * version.c: Changed version to 1.4b24.
8243
8244 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
8245
8246         * version.c: "Released" 1.4b23.
8247
8248         * ftp.c (ftp_loop_internal): Get the time after getftp.
8249
8250         * Makefile.in (install.info): New target.
8251         (install): Use it.
8252
8253         * http.c (http_loop): Fix output when doing -O.
8254
8255 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
8256
8257         * geturl.texi: New file.
8258
8259         * main.c (main): Do not print the warnings and download summary if
8260         opt.quiet is set.
8261
8262         * version.c: Changed version to 1.4b23.
8263
8264 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
8265
8266         * "Released" 1.4b22.
8267
8268         * atotm.c (atotm): Use True and False instead of TRUE and FALSE,
8269         to avoid redefinition warnings.
8270
8271         * host.c (store_hostaddress): Use memcpy() to copy the address
8272         returned by inet_addr.
8273
8274         * version.c: Changed version to 1.4b22.
8275
8276 1996-10-04  Hrvoje Niksic  <hniksic@srce.hr>
8277
8278         * version.c: "Released" 1.4b21.
8279
8280         * ftp-unix.c (ftp_parse_ls): Renamed to ftp_parse_unix_ls.
8281
8282         * ftp.c (ftp_port): Use conaddr.
8283         (getftp): Print the file length.
8284         (ftp_retrieve_list): Check the stamps of plain files only.
8285
8286         * connect.c (closeport): Do not call shutdown().
8287         (conaddr): New function.
8288
8289         * html.c (ftp_index): Made it dfp-aware.
8290
8291         * init.c (cleanup): New name of freemem. Close opt.dfp.
8292
8293         * ftp.c (getftp): Use opt.dfp if it is set.
8294
8295         * ftp-unix.c (ftp_parse_ls): Recognize time in h:mm format.
8296
8297         * ftp.c (ftp_retrieve_dirs): Fixed a bug that caused incorrect
8298         CWDs to be sent with recursive FTP retrievals.
8299
8300 1996-10-03  Hrvoje Niksic  <hniksic@srce.hr>
8301
8302         * recur.c (parse_robots): Made it more compliant with "official"
8303         specifications.
8304
8305         * http.c: New function.
8306
8307         * ftp-unix.c (ftp_parse_ls): Added better debug output.
8308
8309         * ftp.c (getftp): Print out the LIST in case of
8310         opt.print_server_response.
8311
8312         * version.c: Changed version to 1.4b21.
8313
8314 1996-10-01  Hrvoje Niksic  <hniksic@srce.hr>
8315
8316         * version.c: "Released" 1.4b20.
8317
8318         * README: Update.
8319
8320         * http.c (gethttp): Preset lengths of various headers instead of
8321         calculating them dynamically.
8322         (gethttp): Check for 206 partial contents.
8323
8324 1996-09-30  Hrvoje Niksic  <hniksic@srce.hr>
8325
8326         * configure.in: Set SYSTEM_GETURLRC to $libdir/geturlrc
8327
8328         * http.c (gethttp): Send the port number in the Host: header.
8329
8330 1996-09-29  Hrvoje Niksic  <hniksic@srce.hr>
8331
8332         * http.c (gethttp): Send host: header.
8333         (gethttp): Add the possibility of user-defined headers.
8334         (gethttp): Move decision about pragma: no-cache to http_loop,
8335         where it belongs.
8336         (gethttp): Pass a struct instead of enormous argument list.
8337         (http_loop): Use a new, fancier display format.
8338         (ftp_loop): Likewise.
8339
8340         * main.c: (hangup): Turn off buffering of the new log file.
8341
8342         * install-sh: Likewise.
8343
8344         * config.sub: Replace with the one in autoconf-2.10
8345
8346         * geturl.1: Update.
8347
8348         * init.c: New options httpuser and httppasswd.
8349
8350         * http.c: (base64_encode_line): New function.
8351         (gethttp): Send authentication.
8352
8353         * connect.c (make_connection): Use store_hostaddress.
8354
8355 1996-09-28  Hrvoje Niksic  <hniksic@srce.hr>
8356
8357         * host.c (store_hostaddress): New function.
8358
8359         * NEWS: Update.
8360
8361         * http.c (hgetrange): New function.
8362         (gethttp): Use ranges.
8363
8364         * utils.c (numdigit): Accept long instead of int.
8365
8366         * http.c (http_loop): Add restart capabilities.
8367
8368         * ftp.c (ftp_retrieve_glob): Fixed a bug that could cause matchres
8369         being used uninitialized.
8370         (ftp_retrieve_list): Similar fix.
8371
8372         * host.c (add_hlist): Fixed a bug that could cause cmp being used
8373         uninitialized.
8374
8375         * url.c (construct_relative): New function.
8376
8377         * recur.c (recursive_retrieve): Use it.
8378
8379         * retr.c (convert_links): New function.
8380
8381 1996-09-27  Hrvoje Niksic  <hniksic@srce.hr>
8382
8383         * url.c (free_urlpos): New function.
8384
8385         * recur.c (recursive_retrieve): Adapt.
8386
8387         * url.c (get_urls_html): Return a linked list instead of a vector.
8388
8389         * url.c (get_urls_file): Return a linked list instead of a vector.
8390
8391         * geturl.1: Update.
8392
8393         * http.c (gethttp): Implement it.
8394
8395         * init.c (setval): New option: SAVEHEADERS
8396
8397         * ftp.c (ftp_loop_internal): Do not set restval if listing is to
8398         be retrieved. Lack of this test caused bugs when the connection
8399         was lost during listing.
8400
8401         * retr.c (retrieve_url): Fixed a bug that caused
8402         coredumps. *newloc is now reset by default.
8403         (retrieve_url): Lift the twenty-tries limit on proxies.
8404
8405         * version.c: Changed version to 1.4b20.
8406
8407 1996-09-20  Hrvoje Niksic  <hniksic@srce.hr>
8408
8409         * version.c: "Released" 1.4b19.
8410
8411 1996-09-19  Hrvoje Niksic  <hniksic@srce.hr>
8412
8413         * ftp.c (ftp_loop_internal): Renamed from ftp_1fl_loop.
8414         (getftp): Changed prototype to accept ccon *.
8415
8416 1996-09-17  Hrvoje Niksic  <hniksic@srce.hr>
8417
8418         * ftp.c (ftp_retrieve_list): Fixed a bug that caused setting
8419         incorrect values to files pointed to by symbolic links.
8420         (ftp_1fl_loop): Do not count listings among the downloaded URL-s.
8421
8422 1996-09-16  Hrvoje Niksic  <hniksic@srce.hr>
8423
8424         * url.c (mkstruct): Do not prepend "./" in front of a pathname.
8425
8426         * main.c (main): New option: --user-agent.
8427
8428         * geturl.1: Ditto.
8429
8430         * init.h: Ditto.
8431
8432         * init.c (setval): Ditto.
8433
8434         * main.c (main): Rename "server-headers" to "server-response".
8435
8436         * ftp-unix.c (ftp_parse_ls): Check for asterisks at the end of
8437         executables in 'ls -F' listings.
8438
8439 1996-09-15  Hrvoje Niksic  <hniksic@srce.hr>
8440
8441         * url.c (parseurl): Remove realloc() and sprintf().
8442         (str_url): Get rid of sprintf().
8443
8444         * recur.c (recursive_retrieve): Enable FTP recursion through proxy
8445         servers.
8446
8447         * url.h (URL_CLEANSE): Made it else-resistant.
8448         (USE_PROXY): New macro.
8449
8450 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
8451
8452         * NEWS: Update.
8453
8454         * version.c: Changed version to 1.4b19.
8455
8456 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
8457
8458         * version.c: "Released" 1.4b18.
8459
8460         * url.c: Made it reallocate space exponentially.
8461
8462 1996-09-14  Drazen Kacar  <dave@fly.cc.fer.hr>
8463
8464         * html.c (htmlfindurl): Added <frame src> and <iframe src> among
8465         the list of stuff to fetch.
8466
8467 1996-09-13  Hrvoje Niksic  <hniksic@srce.hr>
8468
8469         * url.c (get_urls_html): Fixed a bug that caused SIGSEGV's with
8470         -Fi.
8471
8472         * html.c (htmlfindurl): Rewrite.
8473
8474         * http.c (gethttp): Use opt.proxy_cache.
8475
8476         * main.c (main): Added --cache option.
8477
8478         * ftp.c (ftp_response): Print server response if opt.print_server
8479         response is set.
8480         (getftp): Print newlines after each request if the server response
8481         is to be printed.
8482         (ftp_response): Copy the last response line to last_respline.
8483
8484         * http.c (gethttp): Add Pragma: nocache for retried
8485         proxy-retrievals.
8486
8487         * ftp.c (getftp): Use it.
8488
8489         * retr.c (buf_discard): New function.
8490
8491         * ftp.c (ftp_response): Use buf_readchar().
8492         (getftp): Flush the control connection buffer before calling
8493         get_contents().
8494
8495         * retr.c (buf_readchar): New function.
8496         (buf_flush): New function.
8497         (get_contents): Use buf_readchar() instead of read(x, x, 1).
8498         (get_contents): Use buf_flush.
8499
8500 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
8501
8502         * ftp.c: Incorporate changes to ftp_response.
8503
8504         * ftp.c (ftp_response): Allocate the server response dynamically,
8505         as in read_whole_line and fetch_next_header.
8506
8507         * utils.c (read_whole_line): Fixed a bug that prevented reading
8508         the last line if it is not \n-terminated. Also fixed a possible
8509         memory overflow.
8510
8511         * http.c (fetch_next_header): Return malloc-ed string as large as
8512         needed.
8513         (gethttp): Use new fetch_next_header.
8514
8515 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
8516
8517         * http.c (hgetlen): Compute the header length the first time only.
8518         (hgettype): Ditto.
8519         (hgetlocation): Ditto.
8520         (hgetmodified): Ditto.
8521
8522 1996-09-11  Hrvoje Niksic  <hniksic@srce.hr>
8523
8524         * sample.geturlrc: Update.
8525
8526 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
8527
8528         * http.c (http_loop): Ditto.
8529
8530         * ftp.c (getftp): Open the output file as binary.
8531
8532         * version.c: Changed version to 1.4b18.
8533
8534 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
8535
8536         * version.c: "Released" 1.4b17.
8537
8538         * ftp-unix.c (ftp_parse_ls): If unable to open file, return NULL
8539         instead of failed assertion.
8540
8541 1996-09-09  Hrvoje Niksic  <hniksic@srce.hr>
8542
8543         * ftp.c (ftp_get_listing): Add a numbered suffix to LIST_FILENAME
8544         if a file of that name already exists.
8545
8546 1996-09-05  Hrvoje Niksic  <hniksic@srce.hr>
8547
8548         * ftp.c (ftp_1fl_loop): Handler FTPPORTERR and FOPENERR correctly.
8549
8550         * config.h.in: Define gethostbyname as Rgethostbyname when using
8551         Socks.
8552
8553         * configure.in: Check for -lresolv if using Socks.
8554
8555         * version.c: Changed version to 1.4b17.
8556
8557 1996-07-15  Hrvoje Niksic  <hniksic@srce.hr>
8558
8559         * version.c: "Released" 1.4b16.
8560
8561         * http.c (gethttp): More intelligent check for first line of HTTP
8562         response.
8563         (gethttp): Would bug out on time-stamping.
8564
8565         * version.c: Changed version to 1.4b16.
8566
8567 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
8568
8569         * version.c: Released 1.4b15.
8570
8571         * http.c (http_loop): Print \n after the loop entry, not before.
8572
8573         * url.c (url_filename): Use ISDOT.
8574
8575         * url.h (ISDOT): New macro.
8576
8577         * recur.c (recursive_retrieve): Change only opt.recursive for
8578         following FTP.
8579
8580 1996-07-11  Antonio Rosella <antonio.rosella@agip.it>
8581
8582         * socks/geturl.cgi: Fixed version No.
8583
8584         * socks/download-netscape.html: Ditto.
8585
8586         * socks/download.html: Changed socks.html to download.html.
8587
8588 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
8589
8590         * url.c (url_filename): Check for opt.dirstruct instead for
8591         opt.recursive && opt.dirstruct.
8592
8593         * init.c (defaults): Ditto.
8594         (defaults): Reset dirstruct by default.
8595         (setval): Set opt.dirstruct whenever setting recursive.
8596
8597         * init.h: Removed FORCEDIRHIER.
8598
8599         * INSTALL: Added -L to socks-description.
8600
8601         * version.c: Changed version to 1.4b15.
8602
8603 1996-07-10  Hrvoje Niksic  <hniksic@srce.hr>
8604
8605         * version.c: "Released" 1.4b14.
8606
8607         * geturl.1: Update AUTHOR to include Rosella as contributor.
8608
8609         * NEWS: Update.
8610
8611         * socks/geturl.cgi: Simplified command creation, nuked <blink>.
8612
8613         * socks/geturl.cgi: Wrap nutscape extensions within if $netscape.
8614         (cal_time): Fix == to eq.
8615
8616         * socks/geturl.cgi: GPL-ized with permission of A. Rosella.
8617
8618         * geturl.1 (hostname): Moved URL CONVENTIONS to the beginning.
8619
8620         * Makefile.in: Use @VERSION@.
8621
8622         * configure.in: Check version from version.c.
8623
8624         * socks/geturl.cgi: Changed /pub/bin/perl to /usr/bin/perl.
8625
8626         * socks/download.html: Created from download-netscape.html, made
8627         HTML-2.0 compliant.
8628
8629         * recur.c (recursive_retrieve): Set opt.force_dir_hier when
8630         following FTP links from recursions.
8631
8632 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
8633
8634         * url.c (mymkdir): Fixed a bug that prevented mymkdir() to create
8635         absolute directories correctly.
8636
8637         * version.c: Changed version to 1.4b14.
8638
8639 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
8640
8641         * version.c: "Released" 1.4b13.
8642
8643         * url.c (make_backup): New function.
8644
8645         * http.c (http_loop): Make a backup copy of the local file (using
8646         rename(2)) before opening it.
8647
8648         * main.c (main): Added --backups.
8649
8650         * host.c (ftp_getaddress): Bail out on failed mycuserid().
8651         (ftp_getaddress): Check for leading dot on MY_DOMAIN.
8652         (ftp_getaddress): Check for empty, null or (null) domain.
8653
8654         * url.c (get_urls_html): If this_url is NULL, the base must have a
8655         protocol.
8656         (parseurl): Use has_proto.
8657
8658         * retr.c (retrieve_url): Warn when proxy is used with more than 20
8659         retries.
8660
8661         * url.c (mkstruct): Create the directory (calling mymkdir()) only
8662         if it is not already there.
8663         (has_proto): New function.
8664         (get_urls_html): Eliminate the remaining call to findurl -- use
8665         has_proto.
8666
8667         * geturl.1: Ditto.
8668
8669         * main.c: Change -X to -x.
8670
8671         * url.c (url_filename): Simplify creation of filename if
8672         prefix_files is set.
8673         (url_filename): Simplify everything. And I do mean *everything*.
8674         (mkstruct): Add dir_prefix before hostname.
8675         (path_simplify): Fixed a bug that caused writing outside the path
8676         string in case of "." and ".." path strings.
8677
8678 1996-07-06  Hrvoje Niksic  <hniksic@srce.hr>
8679
8680         * init.c: Added --mirror.
8681
8682         * main.c (main): Added -X to force saving of directory hierarchy.
8683
8684         * ftp.c (ftp_retrieve_list): Added recursion depth counter.
8685         (ftp_retrieve_list): Check whether quota is exceeded.
8686
8687         * url.c (get_urls_html): Skip leading blanks for absolute URIs.
8688
8689         * http.c (gethttp): Use referer if present.
8690
8691         * recur.c (recursive_retrieve): Set u->referer before calling
8692         retrieve_url.
8693
8694         * url.c (newurl): Use memset to nullify the struct members.
8695         (freeurl): Free the referer field too.
8696
8697         * url.h: Added referer to urlinfo.
8698
8699         * geturl.1: Updated the manual to document some of the new features.
8700
8701         * utils.c (numdigit): Moved from url.c.
8702
8703         * README: Rewritten.
8704
8705         * config.h.in: Add the support for socks.
8706
8707         * configure.in: Add the support for socks.
8708
8709         * url.c (url_filename): If the dir_prefix is ".", work with just
8710         the file name.
8711         (url_filename): Do not look for .n extensions if timestamping if
8712         turned on.
8713
8714         * retr.c (show_progress): Skip the over-abundant restval data, and
8715         print the rest of it with ',' instead of '.'.
8716
8717 1996-07-05  Hrvoje Niksic  <hniksic@srce.hr>
8718
8719         * retr.c (show_progress): Changed second arg. to long (as it
8720         should be).
8721         (show_progress): Moved to retr.c.
8722         (get_contents): Moved to retr.c.
8723
8724         * version.c: Change version to 1.4b13.
8725
8726 1996-07-05  Hrvoje Lacko <hlacko@fly.cc.fer.hr>
8727
8728         * url.c (in_acclist): Would return after the first suffix.
8729
8730 1996-07-04  Hrvoje Niksic  <hniksic@srce.hr>
8731
8732         * version.c: "Released" 1.4b12.
8733
8734         * url.c (path_simplify): More kludgifications.
8735         (get_urls_html): Use new parameters for htmlfindurl.
8736
8737         * html.c: Removed memorizing "parser states", since the new
8738         organization does not require them.
8739
8740         * init.c (run_geturlrc): Use read_whole_line.
8741
8742         * ftp-unix.c (ftp_parse_ls): Use read_whole_line.
8743
8744         * recur.c (parse_robots): Use read_whole_line.
8745
8746         * utils.c (read_whole_line): New function.
8747
8748         * recur.c (tried_robots): Use add_slist/in_slist, *much* cleaner.
8749
8750         * host.c (ngethostbyname): Call inet_addr just once. Yet to be
8751         tested on OSF and Ultrix.
8752         (add_hlist): New function.
8753         (free_hlist): New function.
8754         (search_host): New function.
8755         (search_address): New function.
8756         (realhost): Use search_host, search_address and add_hlist.
8757         (same_host): Replaced realloc() with strdupdelim(), made
8758         case-insensitive, fixed a memory leak.
8759
8760         * html.c (ftp_index): Fixed tm_min and tm_sec to be tm_hour and
8761         tm_min, like intended.
8762
8763         * version.c: Change user agent information to
8764         Geturl/version.
8765
8766 1996-07-03  Hrvoje Niksic  <hniksic@srce.hr>
8767
8768         * utils.c: Renamed nmalloc.c to utils.c, .h likewise.
8769
8770         * url.c (acceptable): Always accept directories.
8771
8772         * ftp-unix.c (ftp_parse_ls): Support brain-damaged "ls -F"-loving
8773         servers by stripping trailing @ from symlinks and trailing / from
8774         directories.
8775
8776         * ftp.c (ftp_loop): Debugged the "enhanced" heuristics. :-)
8777
8778         * url.c (skip_url): Use toupper instead of UCASE.
8779
8780         * host.c (sufmatch): Made it case-insensitive.
8781
8782         * url.c (match_backwards_or_pattern): Fixed i == -1 to j == -1.
8783         (match_backwards): New function, instead of
8784         match_backwards_or_pattern.
8785
8786         * recur.c (recursive_retrieve): Increased performance by
8787         introducing inl, which reduces number of calls to in_slist to only
8788         one.
8789
8790         * ftp.c (ftp_loop): Enhanced the heuristics that decides which
8791         routine to use.
8792
8793         * main.c (printhelp): Removed the warranty stuff.
8794
8795 1996-07-02  Hrvoje Niksic  <hniksic@srce.hr>
8796
8797         * url.c (add_slist): Simplify.
8798         (match_backwards_or_pattern): New function.
8799         (in_acclist): Use match_backwards_or_pattern.
8800         (matches): Remove.
8801
8802 1996-06-30  Hrvoje Niksic  <hniksic@srce.hr>
8803
8804         * ftp.c (ftp_loop): Call ftp_index on empty file names, if not
8805         recursive.
8806
8807         * html.c (ftp_index): Fixed to work. Beautified the output.
8808
8809         * ftp.c (ftp_retrieve_glob): Another argument to control whether
8810         globbing is to be used.
8811         (ftp_retrieve_list): Compare the time-stamps of local and remote
8812         files to determine whether to download.
8813
8814 1996-06-29  Hrvoje Niksic  <hniksic@srce.hr>
8815
8816         * ftp.c (rel_constr): New function.
8817
8818         * retr.c (retrieve_from_file): Check for text/html before
8819         retrieving recursively.
8820
8821         * main.c (main): Check whether the file is HTML before going into
8822         recursive HTML retrieving.
8823
8824         * ftp.c (ftp_retrieve_list): Manage directories.
8825         (ftp_retrieve_glob): Pass all the file-types to ftp_retrieve_list.
8826         (ftp_1fl_loop): Fixed a bug that caused con->com to be incorrectly
8827         initialized, causing bugchecks in getftp to fail.
8828
8829         * configure.in: Check for symlink.
8830
8831         * ftp.c (ftp_retrieve_list): Added support for symlinks.
8832
8833         * version.c: "Released" 1.4b10.
8834
8835         * atotm.c (atotm): Redeclared as time_t.
8836
8837         * init.c: New variable "timestamping".
8838
8839         * main.c (main): New option 'N'.
8840
8841         * http.c (hgetlocation): Case-insensitive match.
8842         (hgetmodified): New function.
8843         (http_loop): Implement time-stamping.
8844
8845 1996-06-28  Hrvoje Niksic  <hniksic@srce.hr>
8846
8847         * version.c: Changed version to 1.4b10
8848
8849         * atotm.c: New file, from phttpd.
8850
8851         * options.h (struct options): New parameter timestamping.
8852
8853         * version.c: 1.4b9 "released".
8854
8855         * recur.c (recursive_retrieve): Used linked list (ulist) for
8856         faster storing of URLs.
8857
8858         * url.c (get_urls_html): Removed the old kludge with comparing the
8859         outputs of htmlfindurl and findurl.
8860         (get_urls_html): Added better protocol support here.
8861         (create_hash): Removed, as well as add_hash and in_hash.
8862         (addslist): New function.
8863         (in_slist): ditto
8864
8865         * version.c: Released 1.4b8, changed version to b9.
8866
8867 1996-06-27  Hrvoje Niksic  <hniksic@srce.hr>
8868
8869         * ftp.c (freefileinfo): New function.
8870         (delelement): New function.
8871
8872         * everywhere: GPL!
8873
8874         * ftp.c (ftp_loop): Use ccon.
8875         (ftp_retrieve_glob): Likewise.
8876
8877         * ftp.h: Define ccon, to define status of control connection.
8878
8879         * ftp.c (ftp_get_listing): New function.
8880         (ftp_retrieve_more): New function.
8881         (ftp_retrieve_glob): New function.
8882
8883 1996-06-25  Hrvoje Niksic  <hniksic@srce.hr>
8884
8885         * configure.in: Removed the search for cuserid().
8886
8887         * init.c (getmode): Renamed to getperms.
8888
8889 1996-06-24  Hrvoje Niksic  <hniksic@srce.hr>
8890
8891         * version.c: New version.
8892
8893         * main.c (hangup): New function, that handles hangup. Hangup
8894         signal now causes geturl to stop writing on stdout, and to write
8895         to a log file.
8896
8897         * ftp.c (getftp): "Released" 1.4b7.
8898
8899         * html.c (htmlfindurl): Ignore everything inside <head>...</head>.
8900         (ftp_index): Use fileinfo/urlinfo.
8901
8902         * ftp-unix.c (ftp_parse_ls): New function.
8903         (symperms): New function.
8904
8905         * ftp.c (ftp_1fl_loop): New function, to handle 1-file loops.
8906
8907         * retr.c (retrieve_url): Added FTP support.
8908
8909 1996-06-23  Hrvoje Niksic  <hniksic@srce.hr>
8910
8911         * geturl.h: Removed NOTFTP2HTML enum.
8912         Added DO_LOGIN, DO_CWD and DO_LIST. LIST_ONLY is obsolete.
8913
8914         * ftp.c (getftp): Resynched with urlinfo.
8915         (getftp): Removed HMTL-ization of index.html from getftp.
8916
8917         * version.c: 1.4b6 "released".
8918
8919         * options.h (options): New struct, to keep options in.
8920
8921         * http.c (http_loop,gethttp): Synched with proxy.
8922
8923         * retr.c (retrieve_url): Implemented proxy retrieval.
8924
8925         * main.c (main): Use retrieve_from_file.
8926
8927 1996-06-22  Hrvoje Niksic  <hniksic@srce.hr>
8928
8929         * retr.c (retrieve_from_file): New function.
8930
8931         * url.c (parseurl): Modified to return URLOK if all OK. Protocol
8932         can be found in u->proto.
8933
8934         * ftp.c (ftp_response): Fixed to accept multi-line responses as
8935         per RFC 959.
8936
8937         * recr.c (recursive_retrieve): Take newloc from retrieve_url.
8938
8939         * url.c (mymkdir): Removed the file of the same name, if one
8940         exists.
8941         (isfile): New function.
8942         (mkstruct): Fixed the '/' glitches.
8943         (path_simplify): Hacked to treat something/.. correctly.
8944
8945 1996-06-21  Hrvoje Niksic  <hniksic@srce.hr>
8946
8947         * http.c (gethttp): Close the socket after error in headers.
8948         (http_loop): HEOF no longer a fatal header.
8949
8950         * loop.c (retrieve_url): When dt is NULL, do not modify it. This
8951         simplifies the syntax of calling retrieve_url.
8952
8953         * recr.c (recursive_retrieve): Modified to use get_urls_html.
8954
8955         * url.c (get_urls_file): New function.
8956         (get_urls_html): New function.
8957
8958         * recr.c (recursive_retrieve): Patched up to conform to the
8959         standards.
8960
8961         * http.c (gethttp): Synched with the rest...
8962         (gethttp): Treat only CONREFUSED specially, with connection
8963         errors.
8964
8965         * init.c,geturl.1,http.c (http_loop): Removed kill_error.
8966
8967 1996-06-20  Hrvoje Niksic  <hniksic@srce.hr>
8968
8969         * http.c (http_loop): New function.
8970
8971         * loop.c: Removed *lots* of stuff from retrieve_url.
8972
8973         * url.c (parseurl): Changed to work with urlinfo. Integrated
8974         username finding and path parsing.
8975         (newurl): New function.
8976         (freeurl): New function.
8977         (mkstruct): Removed the old bogosities, made it urlinfo-compliant.
8978         (url_filename): Likewise.
8979         (path_simplify): Accept relative paths too.
8980         (opt_url): Made urlinfo-compliant, removed bogosities.
8981         (path_simplify): Expanded to accept relative paths.
8982         (str_url): A replacement for hide_url
8983         (decode_string): Fixed a bug that caused malfunctioning when
8984         encountering an illegal %.. combination.
8985         (opt_url): Removed the argument. Dot-optimizations are now default.
8986
8987         * nmalloc.c (strdupdelim): New function.
8988
8989         * url.h: Added the urlinfo structure
8990
8991 1996-06-19  Hrvoje Niksic  <hniksic@srce.hr>
8992
8993         * url.c (hide_url): Thrown out the protocol assertion. Do not
8994         change the URL if the protocol if not recognized.
8995         (findurl): Put continue instead of break.
8996
8997 1996-06-18  Hrvoje Niksic  <hniksic@srce.hr>
8998
8999         * sample.geturlrc: Changed the defaults to be commented out and
9000         harmless (previous defaults caused pains if copied to
9001         ~/.geturlrc).
9002
9003         * http.c (gethttp): Print the HTTP request in debug mode.
9004
9005         * connect.c (iread): Added EINTR check loop to select-ing
9006         too. EINTR is now correctly handled with select().
9007
9008         * TODO: new file
9009
9010 1996-05-07  Hrvoje Niksic  <hniksic@srce.hr>
9011
9012         * host.c (same_host): Made the function a little bit more
9013         intelligent regarding diversified URL syntaxes.
9014
9015         * url.c (skip_url): Spaces are now skipped after URL:
9016
9017         * Released 1.3.1 with the patch to prevent crashing when sending
9018         NULL to robot* functions and the patch to compile "out of the box"
9019         on AIX.
9020
9021         * recr.c (recursive_retrieve): Added checking whether this_url is
9022         NULL when calling the robot functions.
9023
9024         * ChangeLog: New file.