]> sjero.net Git - wget/blob - src/ChangeLog
[svn] Print the EGD option in the help text at the end of the SSL option block.
[wget] / src / ChangeLog
1 2005-04-21  Hrvoje Niksic  <hniksic@xemacs.org>
2
3         * main.c (print_help): Print the EGD option outside the cluster of
4         SSL options.
5
6 2005-04-21  Hrvoje Niksic  <hniksic@xemacs.org>
7
8         * http-ntlm.c (ntlm_output): Fix setting the domain.
9         Suggested by Sami Krank.
10
11 2005-04-20  Mauro Tortonesi  <mauro@ferrara.linux.it>
12
13         * connect.c: Set IPV6_V6ONLY socket option when -6 switch is used.
14
15 2005-04-20  FUJISHIMA Satsuki  <sf@FreeBSD.org>
16
17         * http.c (request_set_header): Fix the check whether a new header
18         needs to be allocated.
19
20 2005-04-18  Hrvoje Niksic  <hniksic@xemacs.org>
21
22         * utils.c (base64_encode): Use the parameter order that makes more
23         sense.  Return the length of the base64 written.  Updated all
24         callers.
25
26 2005-04-17  Hrvoje Niksic  <hniksic@xemacs.org>
27
28         * http.c (request_set_header): Free NAME when VALUE is NULL and
29         freeing the header name is requested.
30
31 2005-04-17  Hrvoje Niksic  <hniksic@xemacs.org>
32
33         * snprintf.c (fmtstr): Declare VALUE as const char *.
34         Based on patch by Russ Allbery.
35
36 2005-04-17  Hrvoje Niksic  <hniksic@xemacs.org>
37
38         * snprintf.c (fmtfp): More correct handling of significant digit
39         count with %g -- 0.002 has one significant digit, not three.
40
41 2005-04-16  Hrvoje Niksic  <hniksic@xemacs.org>
42
43         * retr.c (fd_read_body): Respect read timeout with non-interactive
44         or no progress gauge -- treat ETIMEDOUT specially only when
45         progress_interactive.
46         Reported by FUJISHIMA Satsuki.
47
48 2005-04-16  FUJISHIMA Satsuki  <sf@FreeBSD.org>
49
50         * http.c (gethttp): Don't use HTTP/1.0 persistent connections over
51         proxy.
52
53 2005-04-16  Hrvoje Niksic  <hniksic@xemacs.org>
54
55         * snprintf.c: Use the PARAMS macro to handle prototypes.  Write
56         function definitions in the ansi2knr-friendly way.
57         (fmtstr): If string precision is specified, don't read VALUE past
58         it.
59         (dopr): Actually print %g and %e formats.
60         (fmtfp): Fix a bug that caused 0.01 to be printed as 0.1.
61         (fmtfp): Use LLONG in floating point conversions to be able to
62         convert more digits.
63         (fmtfp): Interpret precision as number of significant digits with
64         %g.
65         (fmtfp): Omit trailing decimal zeros with %g.
66
67         * snprintf.c: Don't include <ctype.h> because none of it is used.
68         Include strings.h/string.h, as per Autoconf.
69
70 2005-04-15  Hrvoje Niksic  <hniksic@xemacs.org>
71
72         * ptimer.c: Use _POSIX_TIMERS - 0 > 0, which handles the case when
73         _POSIX_TIMERS is defined but empty, as well as the case when it is
74         undefined.  Do the same with the check for _POSIX_MONOTONIC_CLOCK.
75         Suggested by Larry Jones.
76
77 2005-04-15  Hrvoje Niksic  <hniksic@xemacs.org>
78
79         * ptimer.c: Check that _POSIX_TIMERS is defined as well as > 0.
80         Problem reported by Steven M. Schweda.
81
82 2005-04-14  Hrvoje Niksic  <hniksic@xemacs.org>
83
84         * http.c (skip_short_body): Print the skipped body data in debug
85         mode.
86         (skip_short_body): Don't skip more than 4k of body data.
87         (skip_short_body): Return whether the skipping was successful.
88         (gethttp): If skip_short_body failed, invalidate the connection.
89
90 2005-04-12  Gisle Vanem  <giva@bgnett.no>
91
92         * ftp.c (getftp): Ditto.
93
94         * http.c (gethttp): Open the output file in binary mode.
95
96 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
97
98         * hash.c: Conditionalize including config.h on HAVE_CONFIG_H
99         instead of on STANDALONE.
100
101 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
102
103         * gen_sslfunc.c (ssl_print_errors): Made static.
104         (ssl_print_errors): Eliminate potentially dangerous fixed-size
105         error buffer.  Passing NULL to ERR_error_string causes it to use
106         its own static buffer, which is fine for our purposes.
107
108         * gen_sslfunc.c: Include gen_sslfunc.h.  Make the declarations of
109         ssl_init and ssl_conect match the actual definitions.
110         (ssl_connect): Simply return a boolean, the SSL context is no
111         longer useful as a return value.
112
113         * retr.c: Don't include SSL headers; we don't need them.
114
115 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
116
117         * config-post.h: Don't define _VA_LIST under Solaris; it breaks
118         compilation with GCC 3.4 under Solaris 10.  (It was defined to
119         avoid a warning with previous versions of GCC.)
120
121 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
122
123         * xmalloc.c (register_ptr): Warn the user to increase SZ prior to
124         aborting.
125
126 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
127
128         * convert.c (convert_cleanup): Free converted_files.
129
130 2005-04-10  Hrvoje Niksic  <hniksic@xemacs.org>
131
132         * wget.h (DEBUGP): Use __builtin_expect to give a hint to GCC that
133         opt.debug is false in the vast majority of cases.
134
135 2005-04-10  Hrvoje Niksic  <hniksic@xemacs.org>
136
137         * config-post.h: Declare alloca as void *, not char *.
138
139 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
140
141         * recur.c (download_child_p): When -p is used, (temporarily)
142         ignore accept/reject rules for HTMLs, even when they are at the
143         maximum recursion depth.  That is because with -p we are, if
144         necessary, overstepping the max. depth to get the requisites.
145
146 2004-06-12  Larry Jones <lawrence.jones@ugsplm.com>
147
148         * recur.c (download_child_p): Correct the logic in check number 6:
149         test opt.reclevel (not DEPTH) against INFINITE_RECURSION.
150
151 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
152
153         * url.c: Use "static const" in preference to "const static".
154         Sun's cc warns that "storage class after type is obsolescent".
155
156         * url.c (urlchr_table): Don't mark ~ as unsafe, too many broken
157         web sites are confused when ~ is changed to %7E.  Their servers
158         redirect /%7Efoo/ to /~foo/, which Wget again accesses using %7E,
159         causing further redirections, therefore looping infinitely.  See
160         Debian bug #301624 for an example.
161
162 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
163
164         * alloca.c: Include wget.h to be able to use xmalloc.  In addition
165         to defining malloc to xmalloc, also define free to xfree.
166
167 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
168
169         * http-ntlm.c (ntlm_output): Use "char", not "unsigned char" for
170         ntlmbuf.  Our base64 functions accept char anyway.
171         (ntlm_output): Join up the format string, since we nominally
172         support K&R compilers.
173         (ntlm_output): Ditto.
174
175 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
176
177         * ptimer.c: Use Windows timers under Cygwin, whose POSIX timer
178         implementation is incomplete.
179
180 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
181
182         * ptimer.c (struct ptimer): Remove the unused initialized field.
183
184         * ptimer.c: Renamed function parameters from WT (which used to
185         stand for wget_timer or wtimer) to PT.
186
187 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
188
189         * ptimer.c (posix_init): Be smarter about choosing clocks.  In
190         decreasing order of preference, use CLOCK_MONOTONIC,
191         CLOCK_HIGHRES, and CLOCK_REALTIME.
192         (ptimer_allocate): Removed.
193
194         * ptimer.c: Refactor the code by cleanly separating the
195         architecture-dependent code from the architecture-independent
196         code.
197
198 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
199
200         * ptimer.c (ptimer_init): Explicitly check that
201         _POSIX_MONOTONIC_CLOCK is *both* defined and >=0.  (Undefined
202         symbols are >=0.)
203
204 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
205
206         * ptimer.c (ptimer_diff): Fix typo affecting Windows build.
207
208 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
209
210         * ptimer.c (ptimer_init): In fact, _POSIX_MONOTONIC_CLOCK needs to
211         be >= 0.
212
213         * ptimer.c (ptimer_init): Check whether _POSIX_MONOTONIC_CLOCK is
214         defined instead of whether it's greater than 0.  glibc defines it
215         to 0, but still makes it available via sysconf.
216
217 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
218
219         * mswindows.c (str_to_int64): Rename OVERFLOW and UNDERFLOW to
220         INT64_OVERFLOW and INT64_UNDERFLOW, since those names are used.
221
222 2005-04-07  Hrvoje Niksic  <hniksic@xemacs.org>
223
224         * ptimer.c: New file.  Move the "wtimer" functions from utils.c to
225         this file and rename them to ptimer_.
226
227 2005-04-07  Hrvoje Niksic  <hniksic@xemacs.org>
228
229         * host.c (NO_ADDRESS): Define NO_ADDRESS only after the system
230         headers have been included.
231
232 2005-04-06  Hrvoje Niksic  <hniksic@xemacs.org>
233
234         * http.c (pconn): Include NTLM data, which is per-connection.
235         (known_authentication_scheme_p): Recognize NTLM authorization.
236         (create_authorization_line): Call ntlm_input and ntlm_output.
237
238         * http-ntlm.c: New file, donated by Daniel Stenberg and originally
239         written for curl, heavily modified for Wget.
240
241         * utils.c (base64_encode): Relocated from http.c, since it is now
242         used by http-ntlm.c, and will possibly be used elsewhere.
243         (base64_decode): New function, originally based on code from GNU
244         recode.
245
246 2005-04-02  Hrvoje Niksic  <hniksic@xemacs.org>
247
248         * ftp.c (ftp_loop): Ditto.
249
250         * ftp-basic.c (ftp_pasv): Use the xzero shorthand for memset(0).
251         (ftp_lpsv): Ditto.
252
253 2005-04-05  Mauro Tortonesi  <mauro@ferrara.linux.it>
254
255         * Makefile.in: removed string_t.c from list of source files.
256
257 2005-04-04  Mauro Tortonesi  <mauro@ferrara.linux.it>
258
259         * string_t.c: Removed.
260         
261         * string_t.h: Removed.
262
263 2005-04-02  Hrvoje Niksic  <hniksic@xemacs.org>
264
265         * url.c (rewrite_shorthand_url): Only accept recognized schemes.
266         That way "foo:80" will correctly be rewritten to "http://foo:80"
267         instead of left unchanged and ultimately rejected because of
268         "unsupported scheme foo".
269
270 2005-03-31  Hrvoje Niksic  <hniksic@xemacs.org>
271
272         * utils.c (number_to_string): Avoid explicit 64-bit constants;
273         construct them by multiplication at compile-time.
274
275         * utils.c, elsewhere: Don't append "L" to 32-bit integer
276         constants; we aren't really compilable on 16-bit systems anyway.
277
278         * hash.c (prime_size): Remove primes larger than 2^31, but include
279         2^31-1, which is prime.
280
281 2005-03-30  Hrvoje Niksic  <hniksic@xemacs.org>
282
283         * utils.c (string_set_to_array): New function.
284
285         * convert.c: Replace the use of "slists" with sets/hash-tables,
286         which in fact suit the intended purpose much better.
287         downloaded_html_list is removed altogether.
288
289 2005-03-29  Hrvoje Niksic  <hniksic@xemacs.org>
290
291         * ftp.h (enum): Rename GLOBALL, GETALL, and GETONE to
292         GLOB_GLOBALL, GLOB_GETALL, and GLOB_GETONE to avoid conflict with
293         Linux headers.
294
295 2005-03-29  Hrvoje Niksic  <hniksic@xemacs.org>
296
297         * utils.c (numdigit): More correct handling of negative numbers.
298
299 2005-03-21  Hrvoje Niksic  <hniksic@xemacs.org>
300
301         * http.c (gethttp): Print the human-readable size.
302
303         * ftp.c (getftp): Print the human-readable size of the file to be
304         downloaded.
305
306         * utils.c (human_readable): New function.
307
308         * utils.c: Renamed "legible" to "with_thousand_seps",
309         "legible_large_int" to "with_thousand_seps_large", and "legible_1"
310         to "add_thousand_seps".
311
312 2005-03-21  Hrvoje Niksic  <hniksic@xemacs.org>
313
314         * http.c (gethttp): Inhibit persistent connections when talking to
315         proxies, as mandated by RFC 2068.
316
317 2005-03-20  Hrvoje Niksic  <hniksic@xemacs.org>
318
319         * url.c (unescape_single_char): New function.
320         (url_escape_dir): Use it to unescape slashes in directory
321         components.
322         (url_string): Escape unsafe chars in host name, except for the ':'
323         charaters, which can appear in IPv6 addresses.
324
325         * main.c (main): Don't access the cookie jar directly.
326
327         * log.c (escnonprint_internal): Correctly calculate the needed
328         string size.  Don't forget the buffer's new size after having
329         reallocated it.
330         (log_cleanup): New function.  Free the escnonprint ring data.
331
332         * init.c (cleanup): Don't free the cookie jar explicitly, it is
333         now done by http_cleanup.
334         (cleanup): opt.user_headers is now a vector, free it with
335         free_vec.
336
337         * http.c (gethttp): Make sure to free the request data, the status
338         message, and the response data before returning from the function.
339         (save_cookies): New function.
340         (http_cleanup): Free the cookie jar here.
341
342         * hash.c: Renamed string_hash to hash_string and ptrhash to
343         hash_pointer.  Exported hash_pointer.
344
345         * xmalloc.c: Organized malloc_table (previously malloc_debug) as a
346         simple EQ hash table.  register_ptr and unregister_ptr are now of
347         O(1) complexity.
348
349         * xmalloc.c: Renamed "*_debug" to debugging_* and "*_real" to
350         checking_*.
351
352 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
353
354         * utils.c (debug_test_md5): Moved to gen-md5.c.
355
356         * mswindows.h: Don't declare inet_ntop, since we don't use it.
357
358         * mswindows.h: For consistency, also wrap closesocket, it being
359         a Winsock call.
360
361         * mswindows.h: Don't declare sleep and usleep; we're defining
362         xsleep now.
363
364         * mswindows.h (mkdir): Don't special-case Borland C, _mkdir
365         works there as well.
366
367         * host.c: Don't include winsock header files; the correct ones
368         are already included by mswindows.h.
369
370         * mswindows.c (xsleep): Round toward the nearest millisecond
371         in an attempt to avoid average short sleeps.
372
373         * utils.c (wtimer_granularity): Report correct values for
374         Windows timers and for high-resolution timers.
375
376         * utils.c (wtimer_initialize_once): New function, called to
377         initialize the timer frequency.
378
379         * utils.c: Replace the use of GetSystemTime with high-resolution
380         counters under Windows.  When high-resolution counters are
381         unavailable, use GetTickCount().
382
383 2005-03-15  Hrvoje Niksic  <hniksic@xemacs.org>
384
385         * retr.c (fd_read_body): Undo the 2004-11-18 change.  Instead,
386         always be "exact".
387
388 2005-03-17  Hrvoje Niksic  <hniksic@xemacs.org>
389
390         * ftp-basic.c (ftp_login): Don't free the string if ftp_response
391         returned an error status because the line didn't get allocated in
392         the first place.
393
394 2005-03-15  Hrvoje Niksic  <hniksic@xemacs.org>
395
396         * http.c (read_http_response_head): Limit the response size to 64k
397         bytes.
398
399         * retr.c (fd_read_hunk): Accept a MAXSIZE argument that limits the
400         number of bytes the function is allowed to allocate.
401         (fd_read_line): Limit the line to 4096 bytes.
402
403 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
404
405         * wget.h: Include options.h after wgint has been defined.
406
407         * options.h (struct options): Declare options processed with
408         cmd_bytes as wgint, not long.
409
410 2005-03-18  Hrvoje Niksic  <hniksic@xemacs.org>
411
412         * init.c (cmd_file): Use concat_strings.
413
414         * http.c (basic_authentication_encode): Use concat_strings.
415
416         * ftp-ls.c (ftp_index): Use concat_strings.
417
418         * ftp-basic.c (ftp_request): Use concat_strings.
419
420         * utils.c (concat_strings): New function.
421
422 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
423
424         * init.c (simple_atof): Handle negative numbers; skip whitespace
425         before the number.
426         (simple_atoi): Ditto.  Also, check for overflow and underflow.
427         (cmd_number): Bail out on negative numbers.
428         (parse_bytes_helper): Ditto.
429
430 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
431
432         * http.c (gethttp): Handle multiple Set-Cookie headers sent by
433         remote server.
434
435 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
436
437         * init.c (defaults): Use passive FTP by default.
438
439 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
440
441         * mswindows.c: Provide wrappers to Winsock functions that set
442         errno to WSAGetLastError() in case of failure.  Also provide a
443         Windows-specific version of strerror.
444
445         * mswindows.h: Wrap calls to socket, bind, connect, recv, send,
446         select, getsockname, getpeername, and setsockopt.
447
448 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
449
450         * url.c (url_parse): Reject port numbers larger than 65535.  We
451         also check for overflow while parsing port numbers.
452
453 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
454
455         * utils.c (read_file): Don't use wgint for file size; LFS won't
456         work since the file is mmap'ed as a whole.
457
458         * options.h: Don't include stdio.h.
459
460         * log.c: Ditto.
461
462         * init.c: Disambiguate assignment from non-zero test to avoid
463         Borland C warning.
464
465         * http.c (response_new): Don't needlessly post-increment count.
466
467         * hash.c: Include stdio.h.
468
469         * gnu-md5.h: Don't include stdio.h.
470
471         * getopt.h (struct option): Always use const.
472
473         * ftp.c (getftp): Avoid unnecessary assignment to RES to avoid
474         Borland C warning.
475
476         * ftp-ls.c: Disambiguate assignment from non-zero test to avoid
477         Borland C warning.
478
479         * cmpt.c (strptime_internal): Don't initialize rp_backup when
480         !_NL_CURRENT to avoid Borland C warning.
481
482 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
483
484         * utils.c (fopen_excl): Fix parse error when O_BINARY is
485         available.
486
487 2005-03-05  Hrvoje Niksic  <hniksic@xemacs.org>
488
489         * url.c (url_file_name): Don't allow hosts named ".." to be
490         appended as path elements.
491
492 2005-03-03  Hrvoje Niksic  <hniksic@xemacs.org>
493
494         * retr.c (retrieve_url): Escape location header.
495
496         * http.c (print_server_response_1): Escape server response when
497         printing it.
498         (gethttp): Escape host name, status message, location header, and
499         content type.
500         (http_loop): Escape error message from server.
501
502         * host.c (lookup_host): Escape host name when printing it.
503
504         * ftp.c (getftp): Escape user name when printing it.
505         (getftp): Escape remote file and directory for printing.
506         (getftp): Escape server listing when printing it.
507         (ftp_retrieve_list): Escape link name and file name.
508         (ftp_retrieve_glob): Escape file name.
509
510         * ftp-basic.c (ftp_response): Escape server response when printing
511         it.
512
513         * cookies.c (parse_set_cookies): Escape the cookie field when
514         printing it.
515         (parse_set_cookies): Escape contents of remote header.
516         (cookie_handle_set_cookie): Escape host name and cookie domain.
517
518         * connect.c (connect_to_ip): Escape the host name.
519
520         * log.c (escnonprint): New function, used for printing strings
521         coming from the server that possibly contain non-ASCII characters.
522         (escnonprint_uri): Ditto.
523
524 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
525
526         * ftp.c (getftp): Ditto.
527
528         * http.c (gethttp): When we're not supposed to overwrite files,
529         use fopen_excl to open the file and recompute the file name.
530
531         * log.c (redirect_output): Use unique_create to avoid a race
532         condition.
533
534         * mswindows.c (fake_fork_child): Use unique_create.
535
536         * utils.c (fopen_excl): New function that opens a stdio stream
537         with the O_EXCL flag (where available).
538         (unique_create): New function, like unique_name, but also creating
539         the file and returning a file pointer.
540         (fork_to_background): Use unique_create to create the file
541         immediately to avoid race condition with multiple instances of
542         wget -b.
543
544 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
545
546         * host.c (lookup_host): Test for AI_ADDRCONFIG directly, instead
547         of checking for HAVE_GETADDRINFO_AI_ADDRCONFIG.
548
549 2005-02-23  Hrvoje Niksic  <hniksic@xemacs.org>
550
551         * host.c (is_valid_ipv6_address): Move here from url.c.
552         (lookup_host): If the address is numeric, don't print the
553         "resolving..." line, don't set up DNS timeouts, and set the
554         AI_NUMERICHOST hint, where available.
555
556 2005-02-26  Gisle Vanem  <giva@bgnett.no>
557
558         * utils.c: Use the nnnLL syntax under GCC.  Define struct_stat to
559         struct _stati64 under __MINGW32__ as well as under MS VC.
560
561 2005-02-26  Hrvoje Niksic  <hniksic@xemacs.org>
562
563         * utils.c: Use the nnnI64 syntax for __int64 constants under all
564         Windows compilers.
565         (SPRINTF_WGINT): Use "%I64" under all Windows compilers.
566
567         * mswindows.h (WGINT_MAX): Use the nnnI64 syntax for
568         __int64 constants under all Windows compilers.
569         (struct_stat): Use `struct stati64' under Borland C.
570         (fstat): Don't redefine to _fstati64 under Borland.
571
572         * mswindows.c: Define str_to_int64 under Borland C as well as
573         under (older) Visual C.
574
575 2005-02-25  Hrvoje Niksic  <hniksic@xemacs.org>
576
577         * ftp.c (getftp): Initialize err to suppress compiler warning.
578
579 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
580
581         * ftp.c (ftp_expected_bytes): Fix bug that caused infloop because
582         of not correctly skipping the '(' character.
583
584 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
585
586         * mswindows.c (wget_ftello): Removed.
587
588         * mswindows.h: Remove bogus definition of stat.
589         (wget_ftello): Remove the leftover ftello replacement.
590
591 2005-02-20  Hrvoje Niksic  <hniksic@xemacs.org>
592
593         * mswindows.c (wget_ftello): Wget's replacement for ftello.
594
595         * utils.c (file_size): Use ftello where available.
596
597         * ftp-ls.c (ftp_parse_unix_ls): Use str_to_wgint to parse the file
598         size.
599         (ftp_parse_winnt_ls): Ditto.
600
601         * ftp-basic.c (ftp_size): Use str_to_wgint to convert number to
602         wgint; pass 10 instead of 0 as the BASE argument.
603
604         * ftp.c (ftp_expected_bytes): Use str_to_wgint to parse the file
605         size.
606
607         * sysdep.h (LARGE_INT_FMT): Use __int64 as LARGE_INT on
608         MSVC/Windows; print it with "%I64".
609
610         * wget.h: Define a `wgint' type, normally aliased to (the possibly
611         64-bit variant of) off_t.
612
613         * all: Use `wgint' instead of `long' for numeric variables that
614         can hold file sizes.
615
616         * utils.c (number_to_string): Support printing of `wgint'
617         argument.
618         (number_to_static_string): New function.
619
620         * all: Replace printf("%ld", long_value) with printf("%s",
621         number_to_static_string(wgint_value)).
622
623 2005-02-18  Mauro Tortonesi <mauro@ferrara.linux.it>
624
625         * main.c: Added the --ftp-passwd command line option.
626
627         * init.c: Renamed command passwd to ftppasswd.
628
629 2005-02-11  Mauro Tortonesi <mauro@ferrara.linux.it>
630         
631         * string_t.c: Fixed a bug in do_escape and triggered escape of
632         backslashes in string_escape to avoid ambiguities in the result
633         string.
634         
635 2005-02-10  Mauro Tortonesi <mauro@ferrara.linux.it>
636
637         * string.h: Renamed to string_t.h to fix a compilation conflict 
638         with the string.h header in the standard C library.
639         
640         * string.c: Renamed to string_t.c for consistency with string.h.
641         
642         * string_t.c: Ditto.
643
644         * string_t.h: Ditto.
645         
646 2004-12-31  Mauro Tortonesi <mauro@ferrara.linux.it>
647
648         * string.c: New file.
649
650         * string.h: New file.
651
652         * Makefile.in: Added string.c to the list of modules to compile.
653
654         * main.c: Updated copyright.
655
656 2004-11-18  Ulf Harnhammar <ulf.harnhammar.9485@student.uu.se>
657
658         * ftp-ls.c: Fixed a problem in ftp_parse_winnt_ls that could allow a
659         malicious remote FTP server to crash wget.
660
661 2004-11-18  Hans-Andreas Engel <engel@node.ch>
662
663         * http.c: Enable --convert-links (-k) when a single page is downloaded
664         via --output-document (-O).
665
666 2004-11-18  Mauro Tortonesi <mauro@deepspace6.net>
667
668         * connect.c: Minor correction to the comment in front of fd_peek.
669
670 2004-11-18  Leonid Petrov <nouser@lpetrov.net>
671
672         * retr.c: Fix a timeout problem in fd_read_body when using http_proxy.
673
674 2004-11-15  YAMAZAKI Makoto <Yamazaki.Makoto@fujixerox.co.jp>
675
676         * netrc.c: Fix termination by assertion bug in netrc parsing.
677
678 2004-05-09  David Fritz  <zeroxdf@att.net>
679
680         * mswindows.c (fake_fork): Pass entire command line to the child
681         process.
682
683 2004-03-31  Hrvoje Niksic  <hniksic@xemacs.org>
684
685         * http.c (gethttp): Fix typo: SCHEME_SSL -> SCHEME_HTTPS.
686
687 2004-03-30  Hrvoje Niksic  <hniksic@xemacs.org>
688
689         * http.c (gethttp): Send the Proxy-Authorization header over
690         non-SSL connections too.
691
692 2004-03-25  David Fritz  <zeroxdf@att.net>
693
694         * mswindows.c (fake_fork_child): Ignore error code when
695         OpenFileMapping() fails; assume it failed because the object does
696         not exist.
697
698 2004-03-24  David Fritz  <zeroxdf@att.net>
699
700         * mswindows.c (fake_fork): New function.
701
702         * mswindows.c (fork_to_background): Use it.
703
704 2004-03-19  David Fritz  <zeroxdf@att.net>
705
706         * mswindows.c (ws_hangup): Incorporate old fork_to_background()
707         code.  Add event name argument.
708         (fork_to_backgorund): Now a simple wrapper around ws_hangup().
709         (ws_handler): Correctly handle the case when neither CTRLC_BACKGND
710         nor CTRLBREAK_BACKGND are defined.  Don't bother handling close,
711         logoff, or shutdown events.  Call ws_hangup() with the correct
712         event name; don't assume it was CTRL+Break.
713
714 2004-03-19  Hrvoje Niksic  <hniksic@xemacs.org>
715
716         * url.c (url_parse): Decode %HH sequences in host name.
717
718 2004-03-04  Hrvoje Niksic  <hniksic@xemacs.org>
719
720         * convert.c (local_quote_string): Quote "#" as "%23" and "%" as
721         "%25" when creating links to local files.
722
723 2004-03-02  David Fritz  <zeroxdf@att.net>
724
725         * mswindows.c (ws_percenttitle): Guard against future changes by
726         doing nothing if the proper variables have not been initialized.
727         Clamp percentage value.
728
729 2004-03-04  Gisle Vanem  <giva@bgnett.no>
730
731         * retr.c (fd_read_body): Don't change console title if quiet.
732
733 2004-02-25  David Fritz  <zeroxdf@att.net>
734
735         * mswindows.c (set_sleep_mode): Remove argument and return value.
736         Call GetModuleHandle() instead of LoadLibrary()/FreeLibrary() for
737         kernel32.dll.  Use typedef for function-pointer.  Don't cast
738         l-value.  Don't use dereference operator when calling through
739         function-pointer.
740         (ws_startup): Update call to set_sleep_mode().
741         (ws_cleanup): Remove call to set_sleep_mode().
742
743 2004-02-23  David Fritz  <zeroxdf@att.net>
744
745         * http.c (http_loop): Ditto.
746
747         * ftp.c (ftp_loop_internal): Update call to ws_changetitle().
748
749         * main.c (main): Don't bother calling ws_changetitle().
750
751         * mswindows.h (ws_changetitle): Update prototype.
752
753         * mswindows.c (ws_changetitle): Remove second argument.  Use
754         xfree_null().
755         (ws_percenttitle): Only update title when percentage has changed.
756
757 2004-02-23  David Fritz  <zeroxdf@att.net>
758
759         * mswindows.h: Ditto.
760
761         * mswindows.c: Misc. formatting/comment tweaks throughout.
762
763 2004-02-20  David Fritz  <zeroxdf@att.net>
764
765         * main.c (print_help): Remove call to ws_help().
766
767         * mswindows.c (ws_help): Remove.
768
769         * mswindows.h (ws_help): Remove.
770
771 2004-02-16  David Fritz  <zeroxdf@att.net>
772
773         * init.c (home_dir): Use aprintf() instead of xmalloc()/sprintf().
774         Under Windows, if $HOME is not defined, use the directory that
775         contains the Wget binary instead of hard-coded `C:\'.
776         (wgetrc_file_name): Under Windows, look for $HOME/.wgetrc then, if
777         not found, look for wget.ini in the directory of the Wget binary.
778
779         * mswindows.c (ws_mypath): Employ slightly more robust methodology.
780         Strip trailing path separator.
781
782 2004-02-06  Hrvoje Niksic  <hniksic@xemacs.org>
783
784         * http.c (gethttp): Respect --ignore-length.
785         (gethttp): Inhibit keep-alive if --ignore-length is specified.
786
787 2004-02-06  Hrvoje Niksic  <hniksic@xemacs.org>
788
789         * connect.c (sockaddr_set_data): Zero out
790         sockaddr_in/sockaddr_in6.  Apparently BSD-derived stacks need this
791         when binding a socket to local address.
792
793 2004-02-04  Hrvoje Niksic  <hniksic@xemacs.org>
794
795         * hash.c: Make the file compilable outside Wget source tree when
796         -DSTANDALONE is used.
797
798 2004-01-29  Hrvoje Niksic  <hniksic@xemacs.org>
799
800         * utils.c (determine_screen_width): Return 0 if not running on
801         Windows or on a TIOCGWINSZ-capable system.
802
803 2004-01-28  David Fritz  <zeroxdf@att.net>
804
805         * utils.c (determine_screen_width): Correctly determine console
806         width under Windows.
807
808 2004-01-28  Christian Biere  <christianbiere@gmx.de>
809
810         * progress.c (bar_set_params): Fixed syntax error when HAVE_ISATTY
811         was undefined.
812
813         * ftp.c (ftp_loop_internal): Allocate a larger buffer in case
814         "try" gets translated to something large.  Ditto in http_loop in
815         http.c.
816
817         * http.c (response_header_copy): Don't write to buf[BUFSIZE].
818
819         * ftp-opie.c (skey_response): Eliminate unnecessary string
820         concatenation; just call gen_md5_update twice.
821
822 2004-01-25  Hrvoje Niksic  <hniksic@xemacs.org>
823
824         * utils.c (xsleep): Don't call usleep with values larger than
825         1,000,000.
826
827 2003-12-16  Hrvoje Niksic  <hniksic@xemacs.org>
828
829         * http.c (gethttp): Fix generation of `Content-Length'.
830
831 2003-12-15  Gisle Vanem  <giva@bgnett.no>
832
833         * url.c (url_skip_credentials): Fixed return value; 'url' if no
834         credentials.
835
836 2003-12-14  Hrvoje Niksic  <hniksic@xemacs.org>
837
838         * url.c (url_skip_credentials): Return a pointer directly.
839
840 2003-12-14  Hrvoje Niksic  <hniksic@xemacs.org>
841
842         * url.c (url_file_name): Ditto.
843         (parse_errors): Ditto.
844
845         * retr.c (retr_rate): Ditto.
846
847         * progress.c (create_image): Ditto.
848
849         * netrc.c (parse_netrc): Ditto.
850
851         * main.c (struct cmdline_option): Ditto.
852         (redirect_output_signal): Ditto.
853
854         * init.c (commands): Ditto.
855
856         * ftp-ls.c (ftp_index): Ditto.
857
858         * cookies.c (check_domain_match): Declare the pointer to a literal
859         string as `const'.
860
861 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
862
863         * retr.c (fd_read_body): Pass total size to progress_create, not
864         the remaining amount.
865
866 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
867
868         * retr.c (fd_read_body): Don't fiddle with "interactive timeout"
869         if read timeout is unset.
870
871 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
872
873         * connect.c (bind_local): Don't set the IPV6_V6ONLY option on the
874         socket.
875
876 2003-12-06  Hrvoje Niksic  <hniksic@xemacs.org>
877
878         * url.c (url_file_name): Respect the setting of
879         opt.protocol_directories.
880
881         * main.c (main): Only check for ret=='?' when longindex is unset.
882         (option_data): New option --protocol-directories.
883
884 2003-12-06  Hrvoje Niksic  <hniksic@xemacs.org>
885
886         * ftp.c (getftp): Ditto.
887
888         * http.c (gethttp): Correctly calculate bandwidth as total data
889         read divided with download time.
890
891         * retr.c (fd_read_body): Separate the return values for data
892         written and read.
893
894 2003-12-05  Hrvoje Niksic  <hniksic@xemacs.org>
895
896         * http.c (H_REDIRECTED): Respect the HTTP/1.1 "303 See Other"
897         response code.
898         Suggested by Dan Razzell.
899
900 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
901
902         * retr.c (fd_read_body): Report the amount of data *written* as
903         amount_read.  This is not entirely logical, but that's what the
904         callers expect, and it's not easy to change.
905
906         * ftp.c (ftp_loop_internal): Ditto.
907
908         * http.c (http_loop): Be smarter about assigning restval; if we're
909         in the nth pass of a download, simply use the information we have
910         about how much data has been retrieved as restval.
911
912         * ftp.c (getftp): Ditto for FTP "REST" command.
913
914         * http.c (gethttp): When the server doesn't respect range, skip
915         the first RESTVAL bytes of the read body.  Never truncate the
916         output file.
917
918         * retr.c (fd_read_body): Support skipping initial STARTPOS octets.
919
920 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
921
922         * http.c (skip_short_body): Renamed skip_body to skip_short_body;
923         don't bother calling fd_read_body.
924
925 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
926
927         * retr.c (fd_read_body): Sanitize arguments and document them
928         better.  Make sure the timer is created and updated only if
929         necessary.  Updated callers.
930
931 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
932
933         * http.c (skip_body): New function.
934         (gethttp): Use it to skip the body of the responses we don't care
935         to download.  That allows us to reuse the connection.
936         (gethttp): Trust that the HEAD requests will not generate body
937         data.
938
939         * retr.c (fd_read_body): Don't write to OUT if it's NULL.
940
941 2003-11-29  Hrvoje Niksic  <hniksic@xemacs.org>
942
943         * http.c (gethttp): Initialize SSL only the first time when SSL
944         URL is downloaded.
945
946 2003-11-29  Hrvoje Niksic  <hniksic@xemacs.org>
947
948         * cookies.c (cookie_header): Only generate the contents of the
949         header, not the leading "Cookie: " or the trailing "\r\n".
950
951         * http.c (gethttp): When adding headers specified with `--header',
952         allow them to override the headers generated by Wget.
953
954         * init.c (cmd_spec_header): Made opt.user_headers a vector.
955
956         * http.c (request_new): New function.  Returns a request structure
957         which can be modified in various ways, most notably by adding HTTP
958         headers to the request.
959         (request_set_header): New function for adding the header to the
960         request.  If the header is already available, it gets replaced.
961         (request_send): Construct and send the request.
962         (gethttp): Use the request_* functions to generate the request.
963
964 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
965
966         * http.c (gethttp): Don't include the Proxy-Authorization header
967         in the request tunneled through proxy.
968
969 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
970
971         * http.c (gethttp): Use the CONNECT handle to establish SSL
972         passthrough through non-SSL proxies.
973
974 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
975
976         * init.c: Don't #include netinet/Winsock stuff.
977
978 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
979
980         * http.c: Deleted the old functions header_process,
981         header_extract_number, header_exists, header_strdup,
982         http_process_range, http_process_none, http_process_type, and
983         http_process_connection.
984
985         * http.c (response_new): New function.
986         (response_header_bounds): Ditto.
987         (response_header_copy): Ditto.
988         (response_header_strdup): Ditto.
989         (response_status): Ditto.
990         (gethttp): Use the new response_* functions to parse the response.
991         Support HTTP/0.9 responses.
992
993 2003-11-27  Hrvoje Niksic  <hniksic@xemacs.org>
994
995         * progress.c (create_image): Don't calculate ETA if nothing has
996         been downloaded yet, because it causes division by zero.
997
998 2003-11-27  Hrvoje Niksic  <hniksic@xemacs.org>
999
1000         * connect.c (bind_local): Rename sa_len to addrlen because IRIX
1001         headers define sa_len as a macro.
1002
1003 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
1004
1005         * html-parse.c (convert_and_copy): Remove embedded newlines when
1006         AP_TRIM_BLANKS is specified.
1007
1008 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
1009
1010         * ftp.c: Set con->csock to -1 where rbuf_uninitialize was
1011         previously used.
1012
1013 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
1014
1015         * Makefile.in (http$o): Added the trailing backslash that was
1016         missing.
1017
1018 2003-11-21  Hrvoje Niksic  <hniksic@xemacs.org>
1019
1020         * headers.c: Removed.  The file is no longer relevant, now that no
1021         special handling of headers is done by the rbuf code.  Moved
1022         portions to http.c.
1023
1024 2003-11-21  Hrvoje Niksic  <hniksic@xemacs.org>
1025
1026         * rbuf.c: Removed.
1027
1028         * ftp-basic.c (ftp_response): Use fd_read_line.  No longer use
1029         struct rbuf.  Updated all callers.
1030
1031         * http.c (gethttp): Use fd_read_head to read all the headers in
1032         one go.
1033         (next_header): New function.
1034
1035         * retr.c (fd_read_line): New function: reads a line from FD,
1036         leaving the rest of the data unread.
1037         (fd_read_head): New function.
1038
1039         * connect.c (fd_peek): New function, implements peeking.
1040         (poll_internal): New function.
1041         (fd_read): Use it.
1042         (fd_write): Ditto.
1043         (fd_peek): Ditto.
1044         (fd_register_transport): Allow registering a "peeker" callback.
1045
1046 2003-11-20  Hrvoje Niksic  <hniksic@xemacs.org>
1047
1048         * connect.c: Renamed xread/xwrite/xclose to
1049         fd_read/fd_write/fd_close.  The "x" prefix is not appropriate
1050         because the semantics have diverged from read/write/close too
1051         significantly.  Updated all callers.
1052
1053 2003-11-20  Hrvoje Niksic  <hniksic@xemacs.org>
1054
1055         * connect.c (sock_write): It's not necessary to initialize RES.
1056
1057 2003-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
1058
1059         * main.c (main): Don't reference opt.ipv4_only and opt.ipv6_only
1060         if IPv6 is disabled.
1061
1062 2003-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
1063
1064         * connect.c (socket_has_inet6): Only compile it if IPv6 is enabled
1065         and AI_ADDRCONFIG is missing.
1066
1067 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
1068
1069         * gen_sslfunc.c (ssl_init_prng): Warn the user when using a weak
1070         random seed.
1071
1072 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
1073
1074         * host.c (address_list_contains): Renamed address_list_find to
1075         address_list_contains because its result is boolean.
1076
1077 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
1078
1079         * connect.c (select_fd): Return 1 if select is not available.
1080
1081 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
1082
1083         * connect.c (connect_to_host): Don't reference address list after
1084         releasing it.
1085
1086 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
1087
1088         * main.c (print_help): Fix alignment of FTP options output.
1089
1090 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
1091
1092         * host.c (lookup_host): Check for the ability to create IPv6
1093         sockets here.
1094
1095         * init.c (defaults): Don't auto-set --inet4-only on IPv6-less
1096         systems.
1097
1098 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
1099
1100         * main.c (print_help): Fix typo in `-O' help message.  Fix docs of
1101         -Y/--proxy.  Fix docs of `--cookies' and `--glob'.  Improve docs
1102         of --convert-links.  Fix docs of SSL options.
1103
1104 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
1105
1106         * ftp-basic.c: Don't include <arpa/inet.h> and others because
1107         they're no longer needed.
1108
1109 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
1110
1111         * main.c (main): Don't allow setting of both opt.ipv4_only and
1112         opt.ipv6_only.
1113
1114         * init.c (defaults): Mark opt.ipv4_only specially when set
1115         automatically.
1116
1117 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
1118
1119         * host.c (lookup_host): Use AI_ADDRCONFIG only if the family is
1120         unspecified.  This ensures that specifying `--no-inet4' on systems
1121         where IPv6 resolves, but doesn't work behaves the same regardless
1122         of the availability of AI_ADDRCONFIG.
1123
1124 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
1125
1126         * host.c: Don't refer to the now-removed function
1127         forget_host_lookup in the documentation of lookup_host.
1128
1129 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
1130
1131         * http.c (persistent_available_p): Correctly specify the endpoint
1132         argument to socket_ip_address.
1133         (gethttp): When printing the "reusing connection to..." message,
1134         specify the host name of the reused connection, not the current
1135         host name.  That makes more sense because it provides a useful
1136         piece of information -- we know to which host we're supposed to
1137         connect anyway!
1138
1139 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
1140
1141         * init.c: Make sure the options are in alphabetic order!
1142
1143         * host.c (lookup_host): Merge lookup_host_passive and lookup_host
1144         after all -- having both would result in some code duplication.
1145         (lookup_host): Set hints.ai_family to AF_INET if ipv4_only is
1146         requested.  Likewise, set it to AF_INET6 for ipv6_only.  Specify
1147         AI_ADDRCONFIG where available.
1148         (lookup_host): New flag LH_REFRESH that specifies that a cached
1149         entry for HOST should be refreshed.
1150         (cache_query): New function.
1151         (cache_store): Ditto.
1152         (cache_remove): Ditto.
1153         (forget_host_lookup): No longer necessary, replaced with static
1154         function cache_remove.
1155
1156 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
1157
1158         * main.c: Enable -4 and -6 only if IPv6 is enabled.
1159
1160 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
1161
1162         * connect.c (register_transport): Renamed from register_extended.
1163         Explain the intended usage.
1164
1165 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
1166
1167         * url.c (uri_merge): Merging "foo" and "bar" should result in
1168         "bar", not in "foo/bar".
1169         (path_simplify): Don't remove empty path elements; don't
1170         special-case leading slash.
1171         (path_simplify): Don't swallow ".."'s at the beginning of string.
1172         E.g. simplify "foo/../../bar" as "../bar", not as "bar".
1173         (append_uri_pathel): Defang ".." path element upon encountering
1174         it.
1175
1176 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
1177
1178         * http.c (persistent_available_p): Don't attempt to talk to two
1179         different SSL sites over the same secure connection.
1180
1181 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
1182
1183         * http.c (gethttp): Ditto.
1184
1185         * ftp.c (getftp): Use retryable_socket_connect_error instead of
1186         CONNECT_ERROR.
1187
1188         * wget.h (CONNECT_ERROR): Removed.
1189
1190         * connect.c (retryable_socket_connect_error): New function instead
1191         of unsupported_socket_family_error.
1192
1193 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
1194
1195         * wget.h (CONNECT_ERROR): Use it.
1196
1197         * connect.c (unsupported_socket_family_error): New function.
1198
1199 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
1200
1201         * connect.c (bind_local): Renamed bindport to bind_local; return
1202         the socket directly.  Updated callers.
1203         (accept_connection): Renamed acceptport to accept_connection;
1204         return the created socket directly.  Updated callers.
1205
1206 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
1207
1208         * init.c (defaults): Turn on opt.ipv4_only if we're compiling with
1209         IPv6, and AI_ADDRINFO is not available, and AF_INET6 sockets can't
1210         be created.
1211
1212 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
1213
1214         * host.c (lookup_host): Document the fact that the addresses are
1215         returned in order.
1216
1217 2003-11-12  Hrvoje Niksic  <hniksic@xemacs.org>
1218
1219         * utils.c: Use limits.h only where available.
1220
1221         * hash.c: Use INVALID_PTR and INVALID_PTR_BYTE.  Include limits.h.
1222
1223 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
1224
1225         * main.c: Added options --inet4-only and --inet6-only.
1226
1227 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
1228
1229         * host.c (host_errstr): Use the more standard message "Unknown
1230         host".
1231
1232 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
1233
1234         * connect.c (connect_to_host): Use that flag to decide whether to
1235         re-resolve the host name.
1236
1237         * host.c (struct address_list): Added a flag that maintains
1238         whether the connection worked at some point.
1239
1240 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
1241
1242         * host.c (lookup_host): Special-case the numeric addresses only in
1243         the non-IPv6 case.
1244
1245 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
1246
1247         * connect.c (resolve_bind_address): Call lookup_host_passive.
1248         Make sure that opt.bind_address is resolved only once.
1249
1250         * host.c (lookup_host_passive): New function, handles "passive"
1251         lookups.
1252         (lookup_host): Remove the passive flags.  Remove the
1253         family-related flags -- use ip_default_family instead.
1254
1255 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
1256
1257         * html-url.c: Get URLs from <object data="...">.
1258
1259 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
1260
1261         * main.c (option_data): Specify the command to use for --mirror.
1262
1263 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1264
1265         * cookies.c (cookie_handle_set_cookie): Specify exact match for
1266         unspecified domains.
1267
1268 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1269
1270         * main.c (main): Removed one-letter options `-C', `-g', `-G', and
1271         `-s'.
1272
1273 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1274
1275         * main.c (main): Add --dont-remove-listing for backward
1276         compatibility with previous versions.
1277         (print_help): Fix typo, spotted by Dennis Smit.
1278
1279 2003-11-08  Gisle Vanem  <giva@bgnett.no>
1280
1281         * ftp-basic.c: Support Windows-2000 ftp servers. Win-2000 *is*
1282         Win-NT 5.0 so calling it ST_WINNT is okay I guess.
1283
1284 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1285
1286         * progress.c (update_speed_ring): Clear the speed ring when the
1287         download stalls.
1288
1289         * retr.c (get_contents): Specify 0.95s read timeout, so that the
1290         progress gauge can be updated even when data arrives very slowly
1291         or stalls.
1292
1293 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1294
1295         * utils.c (wtimer_allocate): Bless the use of wtimer_read on a
1296         timer that has merely been allocated because get_contents() does
1297         that.
1298         (wtimer_update): Abort if the timer is not initialized.
1299
1300 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1301
1302         * retr.c (get_contents): Pass the timer to limit_bandwidth().
1303
1304         * utils.c (wtimer_update): New function instead of wget_elapsed;
1305         just update the timer, but don't return anything.
1306         (wtimer_read): Read and return the last known value of the timer.
1307
1308 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1309
1310         * http.c (persistent_available_p): Instead of matching all the
1311         addresses of HOST and last host, determine the peer's IP address
1312         with socket_ip_address and see if that address is one of those
1313         HOST resolves to.
1314
1315         * host.c (address_list_match_all): Removed.
1316         (address_list_find): New function, finds an IP address in the
1317         address list.
1318
1319         * ftp.c (ftp_do_pasv): Get the peer's address here, and pass it to
1320         ftp_epsv so it doesn't need to call getpeername.
1321
1322         * ftp-basic.c (ftp_port): Use socket_ip_address instead of
1323         getpeername.
1324         (ftp_lprt): Ditto.
1325
1326         * connect.c (socket_ip_address): Replaces conaddr, generalized to
1327         either get peer's or local address.
1328         (sockaddr_get_data): Made local to this file.
1329
1330 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1331
1332         * hash.c (HASH_POSITION): Explicitly accept the hash function.
1333         (grow_hash_table): Extract ht->hash_function outside the loop.
1334         (hash_table_remove): Ditto.
1335         (hash_table_clear): Fill entries with 0xff to clear them.
1336         (hash_table_remove): Mark entries as deleted with the correct
1337         marker.
1338
1339 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1340
1341         * http.c (persistent_available_p): No reason for the host lookup
1342         to be silent -- it's a lookup like any other.
1343
1344 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1345
1346         * connect.c (register_extended): Check that fd >= 0.
1347
1348 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
1349
1350         * connect.c (LAZY_RETRIEVE_INFO): Set LAST_INFO.
1351
1352 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
1353
1354         * hash.c (NON_EMPTY): Use the all-bit-set value as the marker that
1355         the field is empty.  This allows NULL pointer and 0 value to be
1356         used as keys, which is necessary for the connect.c code to work
1357         when fd==0.
1358         (hash_table_new): Fill mappings with 0xff.
1359         (grow_hash_table): Ditto.
1360
1361 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
1362
1363         * url.c (url_parse): Allow empty ports.
1364
1365 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
1366
1367         * main.c (print_help): Break the help string into multiple chunks.
1368         (cmdline_option): New option handler OPT_FUNCALL.  Generalized
1369         HANDLE_CMD to generic DATA.
1370         (option_data): Use the new OPT_FUNCALL feature.
1371
1372 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
1373
1374         * log.h: Declare log_init, log_close, and
1375         log_request_redirect_output here.
1376
1377 2003-11-05  Dennis Smit  <ds@nerds-incorporated.org>
1378
1379         * main.c: (main): added --preserve-permissions option.
1380
1381         * ftp.c (ftp_retrieve_list): added support for
1382         --preserve-permissions option.
1383
1384         * init.c: added support for --preserve-permission option.
1385
1386         * option.h: added support for --preserve-permission option.
1387
1388 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
1389
1390         * main.c (init_switches): New function.  Convert option_data to
1391         long_options and short_options, which can be fed to getopt_long.
1392         (main): Execute command-line options by consulting option_data.
1393
1394 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
1395
1396         * gen_sslfunc.c (ssl_read): Implement a more correct check for
1397         EINTR.
1398         (ssl_write): Ditto.
1399         (init_ssl): Use a global SSL context.
1400
1401 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
1402
1403         * connect.c (xclose): Free INFO even if it doesn't provide a
1404         closer.
1405
1406 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
1407
1408         * connect.c: Updated all callers of
1409         iread/ssl_iread/iwrite/ssl_iwrite to use xread and xwrite instead.
1410
1411         * rbuf.h (struct rbuf): Removed the SSL member because SSL is
1412         handled automatically by xread.
1413
1414         * hash.c (ptrhash): Made private.
1415         (ptrcmp): Ditto.
1416         (inthash): Removed.
1417
1418         * connect.c (select_fd): Don't set errno, leave it to the caller.
1419
1420         * gen_sslfunc.c (connect_ssl): Use register_extended to register
1421         SSL callbacks for communication with SSL-enabled endpoints.
1422         (ssl_read): New function.
1423         (ssl_write): Ditto.
1424         (ssl_poll): Ditto.
1425         (ssl_close): Ditto.
1426
1427         * connect.c (register_extended): New function -- register
1428         callbacks for basic socket operations.
1429         (xread): Ditto.
1430         (xwrite): Ditto.
1431         (xclose): Ditto.
1432         (sock_read): New function, default implementation for reading.
1433         (sock_write): Ditto for writing.
1434         (sock_poll): Ditto for polling.
1435         (sock_close): Ditto for closing.
1436
1437 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
1438
1439         * connect.c (bindport): Fix compilation under pre-C99 compilers.
1440
1441 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
1442
1443         * connect.c (connect_to_ip): More compact error checking.
1444         (bindport): Don't treat failed setsockopt as a fatal error.
1445
1446 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
1447
1448         * connect.c (resolve_bind_address): Use a more accurate error
1449         message -- we're not binding to ANY, we're disabling bind
1450         altogether.
1451
1452 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
1453
1454         * cookies.c (save_cookies_mapper): Respect the setting of
1455         keep-session-cookies.
1456         (cookie_jar_load): Import session cookies.
1457         Based on code submitted by Nicolas Schodet.
1458
1459         * utils.c (datetime_str): Use information in TM when it's
1460         non-NULL.
1461
1462         * main.c (main): New option `--keep-session-cookies'.
1463
1464 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
1465
1466         * Makefile.in (realclean): Delete config.h.in.
1467
1468 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
1469
1470         * config-post.h: New file, included from now autogenerated
1471         config.h.in.
1472
1473 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
1474
1475         * progress.c (progress_handle_sigwinch): Don't call
1476         determine_screen_width() from the signal handler.  Instead, just
1477         set a volatile variable.
1478         (bar_create): Check whether SIGWINCH was received.
1479         (bar_update): Ditto.
1480
1481         * sysdep.h: Define SYSTEM_FNMATCH only if HAVE_FNMATCH_H is true.
1482
1483 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
1484
1485         * utils.c (xsleep): New function.  Uses nanosleep where available,
1486         resuming sleeps interrupted by signals.  Updated callers of sleep
1487         and usleep to use xsleep.
1488
1489 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
1490
1491         * ftp-basic.c (ftp_login): Remove shadowing (and bogus)
1492         declaration of SEED.
1493
1494 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
1495
1496         * log.c (logvprintf): Documented better.  Renamed to
1497         log_vprintf_internal to avoid confusion with the public API
1498         functions logprintf and logputs.
1499
1500 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
1501
1502         * wget.h (N_): Don't parenthesize argument.
1503
1504 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
1505
1506         * host.h (ADDRESS_IPV4_DATA): Don't take the address of in.s_addr
1507         because that doesn't work on machines that define it as bitfield.
1508
1509 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
1510
1511         * connect.c (select_fd): Generalize the third argument into WAIT,
1512         so that the caller can request waiting for both read and write.
1513         Updated callers.
1514
1515 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
1516
1517         * html-url.c (cleanup_html_url): Destroy the hash tables, don't
1518         just call free on them.
1519         (init_interesting): Use hash_table_put instead of string_set_add
1520         because we don't need the strdup that the latter function
1521         performs.
1522
1523         * init.c (cleanup): Don't pass NULL to cookie_jar_delete.
1524
1525         * xmalloc.c (xfree_real): Abort when passed a NULL pointer.
1526         (xfree_debug): Print at the file and line of the offending call to
1527         free.
1528
1529 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
1530
1531         * wget.h: Retired the `boolean' type.  Moved the DEFAULT_LOGFILE
1532         define to log.h.  Moved the INFINITE_RECURSION define to recur.h.
1533
1534         * xmalloc.h: Renamed FREE_MAYBE to xfree_null and moved the
1535         definition from wget.h to xmalloc.h.
1536
1537 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
1538
1539         * html-parse.c (decode_entity): New function; split the decoding
1540         of entities here.
1541         (convert_and_copy): Use it to decode entities.
1542         (decode_entity): Handle the &apos entity.
1543         (decode_entity): Don't decode Latin 1 numeric entities.  Don't
1544         decode &#0.
1545
1546 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
1547
1548         * ftp-opie.c (calculate_skey_response): Use uint32_t instead of
1549         `unsigned long' for the cheksum array.  Document the function.
1550
1551 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
1552
1553         * connect.c (acceptport): Don't call select_fd when timeout is not
1554         requested.
1555
1556 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
1557
1558         * host.c: Removed the ip_default_family global variable.
1559
1560         * host.c (lookup_host): Document the function.  Fixed declaration
1561         of VEC.
1562
1563 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
1564
1565         * various: Use new macros xnew, xnew0, xnew_array, and xnew0_array
1566         in various places.
1567
1568 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
1569
1570         * wget.h: Move declarations of malloc and logging code to
1571         xmalloc.h and log.h respectively to unclutter this file.
1572         (STRDUP_ALLOCA): Made it side-effect free.
1573
1574         * xmalloc.h: New files.  Define macros xnew, xnew0, xnew_array,
1575         and xnew0_array.
1576
1577         * xmalloc.c: New file.  Move the xmalloc routines here.
1578
1579 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
1580
1581         * connect.c (sockaddr_set_data): Remove the broken code that
1582         checked for NULL address.
1583
1584 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
1585
1586         * host.c (address_list_from_single): Removed.
1587         (address_list_from_ipv4_addresses): Renamed from
1588         address_list_from_vector.
1589
1590 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
1591
1592         * sysdep.h (CLOSE): Don't call close on file descriptors less than
1593         0, i.e. on uncreated sockets.
1594
1595         * connect.c (resolve_bind_address): Work on struct sockaddr
1596         directly.
1597         (connect_to_host): Replacement for connect_to_many.  Resolve HOST
1598         and connect to any of its addresses.  If we can't connect and the
1599         host name lookup was cached, try to resolve it again.  This should
1600         fix problems with hosts behind dynamic DNS.  Updated all callers.
1601         (connect_to_ip): Replacement for connect_to_one.  Removed SILENT;
1602         added the argument PRINT instead.  Updated all callers.
1603         (set_connection_host_name): Removed.
1604
1605         * host.c (address_list_address_at): New function instead of
1606         address_list_copy_one. It returns a pointer to ip_address *, so
1607         it's not necessary to copy the data.
1608         (address_list_cached_p): New function.
1609         (forget_host_lookup): Ditto.
1610
1611         * connect.c: Got rid of the MSOCK global variable.  Made bindport
1612         return the local socket it creates.  Added a new argument to
1613         acceptport, the socket to call accept on.  Updated callers.
1614         (closeport): Removed.
1615
1616         * connect.c: Moved the sockaddr code from host.c to this file,
1617         because most of that stuff is used for connecting, and has nothing
1618         to do with host names anyway.
1619         (sockaddr_set_data, sockaddr_get_data): New functions, replace the
1620         old sockaddr_set_address, sockaddr_set_port, sockaddr_get_address,
1621         and sockaddr_get_port.
1622
1623 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
1624
1625         * sysdep.h: Use `S >= 8' rather than `S == 8' when looking for
1626         large integers.
1627
1628 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
1629
1630         * url.c (append_uri_pathel): New argument ESCAPED_P that says
1631         whether [B, E) is to be treated as URL-escaped or not.  If
1632         ESCAPED_P is false, don't unescape the region.
1633         (url_file_name): u->file is not URL-escaped.
1634
1635 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
1636
1637         * retr.c (retrieve_from_file): Use retrieve_tree for
1638         page-requisites.
1639
1640         * main.c (main): Don't define opt.recursive when -p is used.
1641         Instead, make sure that recursion is used for HTTP in that case.
1642
1643 2003-10-29  Hrvoje Niksic  <hniksic@xemacs.org>
1644
1645         * host.h: Defined accessors for elements of ip_address.  Updated
1646         all callers.
1647         (address_list_match_all): Use memcmp in the non-IPv6 case.
1648
1649         * wget.h (CONNECT_ERROR): Don't retry connecting if connect()
1650         returned EAFNOSUPPORT.
1651
1652 2003-10-27  Mauro Tortonesi <mauro@deepspace6.net>
1653
1654         * connect.h: changed bindport prototype and added the related
1655         BIND_ON_IPV4_ONLY and BIND_ON_IPV6_ONLY flags.
1656
1657         * connect.c: changed bindport and resolve_bind_address to allow
1658         protocol-version specific DNS resolution. modified conaddr,
1659         acceptport and connect_to_one to make use of struct
1660         sockaddr_storage and of the new ip_address structure.
1661
1662         * ftp-basic.c: added LPRT/LPSV (RFC1639) support, refactored
1663         PORT/PASV (RFC959) and EPRT/EPSV (RFC2428) support code.
1664
1665         * ftp.c: added the ftp_do_port and ftp_do_pasv functions to
1666         handle FTP over IPv6.
1667
1668         * ftp.h: changed prototype of ftp_epsv and added prototypes for
1669         ftp_lpsv, ftp_lprt and ftp_eprt.
1670
1671         * host.c: renamed the
1672         wget_sockaddr_set_address and wget_sockaddr_get_addr, and
1673         wget_sockaddr_{s,g}et_port couples to sockaddr_{s,g}et_address and
1674         sockaddr_{g,s}et_port respectively.  changed
1675         address_list_match_all, address_list_from_addrinfo sockaddr_len,
1676         pretty_print_address, lookup_host, sockaddr_{s,g}et_address and
1677         sockaddr_{g,s}et_port to make use of struct sockaddr_storage and
1678         of the new ip_address structure.  removed map_ipv4_to_ip and
1679         map_ip_to_ipv4.
1680
1681         * host.h: redefined structure ip_address and removed structure
1682         wget_sockaddr.
1683
1684 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
1685
1686         * sysdep.h: Include inttypes.h where available.
1687
1688         * host.c: Switch from u_int32_t to uint32_t.
1689
1690 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
1691
1692         * netrc.c (parse_netrc): Reset the QUOTE flag after the closing
1693         quote.
1694
1695 2003-10-25  Hrvoje Niksic  <hniksic@xemacs.org>
1696
1697         * url.c (is_valid_ipv6_address): Reformat to GNU coding style.
1698         Use enums for NS_IN* constants.  Use ISXDIGIT.
1699
1700         * convert.c (construct_relative): Document better how the function
1701         works.
1702
1703 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
1704
1705         * config.h.in: Deploy preprocessor magic to avoid Ultrix's
1706         <netdb.h> include <bitypes.h> which defines its own u_int32_t.
1707         Reported by Bernhard Simon.
1708
1709 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
1710
1711         * version.c: Bump version.
1712
1713 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
1714
1715         * url.c: Ditto.
1716
1717         * html-parse.c (advance_declaration): Don't use trailing comma in
1718         enum because older compilers don't support it.
1719
1720         * utils.c: Don't redefine HAVE_SIGSETJMP.
1721
1722 2003-10-16  Hrvoje Niksic  <hniksic@xemacs.org>
1723
1724         * convert.c (construct_relative): Don't handle absolute files
1725         specially -- for example, -P/tmp/foo shouldn't imply that
1726         converted files must refer to "/tmp/foo/..."!
1727
1728 2003-10-15  Hrvoje Niksic  <hniksic@xemacs.org>
1729
1730         * http.c: Consider status 307 a valid redirect.
1731
1732 2003-10-15  Philip Stadermann  <philip.stadermann@credativ.de>
1733
1734         * ftp.c (ftp_retrieve_glob): Correctly loop through the list whose
1735         elements might have been deleted.
1736
1737 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
1738
1739         * html-url.c (tag_handle_meta): Set the Refresh link to expect
1740         HTML.
1741         (append_one_url): Renamed to append_url.
1742
1743 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
1744
1745         * sysdep.h: Only define u_int32_t.
1746
1747 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
1748
1749         * utils.c (large_int_to_string): Use snprintf() to print the
1750         number.  This will work even on systems where libc doesn't
1751         understand %lld, but the compiler does, because it will use our
1752         snprintf replacement.
1753
1754         * init.c (parse_bytes_helper): New function.
1755         (cmd_bytes): Use it to parse bytes, but cast the result to long.
1756         (cmd_bytes_large): Ditto, but store the result to LARGE_INT.  Used
1757         for --quota so that --quota=10G works even on machines without
1758         long long.
1759
1760         * options.h (struct options): Declare quota as LARGE_INT.
1761
1762         * retr.c (downloaded_exceeds_quota): Removed.
1763         (downloaded_increase): Ditto.
1764         (total_downloaded_bytes): New variable, replaces opt.downloaded,
1765         which was the wrong place for it anyway.  Updated callers of
1766         downloaded_exceeds_quota and downloaded_increase to check this
1767         variable directly.
1768
1769         * sysdep.h: Get rid of VERY_LONG_TYPE.  Use LARGE_INT for the same
1770         purpose, defined as `long', `long long' or `double', depending on
1771         size of long and whether long long is available.
1772
1773 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
1774
1775         * sysdep.h: Also check size of short for int32_t.
1776
1777 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
1778
1779         * host.c (lookup_host): Use u_int32_t to store the result of
1780         inet_addr().  That removes the need for offset fiddling, caring
1781         about endian-ness, etc.
1782
1783         * sysdep.h: Define int32_t and u_int32_t if not available.
1784
1785 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
1786
1787         * ftp-basic.c (ftp_epsv): Use socklen_t * as the third argument to
1788         getpeername.
1789
1790         * config.h.in: Define socklen_t stub.
1791
1792         * host.c (sockaddr_len): Return socklen_t.
1793
1794         * connect.c (conaddr): Use socklen_t as the third argument to
1795         accept, getsockname, and connect.
1796
1797 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
1798
1799         * recur.c (retrieve_tree): Don't descend into documents that are
1800         not expected to contain HTML, regardless of their content-type.
1801
1802         * html-url.c (tag_url_attributes): Record which attributes are
1803         supposed to yield HTML links that can be followed.
1804         (tag_find_urls): Propagate that information to the caller through
1805         struct urlpos.
1806
1807 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
1808
1809         * hash.c (find_mapping): Return the next available mapping when
1810         the key is not found, not NULL.
1811         (hash_table_put): Use find_mapping to find the storage for the new
1812         data.
1813         (hash_table_put): Grow the table before exceeding maximum
1814         fullness, not afterwards.
1815
1816 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
1817
1818         * hash.c (hash_table_new): Slightly change the meaning of the
1819         first parameter.  Instead of being the minimum initial size, it is
1820         now the minimum number of items that the hash table can take
1821         without needing to resize.
1822
1823 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
1824
1825         * html-url.c (init_interesting): Initialize interesting_tags and
1826         interesting_attributes as hash tables.  This simplifies the code
1827         immensely because hash tables handle allocation and remove
1828         duplicates automatically.
1829         (find_tag): Removed.
1830         (collect_tags_mapper): Instead of calling find_tag, simply get the
1831         entry from interesting_tags hash table, which is both simpler and
1832         faster.
1833
1834 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
1835
1836         * hash.c (hash_table_get): Declare hash-table argument as const.
1837         (find_mapping): Ditto.
1838         (hash_table_get_pair): Ditto.
1839         (hash_table_contains): Ditto.
1840         (hash_table_count): Ditto.
1841
1842 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1843
1844         * html-url.c (get_urls_html): Parse the appropriate flags to
1845         html-parse.c.
1846
1847         * html-parse.c (map_html_tags): Accept FLAGS from the caller
1848         instead of examining OPT.
1849
1850 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1851
1852         * html-url.c (find_tag): Switch to binary search.
1853
1854 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1855
1856         * main.c (print_help): Fix typo; stured -> stored.
1857
1858 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1859
1860         * getopt.c: Add definitions of getopt_long and getopt_long_only.
1861
1862 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1863
1864         * config.h.in: Renamed DEBUG to ENABLE_DEBUG.  ENABLE_DEBUG is, I
1865         think, a better name, because it implies that debugging output is
1866         merely possible, not "on by default", as might be construed from
1867         just DEBUG.
1868
1869 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1870
1871         * ftp.c (has_insecure_name_p): Define it here.
1872
1873         * utils.c (has_wildcards_p): Define it here.
1874
1875         * sysdep.h: Declare fnmatch-related macros here, if not using
1876         system fnmatch().  Update .c files to not declare fnmatch.h
1877         directly.
1878
1879         * cmpt.c (fnmatch): Moved here.  Use it only under non-GNU libc.
1880
1881 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1882
1883         * getopt.c: Newer version, imported from Free libit.
1884
1885 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
1886
1887         * cookies.c (struct cookie): Remove unused backpointer to cookie
1888         jar.
1889
1890 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
1891
1892         * cmpt.c (memmove): Comment out, since it's no longer used.
1893
1894         * cookies.c (cookie_jar_generate_cookie_header): Allocate room for
1895         chains in one pass.
1896         (find_chains_of_host): Assume that the caller has allocated DEST
1897         to be sufficiently large to take all the data.
1898         (eliminate_dups): Run through the array and eliminate dups on the
1899         fly instead of using memmove.
1900         (cookie_jar_process_set_cookie): Free cookie->domain before
1901         re-setting it.
1902
1903 2003-10-05  Gisle Vanem  <giva@bgnett.no>
1904
1905         * mswindows.c (set_sleep_mode): Fix type of
1906         _SetThreadExecutionState.
1907
1908 2003-10-05  Hrvoje Niksic  <hniksic@xemacs.org>
1909
1910         * utils.c (file_size): Return -1 if fopen() returns NULL.  Prior
1911         to this patch, wget --post-file=nosuchfile dumped core.
1912
1913 2003-10-04  Gisle Vanem  <giva@bgnett.no>
1914
1915         * mswindows.c (run_with_timeout): Use WaitForSingleObject to wait
1916         for thread termination.
1917
1918 2003-10-04  Hrvoje Niksic  <hniksic@xemacs.org>
1919
1920         * log.c: Use `...' in function definitions; ansi2knr will convert
1921         them to va_dcl.  This allowed removal of the ugly VA_START_1 and
1922         VA_START_2 macros.
1923
1924 2003-10-03  Gisle Vanem  <giva@bgnett.no>
1925
1926         * connect.c: And don't include them here.
1927
1928         * mswindows.h: Include winsock headers here.
1929
1930 2003-10-03  Hrvoje Niksic  <hniksic@xemacs.org>
1931
1932         * html-parse.c (convert_and_copy): Move variable declarations
1933         before statements.
1934
1935 2003-10-02  Gisle Vanem  <giva@bgnett.no>
1936         
1937         * mswindows.c (run_with_timeout): For Windows: Run the 'fun' in a
1938         thread via a helper function. Continually query the thread's
1939         exit-code until finished or timed out.
1940
1941 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
1942
1943         * wget.h (XMALLOC_ARRAY): Removed.
1944         (ALLOCA_ARRAY): Ditto.
1945
1946         * html-parse.c: Renamed alloca_p to resized.
1947         (GROW_ARRAY): Renamed DO_REALLOC_FROM_ALLOCA to GROW_ARRAY and
1948         returned it to html-parse.c, since nothing else was using it.
1949
1950 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
1951
1952         * retr.c (retrieve_url): Initialize DUMMY storage for DT.  Caught
1953         by valgrind.
1954
1955 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
1956
1957         * html-parse.c (convert_and_copy): Handle numeric entities in
1958         hexadecimal, &#xHH.
1959         (convert_and_copy): Copy the contents directly to the pool without
1960         a stack-allocated intermediary.
1961
1962 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
1963
1964         * utils.c (alarm_set): New function; use either setitimer or alarm
1965         to set up the alarm.
1966         (alarm_cancel): New function; cancel the alarm set up by
1967         alarm_set.
1968         (run_with_timeout): Use them.
1969
1970 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
1971
1972         * url.c (url_parse): Don't leak memory when a reencoded URL turns
1973         out to be invalid.
1974
1975         * url.c (parse_errors): Mark error messages for translation.
1976         (url_error): Translate error messages returned to the caller.
1977
1978 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
1979
1980         * ftp.c (ftp_loop_internal): Initialize TMRATE to NULL to shut up
1981         the compiler.
1982
1983 2003-09-26  Gisle Vanem  <giva@bgnett.no>
1984
1985         * src/mswindows.c: Added ws_percenttitle() showing progress in the
1986         window titlebar. Called from retr.c. Secured ws_mypath().
1987
1988         * windows/config.h.ms: alloca() prototype not needed.  Removed
1989         "#undef ENABLE_NLS"; should be in Makefile IMHO. Moved
1990         WGET_USE_STDARG from mswindows.h to config.ms.h because of #ifdef
1991         in log.c. (MSVC's vararg.h and stdarg.h are incompatible).
1992
1993 2003-09-29  Aaron Hawley <Aaron.Hawley@uvm.edu>
1994
1995         * ftp.c (getftp): --spider option should now work with FTP
1996         downloads.
1997         (ftp_loop_internal): quiet reports and calculations of downloads
1998         when --spider option set, nor try deleting when --delete-after
1999         also set.
2000         (ftp_loop): --spider will skip HTML-ification of .listing file.
2001
2002 2003-09-26  Gisle Vanem  <giva@bgnett.no>
2003
2004         * mswindows.c (read_registry): Removed.
2005         (set_sleep_mode): New function.
2006         (windows_main_junk): Call it.
2007
2008 2003-09-26  Gisle Vanem  <giva@bgnett.no>
2009
2010         * mswindows.c (read_registry): Fix invocation of registry
2011         functions.
2012
2013         * mswindows.c (read_registry): Condition definitions of sleep and
2014         usleep with not HAVE_SLEEP and HAVE_USLEEP respectively.  Define
2015         HAVE_SLEEP and HAVE_USLEEP under __DMC__.
2016
2017 2003-09-24  Hrvoje Niksic  <hniksic@xemacs.org>
2018
2019         * url.c (url_escape_1): Revert unintentional change to lowercase
2020         xdigit escapes.
2021         (url_escape_dir): Document that this function depends on the
2022         output of url_escape_1.
2023
2024 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
2025
2026         * progress.c (create_image): Print the current ETA if we're done
2027         with the download.
2028         (create_image): Change '-' display char to '+' in the progress bar.
2029
2030         * Makefile.in (clean): Remove .libs.
2031
2032 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
2033
2034         * cookies.c (struct cookie): New flag domain_exact.
2035         (update_cookie_field): Skip leading dot in domain.
2036         (find_matching_chains): Match numeric addresses exactly; don't
2037         needlessly copy HOST to the stack.
2038         (matching_cookie): Added argument HOST.  If cookie->domain_exact
2039         is set, check that HOST is equal to cookie->domain.
2040         (cookie_jar_load): Only use TAB as delimiter.  Document the
2041         meaning of DOMAIN-FLAG.  Skip leading dot in domain.
2042         (cookie_jar_load): Don't ignore DOMAIN-FLAG -- instead, set
2043         domain_exact to true if DOMAIN-FLAG is false.
2044         (save_cookies_mapper): If domain_exact is false, prepend the
2045         domain with dot, like Mozilla does.
2046
2047 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
2048
2049         * progress.c (create_image): Print the initial part of the
2050         download with '-' characters, analogous to how dot progress prints
2051         the initial part with ','.
2052
2053         * hash.c (ptrhash): New function.
2054         (ptrcmp): Ditto.
2055         (hash_table_new): Default to identity hash table.
2056
2057 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
2058
2059         * safe-ctype.h (_sch_test): The cast of BIT to unsigned char was
2060         broken -- _sch_istable bitmasks are 16-bit, not 8-bit!  Cast BIT
2061         to unsigned short instead.
2062
2063 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
2064
2065         * url.c (path_simplify): Instead of calls to memmove, handle "./"
2066         and "../" by advancing pointers.
2067
2068 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
2069
2070         * retr.c (getproxy): Moved from url.c.
2071
2072         * convert.c: Split off link conversion from url.c into separate
2073         file.  Also included the book-keeping stuff from recur.c.
2074
2075 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
2076
2077         * init.c: Improved documentation of functions.
2078         (cmd_boolean): Attempt to make code that tries to avoid calling
2079         strcmp for "speed" a bit more readable.
2080
2081         * init.c (simple_atof): Report error on encountering non-digit,
2082         non-"." character.
2083         (simple_atoi): Replacement for myatoi(), calling interface
2084         compatible with simple_atof.  Updated myatoi's callers.
2085
2086 2003-09-21  Bertrand Demiddelaer  <bert@b3rt.org>
2087
2088         * url.c (path_simplify): Would read two bytes past the end of the
2089         string in the "./" case.
2090
2091 2003-09-21  Matthew J. Mellon  <mellon@tymenet.com>
2092
2093         * http.c (gethttp): Recognize content-type "application/xhtml+xml"
2094         as what Wget considers "text/html".
2095
2096 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
2097
2098         * connect.c (connect_with_timeout): Made timeout type double.
2099
2100         * options.h (struct options): New members read_timeout,
2101         dns_timeout, and connect_timeout.
2102         Use them.
2103
2104 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
2105
2106         * init.c (simple_atof): New function.
2107         (cmd_time): Use it.
2108         (cmd_bytes): Accept things like "1.5k" and such.  Use simple_atof
2109         to parse decimals.
2110
2111         * retr.c (limit_bandwidth): Adjust each sleep by the error of the
2112         previous one.
2113
2114 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
2115
2116         * main.c (main): Use setoptval() for setting the options.  Use
2117         run_command for `-e'.
2118
2119         * init.c (parse_line): Rewritten to return COMIND right away.
2120         Changed linkage to static.
2121         (run_wgetrc): Use the available comind when calling setval, so it
2122         doesn't have to be computed twice.
2123         (setval_internal): New function, runs the command's action without
2124         any error checking.
2125         (setoptval): New function, does what setval used to do, but exits
2126         in case of error.
2127         (run_command): New function.
2128
2129 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
2130
2131         * connect.c (select_fd): Change MAXTIME's type to double.  Handle
2132         its decimal part.
2133
2134         * retr.c (sleep_between_retrievals): In the random-wait case, use
2135         random_float() to wait between 0 and 2*opt.wait seconds.
2136
2137         * utils.c (run_with_timeout): Accept `double' timeouts.  Correctly
2138         handle timeout values in (0, 1) range.
2139         (random_float): New function.
2140
2141         * options.h (struct options): Change the types of wait, waitretry,
2142         and timeout to double.
2143
2144         * init.c (cmd_time): Accept floating point time.
2145
2146 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
2147
2148         * retr.c (get_contents): Cosmetic fixes.
2149
2150 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
2151
2152         * url.c (uri_merge): Get rid of uri_merge_1.
2153         (uri_merge): Merge "foo//", "bar" as "foo//bar", not "foo///bar",
2154         i.e. don't add an extra slash merely because BASE ends with two
2155         slashes.
2156         (parse_credentials): Renamed from parse_uname.  Rewrittern in
2157         standard [beg, end) calling style.
2158         (url_skip_credentials): Renamed from url_skip_uname.  Made static.
2159         (url_skip_credentials): Include # and ; as terminators.  Old code
2160         would mistakenly consider "http://foo.com#hniksic@iskon.hr" to
2161         contain a username.
2162         (url_skip_scheme): Removed because it was unused.
2163         (url_has_scheme): Require "scheme" to be at least one char long.
2164
2165 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
2166
2167         * url.c (url_file_name): Expect NULL dir_prefix.
2168
2169         * init.c (cmd_file): Use a macro to prevent multiple #ifdef
2170         WINDOWS.
2171         (defaults): Set dir_prefix to NULL by default.
2172
2173 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
2174
2175         * safe-ctype.h (_sch_test): Cast BIT to unsigned char, like latest
2176         gcc does.
2177
2178 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
2179
2180         * wget.h (BOUNDED_TO_ALLOCA): Evaluate PLACE only once.
2181         (ARRAY_SIZE): Renamed to countof.  All callers updated.
2182
2183 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
2184
2185         * main.c (main): New option --strict-comments.
2186
2187         * html-parse.c (find_comment_end): New function: simple BM search
2188         for "-->".
2189         (map_html_tags): Use it if looking at a comment and not in strict
2190         comments mode.
2191
2192 2003-09-17  Aurelien Marchand  <artaxerxes@users.sf.net>
2193
2194         * ftp.h: Added OS400 system in enum
2195         * ftp-basic.c: recognize OS400 systems
2196         * ftp.c: don't prepend the CWD if talking to OS400, since it
2197         breaks the change in library
2198
2199 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
2200
2201         * retr.c (get_contents): Pass the correct argument to ssl_iread.
2202
2203 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
2204
2205         * safe-ctype.h: Don't #define ctype.h macros to errors because
2206         that loses when someone #include's ctype.h after safe-ctype.h.
2207
2208 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
2209
2210         * url.c: Undef U, W, C after use.
2211
2212 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
2213
2214         * init.c (cmd_spec_restrict_file_names): Allow the OS setting to
2215         be augmented by ",nocontrol" which means don't escape the control
2216         characters, but otherwise keep OS settings.
2217
2218         * url.c (file_unsafe_char): Deleted.
2219         (append_uri_pathel): Query filechr_table directly.
2220         (filechr_table): Separated Unix, Windows, and control-unsafe
2221         characters.
2222
2223 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
2224
2225         * url.c (url_escape_1): New function.
2226         (url_escape): Use it.
2227         (sync_path): Handle pathological cases where u->file and u->dir
2228         contain really strange characters.
2229         (ENCODE): Deleted.
2230         (REENCODE): Deleted.
2231
2232 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
2233
2234         * url.c (url_file_name): Don't reallocate FNAME if the file
2235         doesn't exist, as is usually the case.
2236
2237         * utils.c (unique_name): New flag allow_passthrough.
2238
2239 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
2240
2241         * utils.c (wtimer_sys_diff): Convert the time difference to signed
2242         __int64, then to double.  This works around MS VC++ 6 which can't
2243         convert unsigned __int64 to double directly.
2244
2245 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
2246
2247         * Makefile.in (clean): Also remove the core.<number> files
2248         produced by recent Linux systems.
2249
2250 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
2251
2252         * http.c (post_file): Don't pad the file if it's not large
2253         enough.  Bail out instead.
2254
2255 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
2256
2257         * retr.c (get_contents): Reduce the buffer size to the amount of
2258         data that may pass through for one second.  This prevents long
2259         sleeps when limiting bandwidth.
2260
2261         * connect.c (connect_to_one): Reduce the socket's RCVBUF when
2262         bandwidth limitation to small values is requested.
2263
2264 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
2265
2266         * progress.c (update_speed_ring): Moved the speed ring update to a
2267         separate function and documented it better.
2268
2269         * progress.c: Use `double' for most timers to support granularity
2270         smaller than 1ms.
2271
2272 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
2273
2274         * wget.h (XDIGIT_TO_XCHAR): Implement as index into a literal
2275         string.
2276         (XDIGIT_TO_xchar): Ditto.
2277
2278 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
2279
2280         * utils.c: Change the type of timer-related functions from long to
2281         double, for better precision.  On machines supporting gettimeofday
2282         the timers now work with granularity of less than one millisecond.
2283
2284 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
2285
2286         * cookies.c (parse_set_cookies): Fixed the parser to handle more
2287         edge conditions.
2288         (test_cookies): New function, contains a test suite for
2289         parse_set_cookies.
2290
2291 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
2292
2293         * url.c (strpbrk_or_eos): Implement as a macro under Gcc.
2294
2295 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
2296
2297         * cookies.c (parse_set_cookies): Allow trailing space in
2298         set-cookies header.  Also, allow any amount of whitespace, not
2299         only one character.  Allow empty set-cookies header without
2300         spewing an error.
2301
2302 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
2303
2304         * url.c (append_uri_pathel): Use opt.restrict_file_names when
2305         calling file_unsafe_char.
2306
2307         * init.c: New command restrict_file_names.
2308
2309         * main.c (main): New option --restrict-file-names[=windows,unix].
2310
2311         * url.c (url_file_name): Renamed from url_filename.
2312         (url_file_name): Add directory and hostdir prefix here, not in
2313         mkstruct.
2314         (append_dir_structure): New function, does part of the work that
2315         used to be in mkstruct.  Iterates over path elements in u->path,
2316         calling append_uri_pathel on each one to append it to the file
2317         name.
2318         (append_uri_pathel): URL-unescape a path element and reencode it
2319         with a different set of rules, more appropriate for handling of
2320         files.
2321         (file_unsafe_char): New function, uses a lookup table to decide
2322         whether a character should be escaped for use in file name.
2323         (append_string): New utility function.
2324         (append_char): Ditto.
2325         (file_unsafe_char): New argument restrict_for_windows, decide
2326         whether Windows file names should be escaped in run-time.
2327
2328         * connect.c: Include <stdlib.h> to get prototype for abort().
2329
2330 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
2331
2332         * utils.c (wtimer_sys_set): Extracted the code that sets the
2333         current time here.
2334         (wtimer_reset): Call it.
2335         (wtimer_sys_diff): Extracted the code that calculates the
2336         difference between two system times here.
2337         (wtimer_elapsed): Call it.
2338         (wtimer_elapsed): Don't return a value smaller than the previous
2339         one, which could previously happen when system time is set back.
2340         Instead, reset start time to current time and note the elapsed
2341         offset for future calculations.  The returned times are now
2342         guaranteed to be monotonically nondecreasing.
2343
2344 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
2345
2346         * host.c (lookup_host): Print the result of the DNS lookup.
2347
2348 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
2349
2350         * init.c (cmd_boolean): Accept yes/no along with on/off.
2351         (cmd_lockable_boolean): Ditto.
2352
2353 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
2354
2355         * init.c: New command dns_cache.
2356
2357         * main.c (main): New option --dns-cache[=off].
2358
2359 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
2360
2361         * config.h.in: Initialize HAVE_GETADDRINFO and ENABLE_IPV6.
2362
2363         * all: Use #ifdef ENABLE_IPV6 instead of the older INET6.  Use
2364         HAVE_GETADDRINFO for getaddrinfo-related stuff.
2365
2366 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
2367
2368         * url.c (url_parse): Return an error if the URL contains a [...]
2369         IPv6 numeric address and we don't support IPv6.
2370
2371 2003-09-05  Hrvoje Niksic  <hniksic@xemacs.org>
2372
2373         * url.c (is_valid_ipv6_address): Modified to not require
2374         zero-terminated strings.
2375         (is_valid_ipv4_address): Ditto.
2376
2377 2003-09-05  Mauro Tortonesi <mauro@deepspace6.net>
2378
2379         src/url.c: added RFC 2732 compliance for URL parsing. The
2380         functions is_*_address valid are a modified version of
2381         glibc 2.3.2 inet_pton's code.
2382
2383 2003-09-03  Ahmon Dancy  <dancy@dancysoft.com>
2384
2385         * main.c init.c options.h: Added --retry-connrefused option so
2386         that Connection Refused failures are treated as non-fatal (when
2387         trying to retrieve from busy servers).
2388
2389         * wget.h: New CONNECT_ERROR macro for encapsulating this
2390         modification.
2391
2392         * ftp.c http.c : Use CONNECT_ERROR macro in places where
2393         ECONNREFUSED was checked.
2394
2395 2003-01-11  Ian Abbott  <abbotti@mev.co.uk>
2396
2397         * ftp.c (ftp_retrieve_glob): Reject insecure filenames as determined
2398         by calling new function has_insecure_name_p.  This is based on a
2399         patch by Red Hat.
2400
2401         * fnmatch.c (has_insecure_name_p): New function: returns non-zero
2402         if filename starts with `/' or contains `../' and is therefore
2403         considered insecure.
2404
2405         * fnmatch.h: Declare has_insecure_name_p().
2406
2407 2002-08-03  Hrvoje Niksic  <hniksic@xemacs.org>
2408
2409         * init.c (cmd_file): Allocate RESULT correctly.
2410
2411 2002-07-24  Hrvoje Niksic  <hniksic@xemacs.org>
2412
2413         * recur.c (retrieve_tree): Check whether downloaded_html_set is
2414         non-NULL before using it.
2415
2416 2002-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2417
2418         * html-parse.c (NAME_CHAR_P): Allow almost any character here.
2419
2420 2002-05-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2421
2422         * progress.c (bar_set_params): Fall back to dot progress if the
2423         terminal type is "emacs".
2424
2425 2002-05-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2426
2427         * log.c: Don't #undef WGET_USE_STDARG.
2428
2429 2002-05-16  Hrvoje Niksic  <hniksic@arsdigita.com>
2430
2431         * hash.c (prime_size): Store the offset of the prime number in the
2432         prime table.  When searching, start with the given offset.
2433         (hash_table_new): Pass the pointer to ht->prime_offset to
2434         prime_size.
2435         (grow_hash_table): Ditto.
2436         (prime_size): Make 13 the first prime to make empty hash tables
2437         slightly smaller.
2438
2439 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
2440
2441         * recur.c (download_child_p): Minor optimization to avoid an
2442         unnecessary additional call to schemes_are_similar_p function.
2443
2444 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
2445
2446         * url.c (schemes_are_similar_p): New function to test enumerated
2447         scheme codes for similarity.
2448
2449         * url.h: Declare it.
2450
2451         * recur.c (download_child_p): Use it to compare schemes.  This
2452         also fixes a bug that allows hosts to be spanned (without the
2453         -H option) when the parent scheme is https and the child's is
2454         http or vice versa.
2455
2456 2002-05-14  Bill Richardson  <bill@riverstonenet.com>
2457
2458         * ftp.c (getftp): Don't ftruncate stdout.
2459
2460         * http.c (gethttp): Don't ftruncate stdout.
2461
2462 2002-05-09  Ian Abbott  <abbotti@mev.co.uk>
2463
2464         * cmpt.c (strptime_internal): Synched with glibc-2.1.3.
2465         (get_number): Ditto.
2466         (get_alt_number): Ditto.
2467         (__isleap): New function-like macro used by strptime.
2468         (day_of_the_week): New function used by strptime.
2469         (day_of_the_year): Ditto.
2470         (__mon_yday): Now shared by mktime and strptime implementations.
2471
2472 2002-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
2473
2474         * cookies.c (check_domain_match): Use match_tail in case
2475         insensitive mode.
2476
2477         * utils.c (match_tail): Allow the caller to specify case
2478         insensitive mode.
2479
2480         * cookies.c (store_cookie): When expiry_time is 0, print it as
2481         undefined, not indefinite.
2482
2483 2002-05-07  Ian Abbott  <abbotti@mev.co.uk>
2484
2485         * cookies.c (cookie_jar_process_set_cookie): Do not store
2486         discarded cookie.
2487
2488 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
2489
2490         * cookies.c (check_domain_match): Allow cookies to be set for
2491         subdomains of unknown top-level domains under some circumstances.
2492
2493 2002-04-21  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
2494
2495         * gen_ssl.c:
2496         - allow checking of server cert
2497         - allow defining client cert type
2498         - allow limit of ssl protocol
2499         - check more return values
2500         - added debug message on break
2501
2502 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
2503
2504         * recur.c (download_child_p): Revert order of items in check
2505         number 6 for clarity.
2506
2507 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2508
2509         * init.c: Ditto.
2510
2511         * main.c: Ditto.
2512
2513         * http.c: Use the new interface.
2514
2515         * cookies.c: Provide an OO-style "cookie jar" interface to enable
2516         separate cookie jars.
2517
2518         * http.c (http_atotm): Declare argument as const.
2519
2520 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2521
2522         * cookies.c (cookie_new): Default to PORT_ANY.
2523         (find_cookie_chain_exact): Only search by DOMAIN.
2524         (find_matching_cookie): Also check that PORT matches.
2525         (store_cookie): Only match the domain.
2526         (set_cookie_header_cb): When a cookie "fakes" a domain, assume it
2527         is valid for that host rather than discarding it completely.
2528         (find_matching_chains): Don't search by PORT.
2529         (matching_cookie): Also match PORT.
2530         (load_cookies): Set the port if specified, otherwise leave it as
2531         ANY.
2532         (save_cookies_mapper): Save the port if specified, otherwise leave
2533         it empty.
2534
2535 2002-04-19  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
2536
2537         * init.c: The option `egdfile' was not in sort order.
2538
2539 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
2540
2541         * ftp.c (getftp): Treat directories that begin with <letter>: as
2542         absolute.
2543         (getftp): Strip trailing slashes from con->id before merging it
2544         with TARGET.
2545
2546 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
2547
2548         * http.c (gethttp): If Content-Type is not given, assume
2549         text/html.
2550
2551 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
2552
2553         * recur.c (download_child_p): Don't ignore rejection of HTML
2554         documents that are themselves leaves of recursion.
2555
2556 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
2557
2558         Makefile.in: Updated several dependencies for object files to take
2559         account of nested include files.
2560
2561 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
2562
2563         Makefile.in: The target `connect$o' (connect.o) now depends on
2564         `utils.h'
2565
2566 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
2567
2568         * host.c (SET_H_ERRNO): New function-like macro to set `h_errno'.
2569         (gethostbyname_with_timeout): Use it.
2570
2571         * utils.c: Don't define `SETJMP()', `run_with_timeout_env' or
2572         `abort_run_with_timeout()' when `USE_SIGNAL_TIMEOUT' is undefined.
2573
2574 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
2575
2576         * host.c (getaddrinfo_with_timeout): New function.
2577         (gethostbyname_with_timeout): Ditto.
2578         (lookup_host): Use them.
2579
2580 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2581
2582         * utils.c (number_to_string): Handle the case when n < -INT_MAX.
2583
2584 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2585
2586         * init.c (comind): Use a marginally faster implementation of
2587         binary search.  To quote Martin Buchholz, "a nanosecond saved is a
2588         nanosecond earned."
2589
2590 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2591
2592         * main.c (print_help): Document `--post-data' and `--post-file'.
2593
2594 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2595
2596         * http.c (gethttp): Ditto.
2597
2598         * retr.c (retrieve_url): Initialize variables to appease the
2599         compiler.
2600
2601         * gen_sslfunc.c (ssl_iread): Don't handle EINTR when calling
2602         select_fd.
2603         (ssl_iwrite): Ditto.
2604
2605         * connect.c (select_fd): Rewrite to handle EINTR.  Set errno to
2606         ETIMEDOUT in case of timeout.
2607         (iread): No need to handle EINTR when calling select_fd.
2608         (iwrite): Ditto.
2609
2610 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2611
2612         * retr.c (retrieve_url): Make sure that POST is not honored for
2613         redirections.
2614
2615         * http.c (gethttp): Send the POST data when requested.
2616         (post_file): New function.
2617         (gethttp): Use it.
2618
2619         * main.c (main): Ditto.
2620
2621         * init.c: Add new options.
2622
2623         * options.h (struct options): New options post_data and
2624         post_file_name.
2625
2626 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2627
2628         * connect.c (connect_with_timeout): Firing SIGALRM can result in
2629         connect() exiting with EINTR.  Treat EINTR the same as ETIMEDOUT.
2630
2631 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2632
2633         * connect.c (connect_with_timeout): Use it.
2634
2635         * utils.c (run_with_timeout): New function.
2636
2637 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2638
2639         * url.c (getproxy): Accept a struct url argument.  This obviates
2640         the need for USE_PROXY_P.
2641
2642         * retr.c (retrieve_url): Allow proxy to be a non-FTP URL.
2643
2644         * ftp.c (getftp): Recognize FWTK-style proxy.
2645
2646 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2647
2648         * config.h.in: Only define _VA_LIST when compiled with gcc.
2649
2650 2002-04012  Ian Abbott  <abbotti@mev.co.uk>
2651
2652         * http.c (http_loop): Compensate for MS Windows two-second
2653         granularity of file modification time when comparing timestamps.
2654
2655         * ftp.c (ftp_retrieve_list): Ditto.
2656
2657 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
2658
2659         * utils.c (has_html_suffix_p): New function to test filename for
2660         common html extensions.
2661
2662         * utils.h: Declare it.
2663
2664         * http.c (http_loop): Use it instead of previous test.
2665
2666         * retr.c (retrieve_url): Ditto.
2667
2668         * recur.c (download_child_p): Ditto.
2669
2670 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2671
2672         * config.h.in: Define _VA_LIST on Solaris to prevent stdio.h from
2673         declaring va_list.
2674         From Kevin Rodgers <kevinr@ihs.com>.
2675
2676 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
2677
2678         * Makefile.in: Specify libtool mode explicitly when linking.
2679
2680 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2681
2682         * connect.c (connect_with_timeout): New function.
2683         (connect_to_one): Use it.
2684
2685         * config.h.in: Add stubs for HAVE_SIGSETJMP, HAVE_SIGBLOCK, and
2686         HAVE_SETJMP_H.
2687
2688 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2689
2690         * log.c: Set WGET_USE_STDARG if __STDC__ is defined and stdarg.h
2691         is present.
2692
2693 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2694
2695         * progress.c (bar_create): If INITIAL is larger than TOTAL, fix
2696         TOTAL.
2697         (bar_finish): Likewise.
2698
2699 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2700
2701         * html-url.c (tag_handle_form): New function.  Pick up form
2702         actions and mark them for conversion only.
2703
2704 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2705
2706         * progress.c (struct progress_implementation): Use PARAMS when
2707         declaring the parameters of *create, *update, *finish, and
2708         *set_params.
2709
2710         * netrc.c: Ditto.
2711
2712         * http.c: Reformat some function definitions so that ansi2knr can
2713         read them.
2714
2715         * hash.c (struct hash_table): Use the PARAMS macro around
2716         parameters in the declaration of hash_function and test_function.
2717         (prime_size): Spell 2580823717UL and 3355070839UL as (unsigned
2718         long)0x99d43ea5 and (unsigned long)0xc7fa5177 respectively, so
2719         that pre-ANSI compilers can read them.
2720         (find_mapping): Use PARAMS when declaring EQUALS.
2721         (hash_table_put): Ditto.
2722
2723         * ftp.h: Wrap the parameters of ftp_index declaration in PARAMS.
2724
2725         * cookies.c (cookie_new): Use (unsigned long)0 instead of 0UL,
2726         which was unsupported by pre-ANSI compilers.
2727
2728         From Nelson H. F. Beebe <beebe@math.utah.edu>, for the most part.
2729
2730 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2731
2732         * url.c (url_filename): Use compose_file_name regardless of
2733         whether opt.dirstruct is set.
2734         (mkstruct): Don't handle the query and the reencoding of DIR; that
2735         is done in compose_file_name.
2736
2737 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2738
2739         * wget.h: Ditto for extern char *exec_name.
2740
2741         * options.h: Don't guard against OPTIONS_DEFINED_HERE -- it is
2742         perfectly legal to follow an `extern' with a non-`extern' ones,
2743         provided the types match.
2744
2745         * main.c: Don't define OPTIONS_DEFINED_HERE.
2746
2747 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2748
2749         * progress.c (create_image): Revert to calculating ETA based on
2750         average download speed.
2751         (create_image): Don't print ETA until the download has been active
2752         for at least 3 seconds.
2753         (create_image): When ETA is not available, don't print anything.
2754         The previous version would print --:--.
2755
2756 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2757
2758         * progress.c (bar_update): Keep updating a subinterval until it
2759         reaches or exceeds a watermark.  That way the measurement will be
2760         guaranteed to span a configurable minimum of time.  The current
2761         default is 3s in 30 100ms intervals.
2762
2763 2002-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2764
2765         * progress.c (bar_update): Maintain an array of the time it took
2766         to perform previous 30 network reads.
2767         (create_image): Calculate the download speed and ETA based on the
2768         last 30 reads, not the entire download.
2769         (create_image): Make sure that the ETA is not changed more than
2770         once per second.
2771
2772 2002-04-09  Ian Abbott  <abbotti@mev.co.uk>
2773
2774         * mswindows.c (borland_utime): New function conditionally defined
2775         when `HACK_BCC_UTIME_BUG' is defined.  A reimplementation of
2776         `utime()' as Borland's `utime()' function is broken on Windows 9x
2777         systems.  (Original patch by Chin-yuan Kuo <sr1111111@yahoo.com.tw>.)
2778
2779 2002-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
2780
2781         * ftp.c (ftp_loop): Propagate the result of ftp_retrieve_glob.
2782
2783 2002-03-26  Ian Abbott  <abbotti@mev.co.uk>
2784
2785         * Makefile.in: Updated several dependencies for object files.
2786
2787 2002-03-20  Ian Abbott  <abbotti@mev.co.uk>
2788
2789         * mswindows.c: Include "utils.h".
2790
2791 2002-03-18  Ian Abbott  <abbotti@mev.co.uk>
2792
2793         * host.h: Don't include netdb.h on windows.
2794
2795 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2796
2797         * recur.c (retrieve_tree): Handle the case when start_url doesn't
2798         parse.
2799
2800 2002-02-19  Andreas Damm  <andreas-sourceforge@radab.org>
2801
2802         * wget.h (DO_REALLOC_FROM_ALLOCA): Multiply with sizeof(type) when
2803         calling xmalloc and memcpy.
2804
2805 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2806
2807         * host.h: Include Unix-specific includes #ifndef WINDOWS.
2808         Patch originally provided by Christian Lackas.
2809
2810 2002-02-11  Christian Lackas  <delta@lackas.net>
2811
2812         * recur.c: recurive downloading for https fixed.
2813
2814 2002-02-19  Alan Eldridge  <alane@geeksrus.net>
2815
2816         * host.h: Also include <netinet/in.h> and <sys/socket.h>.
2817
2818         * ftp-basic.c: Also include <netinet/in.h>.
2819
2820 2002-02-05  Ian Abbott  <abbotti@mev.co.uk>
2821
2822         * http.c (gethttp): when -c used, mark already fully retrieved
2823         file as successfully retrieved.
2824
2825 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2826
2827         * url.c (url_parse): Don't treat '?' as query string separator
2828         when parsing FTP URLs.
2829
2830 2002-02-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2831
2832         * html-url.c (tag_handle_meta): Don't crash on <meta
2833         http-equiv=refresh> where content is missing.
2834
2835 2002-01-31  Herold Heiko  <Heiko.Herold@previnet.it>
2836
2837         * ftp-basic.c, host.c: don't include sys/socket.h, arpa/inet.h,
2838         netdb.h on windows.
2839
2840 2002-01-30  Hrvoje Niksic  <hniksic@arsdigita.com>
2841
2842         * retr.c (retrieve_url): Remove redirection cycle detection.  This
2843         is because some sites legitimately redirect the user back to the
2844         same location, e.g. after an authorization check performed by
2845         another page.  MAX_REDIRECTIONS is still used to prevent infinite
2846         redirection loops.
2847
2848 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2849
2850         * http.c (gethttp): Wrap host name in square brackets if it
2851         contains a colon.
2852
2853 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2854
2855         * url.c (url_parse): Allow all hex digits, not only decimal ones,
2856         to form an IP address.
2857
2858 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2859
2860         * url.c (urlchr_table): Make square braces reserved, so we can
2861         parse http://[::1]/.
2862         (url_parse): Handle host in braces.
2863         (url_string): If url->host contains colons, wrap it in braces.
2864
2865 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2866
2867         * connect.c (resolve_bind_address): New function.
2868         (connect_to_one): Use it.
2869         (bindport): Ditto.
2870
2871         * init.c: Don't resolve bind-address here.
2872
2873         * host.c (wget_sockaddr_set_address): Would bug out with ADDR == NULL.
2874
2875 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2876
2877         * host.c (lookup_host): Use sizeof(ip4_address) to calculate the
2878         offset.
2879         (address_list_new): Use map_ipv4_to_ip.
2880         (wget_sockaddr_set_address): Convert ADDR to IPv4 before using it
2881         in IPv4 context.
2882
2883 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2884
2885         * source: Integrated IPv6 support.
2886         Written by Thomas Lussnig <thomas.lussnig@bewegungsmelder.de>.
2887
2888 2002-01-15  Ian Abbott  <abbotti@mev.co.uk>
2889
2890         * init.c (cmd_file): Change `\' to `/' for Windows (yes, really!)
2891         (cmd_directory): New function. Like cmd_file(), but strips
2892         trailing directory separators.
2893         (commands): Change action for "dirprefix" from `cmd_file' to
2894         `cmd_directory'.
2895
2896         * utils.c (make_directory): Allow intermediate `mkdir' calls to
2897         fail, as not all path components that do not exist should be
2898         directory components, especially under Windows.
2899
2900 2002-01-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2901
2902         * netrc.c (parse_netrc): Skip leading whitespace before testing
2903         whether the line is empty.  Empty lines still contain the line
2904         terminator.
2905
2906 2002-01-15  Hrvoje Niksic  <hniksic@arsdigita.com>
2907
2908         * gen_sslfunc.c (ssl_iread): Call select on the file descriptor
2909         only if no data is pending in SSL buffers.
2910         From tony@bluetail.com.
2911
2912 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2913
2914         * headers.c (header_get): Strip trailing whitespace from the
2915         header.
2916
2917 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2918
2919         * url.c (parse_uname): URL-decode *USER and *PASSWD.
2920
2921 2002-01-07  Ian Abbott <abbotti@mev.co.uk>
2922
2923         * url.c (uri_merge_1): Deal with "net path" relative URL (one that
2924         starts with "//").
2925
2926 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2927
2928         * http.c (gethttp): Invalidate SOCK if get_contents encountered an
2929         error.
2930
2931 2001-12-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2932
2933         * version.c: Wget 1.8.1 is released.
2934
2935 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2936
2937         * version.c: Wget 1.8.1-pre3 is released.
2938
2939 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2940
2941         * recur.c (retrieve_tree): Enqueue the canonical representation of
2942         start_url, so that the test against dl_url_file_map works.
2943
2944 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2945
2946         * log.c (logputs): Check for requested verbosity before printing
2947         anything.
2948
2949 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2950
2951         * html-url.c (tag_handle_link): Treat the "shortcut icon" link as
2952         inline.
2953
2954 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2955
2956         * recur.c (retrieve_tree): Make a copy of file obtained from
2957         dl_url_file_map because the code calls xfree(file) later.
2958
2959 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2960
2961         * recur.c (register_html): Maintain a hash table of HTML files
2962         along with the list.  Disallow duplicates.
2963         (retrieve_tree): Use downloaded_html_set to check whether the file
2964         found in dl_url_file_map is an HTML file, and descend into it if
2965         so.
2966         (convert_all_links): Don't guard against duplicates in
2967         downloaded_html_list, since they are no longer possible.
2968
2969 2001-12-18  Ian Abbott  <abbotti@mev.co.uk>
2970
2971         * recur.c (retrieve_tree): Pass on referring URL when retrieving
2972         recursed URL.
2973
2974 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2975
2976         * version.c: Wget 1.8.1-pre2 is released.
2977
2978 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2979
2980         * retr.c (sleep_between_retrievals): Simplify indentation.
2981
2982 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2983
2984         * gen_sslfunc.c (ssl_init_prng): Use random_number to get a byte
2985         of "randomness" at a time.
2986         (ssl_init_prng): Don't seed the PRNG; random_number will do that.
2987
2988         * retr.c (sleep_between_retrievals): Use it.  Make sure that the
2989         random amount averages in opt.wait.
2990         (sleep_between_retrievals): Don't seed the PRNG; random_number
2991         will do that.
2992
2993         * utils.c (random_number): New function.
2994
2995 2001-12-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2996
2997         * url.c (path_simplify): Move here from utils.c, and make static.
2998
2999 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3000
3001         * init.c (wgetrc_file_name): Print correct message when loading
3002         getenv("WGETRC") fails.
3003
3004 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3005
3006         * recur.c (register_download): Don't abort when one URL references
3007         two different files.
3008
3009 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3010
3011         * http.c (gethttp): Check for conn->scheme, not u->scheme, before
3012         calling ssl_iwrite.
3013
3014 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3015
3016         * version.c: Wget 1.8.1-pre1 is released.
3017
3018 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3019
3020         * res.c (matches): Fix broken URL in the docstring.
3021
3022 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3023
3024         * html-url.c (tag_url_attributes): Mark <embed href=...> as
3025         external.
3026
3027 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3028
3029         * url.c (get_urls_file): Cosmetic changes.
3030
3031 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3032
3033         * html-url.c (append_one_url): Resurrect warning when unable to
3034         resolve a relative link.
3035
3036 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3037
3038         * html-url.c (collect_tags_mapper): Break into several functions.
3039         (tag_url_attributes): Collect <embed href=...>.
3040
3041 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3042
3043         * host.c: New type ipv4_address.  Use it consistently instead of
3044         `unsigned char[4]' and `unsigned char *'.
3045         (pretty_print_address): Accept a `const void *', to require even
3046         less casting.
3047
3048 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3049
3050         * ftp-ls.c (ftp_parse_vms_ls): Fix obvious memory leaks.
3051
3052 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3053
3054         * main.c (main): Initialize progress after fork_to_background, so
3055         that it knows when to use dots.
3056
3057         * mswindows.c (ws_hangup): Call log_request_redirect_output.
3058
3059         * utils.c (fork_to_background): Print the PID of the child
3060         process.
3061
3062         * log.c (log_request_redirect_output): Set a flag that output
3063         redirection has been requested.  Doing anything else in a signal
3064         handler is unsafe.
3065         (check_redirect_output): New function: check whether redirection
3066         has been requested and, if so, call redirect_output().
3067         (logputs): Call check_redirect_output.
3068         (logprintf): Ditto.
3069         (debug_logprintf): Ditto.
3070         (redirect_output): Print clearer messages.
3071
3072         * main.c (redirect_output_signal): Don't call
3073         redirect_output_signal directly.  Instead, call
3074         log_request_redirect_output.
3075
3076         * utils.c (memfatal): Ditto.
3077
3078         * progress.c (display_image): Use it.
3079
3080         * log.c (log_set_save_context): New function: allow the caller to
3081         turn off saving log context lines.
3082
3083 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3084
3085         * host.c (address_list_set_faulty): Uncomment a sanity check.
3086
3087 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3088
3089         * utils.c (long_to_string): Return a pointer after where the
3090         number ends.
3091         (long_to_string): Rename to number_to_string.
3092
3093 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3094
3095         * utils.c (path_simplify): Correctly handle the unlikely case that
3096         b starts out as path + 1.
3097
3098 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3099
3100         * utils.c (path_simplify): Rewrite, with better comments, and
3101         without the use of strcpy to move overlapping blocks.
3102
3103 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3104
3105         * init.c (cmd_spec_progress): Resurrect.  Check whether VAL is a
3106         valid progress type before setting it.
3107
3108 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3109
3110         * main.c (main): Remove stray debugging message.
3111
3112 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3113
3114         * progress.c (create_image): Fix ETA padding when hours are prined.
3115
3116 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3117
3118         * version.c: Wget 1.8 is released.
3119
3120 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3121
3122         * url.c (reencode_string): Declare static.
3123
3124         * res.c (registered_specs): Declare static.
3125
3126         * progress.c (current_impl_locked): Declare static.
3127
3128         * log.c (flush_log_p): Declare static.
3129         (needs_flushing): Ditto.
3130
3131         * http.c (digest_authentication_encode): Declare static.
3132
3133         * html-url.c (init_interesting): Declare static.
3134
3135         * host.c (host_name_addresses_map): Declare static.
3136
3137         * cookies.c (find_matching_chains): Declare static.
3138
3139         * ftp-ls.c (ftp_parse_vms_ls): Warn about the memory leak
3140         indicated by lint.
3141
3142         * utils.c (path_simplify): Remove unused variable STUB_CHAR.
3143
3144         * host.c (address_list_set_faulty): Document that INDEX is
3145         currently unused.
3146
3147         * url.c (rewrite_shorthand_url): Remove unused variable PATH.
3148
3149 2001-12-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3150
3151         * version.c: Wget 1.8-pre2 is released.
3152
3153 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3154
3155         * progress.c (progress_handle_sigwinch): Set up the signal again.
3156
3157         * utils.c: Include <sys/termios.h>, where Solaris defines
3158         TIOCGWINSZ.
3159
3160         * progress.c (bar_create): Don't use the last column on the screen.
3161         (create_image): Pad ETA to constant size.  Pad SIZE to nine digits
3162         only until it exceeded them.
3163
3164 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3165
3166         * version.c: Wget 1.8-pre1 is released.
3167
3168 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3169
3170         * progress.c (progress_create): Make sure that, when the output is
3171         redirected, the progress implementation gets changed to the
3172         fallback one.
3173         (bar_set_params): Set current_impl_locked to 1 when "force" is
3174         specified.
3175         (progress_create): Don't change the progress implementation if
3176         current_impl_locked is non-zero.
3177
3178         * main.c (redirect_output_signal): Call
3179         progress_schedule_redirect.
3180
3181         * progress.c (progress_schedule_redirect): New function.
3182
3183 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3184
3185         * log.c (logvprintf): Restructure to allow being called multiple
3186         times.
3187         (logprintf): Call logvprintf in a loop.
3188         (debug_logprintf): Ditto.
3189
3190 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3191
3192         * gen_sslfunc.c (ssl_init_prng): Allow the user to disable EGD by
3193         setting egd_file it to empty string.
3194
3195         * main.c (main): Change the option name from --sslegdsock to
3196         --egd-file.
3197
3198 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3199
3200         * gen_sslfunc.c (ssl_init_prng): Make the printed message
3201         translatable.
3202
3203 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3204
3205         * url.c (scheme_disable): New function.
3206
3207         * main.c (main): Call ssl_init_prng from here rather than from
3208         init_ssl, so that it has a chance to disable support for https
3209         before a URL has been resolved.
3210
3211         * gen_sslfunc.c (ssl_init_prng): Seed with rand() if all else
3212         failed.
3213         (ssl_init_prng): Disable support for https if seeding the PRNG
3214         fails.
3215
3216 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3217
3218         * utils.c (read_whole_line): Handle lines beginning with \0.
3219
3220 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
3221
3222         * recur.c (convert_all_links): Guard against duplicates in
3223         downloaded_html_files.
3224         (register_download): Don't invalidate similar-looking URLs.
3225         (match_except_index): New function.
3226
3227 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
3228
3229         * utils.c (path_simplify): Document with test cases.
3230
3231 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
3232
3233         * gen_sslfunc.c: Ditto.
3234
3235         * rbuf.c: Include <string.h>.
3236
3237 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
3238
3239         * recur.c (retrieve_tree): Check whether the URL was already
3240         downloaded before downloading it again.
3241         (descend_child_p): Renamed to download_child_p.
3242         (register_download): When one URL is downloaded to a file already
3243         "owned" by another URL, delete all references that map any URL to
3244         that file.
3245         (register_delete_file): New function.
3246         (retrieve_tree): Use it after deleting a file.
3247
3248         * url.c (url_parse): Re-canonicalize the URL also if the path is
3249         empty, so that e.g. "http://www.server.com" ->
3250         "http://www.server.com/".
3251         (lowercase_str): Use ISUPPER instead of !ISLOWER.
3252
3253         * retr.c (retrieve_url): Use the canonical URL form when calling
3254         register_download().
3255
3256 2001-12-04  Ian Abbott <abbotti@mev.co.uk>
3257
3258         * snprintf.c (dopr): Use `unsigned int' as the second argument to
3259         va_arg when casting to `unsigned short' is intended.
3260
3261 2001-12-04  Herold Heiko  <Heiko.Herold@previnet.it>
3262
3263         * gen_sslfunc.c: on windows provide ssl crypto random 
3264           initialization through RAND_screen(); could possibly
3265           be not enough for strong ssl communication (see the 
3266           relevant manual page from the openssl package).
3267
3268 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
3269
3270         * url.c (local_quote_string): Reenable quoting of question marks,
3271         but only when `--html-extension' is used.
3272
3273 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
3274
3275         * version.c: Wget 1.8-beta3 is released.
3276
3277 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
3278
3279         * snprintf.c (dopr): Cast the result of va_arg to short int and
3280         short unsigned int where these types are expected to be used.
3281
3282 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
3283
3284         * snprintf.c (dopr): Replace `short int' and `unsigned short int'
3285         with `int' when using it as the second argument to `va_arg'.
3286
3287 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
3288
3289         * host.c (address_list_new_one): New function.
3290         (lookup_host): Use it.
3291
3292 2001-12-03  Andre Majorel  <amajorel@teaser.fr>
3293
3294         * host.c (lookup_host): Don't initialize TMPSTORE directly because
3295         it's not legal C.
3296
3297 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
3298
3299         * ftp-basic.c (ftp_port): Don't return HOSTERR if we fail getting
3300         the socket data.
3301
3302         * ftp.c: Ditto.
3303
3304         * http.c: No need to declare h_errno.
3305
3306         * host.c: Declare h_errno.
3307
3308 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3309
3310         * utils.c (file_merge): If BASE doesn't contain a slash, just
3311         return a copy of FILE.
3312
3313 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3314
3315         * version.c: Wget 1.8-beta2 is released.
3316
3317 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3318
3319         * ftp.c (getftp): When PWD fails, assume "/".
3320
3321         * ftp-basic.c (ftp_syst): Fix indentation.
3322
3323 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3324
3325         * url.c (get_urls_file): If opt.base_href is specified, merge each
3326         URL with the base.
3327
3328 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3329
3330         * main.c (print_help): Don't document the removed `-nh'.
3331
3332 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3333
3334         * url.c (url_full_path): Document better.
3335
3336         * http.c (gethttp): Use the full path when creating digest
3337         authorization.
3338
3339 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3340
3341         * cookies.c (path_matches): Return 0 if PREFIX doesn't begin with
3342         '/'.
3343
3344 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3345
3346         * cookies.c (path_matches): FULL_PATH doesn't begin with '/', but
3347         PREFIX does.
3348
3349 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3350
3351         * cookies.c (check_domain_match): Reimplement to match Netscape's
3352         "preliminary specification" for cookies.
3353
3354 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3355
3356         * url.c (replace_attr_refresh_hack): New function.
3357         (convert_links): Call replace_attr_refresh_hack for Refresh
3358         links.  It will add the "TMOUT; URL=" junk before the link.
3359
3360         * html-url.c (collect_tags_mapper): Set ID to the ID of the
3361         "content" attribute, not "http-equiv".
3362         (collect_tags_mapper): Don't use OFFSET to hack the raw_* values;
3363         instead, store the information that this entry belongs to a
3364         "refresh" link.
3365
3366 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3367
3368         * version.c: Wget 1.8-beta1 is released.
3369
3370 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3371
3372         * recur.c (retrieve_tree): Allow -p retrievals to exceed maximum
3373         depth by more than one.
3374
3375 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
3376
3377         * retr.c (retrieve_url): Don't allow more than 20 redirections.
3378
3379 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
3380
3381         * recur.c (retrieve_tree): Skip the non-inline entries when
3382         enqueuing the children of a leaf HTML node in -p mode.
3383         (descend_url_p): Ignore opt.no_parent when in -p mode and UPOS is
3384         "inline".
3385
3386         * html-url.c (get_urls_html): Don't accept dash_p_leaf_HTML.
3387         (collect_tags_mapper): When an entry is "inline", mark it as such.
3388
3389         * recur.c (descend_url_p): Fix test when checking for
3390         acceptance/rejection rules.
3391
3392 2001-10-31 Daniel BODEA <dali@dali-designs.com>
3393
3394         * netrc.c (search_netrc): When slack_default is 0, still look for
3395         an account with matching password, just not the "default account".
3396         HTTP Authorization using .netrc should now work as expected.
3397
3398 2001-11-30  T. Bharath  <TBharath@responsenetworks.com>
3399
3400         * http.c (persistent_available_p): Call SHUTDOWN_SSL if
3401         test_socket_open fails.
3402
3403 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
3404
3405         * progress.c (display_image): Just print one CR to reset the
3406         cursor position.
3407
3408 2001-11-30  Christian Fraenkel  <c.fraenkel@gmx.net>
3409
3410         * init.c: New command `ssl_egd_sock'.
3411
3412         * main.c (main): New option `--sslegdsock'.
3413
3414         * gen_sslfunc.c (ssl_init_prng): Seed the RNG using EGD.
3415
3416 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3417
3418         * cmpt.c (memmove): Include a simple memmove implementation.
3419
3420 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3421
3422         * headers: Guard against header files being included twice.
3423
3424 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3425
3426         * gen-md5.c: Use unsigned char * as the buffer argument to
3427         gen_md5_update.
3428
3429 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3430
3431         * connect.h: Declare select_fd.
3432
3433 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3434
3435         * recur.c (descend_url_p): When resolving no_parent, compare with
3436         start_url, not parent url.  Otherwise link from /a/b/ to /a/c/
3437         wouldn't be followed, although the download started from /a/.
3438
3439 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
3440
3441         * config.h.ms, mswindows.h: defined HAVE_ISATTY, use _isatty for
3442         MS VC; somebody with Borland compiler please check and provide
3443         patch if possible;
3444
3445         * cmpt.c: provided a usleep emulation.
3446
3447 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3448
3449         * host.c (address_list_new): Initialize al->faulty.
3450
3451 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3452
3453         * http.c (http_process_range): Accept the broken output of
3454         "JavaWebServer/1.1.1".
3455
3456 2001-11-28  Hrvoje Niksic  <hniksic@arsdigita.com>
3457
3458         * progress.c (dot_set_params): If PARAMS is unspecified, use
3459         dot_style, if available.
3460
3461         * init.c: Ditto.
3462
3463         * main.c (main): Resurect --dot-style.
3464
3465         * progress.c (dot_finish): Print the quantity if we're left at the
3466         beginning of a row.
3467
3468 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3469
3470         * cmpt.c (random): Removed.
3471
3472         * retr.c (sleep_between_retrievals): Use the more portable rand()
3473         instead of random().
3474
3475 2001-11-27  Ian Abbott <abbotti@mev.co.uk>
3476
3477         * retr.c (retrieve_from_file): Initialize `new_file' to NULL to
3478         prevent seg fault.
3479
3480 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3481
3482         * connect.c (connect_to_many): Use address_list_set_faulty to
3483         prevent the faulty address from being reused.
3484
3485         * host.c (address_list_set_faulty): New function.
3486         (address_list_get_bounds): New function, instead of
3487         address_list_count.
3488
3489 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3490
3491         * url.c (convert_links): Don't translate %d-%d.
3492
3493         * main.c (print_help): Remove stray HAVE_RANDOM code.
3494
3495 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3496
3497         * ftp.c (getftp): Improve output after sending PASV.  Don't
3498         attempt to "look up" the IP address we already know; call
3499         connect_to_one directly.
3500
3501 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3502
3503         * progress.c: Change the default progress implementation to "bar".
3504
3505 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3506
3507         * progress.c (bar_create): Print two newlines.
3508
3509 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3510
3511         * cmpt.c (random): New function, a simple-minded replacement for
3512         random() on systems that don't have it.
3513
3514 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3515
3516         * config.h.in: Put a HAVE_USLEEP stub.
3517
3518         * cmpt.c (usleep): Replacement implementation of usleep using
3519         select.
3520
3521         * init.c: New option init_rate.
3522
3523         * main.c (main): New option --limit-rate.
3524
3525         * retr.c (limit_bandwidth): New function.
3526         (get_contents): Call it to limit the bandwidth used when
3527         downloading.
3528
3529         * progress.c (dot_update): Would print the wrong download speed on
3530         rows other than the first one when the download was continued.
3531         (dot_finish): Ditto.
3532
3533 2001-11-26  Ian Abbott <abbotti@mev.co.uk>
3534
3535         * http.c (gethttp): fix undeclared variable 'err' when compiled
3536         with HAVE_SSL.
3537
3538 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3539
3540         * progress.c: Don't allocate new timers; use the timing data
3541         propagated from the caller.
3542
3543         * retr.c (get_contents): Allocate and use a timer.
3544
3545 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3546
3547         * http.c (last_host_ip): Made into an address_list.
3548         (invalidate_persistent): Release pc_last_host_ip.
3549         (register_persistent): Use lookup_host.
3550         (persistent_available_p): Check for equality of hosts using
3551         address_list_match_all.  Call address_list_release.
3552         (http_cleanup): New function.
3553
3554         * ftp.c (getftp): Use lookup_host and connect_to_many.
3555
3556         * http.c (gethttp): Use lookup_host and connect_to_many.
3557
3558         * connect.c (make_connection): Removed.
3559         (connect_to_one): New function.
3560         (connect_to_many): Ditto.
3561         (set_connection_host_name): Ditto.
3562
3563         * host.c (lookup_host): New function; new return type.
3564         (address_list_new): New function.
3565         (address_list_count): Ditto.
3566         (address_list_copy_one): Ditto.
3567         (address_list_delete): Ditto.
3568         (address_list_release): Ditto.
3569         (pretty_print_address): Ditto.
3570
3571 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3572
3573         * recur.c (retrieve_tree): In case of followed redirection,
3574         blacklist the pre-redirection URL.
3575
3576 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3577
3578         * recur.c (descend_redirect_p): New function.
3579         (retrieve_tree): Make sure redirections are not blindly followed.
3580
3581 2001-11-04  Alan Eldridge  <alane@geeksrus.net>
3582
3583         * config.h.in: added HAVE_RANDOM.
3584
3585         * options.h: added random_wait to struct options.
3586
3587         * main.c (print_help [HAVE_RANDOM], main): added arg parsing, help
3588         for --random-wait.
3589
3590         * retr.c (sleep_between_retrievals) [HAVE_RANDOM]: added
3591         implementation of random wait times.
3592
3593         * init.c (commands): added "randomwait" keyword.
3594
3595 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3596
3597         * recur.c (descend_url_p): Be more conservative with blacklisting
3598         URLs.
3599         (convert_all_links): Print how many files have been converted, and
3600         how long it took.
3601
3602         * progress.c (create_image): Place the number of downloaded bytes
3603         right after the progress bar.
3604
3605         * utils.c (suffix): Return a pointer into the string.
3606
3607 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3608
3609         * url.c (convert_links): Handle CO_NULLIFY_BASE.
3610
3611         * recur.c (retrieve_tree): Ignore download-ignorable children.
3612         (convert_all_links): Specify CO_NULLIFY_BASE when link_base_p.
3613
3614         * html-url.c (handle_link): Return the newly created urlpos.
3615         (collect_tags_mapper): When dealing with BASE, store the base
3616         reference and mark it as download-ignorable.
3617
3618 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3619
3620         * url.c (convert_links): Attempt to quote '?' as "%3F" when
3621         linking to local files.  Given up on the attempt, as it breaks
3622         local browsing.
3623
3624 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3625
3626         * main.c (private_initialize): Removed.
3627         (main): Don't call private_initialize.
3628
3629         * http.c: Call lookup_host.
3630
3631         * host.c (host_init): Removed.
3632         (add_host_to_cache): Initialize host_name_address_map here, on
3633         demand.
3634         (ngethostbyname): Commented out.
3635
3636         * connect.c (make_connection): Remove dead code; use lookup_host.
3637
3638         * host.c (store_hostaddress): Renamed to lookup_host and reversed
3639         the args.
3640         Removed host_address_name_map and host_slave_master_map.
3641
3642 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3643
3644         * progress.c (dot_create): Align the "[ skipping ... ]" string
3645         with the dots.
3646
3647         * retr.c (rate): Split into two functions: calc_rate and
3648         retr_rate.
3649
3650         * progress.c (create_image): Draw a dummy progress bar even when
3651         total size is unknown.
3652         (display_image): Place the text cursor at the end of the "image".
3653
3654 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3655
3656         * url.c (reencode_string): Use unsigned char, not char --
3657         otherwise the hex digits come out wrong for 8-bit chars such as
3658         nbsp.
3659         (lowercase_str): New function.
3660         (url_parse): Canonicalize u->url if needed.
3661         (get_urls_file): Parse each URL, and return only the valid ones.
3662         (free_urlpos): Call url_free.
3663         (mkstruct): Add :port if the port is non-standard.
3664         (mkstruct): Append the query string to the file name, if any.
3665         (urlpath_length): Use strpbrk_or_eos.
3666         (uri_merge_1): Handle the cases where LINK is an empty string,
3667         where LINK consists only of query, and where LINK consists only of
3668         fragment.
3669         (convert_links): Count and report both kinds of conversion.
3670         (downloaded_file): Use a hash table, not a list.
3671         (downloaded_files_free): Free the hash table.
3672
3673         * retr.c (retrieve_from_file): Ditto.
3674
3675         * main.c (main): Call either retrieve_url or retrieve_tree
3676         for each URL, not both.
3677
3678         * retr.c (register_all_redirections): New function.
3679         (register_redirections_mapper): Ditto.
3680         (retrieve_url): Register the redirections.
3681         (retrieve_url): Make the string "Error parsing proxy ..." 
3682         translatable.
3683
3684         * res.c (add_path): Strip leading slash from robots.txt paths so
3685         that the path representations are "compatible".
3686         (free_specs): Free each individual path, too.
3687         (res_cleanup): New function.
3688         (cleanup_hash_table_mapper): Ditto.
3689
3690         * recur.c (url_queue_new): New function.
3691         (url_queue_delete): Ditto.
3692         (url_enqueue): Ditto.
3693         (url_dequeue): Ditto.
3694         (retrieve_tree): New function, replacement for recursive_retrieve.
3695         (descend_url_p): New function.
3696         (register_redirection): New function.
3697
3698         * progress.c (create_image): Cosmetic changes.
3699
3700         * init.c (cleanup): Do all those complex cleanups only if
3701         DEBUG_MALLOC is defined.
3702
3703         * main.c: Removed --simple-check and the corresponding
3704         simple_host_check in init.c.
3705
3706         * html-url.c (handle_link): Parse the URL here, and propagate the
3707         parsed URL to the caller, who would otherwise have to parse it
3708         again.
3709
3710         * host.c (xstrdup_lower): Moved to utils.c.
3711         (realhost): Removed.
3712         (same_host): Ditto.
3713
3714 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3715
3716         * utils.c (path_simplify): Preserver the (non-)existence of
3717         leading slash.  Return non-zero if changes were made.
3718
3719 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3720
3721         * progress.c (bar_update): Don't modify bp->total_length if it is
3722         zero.
3723
3724 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3725
3726         * retr.c (retrieve_url): When the redirection URL doesn't parse,
3727         print the correct error message rather than "UNKNOWN".
3728
3729 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3730
3731         * progress.c (bar_finish): If the timer didn't record any time
3732         since the download beginning, fake 1ms.
3733
3734 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3735
3736         * recur.c (recursive_retrieve): Fix typo.
3737
3738 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
3739
3740         * progress.c (create_image): Don't translate "%ld ".
3741
3742 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
3743
3744         * progress.c (bar_set_params): Allow the user to force the use of
3745         the bar.
3746
3747 2001-11-23  Lemble Gregory  <gregory.lemble@st.com>
3748
3749         * gen_sslfunc.c (ssl_init_prng): New function; seed the SSL RNG.
3750
3751 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
3752
3753         * progress.c: Renamed dp_* functions to dot_* for greater clarity
3754         and consistency with bar_*.
3755         (print_download_speed): Get rid of the unneeded '@' character.
3756         (create_image): Fix download rate geometry.
3757
3758         * progress.c (print_elapsed): Remove spurious space.
3759         (print_elapsed): Renamed to print_download_speed, since that's
3760         what it does.
3761
3762 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
3763
3764         * progress.c (bar_update): If the downloaded amount becomes larger
3765         than the expected amount, adjust the expected amount accordingly.
3766
3767 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
3768
3769         * utils.c (determine_screen_width): New function.
3770
3771         * main.c (main): New option `--progress=TYPE'.
3772         (main): Implement compatibility with the old option `--dot-style'.
3773
3774         * init.c: Removed cmd_spec_dotstyle -- that logic is now in
3775         dp_set_params.
3776         (cmd_spec_progress): New function.
3777
3778         * retr.c (get_contents): Use the progress_* functions instead of
3779         the old show_progress().
3780         (show_progress): Removed.
3781         (rate): Print "xxxx.xx K/s" instead of "KB/s".  Ditto for MB/s,
3782         etc.
3783
3784         * progress.c (set_progress_implementation): New function.
3785         (valid_progress_implementation_p): Ditto.
3786         (progress_create): Ditto.
3787         (progress_update): Ditto.
3788         (progress_finish): Ditto.
3789         (dp_create): Ditto.
3790         (dp_update): Ditto.
3791         (dp_finish): Ditto.
3792         (dp_set_params): Ditto.
3793         (print_elapsed): Ditto.
3794
3795 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
3796
3797         * retr.c (show_progress): Use it.
3798
3799         * log.c (log_set_flush): New function.
3800
3801 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
3802
3803         * utils.c (path_simplify): Don't remove trailing slashes.
3804
3805         * ftp.c (ftp_get_listing): Use it.
3806
3807         * utils.c (file_merge): New function.
3808
3809         * url.c (opt_url): Removed.
3810
3811         * recur.c (recursive_retrieve): Inline "opt_url" logic.
3812
3813         * main.c (main): Use xfree(), not free().
3814
3815         * url.c (rewrite_url_maybe): Renamed to rewrite_shorthand_url.
3816
3817         * ftp.c (ccon): Move `ccon' typedef here, since it's only used
3818         internally.
3819
3820         * config.h.in: Include a stub for HAVE_STRPBRK.
3821
3822         * cmpt.c (strpbrk): Include a replacement for systems without
3823         strpbrk().
3824
3825         * ftp.c: Use url_set_dir and url_set_file when modifying the URL.
3826
3827         * url.c (url_set_dir): New function.
3828         (url_set_file): Ditto.
3829
3830         * ftp-basic.c (ftp_process_type): Process FTP type here; the URL
3831         parser makes the URL "params" available, so we can do that in this
3832         function.
3833
3834         * retr.c: Ditto.
3835
3836         * ftp.c: Ditto; pass the local file information in `ccon'.
3837
3838         * http.c: Get rid of the ugly kludge that had URL being replaced
3839         with the proxy URL when proxy retrieval was requested.  Use a
3840         separate parameter to http_loop and gethttp for the proxy URL.
3841
3842         * http.c: Changed to reflect the fact that local file, proxy, and
3843         referer information are no longer stored in struct url.  The local
3844         file information is passed in `struct hstat' now.
3845
3846         * url.c: Reworked URL parsing to be more regular.  Reencode the
3847         URL using reencode_string.
3848         Removed non-URL-related information from struct url.  This
3849         includes fields `proxy', `local', and `referer'.
3850
3851 2001-11-22  Jochen Hein  <jochen@jochen.org>
3852
3853         * main.c (main): Split the copyright notice for easier
3854         translation.
3855
3856 2001-08-21  Dave Turner <dct25@hermes.cam.ac.uk>
3857
3858         * ftp-basic.c (ftp_size): New function to send non-standard SIZE
3859           command to server to request file size.
3860         * ftp.h (ftp_size): Export it.
3861         * ftp.c (getftp): Use new ftp_size function if restoring
3862           transfer of a file with unknown size.
3863
3864 2001-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
3865
3866         * url.c (parseurl): Don't depend on the now-obsolete TYPE.
3867
3868 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3869
3870         * url.c (getproxy): Handle URL shorthands.
3871
3872 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3873
3874         * main.c: Remove --wait / --waitretry backwards compatibility
3875         code.
3876         
3877 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3878
3879         * main.c (main): Use it.
3880
3881         * url.c (rewrite_url_maybe): New function.
3882
3883 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3884
3885         * url.c: Clean up handling of URL schemes.
3886
3887 2001-05-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3888
3889         * url.c: Get rid of `protostrings'.
3890         (skip_proto): Don't use protostrings.
3891         (has_proto): Ditto.
3892
3893 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3894
3895         * Makefile.in: Conditionally compile getopt.o.
3896
3897 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3898
3899         * md5.h: Renamed to gnu-md5.h.
3900
3901         * md5.c: Renamed to gnu-md5.c.
3902
3903         * http.c: Ditto.
3904
3905         * ftp-opie.c: Use the new macros.
3906
3907         * sysdep.h: Define md5-related macros.
3908
3909         * config.h.in: Define HAVE_SOLARIS_MD5 or HAVE_BUILTIN_MD5
3910         depending on which md5 implementation is used.
3911
3912 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3913
3914         * res.c (res_register_specs): Initialize OLD and HP_OLD to appease
3915         the compiler.
3916
3917 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3918
3919         * http.c (gethttp): Print the whole response line when printing
3920         headers is requested.
3921
3922 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3923
3924         * res.c: New file.  Implement all RES-related code here.
3925
3926 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3927
3928         * version.c: Wget 1.7.1 is released.
3929
3930 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
3931
3932         * headers.c (header_extract_number): Ignore trailing whitespace.
3933
3934 2001-08-24  Ian Abbott  <abbotti@mev.co.uk>
3935
3936         * html-url.c (collect_tags_mapper): Fix bug converting links
3937         with -k option for tags with multiple link attributes by
3938         handling links in the order they appear.
3939
3940 2001-08-15  Ian Abbott  <abbotti@mev.co.uk>
3941
3942         * ftp.c (ftp_loop_internal): Avoid a potential buffer overflow in
3943           the call to the 'rate' function by moving it past the error
3944           checking for the 'getftp' function return value.
3945
3946 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
3947
3948         * html-parse.c (advance_declaration): Use 0x22 instead of '"' or
3949         '\"'.  Different compilers' assert macros are broken in different
3950         ways.
3951
3952 2001-09-29  Christian Fraenkel  <c.fraenkel@gmx.net>
3953
3954         * http.c (gethttp): print debug output for errors occuring during
3955         the ssl handshake.
3956
3957 2001-11-16  Chris Seawood  <cls@seawood.org>
3958
3959         * init.c: Ditto.
3960
3961         * host.c: Ditto.
3962
3963         * connect.c: Ditto.
3964
3965         * sysdep.h: Support compilation under BEOS.
3966
3967 2001-06-08  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
3968
3969         * url.c (url_equal): Fix a memory leak when parseurl returns an
3970         error on the second URL. Also, since url_equal is not used at the
3971         moment, do not compile it.
3972
3973         * url.h: Ditto for the prototype of url_equal.
3974
3975 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
3976
3977         * html-parse.c (map_html_tags): Support XML-style empty tags.
3978
3979 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3980
3981         * wget.h (DO_REALLOC_FROM_ALLOCA): Check for do_realloc_newsize in
3982         loop condition because we're no longer setting SIZEVAR here.
3983
3984 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3985
3986         * wget.h (DO_REALLOC_FROM_ALLOCA): Set SIZEVAR after the memcpy()
3987         call because it needs the old value.
3988
3989 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3990
3991         * cookies.c (ATTR_NAME_CHAR): Allow almost any character to be in
3992         an attribute name.
3993
3994 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3995
3996         * url.c (url_filename): Make sure that slashes that sneak in to
3997         u->file via query string get protected.
3998         (file_name_protect_query_string): New function.
3999
4000 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4001
4002         * recur.c (recursive_retrieve): Also check undesirable_urls with
4003         canonicalized URL.
4004
4005 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4006
4007         * http.c (gethttp): Search `.netrc' with real host, not the proxy
4008         one.
4009
4010 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4011
4012         * sysdep.h (MAP_FAILED): Provide MAP_FAILED for systems that don't
4013         define it.
4014
4015 2001-06-09  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4016
4017         * ftp.h: Provide correct prototype for ftp_parse_ls().
4018
4019 2001-06-04  Hrvoje Niksic  <hniksic@arsdigita.com>
4020
4021         * version.c: Wget 1.7 is released.
4022
4023 2001-06-03  Karl Eichwalder  <ke@suse.de>
4024
4025         * ftp-ls.c (ftp_parse_ls): Fix typo.
4026
4027 2001-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4028
4029         * all: Update copyright information.
4030
4031 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4032
4033         * http.c (gethttp): Indicate that the continued download failed
4034         for *this* file.
4035
4036 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4037
4038         * version.c: Wget 1.7-pre1 is released.
4039
4040 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4041
4042         * version.c: Updated version to 1.7-pre1.
4043
4044 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4045
4046         * gen_sslfunc.c: Don't include <sys/time.h> directly.
4047
4048 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4049
4050         * http.c (gethttp): Use real URL data for cookies, not the proxy
4051         stuff.
4052
4053 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4054
4055         * main.c (print_help): Document `--no-http-keep-alive'.
4056
4057         * utils.c (numdigit): Handle negative numbers *correctly*.
4058
4059         * hash.c (make_nocase_string_hash_table): Use term "nocase" rather
4060         than the confusing "unsigned".
4061
4062         * utils.c (string_set_contains): Renamed from string_set_exists.
4063
4064         * hash.c (hash_table_contains): Renamed from hash_table_exists.
4065
4066         * cookies.c: Move case-insensitive hash tables to hash.c.
4067
4068 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4069
4070         * http.c (gethttp): Before concluding that the file is already
4071         fully retrieved, make sure that the file existed and `Range' was
4072         actually requested.
4073
4074 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4075
4076         * cookies.c (eliminate_dups): New function.
4077         (build_cookies_request): Use it.
4078         (build_cookies_request): Set chain_store_size after reallocating
4079         all_chains.
4080         (check_domain_match): Annotated for easier future debugging.
4081         (store_cookie): In the debug message, print whether the cookie is
4082         permanent.
4083
4084 2001-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
4085
4086         * http.c (http_loop): Reset no_truncate before deciding whether to
4087         set it.
4088         (gethttp): Further clarify "-c conflicts with existing file" error
4089         message, based on input from Herold Heiko.
4090
4091 2001-05-07  Hrvoje Niksic  <hniksic@arsdigita.com>
4092
4093         * http.c (http_loop): If restval is set, set no_truncate to 1
4094         unconditionally.
4095
4096 2001-05-02  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4097
4098         * ftp-ls.c (ftp_parse_winnt_ls): Assure months are being correctly
4099         converted. Pointed out by <Stefan.Weil@de.heidelberg.com>.
4100         (ftp_parse_vms_ls): Ditto.
4101
4102 2001-04-30  Hrvoje Niksic  <hniksic@arsdigita.com>
4103
4104         * init.c (cmd_address): Zero SIN before using it; apparently
4105         needed on *BSD.
4106
4107 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
4108
4109         * ftp.c (ftp_loop_internal): Don't set NO_TRUNCATE if the file is
4110         empty.
4111
4112 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
4113
4114         * main.c (main): Make `--cookies' respect its argument.
4115
4116 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
4117
4118         * main.c (main): Removed undocumented option `--email-address'.
4119
4120         * netrc.c: Use the latest read_whole_line.
4121
4122         * init.c (defaults): Set opt.ftp_pass to "-wget@".
4123
4124         * mswindows.c (pwd_cuserid): Ditto.
4125
4126         * utils.c (pwd_cuserid): Removed.
4127
4128         * host.c (ftp_getaddress): Removed.
4129
4130 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
4131
4132         (http_loop): Allocate space for filename_plus_orig_suffix with
4133         alloca; this is more efficient and removes the need to free it
4134         before each and every return.
4135
4136 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
4137
4138         * http.c (gethttp): Return RETRUNNEEDED when the retrieval is
4139         unneeded because the file is already there and fully downloaded,
4140         and -c is specified.
4141         (http_loop): Handle RETRUNNEEDED.
4142
4143         * wget.h (uerr_t): New value RETRUNNEEDED.
4144
4145         * http.c (http_loop): Set no_truncate for files that both exist
4146         and are non-empty.
4147         (gethttp): Consider the download finished when restval >= contlen,
4148         not only when restval==contlen.
4149         (gethttp): Handle redirection before giving up due to -c.
4150         (gethttp): Clarify error message which explains that -c will not
4151         truncate the file.
4152         (gethttp): When returning CONTNOTSUPPORTED, don't forget to free
4153         the stuff that needs freeing and release the socket.
4154
4155 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4156
4157         * main.c (print_help): Wget booleans accept "off", not "no".
4158
4159 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4160
4161         * http.c (http_loop): If allow_cache is zero, always disable
4162         caching, not only when retrieving through proxy.
4163
4164         * init.c: Ditto.
4165
4166         * options.h (struct options): Rename proxy_cache to allow_cache.
4167
4168 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4169
4170         * http.c (mktime_from_utc): Improve documentation.
4171         (http_atotm): Put format strings into a separate array.
4172
4173 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4174
4175         * safe-ctype.h: Instead of throwing #error when isalpha is
4176         defined, redefine it to something that will throw a compile-time
4177         error if actually *used*.  Do the same for the rest of the
4178         standard C macros.
4179
4180 2001-04-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4181
4182         * url.c (getproxy): Ignore empty proxy vars.
4183
4184 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4185
4186         * http.c (http_loop): Would load cookies every time.
4187
4188         * cookies.c (load_cookies): Handle cookies whose values contain
4189         embedded spaces.
4190
4191 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4192
4193         * utils.c: Define each DIGITS_* in one line.
4194
4195 2001-04-25  Roger L. Beeman  <beeman@cisco.com>
4196
4197         * http.c (http_atotm): Initialize t.tm_isdst to 0.
4198         (mktime_from_utc): Prevent mktime() from having discontinuities at
4199         DST transition points.
4200
4201 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4202
4203         * html-url.c (get_urls_html): Fix documentation.
4204
4205 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4206
4207         * url.c (UNSAFE_CHAR): Reimplement using a static table.
4208         (url_init): Removed.
4209         (init_unsafe_char_table): Removed.
4210
4211 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4212
4213         * snprintf.c (dopr): Replace ISDIGIT with '0' <= ch && ch <= '9'.
4214
4215 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4216
4217         * utils.c: Document timer functions.
4218
4219         * retr.c (rate): Use it.
4220         (rate): Print in GB/s if transfer rate exceeds 1 GB/s.
4221
4222         * utils.c (wtimer_granularity): New function.
4223
4224 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4225
4226         * retr.c (show_progress): Ditto.
4227
4228         * ftp.c (getftp): Ditto.
4229
4230         * http.c (gethttp): Use new timer functions.
4231
4232         * utils.c (wtimer_allocate): New function.
4233         (wtimer_new): Ditto.
4234         (wtimer_delete): Ditto.
4235         (wtimer_reset): Ditto.
4236         (wtimer_elapsed): Ditto.
4237
4238 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4239
4240         * utils.c (long_to_string): New, faster version.  Favors smaller
4241         numbers; much of the calculation is now done at compile-time.
4242
4243 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4244
4245         * utils.c (numdigit): Handle negative numbers.
4246
4247 2001-04-23  Hrvoje Niksic  <hniksic@arsdigita.com>
4248
4249         * retr.c (show_progress): Print the download rate even when the
4250         percentages are not available.
4251
4252 2001-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
4253
4254         * ftp.c (getftp): Adjust expected_bytes if the length is
4255         authoritative.
4256
4257 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4258
4259         * url.c: Don't declare `construct'.
4260
4261         * hash.c (grow_hash_table): Speed up rehashing; inline storing of
4262         mappings to new locations.
4263         (hash_table_new): Make resize_threshold a field in the hash table,
4264         so we don't have to recalculate it in each hash_table_put.
4265         (grow_hash_table): Update resize_threshold.
4266         (MAX): Remove unused macro.
4267         (prime_size): Made static.
4268
4269 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4270
4271         * retr.c (retrieve_url): Call uri_merge, not url_concat.
4272
4273         * html-url.c (collect_tags_mapper): Call uri_merge, not
4274         url_concat.
4275
4276         * url.c (mkstruct): Use encode_string instead of xstrdup followed
4277         by URL_CLEANSE.
4278         (path_simplify_with_kludge): Deleted.
4279         (contains_unsafe): Deleted.
4280         (construct): Renamed to uri_merge_1.
4281         (url_concat): Renamed to uri_merge.
4282
4283 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4284
4285         * url.c (str_url): Use encode_string instead of the unnecessary
4286         CLEANDUP.
4287         (encode_string_maybe): New function, returns input string if no
4288         encoding is needed.
4289         (encode_string): Call encode_string_maybe to do the dirty work,
4290         xstrdup if no work needed.
4291
4292 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4293
4294         * wget.h (XDIGIT_TO_xchar): Define here.
4295
4296         * url.c (decode_string): Use new name.
4297         (encode_string): Ditto.
4298
4299         * http.c (XDIGIT_TO_xchar): Rename HEXD2asc to XDIGIT_TO_xchar.
4300         (dump_hash): Use new name.
4301
4302         * wget.h: Rename ASC2HEXD and HEXD2ASC to XCHAR_TO_XDIGIT and
4303         XDIGIT_TO_XCHAR respectively.
4304
4305 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4306
4307         * init.c: Include cookies.h.
4308
4309         * cookies.h: Declare cookies_cleanup.
4310
4311         * cookies.c (check_domain_match): Remove unused variable.
4312         (save_cookies): Remove extraneous argument from debug statement.
4313
4314         * host.c (same_host): Don't call skip_url.
4315
4316         * url.c (skip_url): Removed.  Removed its calls from various
4317         functions in url.c.
4318
4319 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4320
4321         * cookies.c (unsigned_string_hash): Use the new code in
4322         string_hash as reference.
4323
4324         * hash.c (hash_table_map): Allow deletion and change of the
4325         element processed by MAPFUN.
4326         (string_hash): Use the function from glib.
4327
4328 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4329
4330         * config.h.in: Include #undef stub.
4331
4332         * hash.c (hash_table_remove): Rewrite to actually clear deleted
4333         entries instead of just marking them as deleted.
4334
4335 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4336
4337         * hash.h: Declare hash_table_get_pair and hash_table_count.
4338
4339 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4340
4341         * cookies.c: Declare http_atotm.
4342
4343 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4344
4345         * ftp-ls.c (ftp_parse_unix_ls): Use octal constants for
4346         permissions.  A compiler that doesn't accept octal constants is
4347         seriously broken and shouldn't be used -- octal constants were
4348         present in K&R C!
4349
4350 2001-01-20  Karl Eichwalder  <ke@suse.de>
4351
4352         * Makefile.in: Provide and use DESTDIR according to the Coding
4353         Standards.
4354
4355 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4356
4357         * ftp-ls.c (ftp_parse_vms_ls): Make seconds optional in time
4358         specification.
4359
4360 2001-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4361
4362         * url.c (parseurl): Don't strip trailing slash when u->dir is "/"
4363         because that strips the *leading* slash, thus forcing relative
4364         FTP retrieval.
4365
4366 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4367
4368         * ftp.c (getftp): Convert initial FTP directory from VMS to UNIX
4369         notation for VMS servers. 
4370         (ftp_retrieve_dirs): Do not prepend '/' to f->name when
4371         odir is an empty string.
4372
4373 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4374
4375         * ftp-ls.c (ftp_parse_winnt_ls): Made the fix for AM/PM more
4376         effective. Suggested by Edward J. Sabol.
4377
4378 2001-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4379
4380         * cookies.c (build_cookies_request): Use and sort cookies from all
4381         matching domains.
4382         (build_cookies_request): Check for duplicates before generating
4383         the `Cookies' header.
4384
4385         * main.c (main): Don't load cookies here.
4386         (main): Make loadcookies and savecookies call the correct command.
4387
4388         * http.c (http_loop): Load cookies on-demand.
4389
4390 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4391
4392         * http.c (gethttp): Fix indentation of SSL ifdef.
4393
4394 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4395
4396         * ftp.c (ftp_retrieve_dirs): Don't forcibly prepend "/" to u->dir;
4397         that hack is no longer necessary.
4398         (getftp): Prepend initial directory to *non*-absolute u->dir's.
4399
4400 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4401
4402         * init.c (cmd_file): New function.
4403         (enable_tilde_expansion): New variable.
4404         (run_wgetrc): Use it.
4405         (cmd_file): Use it.
4406
4407 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
4408
4409         * init.c: Include cookie-related options.
4410
4411         * main.c (main): Include cookie-specific options.
4412         (main): Load cookies before download is finished.
4413         (main): Save cookies when done.
4414
4415         * http.c (gethttp): Process the `Set-Cookie' header.
4416         (gethttp): Include cookies in the response.
4417
4418         * cookies.c: New file.
4419
4420 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
4421
4422         * utils.c (datetime_str): New function.
4423
4424 2001-04-08  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4425
4426         * ftp-ls.c (ftp_parse_winnt_ls): The AM/PM change did assume
4427         12:01PM == 00:01, which was obviously wrong. Taken care of this
4428         anomaly.
4429
4430         * ChangeLog: Removed an excess conflict marker. Reformatted the
4431         entry by Philipp Thomas from 2001-03-09.
4432
4433         * ftp-ls.c (ftp_parse_winnt_ls): Ensure that adjusted PM hours lay
4434         between 0 and 23. Elminate unused variable `sec'.
4435
4436 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
4437
4438         * hash.c (hash_table_count): New function.
4439
4440 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4441
4442         * utils.c (read_file): Cast MAP_FAILED to char *.  Enforced by
4443         Digital Unix cc.
4444
4445 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4446
4447         * config.h.in: Oops, do the namespace tweaks only on systems we
4448         know about.
4449
4450 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4451
4452         * hash.c: Include <string.h>.
4453
4454 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4455
4456         * config.h.in: Define "compilation environment" options that work
4457         under Linux and Solaris.  To be reviewed on other OS'es.
4458
4459 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4460
4461         * http.c (gethttp): Prepend literal newline with `\n\'.
4462
4463 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4464
4465         * sysdep.h: Don't define VERY_LONG_FORMAT.
4466
4467         * utils.c (very_long_to_string): New function.
4468         (legible_very_long): Use it; don't use VERY_LONG_FORMAT.
4469
4470 2001-04-04  Christian Fraenkel  <christian.fraenkel@gmx.net>
4471
4472         * url.c (parse_uname): Would run past the end of the string if the
4473         username was present, but the URL did not contain a slash, e.g.
4474         http://foo:bar@myhost.
4475
4476 2001-04-03  KOJIMA Hajime  <kjm@rins.ryukoku.ac.jp>
4477
4478         * http.c (http_atotm): Use %A instead of %a to match full
4479         weekday.  (On most systems there is no difference.)
4480
4481 2001-04-03  Paul Bludov  <paul@ozero.net>
4482
4483         * mswindows.c (sleep): Use SleepEx() instead of Sleep().
4484         (ws_changetitle): Use alloca() instead of malloc() to avoid memory
4485         leak.
4486         (ws_mypath): Use GetModuleFileName instead of argv[0].
4487         (ws_startup): Use data.wVersion for comparison.
4488
4489 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4490
4491         * http.c (http_loop): Ditto.
4492
4493         * ftp.c (ftp_loop_internal): Made the check whether to continue
4494         retrieval `-O'-friendly.
4495
4496 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4497
4498         * netrc.c (parse_netrc): Don't trim the line endings explicitly;
4499         they will be handled as whitespace.
4500         (parse_netrc): Correctly handle lines that end with whitespace.
4501
4502 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4503
4504         * retr.c (retrieve_url): New variable global_download_count used
4505         to identify first retrieval.
4506
4507         * ftp.c (getftp): Ditto.
4508
4509         * http.c (gethttp): Rewind opt.dfp only on first retrieval.
4510
4511 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4512
4513         * init.c (cmd_address): Heap-allocate the address that gets stored
4514         to CLOSURE.  Old code would simply assign an address on the stack.
4515
4516 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
4517
4518         * ftp.c (ftp_get_listing): Propagate error status.
4519         (ftp_retrieve_glob): Use it.
4520         (ftp_loop): Ditto.
4521
4522 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
4523
4524         * main.c (main): Add -C to the string that is the third arg to
4525         getopt_long().
4526
4527 2001-04-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4528
4529         * ftp.c (getftp): Don't start the download from scratch if `-c'
4530         was specified, but the file is already fully downloaded.
4531
4532         * http.c (gethttp): Don't truncate a pre-existing file if `-c' was
4533         specified and the server doesn't support continued download.
4534         (gethttp): Don't start the download from scratch if `-c' was
4535         specified, but the file is already fully downloaded.
4536
4537 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
4538
4539         (recursive_retrieve): Don't clear the hash tables at this point at
4540         all; it interferes with the normal operation of register_download.
4541
4542 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
4543
4544         * recur.c (recursive_retrieve): Clear the hash tables only when
4545         they are defined.
4546
4547 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
4548
4549         * http.c (gethttp): Make sure the socket is closed with
4550         CLOSE_INVALIDATE before we have drained the body.
4551
4552 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
4553
4554         * retr.c (retrieve_url): Call register_download() for downloaded
4555         files and register_html() for downloaded HTML files.
4556
4557         * recur.c (register_download): New function; register here that a
4558         file has been downloaded, rather than in recursive_retrieve().
4559         (register_html): New function; enqueue the location of HTML files
4560         here rather than in recursive_retrieve().
4561
4562 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
4563
4564         * main.c (print_help): Use multiple fputs instead of a single ugly
4565         printf().
4566         (main): Consistently assign numbers >128 to options without a
4567         corresponding character.
4568
4569 2001-03-09  Philipp Thomas  <pthomas@suse.de>
4570
4571         * safe-ctype.h: New file. Locale independent ctype.h replacement
4572         taken from libiberty.
4573
4574         * safe-ctype.c: New file. Tables for above.
4575
4576         * Makefile.in: Add safe-ctype$o to OBJS.  Add dependencies for
4577         safe-ctype$o.
4578
4579         * cmpt.c: Remove include of ctype.h. Use ISSPACE instead of
4580         isspace.
4581
4582         * ftp-basic.c: Don't include ctype.h.
4583
4584         * ftp-ls.c: Likewise.
4585
4586         * ftp.c: Likewise.
4587
4588         * headers.c: Likewise.
4589
4590         * host.c: Likewise.
4591
4592         * html-parse.c: Likewise.
4593
4594         * html-url.c: Likewise.
4595
4596         * http.c: Likewise.
4597
4598         * init.c: Likewise.
4599
4600         * main.c: Likewise. Set LC_CTYPE along with LC_MESSAGES.
4601
4602         * netrc.c: Likewise.
4603
4604         * recur.c: Likewise.
4605
4606         * retr.c: Likewise.
4607
4608         * snprintf.c: Replace ctype.h with safe-ctype.h. Use ISDIGIT
4609         instead of isdigit.
4610
4611         * sysdep.h: Remove defines of ctype macros as they aren't needed
4612         for safe-ctype-h.
4613
4614         * url.c: Don't include ctype.h.
4615
4616         * utils.c: Likewise.
4617
4618         * wget.h: Include safe-ctype.h.
4619
4620 2001-03-27  Dan Harkless  <wget@harkless.org>
4621
4622         * Makefile.in: Moved top_builddir out of "User configuration
4623         section" of top Makefile and analogous spot in this one.
4624
4625 2001-03-17  Dan Harkless  <wget@harkless.org>
4626
4627         * Makefile.in: Include @SSL_INCLUDES@ substition in INCLUDES.
4628         Define top_builddir.  Link wget with libtool so the user doesn't
4629         have to supply a bunch of custom environment variables to 
4630         correctly link with the OpenSSL shared libraries.
4631
4632 2001-03-06  Hack Kampbjorn  <hack@hackdata.com>
4633
4634         * http.c (gethttp): skip :port in host header if it is the
4635         DEFAULT_HTTPS_PORT when using SSL.
4636
4637         * url.c: move the #define of DEFAULT_HTTP_PORT, DEFAULT_FTP_PORT
4638         and DEFAULT_HTTPS_PORT to the header file so it can be use in the
4639         rest of the code. 
4640         * url.h: Ditto
4641
4642 2001-03-01  Jonas Jensen  <bones@huleboer.dk>
4643
4644         * retr.c (show_progress): Correctly calculate the number of bytes
4645         in the first line of the download that have been actually
4646         downloaded in this run.
4647
4648 2001-02-23  Dan Harkless  <wget@harkless.org>
4649
4650         * main.c (print_help): --help documentation for -N said it would
4651         re-download files if they had the _same_ timestamp on server.
4652         (print_help): -nr belongs in "FTP options" section of --help
4653         output, not "Recursive retrieval" section.  Alphabetized FTP
4654         options by long option name.
4655
4656 2001-02-16  Dan Harkless  <wget@harkless.org>
4657
4658         * init.c (commands): Hack Kampbjørn <hack@hackdata.com> discovered
4659         that "httpsproxy" had been inserted into commands[] out of
4660         alphabetical order, causing "BUG: unknown command `httpuser'".
4661
4662 2001-02-13  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4663
4664         * ftp-ls.c (ftp_parse_ls): Added support of ST_MACOS (Unix-like
4665         listing without correct permissons).
4666
4667         * ftp.h (stype): Added ST_MACOS to identify the NetPresenz MacOS
4668         FTP server. 
4669
4670         * ftp.c (ftp_retrieve_list): New mirroring logic: A remote file
4671         shall be donwloaded only when it's newer than the local copy or
4672         when it has the same timeestamp but its size is different. ST_VMS
4673         and ST_MACOS as special cases that lie about file size. 
4674
4675         * ftp-ls.c (ftp_parse_ls): Support for ST_MACOS.
4676
4677         * Makefile.in: Removed dependency on ftpparse library due to unclear
4678         copyright issues and absence of any feedback to our queries. 
4679
4680         * ftp-ls.c: Removed dependency on ftpparse library due to unclear
4681         copyright issues and absence of any feedback to our queries.   
4682         (ftp_parse_ls): Added a warning message when remote server system
4683         does not seem to be suported by wget. 
4684         (ftp_parse_vms_ls): New function for parsing VMS ftp
4685         server listing output.
4686         (clean_line): New function responsible for removing
4687         end-of-line characters from FTP listing texts.
4688
4689         * ftp.c (getftp): Global variables pwd and host_type are now
4690         member of the ccon structure under names ccon.id and ccon.rs. 
4691
4692         * ftp.h (struct ccon): Added formed global variables from ftp.c,
4693         enum stype rs (remote system identification) and char *id (initial
4694         working directory), as suggested by Hrvoje.
4695
4696         * url.c (parse_uname): Added support for passwords containing '@'
4697         characters.
4698         (skip_uname): Ditto.
4699
4700 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4701
4702         * ftp.c (ftp_loop): Reset con.
4703
4704 2001-01-06  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4705
4706         * url.c (parse_uname): Added support for passwords containing '@'
4707         characters.
4708         (skip_uname): Ditto.
4709
4710 2001-02-11  Hack Kampbjørn  <hack@hackdata.com>
4711
4712         * url.c (parseurl): Debug-print u->ftp_type.
4713
4714 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4715
4716         * ftp.c (ftp_loop_internal): Disable padding.
4717         (getftp): Ditto.
4718
4719         * http.c (http_loop): Disable padding.
4720
4721         * retr.c (show_progress): Use it to enable padding.
4722
4723         * retr.c (rate): Optional parameter PAD for padding the rate.
4724
4725 2001-02-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4726
4727         * retr.c (show_progress): Make sure that the last output line
4728         includes progress.
4729
4730 2001-02-10  Jonas Jensen  <bones@huleboer.dk>
4731
4732         * retr.c (show_progress): Print the download rate along with the
4733         percentages.
4734         Along with Anders Thorsby <anders@thorsby.dk>.
4735
4736 2001-02-10  Tim Mooney  <mooney@dogbert.cc.ndsu.NoDak.edu>
4737
4738         * ftp.h: Rename enums `command' to `wget_ftp_command' and
4739         `fstatus' to `wget_ftp_status' because old names clash with Tru64
4740         net/if.h.
4741
4742 2001-02-08  Christian Fraenkel <christian.fraenkel@gmx.net>
4743
4744         * gen_sslfunc.c: verify_callback is now static
4745
4746         * gen_sslfunc.c (init_ssl): load certificate if specified
4747
4748         * gen_sslfunc.c (ssl_printerr): new function
4749
4750         * init.c: added new --sslcertfile and --sslcertkey switches
4751
4752         * main.c: ditto
4753
4754         * options.h: ditto
4755
4756         * http.c (gethttp): abort when init_ssl fails
4757
4758 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
4759
4760         * mswindows.h: Include <malloc.h>; it's needed for alloca().
4761
4762 2001-01-10  Dan Harkless  <wget@harkless.org>
4763
4764         * url.c (str_url): Clarified this function's comment header after
4765         Hrvoje answered my question on the list as to when hide != 1.
4766         Also Hrvoje pointed out I need to use xstrdup() on the string literal.
4767
4768 2001-01-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4769
4770         * connect.c (bindport): Declare addrlen as int.  Diagnosed by
4771         Drazen Kacar <dave@arsdigita.com>.
4772         (conaddr): Ditto.
4773
4774 2001-01-09  Dan Harkless  <wget@harkless.org>
4775
4776         * html-url.c: A bunch of fixup of `--page-requisites'-related
4777         comments to reflect Hrvoje's changes to my code when transplanting
4778         it into this new file, to fix spelling mistakes, to clarify, etc.
4779
4780         * url.c (write_backup_file): Clarified a comment.
4781         (str_url): Henrik van Ginhoven pointed out on the list that we
4782         shouldn't give away the number of characters in the password by
4783         replacing each character with a 'x'.  Use "<password>" instead.
4784
4785         * ftp.c (ftp_retrieve_dirs): The bug where recursion into FTP
4786         directories didn't work if logging in put you in a directory other
4787         than "/" is fixed now.  Removed the comment here warning of the bug.
4788
4789         * main.c (print_help): --continue's description was misleading.
4790         We don't "restart", we "resume".  Also, better to say
4791         "partially-downloaded file" rather than just "existing file".
4792
4793 2001-01-06  Dan Harkless  <wget@harkless.org>
4794
4795         * ChangeLog: The '[Not in 1.6 branch.]'s were decided not to be
4796         the best way to go about my aim.  Removed them in favor of:
4797
4798         * ChangeLog-branches/1.6_branch.ChangeLog: New file.
4799
4800 2001-01-04  Hrvoje Niksic  <hniksic@arsdigita.com>
4801
4802         * url.c (replace_attr): New function, to be used by both
4803         TO_COMPLETE and TO_RELATIVE case in convert_links.
4804         (find_fragment): New function for finding URL fragments.
4805         (replace_attr): Better handle the case where the original string
4806         is not quoted.  Use find_fragment.
4807         (convert_links): Use replace_attr().
4808
4809 2000-12-31  Dan Harkless  <wget@harkless.org>
4810
4811         * ChangeLog: Since this flat file doesn't have multiple branches,
4812         looking at the dates would make you think that things went into
4813         1.6 that actually just went into the 1.7-dev branch.  Added "[Not
4814         in 1.6 branch.]" where appropriate to clarify.
4815         
4816 2000-12-30  Dan Harkless  <wget@harkless.org>
4817
4818         * ftp.c, http.c:  Applied Hack Kampbjørn <hack@hackdata.com>'s
4819         patch to deal with h_errno not being defined in netdb.h under Cygwin.
4820
4821 2000-12-18  Csaba Raduly  <csaba.raduly@sophos.com>
4822
4823         * sysdep.h: Include <malloc.h> and <io.h> under Watcom.
4824
4825 2000-12-17  Igor Khristophorov  <igor@atdot.org>
4826
4827         * http.c (check_end): Fix test for '+' or '-'.
4828
4829 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
4830
4831         * url.c (parseurl): Rename inner loop var from i to ind to avoid
4832         clash with the function top-level-declared variable i.
4833         (str_url): Likewise, rename inner-loop i to j.
4834
4835         * recur.c (parse_robots): Don't declare LEN at top of function.
4836         (robots_match): Renamed parameter FORBIDDEN to avoid hiding of
4837         global variable.
4838
4839         * main.c (main): Change erroneous use of bitwise and to logical.
4840
4841         * init.c (cmd_address): Don't heap-allocate `sin'; it can be on
4842         the stack because it will be copied to closure.
4843
4844         Thanks to Csaba Raduly's run of PC-LINT over the sources.
4845
4846 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
4847
4848         * http.c (basic_authentication_encode): Use xmalloc(), not
4849         malloc().  Thanks to Csaba Raduly's run of PC-LINT over the
4850         sources.
4851
4852 2000-12-17  Csaba Raduly  <csaba.raduly@sophos.com>
4853
4854         * sysdep.h: Test for __EMX__ rather than for EMXOS2 for OS/2
4855         compilation.
4856
4857 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
4858
4859         * mswindows.c: Include <errno.h>.
4860
4861         * gen_sslfunc.c: Include <errno.h>.
4862
4863         * ftp-basic.c: Don't attempt to declare errno or h_errno because
4864         they're not used.
4865
4866         * main.c: Include <errno.h> because errno is used.
4867
4868         * ftp.c: Ditto.
4869
4870         * http.c: Include <netdb.h> for h_errno.
4871
4872 2000-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4873
4874         * html-parse.c (advance_declaration): MSVC assert() chokes on
4875         '\"'.  Use '"' instead.
4876
4877 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4878
4879         * utils.c (xfree_real): Removed.
4880         (xfree_debug): Just call free().
4881
4882         * wget.h (xfree): Make it an alias for free.
4883
4884 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4885
4886         * http.c (http_loop): Furthermore, touch output_document only if
4887         it is known to be an existing regular file.
4888
4889 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4890
4891         * ftp.c (ftp_retrieve_list): Ditto.
4892
4893         * http.c (http_loop): Touch output_document if that is used for
4894         output.
4895
4896 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4897
4898         * http.c: Include gen_sslfunc.h after including Wget's headers.
4899         (persistent_available_p): Needed coma before `int ssl'.
4900
4901 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4902
4903         * ftp.c (ftp_loop_internal): Ditto.
4904
4905         * http.c (http_loop): Use it.
4906
4907         * retr.c (sleep_between_retrievals): New function that handles the
4908         logic of opt.wait and opt.waitretry.
4909
4910 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4911
4912         * rbuf.h: Implement only a single version of RBUF_READCHAR, using
4913         rbuf_read_bufferful when the buffer is depleted.
4914
4915         * rbuf.c (rbuf_read_bufferful): New function.
4916
4917 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4918
4919         * gen_sslfunc.h: Use ansi2knr style function declarations.
4920
4921         * gen_sslfunc.c: Reformat according to the GNU coding standards.
4922         More should be done.
4923
4924         * http.c (persistent_available_p): Place the cheap SSL test nearer
4925         the top of the function.
4926         (CLOSE_FINISH, CLOSE_INVALIDATE): Define only one version of each.
4927
4928 2000-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
4929
4930         * url.c (init_unsafe_char_table): Reinstate space as an unsafe
4931         char.
4932
4933 2000-12-03  Christian Fraenkel <christian.fraenkel@gmx.net>
4934
4935         * Makefile.in: added gen_sslfunc object
4936         * config.h.in: added HAVE_SSL define
4937         * connect.c: changed select_fd from static int to int
4938         * connect.h: ditto
4939         * gen_sslfunc.h: New file
4940         * gen_sslfunc.c: ditto
4941         * http.c: added HTTPS fuctionality
4942         * retrc.c: ditto
4943         * url.c: ditto
4944         * init.c: added opt.httpsproxy
4945         * options.h: ditto
4946         * rbuf.h: added alternate rbuf struct
4947         * wget.h: added CONSSLERR
4948         * rbuf.c: ditto
4949
4950         * http.c: Added HTTPS fuctionality.
4951
4952         * retrc.c: Ditto.
4953
4954         * url.c: Ditto.
4955
4956         * init.c: Added opt.httpsproxy.
4957
4958         * options.h: Ditto.
4959
4960         * rbuf.h: Added alternate rbuf struct.
4961
4962         * wget.h: Added CONSSLERR.
4963
4964         * rbuf.c: Ditto.
4965
4966 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4967
4968         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
4969         "ignore_perms" to ignore file and directory permissions for
4970         Windows NT FTP server listings.
4971         (ftp_parse_winnt_ls): New function.
4972         (ftp_parse_ls): Parses UNIX and Windows NT listings
4973         separately. Simple heuristics for distinguishing between UNIX and
4974         MS-DOS-like FTP listing provided by Windows NT FTP service.
4975
4976 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4977
4978         * ftpparse.c, ftpparse.h: New files.
4979
4980         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
4981         only. Use ftp_parse_nonunix_ls otherwise.
4982         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
4983         exotic FTP servers.
4984
4985         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
4986         FTP servers.
4987
4988         * ftp.c: New static wariables host_type, pwd, and pwd_len. 
4989         (getftp): Support for VMS. Support for FTP servers that do not
4990         place you in the root directory after login.
4991         (ftp_retrieve_list): VMS is silent about the real file size, issue
4992         a more appropriate message.
4993         (ftp_get_listing): Pass host_type to ftp_parse_ls.
4994
4995         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
4996
4997 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4998
4999         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
5000         "ignore_perms" to ignore file and directory permissions for
5001         Windows NT FTP server listings.
5002         (ftp_parse_winnt_ls): New function.
5003         (ftp_parse_ls): Parses UNIX and Windows NT listings
5004         separately. Simple heuristics for distinguishing between UNIX
5005         and MS-DOS-like FTP listing provided by Windows NT FTP service.
5006
5007 2000-11-29  John Summerfield  <summer@OS2.ami.com.au>
5008
5009         * netrc.c (parse_netrc): Get rid of line ending.
5010
5011 2000-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5012
5013         * ftp.c (ftp_retrieve_list): Undo typo "fix" until resolution by
5014         Dan.
5015
5016 2000-11-24  Karl Eichwalder  <ke@suse.de>
5017
5018         * main.c (print_help): Untabify.
5019
5020 2000-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
5021
5022         * utils.c (xrealloc_debug): Do the unregister/register thing only
5023         if the pointer has actually changed.
5024         (xmalloc_real): Declare `static' in DEBUG_MALLOC builds.
5025         (xfree_real): Ditto.
5026         (xrealloc_real): Ditto.
5027         (xstrdup_real): Ditto.
5028
5029 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
5030
5031         * ftp.c (getftp): ftp_getaddress() returns a malloc'ed copy of the
5032         string; no need to strdup() it.
5033         (getftp): Make pwd_len a local variable.
5034         (ftp_loop): Free PWD before returning.
5035
5036         * init.c (cleanup): Free opt.ftp_pass only if it's non-NULL.
5037
5038 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
5039
5040         * all: Use xfree() instead of free.
5041
5042         * utils.c (xfree): New function.
5043
5044 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
5045
5046         * url.c (convert_links): HTML-quote the converted string.
5047
5048         * utils.c (html_quote_string): Move here from ftp-ls.c
5049         (html_quote_string): Make non-static; declare in utils.h.
5050         (html_quote_string): Convert SP to &#32;.
5051
5052 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
5053
5054         * ftp.c (getftp): Reformat Jan's code according to GNU coding
5055         standards; remove (debugging?) printf's; use '\0' for the ASCII
5056         zero character.  Use alloca() instead of malloc() for
5057         inter-function temporary allocations.
5058
5059 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5060
5061         * ftpparse.c, ftpparse.h: New files.
5062
5063         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
5064         only. Use ftp_parse_nonunix_ls otherwise.
5065         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
5066         exotic FTP servers.
5067
5068         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
5069         FTP servers.
5070
5071         * ftp.c: New static wariables host_type, pwd, and pwd_len. 
5072         (getftp): Support for VMS. Support for FTP servers that do not
5073         place you in the root directory after login.
5074         (ftp_retrieve_list): VMS is silent about the real file size, issue
5075         a more appropriate message.
5076         (ftp_get_listing): Pass host_type to ftp_parse_ls.
5077
5078         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
5079
5080 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
5081
5082         * hash.c (hash_table_put): Don't overwrite deleted mappings.
5083
5084 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
5085
5086         * hash.c (find_mapping): New function.
5087         (hash_table_get): Use it.
5088         (hash_table_get_pair): Ditto.
5089         (hash_table_exists): Ditto.
5090         (hash_table_remove): Ditto.
5091         (hash_table_remove): Really delete the entry if the mapping
5092         following LOCATION is empty.
5093
5094         * utils.c (string_set_add): Check whether the element has existed
5095         before.
5096
5097         * hash.c (hash_table_get_pair): New function.
5098
5099 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
5100
5101         * http.c (http_process_type): Ignore trailing whitespace; use
5102         strdupdelim().
5103
5104         * recur.c (recursive_retrieve): Use the new `convert' field.
5105         (convert_all_links): Ditto.
5106         (convert_all_links): Don't respect meta_disallow_follow.
5107
5108         * html-url.c (handle_link): Fill out link_relative_p and
5109         link_complete_p.
5110
5111         * url.h (struct _urlpos): Make elements more readable.
5112
5113         * recur.c (recursive_retrieve): Call slist_prepend instead of
5114         slist_append.
5115         (convert_all_links): Call slist_nreverse before iterating through
5116         urls_html.
5117
5118         * utils.c (slist_prepend): New function.
5119         (slist_nreverse): Ditto.
5120
5121 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
5122
5123         * http.c (check_end): Constify.
5124
5125 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
5126
5127         * http.c (http_loop): If username and password are known, try the
5128         `Basic' authentication scheme by default.
5129
5130         * connect.h: Declare test_socket_open.
5131
5132 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
5133
5134         * version.c: Bump version from 1.5.3+dev to 1.7-dev.
5135
5136 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
5137
5138         * http.c (gethttp): Don't use the return value of sprintf().
5139         (gethttp): Inhibit keep-alive if opt.http_keep_alive is 0.
5140
5141 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
5142
5143         * recur.c (recursive_retrieve): Print the "so we don't load"
5144         debugging message only if we really don't load.
5145
5146         * http.c (gethttp): Inhibit keep-alive if proxy is being used.
5147         (gethttp): Don't request keep-alive if keep-alive is inhibited.
5148
5149 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
5150
5151         * http.c (gethttp): Make the HTTP persistent connections more
5152         robust.
5153
5154 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
5155
5156         * retr.c (get_contents): If use_expected, make sure that the
5157         appropriate amount of data is being read.
5158
5159         * http.c (gethttp): Check for both `Keep-Alive: ...' and
5160         `Connection: Keep-Alive'.
5161
5162         * wget.h (DEBUGP): Call debug_logprintf only if opt.debug is
5163         turned on.
5164
5165 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
5166
5167         * http.c (connection_available_p): Use it.
5168
5169         * connect.c (test_socket_open): New function.
5170
5171         * http.c (gethttp): Support persistent connections.  Based on the
5172         ideas, and partly on code, by Sam Horrocks <sam@daemoninc.com>.
5173         (register_persistent): New function.
5174         (connection_available_p): Ditto.
5175         (invalidate_connection): Ditto.
5176
5177 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
5178
5179         * url.c (convert_links): Handle UREL2ABS case.
5180
5181         * recur.c (recursive_retrieve): Instead of the list
5182         urls_downloaded, use hash tables dl_file_url_map and
5183         dl_url_file_map.
5184         (convert_all_links): Use them to retrieve data.
5185
5186         * host.c (clean_hosts): Free the hash tables.
5187
5188         * main.c (private_initialize): Call host_init().
5189
5190         * host.c (store_hostaddress): Use a saner, hash table-based data
5191         model.
5192         (realhost): Ditto.
5193         (host_init): Initialize the hash tables.
5194
5195 2000-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
5196
5197         * utils.c (slist_append): Eviscerate NOSORT.  Hash tables are now
5198         used for what the sorted slists used to be used for.
5199         (slist_contains): Don't rely on the list being sorted.
5200         (slist_append): Simplify the code.
5201
5202         * recur.c (recursive_cleanup): Use free_string_set.
5203
5204         * utils.c (string_set_add, string_set_exists, string_set_free):
5205         New functions for easier freeing of hash tables whose keys are
5206         strdup'ed strings.
5207
5208         * recur.c (recursive_retrieve): Use the hash table functions for
5209         storing undesirable URLs.
5210
5211         * hash.c: New file.
5212
5213 2000-11-17  Hrvoje Niksic  <hniksic@arsdigita.com>
5214
5215         * main.c (private_initialize): Call url_init.
5216         (main): Call private_initialize.
5217
5218         * url.c (unsafe_char_table): New table.
5219         (UNSAFE_CHAR): Use it.
5220         (init_unsafe_char_table): New function.
5221         (url_init): New function; call init_unsafe_char_table.
5222
5223 2000-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
5224
5225         * mswindows.h: Define snprintf and vsnprintf to _snprintf and
5226         _vsnprintf respectively.
5227
5228 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
5229
5230         * config.h.in: Do the _XOPEN_SOURCE and _SVID_SOURCE things only
5231         on Linux.
5232
5233 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
5234
5235         * html-url.c (handle_link): Handle HTML fragment identifiers.
5236
5237         * recur.c (recursive_retrieve): If norobot info is respected and
5238         the file is specified not to be followed by robots, respect that.
5239
5240         * html-url.c (collect_tags_mapper): Handle <meta name=robots
5241         content=X>.  For us the important cases are where X is NONE or
5242         where X contains NOFOLLOW.
5243         (get_urls_html): Propagate that information to the caller.
5244
5245 2000-11-13  Hrvoje Niksic  <hniksic@arsdigita.com>
5246
5247         * url.c (convert_links): Unlink the file we might be reading from
5248         before writing to it.
5249         (convert_links): Use alloca instead of malloc for
5250         filename_plus_orig_suffix.
5251
5252 2000-11-12  Hrvoje Niksic  <hniksic@arsdigita.com>
5253
5254         * host.c (realhost): Add HOST to the list with quality==0 only if
5255         it wasn't already there.
5256         Based on analysis by Lu Guohan <feng@public.bjnet.edu.cn>.
5257
5258 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
5259
5260         * url.c (get_urls_file): Ditto.
5261         (convert_links): Ditto.
5262
5263         * html-url.c (get_urls_html): Use read_file() instead of
5264         load_file().
5265
5266         * utils.c (read_file): New function, instead of the old
5267         load_file().
5268         (read_file_free): Ditto.
5269
5270         * url.c (findurl): Search only for the supported protocols.
5271         (convert_links): Use fwrite() when writing out a region of
5272         characters.
5273
5274 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
5275
5276         * ftp-ls.c: Move html_quote_string and ftp_index here.
5277
5278         * url.c: Remove get_urls_html, since that's now in html-url.c.
5279
5280         * html-url.c: New file.
5281
5282         * html-parse.c: New file.
5283
5284 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
5285
5286         * init.c (run_wgetrc): Don't bother killing off '\r' since
5287         pars_line() skips whitespace at end of line anyway.
5288         (parse_line): Oops, it didn't.  Now it does.
5289
5290         * recur.c (parse_robots): Ditto here.
5291
5292         * ftp-ls.c (ftp_parse_unix_ls): Kill off the newline character
5293         manually because read_whole_line no longer does.
5294
5295         * utils.c (read_whole_line): Rewrite to: a) use less memory
5296         (reallocates to needed size after work), b) work faster -->
5297         fgets() instead of getc, c) be more correct --> doesn't kill the
5298         newline character at the end of line.
5299
5300 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
5301
5302         * init.c (comind): Initialize MAX to array size - 1.
5303
5304 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
5305
5306         * url.c (construct): Changed last_slash[-1] to *(last_slash - 1).
5307         Suggested by Edward J. Sabol.
5308
5309 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
5310
5311         * url.c (construct): Handle the case where host name is not
5312         followed by a slash.
5313
5314 2000-11-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5315
5316         * init.c: commands[] need to be sorted!  ("base" wasn't.)
5317
5318 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
5319
5320         * wget.h (DO_REALLOC_FROM_ALLOCA): Use braces to disambiguate
5321         `if'.
5322
5323 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
5324
5325         * url.c (construct): Insert unneeded initialization for the
5326         compiler to shut up.
5327
5328         * config.h.in: Define _XOPEN_SOURCE to 500 to get the prototype
5329         for strptime() (*duh*).  Define _SVID_SOURCE to get S_IFLNK which
5330         otherwise gets lost when you define _XOPEN_SOURCE.
5331
5332         * utils.c (touch): Include the file name in the error message.
5333         From Debian.
5334
5335 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
5336
5337         * log.c (logvprintf): Use vsnprintf() in all cases.  If necessary,
5338         resize the buffer to fit the formated message.  That way, messages
5339         of arbitrary size may be printed.
5340         (logvprintf): Use saved_append() to optionally log the last
5341         several lines of output.
5342         (logputs): Ditto.
5343         (log_close): Adapt to new data structures.
5344         (log_dump): Ditto.
5345         (redirect_output): Print messages to stderr, not to stdout.
5346
5347         * log.c (saved_append_1): New function.  Replaces the old logging
5348         system ("log all output until 10M characters") with a new, much
5349         more reasonable one ("log last screenful of text").
5350         (saved_append): New function; call saved_append_1.
5351         (free_log_line): New function.
5352
5353 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
5354
5355         * url.c (construct): Fix comment.
5356         (find_last_char): Document.
5357
5358 2000-11-04  Hrvoje Niksic  <hniksic@arsdigita.com>
5359
5360         * snprintf.c: New file.
5361
5362 2000-11-03  Hrvoje Niksic  <hniksic@arsdigita.com>
5363
5364         * wget.h: If HAVE_STDARG_H is not defined, don't declare argument
5365         types to logprintf() and debug_logprintf().
5366
5367 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
5368
5369         * ftp.c (ftp_loop_internal): Hide the password from the URL when
5370         printing non-verbose.  Problem spotted by Dariusz Mlynarczyk
5371         <darekm@bydg.lomac.com.pl>.
5372
5373 2000-11-02  Junio Hamano  <junio@twinsun.com>
5374
5375         * ftp-basic.c (ftp_login): Make comparison case-insensitive.
5376
5377 2000-11-02  Tyler Riddle  <triddle@liquidmarket.com>
5378
5379         * http.c (known_authentication_scheme_p): Recognize NTML
5380         authentication.
5381         (create_authorization_line): Treat NTML the same as `Basic'.
5382
5383 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
5384
5385         * retr.c (retrieve_url): Free url before returning.
5386         (retrieve_url): Free mynewloc before returning.
5387         Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
5388
5389 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
5390
5391         * url.c (parseurl): Remove possible reading past the end of
5392         sup_protos[].  Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
5393
5394 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5395
5396         * main.c (main): In case of opt.downloaded overflowing, print
5397         <overflow> instead of a totally bogus random value.
5398
5399         * retr.c (retrieve_from_file): Ditto.
5400
5401         * recur.c (recursive_retrieve): Ditto.
5402
5403         * main.c (main): Ditto.
5404
5405         * http.c (http_loop): Ditto.
5406
5407         * ftp.c (ftp_loop_internal): Use downloaded_increase() instead of
5408         `+=', and downloaded_exceeds_quota() instead of the simple-minded
5409         check.
5410         (ftp_retrieve_list): Ditto.
5411         (ftp_retrieve_dirs): Ditto.
5412         (ftp_retrieve_glob): Ditto.
5413
5414         * retr.c (downloaded_increase): New function.  Notice overflows of
5415         opt.downloaded.
5416         (downloaded_exceeds_quota): Make sure that opt.downloaded is not
5417         used if it overflowed.
5418
5419         * options.h (struct options): New member downloaded_overflow.
5420
5421 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5422
5423         * wget.h (enum): Remove extra space after last enumeration.
5424
5425 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5426
5427         * main.c (main): Use legible_very_long() for printing
5428         opt.downloaded.
5429
5430         * utils.c (legible_1): New function that operates on strings and
5431         does the brunt of legible()'s work.
5432         (legible): Use legible_1().
5433         (legible_very_long): New function; dump the argument with
5434         sprintf(), and call legible_1().
5435
5436         * options.h (struct options): Use VERY_LONG_TYPE for
5437         opt.downloaded.
5438
5439         * sysdep.h (VERY_LONG_TYPE): Define it to have a 64-bit or greater
5440         type.
5441
5442         * config.h.in: Make sure that SIZEOF_LONG and SIZEOF_LONG_LONG get
5443         defined.  Define HAVE_LONG_LONG if long long is available.
5444
5445 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5446
5447         * utils.c (long_to_string): Update with a later, better version.
5448
5449 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5450
5451         * url.c (path_simplify_with_kludge): New function.
5452         (path_simplify_with_kludge): Disable it.  Instead...
5453         (parse_dir): ...make sure that at this point the right thing is
5454         done, i.e. that "query" part of the URL (?...) is always assigned
5455         to the file, never to the directory portion of the path.
5456
5457 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5458
5459         * retr.c (retrieve_url): Detect redirection cycles.
5460
5461 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5462
5463         * url.c (get_urls_html): Decode HTML entities using
5464         html_decode_entities.
5465
5466         * html.c (htmlfindurl): Don't count the `#' in numeric entities
5467         (&#NNN;) as an HTML fragemnt.
5468         (html_decode_entities): New function.
5469
5470 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5471
5472         * html.c (htmlfindurl): Fix recognition of # HTML fragments.
5473
5474 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5475
5476         * url.c (construct): Rewritten for clarity.  Avoids the
5477         unnecessary copying and stack-allocation the old version
5478         performed.
5479
5480 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
5481
5482         * ftp.c (getftp): Ditto.
5483
5484         * http.c (gethttp): Rewind the stream when retrying from scratch.
5485
5486 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
5487
5488         * retr.c (retrieve_url): Use url_concat() to handle relative
5489         redirections instead of /ad hoc/ code.
5490
5491         * url.c (url_concat): New function encapsulating weird
5492         construct().
5493         (urllen_http_hack): New function.
5494         (construct): When constructing new URLs, recognize that `?' does
5495         not form part of the file name in HTTP.
5496
5497 2000-10-13  Adrian Aichner  <adrian@xemacs.org>
5498
5499         * retr.c: Add msec timing support for WINDOWS.
5500         * retr.c (reset_timer): GetSystemTime() on WINDOWS.
5501         * retr.c (elapsed_time): Calculate delta time to msec on WINDOWS.
5502
5503 2000-10-27  Dan Harkless  <wget@harkless.org>
5504
5505         * retr.c (retrieve_url): Manually applied T. Bharath
5506         <TBharath@responsenetworks.com>'s patch to get wget to grok
5507         illegal relative URL redirects.  Reformatted and re-commented it.
5508
5509 2000-10-23  Dan Harkless  <wget@harkless.org>
5510
5511         * connect.c (make_connection and bindport): Manually applied Rob
5512         Mayoff <mayoff@dqd.com>'s 1.5.3 patch to add --bind-address,
5513         changing coding style to GNU's.
5514
5515         * ftp.c (ftp_loop_internal): --delete-after wasn't implemented for
5516         files downloaded via FTP.  Per a comment, .listing files were not
5517         counted towards number of bytes and files downloaded because they're 
5518         deleted anyway.  Well, they aren't under -nr, so count them then.
5519
5520         * init.c: Manually applied Rob Mayoff's 1.5.3 patch to add
5521         --bind-address, alphabetizing, changing coding style to GNU's,
5522         commenting, and renaming cmd_ip_address() to cmd_address() to
5523         imply hostnames also okay.
5524                 
5525         * main.c (main): --delete-after didn't delete the root of the
5526         tree.  Ignore --convert-links if --delete-after was specified.
5527         Manually applied Rob Mayoff's 1.5.3 patch to add --bind-address,
5528         fixing duplicate use of added-since-1.5.3 case value.
5529         (print_help): Clarified that --delete-after deletes local files.
5530         Rob forgot to add a line for his new --bind-address option.
5531                 
5532         * options.h (struct options): Manually applied Rob Mayoff's patch
5533         to add --bind-address (bind_address structure member).
5534                 
5535         * recur.c (recursive_retrieve): Improved comment; added DEBUGP().
5536         Ignore --convert-links if --delete-after was specified.
5537                 
5538         * retr.c (retrieve_from_file): Just added a DEBUGP().
5539                 
5540 2000-10-19  Dan Harkless  <wget@harkless.org>
5541
5542         * ftp.c (ftp_loop_internal): downloaded_file() enumerators changed.
5543         (getftp): Applied Piotr Sulecki <Piotr.Sulecki@ios.krakow.pl>'s
5544         patch to work around FTP servers that incorrectly respond to the
5545         "REST" command with the remaining size rather than the total file size.
5546                 
5547         * http.c (gethttp): Improved a comment and added code to tack on
5548         ".html" to text/html files without that extension when -E specified.
5549         (http_loop): Use new downloaded_file() enumerators and deal with
5550         the case of gethttp() called xrealloc() on u->local.
5551
5552         * init.c (commands): Added new "htmlextension" command.
5553         Also renamed John Daily's cmd_quad() to the more descriptive
5554         cmd_lockable_boolean(), alpha-sorted the CMD_DECLARE()s and
5555         removed duplicate cmd_boolean() declaration.
5556
5557         * main.c (print_help): Added my new -E / --html-extension option.
5558         (main): Undocumented --email-address option previously used -E synonym.
5559         Stole it away for the much more deserving --html-extension's use.
5560
5561         * options.h (struct options): Added html_extension field.
5562
5563         * url.c (convert_links): URL X that we saved as X.html locally due
5564         to -E needs to be backed up as X.orig, not X.html.orig.  Added comments.
5565         (downloaded_file): Now remembers if we added .html extension to a file.
5566
5567         * url.h (downloaded_file_t): Added extra enumerators to support above.
5568         (downloaded_file): Now takes and returns a downloaded_file_t.
5569
5570         * wget.h (unnamed "dt" enum): Added ADDED_HTML_EXTENSION enumerator.
5571         
5572 2000-10-09  Dan Harkless  <wget@harkless.org>
5573
5574         * html.c (htmlfindurl): Added unneeded initialization to quiet warning.
5575                 
5576         * main.c (print_help): Clarified what --retr-symlinks does.
5577         
5578 2000-09-15  John Daily  <jdaily@cyberdude.com>
5579
5580         * init.c: Add support for "always" and "never" values to allow
5581         .wgetrc to override commandline (useful e.g. with .pm files
5582         calling `wget --passive-ftp' when your firewall doesn't allow that).
5583
5584         * ftp.c (getftp): passive_ftp is first option to support always/never.
5585
5586 2000-08-30  Dan Harkless  <wget@harkless.org>
5587
5588         * ftp.c (ftp_retrieve_list): Use new INFINITE_RECURSION #define.
5589         
5590         * html.c: htmlfindurl() now takes final `dash_p_leaf_HTML' parameter.
5591         Wrapped some > 80-column lines.  When -p is specified and we're at a 
5592         leaf node, do not traverse <A>, <AREA>, or <LINK> tags other than 
5593         <LINK REL="stylesheet">.
5594         
5595         * html.h (htmlfindurl): Now takes final `dash_p_leaf_HTML' parameter.
5596         
5597         * init.c: Added new -p / --page-requisites / page_requisites option.
5598
5599         * main.c (print_help): Clarified that -l inf and -l 0 both allow
5600         infinite recursion.  Changed the unhelpful --mirrior description
5601         to simply give the options it's equivalent to.  Added new -p option.
5602         (main): Added some comments; handle new -p / --page-requisites.
5603         
5604         * options.h (struct options): Added new page_requisites field.
5605
5606         * recur.c: Changed "URL-s" to "URLs" and "HTML-s" to "HTMLs".
5607         Calculate and pass down new `dash_p_leaf_HTML' parameter to
5608         get_urls_html().  Use new INFINITE_RECURSION #define.
5609
5610         * retr.c: Changed "URL-s" to "URLs".  get_urls_html() now takes
5611         final `dash_p_leaf_HTML' parameter.
5612
5613         * url.c: get_urls_html() and htmlfindurl() now take final
5614         `dash_p_leaf_HTML' parameter.
5615
5616         * url.h (get_urls_html): Now takes final `dash_p_leaf_HTML' parameter.
5617
5618         * wget.h: Added some comments and new INFINITE_RECURSION #define.
5619         
5620 2000-08-23  Dan Harkless  <wget@harkless.org>
5621
5622         * main.c (print_help): -B / --base was not mentioned.
5623
5624 2000-08-22  Dan Harkless  <wget@harkless.org>
5625
5626         * main.c (print_help): Modified -nc description to mention that it
5627         also prevents the creation of multiple versions of the same file
5628         with ".<number>" suffixes.
5629
5630 2000-07-14  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5631
5632         * retr.c (retrieve_url): Consistently strdup opt.referer when
5633         setting u->referer.
5634
5635 2000-06-09  Dan Harkless  <wget@harkless.org>
5636
5637         * main.c (print_help): --help output for --waitretry was over 80 cols.
5638
5639 2000-06-09  Hrvoje Niksic  <hniksic@iskon.hr>
5640
5641         * url.c (encode_string): Fix comment.
5642         Suggested by Herold Heiko <Heiko.Herold@previnet.it>.
5643
5644 2000-06-01  Const Kaplinsky  <const@ce.cctpu.edu.ru>
5645
5646         * ftp.c (ftp_retrieve_list): Change permissions only on plain
5647         files.
5648
5649 2000-06-01  Hrvoje Niksic  <hniksic@iskon.hr>
5650
5651         * url.c (str_url): Print the port number only if it's different
5652         from the default port number for that protocol.
5653
5654 2000-05-22  Dan Harkless  <wget@harkless.org>
5655
5656         * main.c (print_help): Added --help line for Damir Dzeko
5657         <ddzeko@zesoi.fer.hr>'s until-now-undocumented --referer option.
5658         Removed comments that --referer and --waitretry were undocumented.
5659         Changed "`.wgetrc' command" to "`.wgetrc'-style command" on --help
5660         line for --execute.
5661
5662 2000-05-18  Hrvoje Niksic  <hniksic@iskon.hr>
5663
5664         * ftp.c (getftp): Ditto.
5665
5666         * http.c (gethttp): Check for return value of fclose/fflush.
5667
5668 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
5669
5670         * host.c (store_hostaddress): Instead of shifting ADDR, start
5671         copying from the correct address.
5672
5673 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
5674
5675         * http.c (gethttp): Don't free REQUEST -- it was allocated with
5676         alloca().
5677         Pointed out by Gisle Vanem <gvanem@eunet.no>.
5678
5679 2000-04-04  Dan Harkless  <wget@harkless.org>
5680
5681         * host.c (store_hostaddress): R. K. Owen's patch introduces a
5682         "left shift count >= width of type" warning on 32-bit
5683         architectures.  Got rid of it by tricking the compiler w/ a variable.
5684         
5685         * url.c (UNSAFE_CHAR): The macro didn't include all the illegal
5686         characters per RFC1738, namely everything above '~'.  It also
5687         generated a warning on OSes where char =~ unsigned char.  Fixed.
5688         
5689 1998-10-17  Hrvoje Niksic  <hniksic@srce.hr>
5690
5691         * http.c (http_process_type): Removed needless strdup(), a memory
5692         leak.
5693
5694 1998-09-25  Hrvoje Niksic  <hniksic@srce.hr>
5695
5696         * html.c (htmlfindurl): Set PH to the first occurrence of `#'.
5697
5698 1998-09-25  Simon Munton  <simonm@m4data.co.uk>
5699
5700         * init.c (wgetrc_file_name): Don't free HOME under Windows.
5701
5702 1998-12-01  "R. K. Owen"  <rkowen@Nersc.GOV>
5703
5704         * host.c (store_hostaddress): Fix for big endian 64-bit machines.
5705
5706 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
5707
5708         * url.c (UNSAFE_CHAR): New macro.
5709         (contains_unsafe): Use it.
5710         (encode_string): Ditto.
5711
5712 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
5713
5714         * main.c (i18n_initialize): Use LC_MESSAGES only if available.
5715
5716 2000-03-31  Hrvoje Niksic  <hniksic@srce.hr>
5717
5718         * Use TOUPPER/TOLOWER.
5719
5720 1998-12-22  Alexander V. Lukyanov  <lav@yars.free.net>
5721
5722         * ftp-opie.c (btoe): Zero-terminate OSTORE.
5723
5724 2000-03-21  Hrvoje Niksic  <hniksic@iskon.hr>
5725
5726         * wget.h (DO_REALLOC_FROM_ALLOCA): Ditto.
5727
5728         * sysdep.h (ISALNUM): New macro.
5729         (TOLOWER): Ditto.
5730         (TOUPPER): Ditto.
5731
5732 2000-03-10  Dan Harkless  <wget@harkless.org>
5733
5734         * html.c (idmatch): Implemented checking of my new --follow-tags
5735         and --ignore-tags options.
5736         
5737         * init.c (commands): Added comment reminding people adding new
5738         entries doing allocation to add corresponding freeing in cleanup().
5739         (commands): Added new followtags and ignoretags commands.
5740         (cleanup): Free storage for new followtags and ignoretags.
5741         
5742         * main.c: Use of "comma-separated list" was random -- normalized
5743         it.  Did some alphabetization.  Added comments pointing out
5744         "Options without arguments" and "Options accepting an argument"
5745         sections of long_options[].  Added new options --follow-tags and
5746         -G / --ignore-tags.  Added comment that Damir's --referer is
5747         currently undocumented.  Added comment that Heiko's --waitretry is
5748         partially undocumented (mentioned in --help but not in
5749         wget.texi).  Moved improperly sorted 24, 129, and 'G' cases.
5750         
5751         * options.h (struct options): Added new fields follow_tags and
5752         ignore_tags. 
5753         
5754         * wget.h: Added "#define EQ 0" so we can say "strcmp(a, b) == EQ".
5755         
5756 2000-03-02  Dan Harkless  <wget@harkless.org>
5757
5758         * ftp.c (ftp_loop_internal): Heiko introduced "suggest explicit
5759         braces to avoid ambiguous `else'" warnings.  Eliminated them.
5760         
5761         * http.c (gethttp): Dan Berger's query string patch is totally
5762         bogus.  If you have two different URLs, gen_page.cgi?page1 and
5763         get_page.cgi?page2, they'll both be saved as get_page.cgi and the
5764         second will overwrite the first.  Also, parameters to implicit
5765         CGIs, like "http://www.host.com/db/?2000-03-02" cause the URLs to
5766         be printed with trailing garbage characters, and could seg fault.
5767         Backing out the patch, which Dan B. informed me by email was just
5768         a kludge to download StarOffice from Sun made necessary due to
5769         wget's unconditional escaping of certain characters (room for an
5770         option there?).
5771         (http_loop): Heiko introduced "suggest explicit braces to avoid
5772         ambiguous `else'" warnings.  Eliminated them.
5773         
5774         * main.c: Heiko's --wait / --waitretry backwards compatibility
5775         code looks to have been totally untested -- automatic variable
5776         'wr' was used without being initialized, and a long int was passed
5777         into setval()'s char* val parameter.
5778         
5779         * recur.c (parse_robots): Applied Edward J. Sabol
5780         <sabol@alderaan.gsfc.nasa.gov>'s patch for Guan Yang's reported
5781         problem with "User-agent:<space>*<space>" lines in robots.txt.
5782         
5783         * url.c (parseurl, str_url): Removing Dan Berger's code (see
5784         http.c above for explanation).
5785         
5786 1999-08-25  Heiko Herold  <Heiko.Herold@previnet.it>
5787
5788         * ftp.c: Respect new option waitretry.
5789
5790 2000-01-30  Damir Dzeko  <ddzeko@zesoi.fer.hr>
5791
5792         * http.c (gethttp): Send custom Referer, if required.
5793
5794 1999-09-24  Charles G Waldman  <cgw@fnal.gov>
5795
5796         * netrc.c (parse_netrc): Allow passwords to contain spaces.
5797
5798         * netrc.c (parse_netrc): New function.
5799
5800 1999-09-17  Dan Berger  <dberger@ix.netcom.com>
5801
5802         * http.c (gethttp): Send it.
5803
5804         * url.c (parseurl): Detect query string in HTTP URL-s.
5805         (str_url): Print it.
5806
5807 2000-03-02  HIROSE Masaaki  <hirose31@t3.rim.or.jp>
5808
5809         * html.c (html_allow): Add <link href=...> and <script src=...>.
5810
5811 1999-05-02  andrew deryabin  <djsf@softhome.net>
5812
5813         * http.c (gethttp): Specify port in `Host' header only if it's
5814         different from 80.
5815
5816 1998-11-03  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
5817
5818         * recur.c (recursive_retrieve): If a finite maximum depth is
5819         specified, and we're are already at that depth, don't download the
5820         HTML file for parsing.
5821
5822 2000-03-01  Dan Harkless  <wget@harkless.org>
5823
5824         * ftp.c (ftp_loop_internal): Call new downloaded_file() function,
5825         even though we don't do conversion on HTML files retrieved via
5826         FTP, so _current_ usage of downloaded_file() makes this call unneeded. 
5827         (ftp_retrieve_list): Added a comment saying where we need to
5828         stat() a .orig file if FTP'd HTML file conversion is ever implemented.
5829         (ftp_retrieve_list): "Local file '%s' is more recent," is sometimes
5830         a lie -- reworded as "Server file no newer than local file '%s' --".
5831         
5832         * http.c (http_loop): Fixed a typo and clarified a comment.
5833         (http_loop): When -K and -N are specified together, compare size
5834         and timestamp of server file X against local file X.orig (if
5835         extant) rather than converted local file X.
5836         (http_loop): "Local file '%s' is more recent," is sometimes a lie
5837         -- reworded as "Server file no newer than local file '%s' --".
5838         (http_loop): Call new downloaded_file() function to prevent
5839         wrongful overwriting of .orig file when -N is specified.
5840         
5841         * url.c (convert_links): When -K specified, only rename X to
5842         X.orig if downloaded_file() returns TRUE.  Otherwise when we skip
5843         file X due to -N, we clobber an X.orig from a previous invocation.
5844         (convert_links): Call the failsafe xstrdup(), not the real strdup().
5845         (convert_links): Added a note asking anyone who understands how
5846         multiple URLs can correspond to a single file to comment it.
5847         (downloaded_file): Added this new function.
5848         
5849         * url.h (downloaded_file): Added prototype for this new function
5850         as well as its downloaded_file_t enum type.
5851
5852         * wget.h (boolean): Added this new typedef and TRUE and FALSE #defines.
5853
5854 2000-02-29  Dan Harkless  <wget@harkless.org>
5855
5856         * version.c: Upped version to developer-only "1.5.3+dev".
5857
5858 2000-02-18  Dan Harkless  <wget@harkless.org>
5859
5860         * init.c (backup_converted): Added this new option.
5861
5862         * main.c (-K / --backup-converted): Added this new option.
5863
5864         * options.h (backup_converted): Added this new option.
5865
5866         * url.c (convert_links): When backup_converted is specified, save
5867         file X as X.orig before converting.
5868
5869         * url.h (urlpos): Fixed typo -- said "Rekative" instead of "Relative".
5870
5871 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
5872
5873         * version.c: Wget 1.5.3 is released.
5874
5875 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
5876
5877         * host.c (ftp_getaddress): Don't warn when reverse-lookup of local 
5878         address doesn't yield FQDN.
5879
5880 1998-09-21  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
5881
5882         * cmpt.c (strerror): Fix declaration of sys_errlist.
5883
5884 1998-09-11  Hrvoje Niksic  <hniksic@srce.hr>
5885
5886         * main.c (main): Don't use an array subscript as the first
5887         argument to STRDUP_ALLOCA.
5888         From Kaveh R. Ghazi.
5889
5890 1998-09-11  Szakacsits Szabolcs  <szaka@sienet.hu>
5891
5892         * html.c (htmlfindurl): Download table background.
5893
5894 1998-09-11  Hans Grobler  <grobh@conde.ee.sun.ac.za>
5895
5896         * init.c (parse_line): Would free *com before allocating it.
5897         (parse_line): Would free com instead of *com.
5898
5899 1998-09-10  Howard Gayle  <howard@fjst.com>
5900
5901         * url.c (get_urls_html): Would drop the last character of the
5902         link.
5903
5904 1998-09-10  Hrvoje Niksic  <hniksic@srce.hr>
5905
5906         * http.c (http_loop): Don't print status code if quiet.
5907
5908 1998-09-10  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
5909
5910         * log.c: Use <stdarg.h> only when __STDC__.
5911
5912 1998-09-10  Adam D. Moss  <adam@foxbox.org>
5913
5914         * html.c (htmlfindurl): Download <layer src=...>.
5915
5916 1998-09-10  Howard Gayle  <howard@fjst.com>
5917
5918         * ftp.c (ftp_retrieve_list): Don't update the time stamp of a file 
5919         not retrieved.
5920
5921 1998-06-27  Hrvoje Niksic  <hniksic@srce.hr>
5922
5923         * utils.c: Include <libc.h> on NeXT.
5924
5925 1998-06-26  Heinz Salzmann  <heinz.salzmann@intermetall.de>
5926
5927         * url.c (get_urls_html): Fix calculation of URL position.
5928
5929 1998-06-23  Hrvoje Niksic  <hniksic@srce.hr>
5930
5931         * version.c: Wget 1.5.2 is released.
5932
5933 1998-06-23  Dave Love  <d.love@dl.ac.uk>
5934
5935         * ftp.c, init.c, netrc.c: Include errno.h.
5936
5937         * http.c: Include errno.h and time header.
5938
5939         * Makefile.in (exext): Define.
5940         (install.bin, uninstall.bin): Use it.
5941
5942 1998-06-21  Hrvoje Niksic  <hniksic@srce.hr>
5943
5944         * http.c (http_loop): Don't attempt to compare local and remote
5945         sizes if the remote size is unknown.
5946
5947 1998-06-16  Hrvoje Niksic  <hniksic@srce.hr>
5948
5949         * url.c (get_urls_html): Use malloc() instead of alloca in the
5950         loop.
5951
5952 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
5953
5954         * version.c: Wget 1.5.2-b4 is released.
5955
5956 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
5957
5958         * url.c (get_urls_html): Ignore spaces before and after the URI.
5959
5960 1998-06-08  Wanderlei Antonio Cavassin  <cavassin@conectiva.com.br>
5961
5962         * ftp.c (getftp): Translate `done'.
5963
5964 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
5965
5966         * version.c: Wget 1.5.2-b3 is released.
5967
5968 1998-06-06  Alexander Kourakos  <awk@bnt.com>
5969
5970         * init.c (cleanup): Close dfp, don't free it.
5971
5972 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
5973
5974         * utils.c (make_directory): Twiddle.
5975
5976         * config.h.in: Added template for access().
5977
5978 1998-06-05  Mathieu Guillaume  <mat@cythere.com>
5979
5980         * html.c (htmlfindurl): Download <input src=...>
5981
5982 1998-06-03  Hrvoje Niksic  <hniksic@srce.hr>
5983
5984         * utils.c (file_exists_p): Use access() with two arguments.
5985
5986 1998-05-27  Martin Kraemer  <Martin.Kraemer@mch.sni.de>
5987
5988         * netrc.c (parse_netrc): Correct logic.
5989
5990 1998-05-27  Hrvoje Niksic  <hniksic@srce.hr>
5991
5992         * ftp.c (getftp): Added `break'; suggested by Lin Zhe Min
5993         <ljm@ljm.wownet.net>.
5994
5995 1998-05-24  Hrvoje Niksic  <hniksic@srce.hr>
5996
5997         * version.c: Wget 1.5.2-b2 is released.
5998
5999 1998-05-18  Juan Jose Rodriguez  <jcnsoft@jal1.telmex.net.mx>
6000
6001         * mswindows.h: Don't translate mkdir to _mkdir under Borland.
6002
6003 1998-05-17  Hrvoje Niksic  <hniksic@srce.hr>
6004
6005         * retr.c (elapsed_time): Return correct value when
6006         HAVE_GETTIMEOFDAY is undefined.
6007
6008 1998-05-13  Hrvoje Niksic  <hniksic@srce.hr>
6009
6010         * version.c: Wget 1.5.2-b1 is released.
6011
6012 1998-05-08  Hrvoje Niksic  <hniksic@srce.hr>
6013
6014         * getopt.c (_getopt_internal): Use exec_name instead of argv[0].
6015         (_getopt_internal): Don't translate `#if 0'-ed strings.
6016
6017 1998-05-06  Douglas E. Wegscheid  <wegscd@whirlpool.com>
6018
6019         * mswindows.c (ws_handler): Use fork_to_background().
6020
6021 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
6022
6023         * version.c: Wget 1.5.1 is released.
6024
6025 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
6026
6027         * http.c (parse_http_status_line): Avoid `minor' and `major'
6028         names.
6029
6030 1998-05-02  Hrvoje Niksic  <hniksic@srce.hr>
6031
6032         * utils.c (mkdirhier): Renamed to make_directory.
6033
6034 1998-05-01  Hrvoje Niksic  <hniksic@srce.hr>
6035
6036         * mswindows.c (fork_to_background): Define under Windows.
6037
6038         * utils.c (fork_to_background): New function.
6039
6040         * html.c (htmlfindurl): Removed rerdundant casts.
6041
6042 1998-05-01  Douglas E. Wegscheid  <wegscd@whirlpool.com>
6043
6044         * mswindows.c (ws_mypath): Cache the path.
6045
6046 1998-04-30  Douglas E. Wegscheid  <wegscd@whirlpool.com>
6047
6048         * ftp.h: Prefix enum ftype members with FT_.
6049
6050         * ftp-ls.c, ftp.c, html.h: Adjust accordingly.
6051
6052         * mswindows.h: Use stat under Borland, _stat under MSVC.
6053
6054 1998-04-28  Hrvoje Niksic  <hniksic@srce.hr>
6055
6056         * http.c (known_authentication_scheme_p): New function.
6057         (gethttp): Handle authorization more correctly.
6058
6059         * ftp-basic.h: Removed.
6060
6061         * cmpt.h: Removed.
6062
6063         * utils.c: Include <unistd.h> before <pwd.h>; needed under SunOS
6064         with gcc 2.8.
6065         (numdigit): Use `while' loop.
6066
6067         * http.c (create_authorization_line): Detect authentication
6068         schemes case-insensitively.
6069
6070         * http.c (extract_header_attr): Use strdupdelim().
6071         (digest_authentication_encode): Move declaration of local
6072         variables to smaller scope.
6073         (digest_authentication_encode): Reset REALM, OPAQUE and NONCE.
6074         (create_authorization_line): Detect authentication schemes
6075         case-insensitively.
6076
6077         * utils.c (touch): Constify.
6078
6079         * http.c (gethttp): Report a nicer error when no data is received.
6080
6081         * rbuf.h (RBUF_READCHAR): Ditto.
6082
6083         * ftp-basic.c (ftp_response): Use sizeof.
6084
6085 1998-04-27  Hrvoje Niksic  <hniksic@srce.hr>
6086
6087         * retr.c (print_percentage): EXPECTED is long, not int.
6088         (print_percentage): Use floating-point arithmetic to avoid
6089         overflow with large files' sizes multiplied with 100.
6090
6091 1998-04-27  Gregor Hoffleit  <flight@mathi.uni-heidelberg.de>
6092
6093         * config.h.in: Added pid_t stub.
6094
6095         * sysdep.h (S_ISREG): Moved here from mswindows.h (NeXT doesn't
6096         define it).
6097
6098 1998-04-20  Hrvoje Niksic  <hniksic@srce.hr>
6099
6100         * version.c: Wget 1.5.0 is released.
6101
6102 1998-04-18  Hrvoje Niksic  <hniksic@srce.hr>
6103
6104         * url.c (str_url): Ditto.
6105
6106         * ftp-basic.c (ftp_rest): Use new name.
6107
6108         * utils.c (long_to_string): Renamed from prnum().
6109
6110 1998-04-16  Hrvoje Niksic  <hniksic@srce.hr>
6111
6112         * version.c: Wget 1.5-b17 is released.
6113
6114 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
6115
6116         * headers.c (header_get): New argument FLAGS.
6117
6118         * http.c (gethttp): If request is malformed, bail out of the
6119         header loop.
6120         (gethttp): Check for empty header *after* the status line checks.
6121         (gethttp): Disallow continuations for status line.
6122
6123 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
6124
6125         * version.c: Wget 1.5-b16 is released.
6126
6127 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
6128
6129         * init.c (commands): Renamed `always_rest' to `continue'.
6130
6131 1998-04-05  Hrvoje Niksic  <hniksic@srce.hr>
6132
6133         * all: Use it.
6134
6135         * log.c (logputs): New argument.
6136         (logvprintf): Ditto.
6137         (logprintf): Ditto.
6138
6139 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
6140
6141         * http.c (http_atotm): Update comment.
6142
6143         * main.c (i18n_initialize): Set LC_MESSAGES, not LC_ALL.
6144
6145         * wget.h: Renamed ENABLED_NLS to HAVE_NLS.
6146
6147         * main.c (i18n_initialize): New function.
6148         (main): Use it.
6149
6150         * log.c: Include <unistd.h>.
6151
6152         * retr.c (show_progress): Cast alloca to char *.
6153
6154 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
6155
6156         * version.c: Wget 1.5-b15 is released.
6157
6158 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
6159
6160         * utils.h: Declare file_non_directory_p().
6161
6162 1998-04-03  Hrvoje Niksic  <hniksic@srce.hr>
6163
6164         * main.c (main): It's `tries', not `numtries' now.
6165
6166 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
6167
6168         * init.c (getperms): Removed.
6169
6170 1998-04-01  Tim Charron  <tcharron@interlog.com>
6171
6172         * log.c (logvprintf): Don't use ARGS twice.
6173
6174 1998-04-01  John  <john@futuresguide.com>
6175
6176         * mswindows.c: Cleaned up.
6177
6178 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
6179
6180         * version.c: Wget 1.5-b14 is released.
6181
6182 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
6183
6184         * ftp-opie.c (STRLEN4): New macro.
6185         (btoe): Use it.
6186
6187 1998-04-01  Junio Hamano  <junio@twinsun.com>
6188
6189         * http.c: Document all the Digest functions.
6190
6191 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
6192
6193         * utils.c (file_non_directory_p): Renamed from isfile().
6194
6195         * mswindows.h (S_ISREG): New macro, suggested by Tim Adam.
6196
6197 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
6198
6199         * utils.c (mkdirhier): Use 0777 instead of opt.dirmode.
6200
6201         * init.c (cmd_spec_dotstyle): Use 48 dots per line for binary
6202         style.
6203         (cmd_permissions): Removed.
6204
6205         * config.h.in: Add template for WORDS_BIGENDIAN.
6206
6207 1998-03-31  Junio Hamano  <junio@twinsun.com>
6208
6209         * http.c (HEXD2asc): New macro.
6210         (dump_hash): Use it.
6211
6212 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
6213
6214         * version.c: Wget 1.5-b13 is released.
6215
6216 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
6217
6218         * main.c (main): Don't try to use `com'.
6219
6220 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
6221
6222         * init.c (cmd_permissions): New function.
6223
6224 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
6225
6226         * version.c: Wget 1.5-b12 is released.
6227
6228 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
6229
6230         * init.c (commands): Renamed `numtries' to `tries'.
6231         (cmd_spec_debug): Removed.
6232         (home_dir): Under Windows, return `C:\' if HOME is undefined.
6233
6234 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
6235
6236         * config.h.in: Define _XOPEN_SOURCE.
6237
6238         * init.c (check_user_specified_header): New function.
6239         (cmd_spec_header): Use it.
6240         (cmd_spec_useragent): New function.
6241
6242 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
6243
6244         * version.c: Wget 1.5-b11 is released.
6245
6246 1998-03-28  Hrvoje Niksic  <hniksic@srce.hr>
6247
6248         * wget.h: Include <libintl.h> only if NLS is enabled.
6249
6250 1998-03-26  Hrvoje Niksic  <hniksic@srce.hr>
6251
6252         * options.h (struct options): Made `wait' a long.
6253         (struct options): Ditto for `timeout'.
6254
6255 1998-03-19  Hrvoje Niksic  <hniksic@srce.hr>
6256
6257         * utils.c (exists): Renamed to file_exists_p.
6258         (file_exists_p): Use access() if available.
6259
6260 1998-03-17  Hrvoje Niksic  <hniksic@srce.hr>
6261
6262         * utils.c (memfatal): Set save_log_p to 0 to avoid potential
6263         infloop.
6264
6265         * log.c: do_logging -> save_log_p.
6266
6267         * config.h.in: Added template for HAVE_VSNPRINTF.
6268
6269 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
6270
6271         * init.c: Ditto.
6272
6273         * http.c: Protect declaration against non-ANSI compiler.
6274
6275         * log.c (logvprintf): Use vsnprintf() if available.
6276
6277         * getopt.c (main): Don't translate test stuff.
6278
6279 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
6280
6281         * version.c: Wget 1.5-b10 is released.
6282
6283 1998-03-11  Hrvoje Niksic  <hniksic@srce.hr>
6284
6285         * ftp.c (getftp): Don't translate "CWD %s".
6286
6287         * wget.h (GCC_FORMAT_ATTR): Renamed from FORMAT_ATTR.
6288
6289 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
6290
6291         * ftp-opie.c (btoe): Use memcpy() instead of strncat().
6292
6293         * log.c (logputs): New function.
6294         (logvprintf): Renamed from vlogmsg; use logputs().
6295
6296         * retr.c (show_progress): Print `[100%]' when the retrieval is
6297         finished.
6298
6299         * init.c (run_wgetrc): Use FILE, not PATH.
6300         (wgetrc_file_name): Ditto.
6301
6302 1998-03-07  Tim Adam  <tma@osa.com.au>
6303
6304         * recur.c (parse_robots): Correctly reset `entries' on empty
6305         disallow.
6306
6307 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
6308
6309         * init.c (cmd_spec_debug): Use cmd_boolean().
6310
6311 1998-02-23  Hrvoje Niksic  <hniksic@srce.hr>
6312
6313         * http.c (gethttp): Create proxy-authorization correctly.
6314
6315 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
6316
6317         * md5.c: Ditto.
6318
6319         * getopt.c: Use ANSI function definitions.
6320
6321         * ftp-opie.c: New file.
6322
6323         * options.h: Don't redefine EXTERN.
6324
6325         * init.c: Sort it correctly.
6326
6327 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
6328
6329         * version.c: Wget 1.5-b9 is released.
6330
6331 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
6332
6333         * recur.c (recursive_retrieve): Reset `first_time'.
6334
6335         * ftp.c (getftp): Added `default' clause to switches of uerr_t.
6336
6337         * rbuf.c (rbuf_peek): Simplified.
6338         (rbuf_flush): Use MINVAL.
6339
6340         * wget.h (MINVAL): Moved from url.h.
6341
6342         * rbuf.h (RBUF_FD): New macro.
6343
6344         * url.c (add_url): Add to the head of the list.
6345
6346         * ftp.c (ftp_retrieve_list): Set the permissions to downloaded
6347         file.
6348         (getftp): Set the default permissions to 0600.
6349
6350 1998-02-21  Hrvoje Niksic  <hniksic@srce.hr>
6351
6352         * url.c (get_urls_html): Ditto.
6353         (convert_links): Ditto.
6354
6355         * recur.c (parse_robots): Ditto.
6356
6357         * html.c (ftp_index): Ditto.
6358
6359         * ftp-ls.c (ftp_parse_unix_ls): Open file as binary.
6360
6361         * init.c (defaults): Initialize `opt' to zero via memset.
6362
6363         * http.c (digest_authentication_encode): goto considered harmful.
6364
6365 1998-02-19  Hrvoje Niksic  <hniksic@srce.hr>
6366
6367         * ftp.c (delelement): Simplify and fix leak.
6368
6369 1998-02-18  Hrvoje Niksic  <hniksic@srce.hr>
6370
6371         * http.c (dump_hash): Use HEXD2ASC instead of home-grown stuff.
6372
6373         * url.h (HEXD2ASC): Removed warning.
6374
6375         * init.c (comind): Use binary search.
6376         (commands): Reorganized.
6377         (setval): Ditto.
6378         (cmd_boolean): New function.
6379         (cmd_number): Ditto.
6380         (cmd_number_inf): Ditto.
6381         (cmd_string): Ditto.
6382         (cmd_vector): Ditto.
6383         (cmd_directory_vector): Ditto.
6384         (cmd_bytes): Ditto.
6385         (cmd_time): Ditto.
6386         (cmd_spec_debug): Ditto.
6387         (cmd_spec_dirmode): Ditto.
6388         (cmd_spec_dirstruct): Ditto.
6389         (cmd_spec_dotstyle): Ditto.
6390         (cmd_spec_header): Ditto.
6391         (cmd_spec_htmlify): Ditto.
6392         (cmd_spec_mirror): Ditto.
6393         (cmd_spec_outputdocument): Ditto.
6394         (cmd_spec_recursive): Ditto.
6395         (settime): Merged with cmd_time().
6396         (setbytes): Merged with cmd_bytes().
6397         (setonoff): Merged with cmd_boolean().
6398         (onoff): Ditto.
6399
6400 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
6401
6402         * Makefile.in (distclean): Remove `config.h'.
6403
6404 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
6405
6406         * version.c: Wget 1.5-b8 is released.
6407
6408 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
6409
6410         * http.c (digest_authentication_encode): New function.
6411         (create_authorization_line): Use it.
6412         (dump_hash): New function.
6413         (digest_authentication_encode): Use it.
6414
6415         * fnmatch.c: Renamed from `mtch.c'.
6416
6417 1998-02-15  Karl Eichwalder  <ke@suse.de>
6418
6419         * main.c (main): Tag "Written by..." string as translatable.
6420
6421 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
6422
6423         * wget.h (FREE_MAYBE): New macro.
6424
6425         * http.c (create_authorization_line): Don't use ANSI C string
6426         concatenation feature.
6427         (basic_authentication_encode): Use alloca() for temporary
6428         variables.
6429
6430         * recur.h: Ditto.
6431
6432         * http.c: Ditto.
6433
6434         * headers.h: Ditto.
6435
6436         * ftp-basic.c: Protect declaration against non-ANSI compiler.
6437
6438         * http.c (create_authorization_line): Cast `unsigned char *' to
6439         `char *' for sprintf, to shut up the noisy Digital Unix cc.
6440
6441 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
6442
6443         * version.c: Wget 1.5-b7 is released.
6444
6445 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
6446
6447         * cmpt.c (strstr): Synched with glibc-2.0.6.
6448
6449         * ftp-basic.c (calculate_skey_response): Ditto.
6450         (calculate_skey_response): Use alloca().
6451
6452         * http.c (create_authorization_line): Work with FSF's version of
6453         md5.c.
6454
6455         * md5.c: New file, from GNU libc.
6456
6457 1998-02-14  Hrvoje Niksic  <hniksic@srce.hr>
6458
6459         * url.h (URL_CLEANSE): Name the temporary variable more carefully.
6460
6461 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
6462
6463         * http.c (basic_authentication_encode): New function, instead of
6464         the macro.
6465
6466 1998-02-13  Junio Hamano  <junio@twinsun.com>
6467
6468         * http.c: Add HTTP-DA support.
6469         * ftp-basic.c: Add Opie/S-key support.
6470         * config.h.in, Makefile.in: Add HTTP-DA and Opie/S-key support.
6471         * md5.c, md5.h: New files.
6472
6473 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
6474
6475         * http.c (http_process_range): Renamed from hprocrange().
6476         (http_process_range): Parse the whole header.
6477
6478         * headers.c: New file.
6479         (header_process): New function.
6480         (header_get): Renamed from fetch_next_header.
6481
6482         * all: Include utils.h only where necessary.
6483
6484         * wget.h: Declare xmalloc(), xrealloc() and xstrdup() here.
6485
6486         * wget.h: Add provisions for dmalloc.
6487
6488 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
6489
6490         * version.c: Wget 1.5-b6 is released.
6491
6492 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
6493
6494         * ftp.c (ftp_loop): Determine `filename' more precisely.
6495
6496         * init.c (setval): Don't set `opt.quiet' if output-document is
6497         `-'.
6498
6499         * log.c (log_init): Print to STDERR instead of STDOUT.
6500         (vlogmsg): Use STDERR by default.
6501         (logflush): Ditto.
6502
6503 1998-02-11  Simon Josefsson  <jas@pdc.kth.se>
6504
6505         * host.c: Use addr_in again.
6506
6507 1998-02-08  Karl Eichwalder  <karl@suse.de>
6508
6509         * http.c (gethttp): Fixed typo.
6510
6511 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
6512
6513         * version.c: Wget 1.5-b5 is released.
6514
6515 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
6516
6517         * retr.c (show_progress): Use it.
6518
6519         * log.c (logflush): New function.
6520
6521         * wget.h: Utilize __attribute__ if on gcc.
6522
6523 1998-02-07  Hrvoje Niksic  <hniksic@srce.hr>
6524
6525         * http.c (base64_encode_line): New argument LENGTH.
6526         (BASIC_AUTHENTICATION_ENCODE): Use it.
6527         (BASIC_AUTHENTICATION_ENCODE): Take length of HEADER into account.
6528
6529         * main.c (main): Fixed fprintf() format mismatch.
6530
6531 1998-02-06  Hrvoje Niksic  <hniksic@srce.hr>
6532
6533         * version.c: Wget 1.5-b4 is released.
6534
6535 1998-02-03  Simon Josefsson  <jas@pdc.kth.se>
6536
6537         * host.c: use sockaddr_in instead of addr_in.
6538
6539 1998-02-04  Hrvoje Niksic  <hniksic@srce.hr>
6540
6541         * init.c (cleanup): Use it.
6542
6543         * recur.c (recursive_cleanup): New function.
6544
6545         * retr.c (retrieve_from_file): Ditto.
6546
6547         * main.c (main): Use it.
6548
6549         * recur.c (recursive_reset): New function.
6550
6551         * retr.c (retrieve_from_file): Ditto.
6552
6553         * main.c (main): Simplify call to recursive_retrieve().
6554
6555         * recur.c (recursive_retrieve): Removed FLAGS argument.
6556
6557         * http.c (gethttp): Changed call to iwrite().
6558
6559 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
6560
6561         * url.c (get_urls_html): Ditto.
6562         (free_urlpos): Ditto.
6563         (mkstruct): Ditto.
6564         (construct): Ditto.
6565
6566         * retr.c (retrieve_url): Move declaration of local variables to
6567         smaller scope.
6568
6569         * url.c (urlproto): Use it.
6570         (parseurl): Ditto.
6571         (str_url): Ditto.
6572         (get_urls_html): Ditto.
6573
6574         * utils.h (ARRAY_SIZE): New macro.
6575
6576         * url.c (proto): Moved from url.h.
6577
6578         * url.h (URL_CLEANSE): Reformatted.
6579         (USE_PROXY_P): Renamed from USE_PROXY.
6580
6581         * ftp-basic.c: Adjust to the new interface of iwrite().
6582
6583         * ftp-basic.c (ftp_port): Use alloca().
6584
6585 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
6586
6587         * version.c: Wget 1.5-b3 is released.
6588
6589         * host.c (ftp_getaddress): Don't print to stderr directly.
6590
6591         * init.c (setbytes): Support `g' for gigabytes.
6592         (cmdtype): New specification CTIME.
6593         (setval): Use it with settime().
6594         (commands): Use it for WAIT and TIMEOUT.
6595
6596 1998-02-02  Hrvoje Niksic  <hniksic@srce.hr>
6597
6598         * http.c (BASIC_AUTHENTICATION_ENCODE): New macro.
6599         (gethttp): Use it.
6600
6601         * utils.c (unique_name_1): Moved from url.c.
6602         (unique_name): Ditto.
6603
6604         * url.c (url_filename): Ditto.
6605
6606         * log.c (redirect_output): Changed call to unique_name().
6607
6608         * url.c (unique_name_1): Renamed from unique_name().
6609         (unique_name): Changed interface.
6610
6611         * init.c (enum cmdid): Moved from init.h.
6612         (cmdtype): Ditto.
6613         (struct cmd): Ditto.
6614
6615         * main.c (main): Use it.
6616         (main): Moved `--backups' to not have a short option.
6617
6618         * options.h (struct options): New member BACKGROUND.
6619
6620         * main.c (print_help): Rearranged.
6621         (main): New long options for -n* short options: --no-directories,
6622         --no-host-directories, --non-verbose, --no-host-lookup and
6623         --dont-remove-listing.
6624
6625 1998-02-01  Hrvoje Niksic  <hniksic@srce.hr>
6626
6627         * main.c (main): Use log_close().
6628
6629         * log.c: New variable LOGFP.
6630         (vlogmsg): Use it.
6631         (redirect_output): Don't open /dev/null; set LOGFP to stdin
6632         instead.
6633         (log_close): New function.
6634
6635         * options.h (struct options): Removed LFILE.
6636
6637         * log.c (log_enable): Removed.
6638
6639         * main.c (main): Use it.
6640
6641         * log.c (log_init): New function.
6642
6643         * url.c (get_urls_html): Removed needless assignment to BASE.
6644
6645         * host.c (add_hlist): Don't set CMP needlessly.
6646
6647         * utils.c (match_backwards): Ditto.
6648         (in_acclist): Ditto.
6649
6650         * url.c (findurl): Ditto.
6651
6652         * netrc.c (parse_netrc): Ditto.
6653
6654         * log.c (log_dump): Ditto.
6655
6656         * html.c (html_quote_string): Ditto.
6657
6658         * ftp-basic.c (ftp_request): Made static.
6659
6660         * connect.c: Made global variables static.
6661
6662         * url.c (construct): Ditto.
6663
6664         * init.c (init_path): Avoid assignment inside `if'-condition.
6665
6666         * ftp.c: Don't include in.h or winsock.h.
6667
6668         * ftp.c (ftp_loop): Use SZ.
6669
6670         * connect.c (bindport): Cast &addrlen to int *.
6671         (conaddr): Ditto.
6672
6673         * init.c (initialize): Don't use SYSTEM_WGETRC unconditionally.
6674
6675 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
6676
6677         * ftp.c (getftp): Initialize opt.ftp_pass here.
6678         (ftp_retrieve_dirs): Use alloca().
6679
6680         * init.c (defaults): Don't initialize opt.ftp_pass.
6681
6682         * sysdep.h (S_ISLNK): Declare for OS/2; ditto for lstat.
6683         From Ivan F. Martinez <ivanfm@ecodigit.com.br>.
6684
6685 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
6686
6687         * recur.c (parse_robots): Check for comments more correctly.
6688
6689         * host.c (ftp_getaddress): Use STRDUP_ALLOCA.
6690         (ftp_getaddress): Add diagnostics when reverse-lookup yields only
6691         hostname.
6692
6693 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
6694
6695         * version.c: Wget 1.5-b2 is released.
6696
6697         * netrc.c (NETRC_FILE_NAME): Moved from netrc.h.
6698
6699         * utils.c (proclist): Pass FNM_PATHNAME to fnmatch().
6700
6701         * ftp-basic.c (ftp_pasv): Avoid unnecessary casting to unsigned
6702         char.
6703
6704         * log.c: Don't attempt to hide arguments from ansi2knr.
6705
6706         * cmpt.c: Synched strptime() and mktime() with glibc-2.0.6.
6707
6708         * ansi2knr.c: Use a later version, from fileutils-3.16l alpha.
6709
6710         * ftp.c (getftp): Ditto.
6711
6712         * http.c (gethttp): Use it.
6713
6714         * retr.c (get_contents): New argument EXPECTED; pass it to
6715         show_progress().
6716         (show_progress): New argument EXPECTED; use it to display
6717         percentages.
6718
6719         * init.c (setval): Ditto.
6720
6721         * http.c (gethttp): Ditto.
6722         (http_loop): Ditto.
6723
6724         * ftp.c (getftp): Ditto.
6725         (ftp_loop_internal): Ditto.
6726
6727         * ftp-ls.c (ftp_parse_unix_ls): Use abort() instead of assert(0).
6728
6729         * sysdep.h (CLOSE): Simplify; use DEBUGP.
6730
6731         * netrc.c (search_netrc): Use alloca().
6732
6733         * init.c (defaults): Initialize no_flush.
6734
6735         * log.c (vlogmsg): Don't flush if no_flush.
6736
6737         * options.h (struct options): New variable no_flush.
6738
6739         * main.c (main): Don't play games with buffering.
6740
6741         * log.c (vlogmsg): Flush the output after every message.
6742
6743 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
6744
6745         * init.c (parse_line): Ditto.
6746
6747         * url.c (get_urls_html): Ditto.
6748
6749         * main.c (main): Don't cast to unsigned char.
6750
6751         * init.c (run_wgetrc): Don't cast to unsigned char.
6752         (parse_line): Accept char instead of unsigned char.
6753
6754         * html.c (htmlfindurl): Use char instead of unsigned char.
6755
6756         * all: Use them.
6757
6758         * sysdep.h: Add wrappers to ctype macros to make them
6759         eight-bit-clean:
6760
6761 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
6762
6763         * html.c (htmlfindurl): Download <img lowsrc=...>
6764
6765         * main.c (main): Ignore SIGPIPE.
6766
6767         * connect.c (select_fd): New argument WRITEP.
6768         (iwrite): Call select_fd().
6769
6770 1997-02-27  Fila Kolodny <fila@ibi.com>
6771
6772         * ftp.c (ftp_retrieve_list): If retrieving symlink and the proper
6773         one already exists, just skip it.
6774
6775 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
6776
6777         * http.c (gethttp): Cosmetic changes.
6778
6779         * http.c (check_end): Allow `+D...' instead of `GMT'.
6780         From Fabrizio Pollastri <pollastri@cstv.to.cnr.it>.
6781
6782         * url.c (process_ftp_type): New function.
6783         (parseurl): Use it.
6784
6785         * connect.c (iwrite): Allow writing in a few chunks.
6786         (bindport): Made SRV static, so addr can point to it.
6787         (select_fd): Removed HPUX kludge.
6788
6789         * host.c (free_hlist): Incorporated into clean_hosts().
6790
6791 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
6792
6793         * host.c (hlist): Made static.
6794         (search_address): Cosmetic change.
6795
6796 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
6797
6798         * version.c: Wget v1.5-b1 is released.
6799
6800         * http.c (hgetlen): Use sizeof() to get the header length.
6801         (hgetrange): Ditto.
6802         (hgettype): Ditto.
6803         (hgetlocation): Ditto.
6804         (hgetmodified): Ditto.
6805         (haccepts_none): Ditto.
6806
6807         * main.c (main): Updated `--version' and `--help' output, as per
6808         Francois Pinard's suggestions.
6809
6810         * main.c: Include locale.h; call setlocale(), bindtextdomain() and 
6811         textdomain().
6812
6813         * config.h.in: Define stubs for I18N3.
6814
6815         * wget.h: Include libintl.h.
6816
6817 1998-01-28  Hrvoje Niksic  <hniksic@srce.hr>
6818
6819         * url.c (mkstruct): Check for opt.cut_dirs.
6820         (mkstruct): alloca()-te more, xmalloc() less.
6821
6822         * utils.c (load_file): Check for ferror().
6823
6824         * url.c (get_urls_file): Close only the files we opened.
6825         (get_urls_html): Ditto.
6826         (count_slashes): New function.
6827
6828         * http.h: Removed.
6829
6830         * http.c (gethttp): Respect username and password provided by
6831         proxy URL.
6832         (base64_encode_line): Write into an existing buffer instead of
6833         malloc-ing a new one.
6834         (struct http_stat): Moved from http.h
6835
6836         * retr.c (retrieve_url): Free SUF.
6837
6838         * all: Removed lots of unnecessary .h dependencies.
6839
6840         * html.c (global_state): Made static.
6841
6842         * utils.h (ALLOCA_ARRAY): New macro.
6843
6844         * main.c (main): New option `--cut-dirs'.
6845
6846         * url.c (construct): Use alloca() for T.
6847
6848         * utils.c (mkdirhier): Use STRDUP_ALLOCA.
6849
6850         * host.c (_host_t): Moved from host.h.
6851         (struct host): Renamed from _host_t.
6852         (store_hostaddress): Use STRDUP_ALLOCA for INET_S.
6853         (realhost): Ditto.
6854
6855         * host.h: Don't include url.h.
6856
6857         * ftp.c (LIST_FILENAME): Moved from ftp.h.
6858
6859         * init.c (DEFAULT_FTP_ACCT): Moved from ftp.h.
6860
6861         * main.c (main): Enable log if the output goes to a TTY.
6862
6863         * connect.h: Removed unused constant `BACKLOG'.
6864
6865         * config.h.in: Check for isatty().
6866
6867         * Makefile.in (LINK): Use CFLAGS when linking.
6868
6869 1998-01-27  Hrvoje Niksic  <hniksic@srce.hr>
6870
6871         * mswindows.c (ws_hangup): Use redirect_output().
6872
6873         * main.c (redirect_output_signal): New function; use
6874         redirect_output().
6875
6876         * log.c (redirect_output): New function, based on hangup(), which
6877         is deleted.
6878
6879         * log.c (vlogmsg): New function.
6880
6881         * wget.h (DEBUGP): Use debug_logmsg().
6882
6883         * main.c (hangup): Use it.
6884
6885         * log.c (log_dump): New function.
6886
6887         * utils.h (DO_REALLOC): Use `long' for various sizes.
6888
6889         * http.c (hskip_lws): Use `while', for clarity.
6890         (HTTP_DYNAMIC_LINE_BUFFER): New constant.
6891         (fetch_next_header): Use it instead of DYNAMIC_LINE_BUFFER.
6892
6893         * ftp-basic.c (FTP_DYNAMIC_LINE_BUFFER): New constant.
6894         (ftp_response): Use it instead of DYNAMIC_LINE_BUFFER.
6895
6896         * utils.c (DYNAMIC_LINE_BUFFER): Moved from utils.c.
6897         (LEGIBLE_SEPARATOR): Ditto.
6898         (FILE_BUFFER_SIZE): Ditto.
6899
6900         * retr.c (BUFFER_SIZE): Moved from retr.h.
6901
6902         * log.c: New file.
6903         (logmsg): Moved from utils.c.
6904         (debug_logmsg): New function.
6905
6906         * mswindows.h: Include it here.
6907
6908         * init.c: Ditto.
6909
6910         * utils.c: Don't include <windows.h>.
6911
6912 1998-01-25  Hrvoje Niksic  <hniksic@srce.hr>
6913
6914         * host.c (ftp_getaddress): Ditto.
6915
6916         * main.c (main): Use it.
6917
6918         * utils.h (STRDUP_ALLOCA): New macro.
6919
6920         * init.c: Prepend `wget: ' to error messages printed on stderr.
6921
6922         * utils.c (mkdirhier): Renamed from mymkdir.
6923         (touch): Renamed from my_touch.
6924         (pwd_cuserid): Renamed from my_cuserid().
6925
6926 1998-01-24  Andy Eskilsson  <andy.eskilsson@telelogic.se>
6927
6928         * utils.c (accdir): Process wildcards.
6929         (proclist): New function.
6930         (accdir): Use it to avoid code repetition.
6931
6932 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
6933
6934         * recur.c (parse_robots): Respect opt.useragent; use alloca().
6935
6936         * http.c (gethttp): Construct useragent accordingly.
6937
6938         * version.c: Changed version string to numbers-only.
6939
6940         * main.c (print_help): List all the options.
6941
6942         * mswindows.c (windows_main_junk): Initialize argv0 here.
6943
6944 1998-01-24  Karl Heuer  <kwzh@gnu.org>
6945
6946         * netrc.c (search_netrc): Initialize `l' only after processing
6947         netrc.
6948
6949         * main.c (main): Don't trap SIGHUP if it's being ignored.
6950
6951 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
6952
6953         * all: Use logmsg().
6954
6955         * utils.c (time_str): Moved from retr.c.
6956         (logmsg): New function.
6957         (logmsg_noflush): Ditto.
6958
6959         * rbuf.c: New file, moved buf_* functions here.
6960
6961         * ftp.c (ftp_expected_bytes): Moved from ftp-basic.c.
6962
6963         * ftp-basic.c (ftp_rest): Use prnum().
6964
6965         * ftp-basic.c: Ditto.
6966
6967         * ftp.c: Use the new reading functions and macros.
6968
6969         * retr.c (buf_initialize): New function.
6970         (buf_initialized_p): Ditto.
6971         (buf_uninitialize): Ditto.
6972         (buf_fd): Ditto.
6973
6974         * http.c (fetch_next_header): Use the BUF_READCHAR macro for
6975         efficiency.
6976         (gethttp): Use alloca() where appropriate.
6977
6978         * retr.c (buf_readchar): Use it.
6979         (buf_peek): Use rstreams.
6980
6981         * retr.h (BUF_READCHAR): New macro.
6982
6983         * init.c (home_dir): Rewritten for clarity.
6984         (init_path): Ditto.
6985
6986         * mswindows.c (ws_backgnd): Made static.
6987         (read_registry): Ditto.
6988         (ws_cleanup): Ditto.
6989         (ws_handler): Ditto.
6990
6991 1998-01-23  Hrvoje Niksic  <hniksic@srce.hr>
6992
6993         * alloca.c: New file.
6994
6995         * Makefile.in (ALLOCA): Define.
6996
6997         * mswindows.c (ws_help): Constify.
6998         (ws_help): Use alloca.
6999
7000         * mswindows.c: Reformat.
7001
7002         * all: Added _(...) annotations for I18N snarfing and translation.
7003
7004         * host.c (ftp_getaddress): Nuke SYSINFO.
7005         (ftp_getaddress): Don't use getdomainname().
7006         (ftp_getaddress): Use uname(), where available.
7007
7008         * http.c (gethttp): Protect a stray fprintf().
7009
7010         * init.c (settime): New function.
7011         (setval): Treat WAIT specially, allowing suffixes like `m' for
7012         minutes, etc.
7013
7014 1998-01-21  Hrvoje Niksic  <hniksic@srce.hr>
7015
7016         * url.c (get_urls_html): Use alloca() for TEMP.
7017
7018 1998-01-21  Jordan Mendelson  <jordy@wserv.com>
7019
7020         * url.c (rotate_backups): New function.
7021
7022         * http.c (gethttp): Ditto.
7023
7024         * ftp.c (getftp): Rotate backups.
7025
7026 1997-12-18  Hrvoje Niksic  <hniksic@srce.hr>
7027
7028         * all: Renamed nmalloc(), nrealloc() and nstrdup() to xmalloc(),
7029         xrealloc() and xstrdup().  Use the new functions.
7030
7031         * url.c (decode_string): Made static.
7032         (has_proto): Ditto.
7033         (parse_dir): Ditto.
7034         (parse_uname): Ditto.
7035         (mkstruct): Ditto.
7036         (construct): Ditto.
7037         (construct_relative): Ditto.
7038
7039         * retr.c (show_progress): Made static.
7040
7041         * recur.c (robots_url): Made static.
7042         (retrieve_robots): Ditto.
7043         (parse_robots): Ditto.
7044         (robots_match): Ditto.
7045
7046         * main.h: Removed.
7047
7048         * main.c (printhelp): Made static.
7049         (hangup): Ditto.
7050
7051         * init.c (comind): Made static.
7052         (defaults): Ditto.
7053         (init_path): Ditto.
7054         (run_wgetrc): Ditto.
7055         (onoff): Ditto.
7056         (setonoff): Ditto.
7057         (setnum): Ditto.
7058         (myatoi): Ditto.
7059         (getperms): Ditto.
7060         (setbytes): Ditto.
7061
7062         * http.c (fetch_next_header): Made static.
7063         (hparsestatline): Ditto.
7064         (hskip_lws): Ditto.
7065         (hgetlen): Ditto.
7066         (hgetrange): Ditto.
7067         (hgettype): Ditto.
7068         (hgetlocation): Ditto.
7069         (hgetmodified): Ditto.
7070         (haccepts_none): Ditto.
7071         (gethttp): Ditto.
7072         (base64_encode_line): Ditto.
7073         (mktime_from_utc): Ditto.
7074         (http_atotm): Ditto.
7075
7076         * html.c (idmatch): Made static.
7077
7078         * host.c (search_host): Made static.
7079         (search_address): Ditto.
7080         (free_hlist): Ditto.
7081
7082         * ftp.c (getftp): Made static.
7083         (ftp_loop_internal): Ditto.
7084         (ftp_get_listing): Ditto.
7085         (ftp_retrieve_list): Ditto.
7086         (ftp_retrieve_dirs): Ditto.
7087         (ftp_retrieve_glob): Ditto.
7088         (freefileinfo): Ditto.
7089         (delelement): Ditto.
7090
7091         * ftp-ls.c (symperms): Made static.
7092         (ftp_parse_unix_ls): Ditto.
7093
7094         * connect.c (select_fd): Made static.
7095
7096         * utils.c (xmalloc): Renamed from nmalloc.
7097         (xrealloc): Renamed from nrealloc.
7098         (xstrdup): Renamed from nstrdup.
7099
7100         * getopt.c (exchange): Use alloca.
7101
7102         * mswindows.c (mycuserid): Use strncpy.
7103
7104         * New files mswindows.c, mswindows.h, sysdep.h.  winjunk.c,
7105         systhings.h, windecl.h and winjunk.h removed.
7106
7107         * mswindows.c (sleep): New function.
7108
7109         * utils.c: Include <windows.h> under Windows.
7110
7111 1997-06-12  Darko Budor  <dbudor@zesoi.fer.hr>
7112
7113         * url.h (URL_UNSAFE): Change default under Windows.
7114
7115         * retr.c (retrieve_from_file): Respect opt.delete_after.
7116
7117         * main.c (main): Call ws_help on Windows.
7118
7119         * winjunk.c (windows_main_junk): New function.
7120
7121         * main.c (main): Junk-process argv[0].
7122
7123         * http.c (mktime_from_utc): Return -1 if mktime failed.
7124
7125         * http.c (http_loop): Ditto.
7126
7127         * ftp.c (ftp_loop_internal): Change title on Windows when using a
7128         new URL.
7129
7130         * winjunk.c (getdomainname): Lots of functions.
7131
7132 1997-06-12  Hrvoje Niksic  <hniksic@srce.hr>
7133
7134         * cmpt.c (strptime_internal): Handle years more correctly for
7135         `%y'.
7136
7137 1997-06-09  Mike Thomas <mthomas@reality.ctron.com>
7138
7139         * http.c (gethttp): Allocate enough space for
7140         `Proxy-Authorization' header.
7141
7142 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
7143
7144         * version.c: Wget/1.4.5 is released.
7145
7146 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
7147
7148         * retr.c (get_contents): Check return value of fwrite more
7149         carefully.
7150
7151 1997-03-30  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
7152
7153         * cmpt.c (strptime_internal) [case 'Y']: Always subtract 1900 from
7154         year, regardless of century.
7155
7156 1997-03-30  Hrvoje Niksic  <hniksic@srce.hr>
7157
7158         * utils.c (isfile): Use `lstat' instead of `stat'.
7159
7160 1997-03-29  Hrvoje Niksic  <hniksic@srce.hr>
7161
7162         * utils.c (numdigit): Use explicit test.
7163
7164 1997-03-21  Hrvoje Niksic  <hniksic@srce.hr>
7165
7166         * http.c (http_loop): Always use `url_filename' to get u->local.
7167
7168 1997-03-20  Hrvoje Niksic  <hniksic@srce.hr>
7169
7170         * url.c: Recognize https.
7171
7172 1997-03-13  Hrvoje Niksic  <hniksic@srce.hr>
7173
7174         * recur.c (recursive_retrieve): Lowercase just the host name.
7175
7176 1997-03-09  Hrvoje Niksic  <hniksic@srce.hr>
7177
7178         * url.c (get_urls_file): Use the correct test.
7179         (get_urls_html): Ditto.
7180
7181 1997-03-07  Hrvoje Niksic  <hniksic@srce.hr>
7182
7183         * connect.c: Reverted addrlen to int.
7184
7185         * init.c (parse_line): Check for -1 instead of NONE.
7186
7187         * version.c: Changed version to 1.4.5.
7188
7189 1997-02-17  Hrvoje Niksic  <hniksic@srce.hr>
7190
7191         * init.c: New option netrc.
7192         (initialize): Don't parse .netrc.
7193
7194         * cmpt.c (recursive): Return rp.
7195         (strptime_internal): Match the long strings first, the abbreviated
7196         second.
7197
7198 1997-02-16  Hrvoje Niksic  <hniksic@srce.hr>
7199
7200         * http.c (check_end): New function.
7201         (http_atotm): Use it.
7202  
7203 1997-02-13  gilles Cedoc  <gilles@cedocar.fr>
7204
7205         * http.c (gethttp): Use them.
7206
7207         * init.c: New options proxy_user and proxy_passwd.
7208
7209 1997-02-14  Hrvoje Niksic  <hniksic@srce.hr>
7210
7211         * ftp.c (ftp_retrieve_list): Create links even if not relative.
7212
7213 1997-02-10  Hrvoje Niksic  <hniksic@srce.hr>
7214
7215         * recur.c (recursive_retrieve): Lowercase the host name, if the
7216         URL is not "optimized".
7217
7218         * host.c (realhost): Return l->hostname, even if it matches with
7219         host.
7220
7221 1997-02-10  Marin Purgar  <pmc@asgard.hr>
7222
7223         * connect.c: Make addrlen size_t instead of int.
7224         (conaddr): Ditto.
7225
7226 1997-02-09  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
7227
7228         * systhings.h: Define S_ISLNK on NeXT too.
7229
7230 1997-02-09  Hrvoje Niksic  <hniksic@srce.hr>
7231
7232         * version.c: Released 1.4.3.
7233
7234         * url.c: Futher update to list of protostrings.
7235         (skip_proto): Skip `//' correctly for FTP and HTTP.
7236
7237         * url.c (get_urls_html): Handle bogus `http:' things a little
7238         different.
7239
7240         * main.c (main): Removed `follow-ftp' from `f'.
7241         (main): Dumped the `prefix-files' and `file-prefix' options and
7242         features; old and bogus.
7243         (main): Exit on failed setval() in `-e'.
7244
7245         * http.c (fetch_next_header): Use it to detect header continuation
7246         correctly.
7247
7248         * retr.c (buf_peek): New function.
7249
7250 1997-02-08  Hrvoje Niksic  <hniksic@srce.hr>
7251
7252         * wget.h: Include time.h and stuff.
7253
7254 1997-02-08  Roger Beeman  <beeman@cisco.com>
7255
7256         * ftp.c: Include <time.h>
7257
7258 1997-02-07  Hrvoje Niksic  <hniksic@srce.hr>
7259
7260         * url.c (findurl): Would read over buffer limits.
7261
7262 1997-02-06  Hrvoje Niksic  <hniksic@srce.hr>
7263
7264         * ftp-ls.c (ftp_parse_unix_ls): Allow spaces in file names.
7265
7266 1997-02-05  Hrvoje Niksic  <hniksic@srce.hr>
7267
7268         * http.c (http_atotm): Initialize tm.is_dst.
7269
7270 1997-02-02  Hrvoje Niksic  <hniksic@srce.hr>
7271
7272         * http.c (gethttp): Don't print the number of retrieved headers.
7273
7274         * main.c (main): New option `--no-clobber', alias for `-nc'.
7275
7276         * url.c: Recognize `https://'.
7277
7278 1997-02-01  Hrvoje Niksic  <hniksic@srce.hr>
7279
7280         * host.c (herrmsg): Don't use h_errno.
7281
7282 1997-01-30  Hrvoje Niksic  <hniksic@srce.hr>
7283
7284         * host.c (accept_domain): Use it.
7285
7286         * main.c (main): New option `--exclude-domains'.
7287
7288         * retr.c (retrieve_url): Use it.
7289         (retrieve_url): Bail out when an URL is redirecting to itself.
7290
7291         * url.c (url_equal): New function.
7292
7293 1997-01-29  Hrvoje Niksic  <hniksic@srce.hr>
7294
7295         * connect.c: Include arpa/inet.h instead of arpa/nameser.h.
7296
7297         * http.c (mk_utc_time): New function.
7298         (http_atotm): Use it; handle time zones correctly.
7299
7300 1997-01-28  Hrvoje Niksic  <hniksic@srce.hr>
7301
7302         * http.c: Ditto.
7303
7304         * ftp-basic.c: Use it instead of WRITE.
7305
7306         * connect.c (iwrite): New function.
7307
7308 1997-01-27  Hrvoje Niksic  <hniksic@srce.hr>
7309
7310         * cmpt.c (mktime): New function.
7311
7312         * netrc.c: Include <sys/types.h>.
7313
7314         * main.c (main): Wouldn't recognize --spider.
7315
7316         * retr.c (rate): Use `B', `KB' and `MB'.
7317         (reset_timer,elapsed_time): Moved from utils.c.
7318
7319         * ftp.c (ftp_retrieve_list): Ditto.
7320
7321         * http.c (http_loop): Don't touch the file if opt.dfp.
7322
7323 1997-01-24  Hrvoje Niksic  <hniksic@srce.hr>
7324
7325         * cmpt.c: New file.
7326
7327         * ftp.c (ftp_retrieve_glob): New argument semantics.
7328         (ftp_retrieve_dirs): Use it.
7329         (ftp_loop): Ditto.
7330
7331         * html.c (htmlfindurl): Recognize `'' as the quote char.
7332
7333 1997-01-23  Hrvoje Niksic  <hniksic@srce.hr>
7334
7335         * ftp.c (ftp_loop_internal): Use it.
7336
7337         * utils.c (remove_link): New function.
7338
7339 1997-01-22  Hrvoje Niksic  <hniksic@srce.hr>
7340
7341         * retr.c (retrieve_url): Require STRICT redirection URL.
7342
7343         * url.c (parseurl): New argument STRICT.
7344
7345         * http.c (hparsestatline): Be a little-bit less strict about
7346         status line format.
7347
7348 1997-01-21  Hrvoje Niksic  <hniksic@srce.hr>
7349
7350         * http.c (gethttp): Use it.
7351
7352         * main.c (main): Don't use '<digit>' as options.
7353
7354         * init.c: New option ignore_length.
7355
7356         * http.c (gethttp): Ditto.
7357         (http_loop): Check for redirection without Location:.
7358         (gethttp): Don't print Length unless RETROKF.
7359
7360         * ftp.c (getftp): Use it.
7361
7362         * url.c (mkalldirs): New function.
7363
7364         * utils.c (mymkdir): Don't check for existing non-directory.
7365
7366         * url.c (mkstruct): Don't create the directory.
7367
7368 1997-01-20  Hrvoje Niksic  <hniksic@srce.hr>
7369
7370         * init.c (setval): Removed NO_RECURSION checks.
7371
7372 1997-01-19  Hrvoje Niksic  <hniksic@srce.hr>
7373
7374         * version.c: "Released" 1.4.3-pre2.
7375
7376         * recur.c (recursive_retrieve): Bypass host checking only if URL
7377         is ftp AND parent URL is not ftp.
7378
7379         * ftp-basic.c (ftp_request): Print out Turtle Power.
7380
7381         * ftp.c (ftp_loop): Call ftp_retrieve_glob with 0 if there's no
7382         wildcard.
7383         (ftp_retrieve_glob): Call ftp_loop_internal even on empty list, if
7384         not glob.
7385
7386         * http.c (gethttp): Be a little bit smarter about status codes.
7387
7388         * recur.c (recursive_retrieve): Always reset opt.recursive when
7389         dealing with FTP.
7390
7391 1997-01-18  Hrvoje Niksic  <hniksic@srce.hr>
7392
7393         * retr.c (retrieve_url): New variable location_changed; use it for
7394         tests instead of mynewloc.
7395         (retrieve_url): Allow heuristic adding of html.
7396
7397         * url.c (url_filename): Don't use the `%' in Windows file names.
7398
7399         * http.c (http_loop): Always time-stamp the local file.
7400
7401         * http.c (http_loop): Ditto.
7402
7403         * ftp.c (ftp_retrieve_list): Use it.
7404
7405         * utils.c (my_touch): New function.
7406
7407         * ftp.c (ftp_retrieve_list): Use #ifdef HAVE_STRUCT_UTIMBUF
7408         instead of #ifndef NeXT.
7409
7410         * utils.c (strptime): New version, by Ulrich Drepper.
7411
7412 1997-01-17  Hrvoje Niksic  <hniksic@srce.hr>
7413
7414         * http.c (haccepts_none): Renamed from `haccepts_bytes'.
7415         (gethttp): If haccepts_none(), disable ACCEPTRANGES.
7416         (http_loop): Would remove ACCEPTRANGES.
7417
7418         * ftp.c (getftp): Call ftp_list with NULL.
7419
7420 1997-01-15  Hrvoje Niksic  <hniksic@srce.hr>
7421
7422         * html.c (ftp_index): Don't print minutes and seconds if we don't
7423         know them; beautify the output.
7424
7425         * ftp.c (getftp): Don't close the socket on FTPNSFOD.
7426
7427 1997-01-14  Hrvoje Niksic  <hniksic@srce.hr>
7428
7429         * utils.c (strptime): New function.
7430         (strptime): Don't use get_alt_number.
7431         (strptime): Don't use locale.
7432         (match_string): Made it a function.
7433
7434 1997-01-12  Hrvoje Niksic  <hniksic@srce.hr>
7435
7436         * http.c (http_atotm): New function.
7437         (http_loop): Use it.
7438
7439         * atotm.c: Removed from the distribution.
7440
7441         * http.c (base64_encode_line): Rewrite.
7442
7443 1997-01-09  Hrvoje Niksic  <hniksic@srce.hr>
7444
7445         * ftp.c (getftp): Use ftp_expected_bytes; print size.
7446
7447         * ftp-basic.c (ftp_response): Use ftp_last_respline.
7448         (ftp_expected_bytes): New function.
7449
7450         * ftp.c (getftp): Print the unauthoritative file length.
7451
7452         * ftp-ls.c: Renamed from ftp-unix.c.
7453         (ftp_parse_ls): Moved from ftp.c.
7454         (ftp_parse_unix_ls): Recognize seconds in time spec.
7455         (ftp_parse_unix_ls): Recognize year-less dates of the previous
7456         year.
7457
7458 1997-01-08  Hrvoje Niksic  <hniksic@srce.hr>
7459
7460         * ftp-basic.c: Don't declare errno if #defined.
7461
7462         * host.c (ftp_getaddress): Check for sysinfo legally.
7463
7464 1997-01-08  Darko Budor  <dbudor@diana.zems.fer.hr>
7465
7466         * connect.c (iread): Use READ.
7467
7468 1996-12-23  Hrvoje Niksic  <hniksic@srce.hr>
7469
7470         * url.c: Recognize finger, rlogin, tn3270, mid and cid as valid
7471         schemes.
7472
7473 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
7474
7475         * host.c (ftp_getaddress): Allow `.' in hostname.
7476
7477 1996-12-26  Darko Budor <dbudor@zems.fer.hr>
7478
7479         * wget.h: READ and WRITE macros for use instead of read and write
7480         on sockets, grep READ *.c, grep WRITE *.c
7481
7482         * wsstartup.c: new file - startup for winsock
7483
7484         * wsstartup.h: new file
7485
7486         * win32decl.h: new file - fixup for <errno.h> and winsock trouble
7487
7488         * configure.bat: Configure utility for MSVC
7489
7490         * src/Makefile.ms,config.h.ms: new files for use with MSVC 4.x
7491
7492 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
7493
7494         * version.c: Released 1.4.3-pre.
7495
7496         * utils.c (prnum): Accept long.
7497         (legible): Use prnum().
7498
7499         * connect.c (make_connection): Accept port as short.
7500         (bindport): Ditto.
7501
7502         * http.c (gethttp): Use search_netrc.
7503
7504 1996-12-21  Hrvoje Niksic  <hniksic@srce.hr>
7505
7506         * ftp.c (getftp): Use search_netrc.
7507
7508         * netrc.c (free_netrc): New function.
7509
7510         * init.c (home_dir): New function.
7511
7512         * url.c (convert_links): Allow REL2ABS changes.
7513
7514 1996-12-21  Gordon Matzigkeit  <gord@gnu.ai.mit.edu>
7515
7516         * netrc.c: New file.
7517         (parse_netrc, maybe_add_to_list): New functions.
7518
7519 1996-12-17  Hrvoje Niksic  <hniksic@srce.hr>
7520
7521         * retr.c (retrieve_url): Reset opt.recursion before calling
7522         ftp_loop if it is reached through newloc.
7523
7524         * init.c (run_wgetrc): Print the wgetrc path too, when reporting
7525         error; don't use "Syntax error", since we don't know if it is
7526         really a syntax error.
7527
7528 1996-12-16  Hrvoje Niksic  <hniksic@srce.hr>
7529
7530         * utils.c (acceptable): Extract the filename part of the path.
7531
7532         * recur.c (recursive_retrieve): Call acceptable() with the right
7533         argument; would bug out on wildcards.
7534
7535         * init.c (parse_line): Likewise.
7536
7537         * html.c (htmlfindurl): Cast to char * when calling stuff.
7538
7539 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
7540
7541         * ftp.c (getftp): Use ftp_pasv.
7542
7543         * ftp-basic.c (ftp_request): Accept NULL value.
7544         (ftp_pasv): New function.
7545
7546         * options.h (struct options): Add passive FTP option.
7547
7548 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
7549
7550         * url.c (parseurl): Debug output.
7551
7552         * utils.c (path_simplify): New one, adapted from bash's
7553         canonicalize_pathname().
7554
7555 1996-12-14  Hrvoje Niksic  <hniksic@srce.hr>
7556
7557         * ftp.c (getftp): Don't discard the buffer.
7558
7559         * retr.c (get_contents): New parameter nobuf.
7560
7561 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
7562
7563         * html.c (htmlfindurl): Recognize <meta contents="d; URL=...".
7564
7565         * init.c (setval): Strip the trailing slashes on CVECDIR.
7566
7567 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
7568
7569         * init.c: Make excludes and includes under CVECDIR instead of
7570         CVEC.
7571
7572 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
7573
7574         * url.c (get_urls_html): Skip "http:".
7575
7576 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
7577
7578         * utils.c (strcasecmp): From glibc.
7579         (strncasecmp): Also.
7580         (strstr): Also.
7581
7582         * url.c: Added javascript: to the list of URLs prefixes.
7583
7584 1996-12-12  Shawn McHorse  <riffraff@txdirect.net>
7585
7586         * recur.c (retrieve_robots): Print the warning message only if
7587         verbose.
7588
7589 1996-12-12  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
7590
7591         * ftp.c (ftp_retrieve_list): Use NeXT old utime interface.
7592
7593 1996-12-12  Hrvoje Niksic  <hniksic@srce.hr>
7594
7595         * systhings.h: New file.
7596
7597         * ../configure.in: Check for utime.h
7598
7599         * ftp.c: Check whether we have unistd.h.
7600
7601 1996-11-27  Hrvoje Niksic  <hniksic@srce.hr>
7602
7603         * recur.c (recursive_retrieve): Send the canonical URL as referer.
7604         (recursive_retrieve): Call get_urls_html with the canonical URL.
7605
7606 1996-12-13  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
7607
7608         * (configure.in, config.h.in, src/Makefile.in, src/*.[ch]): Add
7609         ansi2knr support for compilers which don't support ANSI style
7610         function prototypes and signatures.
7611
7612         * (aclocal.m4, src/ansi2knr.c, src/ansi2knr.1): New files.
7613
7614 1996-11-26  Hrvoje Niksic  <hniksic@srce.hr>
7615
7616         * url.c: Use it; Recognize paths ending with "." and ".." as
7617         directories.
7618         (url_filename): Append .n whenever file exists and could be a
7619         directory.
7620
7621         * url.h (ISDDOT): New macro.
7622
7623         * init.c (parse_line): Use unsigned char.
7624
7625         * url.c (get_urls_html): Cast to unsigned char * when calling
7626         htmlfindurl.
7627
7628         * html.c (htmlfindurl): Use unsigned char.
7629
7630         * version.c: Changed version to 1.4.3.
7631
7632 1996-11-25  Hrvoje Niksic  <hniksic@srce.hr>
7633
7634         * version.c: Released 1.4.2.
7635
7636         * ftp.c (getftp): Simplified assertion.
7637         (ftp_loop_internal): Remove symlink before downloading.
7638         (ftp_retrieve_list): Unlink the symlink name before attempting to
7639         create a symlink!
7640
7641         * options.h (struct options): Renamed print_server_response to
7642         server_response.
7643
7644         * ftp.c (rel_constr): Removed.
7645         (ftp_retrieve_list): Don't use it.
7646         (ftp_retrieve_list): Use opt.retr_symlinks.
7647
7648 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
7649
7650         * main.c (main): New option retr_symlinks.
7651
7652         * url.c (convert_links): Print verbose message.
7653
7654 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
7655
7656         * http.c (http_loop): Reset newloc in the beginning of function;
7657         would cause FMR in retrieve_url.
7658
7659 1996-11-23  Hrvoje Niksic  <hniksic@srce.hr>
7660
7661         * recur.c (convert_all_links): Find the URL of each HTML document,
7662         and feed it to get_urls_html; would bug out.
7663         (convert_all_links): Check for l2 instead of dl; removed dl.
7664
7665         * url.c (convert_links): Don't refer to freed newname.
7666
7667         * recur.c (recursive_retrieve): Add this_url to urls_downloaded.
7668
7669         * main.c (main): Print the OS_TYPE in the debug output, too.
7670
7671         * recur.c (recursive_retrieve): Check for opt.delete_after.
7672
7673         * main.c (main): New option delete-after.
7674
7675         * init.c (setval): Cleaned up.
7676
7677 1996-11-21  Hrvoje Niksic  <hniksic@srce.hr>
7678
7679         * Makefile.in (wget): Make `wget' the default target.
7680
7681         * ftp.c (ftp_loop_internal): Move noclobber checking out of the
7682         loop.
7683         (ftp_retrieve_list): Warn about non-matching sizes.
7684
7685         * http.c (http_loop): Made -nc non-dependent on opt.recursive.
7686
7687         * init.c (setnum): Renamed from setnuminf; New argument flags.
7688         (setval): Use it.
7689
7690         * main.c (main): Sorted the options.
7691         (main): New option --wait.
7692
7693 1996-11-21  Shawn McHorse  <riffraff@txdirect.net>
7694
7695         * html.c (htmlfindurl): Reset s->in_quote after getting out of
7696         quotes.
7697
7698 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
7699
7700         * version.c: Changed version to 1.4.2.
7701
7702 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
7703
7704         * version.c: Released 1.4.1.
7705
7706         * html.c (html_quote_string): New function.
7707         (ftp_index): Use it.
7708         (htmlfindurl): A more gentle ending debug message.
7709
7710         * ftp.c (ftp_loop): Check for opt.htmlify.
7711
7712         * init.c: New command htmlify.
7713
7714         * ftp.c (getftp): Nicer error messages, with `'-encapsulated
7715         strings.
7716         (ftp_loop): Print size of index.html.
7717
7718         * init.c (setval): Implement "styles".
7719
7720         * main.c (main): New option dotstyle.
7721
7722 1996-11-19  Hrvoje Niksic  <hniksic@srce.hr>
7723
7724         * ftp.c (getftp): Close the master socket in case of errors, after
7725         bindport().
7726
7727         * connect.c (bindport): Initialize msock to -1.
7728
7729         * ftp.c (getftp): Initialize dtsock to -1.
7730
7731         * connect.c (closeport): Don't close sock if sock == -1.
7732
7733 1996-11-18  Hrvoje Niksic  <hniksic@srce.hr>
7734
7735         * init.c (setnuminf): Nuked default value -- just leave unchanged.
7736         (setval): Don't send default values.
7737         (defaults): Use DEFAULT_TIMEOUT -- aaargh.
7738
7739         * options.h (struct options): Use long for dot_bytes.
7740
7741         * init.c (setquota): Renamed to setbytes.
7742         (setval): Use setbytes on DOTBYTES.
7743
7744 1996-11-17  Hrvoje Niksic  <hniksic@srce.hr>
7745
7746         * ftp.c (getftp): Initialize con->dltime.
7747
7748         * recur.c (recursive_retrieve): Use same_host instead of
7749         try_robots; simply load robots_txt whenever the host is changed.
7750         (recursive_retrieve): Free forbidden before calling parse_robots.
7751
7752 1996-11-16  Hrvoje Niksic  <hniksic@srce.hr>
7753
7754         * retr.c (show_progress): Use them.
7755
7756         * options.h (struct options): New options dot_bytes, dots_on_line
7757         and dot_spacing.
7758
7759 1996-11-16  Mark Boyns  <boyns@sdsu.edu>
7760
7761         * recur.c (recursive_retrieve): Retrieve directories regardless of
7762         acc/rej rules; check for empty u->file.
7763
7764 1996-11-14  Hrvoje Niksic  <hniksic@srce.hr>
7765
7766         * init.c (setval): Use it.
7767
7768         * utils.c (merge_vecs): New function.
7769
7770         * init.c (setval): Reset the list-type functions when encountering
7771         "".
7772
7773 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
7774
7775         * recur.c (recursive_retrieve): Use base_url instead of this_url
7776         for no_parent.
7777
7778 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
7779
7780         * html.c (htmlfindurl): Reset s->in_quote after exiting the quote.
7781
7782 1996-11-13  Hrvoje Niksic  <hniksic@srce.hr>
7783
7784         * utils.c (sepstring): Rewrote; don't use strtok.
7785
7786         * recur.c (recursive_retrieve): Enter assorted this_url to slist
7787         when running the first time.
7788         (retrieve_robots): Warn to ignore errors when robots are loaded.
7789
7790         * utils.c (load_file): Moved from url.c.
7791
7792         * http.c: Made static variables const too in h* functions.
7793
7794         * main.c (main): Renamed --continue-ftp to --continue.
7795
7796         * recur.c (recursive_retrieve): Use it.
7797
7798         * utils.c (frontcmp): New function.
7799
7800         * url.c (accdir): New function.
7801
7802         * html.c (htmlfindurl): Recognize <area href=...>.
7803
7804         * ftp.c (ftp_retrieve_dirs): Implemented opt.includes.
7805
7806         * init.c (setval): Free the existing opt.excludes and
7807         opt.includes, if available.
7808
7809         * main.c (main): New option -I.
7810
7811 1996-11-12  Hrvoje Niksic  <hniksic@srce.hr>
7812
7813         * ftp.c (ftp_retrieve_glob): Do not weed out directories.
7814
7815         * version.c: Changed version to 1.4.1.
7816
7817 1996-11-11  Hrvoje Niksic  <hniksic@srce.hr>
7818
7819         * version.c: Released 1.4.0.
7820
7821 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
7822
7823         * main.c (main): Free com and val after parse_line.
7824         (printhelp): Reorder the listing.
7825
7826         * http.c: More robust header parsing.
7827
7828         * http.c: Allow any number of spaces, or no spaces, precede ':'.
7829         (hskip_lws): New function.
7830         (haccepts_bytes): New function.
7831         (gethttp): Use it.
7832
7833         * init.c (setval): Check header sanity.
7834         (setval): Allow resetting of headers.
7835
7836 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
7837
7838         * http.c (http_loop): Don't use has_wildcards.
7839
7840         * http.c (gethttp): Free all_headers -- would leak.
7841
7842         * recur.c (recursive_retrieve): Initialize depth to 1 instead of
7843         0 -- this fixes a long-standing bug in -rl.
7844
7845 1996-11-09  Hrvoje Niksic  <hniksic@srce.hr>
7846
7847         * ftp.c: Use -1 as "impossible" value for con->fd.
7848
7849         * url.h (URL_SEPARATOR): Don't treat `*' and `+' as separators.
7850
7851         * init.c (parse_line): Use isalpha.
7852
7853         * ftp-unix.c: Use HAVE_UNISTD_H.
7854
7855         * mtch.c (has_wildcards): Don't match \.
7856
7857         * http.c (http_loop): Warn on HTTP wildcard usage.
7858
7859 1996-11-08  Hrvoje Niksic  <hniksic@srce.hr>
7860
7861         * url.c (url_filename): Do not create numbered suffixes if
7862         opt.noclobber -- would bug out on -nc.
7863
7864 1996-11-07  Hrvoje Niksic  <hniksic@srce.hr>
7865
7866         * recur.c (parse_robots): Don't chuck out the commands without
7867         arguments (`Disallow:<empty>' didn't work).
7868         (parse_robots): Compare versions lowercase.
7869         (parse_robots): Match on base_version, not version_string!
7870         (parse_robots): Handle comments properly.
7871         (parse_robots): Match versions in a sane way.
7872
7873         * init.c: Print nicer error messages.
7874
7875         * version.c: Changed version to 1.4.0.
7876
7877 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
7878
7879         * version.c: Released 1.4.0-test2.
7880
7881         * init.c (run_wgetrc): Close fp.
7882
7883         * ftp.c (ftp_retrieve_dirs): Allocate the correct length for
7884         u->dir.
7885
7886 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
7887
7888         * init.c (setquota): Allow inf as quota specification.
7889
7890 1996-11-05  Hrvoje Niksic  <hniksic@srce.hr>
7891
7892         * ftp.c (ftp_retrieve_dirs): Return QUOTEXC if quota exceeded.
7893         (ftp_retrieve_glob): Return QUOTEXC on quota exceeded.
7894
7895         * main.c (main): Check for quota by comparison with downloaded
7896         stuff, not from status.
7897
7898         * connect.c (select_fd): Should compile on HPUX without warnings now.
7899
7900         * ftp.c (ftp_get_listing): Check whether ftp_loop_internal
7901         returned RETROK.
7902
7903 1996-11-04  Hrvoje Niksic  <hniksic@srce.hr>
7904
7905         * ftp.c (ftp_retrieve_glob): Print the pattern nicely.
7906         (getftp): Return FTPRETRINT on control connection error.
7907
7908         * html.c (htmlfindurl): Recognize <embed src=...> and
7909         <bgsound src=...>.
7910         (ftp_index): Handle username and password correctly.
7911
7912         * main.c (main): Made `-np' a synonim for --no-parent.
7913
7914 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
7915
7916         * ftp.c (ftp_loop): Check for opt.ftp_glob too before calling
7917         ftp_retrieve_glob.
7918
7919         * version.c: Changed version to 1.4.0-test2.
7920
7921 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
7922
7923         * version.c: Released 1.4.0-test1.
7924
7925         * url.c (str_url): Don't use sprintf when creating %2F-prefixed
7926         directory.
7927         (convert_links): Removed definition of make_backup.
7928
7929         * http.h: Removed definition of MAX_ERROR_LENGTH.
7930
7931         * host.c (ftp_getaddress): Check for "(none)" domains.
7932
7933         * ftp.c (ftp_retrieve_dirs): Docfix.
7934
7935         * http.c (gethttp): Use ou->referer instead of u->referer.
7936
7937         * retr.c (retrieve_url): Reset u to avoid freeing pointers twice;
7938         this was known to cause coredumps on Linux.
7939
7940         * html.c (ftp_index): Cast the argument to local_time to time_t *.
7941
7942 1996-11-01  Hrvoje Niksic  <hniksic@srce.hr>
7943
7944         * connect.c (select_fd): Use exceptfds -- once and for all.
7945
7946         * retr.c (retrieve_from_file): Free filename after
7947         recursive_retrieve.
7948         (retrieve_from_file): Send RFIRST_TIME to recursive_retrieve on
7949         first-time retrieval.
7950         (retrieve_from_file): Return uerr_t; new argument, count.
7951         (retrieve_from_file): Break on QUOTEXC.
7952
7953         * init.c (setquota): Fixed a bug that caused rejection of
7954         non-postfixed values..
7955
7956 1996-10-30  Hrvoje Niksic  <hniksic@srce.hr>
7957
7958         * version.c: Changed name to wget.
7959
7960         * connect.c (iread): Smarter use of select.
7961         (select_fd): Set errno on timeout.  If not timeout, return 1
7962         instead of 0.
7963
7964 1996-10-29  Hrvoje Niksic  <hniksic@srce.hr>
7965
7966         * ftp.c (ftp_loop_internal): Don't use con->cmd before
7967         establishing it.
7968
7969 1996-10-26  Hrvoje Niksic  <hniksic@srce.hr>
7970
7971         * http.c (gethttp): Send correct referer when using proxy.
7972         (gethttp): Use struct urlinfo ou to access the relevant data; send
7973         correct authorization in all cases.
7974
7975         * host.c (same_host): Use skip_uname to skip username and
7976         password.
7977
7978         * url.c (skip_uname): New function.
7979         (parseurl): Use it.
7980
7981         * host.c (same_host): Do not assume HTTP -- same_host should now
7982         be totally foolproof.
7983
7984         * url.c (skip_proto): New function.
7985         (parse_uname): Use it.
7986
7987         * http.c (gethttp): Create local user and passwd from what is
7988         given.
7989
7990         * url.c (parseurl): Check for HTTP username and password too.
7991
7992 1996-10-25  Hrvoje Niksic  <hniksic@srce.hr>
7993
7994         * config.h.in: Removed #define gethostbyname R...
7995
7996 1996-10-22  Hrvoje Niksic  <hniksic@srce.hr>
7997
7998         * version.c: Changed version to 1.4.0-test1.
7999
8000 1996-10-21  Hrvoje Niksic  <hniksic@srce.hr>
8001
8002         * version.c: "Released" 1.4b29.
8003
8004         * recur.c (recursive_retrieve): Check for no_parent.
8005
8006         * init.c (setval): Option update.
8007
8008         * main.c (main): New option no-parent.
8009
8010         * options.h (struct options): New variable no_parent.
8011
8012         * recur.c (recursive_retrieve): Only files are checked for
8013         opt.accepts and opt.rejects.
8014         (recursive_retrieve): Check directories for opt.excludes.
8015         (recursive_retrieve): Make the dir absolute when checking
8016         opt.excludes.
8017
8018         * html.c (htmlfindurl): Recognize <applet code=...> and <script
8019         src=...>
8020
8021 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
8022
8023         * ftp.c (getftp): Do not line-break assert entries at all.
8024         (ftp_retrieve_dirs): docfix.
8025
8026         * connect.c (select_fd): Use fd + 1 as nfds.
8027
8028         * version.c: Changed version to 1.4b29.
8029
8030 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
8031
8032         * version.c: "Released" 1.4b28.
8033
8034         * ftp.c (ftp_loop_internal): Check whether f->size == len and
8035         don't continue the loop if it is.
8036         (ftp_get_listing): Remove list_filename on unsuccesful loop.
8037
8038 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
8039
8040         * ftp.c (ftp_loop_internal): Use strcpy to initialize tmp.
8041         (getftp): Do not use multiline assert.
8042
8043         * http.c (hparsestatline): Use mjr and mnr instead of major and
8044         minor, which don't compile on Ultrix.
8045         (http_loop): Use strcpy() to initialize tmp.
8046
8047         * all: Geturl -> Fetch
8048
8049 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
8050
8051         * recur.c (parse_robots): Fixed an off-by-one bug when looking for
8052         ':'.
8053
8054         * html.c (htmlfindurl): Fixed several possible off-by-one bugs by
8055         moving `bufsize &&' to the beginning of each check in for-loops.
8056
8057         * recur.c (parse_robots): Close fp on exit.
8058
8059         * url.c (mymkdir): Check for each directory before creating.
8060
8061 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
8062
8063         * version.c: Changed version to 1.4b28.
8064
8065 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
8066
8067         * version.c: "Released" 1.4b27.
8068
8069         * init.c (parse_line): Use isspace.
8070         (parse_line): Free *com on all errors.
8071
8072         * ftp.c (ftp_loop): Change FTPOK to RETROK before exiting.
8073         (delelement): Use next instead of f->next and prev instead of
8074         f->prev.
8075         (delelement): Free the members of the deleted element.
8076
8077         * http.c (http_loop): Do not return RETROK on code != 20x.
8078
8079         * init.c (cleanup): Free opt.user_header.
8080         (cleanup): Free opt.domains.
8081
8082         * url.c (freelists): Moved to cleanup().
8083
8084         * http.c (hparsestatline): Docfix.
8085
8086         * main.c (main): Return with error status on unsuccesful
8087         retrieval.
8088
8089         * init.c (setval): Do not remove listing when mirroring.
8090
8091         * url.c (url_filename): Use opt.fileprefix.
8092
8093         * ftp.c (ftp_get_listing): Use url_filename to get filename for
8094         .listing.
8095
8096         * main.c (main): New option: -rn.
8097
8098 1996-10-15  Hrvoje Niksic  <hniksic@srce.hr>
8099
8100         * Makefile.in (RM): Added RM = rm -f.
8101
8102         * host.c (clean_hosts): New function.
8103         (free_hlist): Just free the list, no reset.
8104
8105         * version.c: Changed version to 1.4b27.
8106
8107 1996-10-13  Hrvoje Niksic  <hniksic@srce.hr>
8108
8109         * version.c: "Released" 1.4b26.
8110
8111         * retr.c (retrieve_from_file): If call get_urls_html with
8112         opt.spider to make it silent in spider mode.
8113
8114         * url.c (str_url): Use CLEANDUP instead of URL_CLEANSE.
8115
8116         * url.h (CLEANDUP): New macro.
8117
8118         * http.c (gethttp): Fixed a bug that freed location only when it
8119         was NULL.
8120
8121         * retr.c (retrieve_url): Free url if it will not be stored,
8122         i.e. newloc is NULL.
8123
8124         * html.c (htmlfindurl): Handle exiting from quotes correctly; the
8125         old version would bug out on <a href="x#a"href="y">.
8126
8127         * html.h (state_t): New member in_quote.
8128
8129         * html.c (htmlfindurl): Free s->attr at the beginning of
8130         attr-loop.
8131
8132         * recur.c (recursive_retrieve): Recognize RCLEANUP.
8133         (tried_robots): Make hosts a global variable.
8134         (recursive_retrieve): Free constr after URL host optimization.
8135         (tried_robots): Free urlinfo before exiting.
8136
8137         * utils.c (free_slist): New function.
8138
8139         * recur.c (recursive_retrieve): Use flags to add cleanup
8140         possibility.
8141
8142         * main.c (main): Free filename after recursive_retrieve.
8143
8144         * http.c (gethttp): Store successful responses too.
8145
8146 1996-10-12  Hrvoje Niksic  <hniksic@srce.hr>
8147
8148         * all: Constified the whole source.  This required some minor
8149         changes in many functions in url.c, possibly introducing bugs -- I
8150         hope not.
8151
8152         * ftp-basic.c: Removed last_respline.
8153
8154         * http.c (gethttp): Free type.
8155
8156         * host.c (same_host): Free real1 and real2.
8157
8158         * main.c (main): New option --spider.
8159
8160         * retr.c (get_contents): Don't reset errno.
8161
8162         * main.c (main): Sorted the options.
8163
8164         * connect.c (iread): Set errno to ETIMEDOUT only if it was left
8165         uninitialized by select().
8166
8167         * http.c (http_loop): Print the time when the connection is
8168         closed.
8169         (gethttp): Debug-print the HTTP request.
8170
8171 1996-10-11  Hrvoje Niksic  <hniksic@srce.hr>
8172
8173         * connect.c (iread): Do not try reading after timeout.
8174
8175         * main.c (main): Would bug out on -T.
8176
8177         * connect.c (select_fd): Do not use exceptfds.
8178         (iread): Set ETIMEDOUT on select_fd <= 0.
8179
8180         * version.c: Changed version to 1.4b26.
8181
8182 1996-10-10  Hrvoje Niksic  <hniksic@srce.hr>
8183
8184         * version.c: "Released" 1.4b25.
8185
8186         * ftp-unix.c (ftp_parse_unix_ls): Ignore lines without file name
8187         or link name.
8188
8189         * http.c (gethttp): Add errcode to struct hstat.
8190         (http_loop): Use it.
8191
8192         * url.c (no_proxy_match): Simplify using char** for no_proxy.
8193
8194         * options.h (struct options): Make opt.no_proxy a vector.
8195
8196         * utils.c (sepstring): Use !*s instead of !strlen(s).
8197
8198         * init.c (setval): Set opt.maxreclevel to 0 on --mirror.
8199         (getperms): Use ISODIGIT instead of isdigit.
8200
8201         * ftp.c (getftp): Print time.
8202
8203         * main.c (main): Use legible output of downloaded quantity.
8204
8205         * ftp.c (getftp): Use elapsed_time().
8206         (ftp_loop_internal): Use rate().
8207
8208         * http.c (http_loop): Add download ratio output; Use rate().
8209
8210         * utils.c (rate): New function.
8211
8212 1996-10-09  Hrvoje Niksic  <hniksic@srce.hr>
8213
8214         * http.c (http_loop): Use timer.
8215
8216         * ftp.c: Split to ftp-basic.c and ftp.c
8217
8218         * utils.c (reset_timer): New function.
8219         (elapsed_time): New function.
8220
8221         * retr.c (show_progress): Make bytes_in_line and offs long; should
8222         work on 16-bit machines.
8223
8224 1996-10-08  Hrvoje Niksic  <hniksic@srce.hr>
8225
8226         * url.c (in_acclist): New argument backward.
8227
8228         * ftp.c (ftp_retrieve_glob): Use acceptable() to determine whether
8229         a file should be retrieved according to suffix.
8230         (ftp_get_listing): Check the return value of unlink; Do not call
8231         ftp_retrieve_dirs if depth reached maxreclevel.
8232         (ftp_retrieve_dirs): Check whether the directory is in
8233         exclude-list.
8234
8235         * main.c (main): Print the version number at the beginning of
8236         DEBUG output.
8237         (main): Use strrchr when creating exec_name.
8238
8239         * ftp.c (ftp_retrieve_glob): Do not close control connection.
8240
8241         * version.c: Changed version to 1.4b25.
8242
8243 1996-10-07  Hrvoje Niksic  <hniksic@srce.hr>
8244
8245         * version.c: "Released" 1.4b24.
8246
8247         * Makefile.in: Rewrite.
8248
8249         * ftp.c (ftp_loop_internal): Likewise.
8250
8251         * retr.c (time_str): Check for failed time().
8252
8253         * html.c (htmlfindurl): Recognize <fig src> and <overlay src> from
8254         HTML3.0.
8255
8256         * retr.c (time_str): Return time_t *.
8257
8258         * connect.c (bindport): Close msock on unsuccesful bind.
8259         (bindport): The same for getsockname and listen.
8260
8261         * retr.c (retrieve_url): Allow any number of retries on
8262         proxy.
8263
8264         * http.c (gethttp): Do not treat errno == 0 as timeout.
8265         (http_loop): Likewise.
8266         (http_loop): Cosmetic changes.
8267
8268         * connect.c (iread): Set errno to ETIMEDOUT in case of timeout.
8269
8270         * retr.c (get_contents): Reset errno.
8271
8272         * ftp.c (getftp): Minor fixes.
8273
8274 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
8275
8276         * http.c: Do not use backups.
8277
8278         * geturl.1 (WARNING): Warn that man-page could be obsolete.
8279
8280         * getopt.c (getopt_long): Moved to getopt.c
8281
8282         * geturl.texi: Enhanced.
8283
8284         * main.c (main): Use it.
8285
8286         * recur.c (convert_all_links): New function.
8287
8288         * utils.c (add_slist): New argument flags.
8289
8290         * recur.c (recursive_retrieve): Update a list of downloaded URLs.
8291         (parse_robots): Do not chuck out empty value fields.
8292         (parse_robots): Make yourself welcome on empty Disallow.
8293
8294         * version.c: Changed version to 1.4b24.
8295
8296 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
8297
8298         * version.c: "Released" 1.4b23.
8299
8300         * ftp.c (ftp_loop_internal): Get the time after getftp.
8301
8302         * Makefile.in (install.info): New target.
8303         (install): Use it.
8304
8305         * http.c (http_loop): Fix output when doing -O.
8306
8307 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
8308
8309         * geturl.texi: New file.
8310
8311         * main.c (main): Do not print the warnings and download summary if
8312         opt.quiet is set.
8313
8314         * version.c: Changed version to 1.4b23.
8315
8316 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
8317
8318         * "Released" 1.4b22.
8319
8320         * atotm.c (atotm): Use True and False instead of TRUE and FALSE,
8321         to avoid redefinition warnings.
8322
8323         * host.c (store_hostaddress): Use memcpy() to copy the address
8324         returned by inet_addr.
8325
8326         * version.c: Changed version to 1.4b22.
8327
8328 1996-10-04  Hrvoje Niksic  <hniksic@srce.hr>
8329
8330         * version.c: "Released" 1.4b21.
8331
8332         * ftp-unix.c (ftp_parse_ls): Renamed to ftp_parse_unix_ls.
8333
8334         * ftp.c (ftp_port): Use conaddr.
8335         (getftp): Print the file length.
8336         (ftp_retrieve_list): Check the stamps of plain files only.
8337
8338         * connect.c (closeport): Do not call shutdown().
8339         (conaddr): New function.
8340
8341         * html.c (ftp_index): Made it dfp-aware.
8342
8343         * init.c (cleanup): New name of freemem. Close opt.dfp.
8344
8345         * ftp.c (getftp): Use opt.dfp if it is set.
8346
8347         * ftp-unix.c (ftp_parse_ls): Recognize time in h:mm format.
8348
8349         * ftp.c (ftp_retrieve_dirs): Fixed a bug that caused incorrect
8350         CWDs to be sent with recursive FTP retrievals.
8351
8352 1996-10-03  Hrvoje Niksic  <hniksic@srce.hr>
8353
8354         * recur.c (parse_robots): Made it more compliant with "official"
8355         specifications.
8356
8357         * http.c: New function.
8358
8359         * ftp-unix.c (ftp_parse_ls): Added better debug output.
8360
8361         * ftp.c (getftp): Print out the LIST in case of
8362         opt.print_server_response.
8363
8364         * version.c: Changed version to 1.4b21.
8365
8366 1996-10-01  Hrvoje Niksic  <hniksic@srce.hr>
8367
8368         * version.c: "Released" 1.4b20.
8369
8370         * README: Update.
8371
8372         * http.c (gethttp): Preset lengths of various headers instead of
8373         calculating them dynamically.
8374         (gethttp): Check for 206 partial contents.
8375
8376 1996-09-30  Hrvoje Niksic  <hniksic@srce.hr>
8377
8378         * configure.in: Set SYSTEM_GETURLRC to $libdir/geturlrc
8379
8380         * http.c (gethttp): Send the port number in the Host: header.
8381
8382 1996-09-29  Hrvoje Niksic  <hniksic@srce.hr>
8383
8384         * http.c (gethttp): Send host: header.
8385         (gethttp): Add the possibility of user-defined headers.
8386         (gethttp): Move decision about pragma: no-cache to http_loop,
8387         where it belongs.
8388         (gethttp): Pass a struct instead of enormous argument list.
8389         (http_loop): Use a new, fancier display format.
8390         (ftp_loop): Likewise.
8391
8392         * main.c: (hangup): Turn off buffering of the new log file.
8393
8394         * install-sh: Likewise.
8395
8396         * config.sub: Replace with the one in autoconf-2.10
8397
8398         * geturl.1: Update.
8399
8400         * init.c: New options httpuser and httppasswd.
8401
8402         * http.c: (base64_encode_line): New function.
8403         (gethttp): Send authentication.
8404
8405         * connect.c (make_connection): Use store_hostaddress.
8406
8407 1996-09-28  Hrvoje Niksic  <hniksic@srce.hr>
8408
8409         * host.c (store_hostaddress): New function.
8410
8411         * NEWS: Update.
8412
8413         * http.c (hgetrange): New function.
8414         (gethttp): Use ranges.
8415
8416         * utils.c (numdigit): Accept long instead of int.
8417
8418         * http.c (http_loop): Add restart capabilities.
8419
8420         * ftp.c (ftp_retrieve_glob): Fixed a bug that could cause matchres
8421         being used uninitialized.
8422         (ftp_retrieve_list): Similar fix.
8423
8424         * host.c (add_hlist): Fixed a bug that could cause cmp being used
8425         uninitialized.
8426
8427         * url.c (construct_relative): New function.
8428
8429         * recur.c (recursive_retrieve): Use it.
8430
8431         * retr.c (convert_links): New function.
8432
8433 1996-09-27  Hrvoje Niksic  <hniksic@srce.hr>
8434
8435         * url.c (free_urlpos): New function.
8436
8437         * recur.c (recursive_retrieve): Adapt.
8438
8439         * url.c (get_urls_html): Return a linked list instead of a vector.
8440
8441         * url.c (get_urls_file): Return a linked list instead of a vector.
8442
8443         * geturl.1: Update.
8444
8445         * http.c (gethttp): Implement it.
8446
8447         * init.c (setval): New option: SAVEHEADERS
8448
8449         * ftp.c (ftp_loop_internal): Do not set restval if listing is to
8450         be retrieved. Lack of this test caused bugs when the connection
8451         was lost during listing.
8452
8453         * retr.c (retrieve_url): Fixed a bug that caused
8454         coredumps. *newloc is now reset by default.
8455         (retrieve_url): Lift the twenty-tries limit on proxies.
8456
8457         * version.c: Changed version to 1.4b20.
8458
8459 1996-09-20  Hrvoje Niksic  <hniksic@srce.hr>
8460
8461         * version.c: "Released" 1.4b19.
8462
8463 1996-09-19  Hrvoje Niksic  <hniksic@srce.hr>
8464
8465         * ftp.c (ftp_loop_internal): Renamed from ftp_1fl_loop.
8466         (getftp): Changed prototype to accept ccon *.
8467
8468 1996-09-17  Hrvoje Niksic  <hniksic@srce.hr>
8469
8470         * ftp.c (ftp_retrieve_list): Fixed a bug that caused setting
8471         incorrect values to files pointed to by symbolic links.
8472         (ftp_1fl_loop): Do not count listings among the downloaded URL-s.
8473
8474 1996-09-16  Hrvoje Niksic  <hniksic@srce.hr>
8475
8476         * url.c (mkstruct): Do not prepend "./" in front of a pathname.
8477
8478         * main.c (main): New option: --user-agent.
8479
8480         * geturl.1: Ditto.
8481
8482         * init.h: Ditto.
8483
8484         * init.c (setval): Ditto.
8485
8486         * main.c (main): Rename "server-headers" to "server-response".
8487
8488         * ftp-unix.c (ftp_parse_ls): Check for asterisks at the end of
8489         executables in 'ls -F' listings.
8490
8491 1996-09-15  Hrvoje Niksic  <hniksic@srce.hr>
8492
8493         * url.c (parseurl): Remove realloc() and sprintf().
8494         (str_url): Get rid of sprintf().
8495
8496         * recur.c (recursive_retrieve): Enable FTP recursion through proxy
8497         servers.
8498
8499         * url.h (URL_CLEANSE): Made it else-resistant.
8500         (USE_PROXY): New macro.
8501
8502 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
8503
8504         * NEWS: Update.
8505
8506         * version.c: Changed version to 1.4b19.
8507
8508 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
8509
8510         * version.c: "Released" 1.4b18.
8511
8512         * url.c: Made it reallocate space exponentially.
8513
8514 1996-09-14  Drazen Kacar  <dave@fly.cc.fer.hr>
8515
8516         * html.c (htmlfindurl): Added <frame src> and <iframe src> among
8517         the list of stuff to fetch.
8518
8519 1996-09-13  Hrvoje Niksic  <hniksic@srce.hr>
8520
8521         * url.c (get_urls_html): Fixed a bug that caused SIGSEGV's with
8522         -Fi.
8523
8524         * html.c (htmlfindurl): Rewrite.
8525
8526         * http.c (gethttp): Use opt.proxy_cache.
8527
8528         * main.c (main): Added --cache option.
8529
8530         * ftp.c (ftp_response): Print server response if opt.print_server
8531         response is set.
8532         (getftp): Print newlines after each request if the server response
8533         is to be printed.
8534         (ftp_response): Copy the last response line to last_respline.
8535
8536         * http.c (gethttp): Add Pragma: nocache for retried
8537         proxy-retrievals.
8538
8539         * ftp.c (getftp): Use it.
8540
8541         * retr.c (buf_discard): New function.
8542
8543         * ftp.c (ftp_response): Use buf_readchar().
8544         (getftp): Flush the control connection buffer before calling
8545         get_contents().
8546
8547         * retr.c (buf_readchar): New function.
8548         (buf_flush): New function.
8549         (get_contents): Use buf_readchar() instead of read(x, x, 1).
8550         (get_contents): Use buf_flush.
8551
8552 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
8553
8554         * ftp.c: Incorporate changes to ftp_response.
8555
8556         * ftp.c (ftp_response): Allocate the server response dynamically,
8557         as in read_whole_line and fetch_next_header.
8558
8559         * utils.c (read_whole_line): Fixed a bug that prevented reading
8560         the last line if it is not \n-terminated. Also fixed a possible
8561         memory overflow.
8562
8563         * http.c (fetch_next_header): Return malloc-ed string as large as
8564         needed.
8565         (gethttp): Use new fetch_next_header.
8566
8567 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
8568
8569         * http.c (hgetlen): Compute the header length the first time only.
8570         (hgettype): Ditto.
8571         (hgetlocation): Ditto.
8572         (hgetmodified): Ditto.
8573
8574 1996-09-11  Hrvoje Niksic  <hniksic@srce.hr>
8575
8576         * sample.geturlrc: Update.
8577
8578 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
8579
8580         * http.c (http_loop): Ditto.
8581
8582         * ftp.c (getftp): Open the output file as binary.
8583
8584         * version.c: Changed version to 1.4b18.
8585
8586 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
8587
8588         * version.c: "Released" 1.4b17.
8589
8590         * ftp-unix.c (ftp_parse_ls): If unable to open file, return NULL
8591         instead of failed assertion.
8592
8593 1996-09-09  Hrvoje Niksic  <hniksic@srce.hr>
8594
8595         * ftp.c (ftp_get_listing): Add a numbered suffix to LIST_FILENAME
8596         if a file of that name already exists.
8597
8598 1996-09-05  Hrvoje Niksic  <hniksic@srce.hr>
8599
8600         * ftp.c (ftp_1fl_loop): Handler FTPPORTERR and FOPENERR correctly.
8601
8602         * config.h.in: Define gethostbyname as Rgethostbyname when using
8603         Socks.
8604
8605         * configure.in: Check for -lresolv if using Socks.
8606
8607         * version.c: Changed version to 1.4b17.
8608
8609 1996-07-15  Hrvoje Niksic  <hniksic@srce.hr>
8610
8611         * version.c: "Released" 1.4b16.
8612
8613         * http.c (gethttp): More intelligent check for first line of HTTP
8614         response.
8615         (gethttp): Would bug out on time-stamping.
8616
8617         * version.c: Changed version to 1.4b16.
8618
8619 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
8620
8621         * version.c: Released 1.4b15.
8622
8623         * http.c (http_loop): Print \n after the loop entry, not before.
8624
8625         * url.c (url_filename): Use ISDOT.
8626
8627         * url.h (ISDOT): New macro.
8628
8629         * recur.c (recursive_retrieve): Change only opt.recursive for
8630         following FTP.
8631
8632 1996-07-11  Antonio Rosella <antonio.rosella@agip.it>
8633
8634         * socks/geturl.cgi: Fixed version No.
8635
8636         * socks/download-netscape.html: Ditto.
8637
8638         * socks/download.html: Changed socks.html to download.html.
8639
8640 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
8641
8642         * url.c (url_filename): Check for opt.dirstruct instead for
8643         opt.recursive && opt.dirstruct.
8644
8645         * init.c (defaults): Ditto.
8646         (defaults): Reset dirstruct by default.
8647         (setval): Set opt.dirstruct whenever setting recursive.
8648
8649         * init.h: Removed FORCEDIRHIER.
8650
8651         * INSTALL: Added -L to socks-description.
8652
8653         * version.c: Changed version to 1.4b15.
8654
8655 1996-07-10  Hrvoje Niksic  <hniksic@srce.hr>
8656
8657         * version.c: "Released" 1.4b14.
8658
8659         * geturl.1: Update AUTHOR to include Rosella as contributor.
8660
8661         * NEWS: Update.
8662
8663         * socks/geturl.cgi: Simplified command creation, nuked <blink>.
8664
8665         * socks/geturl.cgi: Wrap nutscape extensions within if $netscape.
8666         (cal_time): Fix == to eq.
8667
8668         * socks/geturl.cgi: GPL-ized with permission of A. Rosella.
8669
8670         * geturl.1 (hostname): Moved URL CONVENTIONS to the beginning.
8671
8672         * Makefile.in: Use @VERSION@.
8673
8674         * configure.in: Check version from version.c.
8675
8676         * socks/geturl.cgi: Changed /pub/bin/perl to /usr/bin/perl.
8677
8678         * socks/download.html: Created from download-netscape.html, made
8679         HTML-2.0 compliant.
8680
8681         * recur.c (recursive_retrieve): Set opt.force_dir_hier when
8682         following FTP links from recursions.
8683
8684 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
8685
8686         * url.c (mymkdir): Fixed a bug that prevented mymkdir() to create
8687         absolute directories correctly.
8688
8689         * version.c: Changed version to 1.4b14.
8690
8691 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
8692
8693         * version.c: "Released" 1.4b13.
8694
8695         * url.c (make_backup): New function.
8696
8697         * http.c (http_loop): Make a backup copy of the local file (using
8698         rename(2)) before opening it.
8699
8700         * main.c (main): Added --backups.
8701
8702         * host.c (ftp_getaddress): Bail out on failed mycuserid().
8703         (ftp_getaddress): Check for leading dot on MY_DOMAIN.
8704         (ftp_getaddress): Check for empty, null or (null) domain.
8705
8706         * url.c (get_urls_html): If this_url is NULL, the base must have a
8707         protocol.
8708         (parseurl): Use has_proto.
8709
8710         * retr.c (retrieve_url): Warn when proxy is used with more than 20
8711         retries.
8712
8713         * url.c (mkstruct): Create the directory (calling mymkdir()) only
8714         if it is not already there.
8715         (has_proto): New function.
8716         (get_urls_html): Eliminate the remaining call to findurl -- use
8717         has_proto.
8718
8719         * geturl.1: Ditto.
8720
8721         * main.c: Change -X to -x.
8722
8723         * url.c (url_filename): Simplify creation of filename if
8724         prefix_files is set.
8725         (url_filename): Simplify everything. And I do mean *everything*.
8726         (mkstruct): Add dir_prefix before hostname.
8727         (path_simplify): Fixed a bug that caused writing outside the path
8728         string in case of "." and ".." path strings.
8729
8730 1996-07-06  Hrvoje Niksic  <hniksic@srce.hr>
8731
8732         * init.c: Added --mirror.
8733
8734         * main.c (main): Added -X to force saving of directory hierarchy.
8735
8736         * ftp.c (ftp_retrieve_list): Added recursion depth counter.
8737         (ftp_retrieve_list): Check whether quota is exceeded.
8738
8739         * url.c (get_urls_html): Skip leading blanks for absolute URIs.
8740
8741         * http.c (gethttp): Use referer if present.
8742
8743         * recur.c (recursive_retrieve): Set u->referer before calling
8744         retrieve_url.
8745
8746         * url.c (newurl): Use memset to nullify the struct members.
8747         (freeurl): Free the referer field too.
8748
8749         * url.h: Added referer to urlinfo.
8750
8751         * geturl.1: Updated the manual to document some of the new features.
8752
8753         * utils.c (numdigit): Moved from url.c.
8754
8755         * README: Rewritten.
8756
8757         * config.h.in: Add the support for socks.
8758
8759         * configure.in: Add the support for socks.
8760
8761         * url.c (url_filename): If the dir_prefix is ".", work with just
8762         the file name.
8763         (url_filename): Do not look for .n extensions if timestamping if
8764         turned on.
8765
8766         * retr.c (show_progress): Skip the over-abundant restval data, and
8767         print the rest of it with ',' instead of '.'.
8768
8769 1996-07-05  Hrvoje Niksic  <hniksic@srce.hr>
8770
8771         * retr.c (show_progress): Changed second arg. to long (as it
8772         should be).
8773         (show_progress): Moved to retr.c.
8774         (get_contents): Moved to retr.c.
8775
8776         * version.c: Change version to 1.4b13.
8777
8778 1996-07-05  Hrvoje Lacko <hlacko@fly.cc.fer.hr>
8779
8780         * url.c (in_acclist): Would return after the first suffix.
8781
8782 1996-07-04  Hrvoje Niksic  <hniksic@srce.hr>
8783
8784         * version.c: "Released" 1.4b12.
8785
8786         * url.c (path_simplify): More kludgifications.
8787         (get_urls_html): Use new parameters for htmlfindurl.
8788
8789         * html.c: Removed memorizing "parser states", since the new
8790         organization does not require them.
8791
8792         * init.c (run_geturlrc): Use read_whole_line.
8793
8794         * ftp-unix.c (ftp_parse_ls): Use read_whole_line.
8795
8796         * recur.c (parse_robots): Use read_whole_line.
8797
8798         * utils.c (read_whole_line): New function.
8799
8800         * recur.c (tried_robots): Use add_slist/in_slist, *much* cleaner.
8801
8802         * host.c (ngethostbyname): Call inet_addr just once. Yet to be
8803         tested on OSF and Ultrix.
8804         (add_hlist): New function.
8805         (free_hlist): New function.
8806         (search_host): New function.
8807         (search_address): New function.
8808         (realhost): Use search_host, search_address and add_hlist.
8809         (same_host): Replaced realloc() with strdupdelim(), made
8810         case-insensitive, fixed a memory leak.
8811
8812         * html.c (ftp_index): Fixed tm_min and tm_sec to be tm_hour and
8813         tm_min, like intended.
8814
8815         * version.c: Change user agent information to
8816         Geturl/version.
8817
8818 1996-07-03  Hrvoje Niksic  <hniksic@srce.hr>
8819
8820         * utils.c: Renamed nmalloc.c to utils.c, .h likewise.
8821
8822         * url.c (acceptable): Always accept directories.
8823
8824         * ftp-unix.c (ftp_parse_ls): Support brain-damaged "ls -F"-loving
8825         servers by stripping trailing @ from symlinks and trailing / from
8826         directories.
8827
8828         * ftp.c (ftp_loop): Debugged the "enhanced" heuristics. :-)
8829
8830         * url.c (skip_url): Use toupper instead of UCASE.
8831
8832         * host.c (sufmatch): Made it case-insensitive.
8833
8834         * url.c (match_backwards_or_pattern): Fixed i == -1 to j == -1.
8835         (match_backwards): New function, instead of
8836         match_backwards_or_pattern.
8837
8838         * recur.c (recursive_retrieve): Increased performance by
8839         introducing inl, which reduces number of calls to in_slist to only
8840         one.
8841
8842         * ftp.c (ftp_loop): Enhanced the heuristics that decides which
8843         routine to use.
8844
8845         * main.c (printhelp): Removed the warranty stuff.
8846
8847 1996-07-02  Hrvoje Niksic  <hniksic@srce.hr>
8848
8849         * url.c (add_slist): Simplify.
8850         (match_backwards_or_pattern): New function.
8851         (in_acclist): Use match_backwards_or_pattern.
8852         (matches): Remove.
8853
8854 1996-06-30  Hrvoje Niksic  <hniksic@srce.hr>
8855
8856         * ftp.c (ftp_loop): Call ftp_index on empty file names, if not
8857         recursive.
8858
8859         * html.c (ftp_index): Fixed to work. Beautified the output.
8860
8861         * ftp.c (ftp_retrieve_glob): Another argument to control whether
8862         globbing is to be used.
8863         (ftp_retrieve_list): Compare the time-stamps of local and remote
8864         files to determine whether to download.
8865
8866 1996-06-29  Hrvoje Niksic  <hniksic@srce.hr>
8867
8868         * ftp.c (rel_constr): New function.
8869
8870         * retr.c (retrieve_from_file): Check for text/html before
8871         retrieving recursively.
8872
8873         * main.c (main): Check whether the file is HTML before going into
8874         recursive HTML retrieving.
8875
8876         * ftp.c (ftp_retrieve_list): Manage directories.
8877         (ftp_retrieve_glob): Pass all the file-types to ftp_retrieve_list.
8878         (ftp_1fl_loop): Fixed a bug that caused con->com to be incorrectly
8879         initialized, causing bugchecks in getftp to fail.
8880
8881         * configure.in: Check for symlink.
8882
8883         * ftp.c (ftp_retrieve_list): Added support for symlinks.
8884
8885         * version.c: "Released" 1.4b10.
8886
8887         * atotm.c (atotm): Redeclared as time_t.
8888
8889         * init.c: New variable "timestamping".
8890
8891         * main.c (main): New option 'N'.
8892
8893         * http.c (hgetlocation): Case-insensitive match.
8894         (hgetmodified): New function.
8895         (http_loop): Implement time-stamping.
8896
8897 1996-06-28  Hrvoje Niksic  <hniksic@srce.hr>
8898
8899         * version.c: Changed version to 1.4b10
8900
8901         * atotm.c: New file, from phttpd.
8902
8903         * options.h (struct options): New parameter timestamping.
8904
8905         * version.c: 1.4b9 "released".
8906
8907         * recur.c (recursive_retrieve): Used linked list (ulist) for
8908         faster storing of URLs.
8909
8910         * url.c (get_urls_html): Removed the old kludge with comparing the
8911         outputs of htmlfindurl and findurl.
8912         (get_urls_html): Added better protocol support here.
8913         (create_hash): Removed, as well as add_hash and in_hash.
8914         (addslist): New function.
8915         (in_slist): ditto
8916
8917         * version.c: Released 1.4b8, changed version to b9.
8918
8919 1996-06-27  Hrvoje Niksic  <hniksic@srce.hr>
8920
8921         * ftp.c (freefileinfo): New function.
8922         (delelement): New function.
8923
8924         * everywhere: GPL!
8925
8926         * ftp.c (ftp_loop): Use ccon.
8927         (ftp_retrieve_glob): Likewise.
8928
8929         * ftp.h: Define ccon, to define status of control connection.
8930
8931         * ftp.c (ftp_get_listing): New function.
8932         (ftp_retrieve_more): New function.
8933         (ftp_retrieve_glob): New function.
8934
8935 1996-06-25  Hrvoje Niksic  <hniksic@srce.hr>
8936
8937         * configure.in: Removed the search for cuserid().
8938
8939         * init.c (getmode): Renamed to getperms.
8940
8941 1996-06-24  Hrvoje Niksic  <hniksic@srce.hr>
8942
8943         * version.c: New version.
8944
8945         * main.c (hangup): New function, that handles hangup. Hangup
8946         signal now causes geturl to stop writing on stdout, and to write
8947         to a log file.
8948
8949         * ftp.c (getftp): "Released" 1.4b7.
8950
8951         * html.c (htmlfindurl): Ignore everything inside <head>...</head>.
8952         (ftp_index): Use fileinfo/urlinfo.
8953
8954         * ftp-unix.c (ftp_parse_ls): New function.
8955         (symperms): New function.
8956
8957         * ftp.c (ftp_1fl_loop): New function, to handle 1-file loops.
8958
8959         * retr.c (retrieve_url): Added FTP support.
8960
8961 1996-06-23  Hrvoje Niksic  <hniksic@srce.hr>
8962
8963         * geturl.h: Removed NOTFTP2HTML enum.
8964         Added DO_LOGIN, DO_CWD and DO_LIST. LIST_ONLY is obsolete.
8965
8966         * ftp.c (getftp): Resynched with urlinfo.
8967         (getftp): Removed HMTL-ization of index.html from getftp.
8968
8969         * version.c: 1.4b6 "released".
8970
8971         * options.h (options): New struct, to keep options in.
8972
8973         * http.c (http_loop,gethttp): Synched with proxy.
8974
8975         * retr.c (retrieve_url): Implemented proxy retrieval.
8976
8977         * main.c (main): Use retrieve_from_file.
8978
8979 1996-06-22  Hrvoje Niksic  <hniksic@srce.hr>
8980
8981         * retr.c (retrieve_from_file): New function.
8982
8983         * url.c (parseurl): Modified to return URLOK if all OK. Protocol
8984         can be found in u->proto.
8985
8986         * ftp.c (ftp_response): Fixed to accept multi-line responses as
8987         per RFC 959.
8988
8989         * recr.c (recursive_retrieve): Take newloc from retrieve_url.
8990
8991         * url.c (mymkdir): Removed the file of the same name, if one
8992         exists.
8993         (isfile): New function.
8994         (mkstruct): Fixed the '/' glitches.
8995         (path_simplify): Hacked to treat something/.. correctly.
8996
8997 1996-06-21  Hrvoje Niksic  <hniksic@srce.hr>
8998
8999         * http.c (gethttp): Close the socket after error in headers.
9000         (http_loop): HEOF no longer a fatal header.
9001
9002         * loop.c (retrieve_url): When dt is NULL, do not modify it. This
9003         simplifies the syntax of calling retrieve_url.
9004
9005         * recr.c (recursive_retrieve): Modified to use get_urls_html.
9006
9007         * url.c (get_urls_file): New function.
9008         (get_urls_html): New function.
9009
9010         * recr.c (recursive_retrieve): Patched up to conform to the
9011         standards.
9012
9013         * http.c (gethttp): Synched with the rest...
9014         (gethttp): Treat only CONREFUSED specially, with connection
9015         errors.
9016
9017         * init.c,geturl.1,http.c (http_loop): Removed kill_error.
9018
9019 1996-06-20  Hrvoje Niksic  <hniksic@srce.hr>
9020
9021         * http.c (http_loop): New function.
9022
9023         * loop.c: Removed *lots* of stuff from retrieve_url.
9024
9025         * url.c (parseurl): Changed to work with urlinfo. Integrated
9026         username finding and path parsing.
9027         (newurl): New function.
9028         (freeurl): New function.
9029         (mkstruct): Removed the old bogosities, made it urlinfo-compliant.
9030         (url_filename): Likewise.
9031         (path_simplify): Accept relative paths too.
9032         (opt_url): Made urlinfo-compliant, removed bogosities.
9033         (path_simplify): Expanded to accept relative paths.
9034         (str_url): A replacement for hide_url
9035         (decode_string): Fixed a bug that caused malfunctioning when
9036         encountering an illegal %.. combination.
9037         (opt_url): Removed the argument. Dot-optimizations are now default.
9038
9039         * nmalloc.c (strdupdelim): New function.
9040
9041         * url.h: Added the urlinfo structure
9042
9043 1996-06-19  Hrvoje Niksic  <hniksic@srce.hr>
9044
9045         * url.c (hide_url): Thrown out the protocol assertion. Do not
9046         change the URL if the protocol if not recognized.
9047         (findurl): Put continue instead of break.
9048
9049 1996-06-18  Hrvoje Niksic  <hniksic@srce.hr>
9050
9051         * sample.geturlrc: Changed the defaults to be commented out and
9052         harmless (previous defaults caused pains if copied to
9053         ~/.geturlrc).
9054
9055         * http.c (gethttp): Print the HTTP request in debug mode.
9056
9057         * connect.c (iread): Added EINTR check loop to select-ing
9058         too. EINTR is now correctly handled with select().
9059
9060         * TODO: new file
9061
9062 1996-05-07  Hrvoje Niksic  <hniksic@srce.hr>
9063
9064         * host.c (same_host): Made the function a little bit more
9065         intelligent regarding diversified URL syntaxes.
9066
9067         * url.c (skip_url): Spaces are now skipped after URL:
9068
9069         * Released 1.3.1 with the patch to prevent crashing when sending
9070         NULL to robot* functions and the patch to compile "out of the box"
9071         on AIX.
9072
9073         * recr.c (recursive_retrieve): Added checking whether this_url is
9074         NULL when calling the robot functions.
9075
9076         * ChangeLog: New file.