]> sjero.net Git - wget/blob - src/ChangeLog
[svn] Fix compilation of alloca.c under tcc.
[wget] / src / ChangeLog
1 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
2
3         * alloca.c: Include wget.h to be able to use xmalloc.  In addition
4         to defining malloc to xmalloc, also define free to xfree.
5
6 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
7
8         * http-ntlm.c (ntlm_output): Use "char", not "unsigned char" for
9         ntlmbuf.  Our base64 functions accept char anyway.
10         (ntlm_output): Join up the format string, since we nominally
11         support K&R compilers.
12         (ntlm_output): Ditto.
13
14 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
15
16         * ptimer.c: Use Windows timers under Cygwin, whose POSIX timer
17         implementation is incomplete.
18
19 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
20
21         * ptimer.c (struct ptimer): Remove the unused initialized field.
22
23         * ptimer.c: Renamed function parameters from WT (which used to
24         stand for wget_timer or wtimer) to PT.
25
26 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
27
28         * ptimer.c (posix_init): Be smarter about choosing clocks.  In
29         decreasing order of preference, use CLOCK_MONOTONIC,
30         CLOCK_HIGHRES, and CLOCK_REALTIME.
31         (ptimer_allocate): Removed.
32
33         * ptimer.c: Refactor the code by cleanly separating the
34         architecture-dependent code from the architecture-independent
35         code.
36
37 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
38
39         * ptimer.c (ptimer_init): Explicitly check that
40         _POSIX_MONOTONIC_CLOCK is *both* defined and >=0.  (Undefined
41         symbols are >=0.)
42
43 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
44
45         * ptimer.c (ptimer_diff): Fix typo affecting Windows build.
46
47 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
48
49         * ptimer.c (ptimer_init): In fact, _POSIX_MONOTONIC_CLOCK needs to
50         be >= 0.
51
52         * ptimer.c (ptimer_init): Check whether _POSIX_MONOTONIC_CLOCK is
53         defined instead of whether it's greater than 0.  glibc defines it
54         to 0, but still makes it available via sysconf.
55
56 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
57
58         * mswindows.c (str_to_int64): Rename OVERFLOW and UNDERFLOW to
59         INT64_OVERFLOW and INT64_UNDERFLOW, since those names are used.
60
61 2005-04-07  Hrvoje Niksic  <hniksic@xemacs.org>
62
63         * ptimer.c: New file.  Move the "wtimer" functions from utils.c to
64         this file and rename them to ptimer_.
65
66 2005-04-07  Hrvoje Niksic  <hniksic@xemacs.org>
67
68         * host.c (NO_ADDRESS): Define NO_ADDRESS only after the system
69         headers have been included.
70
71 2005-04-06  Hrvoje Niksic  <hniksic@xemacs.org>
72
73         * http.c (pconn): Include NTLM data, which is per-connection.
74         (known_authentication_scheme_p): Recognize NTLM authorization.
75         (create_authorization_line): Call ntlm_input and ntlm_output.
76
77         * http-ntlm.c: New file, donated by Daniel Stenberg and originally
78         written for curl, heavily modified for Wget.
79
80         * utils.c (base64_encode): Relocated from http.c, since it is now
81         used by http-ntlm.c, and will possibly be used elsewhere.
82         (base64_decode): New function, originally based on code from GNU
83         recode.
84
85 2005-04-02  Hrvoje Niksic  <hniksic@xemacs.org>
86
87         * ftp.c (ftp_loop): Ditto.
88
89         * ftp-basic.c (ftp_pasv): Use the xzero shorthand for memset(0).
90         (ftp_lpsv): Ditto.
91
92 2005-04-05  Mauro Tortonesi  <mauro@ferrara.linux.it>
93
94         * Makefile.in: removed string_t.c from list of source files.
95
96 2005-04-04  Mauro Tortonesi  <mauro@ferrara.linux.it>
97
98         * string_t.c: Removed.
99         
100         * string_t.h: Removed.
101
102 2005-04-02  Hrvoje Niksic  <hniksic@xemacs.org>
103
104         * url.c (rewrite_shorthand_url): Only accept recognized schemes.
105         That way "foo:80" will correctly be rewritten to "http://foo:80"
106         instead of left unchanged and ultimately rejected because of
107         "unsupported scheme foo".
108
109 2005-03-31  Hrvoje Niksic  <hniksic@xemacs.org>
110
111         * utils.c (number_to_string): Avoid explicit 64-bit constants;
112         construct them by multiplication at compile-time.
113
114         * utils.c, elsewhere: Don't append "L" to 32-bit integer
115         constants; we aren't really compilable on 16-bit systems anyway.
116
117         * hash.c (prime_size): Remove primes larger than 2^31, but include
118         2^31-1, which is prime.
119
120 2005-03-30  Hrvoje Niksic  <hniksic@xemacs.org>
121
122         * utils.c (string_set_to_array): New function.
123
124         * convert.c: Replace the use of "slists" with sets/hash-tables,
125         which in fact suit the intended purpose much better.
126         downloaded_html_list is removed altogether.
127
128 2005-03-29  Hrvoje Niksic  <hniksic@xemacs.org>
129
130         * ftp.h (enum): Rename GLOBALL, GETALL, and GETONE to
131         GLOB_GLOBALL, GLOB_GETALL, and GLOB_GETONE to avoid conflict with
132         Linux headers.
133
134 2005-03-29  Hrvoje Niksic  <hniksic@xemacs.org>
135
136         * utils.c (numdigit): More correct handling of negative numbers.
137
138 2005-03-21  Hrvoje Niksic  <hniksic@xemacs.org>
139
140         * http.c (gethttp): Print the human-readable size.
141
142         * ftp.c (getftp): Print the human-readable size of the file to be
143         downloaded.
144
145         * utils.c (human_readable): New function.
146
147         * utils.c: Renamed "legible" to "with_thousand_seps",
148         "legible_large_int" to "with_thousand_seps_large", and "legible_1"
149         to "add_thousand_seps".
150
151 2005-03-21  Hrvoje Niksic  <hniksic@xemacs.org>
152
153         * http.c (gethttp): Inhibit persistent connections when talking to
154         proxies, as mandated by RFC 2068.
155
156 2005-03-20  Hrvoje Niksic  <hniksic@xemacs.org>
157
158         * url.c (unescape_single_char): New function.
159         (url_escape_dir): Use it to unescape slashes in directory
160         components.
161         (url_string): Escape unsafe chars in host name, except for the ':'
162         charaters, which can appear in IPv6 addresses.
163
164         * main.c (main): Don't access the cookie jar directly.
165
166         * log.c (escnonprint_internal): Correctly calculate the needed
167         string size.  Don't forget the buffer's new size after having
168         reallocated it.
169         (log_cleanup): New function.  Free the escnonprint ring data.
170
171         * init.c (cleanup): Don't free the cookie jar explicitly, it is
172         now done by http_cleanup.
173         (cleanup): opt.user_headers is now a vector, free it with
174         free_vec.
175
176         * http.c (gethttp): Make sure to free the request data, the status
177         message, and the response data before returning from the function.
178         (save_cookies): New function.
179         (http_cleanup): Free the cookie jar here.
180
181         * hash.c: Renamed string_hash to hash_string and ptrhash to
182         hash_pointer.  Exported hash_pointer.
183
184         * xmalloc.c: Organized malloc_table (previously malloc_debug) as a
185         simple EQ hash table.  register_ptr and unregister_ptr are now of
186         O(1) complexity.
187
188         * xmalloc.c: Renamed "*_debug" to debugging_* and "*_real" to
189         checking_*.
190
191 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
192
193         * utils.c (debug_test_md5): Moved to gen-md5.c.
194
195         * mswindows.h: Don't declare inet_ntop, since we don't use it.
196
197         * mswindows.h: For consistency, also wrap closesocket, it being
198         a Winsock call.
199
200         * mswindows.h: Don't declare sleep and usleep; we're defining
201         xsleep now.
202
203         * mswindows.h (mkdir): Don't special-case Borland C, _mkdir
204         works there as well.
205
206         * host.c: Don't include winsock header files; the correct ones
207         are already included by mswindows.h.
208
209         * mswindows.c (xsleep): Round toward the nearest millisecond
210         in an attempt to avoid average short sleeps.
211
212         * utils.c (wtimer_granularity): Report correct values for
213         Windows timers and for high-resolution timers.
214
215         * utils.c (wtimer_initialize_once): New function, called to
216         initialize the timer frequency.
217
218         * utils.c: Replace the use of GetSystemTime with high-resolution
219         counters under Windows.  When high-resolution counters are
220         unavailable, use GetTickCount().
221
222 2005-03-15  Hrvoje Niksic  <hniksic@xemacs.org>
223
224         * retr.c (fd_read_body): Undo the 2004-11-18 change.  Instead,
225         always be "exact".
226
227 2005-03-17  Hrvoje Niksic  <hniksic@xemacs.org>
228
229         * ftp-basic.c (ftp_login): Don't free the string if ftp_response
230         returned an error status because the line didn't get allocated in
231         the first place.
232
233 2005-03-15  Hrvoje Niksic  <hniksic@xemacs.org>
234
235         * http.c (read_http_response_head): Limit the response size to 64k
236         bytes.
237
238         * retr.c (fd_read_hunk): Accept a MAXSIZE argument that limits the
239         number of bytes the function is allowed to allocate.
240         (fd_read_line): Limit the line to 4096 bytes.
241
242 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
243
244         * wget.h: Include options.h after wgint has been defined.
245
246         * options.h (struct options): Declare options processed with
247         cmd_bytes as wgint, not long.
248
249 2005-03-18  Hrvoje Niksic  <hniksic@xemacs.org>
250
251         * init.c (cmd_file): Use concat_strings.
252
253         * http.c (basic_authentication_encode): Use concat_strings.
254
255         * ftp-ls.c (ftp_index): Use concat_strings.
256
257         * ftp-basic.c (ftp_request): Use concat_strings.
258
259         * utils.c (concat_strings): New function.
260
261 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
262
263         * init.c (simple_atof): Handle negative numbers; skip whitespace
264         before the number.
265         (simple_atoi): Ditto.  Also, check for overflow and underflow.
266         (cmd_number): Bail out on negative numbers.
267         (parse_bytes_helper): Ditto.
268
269 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
270
271         * http.c (gethttp): Handle multiple Set-Cookie headers sent by
272         remote server.
273
274 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
275
276         * init.c (defaults): Use passive FTP by default.
277
278 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
279
280         * mswindows.c: Provide wrappers to Winsock functions that set
281         errno to WSAGetLastError() in case of failure.  Also provide a
282         Windows-specific version of strerror.
283
284         * mswindows.h: Wrap calls to socket, bind, connect, recv, send,
285         select, getsockname, getpeername, and setsockopt.
286
287 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
288
289         * url.c (url_parse): Reject port numbers larger than 65535.  We
290         also check for overflow while parsing port numbers.
291
292 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
293
294         * utils.c (read_file): Don't use wgint for file size; LFS won't
295         work since the file is mmap'ed as a whole.
296
297         * options.h: Don't include stdio.h.
298
299         * log.c: Ditto.
300
301         * init.c: Disambiguate assignment from non-zero test to avoid
302         Borland C warning.
303
304         * http.c (response_new): Don't needlessly post-increment count.
305
306         * hash.c: Include stdio.h.
307
308         * gnu-md5.h: Don't include stdio.h.
309
310         * getopt.h (struct option): Always use const.
311
312         * ftp.c (getftp): Avoid unnecessary assignment to RES to avoid
313         Borland C warning.
314
315         * ftp-ls.c: Disambiguate assignment from non-zero test to avoid
316         Borland C warning.
317
318         * cmpt.c (strptime_internal): Don't initialize rp_backup when
319         !_NL_CURRENT to avoid Borland C warning.
320
321 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
322
323         * utils.c (fopen_excl): Fix parse error when O_BINARY is
324         available.
325
326 2005-03-05  Hrvoje Niksic  <hniksic@xemacs.org>
327
328         * url.c (url_file_name): Don't allow hosts named ".." to be
329         appended as path elements.
330
331 2005-03-03  Hrvoje Niksic  <hniksic@xemacs.org>
332
333         * retr.c (retrieve_url): Escape location header.
334
335         * http.c (print_server_response_1): Escape server response when
336         printing it.
337         (gethttp): Escape host name, status message, location header, and
338         content type.
339         (http_loop): Escape error message from server.
340
341         * host.c (lookup_host): Escape host name when printing it.
342
343         * ftp.c (getftp): Escape user name when printing it.
344         (getftp): Escape remote file and directory for printing.
345         (getftp): Escape server listing when printing it.
346         (ftp_retrieve_list): Escape link name and file name.
347         (ftp_retrieve_glob): Escape file name.
348
349         * ftp-basic.c (ftp_response): Escape server response when printing
350         it.
351
352         * cookies.c (parse_set_cookies): Escape the cookie field when
353         printing it.
354         (parse_set_cookies): Escape contents of remote header.
355         (cookie_handle_set_cookie): Escape host name and cookie domain.
356
357         * connect.c (connect_to_ip): Escape the host name.
358
359         * log.c (escnonprint): New function, used for printing strings
360         coming from the server that possibly contain non-ASCII characters.
361         (escnonprint_uri): Ditto.
362
363 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
364
365         * ftp.c (getftp): Ditto.
366
367         * http.c (gethttp): When we're not supposed to overwrite files,
368         use fopen_excl to open the file and recompute the file name.
369
370         * log.c (redirect_output): Use unique_create to avoid a race
371         condition.
372
373         * mswindows.c (fake_fork_child): Use unique_create.
374
375         * utils.c (fopen_excl): New function that opens a stdio stream
376         with the O_EXCL flag (where available).
377         (unique_create): New function, like unique_name, but also creating
378         the file and returning a file pointer.
379         (fork_to_background): Use unique_create to create the file
380         immediately to avoid race condition with multiple instances of
381         wget -b.
382
383 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
384
385         * host.c (lookup_host): Test for AI_ADDRCONFIG directly, instead
386         of checking for HAVE_GETADDRINFO_AI_ADDRCONFIG.
387
388 2005-02-23  Hrvoje Niksic  <hniksic@xemacs.org>
389
390         * host.c (is_valid_ipv6_address): Move here from url.c.
391         (lookup_host): If the address is numeric, don't print the
392         "resolving..." line, don't set up DNS timeouts, and set the
393         AI_NUMERICHOST hint, where available.
394
395 2005-02-26  Gisle Vanem  <giva@bgnett.no>
396
397         * utils.c: Use the nnnLL syntax under GCC.  Define struct_stat to
398         struct _stati64 under __MINGW32__ as well as under MS VC.
399
400 2005-02-26  Hrvoje Niksic  <hniksic@xemacs.org>
401
402         * utils.c: Use the nnnI64 syntax for __int64 constants under all
403         Windows compilers.
404         (SPRINTF_WGINT): Use "%I64" under all Windows compilers.
405
406         * mswindows.h (WGINT_MAX): Use the nnnI64 syntax for
407         __int64 constants under all Windows compilers.
408         (struct_stat): Use `struct stati64' under Borland C.
409         (fstat): Don't redefine to _fstati64 under Borland.
410
411         * mswindows.c: Define str_to_int64 under Borland C as well as
412         under (older) Visual C.
413
414 2005-02-25  Hrvoje Niksic  <hniksic@xemacs.org>
415
416         * ftp.c (getftp): Initialize err to suppress compiler warning.
417
418 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
419
420         * ftp.c (ftp_expected_bytes): Fix bug that caused infloop because
421         of not correctly skipping the '(' character.
422
423 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
424
425         * mswindows.c (wget_ftello): Removed.
426
427         * mswindows.h: Remove bogus definition of stat.
428         (wget_ftello): Remove the leftover ftello replacement.
429
430 2005-02-20  Hrvoje Niksic  <hniksic@xemacs.org>
431
432         * mswindows.c (wget_ftello): Wget's replacement for ftello.
433
434         * utils.c (file_size): Use ftello where available.
435
436         * ftp-ls.c (ftp_parse_unix_ls): Use str_to_wgint to parse the file
437         size.
438         (ftp_parse_winnt_ls): Ditto.
439
440         * ftp-basic.c (ftp_size): Use str_to_wgint to convert number to
441         wgint; pass 10 instead of 0 as the BASE argument.
442
443         * ftp.c (ftp_expected_bytes): Use str_to_wgint to parse the file
444         size.
445
446         * sysdep.h (LARGE_INT_FMT): Use __int64 as LARGE_INT on
447         MSVC/Windows; print it with "%I64".
448
449         * wget.h: Define a `wgint' type, normally aliased to (the possibly
450         64-bit variant of) off_t.
451
452         * all: Use `wgint' instead of `long' for numeric variables that
453         can hold file sizes.
454
455         * utils.c (number_to_string): Support printing of `wgint'
456         argument.
457         (number_to_static_string): New function.
458
459         * all: Replace printf("%ld", long_value) with printf("%s",
460         number_to_static_string(wgint_value)).
461
462 2005-02-18  Mauro Tortonesi <mauro@ferrara.linux.it>
463
464         * main.c: Added the --ftp-passwd command line option.
465
466         * init.c: Renamed command passwd to ftppasswd.
467
468 2005-02-11  Mauro Tortonesi <mauro@ferrara.linux.it>
469         
470         * string_t.c: Fixed a bug in do_escape and triggered escape of
471         backslashes in string_escape to avoid ambiguities in the result
472         string.
473         
474 2005-02-10  Mauro Tortonesi <mauro@ferrara.linux.it>
475
476         * string.h: Renamed to string_t.h to fix a compilation conflict 
477         with the string.h header in the standard C library.
478         
479         * string.c: Renamed to string_t.c for consistency with string.h.
480         
481         * string_t.c: Ditto.
482
483         * string_t.h: Ditto.
484         
485 2004-12-31  Mauro Tortonesi <mauro@ferrara.linux.it>
486
487         * string.c: New file.
488
489         * string.h: New file.
490
491         * Makefile.in: Added string.c to the list of modules to compile.
492
493         * main.c: Updated copyright.
494
495 2004-11-18  Ulf Harnhammar <ulf.harnhammar.9485@student.uu.se>
496
497         * ftp-ls.c: Fixed a problem in ftp_parse_winnt_ls that could allow a
498         malicious remote FTP server to crash wget.
499
500 2004-11-18  Hans-Andreas Engel <engel@node.ch>
501
502         * http.c: Enable --convert-links (-k) when a single page is downloaded
503         via --output-document (-O).
504
505 2004-11-18  Mauro Tortonesi <mauro@deepspace6.net>
506
507         * connect.c: Minor correction to the comment in front of fd_peek.
508
509 2004-11-18  Leonid Petrov <nouser@lpetrov.net>
510
511         * retr.c: Fix a timeout problem in fd_read_body when using http_proxy.
512
513 2004-11-15  YAMAZAKI Makoto <Yamazaki.Makoto@fujixerox.co.jp>
514
515         * netrc.c: Fix termination by assertion bug in netrc parsing.
516
517 2004-05-09  David Fritz  <zeroxdf@att.net>
518
519         * mswindows.c (fake_fork): Pass entire command line to the child
520         process.
521
522 2004-03-31  Hrvoje Niksic  <hniksic@xemacs.org>
523
524         * http.c (gethttp): Fix typo: SCHEME_SSL -> SCHEME_HTTPS.
525
526 2004-03-30  Hrvoje Niksic  <hniksic@xemacs.org>
527
528         * http.c (gethttp): Send the Proxy-Authorization header over
529         non-SSL connections too.
530
531 2004-03-25  David Fritz  <zeroxdf@att.net>
532
533         * mswindows.c (fake_fork_child): Ignore error code when
534         OpenFileMapping() fails; assume it failed because the object does
535         not exist.
536
537 2004-03-24  David Fritz  <zeroxdf@att.net>
538
539         * mswindows.c (fake_fork): New function.
540
541         * mswindows.c (fork_to_background): Use it.
542
543 2004-03-19  David Fritz  <zeroxdf@att.net>
544
545         * mswindows.c (ws_hangup): Incorporate old fork_to_background()
546         code.  Add event name argument.
547         (fork_to_backgorund): Now a simple wrapper around ws_hangup().
548         (ws_handler): Correctly handle the case when neither CTRLC_BACKGND
549         nor CTRLBREAK_BACKGND are defined.  Don't bother handling close,
550         logoff, or shutdown events.  Call ws_hangup() with the correct
551         event name; don't assume it was CTRL+Break.
552
553 2004-03-19  Hrvoje Niksic  <hniksic@xemacs.org>
554
555         * url.c (url_parse): Decode %HH sequences in host name.
556
557 2004-03-04  Hrvoje Niksic  <hniksic@xemacs.org>
558
559         * convert.c (local_quote_string): Quote "#" as "%23" and "%" as
560         "%25" when creating links to local files.
561
562 2004-03-02  David Fritz  <zeroxdf@att.net>
563
564         * mswindows.c (ws_percenttitle): Guard against future changes by
565         doing nothing if the proper variables have not been initialized.
566         Clamp percentage value.
567
568 2004-03-04  Gisle Vanem  <giva@bgnett.no>
569
570         * retr.c (fd_read_body): Don't change console title if quiet.
571
572 2004-02-25  David Fritz  <zeroxdf@att.net>
573
574         * mswindows.c (set_sleep_mode): Remove argument and return value.
575         Call GetModuleHandle() instead of LoadLibrary()/FreeLibrary() for
576         kernel32.dll.  Use typedef for function-pointer.  Don't cast
577         l-value.  Don't use dereference operator when calling through
578         function-pointer.
579         (ws_startup): Update call to set_sleep_mode().
580         (ws_cleanup): Remove call to set_sleep_mode().
581
582 2004-02-23  David Fritz  <zeroxdf@att.net>
583
584         * http.c (http_loop): Ditto.
585
586         * ftp.c (ftp_loop_internal): Update call to ws_changetitle().
587
588         * main.c (main): Don't bother calling ws_changetitle().
589
590         * mswindows.h (ws_changetitle): Update prototype.
591
592         * mswindows.c (ws_changetitle): Remove second argument.  Use
593         xfree_null().
594         (ws_percenttitle): Only update title when percentage has changed.
595
596 2004-02-23  David Fritz  <zeroxdf@att.net>
597
598         * mswindows.h: Ditto.
599
600         * mswindows.c: Misc. formatting/comment tweaks throughout.
601
602 2004-02-20  David Fritz  <zeroxdf@att.net>
603
604         * main.c (print_help): Remove call to ws_help().
605
606         * mswindows.c (ws_help): Remove.
607
608         * mswindows.h (ws_help): Remove.
609
610 2004-02-16  David Fritz  <zeroxdf@att.net>
611
612         * init.c (home_dir): Use aprintf() instead of xmalloc()/sprintf().
613         Under Windows, if $HOME is not defined, use the directory that
614         contains the Wget binary instead of hard-coded `C:\'.
615         (wgetrc_file_name): Under Windows, look for $HOME/.wgetrc then, if
616         not found, look for wget.ini in the directory of the Wget binary.
617
618         * mswindows.c (ws_mypath): Employ slightly more robust methodology.
619         Strip trailing path separator.
620
621 2004-02-06  Hrvoje Niksic  <hniksic@xemacs.org>
622
623         * http.c (gethttp): Respect --ignore-length.
624         (gethttp): Inhibit keep-alive if --ignore-length is specified.
625
626 2004-02-06  Hrvoje Niksic  <hniksic@xemacs.org>
627
628         * connect.c (sockaddr_set_data): Zero out
629         sockaddr_in/sockaddr_in6.  Apparently BSD-derived stacks need this
630         when binding a socket to local address.
631
632 2004-02-04  Hrvoje Niksic  <hniksic@xemacs.org>
633
634         * hash.c: Make the file compilable outside Wget source tree when
635         -DSTANDALONE is used.
636
637 2004-01-29  Hrvoje Niksic  <hniksic@xemacs.org>
638
639         * utils.c (determine_screen_width): Return 0 if not running on
640         Windows or on a TIOCGWINSZ-capable system.
641
642 2004-01-28  David Fritz  <zeroxdf@att.net>
643
644         * utils.c (determine_screen_width): Correctly determine console
645         width under Windows.
646
647 2004-01-28  Christian Biere  <christianbiere@gmx.de>
648
649         * progress.c (bar_set_params): Fixed syntax error when HAVE_ISATTY
650         was undefined.
651
652         * ftp.c (ftp_loop_internal): Allocate a larger buffer in case
653         "try" gets translated to something large.  Ditto in http_loop in
654         http.c.
655
656         * http.c (response_header_copy): Don't write to buf[BUFSIZE].
657
658         * ftp-opie.c (skey_response): Eliminate unnecessary string
659         concatenation; just call gen_md5_update twice.
660
661 2004-01-25  Hrvoje Niksic  <hniksic@xemacs.org>
662
663         * utils.c (xsleep): Don't call usleep with values larger than
664         1,000,000.
665
666 2003-12-16  Hrvoje Niksic  <hniksic@xemacs.org>
667
668         * http.c (gethttp): Fix generation of `Content-Length'.
669
670 2003-12-15  Gisle Vanem  <giva@bgnett.no>
671
672         * url.c (url_skip_credentials): Fixed return value; 'url' if no
673         credentials.
674
675 2003-12-14  Hrvoje Niksic  <hniksic@xemacs.org>
676
677         * url.c (url_skip_credentials): Return a pointer directly.
678
679 2003-12-14  Hrvoje Niksic  <hniksic@xemacs.org>
680
681         * url.c (url_file_name): Ditto.
682         (parse_errors): Ditto.
683
684         * retr.c (retr_rate): Ditto.
685
686         * progress.c (create_image): Ditto.
687
688         * netrc.c (parse_netrc): Ditto.
689
690         * main.c (struct cmdline_option): Ditto.
691         (redirect_output_signal): Ditto.
692
693         * init.c (commands): Ditto.
694
695         * ftp-ls.c (ftp_index): Ditto.
696
697         * cookies.c (check_domain_match): Declare the pointer to a literal
698         string as `const'.
699
700 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
701
702         * retr.c (fd_read_body): Pass total size to progress_create, not
703         the remaining amount.
704
705 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
706
707         * retr.c (fd_read_body): Don't fiddle with "interactive timeout"
708         if read timeout is unset.
709
710 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
711
712         * connect.c (bind_local): Don't set the IPV6_V6ONLY option on the
713         socket.
714
715 2003-12-06  Hrvoje Niksic  <hniksic@xemacs.org>
716
717         * url.c (url_file_name): Respect the setting of
718         opt.protocol_directories.
719
720         * main.c (main): Only check for ret=='?' when longindex is unset.
721         (option_data): New option --protocol-directories.
722
723 2003-12-06  Hrvoje Niksic  <hniksic@xemacs.org>
724
725         * ftp.c (getftp): Ditto.
726
727         * http.c (gethttp): Correctly calculate bandwidth as total data
728         read divided with download time.
729
730         * retr.c (fd_read_body): Separate the return values for data
731         written and read.
732
733 2003-12-05  Hrvoje Niksic  <hniksic@xemacs.org>
734
735         * http.c (H_REDIRECTED): Respect the HTTP/1.1 "303 See Other"
736         response code.
737         Suggested by Dan Razzell.
738
739 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
740
741         * retr.c (fd_read_body): Report the amount of data *written* as
742         amount_read.  This is not entirely logical, but that's what the
743         callers expect, and it's not easy to change.
744
745         * ftp.c (ftp_loop_internal): Ditto.
746
747         * http.c (http_loop): Be smarter about assigning restval; if we're
748         in the nth pass of a download, simply use the information we have
749         about how much data has been retrieved as restval.
750
751         * ftp.c (getftp): Ditto for FTP "REST" command.
752
753         * http.c (gethttp): When the server doesn't respect range, skip
754         the first RESTVAL bytes of the read body.  Never truncate the
755         output file.
756
757         * retr.c (fd_read_body): Support skipping initial STARTPOS octets.
758
759 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
760
761         * http.c (skip_short_body): Renamed skip_body to skip_short_body;
762         don't bother calling fd_read_body.
763
764 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
765
766         * retr.c (fd_read_body): Sanitize arguments and document them
767         better.  Make sure the timer is created and updated only if
768         necessary.  Updated callers.
769
770 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
771
772         * http.c (skip_body): New function.
773         (gethttp): Use it to skip the body of the responses we don't care
774         to download.  That allows us to reuse the connection.
775         (gethttp): Trust that the HEAD requests will not generate body
776         data.
777
778         * retr.c (fd_read_body): Don't write to OUT if it's NULL.
779
780 2003-11-29  Hrvoje Niksic  <hniksic@xemacs.org>
781
782         * http.c (gethttp): Initialize SSL only the first time when SSL
783         URL is downloaded.
784
785 2003-11-29  Hrvoje Niksic  <hniksic@xemacs.org>
786
787         * cookies.c (cookie_header): Only generate the contents of the
788         header, not the leading "Cookie: " or the trailing "\r\n".
789
790         * http.c (gethttp): When adding headers specified with `--header',
791         allow them to override the headers generated by Wget.
792
793         * init.c (cmd_spec_header): Made opt.user_headers a vector.
794
795         * http.c (request_new): New function.  Returns a request structure
796         which can be modified in various ways, most notably by adding HTTP
797         headers to the request.
798         (request_set_header): New function for adding the header to the
799         request.  If the header is already available, it gets replaced.
800         (request_send): Construct and send the request.
801         (gethttp): Use the request_* functions to generate the request.
802
803 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
804
805         * http.c (gethttp): Don't include the Proxy-Authorization header
806         in the request tunneled through proxy.
807
808 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
809
810         * http.c (gethttp): Use the CONNECT handle to establish SSL
811         passthrough through non-SSL proxies.
812
813 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
814
815         * init.c: Don't #include netinet/Winsock stuff.
816
817 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
818
819         * http.c: Deleted the old functions header_process,
820         header_extract_number, header_exists, header_strdup,
821         http_process_range, http_process_none, http_process_type, and
822         http_process_connection.
823
824         * http.c (response_new): New function.
825         (response_header_bounds): Ditto.
826         (response_header_copy): Ditto.
827         (response_header_strdup): Ditto.
828         (response_status): Ditto.
829         (gethttp): Use the new response_* functions to parse the response.
830         Support HTTP/0.9 responses.
831
832 2003-11-27  Hrvoje Niksic  <hniksic@xemacs.org>
833
834         * progress.c (create_image): Don't calculate ETA if nothing has
835         been downloaded yet, because it causes division by zero.
836
837 2003-11-27  Hrvoje Niksic  <hniksic@xemacs.org>
838
839         * connect.c (bind_local): Rename sa_len to addrlen because IRIX
840         headers define sa_len as a macro.
841
842 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
843
844         * html-parse.c (convert_and_copy): Remove embedded newlines when
845         AP_TRIM_BLANKS is specified.
846
847 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
848
849         * ftp.c: Set con->csock to -1 where rbuf_uninitialize was
850         previously used.
851
852 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
853
854         * Makefile.in (http$o): Added the trailing backslash that was
855         missing.
856
857 2003-11-21  Hrvoje Niksic  <hniksic@xemacs.org>
858
859         * headers.c: Removed.  The file is no longer relevant, now that no
860         special handling of headers is done by the rbuf code.  Moved
861         portions to http.c.
862
863 2003-11-21  Hrvoje Niksic  <hniksic@xemacs.org>
864
865         * rbuf.c: Removed.
866
867         * ftp-basic.c (ftp_response): Use fd_read_line.  No longer use
868         struct rbuf.  Updated all callers.
869
870         * http.c (gethttp): Use fd_read_head to read all the headers in
871         one go.
872         (next_header): New function.
873
874         * retr.c (fd_read_line): New function: reads a line from FD,
875         leaving the rest of the data unread.
876         (fd_read_head): New function.
877
878         * connect.c (fd_peek): New function, implements peeking.
879         (poll_internal): New function.
880         (fd_read): Use it.
881         (fd_write): Ditto.
882         (fd_peek): Ditto.
883         (fd_register_transport): Allow registering a "peeker" callback.
884
885 2003-11-20  Hrvoje Niksic  <hniksic@xemacs.org>
886
887         * connect.c: Renamed xread/xwrite/xclose to
888         fd_read/fd_write/fd_close.  The "x" prefix is not appropriate
889         because the semantics have diverged from read/write/close too
890         significantly.  Updated all callers.
891
892 2003-11-20  Hrvoje Niksic  <hniksic@xemacs.org>
893
894         * connect.c (sock_write): It's not necessary to initialize RES.
895
896 2003-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
897
898         * main.c (main): Don't reference opt.ipv4_only and opt.ipv6_only
899         if IPv6 is disabled.
900
901 2003-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
902
903         * connect.c (socket_has_inet6): Only compile it if IPv6 is enabled
904         and AI_ADDRCONFIG is missing.
905
906 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
907
908         * gen_sslfunc.c (ssl_init_prng): Warn the user when using a weak
909         random seed.
910
911 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
912
913         * host.c (address_list_contains): Renamed address_list_find to
914         address_list_contains because its result is boolean.
915
916 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
917
918         * connect.c (select_fd): Return 1 if select is not available.
919
920 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
921
922         * connect.c (connect_to_host): Don't reference address list after
923         releasing it.
924
925 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
926
927         * main.c (print_help): Fix alignment of FTP options output.
928
929 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
930
931         * host.c (lookup_host): Check for the ability to create IPv6
932         sockets here.
933
934         * init.c (defaults): Don't auto-set --inet4-only on IPv6-less
935         systems.
936
937 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
938
939         * main.c (print_help): Fix typo in `-O' help message.  Fix docs of
940         -Y/--proxy.  Fix docs of `--cookies' and `--glob'.  Improve docs
941         of --convert-links.  Fix docs of SSL options.
942
943 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
944
945         * ftp-basic.c: Don't include <arpa/inet.h> and others because
946         they're no longer needed.
947
948 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
949
950         * main.c (main): Don't allow setting of both opt.ipv4_only and
951         opt.ipv6_only.
952
953         * init.c (defaults): Mark opt.ipv4_only specially when set
954         automatically.
955
956 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
957
958         * host.c (lookup_host): Use AI_ADDRCONFIG only if the family is
959         unspecified.  This ensures that specifying `--no-inet4' on systems
960         where IPv6 resolves, but doesn't work behaves the same regardless
961         of the availability of AI_ADDRCONFIG.
962
963 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
964
965         * host.c: Don't refer to the now-removed function
966         forget_host_lookup in the documentation of lookup_host.
967
968 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
969
970         * http.c (persistent_available_p): Correctly specify the endpoint
971         argument to socket_ip_address.
972         (gethttp): When printing the "reusing connection to..." message,
973         specify the host name of the reused connection, not the current
974         host name.  That makes more sense because it provides a useful
975         piece of information -- we know to which host we're supposed to
976         connect anyway!
977
978 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
979
980         * init.c: Make sure the options are in alphabetic order!
981
982         * host.c (lookup_host): Merge lookup_host_passive and lookup_host
983         after all -- having both would result in some code duplication.
984         (lookup_host): Set hints.ai_family to AF_INET if ipv4_only is
985         requested.  Likewise, set it to AF_INET6 for ipv6_only.  Specify
986         AI_ADDRCONFIG where available.
987         (lookup_host): New flag LH_REFRESH that specifies that a cached
988         entry for HOST should be refreshed.
989         (cache_query): New function.
990         (cache_store): Ditto.
991         (cache_remove): Ditto.
992         (forget_host_lookup): No longer necessary, replaced with static
993         function cache_remove.
994
995 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
996
997         * main.c: Enable -4 and -6 only if IPv6 is enabled.
998
999 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
1000
1001         * connect.c (register_transport): Renamed from register_extended.
1002         Explain the intended usage.
1003
1004 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
1005
1006         * url.c (uri_merge): Merging "foo" and "bar" should result in
1007         "bar", not in "foo/bar".
1008         (path_simplify): Don't remove empty path elements; don't
1009         special-case leading slash.
1010         (path_simplify): Don't swallow ".."'s at the beginning of string.
1011         E.g. simplify "foo/../../bar" as "../bar", not as "bar".
1012         (append_uri_pathel): Defang ".." path element upon encountering
1013         it.
1014
1015 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
1016
1017         * http.c (persistent_available_p): Don't attempt to talk to two
1018         different SSL sites over the same secure connection.
1019
1020 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
1021
1022         * http.c (gethttp): Ditto.
1023
1024         * ftp.c (getftp): Use retryable_socket_connect_error instead of
1025         CONNECT_ERROR.
1026
1027         * wget.h (CONNECT_ERROR): Removed.
1028
1029         * connect.c (retryable_socket_connect_error): New function instead
1030         of unsupported_socket_family_error.
1031
1032 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
1033
1034         * wget.h (CONNECT_ERROR): Use it.
1035
1036         * connect.c (unsupported_socket_family_error): New function.
1037
1038 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
1039
1040         * connect.c (bind_local): Renamed bindport to bind_local; return
1041         the socket directly.  Updated callers.
1042         (accept_connection): Renamed acceptport to accept_connection;
1043         return the created socket directly.  Updated callers.
1044
1045 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
1046
1047         * init.c (defaults): Turn on opt.ipv4_only if we're compiling with
1048         IPv6, and AI_ADDRINFO is not available, and AF_INET6 sockets can't
1049         be created.
1050
1051 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
1052
1053         * host.c (lookup_host): Document the fact that the addresses are
1054         returned in order.
1055
1056 2003-11-12  Hrvoje Niksic  <hniksic@xemacs.org>
1057
1058         * utils.c: Use limits.h only where available.
1059
1060         * hash.c: Use INVALID_PTR and INVALID_PTR_BYTE.  Include limits.h.
1061
1062 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
1063
1064         * main.c: Added options --inet4-only and --inet6-only.
1065
1066 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
1067
1068         * host.c (host_errstr): Use the more standard message "Unknown
1069         host".
1070
1071 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
1072
1073         * connect.c (connect_to_host): Use that flag to decide whether to
1074         re-resolve the host name.
1075
1076         * host.c (struct address_list): Added a flag that maintains
1077         whether the connection worked at some point.
1078
1079 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
1080
1081         * host.c (lookup_host): Special-case the numeric addresses only in
1082         the non-IPv6 case.
1083
1084 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
1085
1086         * connect.c (resolve_bind_address): Call lookup_host_passive.
1087         Make sure that opt.bind_address is resolved only once.
1088
1089         * host.c (lookup_host_passive): New function, handles "passive"
1090         lookups.
1091         (lookup_host): Remove the passive flags.  Remove the
1092         family-related flags -- use ip_default_family instead.
1093
1094 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
1095
1096         * html-url.c: Get URLs from <object data="...">.
1097
1098 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
1099
1100         * main.c (option_data): Specify the command to use for --mirror.
1101
1102 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1103
1104         * cookies.c (cookie_handle_set_cookie): Specify exact match for
1105         unspecified domains.
1106
1107 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1108
1109         * main.c (main): Removed one-letter options `-C', `-g', `-G', and
1110         `-s'.
1111
1112 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1113
1114         * main.c (main): Add --dont-remove-listing for backward
1115         compatibility with previous versions.
1116         (print_help): Fix typo, spotted by Dennis Smit.
1117
1118 2003-11-08  Gisle Vanem  <giva@bgnett.no>
1119
1120         * ftp-basic.c: Support Windows-2000 ftp servers. Win-2000 *is*
1121         Win-NT 5.0 so calling it ST_WINNT is okay I guess.
1122
1123 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1124
1125         * progress.c (update_speed_ring): Clear the speed ring when the
1126         download stalls.
1127
1128         * retr.c (get_contents): Specify 0.95s read timeout, so that the
1129         progress gauge can be updated even when data arrives very slowly
1130         or stalls.
1131
1132 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1133
1134         * utils.c (wtimer_allocate): Bless the use of wtimer_read on a
1135         timer that has merely been allocated because get_contents() does
1136         that.
1137         (wtimer_update): Abort if the timer is not initialized.
1138
1139 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1140
1141         * retr.c (get_contents): Pass the timer to limit_bandwidth().
1142
1143         * utils.c (wtimer_update): New function instead of wget_elapsed;
1144         just update the timer, but don't return anything.
1145         (wtimer_read): Read and return the last known value of the timer.
1146
1147 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1148
1149         * http.c (persistent_available_p): Instead of matching all the
1150         addresses of HOST and last host, determine the peer's IP address
1151         with socket_ip_address and see if that address is one of those
1152         HOST resolves to.
1153
1154         * host.c (address_list_match_all): Removed.
1155         (address_list_find): New function, finds an IP address in the
1156         address list.
1157
1158         * ftp.c (ftp_do_pasv): Get the peer's address here, and pass it to
1159         ftp_epsv so it doesn't need to call getpeername.
1160
1161         * ftp-basic.c (ftp_port): Use socket_ip_address instead of
1162         getpeername.
1163         (ftp_lprt): Ditto.
1164
1165         * connect.c (socket_ip_address): Replaces conaddr, generalized to
1166         either get peer's or local address.
1167         (sockaddr_get_data): Made local to this file.
1168
1169 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1170
1171         * hash.c (HASH_POSITION): Explicitly accept the hash function.
1172         (grow_hash_table): Extract ht->hash_function outside the loop.
1173         (hash_table_remove): Ditto.
1174         (hash_table_clear): Fill entries with 0xff to clear them.
1175         (hash_table_remove): Mark entries as deleted with the correct
1176         marker.
1177
1178 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1179
1180         * http.c (persistent_available_p): No reason for the host lookup
1181         to be silent -- it's a lookup like any other.
1182
1183 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1184
1185         * connect.c (register_extended): Check that fd >= 0.
1186
1187 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
1188
1189         * connect.c (LAZY_RETRIEVE_INFO): Set LAST_INFO.
1190
1191 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
1192
1193         * hash.c (NON_EMPTY): Use the all-bit-set value as the marker that
1194         the field is empty.  This allows NULL pointer and 0 value to be
1195         used as keys, which is necessary for the connect.c code to work
1196         when fd==0.
1197         (hash_table_new): Fill mappings with 0xff.
1198         (grow_hash_table): Ditto.
1199
1200 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
1201
1202         * url.c (url_parse): Allow empty ports.
1203
1204 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
1205
1206         * main.c (print_help): Break the help string into multiple chunks.
1207         (cmdline_option): New option handler OPT_FUNCALL.  Generalized
1208         HANDLE_CMD to generic DATA.
1209         (option_data): Use the new OPT_FUNCALL feature.
1210
1211 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
1212
1213         * log.h: Declare log_init, log_close, and
1214         log_request_redirect_output here.
1215
1216 2003-11-05  Dennis Smit  <ds@nerds-incorporated.org>
1217
1218         * main.c: (main): added --preserve-permissions option.
1219
1220         * ftp.c (ftp_retrieve_list): added support for
1221         --preserve-permissions option.
1222
1223         * init.c: added support for --preserve-permission option.
1224
1225         * option.h: added support for --preserve-permission option.
1226
1227 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
1228
1229         * main.c (init_switches): New function.  Convert option_data to
1230         long_options and short_options, which can be fed to getopt_long.
1231         (main): Execute command-line options by consulting option_data.
1232
1233 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
1234
1235         * gen_sslfunc.c (ssl_read): Implement a more correct check for
1236         EINTR.
1237         (ssl_write): Ditto.
1238         (init_ssl): Use a global SSL context.
1239
1240 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
1241
1242         * connect.c (xclose): Free INFO even if it doesn't provide a
1243         closer.
1244
1245 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
1246
1247         * connect.c: Updated all callers of
1248         iread/ssl_iread/iwrite/ssl_iwrite to use xread and xwrite instead.
1249
1250         * rbuf.h (struct rbuf): Removed the SSL member because SSL is
1251         handled automatically by xread.
1252
1253         * hash.c (ptrhash): Made private.
1254         (ptrcmp): Ditto.
1255         (inthash): Removed.
1256
1257         * connect.c (select_fd): Don't set errno, leave it to the caller.
1258
1259         * gen_sslfunc.c (connect_ssl): Use register_extended to register
1260         SSL callbacks for communication with SSL-enabled endpoints.
1261         (ssl_read): New function.
1262         (ssl_write): Ditto.
1263         (ssl_poll): Ditto.
1264         (ssl_close): Ditto.
1265
1266         * connect.c (register_extended): New function -- register
1267         callbacks for basic socket operations.
1268         (xread): Ditto.
1269         (xwrite): Ditto.
1270         (xclose): Ditto.
1271         (sock_read): New function, default implementation for reading.
1272         (sock_write): Ditto for writing.
1273         (sock_poll): Ditto for polling.
1274         (sock_close): Ditto for closing.
1275
1276 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
1277
1278         * connect.c (bindport): Fix compilation under pre-C99 compilers.
1279
1280 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
1281
1282         * connect.c (connect_to_ip): More compact error checking.
1283         (bindport): Don't treat failed setsockopt as a fatal error.
1284
1285 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
1286
1287         * connect.c (resolve_bind_address): Use a more accurate error
1288         message -- we're not binding to ANY, we're disabling bind
1289         altogether.
1290
1291 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
1292
1293         * cookies.c (save_cookies_mapper): Respect the setting of
1294         keep-session-cookies.
1295         (cookie_jar_load): Import session cookies.
1296         Based on code submitted by Nicolas Schodet.
1297
1298         * utils.c (datetime_str): Use information in TM when it's
1299         non-NULL.
1300
1301         * main.c (main): New option `--keep-session-cookies'.
1302
1303 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
1304
1305         * Makefile.in (realclean): Delete config.h.in.
1306
1307 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
1308
1309         * config-post.h: New file, included from now autogenerated
1310         config.h.in.
1311
1312 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
1313
1314         * progress.c (progress_handle_sigwinch): Don't call
1315         determine_screen_width() from the signal handler.  Instead, just
1316         set a volatile variable.
1317         (bar_create): Check whether SIGWINCH was received.
1318         (bar_update): Ditto.
1319
1320         * sysdep.h: Define SYSTEM_FNMATCH only if HAVE_FNMATCH_H is true.
1321
1322 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
1323
1324         * utils.c (xsleep): New function.  Uses nanosleep where available,
1325         resuming sleeps interrupted by signals.  Updated callers of sleep
1326         and usleep to use xsleep.
1327
1328 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
1329
1330         * ftp-basic.c (ftp_login): Remove shadowing (and bogus)
1331         declaration of SEED.
1332
1333 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
1334
1335         * log.c (logvprintf): Documented better.  Renamed to
1336         log_vprintf_internal to avoid confusion with the public API
1337         functions logprintf and logputs.
1338
1339 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
1340
1341         * wget.h (N_): Don't parenthesize argument.
1342
1343 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
1344
1345         * host.h (ADDRESS_IPV4_DATA): Don't take the address of in.s_addr
1346         because that doesn't work on machines that define it as bitfield.
1347
1348 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
1349
1350         * connect.c (select_fd): Generalize the third argument into WAIT,
1351         so that the caller can request waiting for both read and write.
1352         Updated callers.
1353
1354 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
1355
1356         * html-url.c (cleanup_html_url): Destroy the hash tables, don't
1357         just call free on them.
1358         (init_interesting): Use hash_table_put instead of string_set_add
1359         because we don't need the strdup that the latter function
1360         performs.
1361
1362         * init.c (cleanup): Don't pass NULL to cookie_jar_delete.
1363
1364         * xmalloc.c (xfree_real): Abort when passed a NULL pointer.
1365         (xfree_debug): Print at the file and line of the offending call to
1366         free.
1367
1368 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
1369
1370         * wget.h: Retired the `boolean' type.  Moved the DEFAULT_LOGFILE
1371         define to log.h.  Moved the INFINITE_RECURSION define to recur.h.
1372
1373         * xmalloc.h: Renamed FREE_MAYBE to xfree_null and moved the
1374         definition from wget.h to xmalloc.h.
1375
1376 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
1377
1378         * html-parse.c (decode_entity): New function; split the decoding
1379         of entities here.
1380         (convert_and_copy): Use it to decode entities.
1381         (decode_entity): Handle the &apos entity.
1382         (decode_entity): Don't decode Latin 1 numeric entities.  Don't
1383         decode &#0.
1384
1385 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
1386
1387         * ftp-opie.c (calculate_skey_response): Use uint32_t instead of
1388         `unsigned long' for the cheksum array.  Document the function.
1389
1390 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
1391
1392         * connect.c (acceptport): Don't call select_fd when timeout is not
1393         requested.
1394
1395 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
1396
1397         * host.c: Removed the ip_default_family global variable.
1398
1399         * host.c (lookup_host): Document the function.  Fixed declaration
1400         of VEC.
1401
1402 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
1403
1404         * various: Use new macros xnew, xnew0, xnew_array, and xnew0_array
1405         in various places.
1406
1407 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
1408
1409         * wget.h: Move declarations of malloc and logging code to
1410         xmalloc.h and log.h respectively to unclutter this file.
1411         (STRDUP_ALLOCA): Made it side-effect free.
1412
1413         * xmalloc.h: New files.  Define macros xnew, xnew0, xnew_array,
1414         and xnew0_array.
1415
1416         * xmalloc.c: New file.  Move the xmalloc routines here.
1417
1418 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
1419
1420         * connect.c (sockaddr_set_data): Remove the broken code that
1421         checked for NULL address.
1422
1423 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
1424
1425         * host.c (address_list_from_single): Removed.
1426         (address_list_from_ipv4_addresses): Renamed from
1427         address_list_from_vector.
1428
1429 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
1430
1431         * sysdep.h (CLOSE): Don't call close on file descriptors less than
1432         0, i.e. on uncreated sockets.
1433
1434         * connect.c (resolve_bind_address): Work on struct sockaddr
1435         directly.
1436         (connect_to_host): Replacement for connect_to_many.  Resolve HOST
1437         and connect to any of its addresses.  If we can't connect and the
1438         host name lookup was cached, try to resolve it again.  This should
1439         fix problems with hosts behind dynamic DNS.  Updated all callers.
1440         (connect_to_ip): Replacement for connect_to_one.  Removed SILENT;
1441         added the argument PRINT instead.  Updated all callers.
1442         (set_connection_host_name): Removed.
1443
1444         * host.c (address_list_address_at): New function instead of
1445         address_list_copy_one. It returns a pointer to ip_address *, so
1446         it's not necessary to copy the data.
1447         (address_list_cached_p): New function.
1448         (forget_host_lookup): Ditto.
1449
1450         * connect.c: Got rid of the MSOCK global variable.  Made bindport
1451         return the local socket it creates.  Added a new argument to
1452         acceptport, the socket to call accept on.  Updated callers.
1453         (closeport): Removed.
1454
1455         * connect.c: Moved the sockaddr code from host.c to this file,
1456         because most of that stuff is used for connecting, and has nothing
1457         to do with host names anyway.
1458         (sockaddr_set_data, sockaddr_get_data): New functions, replace the
1459         old sockaddr_set_address, sockaddr_set_port, sockaddr_get_address,
1460         and sockaddr_get_port.
1461
1462 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
1463
1464         * sysdep.h: Use `S >= 8' rather than `S == 8' when looking for
1465         large integers.
1466
1467 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
1468
1469         * url.c (append_uri_pathel): New argument ESCAPED_P that says
1470         whether [B, E) is to be treated as URL-escaped or not.  If
1471         ESCAPED_P is false, don't unescape the region.
1472         (url_file_name): u->file is not URL-escaped.
1473
1474 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
1475
1476         * retr.c (retrieve_from_file): Use retrieve_tree for
1477         page-requisites.
1478
1479         * main.c (main): Don't define opt.recursive when -p is used.
1480         Instead, make sure that recursion is used for HTTP in that case.
1481
1482 2003-10-29  Hrvoje Niksic  <hniksic@xemacs.org>
1483
1484         * host.h: Defined accessors for elements of ip_address.  Updated
1485         all callers.
1486         (address_list_match_all): Use memcmp in the non-IPv6 case.
1487
1488         * wget.h (CONNECT_ERROR): Don't retry connecting if connect()
1489         returned EAFNOSUPPORT.
1490
1491 2003-10-27  Mauro Tortonesi <mauro@deepspace6.net>
1492
1493         * connect.h: changed bindport prototype and added the related
1494         BIND_ON_IPV4_ONLY and BIND_ON_IPV6_ONLY flags.
1495
1496         * connect.c: changed bindport and resolve_bind_address to allow
1497         protocol-version specific DNS resolution. modified conaddr,
1498         acceptport and connect_to_one to make use of struct
1499         sockaddr_storage and of the new ip_address structure.
1500
1501         * ftp-basic.c: added LPRT/LPSV (RFC1639) support, refactored
1502         PORT/PASV (RFC959) and EPRT/EPSV (RFC2428) support code.
1503
1504         * ftp.c: added the ftp_do_port and ftp_do_pasv functions to
1505         handle FTP over IPv6.
1506
1507         * ftp.h: changed prototype of ftp_epsv and added prototypes for
1508         ftp_lpsv, ftp_lprt and ftp_eprt.
1509
1510         * host.c: renamed the
1511         wget_sockaddr_set_address and wget_sockaddr_get_addr, and
1512         wget_sockaddr_{s,g}et_port couples to sockaddr_{s,g}et_address and
1513         sockaddr_{g,s}et_port respectively.  changed
1514         address_list_match_all, address_list_from_addrinfo sockaddr_len,
1515         pretty_print_address, lookup_host, sockaddr_{s,g}et_address and
1516         sockaddr_{g,s}et_port to make use of struct sockaddr_storage and
1517         of the new ip_address structure.  removed map_ipv4_to_ip and
1518         map_ip_to_ipv4.
1519
1520         * host.h: redefined structure ip_address and removed structure
1521         wget_sockaddr.
1522
1523 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
1524
1525         * sysdep.h: Include inttypes.h where available.
1526
1527         * host.c: Switch from u_int32_t to uint32_t.
1528
1529 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
1530
1531         * netrc.c (parse_netrc): Reset the QUOTE flag after the closing
1532         quote.
1533
1534 2003-10-25  Hrvoje Niksic  <hniksic@xemacs.org>
1535
1536         * url.c (is_valid_ipv6_address): Reformat to GNU coding style.
1537         Use enums for NS_IN* constants.  Use ISXDIGIT.
1538
1539         * convert.c (construct_relative): Document better how the function
1540         works.
1541
1542 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
1543
1544         * config.h.in: Deploy preprocessor magic to avoid Ultrix's
1545         <netdb.h> include <bitypes.h> which defines its own u_int32_t.
1546         Reported by Bernhard Simon.
1547
1548 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
1549
1550         * version.c: Bump version.
1551
1552 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
1553
1554         * url.c: Ditto.
1555
1556         * html-parse.c (advance_declaration): Don't use trailing comma in
1557         enum because older compilers don't support it.
1558
1559         * utils.c: Don't redefine HAVE_SIGSETJMP.
1560
1561 2003-10-16  Hrvoje Niksic  <hniksic@xemacs.org>
1562
1563         * convert.c (construct_relative): Don't handle absolute files
1564         specially -- for example, -P/tmp/foo shouldn't imply that
1565         converted files must refer to "/tmp/foo/..."!
1566
1567 2003-10-15  Hrvoje Niksic  <hniksic@xemacs.org>
1568
1569         * http.c: Consider status 307 a valid redirect.
1570
1571 2003-10-15  Philip Stadermann  <philip.stadermann@credativ.de>
1572
1573         * ftp.c (ftp_retrieve_glob): Correctly loop through the list whose
1574         elements might have been deleted.
1575
1576 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
1577
1578         * html-url.c (tag_handle_meta): Set the Refresh link to expect
1579         HTML.
1580         (append_one_url): Renamed to append_url.
1581
1582 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
1583
1584         * sysdep.h: Only define u_int32_t.
1585
1586 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
1587
1588         * utils.c (large_int_to_string): Use snprintf() to print the
1589         number.  This will work even on systems where libc doesn't
1590         understand %lld, but the compiler does, because it will use our
1591         snprintf replacement.
1592
1593         * init.c (parse_bytes_helper): New function.
1594         (cmd_bytes): Use it to parse bytes, but cast the result to long.
1595         (cmd_bytes_large): Ditto, but store the result to LARGE_INT.  Used
1596         for --quota so that --quota=10G works even on machines without
1597         long long.
1598
1599         * options.h (struct options): Declare quota as LARGE_INT.
1600
1601         * retr.c (downloaded_exceeds_quota): Removed.
1602         (downloaded_increase): Ditto.
1603         (total_downloaded_bytes): New variable, replaces opt.downloaded,
1604         which was the wrong place for it anyway.  Updated callers of
1605         downloaded_exceeds_quota and downloaded_increase to check this
1606         variable directly.
1607
1608         * sysdep.h: Get rid of VERY_LONG_TYPE.  Use LARGE_INT for the same
1609         purpose, defined as `long', `long long' or `double', depending on
1610         size of long and whether long long is available.
1611
1612 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
1613
1614         * sysdep.h: Also check size of short for int32_t.
1615
1616 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
1617
1618         * host.c (lookup_host): Use u_int32_t to store the result of
1619         inet_addr().  That removes the need for offset fiddling, caring
1620         about endian-ness, etc.
1621
1622         * sysdep.h: Define int32_t and u_int32_t if not available.
1623
1624 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
1625
1626         * ftp-basic.c (ftp_epsv): Use socklen_t * as the third argument to
1627         getpeername.
1628
1629         * config.h.in: Define socklen_t stub.
1630
1631         * host.c (sockaddr_len): Return socklen_t.
1632
1633         * connect.c (conaddr): Use socklen_t as the third argument to
1634         accept, getsockname, and connect.
1635
1636 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
1637
1638         * recur.c (retrieve_tree): Don't descend into documents that are
1639         not expected to contain HTML, regardless of their content-type.
1640
1641         * html-url.c (tag_url_attributes): Record which attributes are
1642         supposed to yield HTML links that can be followed.
1643         (tag_find_urls): Propagate that information to the caller through
1644         struct urlpos.
1645
1646 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
1647
1648         * hash.c (find_mapping): Return the next available mapping when
1649         the key is not found, not NULL.
1650         (hash_table_put): Use find_mapping to find the storage for the new
1651         data.
1652         (hash_table_put): Grow the table before exceeding maximum
1653         fullness, not afterwards.
1654
1655 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
1656
1657         * hash.c (hash_table_new): Slightly change the meaning of the
1658         first parameter.  Instead of being the minimum initial size, it is
1659         now the minimum number of items that the hash table can take
1660         without needing to resize.
1661
1662 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
1663
1664         * html-url.c (init_interesting): Initialize interesting_tags and
1665         interesting_attributes as hash tables.  This simplifies the code
1666         immensely because hash tables handle allocation and remove
1667         duplicates automatically.
1668         (find_tag): Removed.
1669         (collect_tags_mapper): Instead of calling find_tag, simply get the
1670         entry from interesting_tags hash table, which is both simpler and
1671         faster.
1672
1673 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
1674
1675         * hash.c (hash_table_get): Declare hash-table argument as const.
1676         (find_mapping): Ditto.
1677         (hash_table_get_pair): Ditto.
1678         (hash_table_contains): Ditto.
1679         (hash_table_count): Ditto.
1680
1681 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1682
1683         * html-url.c (get_urls_html): Parse the appropriate flags to
1684         html-parse.c.
1685
1686         * html-parse.c (map_html_tags): Accept FLAGS from the caller
1687         instead of examining OPT.
1688
1689 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1690
1691         * html-url.c (find_tag): Switch to binary search.
1692
1693 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1694
1695         * main.c (print_help): Fix typo; stured -> stored.
1696
1697 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1698
1699         * getopt.c: Add definitions of getopt_long and getopt_long_only.
1700
1701 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1702
1703         * config.h.in: Renamed DEBUG to ENABLE_DEBUG.  ENABLE_DEBUG is, I
1704         think, a better name, because it implies that debugging output is
1705         merely possible, not "on by default", as might be construed from
1706         just DEBUG.
1707
1708 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1709
1710         * ftp.c (has_insecure_name_p): Define it here.
1711
1712         * utils.c (has_wildcards_p): Define it here.
1713
1714         * sysdep.h: Declare fnmatch-related macros here, if not using
1715         system fnmatch().  Update .c files to not declare fnmatch.h
1716         directly.
1717
1718         * cmpt.c (fnmatch): Moved here.  Use it only under non-GNU libc.
1719
1720 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1721
1722         * getopt.c: Newer version, imported from Free libit.
1723
1724 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
1725
1726         * cookies.c (struct cookie): Remove unused backpointer to cookie
1727         jar.
1728
1729 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
1730
1731         * cmpt.c (memmove): Comment out, since it's no longer used.
1732
1733         * cookies.c (cookie_jar_generate_cookie_header): Allocate room for
1734         chains in one pass.
1735         (find_chains_of_host): Assume that the caller has allocated DEST
1736         to be sufficiently large to take all the data.
1737         (eliminate_dups): Run through the array and eliminate dups on the
1738         fly instead of using memmove.
1739         (cookie_jar_process_set_cookie): Free cookie->domain before
1740         re-setting it.
1741
1742 2003-10-05  Gisle Vanem  <giva@bgnett.no>
1743
1744         * mswindows.c (set_sleep_mode): Fix type of
1745         _SetThreadExecutionState.
1746
1747 2003-10-05  Hrvoje Niksic  <hniksic@xemacs.org>
1748
1749         * utils.c (file_size): Return -1 if fopen() returns NULL.  Prior
1750         to this patch, wget --post-file=nosuchfile dumped core.
1751
1752 2003-10-04  Gisle Vanem  <giva@bgnett.no>
1753
1754         * mswindows.c (run_with_timeout): Use WaitForSingleObject to wait
1755         for thread termination.
1756
1757 2003-10-04  Hrvoje Niksic  <hniksic@xemacs.org>
1758
1759         * log.c: Use `...' in function definitions; ansi2knr will convert
1760         them to va_dcl.  This allowed removal of the ugly VA_START_1 and
1761         VA_START_2 macros.
1762
1763 2003-10-03  Gisle Vanem  <giva@bgnett.no>
1764
1765         * connect.c: And don't include them here.
1766
1767         * mswindows.h: Include winsock headers here.
1768
1769 2003-10-03  Hrvoje Niksic  <hniksic@xemacs.org>
1770
1771         * html-parse.c (convert_and_copy): Move variable declarations
1772         before statements.
1773
1774 2003-10-02  Gisle Vanem  <giva@bgnett.no>
1775         
1776         * mswindows.c (run_with_timeout): For Windows: Run the 'fun' in a
1777         thread via a helper function. Continually query the thread's
1778         exit-code until finished or timed out.
1779
1780 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
1781
1782         * wget.h (XMALLOC_ARRAY): Removed.
1783         (ALLOCA_ARRAY): Ditto.
1784
1785         * html-parse.c: Renamed alloca_p to resized.
1786         (GROW_ARRAY): Renamed DO_REALLOC_FROM_ALLOCA to GROW_ARRAY and
1787         returned it to html-parse.c, since nothing else was using it.
1788
1789 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
1790
1791         * retr.c (retrieve_url): Initialize DUMMY storage for DT.  Caught
1792         by valgrind.
1793
1794 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
1795
1796         * html-parse.c (convert_and_copy): Handle numeric entities in
1797         hexadecimal, &#xHH.
1798         (convert_and_copy): Copy the contents directly to the pool without
1799         a stack-allocated intermediary.
1800
1801 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
1802
1803         * utils.c (alarm_set): New function; use either setitimer or alarm
1804         to set up the alarm.
1805         (alarm_cancel): New function; cancel the alarm set up by
1806         alarm_set.
1807         (run_with_timeout): Use them.
1808
1809 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
1810
1811         * url.c (url_parse): Don't leak memory when a reencoded URL turns
1812         out to be invalid.
1813
1814         * url.c (parse_errors): Mark error messages for translation.
1815         (url_error): Translate error messages returned to the caller.
1816
1817 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
1818
1819         * ftp.c (ftp_loop_internal): Initialize TMRATE to NULL to shut up
1820         the compiler.
1821
1822 2003-09-26  Gisle Vanem  <giva@bgnett.no>
1823
1824         * src/mswindows.c: Added ws_percenttitle() showing progress in the
1825         window titlebar. Called from retr.c. Secured ws_mypath().
1826
1827         * windows/config.h.ms: alloca() prototype not needed.  Removed
1828         "#undef ENABLE_NLS"; should be in Makefile IMHO. Moved
1829         WGET_USE_STDARG from mswindows.h to config.ms.h because of #ifdef
1830         in log.c. (MSVC's vararg.h and stdarg.h are incompatible).
1831
1832 2003-09-29  Aaron Hawley <Aaron.Hawley@uvm.edu>
1833
1834         * ftp.c (getftp): --spider option should now work with FTP
1835         downloads.
1836         (ftp_loop_internal): quiet reports and calculations of downloads
1837         when --spider option set, nor try deleting when --delete-after
1838         also set.
1839         (ftp_loop): --spider will skip HTML-ification of .listing file.
1840
1841 2003-09-26  Gisle Vanem  <giva@bgnett.no>
1842
1843         * mswindows.c (read_registry): Removed.
1844         (set_sleep_mode): New function.
1845         (windows_main_junk): Call it.
1846
1847 2003-09-26  Gisle Vanem  <giva@bgnett.no>
1848
1849         * mswindows.c (read_registry): Fix invocation of registry
1850         functions.
1851
1852         * mswindows.c (read_registry): Condition definitions of sleep and
1853         usleep with not HAVE_SLEEP and HAVE_USLEEP respectively.  Define
1854         HAVE_SLEEP and HAVE_USLEEP under __DMC__.
1855
1856 2003-09-24  Hrvoje Niksic  <hniksic@xemacs.org>
1857
1858         * url.c (url_escape_1): Revert unintentional change to lowercase
1859         xdigit escapes.
1860         (url_escape_dir): Document that this function depends on the
1861         output of url_escape_1.
1862
1863 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
1864
1865         * progress.c (create_image): Print the current ETA if we're done
1866         with the download.
1867         (create_image): Change '-' display char to '+' in the progress bar.
1868
1869         * Makefile.in (clean): Remove .libs.
1870
1871 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
1872
1873         * cookies.c (struct cookie): New flag domain_exact.
1874         (update_cookie_field): Skip leading dot in domain.
1875         (find_matching_chains): Match numeric addresses exactly; don't
1876         needlessly copy HOST to the stack.
1877         (matching_cookie): Added argument HOST.  If cookie->domain_exact
1878         is set, check that HOST is equal to cookie->domain.
1879         (cookie_jar_load): Only use TAB as delimiter.  Document the
1880         meaning of DOMAIN-FLAG.  Skip leading dot in domain.
1881         (cookie_jar_load): Don't ignore DOMAIN-FLAG -- instead, set
1882         domain_exact to true if DOMAIN-FLAG is false.
1883         (save_cookies_mapper): If domain_exact is false, prepend the
1884         domain with dot, like Mozilla does.
1885
1886 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
1887
1888         * progress.c (create_image): Print the initial part of the
1889         download with '-' characters, analogous to how dot progress prints
1890         the initial part with ','.
1891
1892         * hash.c (ptrhash): New function.
1893         (ptrcmp): Ditto.
1894         (hash_table_new): Default to identity hash table.
1895
1896 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
1897
1898         * safe-ctype.h (_sch_test): The cast of BIT to unsigned char was
1899         broken -- _sch_istable bitmasks are 16-bit, not 8-bit!  Cast BIT
1900         to unsigned short instead.
1901
1902 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
1903
1904         * url.c (path_simplify): Instead of calls to memmove, handle "./"
1905         and "../" by advancing pointers.
1906
1907 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
1908
1909         * retr.c (getproxy): Moved from url.c.
1910
1911         * convert.c: Split off link conversion from url.c into separate
1912         file.  Also included the book-keeping stuff from recur.c.
1913
1914 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
1915
1916         * init.c: Improved documentation of functions.
1917         (cmd_boolean): Attempt to make code that tries to avoid calling
1918         strcmp for "speed" a bit more readable.
1919
1920         * init.c (simple_atof): Report error on encountering non-digit,
1921         non-"." character.
1922         (simple_atoi): Replacement for myatoi(), calling interface
1923         compatible with simple_atof.  Updated myatoi's callers.
1924
1925 2003-09-21  Bertrand Demiddelaer  <bert@b3rt.org>
1926
1927         * url.c (path_simplify): Would read two bytes past the end of the
1928         string in the "./" case.
1929
1930 2003-09-21  Matthew J. Mellon  <mellon@tymenet.com>
1931
1932         * http.c (gethttp): Recognize content-type "application/xhtml+xml"
1933         as what Wget considers "text/html".
1934
1935 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
1936
1937         * connect.c (connect_with_timeout): Made timeout type double.
1938
1939         * options.h (struct options): New members read_timeout,
1940         dns_timeout, and connect_timeout.
1941         Use them.
1942
1943 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
1944
1945         * init.c (simple_atof): New function.
1946         (cmd_time): Use it.
1947         (cmd_bytes): Accept things like "1.5k" and such.  Use simple_atof
1948         to parse decimals.
1949
1950         * retr.c (limit_bandwidth): Adjust each sleep by the error of the
1951         previous one.
1952
1953 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
1954
1955         * main.c (main): Use setoptval() for setting the options.  Use
1956         run_command for `-e'.
1957
1958         * init.c (parse_line): Rewritten to return COMIND right away.
1959         Changed linkage to static.
1960         (run_wgetrc): Use the available comind when calling setval, so it
1961         doesn't have to be computed twice.
1962         (setval_internal): New function, runs the command's action without
1963         any error checking.
1964         (setoptval): New function, does what setval used to do, but exits
1965         in case of error.
1966         (run_command): New function.
1967
1968 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
1969
1970         * connect.c (select_fd): Change MAXTIME's type to double.  Handle
1971         its decimal part.
1972
1973         * retr.c (sleep_between_retrievals): In the random-wait case, use
1974         random_float() to wait between 0 and 2*opt.wait seconds.
1975
1976         * utils.c (run_with_timeout): Accept `double' timeouts.  Correctly
1977         handle timeout values in (0, 1) range.
1978         (random_float): New function.
1979
1980         * options.h (struct options): Change the types of wait, waitretry,
1981         and timeout to double.
1982
1983         * init.c (cmd_time): Accept floating point time.
1984
1985 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
1986
1987         * retr.c (get_contents): Cosmetic fixes.
1988
1989 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
1990
1991         * url.c (uri_merge): Get rid of uri_merge_1.
1992         (uri_merge): Merge "foo//", "bar" as "foo//bar", not "foo///bar",
1993         i.e. don't add an extra slash merely because BASE ends with two
1994         slashes.
1995         (parse_credentials): Renamed from parse_uname.  Rewrittern in
1996         standard [beg, end) calling style.
1997         (url_skip_credentials): Renamed from url_skip_uname.  Made static.
1998         (url_skip_credentials): Include # and ; as terminators.  Old code
1999         would mistakenly consider "http://foo.com#hniksic@iskon.hr" to
2000         contain a username.
2001         (url_skip_scheme): Removed because it was unused.
2002         (url_has_scheme): Require "scheme" to be at least one char long.
2003
2004 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
2005
2006         * url.c (url_file_name): Expect NULL dir_prefix.
2007
2008         * init.c (cmd_file): Use a macro to prevent multiple #ifdef
2009         WINDOWS.
2010         (defaults): Set dir_prefix to NULL by default.
2011
2012 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
2013
2014         * safe-ctype.h (_sch_test): Cast BIT to unsigned char, like latest
2015         gcc does.
2016
2017 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
2018
2019         * wget.h (BOUNDED_TO_ALLOCA): Evaluate PLACE only once.
2020         (ARRAY_SIZE): Renamed to countof.  All callers updated.
2021
2022 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
2023
2024         * main.c (main): New option --strict-comments.
2025
2026         * html-parse.c (find_comment_end): New function: simple BM search
2027         for "-->".
2028         (map_html_tags): Use it if looking at a comment and not in strict
2029         comments mode.
2030
2031 2003-09-17  Aurelien Marchand  <artaxerxes@users.sf.net>
2032
2033         * ftp.h: Added OS400 system in enum
2034         * ftp-basic.c: recognize OS400 systems
2035         * ftp.c: don't prepend the CWD if talking to OS400, since it
2036         breaks the change in library
2037
2038 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
2039
2040         * retr.c (get_contents): Pass the correct argument to ssl_iread.
2041
2042 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
2043
2044         * safe-ctype.h: Don't #define ctype.h macros to errors because
2045         that loses when someone #include's ctype.h after safe-ctype.h.
2046
2047 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
2048
2049         * url.c: Undef U, W, C after use.
2050
2051 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
2052
2053         * init.c (cmd_spec_restrict_file_names): Allow the OS setting to
2054         be augmented by ",nocontrol" which means don't escape the control
2055         characters, but otherwise keep OS settings.
2056
2057         * url.c (file_unsafe_char): Deleted.
2058         (append_uri_pathel): Query filechr_table directly.
2059         (filechr_table): Separated Unix, Windows, and control-unsafe
2060         characters.
2061
2062 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
2063
2064         * url.c (url_escape_1): New function.
2065         (url_escape): Use it.
2066         (sync_path): Handle pathological cases where u->file and u->dir
2067         contain really strange characters.
2068         (ENCODE): Deleted.
2069         (REENCODE): Deleted.
2070
2071 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
2072
2073         * url.c (url_file_name): Don't reallocate FNAME if the file
2074         doesn't exist, as is usually the case.
2075
2076         * utils.c (unique_name): New flag allow_passthrough.
2077
2078 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
2079
2080         * utils.c (wtimer_sys_diff): Convert the time difference to signed
2081         __int64, then to double.  This works around MS VC++ 6 which can't
2082         convert unsigned __int64 to double directly.
2083
2084 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
2085
2086         * Makefile.in (clean): Also remove the core.<number> files
2087         produced by recent Linux systems.
2088
2089 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
2090
2091         * http.c (post_file): Don't pad the file if it's not large
2092         enough.  Bail out instead.
2093
2094 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
2095
2096         * retr.c (get_contents): Reduce the buffer size to the amount of
2097         data that may pass through for one second.  This prevents long
2098         sleeps when limiting bandwidth.
2099
2100         * connect.c (connect_to_one): Reduce the socket's RCVBUF when
2101         bandwidth limitation to small values is requested.
2102
2103 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
2104
2105         * progress.c (update_speed_ring): Moved the speed ring update to a
2106         separate function and documented it better.
2107
2108         * progress.c: Use `double' for most timers to support granularity
2109         smaller than 1ms.
2110
2111 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
2112
2113         * wget.h (XDIGIT_TO_XCHAR): Implement as index into a literal
2114         string.
2115         (XDIGIT_TO_xchar): Ditto.
2116
2117 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
2118
2119         * utils.c: Change the type of timer-related functions from long to
2120         double, for better precision.  On machines supporting gettimeofday
2121         the timers now work with granularity of less than one millisecond.
2122
2123 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
2124
2125         * cookies.c (parse_set_cookies): Fixed the parser to handle more
2126         edge conditions.
2127         (test_cookies): New function, contains a test suite for
2128         parse_set_cookies.
2129
2130 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
2131
2132         * url.c (strpbrk_or_eos): Implement as a macro under Gcc.
2133
2134 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
2135
2136         * cookies.c (parse_set_cookies): Allow trailing space in
2137         set-cookies header.  Also, allow any amount of whitespace, not
2138         only one character.  Allow empty set-cookies header without
2139         spewing an error.
2140
2141 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
2142
2143         * url.c (append_uri_pathel): Use opt.restrict_file_names when
2144         calling file_unsafe_char.
2145
2146         * init.c: New command restrict_file_names.
2147
2148         * main.c (main): New option --restrict-file-names[=windows,unix].
2149
2150         * url.c (url_file_name): Renamed from url_filename.
2151         (url_file_name): Add directory and hostdir prefix here, not in
2152         mkstruct.
2153         (append_dir_structure): New function, does part of the work that
2154         used to be in mkstruct.  Iterates over path elements in u->path,
2155         calling append_uri_pathel on each one to append it to the file
2156         name.
2157         (append_uri_pathel): URL-unescape a path element and reencode it
2158         with a different set of rules, more appropriate for handling of
2159         files.
2160         (file_unsafe_char): New function, uses a lookup table to decide
2161         whether a character should be escaped for use in file name.
2162         (append_string): New utility function.
2163         (append_char): Ditto.
2164         (file_unsafe_char): New argument restrict_for_windows, decide
2165         whether Windows file names should be escaped in run-time.
2166
2167         * connect.c: Include <stdlib.h> to get prototype for abort().
2168
2169 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
2170
2171         * utils.c (wtimer_sys_set): Extracted the code that sets the
2172         current time here.
2173         (wtimer_reset): Call it.
2174         (wtimer_sys_diff): Extracted the code that calculates the
2175         difference between two system times here.
2176         (wtimer_elapsed): Call it.
2177         (wtimer_elapsed): Don't return a value smaller than the previous
2178         one, which could previously happen when system time is set back.
2179         Instead, reset start time to current time and note the elapsed
2180         offset for future calculations.  The returned times are now
2181         guaranteed to be monotonically nondecreasing.
2182
2183 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
2184
2185         * host.c (lookup_host): Print the result of the DNS lookup.
2186
2187 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
2188
2189         * init.c (cmd_boolean): Accept yes/no along with on/off.
2190         (cmd_lockable_boolean): Ditto.
2191
2192 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
2193
2194         * init.c: New command dns_cache.
2195
2196         * main.c (main): New option --dns-cache[=off].
2197
2198 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
2199
2200         * config.h.in: Initialize HAVE_GETADDRINFO and ENABLE_IPV6.
2201
2202         * all: Use #ifdef ENABLE_IPV6 instead of the older INET6.  Use
2203         HAVE_GETADDRINFO for getaddrinfo-related stuff.
2204
2205 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
2206
2207         * url.c (url_parse): Return an error if the URL contains a [...]
2208         IPv6 numeric address and we don't support IPv6.
2209
2210 2003-09-05  Hrvoje Niksic  <hniksic@xemacs.org>
2211
2212         * url.c (is_valid_ipv6_address): Modified to not require
2213         zero-terminated strings.
2214         (is_valid_ipv4_address): Ditto.
2215
2216 2003-09-05  Mauro Tortonesi <mauro@deepspace6.net>
2217
2218         src/url.c: added RFC 2732 compliance for URL parsing. The
2219         functions is_*_address valid are a modified version of
2220         glibc 2.3.2 inet_pton's code.
2221
2222 2003-09-03  Ahmon Dancy  <dancy@dancysoft.com>
2223
2224         * main.c init.c options.h: Added --retry-connrefused option so
2225         that Connection Refused failures are treated as non-fatal (when
2226         trying to retrieve from busy servers).
2227
2228         * wget.h: New CONNECT_ERROR macro for encapsulating this
2229         modification.
2230
2231         * ftp.c http.c : Use CONNECT_ERROR macro in places where
2232         ECONNREFUSED was checked.
2233
2234 2003-01-11  Ian Abbott  <abbotti@mev.co.uk>
2235
2236         * ftp.c (ftp_retrieve_glob): Reject insecure filenames as determined
2237         by calling new function has_insecure_name_p.  This is based on a
2238         patch by Red Hat.
2239
2240         * fnmatch.c (has_insecure_name_p): New function: returns non-zero
2241         if filename starts with `/' or contains `../' and is therefore
2242         considered insecure.
2243
2244         * fnmatch.h: Declare has_insecure_name_p().
2245
2246 2002-08-03  Hrvoje Niksic  <hniksic@xemacs.org>
2247
2248         * init.c (cmd_file): Allocate RESULT correctly.
2249
2250 2002-07-24  Hrvoje Niksic  <hniksic@xemacs.org>
2251
2252         * recur.c (retrieve_tree): Check whether downloaded_html_set is
2253         non-NULL before using it.
2254
2255 2002-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2256
2257         * html-parse.c (NAME_CHAR_P): Allow almost any character here.
2258
2259 2002-05-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2260
2261         * progress.c (bar_set_params): Fall back to dot progress if the
2262         terminal type is "emacs".
2263
2264 2002-05-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2265
2266         * log.c: Don't #undef WGET_USE_STDARG.
2267
2268 2002-05-16  Hrvoje Niksic  <hniksic@arsdigita.com>
2269
2270         * hash.c (prime_size): Store the offset of the prime number in the
2271         prime table.  When searching, start with the given offset.
2272         (hash_table_new): Pass the pointer to ht->prime_offset to
2273         prime_size.
2274         (grow_hash_table): Ditto.
2275         (prime_size): Make 13 the first prime to make empty hash tables
2276         slightly smaller.
2277
2278 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
2279
2280         * recur.c (download_child_p): Minor optimization to avoid an
2281         unnecessary additional call to schemes_are_similar_p function.
2282
2283 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
2284
2285         * url.c (schemes_are_similar_p): New function to test enumerated
2286         scheme codes for similarity.
2287
2288         * url.h: Declare it.
2289
2290         * recur.c (download_child_p): Use it to compare schemes.  This
2291         also fixes a bug that allows hosts to be spanned (without the
2292         -H option) when the parent scheme is https and the child's is
2293         http or vice versa.
2294
2295 2002-05-14  Bill Richardson  <bill@riverstonenet.com>
2296
2297         * ftp.c (getftp): Don't ftruncate stdout.
2298
2299         * http.c (gethttp): Don't ftruncate stdout.
2300
2301 2002-05-09  Ian Abbott  <abbotti@mev.co.uk>
2302
2303         * cmpt.c (strptime_internal): Synched with glibc-2.1.3.
2304         (get_number): Ditto.
2305         (get_alt_number): Ditto.
2306         (__isleap): New function-like macro used by strptime.
2307         (day_of_the_week): New function used by strptime.
2308         (day_of_the_year): Ditto.
2309         (__mon_yday): Now shared by mktime and strptime implementations.
2310
2311 2002-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
2312
2313         * cookies.c (check_domain_match): Use match_tail in case
2314         insensitive mode.
2315
2316         * utils.c (match_tail): Allow the caller to specify case
2317         insensitive mode.
2318
2319         * cookies.c (store_cookie): When expiry_time is 0, print it as
2320         undefined, not indefinite.
2321
2322 2002-05-07  Ian Abbott  <abbotti@mev.co.uk>
2323
2324         * cookies.c (cookie_jar_process_set_cookie): Do not store
2325         discarded cookie.
2326
2327 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
2328
2329         * cookies.c (check_domain_match): Allow cookies to be set for
2330         subdomains of unknown top-level domains under some circumstances.
2331
2332 2002-04-21  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
2333
2334         * gen_ssl.c:
2335         - allow checking of server cert
2336         - allow defining client cert type
2337         - allow limit of ssl protocol
2338         - check more return values
2339         - added debug message on break
2340
2341 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
2342
2343         * recur.c (download_child_p): Revert order of items in check
2344         number 6 for clarity.
2345
2346 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2347
2348         * init.c: Ditto.
2349
2350         * main.c: Ditto.
2351
2352         * http.c: Use the new interface.
2353
2354         * cookies.c: Provide an OO-style "cookie jar" interface to enable
2355         separate cookie jars.
2356
2357         * http.c (http_atotm): Declare argument as const.
2358
2359 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2360
2361         * cookies.c (cookie_new): Default to PORT_ANY.
2362         (find_cookie_chain_exact): Only search by DOMAIN.
2363         (find_matching_cookie): Also check that PORT matches.
2364         (store_cookie): Only match the domain.
2365         (set_cookie_header_cb): When a cookie "fakes" a domain, assume it
2366         is valid for that host rather than discarding it completely.
2367         (find_matching_chains): Don't search by PORT.
2368         (matching_cookie): Also match PORT.
2369         (load_cookies): Set the port if specified, otherwise leave it as
2370         ANY.
2371         (save_cookies_mapper): Save the port if specified, otherwise leave
2372         it empty.
2373
2374 2002-04-19  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
2375
2376         * init.c: The option `egdfile' was not in sort order.
2377
2378 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
2379
2380         * ftp.c (getftp): Treat directories that begin with <letter>: as
2381         absolute.
2382         (getftp): Strip trailing slashes from con->id before merging it
2383         with TARGET.
2384
2385 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
2386
2387         * http.c (gethttp): If Content-Type is not given, assume
2388         text/html.
2389
2390 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
2391
2392         * recur.c (download_child_p): Don't ignore rejection of HTML
2393         documents that are themselves leaves of recursion.
2394
2395 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
2396
2397         Makefile.in: Updated several dependencies for object files to take
2398         account of nested include files.
2399
2400 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
2401
2402         Makefile.in: The target `connect$o' (connect.o) now depends on
2403         `utils.h'
2404
2405 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
2406
2407         * host.c (SET_H_ERRNO): New function-like macro to set `h_errno'.
2408         (gethostbyname_with_timeout): Use it.
2409
2410         * utils.c: Don't define `SETJMP()', `run_with_timeout_env' or
2411         `abort_run_with_timeout()' when `USE_SIGNAL_TIMEOUT' is undefined.
2412
2413 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
2414
2415         * host.c (getaddrinfo_with_timeout): New function.
2416         (gethostbyname_with_timeout): Ditto.
2417         (lookup_host): Use them.
2418
2419 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2420
2421         * utils.c (number_to_string): Handle the case when n < -INT_MAX.
2422
2423 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2424
2425         * init.c (comind): Use a marginally faster implementation of
2426         binary search.  To quote Martin Buchholz, "a nanosecond saved is a
2427         nanosecond earned."
2428
2429 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2430
2431         * main.c (print_help): Document `--post-data' and `--post-file'.
2432
2433 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2434
2435         * http.c (gethttp): Ditto.
2436
2437         * retr.c (retrieve_url): Initialize variables to appease the
2438         compiler.
2439
2440         * gen_sslfunc.c (ssl_iread): Don't handle EINTR when calling
2441         select_fd.
2442         (ssl_iwrite): Ditto.
2443
2444         * connect.c (select_fd): Rewrite to handle EINTR.  Set errno to
2445         ETIMEDOUT in case of timeout.
2446         (iread): No need to handle EINTR when calling select_fd.
2447         (iwrite): Ditto.
2448
2449 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2450
2451         * retr.c (retrieve_url): Make sure that POST is not honored for
2452         redirections.
2453
2454         * http.c (gethttp): Send the POST data when requested.
2455         (post_file): New function.
2456         (gethttp): Use it.
2457
2458         * main.c (main): Ditto.
2459
2460         * init.c: Add new options.
2461
2462         * options.h (struct options): New options post_data and
2463         post_file_name.
2464
2465 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2466
2467         * connect.c (connect_with_timeout): Firing SIGALRM can result in
2468         connect() exiting with EINTR.  Treat EINTR the same as ETIMEDOUT.
2469
2470 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2471
2472         * connect.c (connect_with_timeout): Use it.
2473
2474         * utils.c (run_with_timeout): New function.
2475
2476 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2477
2478         * url.c (getproxy): Accept a struct url argument.  This obviates
2479         the need for USE_PROXY_P.
2480
2481         * retr.c (retrieve_url): Allow proxy to be a non-FTP URL.
2482
2483         * ftp.c (getftp): Recognize FWTK-style proxy.
2484
2485 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2486
2487         * config.h.in: Only define _VA_LIST when compiled with gcc.
2488
2489 2002-04012  Ian Abbott  <abbotti@mev.co.uk>
2490
2491         * http.c (http_loop): Compensate for MS Windows two-second
2492         granularity of file modification time when comparing timestamps.
2493
2494         * ftp.c (ftp_retrieve_list): Ditto.
2495
2496 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
2497
2498         * utils.c (has_html_suffix_p): New function to test filename for
2499         common html extensions.
2500
2501         * utils.h: Declare it.
2502
2503         * http.c (http_loop): Use it instead of previous test.
2504
2505         * retr.c (retrieve_url): Ditto.
2506
2507         * recur.c (download_child_p): Ditto.
2508
2509 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2510
2511         * config.h.in: Define _VA_LIST on Solaris to prevent stdio.h from
2512         declaring va_list.
2513         From Kevin Rodgers <kevinr@ihs.com>.
2514
2515 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
2516
2517         * Makefile.in: Specify libtool mode explicitly when linking.
2518
2519 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2520
2521         * connect.c (connect_with_timeout): New function.
2522         (connect_to_one): Use it.
2523
2524         * config.h.in: Add stubs for HAVE_SIGSETJMP, HAVE_SIGBLOCK, and
2525         HAVE_SETJMP_H.
2526
2527 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2528
2529         * log.c: Set WGET_USE_STDARG if __STDC__ is defined and stdarg.h
2530         is present.
2531
2532 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2533
2534         * progress.c (bar_create): If INITIAL is larger than TOTAL, fix
2535         TOTAL.
2536         (bar_finish): Likewise.
2537
2538 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2539
2540         * html-url.c (tag_handle_form): New function.  Pick up form
2541         actions and mark them for conversion only.
2542
2543 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2544
2545         * progress.c (struct progress_implementation): Use PARAMS when
2546         declaring the parameters of *create, *update, *finish, and
2547         *set_params.
2548
2549         * netrc.c: Ditto.
2550
2551         * http.c: Reformat some function definitions so that ansi2knr can
2552         read them.
2553
2554         * hash.c (struct hash_table): Use the PARAMS macro around
2555         parameters in the declaration of hash_function and test_function.
2556         (prime_size): Spell 2580823717UL and 3355070839UL as (unsigned
2557         long)0x99d43ea5 and (unsigned long)0xc7fa5177 respectively, so
2558         that pre-ANSI compilers can read them.
2559         (find_mapping): Use PARAMS when declaring EQUALS.
2560         (hash_table_put): Ditto.
2561
2562         * ftp.h: Wrap the parameters of ftp_index declaration in PARAMS.
2563
2564         * cookies.c (cookie_new): Use (unsigned long)0 instead of 0UL,
2565         which was unsupported by pre-ANSI compilers.
2566
2567         From Nelson H. F. Beebe <beebe@math.utah.edu>, for the most part.
2568
2569 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2570
2571         * url.c (url_filename): Use compose_file_name regardless of
2572         whether opt.dirstruct is set.
2573         (mkstruct): Don't handle the query and the reencoding of DIR; that
2574         is done in compose_file_name.
2575
2576 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2577
2578         * wget.h: Ditto for extern char *exec_name.
2579
2580         * options.h: Don't guard against OPTIONS_DEFINED_HERE -- it is
2581         perfectly legal to follow an `extern' with a non-`extern' ones,
2582         provided the types match.
2583
2584         * main.c: Don't define OPTIONS_DEFINED_HERE.
2585
2586 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2587
2588         * progress.c (create_image): Revert to calculating ETA based on
2589         average download speed.
2590         (create_image): Don't print ETA until the download has been active
2591         for at least 3 seconds.
2592         (create_image): When ETA is not available, don't print anything.
2593         The previous version would print --:--.
2594
2595 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2596
2597         * progress.c (bar_update): Keep updating a subinterval until it
2598         reaches or exceeds a watermark.  That way the measurement will be
2599         guaranteed to span a configurable minimum of time.  The current
2600         default is 3s in 30 100ms intervals.
2601
2602 2002-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2603
2604         * progress.c (bar_update): Maintain an array of the time it took
2605         to perform previous 30 network reads.
2606         (create_image): Calculate the download speed and ETA based on the
2607         last 30 reads, not the entire download.
2608         (create_image): Make sure that the ETA is not changed more than
2609         once per second.
2610
2611 2002-04-09  Ian Abbott  <abbotti@mev.co.uk>
2612
2613         * mswindows.c (borland_utime): New function conditionally defined
2614         when `HACK_BCC_UTIME_BUG' is defined.  A reimplementation of
2615         `utime()' as Borland's `utime()' function is broken on Windows 9x
2616         systems.  (Original patch by Chin-yuan Kuo <sr1111111@yahoo.com.tw>.)
2617
2618 2002-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
2619
2620         * ftp.c (ftp_loop): Propagate the result of ftp_retrieve_glob.
2621
2622 2002-03-26  Ian Abbott  <abbotti@mev.co.uk>
2623
2624         * Makefile.in: Updated several dependencies for object files.
2625
2626 2002-03-20  Ian Abbott  <abbotti@mev.co.uk>
2627
2628         * mswindows.c: Include "utils.h".
2629
2630 2002-03-18  Ian Abbott  <abbotti@mev.co.uk>
2631
2632         * host.h: Don't include netdb.h on windows.
2633
2634 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2635
2636         * recur.c (retrieve_tree): Handle the case when start_url doesn't
2637         parse.
2638
2639 2002-02-19  Andreas Damm  <andreas-sourceforge@radab.org>
2640
2641         * wget.h (DO_REALLOC_FROM_ALLOCA): Multiply with sizeof(type) when
2642         calling xmalloc and memcpy.
2643
2644 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2645
2646         * host.h: Include Unix-specific includes #ifndef WINDOWS.
2647         Patch originally provided by Christian Lackas.
2648
2649 2002-02-11  Christian Lackas  <delta@lackas.net>
2650
2651         * recur.c: recurive downloading for https fixed.
2652
2653 2002-02-19  Alan Eldridge  <alane@geeksrus.net>
2654
2655         * host.h: Also include <netinet/in.h> and <sys/socket.h>.
2656
2657         * ftp-basic.c: Also include <netinet/in.h>.
2658
2659 2002-02-05  Ian Abbott  <abbotti@mev.co.uk>
2660
2661         * http.c (gethttp): when -c used, mark already fully retrieved
2662         file as successfully retrieved.
2663
2664 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2665
2666         * url.c (url_parse): Don't treat '?' as query string separator
2667         when parsing FTP URLs.
2668
2669 2002-02-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2670
2671         * html-url.c (tag_handle_meta): Don't crash on <meta
2672         http-equiv=refresh> where content is missing.
2673
2674 2002-01-31  Herold Heiko  <Heiko.Herold@previnet.it>
2675
2676         * ftp-basic.c, host.c: don't include sys/socket.h, arpa/inet.h,
2677         netdb.h on windows.
2678
2679 2002-01-30  Hrvoje Niksic  <hniksic@arsdigita.com>
2680
2681         * retr.c (retrieve_url): Remove redirection cycle detection.  This
2682         is because some sites legitimately redirect the user back to the
2683         same location, e.g. after an authorization check performed by
2684         another page.  MAX_REDIRECTIONS is still used to prevent infinite
2685         redirection loops.
2686
2687 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2688
2689         * http.c (gethttp): Wrap host name in square brackets if it
2690         contains a colon.
2691
2692 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2693
2694         * url.c (url_parse): Allow all hex digits, not only decimal ones,
2695         to form an IP address.
2696
2697 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2698
2699         * url.c (urlchr_table): Make square braces reserved, so we can
2700         parse http://[::1]/.
2701         (url_parse): Handle host in braces.
2702         (url_string): If url->host contains colons, wrap it in braces.
2703
2704 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2705
2706         * connect.c (resolve_bind_address): New function.
2707         (connect_to_one): Use it.
2708         (bindport): Ditto.
2709
2710         * init.c: Don't resolve bind-address here.
2711
2712         * host.c (wget_sockaddr_set_address): Would bug out with ADDR == NULL.
2713
2714 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2715
2716         * host.c (lookup_host): Use sizeof(ip4_address) to calculate the
2717         offset.
2718         (address_list_new): Use map_ipv4_to_ip.
2719         (wget_sockaddr_set_address): Convert ADDR to IPv4 before using it
2720         in IPv4 context.
2721
2722 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2723
2724         * source: Integrated IPv6 support.
2725         Written by Thomas Lussnig <thomas.lussnig@bewegungsmelder.de>.
2726
2727 2002-01-15  Ian Abbott  <abbotti@mev.co.uk>
2728
2729         * init.c (cmd_file): Change `\' to `/' for Windows (yes, really!)
2730         (cmd_directory): New function. Like cmd_file(), but strips
2731         trailing directory separators.
2732         (commands): Change action for "dirprefix" from `cmd_file' to
2733         `cmd_directory'.
2734
2735         * utils.c (make_directory): Allow intermediate `mkdir' calls to
2736         fail, as not all path components that do not exist should be
2737         directory components, especially under Windows.
2738
2739 2002-01-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2740
2741         * netrc.c (parse_netrc): Skip leading whitespace before testing
2742         whether the line is empty.  Empty lines still contain the line
2743         terminator.
2744
2745 2002-01-15  Hrvoje Niksic  <hniksic@arsdigita.com>
2746
2747         * gen_sslfunc.c (ssl_iread): Call select on the file descriptor
2748         only if no data is pending in SSL buffers.
2749         From tony@bluetail.com.
2750
2751 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2752
2753         * headers.c (header_get): Strip trailing whitespace from the
2754         header.
2755
2756 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2757
2758         * url.c (parse_uname): URL-decode *USER and *PASSWD.
2759
2760 2002-01-07  Ian Abbott <abbotti@mev.co.uk>
2761
2762         * url.c (uri_merge_1): Deal with "net path" relative URL (one that
2763         starts with "//").
2764
2765 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2766
2767         * http.c (gethttp): Invalidate SOCK if get_contents encountered an
2768         error.
2769
2770 2001-12-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2771
2772         * version.c: Wget 1.8.1 is released.
2773
2774 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2775
2776         * version.c: Wget 1.8.1-pre3 is released.
2777
2778 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2779
2780         * recur.c (retrieve_tree): Enqueue the canonical representation of
2781         start_url, so that the test against dl_url_file_map works.
2782
2783 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2784
2785         * log.c (logputs): Check for requested verbosity before printing
2786         anything.
2787
2788 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2789
2790         * html-url.c (tag_handle_link): Treat the "shortcut icon" link as
2791         inline.
2792
2793 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2794
2795         * recur.c (retrieve_tree): Make a copy of file obtained from
2796         dl_url_file_map because the code calls xfree(file) later.
2797
2798 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2799
2800         * recur.c (register_html): Maintain a hash table of HTML files
2801         along with the list.  Disallow duplicates.
2802         (retrieve_tree): Use downloaded_html_set to check whether the file
2803         found in dl_url_file_map is an HTML file, and descend into it if
2804         so.
2805         (convert_all_links): Don't guard against duplicates in
2806         downloaded_html_list, since they are no longer possible.
2807
2808 2001-12-18  Ian Abbott  <abbotti@mev.co.uk>
2809
2810         * recur.c (retrieve_tree): Pass on referring URL when retrieving
2811         recursed URL.
2812
2813 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2814
2815         * version.c: Wget 1.8.1-pre2 is released.
2816
2817 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2818
2819         * retr.c (sleep_between_retrievals): Simplify indentation.
2820
2821 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2822
2823         * gen_sslfunc.c (ssl_init_prng): Use random_number to get a byte
2824         of "randomness" at a time.
2825         (ssl_init_prng): Don't seed the PRNG; random_number will do that.
2826
2827         * retr.c (sleep_between_retrievals): Use it.  Make sure that the
2828         random amount averages in opt.wait.
2829         (sleep_between_retrievals): Don't seed the PRNG; random_number
2830         will do that.
2831
2832         * utils.c (random_number): New function.
2833
2834 2001-12-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2835
2836         * url.c (path_simplify): Move here from utils.c, and make static.
2837
2838 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2839
2840         * init.c (wgetrc_file_name): Print correct message when loading
2841         getenv("WGETRC") fails.
2842
2843 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2844
2845         * recur.c (register_download): Don't abort when one URL references
2846         two different files.
2847
2848 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2849
2850         * http.c (gethttp): Check for conn->scheme, not u->scheme, before
2851         calling ssl_iwrite.
2852
2853 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2854
2855         * version.c: Wget 1.8.1-pre1 is released.
2856
2857 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2858
2859         * res.c (matches): Fix broken URL in the docstring.
2860
2861 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2862
2863         * html-url.c (tag_url_attributes): Mark <embed href=...> as
2864         external.
2865
2866 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2867
2868         * url.c (get_urls_file): Cosmetic changes.
2869
2870 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2871
2872         * html-url.c (append_one_url): Resurrect warning when unable to
2873         resolve a relative link.
2874
2875 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2876
2877         * html-url.c (collect_tags_mapper): Break into several functions.
2878         (tag_url_attributes): Collect <embed href=...>.
2879
2880 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2881
2882         * host.c: New type ipv4_address.  Use it consistently instead of
2883         `unsigned char[4]' and `unsigned char *'.
2884         (pretty_print_address): Accept a `const void *', to require even
2885         less casting.
2886
2887 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2888
2889         * ftp-ls.c (ftp_parse_vms_ls): Fix obvious memory leaks.
2890
2891 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2892
2893         * main.c (main): Initialize progress after fork_to_background, so
2894         that it knows when to use dots.
2895
2896         * mswindows.c (ws_hangup): Call log_request_redirect_output.
2897
2898         * utils.c (fork_to_background): Print the PID of the child
2899         process.
2900
2901         * log.c (log_request_redirect_output): Set a flag that output
2902         redirection has been requested.  Doing anything else in a signal
2903         handler is unsafe.
2904         (check_redirect_output): New function: check whether redirection
2905         has been requested and, if so, call redirect_output().
2906         (logputs): Call check_redirect_output.
2907         (logprintf): Ditto.
2908         (debug_logprintf): Ditto.
2909         (redirect_output): Print clearer messages.
2910
2911         * main.c (redirect_output_signal): Don't call
2912         redirect_output_signal directly.  Instead, call
2913         log_request_redirect_output.
2914
2915         * utils.c (memfatal): Ditto.
2916
2917         * progress.c (display_image): Use it.
2918
2919         * log.c (log_set_save_context): New function: allow the caller to
2920         turn off saving log context lines.
2921
2922 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2923
2924         * host.c (address_list_set_faulty): Uncomment a sanity check.
2925
2926 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2927
2928         * utils.c (long_to_string): Return a pointer after where the
2929         number ends.
2930         (long_to_string): Rename to number_to_string.
2931
2932 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2933
2934         * utils.c (path_simplify): Correctly handle the unlikely case that
2935         b starts out as path + 1.
2936
2937 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2938
2939         * utils.c (path_simplify): Rewrite, with better comments, and
2940         without the use of strcpy to move overlapping blocks.
2941
2942 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2943
2944         * init.c (cmd_spec_progress): Resurrect.  Check whether VAL is a
2945         valid progress type before setting it.
2946
2947 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2948
2949         * main.c (main): Remove stray debugging message.
2950
2951 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2952
2953         * progress.c (create_image): Fix ETA padding when hours are prined.
2954
2955 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2956
2957         * version.c: Wget 1.8 is released.
2958
2959 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2960
2961         * url.c (reencode_string): Declare static.
2962
2963         * res.c (registered_specs): Declare static.
2964
2965         * progress.c (current_impl_locked): Declare static.
2966
2967         * log.c (flush_log_p): Declare static.
2968         (needs_flushing): Ditto.
2969
2970         * http.c (digest_authentication_encode): Declare static.
2971
2972         * html-url.c (init_interesting): Declare static.
2973
2974         * host.c (host_name_addresses_map): Declare static.
2975
2976         * cookies.c (find_matching_chains): Declare static.
2977
2978         * ftp-ls.c (ftp_parse_vms_ls): Warn about the memory leak
2979         indicated by lint.
2980
2981         * utils.c (path_simplify): Remove unused variable STUB_CHAR.
2982
2983         * host.c (address_list_set_faulty): Document that INDEX is
2984         currently unused.
2985
2986         * url.c (rewrite_shorthand_url): Remove unused variable PATH.
2987
2988 2001-12-08  Hrvoje Niksic  <hniksic@arsdigita.com>
2989
2990         * version.c: Wget 1.8-pre2 is released.
2991
2992 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2993
2994         * progress.c (progress_handle_sigwinch): Set up the signal again.
2995
2996         * utils.c: Include <sys/termios.h>, where Solaris defines
2997         TIOCGWINSZ.
2998
2999         * progress.c (bar_create): Don't use the last column on the screen.
3000         (create_image): Pad ETA to constant size.  Pad SIZE to nine digits
3001         only until it exceeded them.
3002
3003 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3004
3005         * version.c: Wget 1.8-pre1 is released.
3006
3007 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3008
3009         * progress.c (progress_create): Make sure that, when the output is
3010         redirected, the progress implementation gets changed to the
3011         fallback one.
3012         (bar_set_params): Set current_impl_locked to 1 when "force" is
3013         specified.
3014         (progress_create): Don't change the progress implementation if
3015         current_impl_locked is non-zero.
3016
3017         * main.c (redirect_output_signal): Call
3018         progress_schedule_redirect.
3019
3020         * progress.c (progress_schedule_redirect): New function.
3021
3022 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3023
3024         * log.c (logvprintf): Restructure to allow being called multiple
3025         times.
3026         (logprintf): Call logvprintf in a loop.
3027         (debug_logprintf): Ditto.
3028
3029 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3030
3031         * gen_sslfunc.c (ssl_init_prng): Allow the user to disable EGD by
3032         setting egd_file it to empty string.
3033
3034         * main.c (main): Change the option name from --sslegdsock to
3035         --egd-file.
3036
3037 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3038
3039         * gen_sslfunc.c (ssl_init_prng): Make the printed message
3040         translatable.
3041
3042 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3043
3044         * url.c (scheme_disable): New function.
3045
3046         * main.c (main): Call ssl_init_prng from here rather than from
3047         init_ssl, so that it has a chance to disable support for https
3048         before a URL has been resolved.
3049
3050         * gen_sslfunc.c (ssl_init_prng): Seed with rand() if all else
3051         failed.
3052         (ssl_init_prng): Disable support for https if seeding the PRNG
3053         fails.
3054
3055 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3056
3057         * utils.c (read_whole_line): Handle lines beginning with \0.
3058
3059 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
3060
3061         * recur.c (convert_all_links): Guard against duplicates in
3062         downloaded_html_files.
3063         (register_download): Don't invalidate similar-looking URLs.
3064         (match_except_index): New function.
3065
3066 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
3067
3068         * utils.c (path_simplify): Document with test cases.
3069
3070 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
3071
3072         * gen_sslfunc.c: Ditto.
3073
3074         * rbuf.c: Include <string.h>.
3075
3076 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
3077
3078         * recur.c (retrieve_tree): Check whether the URL was already
3079         downloaded before downloading it again.
3080         (descend_child_p): Renamed to download_child_p.
3081         (register_download): When one URL is downloaded to a file already
3082         "owned" by another URL, delete all references that map any URL to
3083         that file.
3084         (register_delete_file): New function.
3085         (retrieve_tree): Use it after deleting a file.
3086
3087         * url.c (url_parse): Re-canonicalize the URL also if the path is
3088         empty, so that e.g. "http://www.server.com" ->
3089         "http://www.server.com/".
3090         (lowercase_str): Use ISUPPER instead of !ISLOWER.
3091
3092         * retr.c (retrieve_url): Use the canonical URL form when calling
3093         register_download().
3094
3095 2001-12-04  Ian Abbott <abbotti@mev.co.uk>
3096
3097         * snprintf.c (dopr): Use `unsigned int' as the second argument to
3098         va_arg when casting to `unsigned short' is intended.
3099
3100 2001-12-04  Herold Heiko  <Heiko.Herold@previnet.it>
3101
3102         * gen_sslfunc.c: on windows provide ssl crypto random 
3103           initialization through RAND_screen(); could possibly
3104           be not enough for strong ssl communication (see the 
3105           relevant manual page from the openssl package).
3106
3107 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
3108
3109         * url.c (local_quote_string): Reenable quoting of question marks,
3110         but only when `--html-extension' is used.
3111
3112 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
3113
3114         * version.c: Wget 1.8-beta3 is released.
3115
3116 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
3117
3118         * snprintf.c (dopr): Cast the result of va_arg to short int and
3119         short unsigned int where these types are expected to be used.
3120
3121 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
3122
3123         * snprintf.c (dopr): Replace `short int' and `unsigned short int'
3124         with `int' when using it as the second argument to `va_arg'.
3125
3126 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
3127
3128         * host.c (address_list_new_one): New function.
3129         (lookup_host): Use it.
3130
3131 2001-12-03  Andre Majorel  <amajorel@teaser.fr>
3132
3133         * host.c (lookup_host): Don't initialize TMPSTORE directly because
3134         it's not legal C.
3135
3136 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
3137
3138         * ftp-basic.c (ftp_port): Don't return HOSTERR if we fail getting
3139         the socket data.
3140
3141         * ftp.c: Ditto.
3142
3143         * http.c: No need to declare h_errno.
3144
3145         * host.c: Declare h_errno.
3146
3147 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3148
3149         * utils.c (file_merge): If BASE doesn't contain a slash, just
3150         return a copy of FILE.
3151
3152 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3153
3154         * version.c: Wget 1.8-beta2 is released.
3155
3156 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3157
3158         * ftp.c (getftp): When PWD fails, assume "/".
3159
3160         * ftp-basic.c (ftp_syst): Fix indentation.
3161
3162 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3163
3164         * url.c (get_urls_file): If opt.base_href is specified, merge each
3165         URL with the base.
3166
3167 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3168
3169         * main.c (print_help): Don't document the removed `-nh'.
3170
3171 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3172
3173         * url.c (url_full_path): Document better.
3174
3175         * http.c (gethttp): Use the full path when creating digest
3176         authorization.
3177
3178 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3179
3180         * cookies.c (path_matches): Return 0 if PREFIX doesn't begin with
3181         '/'.
3182
3183 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3184
3185         * cookies.c (path_matches): FULL_PATH doesn't begin with '/', but
3186         PREFIX does.
3187
3188 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3189
3190         * cookies.c (check_domain_match): Reimplement to match Netscape's
3191         "preliminary specification" for cookies.
3192
3193 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3194
3195         * url.c (replace_attr_refresh_hack): New function.
3196         (convert_links): Call replace_attr_refresh_hack for Refresh
3197         links.  It will add the "TMOUT; URL=" junk before the link.
3198
3199         * html-url.c (collect_tags_mapper): Set ID to the ID of the
3200         "content" attribute, not "http-equiv".
3201         (collect_tags_mapper): Don't use OFFSET to hack the raw_* values;
3202         instead, store the information that this entry belongs to a
3203         "refresh" link.
3204
3205 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3206
3207         * version.c: Wget 1.8-beta1 is released.
3208
3209 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3210
3211         * recur.c (retrieve_tree): Allow -p retrievals to exceed maximum
3212         depth by more than one.
3213
3214 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
3215
3216         * retr.c (retrieve_url): Don't allow more than 20 redirections.
3217
3218 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
3219
3220         * recur.c (retrieve_tree): Skip the non-inline entries when
3221         enqueuing the children of a leaf HTML node in -p mode.
3222         (descend_url_p): Ignore opt.no_parent when in -p mode and UPOS is
3223         "inline".
3224
3225         * html-url.c (get_urls_html): Don't accept dash_p_leaf_HTML.
3226         (collect_tags_mapper): When an entry is "inline", mark it as such.
3227
3228         * recur.c (descend_url_p): Fix test when checking for
3229         acceptance/rejection rules.
3230
3231 2001-10-31 Daniel BODEA <dali@dali-designs.com>
3232
3233         * netrc.c (search_netrc): When slack_default is 0, still look for
3234         an account with matching password, just not the "default account".
3235         HTTP Authorization using .netrc should now work as expected.
3236
3237 2001-11-30  T. Bharath  <TBharath@responsenetworks.com>
3238
3239         * http.c (persistent_available_p): Call SHUTDOWN_SSL if
3240         test_socket_open fails.
3241
3242 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
3243
3244         * progress.c (display_image): Just print one CR to reset the
3245         cursor position.
3246
3247 2001-11-30  Christian Fraenkel  <c.fraenkel@gmx.net>
3248
3249         * init.c: New command `ssl_egd_sock'.
3250
3251         * main.c (main): New option `--sslegdsock'.
3252
3253         * gen_sslfunc.c (ssl_init_prng): Seed the RNG using EGD.
3254
3255 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3256
3257         * cmpt.c (memmove): Include a simple memmove implementation.
3258
3259 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3260
3261         * headers: Guard against header files being included twice.
3262
3263 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3264
3265         * gen-md5.c: Use unsigned char * as the buffer argument to
3266         gen_md5_update.
3267
3268 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3269
3270         * connect.h: Declare select_fd.
3271
3272 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3273
3274         * recur.c (descend_url_p): When resolving no_parent, compare with
3275         start_url, not parent url.  Otherwise link from /a/b/ to /a/c/
3276         wouldn't be followed, although the download started from /a/.
3277
3278 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
3279
3280         * config.h.ms, mswindows.h: defined HAVE_ISATTY, use _isatty for
3281         MS VC; somebody with Borland compiler please check and provide
3282         patch if possible;
3283
3284         * cmpt.c: provided a usleep emulation.
3285
3286 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3287
3288         * host.c (address_list_new): Initialize al->faulty.
3289
3290 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3291
3292         * http.c (http_process_range): Accept the broken output of
3293         "JavaWebServer/1.1.1".
3294
3295 2001-11-28  Hrvoje Niksic  <hniksic@arsdigita.com>
3296
3297         * progress.c (dot_set_params): If PARAMS is unspecified, use
3298         dot_style, if available.
3299
3300         * init.c: Ditto.
3301
3302         * main.c (main): Resurect --dot-style.
3303
3304         * progress.c (dot_finish): Print the quantity if we're left at the
3305         beginning of a row.
3306
3307 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3308
3309         * cmpt.c (random): Removed.
3310
3311         * retr.c (sleep_between_retrievals): Use the more portable rand()
3312         instead of random().
3313
3314 2001-11-27  Ian Abbott <abbotti@mev.co.uk>
3315
3316         * retr.c (retrieve_from_file): Initialize `new_file' to NULL to
3317         prevent seg fault.
3318
3319 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3320
3321         * connect.c (connect_to_many): Use address_list_set_faulty to
3322         prevent the faulty address from being reused.
3323
3324         * host.c (address_list_set_faulty): New function.
3325         (address_list_get_bounds): New function, instead of
3326         address_list_count.
3327
3328 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3329
3330         * url.c (convert_links): Don't translate %d-%d.
3331
3332         * main.c (print_help): Remove stray HAVE_RANDOM code.
3333
3334 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3335
3336         * ftp.c (getftp): Improve output after sending PASV.  Don't
3337         attempt to "look up" the IP address we already know; call
3338         connect_to_one directly.
3339
3340 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3341
3342         * progress.c: Change the default progress implementation to "bar".
3343
3344 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3345
3346         * progress.c (bar_create): Print two newlines.
3347
3348 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3349
3350         * cmpt.c (random): New function, a simple-minded replacement for
3351         random() on systems that don't have it.
3352
3353 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3354
3355         * config.h.in: Put a HAVE_USLEEP stub.
3356
3357         * cmpt.c (usleep): Replacement implementation of usleep using
3358         select.
3359
3360         * init.c: New option init_rate.
3361
3362         * main.c (main): New option --limit-rate.
3363
3364         * retr.c (limit_bandwidth): New function.
3365         (get_contents): Call it to limit the bandwidth used when
3366         downloading.
3367
3368         * progress.c (dot_update): Would print the wrong download speed on
3369         rows other than the first one when the download was continued.
3370         (dot_finish): Ditto.
3371
3372 2001-11-26  Ian Abbott <abbotti@mev.co.uk>
3373
3374         * http.c (gethttp): fix undeclared variable 'err' when compiled
3375         with HAVE_SSL.
3376
3377 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3378
3379         * progress.c: Don't allocate new timers; use the timing data
3380         propagated from the caller.
3381
3382         * retr.c (get_contents): Allocate and use a timer.
3383
3384 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3385
3386         * http.c (last_host_ip): Made into an address_list.
3387         (invalidate_persistent): Release pc_last_host_ip.
3388         (register_persistent): Use lookup_host.
3389         (persistent_available_p): Check for equality of hosts using
3390         address_list_match_all.  Call address_list_release.
3391         (http_cleanup): New function.
3392
3393         * ftp.c (getftp): Use lookup_host and connect_to_many.
3394
3395         * http.c (gethttp): Use lookup_host and connect_to_many.
3396
3397         * connect.c (make_connection): Removed.
3398         (connect_to_one): New function.
3399         (connect_to_many): Ditto.
3400         (set_connection_host_name): Ditto.
3401
3402         * host.c (lookup_host): New function; new return type.
3403         (address_list_new): New function.
3404         (address_list_count): Ditto.
3405         (address_list_copy_one): Ditto.
3406         (address_list_delete): Ditto.
3407         (address_list_release): Ditto.
3408         (pretty_print_address): Ditto.
3409
3410 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3411
3412         * recur.c (retrieve_tree): In case of followed redirection,
3413         blacklist the pre-redirection URL.
3414
3415 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3416
3417         * recur.c (descend_redirect_p): New function.
3418         (retrieve_tree): Make sure redirections are not blindly followed.
3419
3420 2001-11-04  Alan Eldridge  <alane@geeksrus.net>
3421
3422         * config.h.in: added HAVE_RANDOM.
3423
3424         * options.h: added random_wait to struct options.
3425
3426         * main.c (print_help [HAVE_RANDOM], main): added arg parsing, help
3427         for --random-wait.
3428
3429         * retr.c (sleep_between_retrievals) [HAVE_RANDOM]: added
3430         implementation of random wait times.
3431
3432         * init.c (commands): added "randomwait" keyword.
3433
3434 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3435
3436         * recur.c (descend_url_p): Be more conservative with blacklisting
3437         URLs.
3438         (convert_all_links): Print how many files have been converted, and
3439         how long it took.
3440
3441         * progress.c (create_image): Place the number of downloaded bytes
3442         right after the progress bar.
3443
3444         * utils.c (suffix): Return a pointer into the string.
3445
3446 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3447
3448         * url.c (convert_links): Handle CO_NULLIFY_BASE.
3449
3450         * recur.c (retrieve_tree): Ignore download-ignorable children.
3451         (convert_all_links): Specify CO_NULLIFY_BASE when link_base_p.
3452
3453         * html-url.c (handle_link): Return the newly created urlpos.
3454         (collect_tags_mapper): When dealing with BASE, store the base
3455         reference and mark it as download-ignorable.
3456
3457 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3458
3459         * url.c (convert_links): Attempt to quote '?' as "%3F" when
3460         linking to local files.  Given up on the attempt, as it breaks
3461         local browsing.
3462
3463 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3464
3465         * main.c (private_initialize): Removed.
3466         (main): Don't call private_initialize.
3467
3468         * http.c: Call lookup_host.
3469
3470         * host.c (host_init): Removed.
3471         (add_host_to_cache): Initialize host_name_address_map here, on
3472         demand.
3473         (ngethostbyname): Commented out.
3474
3475         * connect.c (make_connection): Remove dead code; use lookup_host.
3476
3477         * host.c (store_hostaddress): Renamed to lookup_host and reversed
3478         the args.
3479         Removed host_address_name_map and host_slave_master_map.
3480
3481 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3482
3483         * progress.c (dot_create): Align the "[ skipping ... ]" string
3484         with the dots.
3485
3486         * retr.c (rate): Split into two functions: calc_rate and
3487         retr_rate.
3488
3489         * progress.c (create_image): Draw a dummy progress bar even when
3490         total size is unknown.
3491         (display_image): Place the text cursor at the end of the "image".
3492
3493 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3494
3495         * url.c (reencode_string): Use unsigned char, not char --
3496         otherwise the hex digits come out wrong for 8-bit chars such as
3497         nbsp.
3498         (lowercase_str): New function.
3499         (url_parse): Canonicalize u->url if needed.
3500         (get_urls_file): Parse each URL, and return only the valid ones.
3501         (free_urlpos): Call url_free.
3502         (mkstruct): Add :port if the port is non-standard.
3503         (mkstruct): Append the query string to the file name, if any.
3504         (urlpath_length): Use strpbrk_or_eos.
3505         (uri_merge_1): Handle the cases where LINK is an empty string,
3506         where LINK consists only of query, and where LINK consists only of
3507         fragment.
3508         (convert_links): Count and report both kinds of conversion.
3509         (downloaded_file): Use a hash table, not a list.
3510         (downloaded_files_free): Free the hash table.
3511
3512         * retr.c (retrieve_from_file): Ditto.
3513
3514         * main.c (main): Call either retrieve_url or retrieve_tree
3515         for each URL, not both.
3516
3517         * retr.c (register_all_redirections): New function.
3518         (register_redirections_mapper): Ditto.
3519         (retrieve_url): Register the redirections.
3520         (retrieve_url): Make the string "Error parsing proxy ..." 
3521         translatable.
3522
3523         * res.c (add_path): Strip leading slash from robots.txt paths so
3524         that the path representations are "compatible".
3525         (free_specs): Free each individual path, too.
3526         (res_cleanup): New function.
3527         (cleanup_hash_table_mapper): Ditto.
3528
3529         * recur.c (url_queue_new): New function.
3530         (url_queue_delete): Ditto.
3531         (url_enqueue): Ditto.
3532         (url_dequeue): Ditto.
3533         (retrieve_tree): New function, replacement for recursive_retrieve.
3534         (descend_url_p): New function.
3535         (register_redirection): New function.
3536
3537         * progress.c (create_image): Cosmetic changes.
3538
3539         * init.c (cleanup): Do all those complex cleanups only if
3540         DEBUG_MALLOC is defined.
3541
3542         * main.c: Removed --simple-check and the corresponding
3543         simple_host_check in init.c.
3544
3545         * html-url.c (handle_link): Parse the URL here, and propagate the
3546         parsed URL to the caller, who would otherwise have to parse it
3547         again.
3548
3549         * host.c (xstrdup_lower): Moved to utils.c.
3550         (realhost): Removed.
3551         (same_host): Ditto.
3552
3553 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3554
3555         * utils.c (path_simplify): Preserver the (non-)existence of
3556         leading slash.  Return non-zero if changes were made.
3557
3558 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3559
3560         * progress.c (bar_update): Don't modify bp->total_length if it is
3561         zero.
3562
3563 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3564
3565         * retr.c (retrieve_url): When the redirection URL doesn't parse,
3566         print the correct error message rather than "UNKNOWN".
3567
3568 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3569
3570         * progress.c (bar_finish): If the timer didn't record any time
3571         since the download beginning, fake 1ms.
3572
3573 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3574
3575         * recur.c (recursive_retrieve): Fix typo.
3576
3577 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
3578
3579         * progress.c (create_image): Don't translate "%ld ".
3580
3581 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
3582
3583         * progress.c (bar_set_params): Allow the user to force the use of
3584         the bar.
3585
3586 2001-11-23  Lemble Gregory  <gregory.lemble@st.com>
3587
3588         * gen_sslfunc.c (ssl_init_prng): New function; seed the SSL RNG.
3589
3590 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
3591
3592         * progress.c: Renamed dp_* functions to dot_* for greater clarity
3593         and consistency with bar_*.
3594         (print_download_speed): Get rid of the unneeded '@' character.
3595         (create_image): Fix download rate geometry.
3596
3597         * progress.c (print_elapsed): Remove spurious space.
3598         (print_elapsed): Renamed to print_download_speed, since that's
3599         what it does.
3600
3601 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
3602
3603         * progress.c (bar_update): If the downloaded amount becomes larger
3604         than the expected amount, adjust the expected amount accordingly.
3605
3606 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
3607
3608         * utils.c (determine_screen_width): New function.
3609
3610         * main.c (main): New option `--progress=TYPE'.
3611         (main): Implement compatibility with the old option `--dot-style'.
3612
3613         * init.c: Removed cmd_spec_dotstyle -- that logic is now in
3614         dp_set_params.
3615         (cmd_spec_progress): New function.
3616
3617         * retr.c (get_contents): Use the progress_* functions instead of
3618         the old show_progress().
3619         (show_progress): Removed.
3620         (rate): Print "xxxx.xx K/s" instead of "KB/s".  Ditto for MB/s,
3621         etc.
3622
3623         * progress.c (set_progress_implementation): New function.
3624         (valid_progress_implementation_p): Ditto.
3625         (progress_create): Ditto.
3626         (progress_update): Ditto.
3627         (progress_finish): Ditto.
3628         (dp_create): Ditto.
3629         (dp_update): Ditto.
3630         (dp_finish): Ditto.
3631         (dp_set_params): Ditto.
3632         (print_elapsed): Ditto.
3633
3634 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
3635
3636         * retr.c (show_progress): Use it.
3637
3638         * log.c (log_set_flush): New function.
3639
3640 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
3641
3642         * utils.c (path_simplify): Don't remove trailing slashes.
3643
3644         * ftp.c (ftp_get_listing): Use it.
3645
3646         * utils.c (file_merge): New function.
3647
3648         * url.c (opt_url): Removed.
3649
3650         * recur.c (recursive_retrieve): Inline "opt_url" logic.
3651
3652         * main.c (main): Use xfree(), not free().
3653
3654         * url.c (rewrite_url_maybe): Renamed to rewrite_shorthand_url.
3655
3656         * ftp.c (ccon): Move `ccon' typedef here, since it's only used
3657         internally.
3658
3659         * config.h.in: Include a stub for HAVE_STRPBRK.
3660
3661         * cmpt.c (strpbrk): Include a replacement for systems without
3662         strpbrk().
3663
3664         * ftp.c: Use url_set_dir and url_set_file when modifying the URL.
3665
3666         * url.c (url_set_dir): New function.
3667         (url_set_file): Ditto.
3668
3669         * ftp-basic.c (ftp_process_type): Process FTP type here; the URL
3670         parser makes the URL "params" available, so we can do that in this
3671         function.
3672
3673         * retr.c: Ditto.
3674
3675         * ftp.c: Ditto; pass the local file information in `ccon'.
3676
3677         * http.c: Get rid of the ugly kludge that had URL being replaced
3678         with the proxy URL when proxy retrieval was requested.  Use a
3679         separate parameter to http_loop and gethttp for the proxy URL.
3680
3681         * http.c: Changed to reflect the fact that local file, proxy, and
3682         referer information are no longer stored in struct url.  The local
3683         file information is passed in `struct hstat' now.
3684
3685         * url.c: Reworked URL parsing to be more regular.  Reencode the
3686         URL using reencode_string.
3687         Removed non-URL-related information from struct url.  This
3688         includes fields `proxy', `local', and `referer'.
3689
3690 2001-11-22  Jochen Hein  <jochen@jochen.org>
3691
3692         * main.c (main): Split the copyright notice for easier
3693         translation.
3694
3695 2001-08-21  Dave Turner <dct25@hermes.cam.ac.uk>
3696
3697         * ftp-basic.c (ftp_size): New function to send non-standard SIZE
3698           command to server to request file size.
3699         * ftp.h (ftp_size): Export it.
3700         * ftp.c (getftp): Use new ftp_size function if restoring
3701           transfer of a file with unknown size.
3702
3703 2001-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
3704
3705         * url.c (parseurl): Don't depend on the now-obsolete TYPE.
3706
3707 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3708
3709         * url.c (getproxy): Handle URL shorthands.
3710
3711 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3712
3713         * main.c: Remove --wait / --waitretry backwards compatibility
3714         code.
3715         
3716 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3717
3718         * main.c (main): Use it.
3719
3720         * url.c (rewrite_url_maybe): New function.
3721
3722 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3723
3724         * url.c: Clean up handling of URL schemes.
3725
3726 2001-05-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3727
3728         * url.c: Get rid of `protostrings'.
3729         (skip_proto): Don't use protostrings.
3730         (has_proto): Ditto.
3731
3732 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3733
3734         * Makefile.in: Conditionally compile getopt.o.
3735
3736 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3737
3738         * md5.h: Renamed to gnu-md5.h.
3739
3740         * md5.c: Renamed to gnu-md5.c.
3741
3742         * http.c: Ditto.
3743
3744         * ftp-opie.c: Use the new macros.
3745
3746         * sysdep.h: Define md5-related macros.
3747
3748         * config.h.in: Define HAVE_SOLARIS_MD5 or HAVE_BUILTIN_MD5
3749         depending on which md5 implementation is used.
3750
3751 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3752
3753         * res.c (res_register_specs): Initialize OLD and HP_OLD to appease
3754         the compiler.
3755
3756 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3757
3758         * http.c (gethttp): Print the whole response line when printing
3759         headers is requested.
3760
3761 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3762
3763         * res.c: New file.  Implement all RES-related code here.
3764
3765 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3766
3767         * version.c: Wget 1.7.1 is released.
3768
3769 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
3770
3771         * headers.c (header_extract_number): Ignore trailing whitespace.
3772
3773 2001-08-24  Ian Abbott  <abbotti@mev.co.uk>
3774
3775         * html-url.c (collect_tags_mapper): Fix bug converting links
3776         with -k option for tags with multiple link attributes by
3777         handling links in the order they appear.
3778
3779 2001-08-15  Ian Abbott  <abbotti@mev.co.uk>
3780
3781         * ftp.c (ftp_loop_internal): Avoid a potential buffer overflow in
3782           the call to the 'rate' function by moving it past the error
3783           checking for the 'getftp' function return value.
3784
3785 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
3786
3787         * html-parse.c (advance_declaration): Use 0x22 instead of '"' or
3788         '\"'.  Different compilers' assert macros are broken in different
3789         ways.
3790
3791 2001-09-29  Christian Fraenkel  <c.fraenkel@gmx.net>
3792
3793         * http.c (gethttp): print debug output for errors occuring during
3794         the ssl handshake.
3795
3796 2001-11-16  Chris Seawood  <cls@seawood.org>
3797
3798         * init.c: Ditto.
3799
3800         * host.c: Ditto.
3801
3802         * connect.c: Ditto.
3803
3804         * sysdep.h: Support compilation under BEOS.
3805
3806 2001-06-08  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
3807
3808         * url.c (url_equal): Fix a memory leak when parseurl returns an
3809         error on the second URL. Also, since url_equal is not used at the
3810         moment, do not compile it.
3811
3812         * url.h: Ditto for the prototype of url_equal.
3813
3814 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
3815
3816         * html-parse.c (map_html_tags): Support XML-style empty tags.
3817
3818 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3819
3820         * wget.h (DO_REALLOC_FROM_ALLOCA): Check for do_realloc_newsize in
3821         loop condition because we're no longer setting SIZEVAR here.
3822
3823 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3824
3825         * wget.h (DO_REALLOC_FROM_ALLOCA): Set SIZEVAR after the memcpy()
3826         call because it needs the old value.
3827
3828 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3829
3830         * cookies.c (ATTR_NAME_CHAR): Allow almost any character to be in
3831         an attribute name.
3832
3833 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3834
3835         * url.c (url_filename): Make sure that slashes that sneak in to
3836         u->file via query string get protected.
3837         (file_name_protect_query_string): New function.
3838
3839 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3840
3841         * recur.c (recursive_retrieve): Also check undesirable_urls with
3842         canonicalized URL.
3843
3844 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3845
3846         * http.c (gethttp): Search `.netrc' with real host, not the proxy
3847         one.
3848
3849 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3850
3851         * sysdep.h (MAP_FAILED): Provide MAP_FAILED for systems that don't
3852         define it.
3853
3854 2001-06-09  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3855
3856         * ftp.h: Provide correct prototype for ftp_parse_ls().
3857
3858 2001-06-04  Hrvoje Niksic  <hniksic@arsdigita.com>
3859
3860         * version.c: Wget 1.7 is released.
3861
3862 2001-06-03  Karl Eichwalder  <ke@suse.de>
3863
3864         * ftp-ls.c (ftp_parse_ls): Fix typo.
3865
3866 2001-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3867
3868         * all: Update copyright information.
3869
3870 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3871
3872         * http.c (gethttp): Indicate that the continued download failed
3873         for *this* file.
3874
3875 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3876
3877         * version.c: Wget 1.7-pre1 is released.
3878
3879 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3880
3881         * version.c: Updated version to 1.7-pre1.
3882
3883 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3884
3885         * gen_sslfunc.c: Don't include <sys/time.h> directly.
3886
3887 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3888
3889         * http.c (gethttp): Use real URL data for cookies, not the proxy
3890         stuff.
3891
3892 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3893
3894         * main.c (print_help): Document `--no-http-keep-alive'.
3895
3896         * utils.c (numdigit): Handle negative numbers *correctly*.
3897
3898         * hash.c (make_nocase_string_hash_table): Use term "nocase" rather
3899         than the confusing "unsigned".
3900
3901         * utils.c (string_set_contains): Renamed from string_set_exists.
3902
3903         * hash.c (hash_table_contains): Renamed from hash_table_exists.
3904
3905         * cookies.c: Move case-insensitive hash tables to hash.c.
3906
3907 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3908
3909         * http.c (gethttp): Before concluding that the file is already
3910         fully retrieved, make sure that the file existed and `Range' was
3911         actually requested.
3912
3913 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3914
3915         * cookies.c (eliminate_dups): New function.
3916         (build_cookies_request): Use it.
3917         (build_cookies_request): Set chain_store_size after reallocating
3918         all_chains.
3919         (check_domain_match): Annotated for easier future debugging.
3920         (store_cookie): In the debug message, print whether the cookie is
3921         permanent.
3922
3923 2001-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3924
3925         * http.c (http_loop): Reset no_truncate before deciding whether to
3926         set it.
3927         (gethttp): Further clarify "-c conflicts with existing file" error
3928         message, based on input from Herold Heiko.
3929
3930 2001-05-07  Hrvoje Niksic  <hniksic@arsdigita.com>
3931
3932         * http.c (http_loop): If restval is set, set no_truncate to 1
3933         unconditionally.
3934
3935 2001-05-02  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3936
3937         * ftp-ls.c (ftp_parse_winnt_ls): Assure months are being correctly
3938         converted. Pointed out by <Stefan.Weil@de.heidelberg.com>.
3939         (ftp_parse_vms_ls): Ditto.
3940
3941 2001-04-30  Hrvoje Niksic  <hniksic@arsdigita.com>
3942
3943         * init.c (cmd_address): Zero SIN before using it; apparently
3944         needed on *BSD.
3945
3946 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3947
3948         * ftp.c (ftp_loop_internal): Don't set NO_TRUNCATE if the file is
3949         empty.
3950
3951 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3952
3953         * main.c (main): Make `--cookies' respect its argument.
3954
3955 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
3956
3957         * main.c (main): Removed undocumented option `--email-address'.
3958
3959         * netrc.c: Use the latest read_whole_line.
3960
3961         * init.c (defaults): Set opt.ftp_pass to "-wget@".
3962
3963         * mswindows.c (pwd_cuserid): Ditto.
3964
3965         * utils.c (pwd_cuserid): Removed.
3966
3967         * host.c (ftp_getaddress): Removed.
3968
3969 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
3970
3971         (http_loop): Allocate space for filename_plus_orig_suffix with
3972         alloca; this is more efficient and removes the need to free it
3973         before each and every return.
3974
3975 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
3976
3977         * http.c (gethttp): Return RETRUNNEEDED when the retrieval is
3978         unneeded because the file is already there and fully downloaded,
3979         and -c is specified.
3980         (http_loop): Handle RETRUNNEEDED.
3981
3982         * wget.h (uerr_t): New value RETRUNNEEDED.
3983
3984         * http.c (http_loop): Set no_truncate for files that both exist
3985         and are non-empty.
3986         (gethttp): Consider the download finished when restval >= contlen,
3987         not only when restval==contlen.
3988         (gethttp): Handle redirection before giving up due to -c.
3989         (gethttp): Clarify error message which explains that -c will not
3990         truncate the file.
3991         (gethttp): When returning CONTNOTSUPPORTED, don't forget to free
3992         the stuff that needs freeing and release the socket.
3993
3994 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3995
3996         * main.c (print_help): Wget booleans accept "off", not "no".
3997
3998 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3999
4000         * http.c (http_loop): If allow_cache is zero, always disable
4001         caching, not only when retrieving through proxy.
4002
4003         * init.c: Ditto.
4004
4005         * options.h (struct options): Rename proxy_cache to allow_cache.
4006
4007 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4008
4009         * http.c (mktime_from_utc): Improve documentation.
4010         (http_atotm): Put format strings into a separate array.
4011
4012 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4013
4014         * safe-ctype.h: Instead of throwing #error when isalpha is
4015         defined, redefine it to something that will throw a compile-time
4016         error if actually *used*.  Do the same for the rest of the
4017         standard C macros.
4018
4019 2001-04-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4020
4021         * url.c (getproxy): Ignore empty proxy vars.
4022
4023 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4024
4025         * http.c (http_loop): Would load cookies every time.
4026
4027         * cookies.c (load_cookies): Handle cookies whose values contain
4028         embedded spaces.
4029
4030 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4031
4032         * utils.c: Define each DIGITS_* in one line.
4033
4034 2001-04-25  Roger L. Beeman  <beeman@cisco.com>
4035
4036         * http.c (http_atotm): Initialize t.tm_isdst to 0.
4037         (mktime_from_utc): Prevent mktime() from having discontinuities at
4038         DST transition points.
4039
4040 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4041
4042         * html-url.c (get_urls_html): Fix documentation.
4043
4044 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4045
4046         * url.c (UNSAFE_CHAR): Reimplement using a static table.
4047         (url_init): Removed.
4048         (init_unsafe_char_table): Removed.
4049
4050 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4051
4052         * snprintf.c (dopr): Replace ISDIGIT with '0' <= ch && ch <= '9'.
4053
4054 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4055
4056         * utils.c: Document timer functions.
4057
4058         * retr.c (rate): Use it.
4059         (rate): Print in GB/s if transfer rate exceeds 1 GB/s.
4060
4061         * utils.c (wtimer_granularity): New function.
4062
4063 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4064
4065         * retr.c (show_progress): Ditto.
4066
4067         * ftp.c (getftp): Ditto.
4068
4069         * http.c (gethttp): Use new timer functions.
4070
4071         * utils.c (wtimer_allocate): New function.
4072         (wtimer_new): Ditto.
4073         (wtimer_delete): Ditto.
4074         (wtimer_reset): Ditto.
4075         (wtimer_elapsed): Ditto.
4076
4077 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4078
4079         * utils.c (long_to_string): New, faster version.  Favors smaller
4080         numbers; much of the calculation is now done at compile-time.
4081
4082 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4083
4084         * utils.c (numdigit): Handle negative numbers.
4085
4086 2001-04-23  Hrvoje Niksic  <hniksic@arsdigita.com>
4087
4088         * retr.c (show_progress): Print the download rate even when the
4089         percentages are not available.
4090
4091 2001-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
4092
4093         * ftp.c (getftp): Adjust expected_bytes if the length is
4094         authoritative.
4095
4096 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4097
4098         * url.c: Don't declare `construct'.
4099
4100         * hash.c (grow_hash_table): Speed up rehashing; inline storing of
4101         mappings to new locations.
4102         (hash_table_new): Make resize_threshold a field in the hash table,
4103         so we don't have to recalculate it in each hash_table_put.
4104         (grow_hash_table): Update resize_threshold.
4105         (MAX): Remove unused macro.
4106         (prime_size): Made static.
4107
4108 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4109
4110         * retr.c (retrieve_url): Call uri_merge, not url_concat.
4111
4112         * html-url.c (collect_tags_mapper): Call uri_merge, not
4113         url_concat.
4114
4115         * url.c (mkstruct): Use encode_string instead of xstrdup followed
4116         by URL_CLEANSE.
4117         (path_simplify_with_kludge): Deleted.
4118         (contains_unsafe): Deleted.
4119         (construct): Renamed to uri_merge_1.
4120         (url_concat): Renamed to uri_merge.
4121
4122 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4123
4124         * url.c (str_url): Use encode_string instead of the unnecessary
4125         CLEANDUP.
4126         (encode_string_maybe): New function, returns input string if no
4127         encoding is needed.
4128         (encode_string): Call encode_string_maybe to do the dirty work,
4129         xstrdup if no work needed.
4130
4131 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4132
4133         * wget.h (XDIGIT_TO_xchar): Define here.
4134
4135         * url.c (decode_string): Use new name.
4136         (encode_string): Ditto.
4137
4138         * http.c (XDIGIT_TO_xchar): Rename HEXD2asc to XDIGIT_TO_xchar.
4139         (dump_hash): Use new name.
4140
4141         * wget.h: Rename ASC2HEXD and HEXD2ASC to XCHAR_TO_XDIGIT and
4142         XDIGIT_TO_XCHAR respectively.
4143
4144 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4145
4146         * init.c: Include cookies.h.
4147
4148         * cookies.h: Declare cookies_cleanup.
4149
4150         * cookies.c (check_domain_match): Remove unused variable.
4151         (save_cookies): Remove extraneous argument from debug statement.
4152
4153         * host.c (same_host): Don't call skip_url.
4154
4155         * url.c (skip_url): Removed.  Removed its calls from various
4156         functions in url.c.
4157
4158 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4159
4160         * cookies.c (unsigned_string_hash): Use the new code in
4161         string_hash as reference.
4162
4163         * hash.c (hash_table_map): Allow deletion and change of the
4164         element processed by MAPFUN.
4165         (string_hash): Use the function from glib.
4166
4167 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4168
4169         * config.h.in: Include #undef stub.
4170
4171         * hash.c (hash_table_remove): Rewrite to actually clear deleted
4172         entries instead of just marking them as deleted.
4173
4174 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4175
4176         * hash.h: Declare hash_table_get_pair and hash_table_count.
4177
4178 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4179
4180         * cookies.c: Declare http_atotm.
4181
4182 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4183
4184         * ftp-ls.c (ftp_parse_unix_ls): Use octal constants for
4185         permissions.  A compiler that doesn't accept octal constants is
4186         seriously broken and shouldn't be used -- octal constants were
4187         present in K&R C!
4188
4189 2001-01-20  Karl Eichwalder  <ke@suse.de>
4190
4191         * Makefile.in: Provide and use DESTDIR according to the Coding
4192         Standards.
4193
4194 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4195
4196         * ftp-ls.c (ftp_parse_vms_ls): Make seconds optional in time
4197         specification.
4198
4199 2001-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4200
4201         * url.c (parseurl): Don't strip trailing slash when u->dir is "/"
4202         because that strips the *leading* slash, thus forcing relative
4203         FTP retrieval.
4204
4205 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4206
4207         * ftp.c (getftp): Convert initial FTP directory from VMS to UNIX
4208         notation for VMS servers. 
4209         (ftp_retrieve_dirs): Do not prepend '/' to f->name when
4210         odir is an empty string.
4211
4212 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4213
4214         * ftp-ls.c (ftp_parse_winnt_ls): Made the fix for AM/PM more
4215         effective. Suggested by Edward J. Sabol.
4216
4217 2001-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4218
4219         * cookies.c (build_cookies_request): Use and sort cookies from all
4220         matching domains.
4221         (build_cookies_request): Check for duplicates before generating
4222         the `Cookies' header.
4223
4224         * main.c (main): Don't load cookies here.
4225         (main): Make loadcookies and savecookies call the correct command.
4226
4227         * http.c (http_loop): Load cookies on-demand.
4228
4229 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4230
4231         * http.c (gethttp): Fix indentation of SSL ifdef.
4232
4233 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4234
4235         * ftp.c (ftp_retrieve_dirs): Don't forcibly prepend "/" to u->dir;
4236         that hack is no longer necessary.
4237         (getftp): Prepend initial directory to *non*-absolute u->dir's.
4238
4239 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4240
4241         * init.c (cmd_file): New function.
4242         (enable_tilde_expansion): New variable.
4243         (run_wgetrc): Use it.
4244         (cmd_file): Use it.
4245
4246 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
4247
4248         * init.c: Include cookie-related options.
4249
4250         * main.c (main): Include cookie-specific options.
4251         (main): Load cookies before download is finished.
4252         (main): Save cookies when done.
4253
4254         * http.c (gethttp): Process the `Set-Cookie' header.
4255         (gethttp): Include cookies in the response.
4256
4257         * cookies.c: New file.
4258
4259 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
4260
4261         * utils.c (datetime_str): New function.
4262
4263 2001-04-08  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4264
4265         * ftp-ls.c (ftp_parse_winnt_ls): The AM/PM change did assume
4266         12:01PM == 00:01, which was obviously wrong. Taken care of this
4267         anomaly.
4268
4269         * ChangeLog: Removed an excess conflict marker. Reformatted the
4270         entry by Philipp Thomas from 2001-03-09.
4271
4272         * ftp-ls.c (ftp_parse_winnt_ls): Ensure that adjusted PM hours lay
4273         between 0 and 23. Elminate unused variable `sec'.
4274
4275 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
4276
4277         * hash.c (hash_table_count): New function.
4278
4279 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4280
4281         * utils.c (read_file): Cast MAP_FAILED to char *.  Enforced by
4282         Digital Unix cc.
4283
4284 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4285
4286         * config.h.in: Oops, do the namespace tweaks only on systems we
4287         know about.
4288
4289 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4290
4291         * hash.c: Include <string.h>.
4292
4293 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4294
4295         * config.h.in: Define "compilation environment" options that work
4296         under Linux and Solaris.  To be reviewed on other OS'es.
4297
4298 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4299
4300         * http.c (gethttp): Prepend literal newline with `\n\'.
4301
4302 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4303
4304         * sysdep.h: Don't define VERY_LONG_FORMAT.
4305
4306         * utils.c (very_long_to_string): New function.
4307         (legible_very_long): Use it; don't use VERY_LONG_FORMAT.
4308
4309 2001-04-04  Christian Fraenkel  <christian.fraenkel@gmx.net>
4310
4311         * url.c (parse_uname): Would run past the end of the string if the
4312         username was present, but the URL did not contain a slash, e.g.
4313         http://foo:bar@myhost.
4314
4315 2001-04-03  KOJIMA Hajime  <kjm@rins.ryukoku.ac.jp>
4316
4317         * http.c (http_atotm): Use %A instead of %a to match full
4318         weekday.  (On most systems there is no difference.)
4319
4320 2001-04-03  Paul Bludov  <paul@ozero.net>
4321
4322         * mswindows.c (sleep): Use SleepEx() instead of Sleep().
4323         (ws_changetitle): Use alloca() instead of malloc() to avoid memory
4324         leak.
4325         (ws_mypath): Use GetModuleFileName instead of argv[0].
4326         (ws_startup): Use data.wVersion for comparison.
4327
4328 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4329
4330         * http.c (http_loop): Ditto.
4331
4332         * ftp.c (ftp_loop_internal): Made the check whether to continue
4333         retrieval `-O'-friendly.
4334
4335 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4336
4337         * netrc.c (parse_netrc): Don't trim the line endings explicitly;
4338         they will be handled as whitespace.
4339         (parse_netrc): Correctly handle lines that end with whitespace.
4340
4341 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4342
4343         * retr.c (retrieve_url): New variable global_download_count used
4344         to identify first retrieval.
4345
4346         * ftp.c (getftp): Ditto.
4347
4348         * http.c (gethttp): Rewind opt.dfp only on first retrieval.
4349
4350 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4351
4352         * init.c (cmd_address): Heap-allocate the address that gets stored
4353         to CLOSURE.  Old code would simply assign an address on the stack.
4354
4355 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
4356
4357         * ftp.c (ftp_get_listing): Propagate error status.
4358         (ftp_retrieve_glob): Use it.
4359         (ftp_loop): Ditto.
4360
4361 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
4362
4363         * main.c (main): Add -C to the string that is the third arg to
4364         getopt_long().
4365
4366 2001-04-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4367
4368         * ftp.c (getftp): Don't start the download from scratch if `-c'
4369         was specified, but the file is already fully downloaded.
4370
4371         * http.c (gethttp): Don't truncate a pre-existing file if `-c' was
4372         specified and the server doesn't support continued download.
4373         (gethttp): Don't start the download from scratch if `-c' was
4374         specified, but the file is already fully downloaded.
4375
4376 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
4377
4378         (recursive_retrieve): Don't clear the hash tables at this point at
4379         all; it interferes with the normal operation of register_download.
4380
4381 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
4382
4383         * recur.c (recursive_retrieve): Clear the hash tables only when
4384         they are defined.
4385
4386 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
4387
4388         * http.c (gethttp): Make sure the socket is closed with
4389         CLOSE_INVALIDATE before we have drained the body.
4390
4391 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
4392
4393         * retr.c (retrieve_url): Call register_download() for downloaded
4394         files and register_html() for downloaded HTML files.
4395
4396         * recur.c (register_download): New function; register here that a
4397         file has been downloaded, rather than in recursive_retrieve().
4398         (register_html): New function; enqueue the location of HTML files
4399         here rather than in recursive_retrieve().
4400
4401 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
4402
4403         * main.c (print_help): Use multiple fputs instead of a single ugly
4404         printf().
4405         (main): Consistently assign numbers >128 to options without a
4406         corresponding character.
4407
4408 2001-03-09  Philipp Thomas  <pthomas@suse.de>
4409
4410         * safe-ctype.h: New file. Locale independent ctype.h replacement
4411         taken from libiberty.
4412
4413         * safe-ctype.c: New file. Tables for above.
4414
4415         * Makefile.in: Add safe-ctype$o to OBJS.  Add dependencies for
4416         safe-ctype$o.
4417
4418         * cmpt.c: Remove include of ctype.h. Use ISSPACE instead of
4419         isspace.
4420
4421         * ftp-basic.c: Don't include ctype.h.
4422
4423         * ftp-ls.c: Likewise.
4424
4425         * ftp.c: Likewise.
4426
4427         * headers.c: Likewise.
4428
4429         * host.c: Likewise.
4430
4431         * html-parse.c: Likewise.
4432
4433         * html-url.c: Likewise.
4434
4435         * http.c: Likewise.
4436
4437         * init.c: Likewise.
4438
4439         * main.c: Likewise. Set LC_CTYPE along with LC_MESSAGES.
4440
4441         * netrc.c: Likewise.
4442
4443         * recur.c: Likewise.
4444
4445         * retr.c: Likewise.
4446
4447         * snprintf.c: Replace ctype.h with safe-ctype.h. Use ISDIGIT
4448         instead of isdigit.
4449
4450         * sysdep.h: Remove defines of ctype macros as they aren't needed
4451         for safe-ctype-h.
4452
4453         * url.c: Don't include ctype.h.
4454
4455         * utils.c: Likewise.
4456
4457         * wget.h: Include safe-ctype.h.
4458
4459 2001-03-27  Dan Harkless  <wget@harkless.org>
4460
4461         * Makefile.in: Moved top_builddir out of "User configuration
4462         section" of top Makefile and analogous spot in this one.
4463
4464 2001-03-17  Dan Harkless  <wget@harkless.org>
4465
4466         * Makefile.in: Include @SSL_INCLUDES@ substition in INCLUDES.
4467         Define top_builddir.  Link wget with libtool so the user doesn't
4468         have to supply a bunch of custom environment variables to 
4469         correctly link with the OpenSSL shared libraries.
4470
4471 2001-03-06  Hack Kampbjorn  <hack@hackdata.com>
4472
4473         * http.c (gethttp): skip :port in host header if it is the
4474         DEFAULT_HTTPS_PORT when using SSL.
4475
4476         * url.c: move the #define of DEFAULT_HTTP_PORT, DEFAULT_FTP_PORT
4477         and DEFAULT_HTTPS_PORT to the header file so it can be use in the
4478         rest of the code. 
4479         * url.h: Ditto
4480
4481 2001-03-01  Jonas Jensen  <bones@huleboer.dk>
4482
4483         * retr.c (show_progress): Correctly calculate the number of bytes
4484         in the first line of the download that have been actually
4485         downloaded in this run.
4486
4487 2001-02-23  Dan Harkless  <wget@harkless.org>
4488
4489         * main.c (print_help): --help documentation for -N said it would
4490         re-download files if they had the _same_ timestamp on server.
4491         (print_help): -nr belongs in "FTP options" section of --help
4492         output, not "Recursive retrieval" section.  Alphabetized FTP
4493         options by long option name.
4494
4495 2001-02-16  Dan Harkless  <wget@harkless.org>
4496
4497         * init.c (commands): Hack Kampbjørn <hack@hackdata.com> discovered
4498         that "httpsproxy" had been inserted into commands[] out of
4499         alphabetical order, causing "BUG: unknown command `httpuser'".
4500
4501 2001-02-13  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4502
4503         * ftp-ls.c (ftp_parse_ls): Added support of ST_MACOS (Unix-like
4504         listing without correct permissons).
4505
4506         * ftp.h (stype): Added ST_MACOS to identify the NetPresenz MacOS
4507         FTP server. 
4508
4509         * ftp.c (ftp_retrieve_list): New mirroring logic: A remote file
4510         shall be donwloaded only when it's newer than the local copy or
4511         when it has the same timeestamp but its size is different. ST_VMS
4512         and ST_MACOS as special cases that lie about file size. 
4513
4514         * ftp-ls.c (ftp_parse_ls): Support for ST_MACOS.
4515
4516         * Makefile.in: Removed dependency on ftpparse library due to unclear
4517         copyright issues and absence of any feedback to our queries. 
4518
4519         * ftp-ls.c: Removed dependency on ftpparse library due to unclear
4520         copyright issues and absence of any feedback to our queries.   
4521         (ftp_parse_ls): Added a warning message when remote server system
4522         does not seem to be suported by wget. 
4523         (ftp_parse_vms_ls): New function for parsing VMS ftp
4524         server listing output.
4525         (clean_line): New function responsible for removing
4526         end-of-line characters from FTP listing texts.
4527
4528         * ftp.c (getftp): Global variables pwd and host_type are now
4529         member of the ccon structure under names ccon.id and ccon.rs. 
4530
4531         * ftp.h (struct ccon): Added formed global variables from ftp.c,
4532         enum stype rs (remote system identification) and char *id (initial
4533         working directory), as suggested by Hrvoje.
4534
4535         * url.c (parse_uname): Added support for passwords containing '@'
4536         characters.
4537         (skip_uname): Ditto.
4538
4539 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4540
4541         * ftp.c (ftp_loop): Reset con.
4542
4543 2001-01-06  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4544
4545         * url.c (parse_uname): Added support for passwords containing '@'
4546         characters.
4547         (skip_uname): Ditto.
4548
4549 2001-02-11  Hack Kampbjørn  <hack@hackdata.com>
4550
4551         * url.c (parseurl): Debug-print u->ftp_type.
4552
4553 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4554
4555         * ftp.c (ftp_loop_internal): Disable padding.
4556         (getftp): Ditto.
4557
4558         * http.c (http_loop): Disable padding.
4559
4560         * retr.c (show_progress): Use it to enable padding.
4561
4562         * retr.c (rate): Optional parameter PAD for padding the rate.
4563
4564 2001-02-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4565
4566         * retr.c (show_progress): Make sure that the last output line
4567         includes progress.
4568
4569 2001-02-10  Jonas Jensen  <bones@huleboer.dk>
4570
4571         * retr.c (show_progress): Print the download rate along with the
4572         percentages.
4573         Along with Anders Thorsby <anders@thorsby.dk>.
4574
4575 2001-02-10  Tim Mooney  <mooney@dogbert.cc.ndsu.NoDak.edu>
4576
4577         * ftp.h: Rename enums `command' to `wget_ftp_command' and
4578         `fstatus' to `wget_ftp_status' because old names clash with Tru64
4579         net/if.h.
4580
4581 2001-02-08  Christian Fraenkel <christian.fraenkel@gmx.net>
4582
4583         * gen_sslfunc.c: verify_callback is now static
4584
4585         * gen_sslfunc.c (init_ssl): load certificate if specified
4586
4587         * gen_sslfunc.c (ssl_printerr): new function
4588
4589         * init.c: added new --sslcertfile and --sslcertkey switches
4590
4591         * main.c: ditto
4592
4593         * options.h: ditto
4594
4595         * http.c (gethttp): abort when init_ssl fails
4596
4597 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
4598
4599         * mswindows.h: Include <malloc.h>; it's needed for alloca().
4600
4601 2001-01-10  Dan Harkless  <wget@harkless.org>
4602
4603         * url.c (str_url): Clarified this function's comment header after
4604         Hrvoje answered my question on the list as to when hide != 1.
4605         Also Hrvoje pointed out I need to use xstrdup() on the string literal.
4606
4607 2001-01-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4608
4609         * connect.c (bindport): Declare addrlen as int.  Diagnosed by
4610         Drazen Kacar <dave@arsdigita.com>.
4611         (conaddr): Ditto.
4612
4613 2001-01-09  Dan Harkless  <wget@harkless.org>
4614
4615         * html-url.c: A bunch of fixup of `--page-requisites'-related
4616         comments to reflect Hrvoje's changes to my code when transplanting
4617         it into this new file, to fix spelling mistakes, to clarify, etc.
4618
4619         * url.c (write_backup_file): Clarified a comment.
4620         (str_url): Henrik van Ginhoven pointed out on the list that we
4621         shouldn't give away the number of characters in the password by
4622         replacing each character with a 'x'.  Use "<password>" instead.
4623
4624         * ftp.c (ftp_retrieve_dirs): The bug where recursion into FTP
4625         directories didn't work if logging in put you in a directory other
4626         than "/" is fixed now.  Removed the comment here warning of the bug.
4627
4628         * main.c (print_help): --continue's description was misleading.
4629         We don't "restart", we "resume".  Also, better to say
4630         "partially-downloaded file" rather than just "existing file".
4631
4632 2001-01-06  Dan Harkless  <wget@harkless.org>
4633
4634         * ChangeLog: The '[Not in 1.6 branch.]'s were decided not to be
4635         the best way to go about my aim.  Removed them in favor of:
4636
4637         * ChangeLog-branches/1.6_branch.ChangeLog: New file.
4638
4639 2001-01-04  Hrvoje Niksic  <hniksic@arsdigita.com>
4640
4641         * url.c (replace_attr): New function, to be used by both
4642         TO_COMPLETE and TO_RELATIVE case in convert_links.
4643         (find_fragment): New function for finding URL fragments.
4644         (replace_attr): Better handle the case where the original string
4645         is not quoted.  Use find_fragment.
4646         (convert_links): Use replace_attr().
4647
4648 2000-12-31  Dan Harkless  <wget@harkless.org>
4649
4650         * ChangeLog: Since this flat file doesn't have multiple branches,
4651         looking at the dates would make you think that things went into
4652         1.6 that actually just went into the 1.7-dev branch.  Added "[Not
4653         in 1.6 branch.]" where appropriate to clarify.
4654         
4655 2000-12-30  Dan Harkless  <wget@harkless.org>
4656
4657         * ftp.c, http.c:  Applied Hack Kampbjørn <hack@hackdata.com>'s
4658         patch to deal with h_errno not being defined in netdb.h under Cygwin.
4659
4660 2000-12-18  Csaba Raduly  <csaba.raduly@sophos.com>
4661
4662         * sysdep.h: Include <malloc.h> and <io.h> under Watcom.
4663
4664 2000-12-17  Igor Khristophorov  <igor@atdot.org>
4665
4666         * http.c (check_end): Fix test for '+' or '-'.
4667
4668 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
4669
4670         * url.c (parseurl): Rename inner loop var from i to ind to avoid
4671         clash with the function top-level-declared variable i.
4672         (str_url): Likewise, rename inner-loop i to j.
4673
4674         * recur.c (parse_robots): Don't declare LEN at top of function.
4675         (robots_match): Renamed parameter FORBIDDEN to avoid hiding of
4676         global variable.
4677
4678         * main.c (main): Change erroneous use of bitwise and to logical.
4679
4680         * init.c (cmd_address): Don't heap-allocate `sin'; it can be on
4681         the stack because it will be copied to closure.
4682
4683         Thanks to Csaba Raduly's run of PC-LINT over the sources.
4684
4685 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
4686
4687         * http.c (basic_authentication_encode): Use xmalloc(), not
4688         malloc().  Thanks to Csaba Raduly's run of PC-LINT over the
4689         sources.
4690
4691 2000-12-17  Csaba Raduly  <csaba.raduly@sophos.com>
4692
4693         * sysdep.h: Test for __EMX__ rather than for EMXOS2 for OS/2
4694         compilation.
4695
4696 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
4697
4698         * mswindows.c: Include <errno.h>.
4699
4700         * gen_sslfunc.c: Include <errno.h>.
4701
4702         * ftp-basic.c: Don't attempt to declare errno or h_errno because
4703         they're not used.
4704
4705         * main.c: Include <errno.h> because errno is used.
4706
4707         * ftp.c: Ditto.
4708
4709         * http.c: Include <netdb.h> for h_errno.
4710
4711 2000-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4712
4713         * html-parse.c (advance_declaration): MSVC assert() chokes on
4714         '\"'.  Use '"' instead.
4715
4716 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4717
4718         * utils.c (xfree_real): Removed.
4719         (xfree_debug): Just call free().
4720
4721         * wget.h (xfree): Make it an alias for free.
4722
4723 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4724
4725         * http.c (http_loop): Furthermore, touch output_document only if
4726         it is known to be an existing regular file.
4727
4728 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4729
4730         * ftp.c (ftp_retrieve_list): Ditto.
4731
4732         * http.c (http_loop): Touch output_document if that is used for
4733         output.
4734
4735 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4736
4737         * http.c: Include gen_sslfunc.h after including Wget's headers.
4738         (persistent_available_p): Needed coma before `int ssl'.
4739
4740 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4741
4742         * ftp.c (ftp_loop_internal): Ditto.
4743
4744         * http.c (http_loop): Use it.
4745
4746         * retr.c (sleep_between_retrievals): New function that handles the
4747         logic of opt.wait and opt.waitretry.
4748
4749 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4750
4751         * rbuf.h: Implement only a single version of RBUF_READCHAR, using
4752         rbuf_read_bufferful when the buffer is depleted.
4753
4754         * rbuf.c (rbuf_read_bufferful): New function.
4755
4756 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4757
4758         * gen_sslfunc.h: Use ansi2knr style function declarations.
4759
4760         * gen_sslfunc.c: Reformat according to the GNU coding standards.
4761         More should be done.
4762
4763         * http.c (persistent_available_p): Place the cheap SSL test nearer
4764         the top of the function.
4765         (CLOSE_FINISH, CLOSE_INVALIDATE): Define only one version of each.
4766
4767 2000-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
4768
4769         * url.c (init_unsafe_char_table): Reinstate space as an unsafe
4770         char.
4771
4772 2000-12-03  Christian Fraenkel <christian.fraenkel@gmx.net>
4773
4774         * Makefile.in: added gen_sslfunc object
4775         * config.h.in: added HAVE_SSL define
4776         * connect.c: changed select_fd from static int to int
4777         * connect.h: ditto
4778         * gen_sslfunc.h: New file
4779         * gen_sslfunc.c: ditto
4780         * http.c: added HTTPS fuctionality
4781         * retrc.c: ditto
4782         * url.c: ditto
4783         * init.c: added opt.httpsproxy
4784         * options.h: ditto
4785         * rbuf.h: added alternate rbuf struct
4786         * wget.h: added CONSSLERR
4787         * rbuf.c: ditto
4788
4789         * http.c: Added HTTPS fuctionality.
4790
4791         * retrc.c: Ditto.
4792
4793         * url.c: Ditto.
4794
4795         * init.c: Added opt.httpsproxy.
4796
4797         * options.h: Ditto.
4798
4799         * rbuf.h: Added alternate rbuf struct.
4800
4801         * wget.h: Added CONSSLERR.
4802
4803         * rbuf.c: Ditto.
4804
4805 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4806
4807         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
4808         "ignore_perms" to ignore file and directory permissions for
4809         Windows NT FTP server listings.
4810         (ftp_parse_winnt_ls): New function.
4811         (ftp_parse_ls): Parses UNIX and Windows NT listings
4812         separately. Simple heuristics for distinguishing between UNIX and
4813         MS-DOS-like FTP listing provided by Windows NT FTP service.
4814
4815 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4816
4817         * ftpparse.c, ftpparse.h: New files.
4818
4819         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
4820         only. Use ftp_parse_nonunix_ls otherwise.
4821         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
4822         exotic FTP servers.
4823
4824         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
4825         FTP servers.
4826
4827         * ftp.c: New static wariables host_type, pwd, and pwd_len. 
4828         (getftp): Support for VMS. Support for FTP servers that do not
4829         place you in the root directory after login.
4830         (ftp_retrieve_list): VMS is silent about the real file size, issue
4831         a more appropriate message.
4832         (ftp_get_listing): Pass host_type to ftp_parse_ls.
4833
4834         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
4835
4836 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4837
4838         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
4839         "ignore_perms" to ignore file and directory permissions for
4840         Windows NT FTP server listings.
4841         (ftp_parse_winnt_ls): New function.
4842         (ftp_parse_ls): Parses UNIX and Windows NT listings
4843         separately. Simple heuristics for distinguishing between UNIX
4844         and MS-DOS-like FTP listing provided by Windows NT FTP service.
4845
4846 2000-11-29  John Summerfield  <summer@OS2.ami.com.au>
4847
4848         * netrc.c (parse_netrc): Get rid of line ending.
4849
4850 2000-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4851
4852         * ftp.c (ftp_retrieve_list): Undo typo "fix" until resolution by
4853         Dan.
4854
4855 2000-11-24  Karl Eichwalder  <ke@suse.de>
4856
4857         * main.c (print_help): Untabify.
4858
4859 2000-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
4860
4861         * utils.c (xrealloc_debug): Do the unregister/register thing only
4862         if the pointer has actually changed.
4863         (xmalloc_real): Declare `static' in DEBUG_MALLOC builds.
4864         (xfree_real): Ditto.
4865         (xrealloc_real): Ditto.
4866         (xstrdup_real): Ditto.
4867
4868 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
4869
4870         * ftp.c (getftp): ftp_getaddress() returns a malloc'ed copy of the
4871         string; no need to strdup() it.
4872         (getftp): Make pwd_len a local variable.
4873         (ftp_loop): Free PWD before returning.
4874
4875         * init.c (cleanup): Free opt.ftp_pass only if it's non-NULL.
4876
4877 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
4878
4879         * all: Use xfree() instead of free.
4880
4881         * utils.c (xfree): New function.
4882
4883 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
4884
4885         * url.c (convert_links): HTML-quote the converted string.
4886
4887         * utils.c (html_quote_string): Move here from ftp-ls.c
4888         (html_quote_string): Make non-static; declare in utils.h.
4889         (html_quote_string): Convert SP to &#32;.
4890
4891 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
4892
4893         * ftp.c (getftp): Reformat Jan's code according to GNU coding
4894         standards; remove (debugging?) printf's; use '\0' for the ASCII
4895         zero character.  Use alloca() instead of malloc() for
4896         inter-function temporary allocations.
4897
4898 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4899
4900         * ftpparse.c, ftpparse.h: New files.
4901
4902         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
4903         only. Use ftp_parse_nonunix_ls otherwise.
4904         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
4905         exotic FTP servers.
4906
4907         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
4908         FTP servers.
4909
4910         * ftp.c: New static wariables host_type, pwd, and pwd_len. 
4911         (getftp): Support for VMS. Support for FTP servers that do not
4912         place you in the root directory after login.
4913         (ftp_retrieve_list): VMS is silent about the real file size, issue
4914         a more appropriate message.
4915         (ftp_get_listing): Pass host_type to ftp_parse_ls.
4916
4917         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
4918
4919 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
4920
4921         * hash.c (hash_table_put): Don't overwrite deleted mappings.
4922
4923 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
4924
4925         * hash.c (find_mapping): New function.
4926         (hash_table_get): Use it.
4927         (hash_table_get_pair): Ditto.
4928         (hash_table_exists): Ditto.
4929         (hash_table_remove): Ditto.
4930         (hash_table_remove): Really delete the entry if the mapping
4931         following LOCATION is empty.
4932
4933         * utils.c (string_set_add): Check whether the element has existed
4934         before.
4935
4936         * hash.c (hash_table_get_pair): New function.
4937
4938 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4939
4940         * http.c (http_process_type): Ignore trailing whitespace; use
4941         strdupdelim().
4942
4943         * recur.c (recursive_retrieve): Use the new `convert' field.
4944         (convert_all_links): Ditto.
4945         (convert_all_links): Don't respect meta_disallow_follow.
4946
4947         * html-url.c (handle_link): Fill out link_relative_p and
4948         link_complete_p.
4949
4950         * url.h (struct _urlpos): Make elements more readable.
4951
4952         * recur.c (recursive_retrieve): Call slist_prepend instead of
4953         slist_append.
4954         (convert_all_links): Call slist_nreverse before iterating through
4955         urls_html.
4956
4957         * utils.c (slist_prepend): New function.
4958         (slist_nreverse): Ditto.
4959
4960 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4961
4962         * http.c (check_end): Constify.
4963
4964 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4965
4966         * http.c (http_loop): If username and password are known, try the
4967         `Basic' authentication scheme by default.
4968
4969         * connect.h: Declare test_socket_open.
4970
4971 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4972
4973         * version.c: Bump version from 1.5.3+dev to 1.7-dev.
4974
4975 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4976
4977         * http.c (gethttp): Don't use the return value of sprintf().
4978         (gethttp): Inhibit keep-alive if opt.http_keep_alive is 0.
4979
4980 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4981
4982         * recur.c (recursive_retrieve): Print the "so we don't load"
4983         debugging message only if we really don't load.
4984
4985         * http.c (gethttp): Inhibit keep-alive if proxy is being used.
4986         (gethttp): Don't request keep-alive if keep-alive is inhibited.
4987
4988 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4989
4990         * http.c (gethttp): Make the HTTP persistent connections more
4991         robust.
4992
4993 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4994
4995         * retr.c (get_contents): If use_expected, make sure that the
4996         appropriate amount of data is being read.
4997
4998         * http.c (gethttp): Check for both `Keep-Alive: ...' and
4999         `Connection: Keep-Alive'.
5000
5001         * wget.h (DEBUGP): Call debug_logprintf only if opt.debug is
5002         turned on.
5003
5004 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
5005
5006         * http.c (connection_available_p): Use it.
5007
5008         * connect.c (test_socket_open): New function.
5009
5010         * http.c (gethttp): Support persistent connections.  Based on the
5011         ideas, and partly on code, by Sam Horrocks <sam@daemoninc.com>.
5012         (register_persistent): New function.
5013         (connection_available_p): Ditto.
5014         (invalidate_connection): Ditto.
5015
5016 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
5017
5018         * url.c (convert_links): Handle UREL2ABS case.
5019
5020         * recur.c (recursive_retrieve): Instead of the list
5021         urls_downloaded, use hash tables dl_file_url_map and
5022         dl_url_file_map.
5023         (convert_all_links): Use them to retrieve data.
5024
5025         * host.c (clean_hosts): Free the hash tables.
5026
5027         * main.c (private_initialize): Call host_init().
5028
5029         * host.c (store_hostaddress): Use a saner, hash table-based data
5030         model.
5031         (realhost): Ditto.
5032         (host_init): Initialize the hash tables.
5033
5034 2000-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
5035
5036         * utils.c (slist_append): Eviscerate NOSORT.  Hash tables are now
5037         used for what the sorted slists used to be used for.
5038         (slist_contains): Don't rely on the list being sorted.
5039         (slist_append): Simplify the code.
5040
5041         * recur.c (recursive_cleanup): Use free_string_set.
5042
5043         * utils.c (string_set_add, string_set_exists, string_set_free):
5044         New functions for easier freeing of hash tables whose keys are
5045         strdup'ed strings.
5046
5047         * recur.c (recursive_retrieve): Use the hash table functions for
5048         storing undesirable URLs.
5049
5050         * hash.c: New file.
5051
5052 2000-11-17  Hrvoje Niksic  <hniksic@arsdigita.com>
5053
5054         * main.c (private_initialize): Call url_init.
5055         (main): Call private_initialize.
5056
5057         * url.c (unsafe_char_table): New table.
5058         (UNSAFE_CHAR): Use it.
5059         (init_unsafe_char_table): New function.
5060         (url_init): New function; call init_unsafe_char_table.
5061
5062 2000-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
5063
5064         * mswindows.h: Define snprintf and vsnprintf to _snprintf and
5065         _vsnprintf respectively.
5066
5067 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
5068
5069         * config.h.in: Do the _XOPEN_SOURCE and _SVID_SOURCE things only
5070         on Linux.
5071
5072 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
5073
5074         * html-url.c (handle_link): Handle HTML fragment identifiers.
5075
5076         * recur.c (recursive_retrieve): If norobot info is respected and
5077         the file is specified not to be followed by robots, respect that.
5078
5079         * html-url.c (collect_tags_mapper): Handle <meta name=robots
5080         content=X>.  For us the important cases are where X is NONE or
5081         where X contains NOFOLLOW.
5082         (get_urls_html): Propagate that information to the caller.
5083
5084 2000-11-13  Hrvoje Niksic  <hniksic@arsdigita.com>
5085
5086         * url.c (convert_links): Unlink the file we might be reading from
5087         before writing to it.
5088         (convert_links): Use alloca instead of malloc for
5089         filename_plus_orig_suffix.
5090
5091 2000-11-12  Hrvoje Niksic  <hniksic@arsdigita.com>
5092
5093         * host.c (realhost): Add HOST to the list with quality==0 only if
5094         it wasn't already there.
5095         Based on analysis by Lu Guohan <feng@public.bjnet.edu.cn>.
5096
5097 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
5098
5099         * url.c (get_urls_file): Ditto.
5100         (convert_links): Ditto.
5101
5102         * html-url.c (get_urls_html): Use read_file() instead of
5103         load_file().
5104
5105         * utils.c (read_file): New function, instead of the old
5106         load_file().
5107         (read_file_free): Ditto.
5108
5109         * url.c (findurl): Search only for the supported protocols.
5110         (convert_links): Use fwrite() when writing out a region of
5111         characters.
5112
5113 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
5114
5115         * ftp-ls.c: Move html_quote_string and ftp_index here.
5116
5117         * url.c: Remove get_urls_html, since that's now in html-url.c.
5118
5119         * html-url.c: New file.
5120
5121         * html-parse.c: New file.
5122
5123 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
5124
5125         * init.c (run_wgetrc): Don't bother killing off '\r' since
5126         pars_line() skips whitespace at end of line anyway.
5127         (parse_line): Oops, it didn't.  Now it does.
5128
5129         * recur.c (parse_robots): Ditto here.
5130
5131         * ftp-ls.c (ftp_parse_unix_ls): Kill off the newline character
5132         manually because read_whole_line no longer does.
5133
5134         * utils.c (read_whole_line): Rewrite to: a) use less memory
5135         (reallocates to needed size after work), b) work faster -->
5136         fgets() instead of getc, c) be more correct --> doesn't kill the
5137         newline character at the end of line.
5138
5139 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
5140
5141         * init.c (comind): Initialize MAX to array size - 1.
5142
5143 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
5144
5145         * url.c (construct): Changed last_slash[-1] to *(last_slash - 1).
5146         Suggested by Edward J. Sabol.
5147
5148 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
5149
5150         * url.c (construct): Handle the case where host name is not
5151         followed by a slash.
5152
5153 2000-11-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5154
5155         * init.c: commands[] need to be sorted!  ("base" wasn't.)
5156
5157 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
5158
5159         * wget.h (DO_REALLOC_FROM_ALLOCA): Use braces to disambiguate
5160         `if'.
5161
5162 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
5163
5164         * url.c (construct): Insert unneeded initialization for the
5165         compiler to shut up.
5166
5167         * config.h.in: Define _XOPEN_SOURCE to 500 to get the prototype
5168         for strptime() (*duh*).  Define _SVID_SOURCE to get S_IFLNK which
5169         otherwise gets lost when you define _XOPEN_SOURCE.
5170
5171         * utils.c (touch): Include the file name in the error message.
5172         From Debian.
5173
5174 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
5175
5176         * log.c (logvprintf): Use vsnprintf() in all cases.  If necessary,
5177         resize the buffer to fit the formated message.  That way, messages
5178         of arbitrary size may be printed.
5179         (logvprintf): Use saved_append() to optionally log the last
5180         several lines of output.
5181         (logputs): Ditto.
5182         (log_close): Adapt to new data structures.
5183         (log_dump): Ditto.
5184         (redirect_output): Print messages to stderr, not to stdout.
5185
5186         * log.c (saved_append_1): New function.  Replaces the old logging
5187         system ("log all output until 10M characters") with a new, much
5188         more reasonable one ("log last screenful of text").
5189         (saved_append): New function; call saved_append_1.
5190         (free_log_line): New function.
5191
5192 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
5193
5194         * url.c (construct): Fix comment.
5195         (find_last_char): Document.
5196
5197 2000-11-04  Hrvoje Niksic  <hniksic@arsdigita.com>
5198
5199         * snprintf.c: New file.
5200
5201 2000-11-03  Hrvoje Niksic  <hniksic@arsdigita.com>
5202
5203         * wget.h: If HAVE_STDARG_H is not defined, don't declare argument
5204         types to logprintf() and debug_logprintf().
5205
5206 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
5207
5208         * ftp.c (ftp_loop_internal): Hide the password from the URL when
5209         printing non-verbose.  Problem spotted by Dariusz Mlynarczyk
5210         <darekm@bydg.lomac.com.pl>.
5211
5212 2000-11-02  Junio Hamano  <junio@twinsun.com>
5213
5214         * ftp-basic.c (ftp_login): Make comparison case-insensitive.
5215
5216 2000-11-02  Tyler Riddle  <triddle@liquidmarket.com>
5217
5218         * http.c (known_authentication_scheme_p): Recognize NTML
5219         authentication.
5220         (create_authorization_line): Treat NTML the same as `Basic'.
5221
5222 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
5223
5224         * retr.c (retrieve_url): Free url before returning.
5225         (retrieve_url): Free mynewloc before returning.
5226         Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
5227
5228 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
5229
5230         * url.c (parseurl): Remove possible reading past the end of
5231         sup_protos[].  Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
5232
5233 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5234
5235         * main.c (main): In case of opt.downloaded overflowing, print
5236         <overflow> instead of a totally bogus random value.
5237
5238         * retr.c (retrieve_from_file): Ditto.
5239
5240         * recur.c (recursive_retrieve): Ditto.
5241
5242         * main.c (main): Ditto.
5243
5244         * http.c (http_loop): Ditto.
5245
5246         * ftp.c (ftp_loop_internal): Use downloaded_increase() instead of
5247         `+=', and downloaded_exceeds_quota() instead of the simple-minded
5248         check.
5249         (ftp_retrieve_list): Ditto.
5250         (ftp_retrieve_dirs): Ditto.
5251         (ftp_retrieve_glob): Ditto.
5252
5253         * retr.c (downloaded_increase): New function.  Notice overflows of
5254         opt.downloaded.
5255         (downloaded_exceeds_quota): Make sure that opt.downloaded is not
5256         used if it overflowed.
5257
5258         * options.h (struct options): New member downloaded_overflow.
5259
5260 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5261
5262         * wget.h (enum): Remove extra space after last enumeration.
5263
5264 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5265
5266         * main.c (main): Use legible_very_long() for printing
5267         opt.downloaded.
5268
5269         * utils.c (legible_1): New function that operates on strings and
5270         does the brunt of legible()'s work.
5271         (legible): Use legible_1().
5272         (legible_very_long): New function; dump the argument with
5273         sprintf(), and call legible_1().
5274
5275         * options.h (struct options): Use VERY_LONG_TYPE for
5276         opt.downloaded.
5277
5278         * sysdep.h (VERY_LONG_TYPE): Define it to have a 64-bit or greater
5279         type.
5280
5281         * config.h.in: Make sure that SIZEOF_LONG and SIZEOF_LONG_LONG get
5282         defined.  Define HAVE_LONG_LONG if long long is available.
5283
5284 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5285
5286         * utils.c (long_to_string): Update with a later, better version.
5287
5288 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5289
5290         * url.c (path_simplify_with_kludge): New function.
5291         (path_simplify_with_kludge): Disable it.  Instead...
5292         (parse_dir): ...make sure that at this point the right thing is
5293         done, i.e. that "query" part of the URL (?...) is always assigned
5294         to the file, never to the directory portion of the path.
5295
5296 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5297
5298         * retr.c (retrieve_url): Detect redirection cycles.
5299
5300 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5301
5302         * url.c (get_urls_html): Decode HTML entities using
5303         html_decode_entities.
5304
5305         * html.c (htmlfindurl): Don't count the `#' in numeric entities
5306         (&#NNN;) as an HTML fragemnt.
5307         (html_decode_entities): New function.
5308
5309 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5310
5311         * html.c (htmlfindurl): Fix recognition of # HTML fragments.
5312
5313 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5314
5315         * url.c (construct): Rewritten for clarity.  Avoids the
5316         unnecessary copying and stack-allocation the old version
5317         performed.
5318
5319 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
5320
5321         * ftp.c (getftp): Ditto.
5322
5323         * http.c (gethttp): Rewind the stream when retrying from scratch.
5324
5325 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
5326
5327         * retr.c (retrieve_url): Use url_concat() to handle relative
5328         redirections instead of /ad hoc/ code.
5329
5330         * url.c (url_concat): New function encapsulating weird
5331         construct().
5332         (urllen_http_hack): New function.
5333         (construct): When constructing new URLs, recognize that `?' does
5334         not form part of the file name in HTTP.
5335
5336 2000-10-13  Adrian Aichner  <adrian@xemacs.org>
5337
5338         * retr.c: Add msec timing support for WINDOWS.
5339         * retr.c (reset_timer): GetSystemTime() on WINDOWS.
5340         * retr.c (elapsed_time): Calculate delta time to msec on WINDOWS.
5341
5342 2000-10-27  Dan Harkless  <wget@harkless.org>
5343
5344         * retr.c (retrieve_url): Manually applied T. Bharath
5345         <TBharath@responsenetworks.com>'s patch to get wget to grok
5346         illegal relative URL redirects.  Reformatted and re-commented it.
5347
5348 2000-10-23  Dan Harkless  <wget@harkless.org>
5349
5350         * connect.c (make_connection and bindport): Manually applied Rob
5351         Mayoff <mayoff@dqd.com>'s 1.5.3 patch to add --bind-address,
5352         changing coding style to GNU's.
5353
5354         * ftp.c (ftp_loop_internal): --delete-after wasn't implemented for
5355         files downloaded via FTP.  Per a comment, .listing files were not
5356         counted towards number of bytes and files downloaded because they're 
5357         deleted anyway.  Well, they aren't under -nr, so count them then.
5358
5359         * init.c: Manually applied Rob Mayoff's 1.5.3 patch to add
5360         --bind-address, alphabetizing, changing coding style to GNU's,
5361         commenting, and renaming cmd_ip_address() to cmd_address() to
5362         imply hostnames also okay.
5363                 
5364         * main.c (main): --delete-after didn't delete the root of the
5365         tree.  Ignore --convert-links if --delete-after was specified.
5366         Manually applied Rob Mayoff's 1.5.3 patch to add --bind-address,
5367         fixing duplicate use of added-since-1.5.3 case value.
5368         (print_help): Clarified that --delete-after deletes local files.
5369         Rob forgot to add a line for his new --bind-address option.
5370                 
5371         * options.h (struct options): Manually applied Rob Mayoff's patch
5372         to add --bind-address (bind_address structure member).
5373                 
5374         * recur.c (recursive_retrieve): Improved comment; added DEBUGP().
5375         Ignore --convert-links if --delete-after was specified.
5376                 
5377         * retr.c (retrieve_from_file): Just added a DEBUGP().
5378                 
5379 2000-10-19  Dan Harkless  <wget@harkless.org>
5380
5381         * ftp.c (ftp_loop_internal): downloaded_file() enumerators changed.
5382         (getftp): Applied Piotr Sulecki <Piotr.Sulecki@ios.krakow.pl>'s
5383         patch to work around FTP servers that incorrectly respond to the
5384         "REST" command with the remaining size rather than the total file size.
5385                 
5386         * http.c (gethttp): Improved a comment and added code to tack on
5387         ".html" to text/html files without that extension when -E specified.
5388         (http_loop): Use new downloaded_file() enumerators and deal with
5389         the case of gethttp() called xrealloc() on u->local.
5390
5391         * init.c (commands): Added new "htmlextension" command.
5392         Also renamed John Daily's cmd_quad() to the more descriptive
5393         cmd_lockable_boolean(), alpha-sorted the CMD_DECLARE()s and
5394         removed duplicate cmd_boolean() declaration.
5395
5396         * main.c (print_help): Added my new -E / --html-extension option.
5397         (main): Undocumented --email-address option previously used -E synonym.
5398         Stole it away for the much more deserving --html-extension's use.
5399
5400         * options.h (struct options): Added html_extension field.
5401
5402         * url.c (convert_links): URL X that we saved as X.html locally due
5403         to -E needs to be backed up as X.orig, not X.html.orig.  Added comments.
5404         (downloaded_file): Now remembers if we added .html extension to a file.
5405
5406         * url.h (downloaded_file_t): Added extra enumerators to support above.
5407         (downloaded_file): Now takes and returns a downloaded_file_t.
5408
5409         * wget.h (unnamed "dt" enum): Added ADDED_HTML_EXTENSION enumerator.
5410         
5411 2000-10-09  Dan Harkless  <wget@harkless.org>
5412
5413         * html.c (htmlfindurl): Added unneeded initialization to quiet warning.
5414                 
5415         * main.c (print_help): Clarified what --retr-symlinks does.
5416         
5417 2000-09-15  John Daily  <jdaily@cyberdude.com>
5418
5419         * init.c: Add support for "always" and "never" values to allow
5420         .wgetrc to override commandline (useful e.g. with .pm files
5421         calling `wget --passive-ftp' when your firewall doesn't allow that).
5422
5423         * ftp.c (getftp): passive_ftp is first option to support always/never.
5424
5425 2000-08-30  Dan Harkless  <wget@harkless.org>
5426
5427         * ftp.c (ftp_retrieve_list): Use new INFINITE_RECURSION #define.
5428         
5429         * html.c: htmlfindurl() now takes final `dash_p_leaf_HTML' parameter.
5430         Wrapped some > 80-column lines.  When -p is specified and we're at a 
5431         leaf node, do not traverse <A>, <AREA>, or <LINK> tags other than 
5432         <LINK REL="stylesheet">.
5433         
5434         * html.h (htmlfindurl): Now takes final `dash_p_leaf_HTML' parameter.
5435         
5436         * init.c: Added new -p / --page-requisites / page_requisites option.
5437
5438         * main.c (print_help): Clarified that -l inf and -l 0 both allow
5439         infinite recursion.  Changed the unhelpful --mirrior description
5440         to simply give the options it's equivalent to.  Added new -p option.
5441         (main): Added some comments; handle new -p / --page-requisites.
5442         
5443         * options.h (struct options): Added new page_requisites field.
5444
5445         * recur.c: Changed "URL-s" to "URLs" and "HTML-s" to "HTMLs".
5446         Calculate and pass down new `dash_p_leaf_HTML' parameter to
5447         get_urls_html().  Use new INFINITE_RECURSION #define.
5448
5449         * retr.c: Changed "URL-s" to "URLs".  get_urls_html() now takes
5450         final `dash_p_leaf_HTML' parameter.
5451
5452         * url.c: get_urls_html() and htmlfindurl() now take final
5453         `dash_p_leaf_HTML' parameter.
5454
5455         * url.h (get_urls_html): Now takes final `dash_p_leaf_HTML' parameter.
5456
5457         * wget.h: Added some comments and new INFINITE_RECURSION #define.
5458         
5459 2000-08-23  Dan Harkless  <wget@harkless.org>
5460
5461         * main.c (print_help): -B / --base was not mentioned.
5462
5463 2000-08-22  Dan Harkless  <wget@harkless.org>
5464
5465         * main.c (print_help): Modified -nc description to mention that it
5466         also prevents the creation of multiple versions of the same file
5467         with ".<number>" suffixes.
5468
5469 2000-07-14  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5470
5471         * retr.c (retrieve_url): Consistently strdup opt.referer when
5472         setting u->referer.
5473
5474 2000-06-09  Dan Harkless  <wget@harkless.org>
5475
5476         * main.c (print_help): --help output for --waitretry was over 80 cols.
5477
5478 2000-06-09  Hrvoje Niksic  <hniksic@iskon.hr>
5479
5480         * url.c (encode_string): Fix comment.
5481         Suggested by Herold Heiko <Heiko.Herold@previnet.it>.
5482
5483 2000-06-01  Const Kaplinsky  <const@ce.cctpu.edu.ru>
5484
5485         * ftp.c (ftp_retrieve_list): Change permissions only on plain
5486         files.
5487
5488 2000-06-01  Hrvoje Niksic  <hniksic@iskon.hr>
5489
5490         * url.c (str_url): Print the port number only if it's different
5491         from the default port number for that protocol.
5492
5493 2000-05-22  Dan Harkless  <wget@harkless.org>
5494
5495         * main.c (print_help): Added --help line for Damir Dzeko
5496         <ddzeko@zesoi.fer.hr>'s until-now-undocumented --referer option.
5497         Removed comments that --referer and --waitretry were undocumented.
5498         Changed "`.wgetrc' command" to "`.wgetrc'-style command" on --help
5499         line for --execute.
5500
5501 2000-05-18  Hrvoje Niksic  <hniksic@iskon.hr>
5502
5503         * ftp.c (getftp): Ditto.
5504
5505         * http.c (gethttp): Check for return value of fclose/fflush.
5506
5507 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
5508
5509         * host.c (store_hostaddress): Instead of shifting ADDR, start
5510         copying from the correct address.
5511
5512 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
5513
5514         * http.c (gethttp): Don't free REQUEST -- it was allocated with
5515         alloca().
5516         Pointed out by Gisle Vanem <gvanem@eunet.no>.
5517
5518 2000-04-04  Dan Harkless  <wget@harkless.org>
5519
5520         * host.c (store_hostaddress): R. K. Owen's patch introduces a
5521         "left shift count >= width of type" warning on 32-bit
5522         architectures.  Got rid of it by tricking the compiler w/ a variable.
5523         
5524         * url.c (UNSAFE_CHAR): The macro didn't include all the illegal
5525         characters per RFC1738, namely everything above '~'.  It also
5526         generated a warning on OSes where char =~ unsigned char.  Fixed.
5527         
5528 1998-10-17  Hrvoje Niksic  <hniksic@srce.hr>
5529
5530         * http.c (http_process_type): Removed needless strdup(), a memory
5531         leak.
5532
5533 1998-09-25  Hrvoje Niksic  <hniksic@srce.hr>
5534
5535         * html.c (htmlfindurl): Set PH to the first occurrence of `#'.
5536
5537 1998-09-25  Simon Munton  <simonm@m4data.co.uk>
5538
5539         * init.c (wgetrc_file_name): Don't free HOME under Windows.
5540
5541 1998-12-01  "R. K. Owen"  <rkowen@Nersc.GOV>
5542
5543         * host.c (store_hostaddress): Fix for big endian 64-bit machines.
5544
5545 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
5546
5547         * url.c (UNSAFE_CHAR): New macro.
5548         (contains_unsafe): Use it.
5549         (encode_string): Ditto.
5550
5551 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
5552
5553         * main.c (i18n_initialize): Use LC_MESSAGES only if available.
5554
5555 2000-03-31  Hrvoje Niksic  <hniksic@srce.hr>
5556
5557         * Use TOUPPER/TOLOWER.
5558
5559 1998-12-22  Alexander V. Lukyanov  <lav@yars.free.net>
5560
5561         * ftp-opie.c (btoe): Zero-terminate OSTORE.
5562
5563 2000-03-21  Hrvoje Niksic  <hniksic@iskon.hr>
5564
5565         * wget.h (DO_REALLOC_FROM_ALLOCA): Ditto.
5566
5567         * sysdep.h (ISALNUM): New macro.
5568         (TOLOWER): Ditto.
5569         (TOUPPER): Ditto.
5570
5571 2000-03-10  Dan Harkless  <wget@harkless.org>
5572
5573         * html.c (idmatch): Implemented checking of my new --follow-tags
5574         and --ignore-tags options.
5575         
5576         * init.c (commands): Added comment reminding people adding new
5577         entries doing allocation to add corresponding freeing in cleanup().
5578         (commands): Added new followtags and ignoretags commands.
5579         (cleanup): Free storage for new followtags and ignoretags.
5580         
5581         * main.c: Use of "comma-separated list" was random -- normalized
5582         it.  Did some alphabetization.  Added comments pointing out
5583         "Options without arguments" and "Options accepting an argument"
5584         sections of long_options[].  Added new options --follow-tags and
5585         -G / --ignore-tags.  Added comment that Damir's --referer is
5586         currently undocumented.  Added comment that Heiko's --waitretry is
5587         partially undocumented (mentioned in --help but not in
5588         wget.texi).  Moved improperly sorted 24, 129, and 'G' cases.
5589         
5590         * options.h (struct options): Added new fields follow_tags and
5591         ignore_tags. 
5592         
5593         * wget.h: Added "#define EQ 0" so we can say "strcmp(a, b) == EQ".
5594         
5595 2000-03-02  Dan Harkless  <wget@harkless.org>
5596
5597         * ftp.c (ftp_loop_internal): Heiko introduced "suggest explicit
5598         braces to avoid ambiguous `else'" warnings.  Eliminated them.
5599         
5600         * http.c (gethttp): Dan Berger's query string patch is totally
5601         bogus.  If you have two different URLs, gen_page.cgi?page1 and
5602         get_page.cgi?page2, they'll both be saved as get_page.cgi and the
5603         second will overwrite the first.  Also, parameters to implicit
5604         CGIs, like "http://www.host.com/db/?2000-03-02" cause the URLs to
5605         be printed with trailing garbage characters, and could seg fault.
5606         Backing out the patch, which Dan B. informed me by email was just
5607         a kludge to download StarOffice from Sun made necessary due to
5608         wget's unconditional escaping of certain characters (room for an
5609         option there?).
5610         (http_loop): Heiko introduced "suggest explicit braces to avoid
5611         ambiguous `else'" warnings.  Eliminated them.
5612         
5613         * main.c: Heiko's --wait / --waitretry backwards compatibility
5614         code looks to have been totally untested -- automatic variable
5615         'wr' was used without being initialized, and a long int was passed
5616         into setval()'s char* val parameter.
5617         
5618         * recur.c (parse_robots): Applied Edward J. Sabol
5619         <sabol@alderaan.gsfc.nasa.gov>'s patch for Guan Yang's reported
5620         problem with "User-agent:<space>*<space>" lines in robots.txt.
5621         
5622         * url.c (parseurl, str_url): Removing Dan Berger's code (see
5623         http.c above for explanation).
5624         
5625 1999-08-25  Heiko Herold  <Heiko.Herold@previnet.it>
5626
5627         * ftp.c: Respect new option waitretry.
5628
5629 2000-01-30  Damir Dzeko  <ddzeko@zesoi.fer.hr>
5630
5631         * http.c (gethttp): Send custom Referer, if required.
5632
5633 1999-09-24  Charles G Waldman  <cgw@fnal.gov>
5634
5635         * netrc.c (parse_netrc): Allow passwords to contain spaces.
5636
5637         * netrc.c (parse_netrc): New function.
5638
5639 1999-09-17  Dan Berger  <dberger@ix.netcom.com>
5640
5641         * http.c (gethttp): Send it.
5642
5643         * url.c (parseurl): Detect query string in HTTP URL-s.
5644         (str_url): Print it.
5645
5646 2000-03-02  HIROSE Masaaki  <hirose31@t3.rim.or.jp>
5647
5648         * html.c (html_allow): Add <link href=...> and <script src=...>.
5649
5650 1999-05-02  andrew deryabin  <djsf@softhome.net>
5651
5652         * http.c (gethttp): Specify port in `Host' header only if it's
5653         different from 80.
5654
5655 1998-11-03  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
5656
5657         * recur.c (recursive_retrieve): If a finite maximum depth is
5658         specified, and we're are already at that depth, don't download the
5659         HTML file for parsing.
5660
5661 2000-03-01  Dan Harkless  <wget@harkless.org>
5662
5663         * ftp.c (ftp_loop_internal): Call new downloaded_file() function,
5664         even though we don't do conversion on HTML files retrieved via
5665         FTP, so _current_ usage of downloaded_file() makes this call unneeded. 
5666         (ftp_retrieve_list): Added a comment saying where we need to
5667         stat() a .orig file if FTP'd HTML file conversion is ever implemented.
5668         (ftp_retrieve_list): "Local file '%s' is more recent," is sometimes
5669         a lie -- reworded as "Server file no newer than local file '%s' --".
5670         
5671         * http.c (http_loop): Fixed a typo and clarified a comment.
5672         (http_loop): When -K and -N are specified together, compare size
5673         and timestamp of server file X against local file X.orig (if
5674         extant) rather than converted local file X.
5675         (http_loop): "Local file '%s' is more recent," is sometimes a lie
5676         -- reworded as "Server file no newer than local file '%s' --".
5677         (http_loop): Call new downloaded_file() function to prevent
5678         wrongful overwriting of .orig file when -N is specified.
5679         
5680         * url.c (convert_links): When -K specified, only rename X to
5681         X.orig if downloaded_file() returns TRUE.  Otherwise when we skip
5682         file X due to -N, we clobber an X.orig from a previous invocation.
5683         (convert_links): Call the failsafe xstrdup(), not the real strdup().
5684         (convert_links): Added a note asking anyone who understands how
5685         multiple URLs can correspond to a single file to comment it.
5686         (downloaded_file): Added this new function.
5687         
5688         * url.h (downloaded_file): Added prototype for this new function
5689         as well as its downloaded_file_t enum type.
5690
5691         * wget.h (boolean): Added this new typedef and TRUE and FALSE #defines.
5692
5693 2000-02-29  Dan Harkless  <wget@harkless.org>
5694
5695         * version.c: Upped version to developer-only "1.5.3+dev".
5696
5697 2000-02-18  Dan Harkless  <wget@harkless.org>
5698
5699         * init.c (backup_converted): Added this new option.
5700
5701         * main.c (-K / --backup-converted): Added this new option.
5702
5703         * options.h (backup_converted): Added this new option.
5704
5705         * url.c (convert_links): When backup_converted is specified, save
5706         file X as X.orig before converting.
5707
5708         * url.h (urlpos): Fixed typo -- said "Rekative" instead of "Relative".
5709
5710 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
5711
5712         * version.c: Wget 1.5.3 is released.
5713
5714 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
5715
5716         * host.c (ftp_getaddress): Don't warn when reverse-lookup of local 
5717         address doesn't yield FQDN.
5718
5719 1998-09-21  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
5720
5721         * cmpt.c (strerror): Fix declaration of sys_errlist.
5722
5723 1998-09-11  Hrvoje Niksic  <hniksic@srce.hr>
5724
5725         * main.c (main): Don't use an array subscript as the first
5726         argument to STRDUP_ALLOCA.
5727         From Kaveh R. Ghazi.
5728
5729 1998-09-11  Szakacsits Szabolcs  <szaka@sienet.hu>
5730
5731         * html.c (htmlfindurl): Download table background.
5732
5733 1998-09-11  Hans Grobler  <grobh@conde.ee.sun.ac.za>
5734
5735         * init.c (parse_line): Would free *com before allocating it.
5736         (parse_line): Would free com instead of *com.
5737
5738 1998-09-10  Howard Gayle  <howard@fjst.com>
5739
5740         * url.c (get_urls_html): Would drop the last character of the
5741         link.
5742
5743 1998-09-10  Hrvoje Niksic  <hniksic@srce.hr>
5744
5745         * http.c (http_loop): Don't print status code if quiet.
5746
5747 1998-09-10  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
5748
5749         * log.c: Use <stdarg.h> only when __STDC__.
5750
5751 1998-09-10  Adam D. Moss  <adam@foxbox.org>
5752
5753         * html.c (htmlfindurl): Download <layer src=...>.
5754
5755 1998-09-10  Howard Gayle  <howard@fjst.com>
5756
5757         * ftp.c (ftp_retrieve_list): Don't update the time stamp of a file 
5758         not retrieved.
5759
5760 1998-06-27  Hrvoje Niksic  <hniksic@srce.hr>
5761
5762         * utils.c: Include <libc.h> on NeXT.
5763
5764 1998-06-26  Heinz Salzmann  <heinz.salzmann@intermetall.de>
5765
5766         * url.c (get_urls_html): Fix calculation of URL position.
5767
5768 1998-06-23  Hrvoje Niksic  <hniksic@srce.hr>
5769
5770         * version.c: Wget 1.5.2 is released.
5771
5772 1998-06-23  Dave Love  <d.love@dl.ac.uk>
5773
5774         * ftp.c, init.c, netrc.c: Include errno.h.
5775
5776         * http.c: Include errno.h and time header.
5777
5778         * Makefile.in (exext): Define.
5779         (install.bin, uninstall.bin): Use it.
5780
5781 1998-06-21  Hrvoje Niksic  <hniksic@srce.hr>
5782
5783         * http.c (http_loop): Don't attempt to compare local and remote
5784         sizes if the remote size is unknown.
5785
5786 1998-06-16  Hrvoje Niksic  <hniksic@srce.hr>
5787
5788         * url.c (get_urls_html): Use malloc() instead of alloca in the
5789         loop.
5790
5791 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
5792
5793         * version.c: Wget 1.5.2-b4 is released.
5794
5795 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
5796
5797         * url.c (get_urls_html): Ignore spaces before and after the URI.
5798
5799 1998-06-08  Wanderlei Antonio Cavassin  <cavassin@conectiva.com.br>
5800
5801         * ftp.c (getftp): Translate `done'.
5802
5803 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
5804
5805         * version.c: Wget 1.5.2-b3 is released.
5806
5807 1998-06-06  Alexander Kourakos  <awk@bnt.com>
5808
5809         * init.c (cleanup): Close dfp, don't free it.
5810
5811 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
5812
5813         * utils.c (make_directory): Twiddle.
5814
5815         * config.h.in: Added template for access().
5816
5817 1998-06-05  Mathieu Guillaume  <mat@cythere.com>
5818
5819         * html.c (htmlfindurl): Download <input src=...>
5820
5821 1998-06-03  Hrvoje Niksic  <hniksic@srce.hr>
5822
5823         * utils.c (file_exists_p): Use access() with two arguments.
5824
5825 1998-05-27  Martin Kraemer  <Martin.Kraemer@mch.sni.de>
5826
5827         * netrc.c (parse_netrc): Correct logic.
5828
5829 1998-05-27  Hrvoje Niksic  <hniksic@srce.hr>
5830
5831         * ftp.c (getftp): Added `break'; suggested by Lin Zhe Min
5832         <ljm@ljm.wownet.net>.
5833
5834 1998-05-24  Hrvoje Niksic  <hniksic@srce.hr>
5835
5836         * version.c: Wget 1.5.2-b2 is released.
5837
5838 1998-05-18  Juan Jose Rodriguez  <jcnsoft@jal1.telmex.net.mx>
5839
5840         * mswindows.h: Don't translate mkdir to _mkdir under Borland.
5841
5842 1998-05-17  Hrvoje Niksic  <hniksic@srce.hr>
5843
5844         * retr.c (elapsed_time): Return correct value when
5845         HAVE_GETTIMEOFDAY is undefined.
5846
5847 1998-05-13  Hrvoje Niksic  <hniksic@srce.hr>
5848
5849         * version.c: Wget 1.5.2-b1 is released.
5850
5851 1998-05-08  Hrvoje Niksic  <hniksic@srce.hr>
5852
5853         * getopt.c (_getopt_internal): Use exec_name instead of argv[0].
5854         (_getopt_internal): Don't translate `#if 0'-ed strings.
5855
5856 1998-05-06  Douglas E. Wegscheid  <wegscd@whirlpool.com>
5857
5858         * mswindows.c (ws_handler): Use fork_to_background().
5859
5860 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
5861
5862         * version.c: Wget 1.5.1 is released.
5863
5864 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
5865
5866         * http.c (parse_http_status_line): Avoid `minor' and `major'
5867         names.
5868
5869 1998-05-02  Hrvoje Niksic  <hniksic@srce.hr>
5870
5871         * utils.c (mkdirhier): Renamed to make_directory.
5872
5873 1998-05-01  Hrvoje Niksic  <hniksic@srce.hr>
5874
5875         * mswindows.c (fork_to_background): Define under Windows.
5876
5877         * utils.c (fork_to_background): New function.
5878
5879         * html.c (htmlfindurl): Removed rerdundant casts.
5880
5881 1998-05-01  Douglas E. Wegscheid  <wegscd@whirlpool.com>
5882
5883         * mswindows.c (ws_mypath): Cache the path.
5884
5885 1998-04-30  Douglas E. Wegscheid  <wegscd@whirlpool.com>
5886
5887         * ftp.h: Prefix enum ftype members with FT_.
5888
5889         * ftp-ls.c, ftp.c, html.h: Adjust accordingly.
5890
5891         * mswindows.h: Use stat under Borland, _stat under MSVC.
5892
5893 1998-04-28  Hrvoje Niksic  <hniksic@srce.hr>
5894
5895         * http.c (known_authentication_scheme_p): New function.
5896         (gethttp): Handle authorization more correctly.
5897
5898         * ftp-basic.h: Removed.
5899
5900         * cmpt.h: Removed.
5901
5902         * utils.c: Include <unistd.h> before <pwd.h>; needed under SunOS
5903         with gcc 2.8.
5904         (numdigit): Use `while' loop.
5905
5906         * http.c (create_authorization_line): Detect authentication
5907         schemes case-insensitively.
5908
5909         * http.c (extract_header_attr): Use strdupdelim().
5910         (digest_authentication_encode): Move declaration of local
5911         variables to smaller scope.
5912         (digest_authentication_encode): Reset REALM, OPAQUE and NONCE.
5913         (create_authorization_line): Detect authentication schemes
5914         case-insensitively.
5915
5916         * utils.c (touch): Constify.
5917
5918         * http.c (gethttp): Report a nicer error when no data is received.
5919
5920         * rbuf.h (RBUF_READCHAR): Ditto.
5921
5922         * ftp-basic.c (ftp_response): Use sizeof.
5923
5924 1998-04-27  Hrvoje Niksic  <hniksic@srce.hr>
5925
5926         * retr.c (print_percentage): EXPECTED is long, not int.
5927         (print_percentage): Use floating-point arithmetic to avoid
5928         overflow with large files' sizes multiplied with 100.
5929
5930 1998-04-27  Gregor Hoffleit  <flight@mathi.uni-heidelberg.de>
5931
5932         * config.h.in: Added pid_t stub.
5933
5934         * sysdep.h (S_ISREG): Moved here from mswindows.h (NeXT doesn't
5935         define it).
5936
5937 1998-04-20  Hrvoje Niksic  <hniksic@srce.hr>
5938
5939         * version.c: Wget 1.5.0 is released.
5940
5941 1998-04-18  Hrvoje Niksic  <hniksic@srce.hr>
5942
5943         * url.c (str_url): Ditto.
5944
5945         * ftp-basic.c (ftp_rest): Use new name.
5946
5947         * utils.c (long_to_string): Renamed from prnum().
5948
5949 1998-04-16  Hrvoje Niksic  <hniksic@srce.hr>
5950
5951         * version.c: Wget 1.5-b17 is released.
5952
5953 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
5954
5955         * headers.c (header_get): New argument FLAGS.
5956
5957         * http.c (gethttp): If request is malformed, bail out of the
5958         header loop.
5959         (gethttp): Check for empty header *after* the status line checks.
5960         (gethttp): Disallow continuations for status line.
5961
5962 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
5963
5964         * version.c: Wget 1.5-b16 is released.
5965
5966 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
5967
5968         * init.c (commands): Renamed `always_rest' to `continue'.
5969
5970 1998-04-05  Hrvoje Niksic  <hniksic@srce.hr>
5971
5972         * all: Use it.
5973
5974         * log.c (logputs): New argument.
5975         (logvprintf): Ditto.
5976         (logprintf): Ditto.
5977
5978 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
5979
5980         * http.c (http_atotm): Update comment.
5981
5982         * main.c (i18n_initialize): Set LC_MESSAGES, not LC_ALL.
5983
5984         * wget.h: Renamed ENABLED_NLS to HAVE_NLS.
5985
5986         * main.c (i18n_initialize): New function.
5987         (main): Use it.
5988
5989         * log.c: Include <unistd.h>.
5990
5991         * retr.c (show_progress): Cast alloca to char *.
5992
5993 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
5994
5995         * version.c: Wget 1.5-b15 is released.
5996
5997 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
5998
5999         * utils.h: Declare file_non_directory_p().
6000
6001 1998-04-03  Hrvoje Niksic  <hniksic@srce.hr>
6002
6003         * main.c (main): It's `tries', not `numtries' now.
6004
6005 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
6006
6007         * init.c (getperms): Removed.
6008
6009 1998-04-01  Tim Charron  <tcharron@interlog.com>
6010
6011         * log.c (logvprintf): Don't use ARGS twice.
6012
6013 1998-04-01  John  <john@futuresguide.com>
6014
6015         * mswindows.c: Cleaned up.
6016
6017 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
6018
6019         * version.c: Wget 1.5-b14 is released.
6020
6021 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
6022
6023         * ftp-opie.c (STRLEN4): New macro.
6024         (btoe): Use it.
6025
6026 1998-04-01  Junio Hamano  <junio@twinsun.com>
6027
6028         * http.c: Document all the Digest functions.
6029
6030 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
6031
6032         * utils.c (file_non_directory_p): Renamed from isfile().
6033
6034         * mswindows.h (S_ISREG): New macro, suggested by Tim Adam.
6035
6036 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
6037
6038         * utils.c (mkdirhier): Use 0777 instead of opt.dirmode.
6039
6040         * init.c (cmd_spec_dotstyle): Use 48 dots per line for binary
6041         style.
6042         (cmd_permissions): Removed.
6043
6044         * config.h.in: Add template for WORDS_BIGENDIAN.
6045
6046 1998-03-31  Junio Hamano  <junio@twinsun.com>
6047
6048         * http.c (HEXD2asc): New macro.
6049         (dump_hash): Use it.
6050
6051 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
6052
6053         * version.c: Wget 1.5-b13 is released.
6054
6055 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
6056
6057         * main.c (main): Don't try to use `com'.
6058
6059 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
6060
6061         * init.c (cmd_permissions): New function.
6062
6063 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
6064
6065         * version.c: Wget 1.5-b12 is released.
6066
6067 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
6068
6069         * init.c (commands): Renamed `numtries' to `tries'.
6070         (cmd_spec_debug): Removed.
6071         (home_dir): Under Windows, return `C:\' if HOME is undefined.
6072
6073 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
6074
6075         * config.h.in: Define _XOPEN_SOURCE.
6076
6077         * init.c (check_user_specified_header): New function.
6078         (cmd_spec_header): Use it.
6079         (cmd_spec_useragent): New function.
6080
6081 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
6082
6083         * version.c: Wget 1.5-b11 is released.
6084
6085 1998-03-28  Hrvoje Niksic  <hniksic@srce.hr>
6086
6087         * wget.h: Include <libintl.h> only if NLS is enabled.
6088
6089 1998-03-26  Hrvoje Niksic  <hniksic@srce.hr>
6090
6091         * options.h (struct options): Made `wait' a long.
6092         (struct options): Ditto for `timeout'.
6093
6094 1998-03-19  Hrvoje Niksic  <hniksic@srce.hr>
6095
6096         * utils.c (exists): Renamed to file_exists_p.
6097         (file_exists_p): Use access() if available.
6098
6099 1998-03-17  Hrvoje Niksic  <hniksic@srce.hr>
6100
6101         * utils.c (memfatal): Set save_log_p to 0 to avoid potential
6102         infloop.
6103
6104         * log.c: do_logging -> save_log_p.
6105
6106         * config.h.in: Added template for HAVE_VSNPRINTF.
6107
6108 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
6109
6110         * init.c: Ditto.
6111
6112         * http.c: Protect declaration against non-ANSI compiler.
6113
6114         * log.c (logvprintf): Use vsnprintf() if available.
6115
6116         * getopt.c (main): Don't translate test stuff.
6117
6118 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
6119
6120         * version.c: Wget 1.5-b10 is released.
6121
6122 1998-03-11  Hrvoje Niksic  <hniksic@srce.hr>
6123
6124         * ftp.c (getftp): Don't translate "CWD %s".
6125
6126         * wget.h (GCC_FORMAT_ATTR): Renamed from FORMAT_ATTR.
6127
6128 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
6129
6130         * ftp-opie.c (btoe): Use memcpy() instead of strncat().
6131
6132         * log.c (logputs): New function.
6133         (logvprintf): Renamed from vlogmsg; use logputs().
6134
6135         * retr.c (show_progress): Print `[100%]' when the retrieval is
6136         finished.
6137
6138         * init.c (run_wgetrc): Use FILE, not PATH.
6139         (wgetrc_file_name): Ditto.
6140
6141 1998-03-07  Tim Adam  <tma@osa.com.au>
6142
6143         * recur.c (parse_robots): Correctly reset `entries' on empty
6144         disallow.
6145
6146 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
6147
6148         * init.c (cmd_spec_debug): Use cmd_boolean().
6149
6150 1998-02-23  Hrvoje Niksic  <hniksic@srce.hr>
6151
6152         * http.c (gethttp): Create proxy-authorization correctly.
6153
6154 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
6155
6156         * md5.c: Ditto.
6157
6158         * getopt.c: Use ANSI function definitions.
6159
6160         * ftp-opie.c: New file.
6161
6162         * options.h: Don't redefine EXTERN.
6163
6164         * init.c: Sort it correctly.
6165
6166 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
6167
6168         * version.c: Wget 1.5-b9 is released.
6169
6170 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
6171
6172         * recur.c (recursive_retrieve): Reset `first_time'.
6173
6174         * ftp.c (getftp): Added `default' clause to switches of uerr_t.
6175
6176         * rbuf.c (rbuf_peek): Simplified.
6177         (rbuf_flush): Use MINVAL.
6178
6179         * wget.h (MINVAL): Moved from url.h.
6180
6181         * rbuf.h (RBUF_FD): New macro.
6182
6183         * url.c (add_url): Add to the head of the list.
6184
6185         * ftp.c (ftp_retrieve_list): Set the permissions to downloaded
6186         file.
6187         (getftp): Set the default permissions to 0600.
6188
6189 1998-02-21  Hrvoje Niksic  <hniksic@srce.hr>
6190
6191         * url.c (get_urls_html): Ditto.
6192         (convert_links): Ditto.
6193
6194         * recur.c (parse_robots): Ditto.
6195
6196         * html.c (ftp_index): Ditto.
6197
6198         * ftp-ls.c (ftp_parse_unix_ls): Open file as binary.
6199
6200         * init.c (defaults): Initialize `opt' to zero via memset.
6201
6202         * http.c (digest_authentication_encode): goto considered harmful.
6203
6204 1998-02-19  Hrvoje Niksic  <hniksic@srce.hr>
6205
6206         * ftp.c (delelement): Simplify and fix leak.
6207
6208 1998-02-18  Hrvoje Niksic  <hniksic@srce.hr>
6209
6210         * http.c (dump_hash): Use HEXD2ASC instead of home-grown stuff.
6211
6212         * url.h (HEXD2ASC): Removed warning.
6213
6214         * init.c (comind): Use binary search.
6215         (commands): Reorganized.
6216         (setval): Ditto.
6217         (cmd_boolean): New function.
6218         (cmd_number): Ditto.
6219         (cmd_number_inf): Ditto.
6220         (cmd_string): Ditto.
6221         (cmd_vector): Ditto.
6222         (cmd_directory_vector): Ditto.
6223         (cmd_bytes): Ditto.
6224         (cmd_time): Ditto.
6225         (cmd_spec_debug): Ditto.
6226         (cmd_spec_dirmode): Ditto.
6227         (cmd_spec_dirstruct): Ditto.
6228         (cmd_spec_dotstyle): Ditto.
6229         (cmd_spec_header): Ditto.
6230         (cmd_spec_htmlify): Ditto.
6231         (cmd_spec_mirror): Ditto.
6232         (cmd_spec_outputdocument): Ditto.
6233         (cmd_spec_recursive): Ditto.
6234         (settime): Merged with cmd_time().
6235         (setbytes): Merged with cmd_bytes().
6236         (setonoff): Merged with cmd_boolean().
6237         (onoff): Ditto.
6238
6239 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
6240
6241         * Makefile.in (distclean): Remove `config.h'.
6242
6243 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
6244
6245         * version.c: Wget 1.5-b8 is released.
6246
6247 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
6248
6249         * http.c (digest_authentication_encode): New function.
6250         (create_authorization_line): Use it.
6251         (dump_hash): New function.
6252         (digest_authentication_encode): Use it.
6253
6254         * fnmatch.c: Renamed from `mtch.c'.
6255
6256 1998-02-15  Karl Eichwalder  <ke@suse.de>
6257
6258         * main.c (main): Tag "Written by..." string as translatable.
6259
6260 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
6261
6262         * wget.h (FREE_MAYBE): New macro.
6263
6264         * http.c (create_authorization_line): Don't use ANSI C string
6265         concatenation feature.
6266         (basic_authentication_encode): Use alloca() for temporary
6267         variables.
6268
6269         * recur.h: Ditto.
6270
6271         * http.c: Ditto.
6272
6273         * headers.h: Ditto.
6274
6275         * ftp-basic.c: Protect declaration against non-ANSI compiler.
6276
6277         * http.c (create_authorization_line): Cast `unsigned char *' to
6278         `char *' for sprintf, to shut up the noisy Digital Unix cc.
6279
6280 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
6281
6282         * version.c: Wget 1.5-b7 is released.
6283
6284 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
6285
6286         * cmpt.c (strstr): Synched with glibc-2.0.6.
6287
6288         * ftp-basic.c (calculate_skey_response): Ditto.
6289         (calculate_skey_response): Use alloca().
6290
6291         * http.c (create_authorization_line): Work with FSF's version of
6292         md5.c.
6293
6294         * md5.c: New file, from GNU libc.
6295
6296 1998-02-14  Hrvoje Niksic  <hniksic@srce.hr>
6297
6298         * url.h (URL_CLEANSE): Name the temporary variable more carefully.
6299
6300 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
6301
6302         * http.c (basic_authentication_encode): New function, instead of
6303         the macro.
6304
6305 1998-02-13  Junio Hamano  <junio@twinsun.com>
6306
6307         * http.c: Add HTTP-DA support.
6308         * ftp-basic.c: Add Opie/S-key support.
6309         * config.h.in, Makefile.in: Add HTTP-DA and Opie/S-key support.
6310         * md5.c, md5.h: New files.
6311
6312 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
6313
6314         * http.c (http_process_range): Renamed from hprocrange().
6315         (http_process_range): Parse the whole header.
6316
6317         * headers.c: New file.
6318         (header_process): New function.
6319         (header_get): Renamed from fetch_next_header.
6320
6321         * all: Include utils.h only where necessary.
6322
6323         * wget.h: Declare xmalloc(), xrealloc() and xstrdup() here.
6324
6325         * wget.h: Add provisions for dmalloc.
6326
6327 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
6328
6329         * version.c: Wget 1.5-b6 is released.
6330
6331 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
6332
6333         * ftp.c (ftp_loop): Determine `filename' more precisely.
6334
6335         * init.c (setval): Don't set `opt.quiet' if output-document is
6336         `-'.
6337
6338         * log.c (log_init): Print to STDERR instead of STDOUT.
6339         (vlogmsg): Use STDERR by default.
6340         (logflush): Ditto.
6341
6342 1998-02-11  Simon Josefsson  <jas@pdc.kth.se>
6343
6344         * host.c: Use addr_in again.
6345
6346 1998-02-08  Karl Eichwalder  <karl@suse.de>
6347
6348         * http.c (gethttp): Fixed typo.
6349
6350 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
6351
6352         * version.c: Wget 1.5-b5 is released.
6353
6354 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
6355
6356         * retr.c (show_progress): Use it.
6357
6358         * log.c (logflush): New function.
6359
6360         * wget.h: Utilize __attribute__ if on gcc.
6361
6362 1998-02-07  Hrvoje Niksic  <hniksic@srce.hr>
6363
6364         * http.c (base64_encode_line): New argument LENGTH.
6365         (BASIC_AUTHENTICATION_ENCODE): Use it.
6366         (BASIC_AUTHENTICATION_ENCODE): Take length of HEADER into account.
6367
6368         * main.c (main): Fixed fprintf() format mismatch.
6369
6370 1998-02-06  Hrvoje Niksic  <hniksic@srce.hr>
6371
6372         * version.c: Wget 1.5-b4 is released.
6373
6374 1998-02-03  Simon Josefsson  <jas@pdc.kth.se>
6375
6376         * host.c: use sockaddr_in instead of addr_in.
6377
6378 1998-02-04  Hrvoje Niksic  <hniksic@srce.hr>
6379
6380         * init.c (cleanup): Use it.
6381
6382         * recur.c (recursive_cleanup): New function.
6383
6384         * retr.c (retrieve_from_file): Ditto.
6385
6386         * main.c (main): Use it.
6387
6388         * recur.c (recursive_reset): New function.
6389
6390         * retr.c (retrieve_from_file): Ditto.
6391
6392         * main.c (main): Simplify call to recursive_retrieve().
6393
6394         * recur.c (recursive_retrieve): Removed FLAGS argument.
6395
6396         * http.c (gethttp): Changed call to iwrite().
6397
6398 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
6399
6400         * url.c (get_urls_html): Ditto.
6401         (free_urlpos): Ditto.
6402         (mkstruct): Ditto.
6403         (construct): Ditto.
6404
6405         * retr.c (retrieve_url): Move declaration of local variables to
6406         smaller scope.
6407
6408         * url.c (urlproto): Use it.
6409         (parseurl): Ditto.
6410         (str_url): Ditto.
6411         (get_urls_html): Ditto.
6412
6413         * utils.h (ARRAY_SIZE): New macro.
6414
6415         * url.c (proto): Moved from url.h.
6416
6417         * url.h (URL_CLEANSE): Reformatted.
6418         (USE_PROXY_P): Renamed from USE_PROXY.
6419
6420         * ftp-basic.c: Adjust to the new interface of iwrite().
6421
6422         * ftp-basic.c (ftp_port): Use alloca().
6423
6424 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
6425
6426         * version.c: Wget 1.5-b3 is released.
6427
6428         * host.c (ftp_getaddress): Don't print to stderr directly.
6429
6430         * init.c (setbytes): Support `g' for gigabytes.
6431         (cmdtype): New specification CTIME.
6432         (setval): Use it with settime().
6433         (commands): Use it for WAIT and TIMEOUT.
6434
6435 1998-02-02  Hrvoje Niksic  <hniksic@srce.hr>
6436
6437         * http.c (BASIC_AUTHENTICATION_ENCODE): New macro.
6438         (gethttp): Use it.
6439
6440         * utils.c (unique_name_1): Moved from url.c.
6441         (unique_name): Ditto.
6442
6443         * url.c (url_filename): Ditto.
6444
6445         * log.c (redirect_output): Changed call to unique_name().
6446
6447         * url.c (unique_name_1): Renamed from unique_name().
6448         (unique_name): Changed interface.
6449
6450         * init.c (enum cmdid): Moved from init.h.
6451         (cmdtype): Ditto.
6452         (struct cmd): Ditto.
6453
6454         * main.c (main): Use it.
6455         (main): Moved `--backups' to not have a short option.
6456
6457         * options.h (struct options): New member BACKGROUND.
6458
6459         * main.c (print_help): Rearranged.
6460         (main): New long options for -n* short options: --no-directories,
6461         --no-host-directories, --non-verbose, --no-host-lookup and
6462         --dont-remove-listing.
6463
6464 1998-02-01  Hrvoje Niksic  <hniksic@srce.hr>
6465
6466         * main.c (main): Use log_close().
6467
6468         * log.c: New variable LOGFP.
6469         (vlogmsg): Use it.
6470         (redirect_output): Don't open /dev/null; set LOGFP to stdin
6471         instead.
6472         (log_close): New function.
6473
6474         * options.h (struct options): Removed LFILE.
6475
6476         * log.c (log_enable): Removed.
6477
6478         * main.c (main): Use it.
6479
6480         * log.c (log_init): New function.
6481
6482         * url.c (get_urls_html): Removed needless assignment to BASE.
6483
6484         * host.c (add_hlist): Don't set CMP needlessly.
6485
6486         * utils.c (match_backwards): Ditto.
6487         (in_acclist): Ditto.
6488
6489         * url.c (findurl): Ditto.
6490
6491         * netrc.c (parse_netrc): Ditto.
6492
6493         * log.c (log_dump): Ditto.
6494
6495         * html.c (html_quote_string): Ditto.
6496
6497         * ftp-basic.c (ftp_request): Made static.
6498
6499         * connect.c: Made global variables static.
6500
6501         * url.c (construct): Ditto.
6502
6503         * init.c (init_path): Avoid assignment inside `if'-condition.
6504
6505         * ftp.c: Don't include in.h or winsock.h.
6506
6507         * ftp.c (ftp_loop): Use SZ.
6508
6509         * connect.c (bindport): Cast &addrlen to int *.
6510         (conaddr): Ditto.
6511
6512         * init.c (initialize): Don't use SYSTEM_WGETRC unconditionally.
6513
6514 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
6515
6516         * ftp.c (getftp): Initialize opt.ftp_pass here.
6517         (ftp_retrieve_dirs): Use alloca().
6518
6519         * init.c (defaults): Don't initialize opt.ftp_pass.
6520
6521         * sysdep.h (S_ISLNK): Declare for OS/2; ditto for lstat.
6522         From Ivan F. Martinez <ivanfm@ecodigit.com.br>.
6523
6524 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
6525
6526         * recur.c (parse_robots): Check for comments more correctly.
6527
6528         * host.c (ftp_getaddress): Use STRDUP_ALLOCA.
6529         (ftp_getaddress): Add diagnostics when reverse-lookup yields only
6530         hostname.
6531
6532 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
6533
6534         * version.c: Wget 1.5-b2 is released.
6535
6536         * netrc.c (NETRC_FILE_NAME): Moved from netrc.h.
6537
6538         * utils.c (proclist): Pass FNM_PATHNAME to fnmatch().
6539
6540         * ftp-basic.c (ftp_pasv): Avoid unnecessary casting to unsigned
6541         char.
6542
6543         * log.c: Don't attempt to hide arguments from ansi2knr.
6544
6545         * cmpt.c: Synched strptime() and mktime() with glibc-2.0.6.
6546
6547         * ansi2knr.c: Use a later version, from fileutils-3.16l alpha.
6548
6549         * ftp.c (getftp): Ditto.
6550
6551         * http.c (gethttp): Use it.
6552
6553         * retr.c (get_contents): New argument EXPECTED; pass it to
6554         show_progress().
6555         (show_progress): New argument EXPECTED; use it to display
6556         percentages.
6557
6558         * init.c (setval): Ditto.
6559
6560         * http.c (gethttp): Ditto.
6561         (http_loop): Ditto.
6562
6563         * ftp.c (getftp): Ditto.
6564         (ftp_loop_internal): Ditto.
6565
6566         * ftp-ls.c (ftp_parse_unix_ls): Use abort() instead of assert(0).
6567
6568         * sysdep.h (CLOSE): Simplify; use DEBUGP.
6569
6570         * netrc.c (search_netrc): Use alloca().
6571
6572         * init.c (defaults): Initialize no_flush.
6573
6574         * log.c (vlogmsg): Don't flush if no_flush.
6575
6576         * options.h (struct options): New variable no_flush.
6577
6578         * main.c (main): Don't play games with buffering.
6579
6580         * log.c (vlogmsg): Flush the output after every message.
6581
6582 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
6583
6584         * init.c (parse_line): Ditto.
6585
6586         * url.c (get_urls_html): Ditto.
6587
6588         * main.c (main): Don't cast to unsigned char.
6589
6590         * init.c (run_wgetrc): Don't cast to unsigned char.
6591         (parse_line): Accept char instead of unsigned char.
6592
6593         * html.c (htmlfindurl): Use char instead of unsigned char.
6594
6595         * all: Use them.
6596
6597         * sysdep.h: Add wrappers to ctype macros to make them
6598         eight-bit-clean:
6599
6600 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
6601
6602         * html.c (htmlfindurl): Download <img lowsrc=...>
6603
6604         * main.c (main): Ignore SIGPIPE.
6605
6606         * connect.c (select_fd): New argument WRITEP.
6607         (iwrite): Call select_fd().
6608
6609 1997-02-27  Fila Kolodny <fila@ibi.com>
6610
6611         * ftp.c (ftp_retrieve_list): If retrieving symlink and the proper
6612         one already exists, just skip it.
6613
6614 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
6615
6616         * http.c (gethttp): Cosmetic changes.
6617
6618         * http.c (check_end): Allow `+D...' instead of `GMT'.
6619         From Fabrizio Pollastri <pollastri@cstv.to.cnr.it>.
6620
6621         * url.c (process_ftp_type): New function.
6622         (parseurl): Use it.
6623
6624         * connect.c (iwrite): Allow writing in a few chunks.
6625         (bindport): Made SRV static, so addr can point to it.
6626         (select_fd): Removed HPUX kludge.
6627
6628         * host.c (free_hlist): Incorporated into clean_hosts().
6629
6630 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
6631
6632         * host.c (hlist): Made static.
6633         (search_address): Cosmetic change.
6634
6635 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
6636
6637         * version.c: Wget v1.5-b1 is released.
6638
6639         * http.c (hgetlen): Use sizeof() to get the header length.
6640         (hgetrange): Ditto.
6641         (hgettype): Ditto.
6642         (hgetlocation): Ditto.
6643         (hgetmodified): Ditto.
6644         (haccepts_none): Ditto.
6645
6646         * main.c (main): Updated `--version' and `--help' output, as per
6647         Francois Pinard's suggestions.
6648
6649         * main.c: Include locale.h; call setlocale(), bindtextdomain() and 
6650         textdomain().
6651
6652         * config.h.in: Define stubs for I18N3.
6653
6654         * wget.h: Include libintl.h.
6655
6656 1998-01-28  Hrvoje Niksic  <hniksic@srce.hr>
6657
6658         * url.c (mkstruct): Check for opt.cut_dirs.
6659         (mkstruct): alloca()-te more, xmalloc() less.
6660
6661         * utils.c (load_file): Check for ferror().
6662
6663         * url.c (get_urls_file): Close only the files we opened.
6664         (get_urls_html): Ditto.
6665         (count_slashes): New function.
6666
6667         * http.h: Removed.
6668
6669         * http.c (gethttp): Respect username and password provided by
6670         proxy URL.
6671         (base64_encode_line): Write into an existing buffer instead of
6672         malloc-ing a new one.
6673         (struct http_stat): Moved from http.h
6674
6675         * retr.c (retrieve_url): Free SUF.
6676
6677         * all: Removed lots of unnecessary .h dependencies.
6678
6679         * html.c (global_state): Made static.
6680
6681         * utils.h (ALLOCA_ARRAY): New macro.
6682
6683         * main.c (main): New option `--cut-dirs'.
6684
6685         * url.c (construct): Use alloca() for T.
6686
6687         * utils.c (mkdirhier): Use STRDUP_ALLOCA.
6688
6689         * host.c (_host_t): Moved from host.h.
6690         (struct host): Renamed from _host_t.
6691         (store_hostaddress): Use STRDUP_ALLOCA for INET_S.
6692         (realhost): Ditto.
6693
6694         * host.h: Don't include url.h.
6695
6696         * ftp.c (LIST_FILENAME): Moved from ftp.h.
6697
6698         * init.c (DEFAULT_FTP_ACCT): Moved from ftp.h.
6699
6700         * main.c (main): Enable log if the output goes to a TTY.
6701
6702         * connect.h: Removed unused constant `BACKLOG'.
6703
6704         * config.h.in: Check for isatty().
6705
6706         * Makefile.in (LINK): Use CFLAGS when linking.
6707
6708 1998-01-27  Hrvoje Niksic  <hniksic@srce.hr>
6709
6710         * mswindows.c (ws_hangup): Use redirect_output().
6711
6712         * main.c (redirect_output_signal): New function; use
6713         redirect_output().
6714
6715         * log.c (redirect_output): New function, based on hangup(), which
6716         is deleted.
6717
6718         * log.c (vlogmsg): New function.
6719
6720         * wget.h (DEBUGP): Use debug_logmsg().
6721
6722         * main.c (hangup): Use it.
6723
6724         * log.c (log_dump): New function.
6725
6726         * utils.h (DO_REALLOC): Use `long' for various sizes.
6727
6728         * http.c (hskip_lws): Use `while', for clarity.
6729         (HTTP_DYNAMIC_LINE_BUFFER): New constant.
6730         (fetch_next_header): Use it instead of DYNAMIC_LINE_BUFFER.
6731
6732         * ftp-basic.c (FTP_DYNAMIC_LINE_BUFFER): New constant.
6733         (ftp_response): Use it instead of DYNAMIC_LINE_BUFFER.
6734
6735         * utils.c (DYNAMIC_LINE_BUFFER): Moved from utils.c.
6736         (LEGIBLE_SEPARATOR): Ditto.
6737         (FILE_BUFFER_SIZE): Ditto.
6738
6739         * retr.c (BUFFER_SIZE): Moved from retr.h.
6740
6741         * log.c: New file.
6742         (logmsg): Moved from utils.c.
6743         (debug_logmsg): New function.
6744
6745         * mswindows.h: Include it here.
6746
6747         * init.c: Ditto.
6748
6749         * utils.c: Don't include <windows.h>.
6750
6751 1998-01-25  Hrvoje Niksic  <hniksic@srce.hr>
6752
6753         * host.c (ftp_getaddress): Ditto.
6754
6755         * main.c (main): Use it.
6756
6757         * utils.h (STRDUP_ALLOCA): New macro.
6758
6759         * init.c: Prepend `wget: ' to error messages printed on stderr.
6760
6761         * utils.c (mkdirhier): Renamed from mymkdir.
6762         (touch): Renamed from my_touch.
6763         (pwd_cuserid): Renamed from my_cuserid().
6764
6765 1998-01-24  Andy Eskilsson  <andy.eskilsson@telelogic.se>
6766
6767         * utils.c (accdir): Process wildcards.
6768         (proclist): New function.
6769         (accdir): Use it to avoid code repetition.
6770
6771 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
6772
6773         * recur.c (parse_robots): Respect opt.useragent; use alloca().
6774
6775         * http.c (gethttp): Construct useragent accordingly.
6776
6777         * version.c: Changed version string to numbers-only.
6778
6779         * main.c (print_help): List all the options.
6780
6781         * mswindows.c (windows_main_junk): Initialize argv0 here.
6782
6783 1998-01-24  Karl Heuer  <kwzh@gnu.org>
6784
6785         * netrc.c (search_netrc): Initialize `l' only after processing
6786         netrc.
6787
6788         * main.c (main): Don't trap SIGHUP if it's being ignored.
6789
6790 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
6791
6792         * all: Use logmsg().
6793
6794         * utils.c (time_str): Moved from retr.c.
6795         (logmsg): New function.
6796         (logmsg_noflush): Ditto.
6797
6798         * rbuf.c: New file, moved buf_* functions here.
6799
6800         * ftp.c (ftp_expected_bytes): Moved from ftp-basic.c.
6801
6802         * ftp-basic.c (ftp_rest): Use prnum().
6803
6804         * ftp-basic.c: Ditto.
6805
6806         * ftp.c: Use the new reading functions and macros.
6807
6808         * retr.c (buf_initialize): New function.
6809         (buf_initialized_p): Ditto.
6810         (buf_uninitialize): Ditto.
6811         (buf_fd): Ditto.
6812
6813         * http.c (fetch_next_header): Use the BUF_READCHAR macro for
6814         efficiency.
6815         (gethttp): Use alloca() where appropriate.
6816
6817         * retr.c (buf_readchar): Use it.
6818         (buf_peek): Use rstreams.
6819
6820         * retr.h (BUF_READCHAR): New macro.
6821
6822         * init.c (home_dir): Rewritten for clarity.
6823         (init_path): Ditto.
6824
6825         * mswindows.c (ws_backgnd): Made static.
6826         (read_registry): Ditto.
6827         (ws_cleanup): Ditto.
6828         (ws_handler): Ditto.
6829
6830 1998-01-23  Hrvoje Niksic  <hniksic@srce.hr>
6831
6832         * alloca.c: New file.
6833
6834         * Makefile.in (ALLOCA): Define.
6835
6836         * mswindows.c (ws_help): Constify.
6837         (ws_help): Use alloca.
6838
6839         * mswindows.c: Reformat.
6840
6841         * all: Added _(...) annotations for I18N snarfing and translation.
6842
6843         * host.c (ftp_getaddress): Nuke SYSINFO.
6844         (ftp_getaddress): Don't use getdomainname().
6845         (ftp_getaddress): Use uname(), where available.
6846
6847         * http.c (gethttp): Protect a stray fprintf().
6848
6849         * init.c (settime): New function.
6850         (setval): Treat WAIT specially, allowing suffixes like `m' for
6851         minutes, etc.
6852
6853 1998-01-21  Hrvoje Niksic  <hniksic@srce.hr>
6854
6855         * url.c (get_urls_html): Use alloca() for TEMP.
6856
6857 1998-01-21  Jordan Mendelson  <jordy@wserv.com>
6858
6859         * url.c (rotate_backups): New function.
6860
6861         * http.c (gethttp): Ditto.
6862
6863         * ftp.c (getftp): Rotate backups.
6864
6865 1997-12-18  Hrvoje Niksic  <hniksic@srce.hr>
6866
6867         * all: Renamed nmalloc(), nrealloc() and nstrdup() to xmalloc(),
6868         xrealloc() and xstrdup().  Use the new functions.
6869
6870         * url.c (decode_string): Made static.
6871         (has_proto): Ditto.
6872         (parse_dir): Ditto.
6873         (parse_uname): Ditto.
6874         (mkstruct): Ditto.
6875         (construct): Ditto.
6876         (construct_relative): Ditto.
6877
6878         * retr.c (show_progress): Made static.
6879
6880         * recur.c (robots_url): Made static.
6881         (retrieve_robots): Ditto.
6882         (parse_robots): Ditto.
6883         (robots_match): Ditto.
6884
6885         * main.h: Removed.
6886
6887         * main.c (printhelp): Made static.
6888         (hangup): Ditto.
6889
6890         * init.c (comind): Made static.
6891         (defaults): Ditto.
6892         (init_path): Ditto.
6893         (run_wgetrc): Ditto.
6894         (onoff): Ditto.
6895         (setonoff): Ditto.
6896         (setnum): Ditto.
6897         (myatoi): Ditto.
6898         (getperms): Ditto.
6899         (setbytes): Ditto.
6900
6901         * http.c (fetch_next_header): Made static.
6902         (hparsestatline): Ditto.
6903         (hskip_lws): Ditto.
6904         (hgetlen): Ditto.
6905         (hgetrange): Ditto.
6906         (hgettype): Ditto.
6907         (hgetlocation): Ditto.
6908         (hgetmodified): Ditto.
6909         (haccepts_none): Ditto.
6910         (gethttp): Ditto.
6911         (base64_encode_line): Ditto.
6912         (mktime_from_utc): Ditto.
6913         (http_atotm): Ditto.
6914
6915         * html.c (idmatch): Made static.
6916
6917         * host.c (search_host): Made static.
6918         (search_address): Ditto.
6919         (free_hlist): Ditto.
6920
6921         * ftp.c (getftp): Made static.
6922         (ftp_loop_internal): Ditto.
6923         (ftp_get_listing): Ditto.
6924         (ftp_retrieve_list): Ditto.
6925         (ftp_retrieve_dirs): Ditto.
6926         (ftp_retrieve_glob): Ditto.
6927         (freefileinfo): Ditto.
6928         (delelement): Ditto.
6929
6930         * ftp-ls.c (symperms): Made static.
6931         (ftp_parse_unix_ls): Ditto.
6932
6933         * connect.c (select_fd): Made static.
6934
6935         * utils.c (xmalloc): Renamed from nmalloc.
6936         (xrealloc): Renamed from nrealloc.
6937         (xstrdup): Renamed from nstrdup.
6938
6939         * getopt.c (exchange): Use alloca.
6940
6941         * mswindows.c (mycuserid): Use strncpy.
6942
6943         * New files mswindows.c, mswindows.h, sysdep.h.  winjunk.c,
6944         systhings.h, windecl.h and winjunk.h removed.
6945
6946         * mswindows.c (sleep): New function.
6947
6948         * utils.c: Include <windows.h> under Windows.
6949
6950 1997-06-12  Darko Budor  <dbudor@zesoi.fer.hr>
6951
6952         * url.h (URL_UNSAFE): Change default under Windows.
6953
6954         * retr.c (retrieve_from_file): Respect opt.delete_after.
6955
6956         * main.c (main): Call ws_help on Windows.
6957
6958         * winjunk.c (windows_main_junk): New function.
6959
6960         * main.c (main): Junk-process argv[0].
6961
6962         * http.c (mktime_from_utc): Return -1 if mktime failed.
6963
6964         * http.c (http_loop): Ditto.
6965
6966         * ftp.c (ftp_loop_internal): Change title on Windows when using a
6967         new URL.
6968
6969         * winjunk.c (getdomainname): Lots of functions.
6970
6971 1997-06-12  Hrvoje Niksic  <hniksic@srce.hr>
6972
6973         * cmpt.c (strptime_internal): Handle years more correctly for
6974         `%y'.
6975
6976 1997-06-09  Mike Thomas <mthomas@reality.ctron.com>
6977
6978         * http.c (gethttp): Allocate enough space for
6979         `Proxy-Authorization' header.
6980
6981 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
6982
6983         * version.c: Wget/1.4.5 is released.
6984
6985 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
6986
6987         * retr.c (get_contents): Check return value of fwrite more
6988         carefully.
6989
6990 1997-03-30  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
6991
6992         * cmpt.c (strptime_internal) [case 'Y']: Always subtract 1900 from
6993         year, regardless of century.
6994
6995 1997-03-30  Hrvoje Niksic  <hniksic@srce.hr>
6996
6997         * utils.c (isfile): Use `lstat' instead of `stat'.
6998
6999 1997-03-29  Hrvoje Niksic  <hniksic@srce.hr>
7000
7001         * utils.c (numdigit): Use explicit test.
7002
7003 1997-03-21  Hrvoje Niksic  <hniksic@srce.hr>
7004
7005         * http.c (http_loop): Always use `url_filename' to get u->local.
7006
7007 1997-03-20  Hrvoje Niksic  <hniksic@srce.hr>
7008
7009         * url.c: Recognize https.
7010
7011 1997-03-13  Hrvoje Niksic  <hniksic@srce.hr>
7012
7013         * recur.c (recursive_retrieve): Lowercase just the host name.
7014
7015 1997-03-09  Hrvoje Niksic  <hniksic@srce.hr>
7016
7017         * url.c (get_urls_file): Use the correct test.
7018         (get_urls_html): Ditto.
7019
7020 1997-03-07  Hrvoje Niksic  <hniksic@srce.hr>
7021
7022         * connect.c: Reverted addrlen to int.
7023
7024         * init.c (parse_line): Check for -1 instead of NONE.
7025
7026         * version.c: Changed version to 1.4.5.
7027
7028 1997-02-17  Hrvoje Niksic  <hniksic@srce.hr>
7029
7030         * init.c: New option netrc.
7031         (initialize): Don't parse .netrc.
7032
7033         * cmpt.c (recursive): Return rp.
7034         (strptime_internal): Match the long strings first, the abbreviated
7035         second.
7036
7037 1997-02-16  Hrvoje Niksic  <hniksic@srce.hr>
7038
7039         * http.c (check_end): New function.
7040         (http_atotm): Use it.
7041  
7042 1997-02-13  gilles Cedoc  <gilles@cedocar.fr>
7043
7044         * http.c (gethttp): Use them.
7045
7046         * init.c: New options proxy_user and proxy_passwd.
7047
7048 1997-02-14  Hrvoje Niksic  <hniksic@srce.hr>
7049
7050         * ftp.c (ftp_retrieve_list): Create links even if not relative.
7051
7052 1997-02-10  Hrvoje Niksic  <hniksic@srce.hr>
7053
7054         * recur.c (recursive_retrieve): Lowercase the host name, if the
7055         URL is not "optimized".
7056
7057         * host.c (realhost): Return l->hostname, even if it matches with
7058         host.
7059
7060 1997-02-10  Marin Purgar  <pmc@asgard.hr>
7061
7062         * connect.c: Make addrlen size_t instead of int.
7063         (conaddr): Ditto.
7064
7065 1997-02-09  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
7066
7067         * systhings.h: Define S_ISLNK on NeXT too.
7068
7069 1997-02-09  Hrvoje Niksic  <hniksic@srce.hr>
7070
7071         * version.c: Released 1.4.3.
7072
7073         * url.c: Futher update to list of protostrings.
7074         (skip_proto): Skip `//' correctly for FTP and HTTP.
7075
7076         * url.c (get_urls_html): Handle bogus `http:' things a little
7077         different.
7078
7079         * main.c (main): Removed `follow-ftp' from `f'.
7080         (main): Dumped the `prefix-files' and `file-prefix' options and
7081         features; old and bogus.
7082         (main): Exit on failed setval() in `-e'.
7083
7084         * http.c (fetch_next_header): Use it to detect header continuation
7085         correctly.
7086
7087         * retr.c (buf_peek): New function.
7088
7089 1997-02-08  Hrvoje Niksic  <hniksic@srce.hr>
7090
7091         * wget.h: Include time.h and stuff.
7092
7093 1997-02-08  Roger Beeman  <beeman@cisco.com>
7094
7095         * ftp.c: Include <time.h>
7096
7097 1997-02-07  Hrvoje Niksic  <hniksic@srce.hr>
7098
7099         * url.c (findurl): Would read over buffer limits.
7100
7101 1997-02-06  Hrvoje Niksic  <hniksic@srce.hr>
7102
7103         * ftp-ls.c (ftp_parse_unix_ls): Allow spaces in file names.
7104
7105 1997-02-05  Hrvoje Niksic  <hniksic@srce.hr>
7106
7107         * http.c (http_atotm): Initialize tm.is_dst.
7108
7109 1997-02-02  Hrvoje Niksic  <hniksic@srce.hr>
7110
7111         * http.c (gethttp): Don't print the number of retrieved headers.
7112
7113         * main.c (main): New option `--no-clobber', alias for `-nc'.
7114
7115         * url.c: Recognize `https://'.
7116
7117 1997-02-01  Hrvoje Niksic  <hniksic@srce.hr>
7118
7119         * host.c (herrmsg): Don't use h_errno.
7120
7121 1997-01-30  Hrvoje Niksic  <hniksic@srce.hr>
7122
7123         * host.c (accept_domain): Use it.
7124
7125         * main.c (main): New option `--exclude-domains'.
7126
7127         * retr.c (retrieve_url): Use it.
7128         (retrieve_url): Bail out when an URL is redirecting to itself.
7129
7130         * url.c (url_equal): New function.
7131
7132 1997-01-29  Hrvoje Niksic  <hniksic@srce.hr>
7133
7134         * connect.c: Include arpa/inet.h instead of arpa/nameser.h.
7135
7136         * http.c (mk_utc_time): New function.
7137         (http_atotm): Use it; handle time zones correctly.
7138
7139 1997-01-28  Hrvoje Niksic  <hniksic@srce.hr>
7140
7141         * http.c: Ditto.
7142
7143         * ftp-basic.c: Use it instead of WRITE.
7144
7145         * connect.c (iwrite): New function.
7146
7147 1997-01-27  Hrvoje Niksic  <hniksic@srce.hr>
7148
7149         * cmpt.c (mktime): New function.
7150
7151         * netrc.c: Include <sys/types.h>.
7152
7153         * main.c (main): Wouldn't recognize --spider.
7154
7155         * retr.c (rate): Use `B', `KB' and `MB'.
7156         (reset_timer,elapsed_time): Moved from utils.c.
7157
7158         * ftp.c (ftp_retrieve_list): Ditto.
7159
7160         * http.c (http_loop): Don't touch the file if opt.dfp.
7161
7162 1997-01-24  Hrvoje Niksic  <hniksic@srce.hr>
7163
7164         * cmpt.c: New file.
7165
7166         * ftp.c (ftp_retrieve_glob): New argument semantics.
7167         (ftp_retrieve_dirs): Use it.
7168         (ftp_loop): Ditto.
7169
7170         * html.c (htmlfindurl): Recognize `'' as the quote char.
7171
7172 1997-01-23  Hrvoje Niksic  <hniksic@srce.hr>
7173
7174         * ftp.c (ftp_loop_internal): Use it.
7175
7176         * utils.c (remove_link): New function.
7177
7178 1997-01-22  Hrvoje Niksic  <hniksic@srce.hr>
7179
7180         * retr.c (retrieve_url): Require STRICT redirection URL.
7181
7182         * url.c (parseurl): New argument STRICT.
7183
7184         * http.c (hparsestatline): Be a little-bit less strict about
7185         status line format.
7186
7187 1997-01-21  Hrvoje Niksic  <hniksic@srce.hr>
7188
7189         * http.c (gethttp): Use it.
7190
7191         * main.c (main): Don't use '<digit>' as options.
7192
7193         * init.c: New option ignore_length.
7194
7195         * http.c (gethttp): Ditto.
7196         (http_loop): Check for redirection without Location:.
7197         (gethttp): Don't print Length unless RETROKF.
7198
7199         * ftp.c (getftp): Use it.
7200
7201         * url.c (mkalldirs): New function.
7202
7203         * utils.c (mymkdir): Don't check for existing non-directory.
7204
7205         * url.c (mkstruct): Don't create the directory.
7206
7207 1997-01-20  Hrvoje Niksic  <hniksic@srce.hr>
7208
7209         * init.c (setval): Removed NO_RECURSION checks.
7210
7211 1997-01-19  Hrvoje Niksic  <hniksic@srce.hr>
7212
7213         * version.c: "Released" 1.4.3-pre2.
7214
7215         * recur.c (recursive_retrieve): Bypass host checking only if URL
7216         is ftp AND parent URL is not ftp.
7217
7218         * ftp-basic.c (ftp_request): Print out Turtle Power.
7219
7220         * ftp.c (ftp_loop): Call ftp_retrieve_glob with 0 if there's no
7221         wildcard.
7222         (ftp_retrieve_glob): Call ftp_loop_internal even on empty list, if
7223         not glob.
7224
7225         * http.c (gethttp): Be a little bit smarter about status codes.
7226
7227         * recur.c (recursive_retrieve): Always reset opt.recursive when
7228         dealing with FTP.
7229
7230 1997-01-18  Hrvoje Niksic  <hniksic@srce.hr>
7231
7232         * retr.c (retrieve_url): New variable location_changed; use it for
7233         tests instead of mynewloc.
7234         (retrieve_url): Allow heuristic adding of html.
7235
7236         * url.c (url_filename): Don't use the `%' in Windows file names.
7237
7238         * http.c (http_loop): Always time-stamp the local file.
7239
7240         * http.c (http_loop): Ditto.
7241
7242         * ftp.c (ftp_retrieve_list): Use it.
7243
7244         * utils.c (my_touch): New function.
7245
7246         * ftp.c (ftp_retrieve_list): Use #ifdef HAVE_STRUCT_UTIMBUF
7247         instead of #ifndef NeXT.
7248
7249         * utils.c (strptime): New version, by Ulrich Drepper.
7250
7251 1997-01-17  Hrvoje Niksic  <hniksic@srce.hr>
7252
7253         * http.c (haccepts_none): Renamed from `haccepts_bytes'.
7254         (gethttp): If haccepts_none(), disable ACCEPTRANGES.
7255         (http_loop): Would remove ACCEPTRANGES.
7256
7257         * ftp.c (getftp): Call ftp_list with NULL.
7258
7259 1997-01-15  Hrvoje Niksic  <hniksic@srce.hr>
7260
7261         * html.c (ftp_index): Don't print minutes and seconds if we don't
7262         know them; beautify the output.
7263
7264         * ftp.c (getftp): Don't close the socket on FTPNSFOD.
7265
7266 1997-01-14  Hrvoje Niksic  <hniksic@srce.hr>
7267
7268         * utils.c (strptime): New function.
7269         (strptime): Don't use get_alt_number.
7270         (strptime): Don't use locale.
7271         (match_string): Made it a function.
7272
7273 1997-01-12  Hrvoje Niksic  <hniksic@srce.hr>
7274
7275         * http.c (http_atotm): New function.
7276         (http_loop): Use it.
7277
7278         * atotm.c: Removed from the distribution.
7279
7280         * http.c (base64_encode_line): Rewrite.
7281
7282 1997-01-09  Hrvoje Niksic  <hniksic@srce.hr>
7283
7284         * ftp.c (getftp): Use ftp_expected_bytes; print size.
7285
7286         * ftp-basic.c (ftp_response): Use ftp_last_respline.
7287         (ftp_expected_bytes): New function.
7288
7289         * ftp.c (getftp): Print the unauthoritative file length.
7290
7291         * ftp-ls.c: Renamed from ftp-unix.c.
7292         (ftp_parse_ls): Moved from ftp.c.
7293         (ftp_parse_unix_ls): Recognize seconds in time spec.
7294         (ftp_parse_unix_ls): Recognize year-less dates of the previous
7295         year.
7296
7297 1997-01-08  Hrvoje Niksic  <hniksic@srce.hr>
7298
7299         * ftp-basic.c: Don't declare errno if #defined.
7300
7301         * host.c (ftp_getaddress): Check for sysinfo legally.
7302
7303 1997-01-08  Darko Budor  <dbudor@diana.zems.fer.hr>
7304
7305         * connect.c (iread): Use READ.
7306
7307 1996-12-23  Hrvoje Niksic  <hniksic@srce.hr>
7308
7309         * url.c: Recognize finger, rlogin, tn3270, mid and cid as valid
7310         schemes.
7311
7312 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
7313
7314         * host.c (ftp_getaddress): Allow `.' in hostname.
7315
7316 1996-12-26  Darko Budor <dbudor@zems.fer.hr>
7317
7318         * wget.h: READ and WRITE macros for use instead of read and write
7319         on sockets, grep READ *.c, grep WRITE *.c
7320
7321         * wsstartup.c: new file - startup for winsock
7322
7323         * wsstartup.h: new file
7324
7325         * win32decl.h: new file - fixup for <errno.h> and winsock trouble
7326
7327         * configure.bat: Configure utility for MSVC
7328
7329         * src/Makefile.ms,config.h.ms: new files for use with MSVC 4.x
7330
7331 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
7332
7333         * version.c: Released 1.4.3-pre.
7334
7335         * utils.c (prnum): Accept long.
7336         (legible): Use prnum().
7337
7338         * connect.c (make_connection): Accept port as short.
7339         (bindport): Ditto.
7340
7341         * http.c (gethttp): Use search_netrc.
7342
7343 1996-12-21  Hrvoje Niksic  <hniksic@srce.hr>
7344
7345         * ftp.c (getftp): Use search_netrc.
7346
7347         * netrc.c (free_netrc): New function.
7348
7349         * init.c (home_dir): New function.
7350
7351         * url.c (convert_links): Allow REL2ABS changes.
7352
7353 1996-12-21  Gordon Matzigkeit  <gord@gnu.ai.mit.edu>
7354
7355         * netrc.c: New file.
7356         (parse_netrc, maybe_add_to_list): New functions.
7357
7358 1996-12-17  Hrvoje Niksic  <hniksic@srce.hr>
7359
7360         * retr.c (retrieve_url): Reset opt.recursion before calling
7361         ftp_loop if it is reached through newloc.
7362
7363         * init.c (run_wgetrc): Print the wgetrc path too, when reporting
7364         error; don't use "Syntax error", since we don't know if it is
7365         really a syntax error.
7366
7367 1996-12-16  Hrvoje Niksic  <hniksic@srce.hr>
7368
7369         * utils.c (acceptable): Extract the filename part of the path.
7370
7371         * recur.c (recursive_retrieve): Call acceptable() with the right
7372         argument; would bug out on wildcards.
7373
7374         * init.c (parse_line): Likewise.
7375
7376         * html.c (htmlfindurl): Cast to char * when calling stuff.
7377
7378 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
7379
7380         * ftp.c (getftp): Use ftp_pasv.
7381
7382         * ftp-basic.c (ftp_request): Accept NULL value.
7383         (ftp_pasv): New function.
7384
7385         * options.h (struct options): Add passive FTP option.
7386
7387 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
7388
7389         * url.c (parseurl): Debug output.
7390
7391         * utils.c (path_simplify): New one, adapted from bash's
7392         canonicalize_pathname().
7393
7394 1996-12-14  Hrvoje Niksic  <hniksic@srce.hr>
7395
7396         * ftp.c (getftp): Don't discard the buffer.
7397
7398         * retr.c (get_contents): New parameter nobuf.
7399
7400 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
7401
7402         * html.c (htmlfindurl): Recognize <meta contents="d; URL=...".
7403
7404         * init.c (setval): Strip the trailing slashes on CVECDIR.
7405
7406 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
7407
7408         * init.c: Make excludes and includes under CVECDIR instead of
7409         CVEC.
7410
7411 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
7412
7413         * url.c (get_urls_html): Skip "http:".
7414
7415 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
7416
7417         * utils.c (strcasecmp): From glibc.
7418         (strncasecmp): Also.
7419         (strstr): Also.
7420
7421         * url.c: Added javascript: to the list of URLs prefixes.
7422
7423 1996-12-12  Shawn McHorse  <riffraff@txdirect.net>
7424
7425         * recur.c (retrieve_robots): Print the warning message only if
7426         verbose.
7427
7428 1996-12-12  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
7429
7430         * ftp.c (ftp_retrieve_list): Use NeXT old utime interface.
7431
7432 1996-12-12  Hrvoje Niksic  <hniksic@srce.hr>
7433
7434         * systhings.h: New file.
7435
7436         * ../configure.in: Check for utime.h
7437
7438         * ftp.c: Check whether we have unistd.h.
7439
7440 1996-11-27  Hrvoje Niksic  <hniksic@srce.hr>
7441
7442         * recur.c (recursive_retrieve): Send the canonical URL as referer.
7443         (recursive_retrieve): Call get_urls_html with the canonical URL.
7444
7445 1996-12-13  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
7446
7447         * (configure.in, config.h.in, src/Makefile.in, src/*.[ch]): Add
7448         ansi2knr support for compilers which don't support ANSI style
7449         function prototypes and signatures.
7450
7451         * (aclocal.m4, src/ansi2knr.c, src/ansi2knr.1): New files.
7452
7453 1996-11-26  Hrvoje Niksic  <hniksic@srce.hr>
7454
7455         * url.c: Use it; Recognize paths ending with "." and ".." as
7456         directories.
7457         (url_filename): Append .n whenever file exists and could be a
7458         directory.
7459
7460         * url.h (ISDDOT): New macro.
7461
7462         * init.c (parse_line): Use unsigned char.
7463
7464         * url.c (get_urls_html): Cast to unsigned char * when calling
7465         htmlfindurl.
7466
7467         * html.c (htmlfindurl): Use unsigned char.
7468
7469         * version.c: Changed version to 1.4.3.
7470
7471 1996-11-25  Hrvoje Niksic  <hniksic@srce.hr>
7472
7473         * version.c: Released 1.4.2.
7474
7475         * ftp.c (getftp): Simplified assertion.
7476         (ftp_loop_internal): Remove symlink before downloading.
7477         (ftp_retrieve_list): Unlink the symlink name before attempting to
7478         create a symlink!
7479
7480         * options.h (struct options): Renamed print_server_response to
7481         server_response.
7482
7483         * ftp.c (rel_constr): Removed.
7484         (ftp_retrieve_list): Don't use it.
7485         (ftp_retrieve_list): Use opt.retr_symlinks.
7486
7487 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
7488
7489         * main.c (main): New option retr_symlinks.
7490
7491         * url.c (convert_links): Print verbose message.
7492
7493 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
7494
7495         * http.c (http_loop): Reset newloc in the beginning of function;
7496         would cause FMR in retrieve_url.
7497
7498 1996-11-23  Hrvoje Niksic  <hniksic@srce.hr>
7499
7500         * recur.c (convert_all_links): Find the URL of each HTML document,
7501         and feed it to get_urls_html; would bug out.
7502         (convert_all_links): Check for l2 instead of dl; removed dl.
7503
7504         * url.c (convert_links): Don't refer to freed newname.
7505
7506         * recur.c (recursive_retrieve): Add this_url to urls_downloaded.
7507
7508         * main.c (main): Print the OS_TYPE in the debug output, too.
7509
7510         * recur.c (recursive_retrieve): Check for opt.delete_after.
7511
7512         * main.c (main): New option delete-after.
7513
7514         * init.c (setval): Cleaned up.
7515
7516 1996-11-21  Hrvoje Niksic  <hniksic@srce.hr>
7517
7518         * Makefile.in (wget): Make `wget' the default target.
7519
7520         * ftp.c (ftp_loop_internal): Move noclobber checking out of the
7521         loop.
7522         (ftp_retrieve_list): Warn about non-matching sizes.
7523
7524         * http.c (http_loop): Made -nc non-dependent on opt.recursive.
7525
7526         * init.c (setnum): Renamed from setnuminf; New argument flags.
7527         (setval): Use it.
7528
7529         * main.c (main): Sorted the options.
7530         (main): New option --wait.
7531
7532 1996-11-21  Shawn McHorse  <riffraff@txdirect.net>
7533
7534         * html.c (htmlfindurl): Reset s->in_quote after getting out of
7535         quotes.
7536
7537 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
7538
7539         * version.c: Changed version to 1.4.2.
7540
7541 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
7542
7543         * version.c: Released 1.4.1.
7544
7545         * html.c (html_quote_string): New function.
7546         (ftp_index): Use it.
7547         (htmlfindurl): A more gentle ending debug message.
7548
7549         * ftp.c (ftp_loop): Check for opt.htmlify.
7550
7551         * init.c: New command htmlify.
7552
7553         * ftp.c (getftp): Nicer error messages, with `'-encapsulated
7554         strings.
7555         (ftp_loop): Print size of index.html.
7556
7557         * init.c (setval): Implement "styles".
7558
7559         * main.c (main): New option dotstyle.
7560
7561 1996-11-19  Hrvoje Niksic  <hniksic@srce.hr>
7562
7563         * ftp.c (getftp): Close the master socket in case of errors, after
7564         bindport().
7565
7566         * connect.c (bindport): Initialize msock to -1.
7567
7568         * ftp.c (getftp): Initialize dtsock to -1.
7569
7570         * connect.c (closeport): Don't close sock if sock == -1.
7571
7572 1996-11-18  Hrvoje Niksic  <hniksic@srce.hr>
7573
7574         * init.c (setnuminf): Nuked default value -- just leave unchanged.
7575         (setval): Don't send default values.
7576         (defaults): Use DEFAULT_TIMEOUT -- aaargh.
7577
7578         * options.h (struct options): Use long for dot_bytes.
7579
7580         * init.c (setquota): Renamed to setbytes.
7581         (setval): Use setbytes on DOTBYTES.
7582
7583 1996-11-17  Hrvoje Niksic  <hniksic@srce.hr>
7584
7585         * ftp.c (getftp): Initialize con->dltime.
7586
7587         * recur.c (recursive_retrieve): Use same_host instead of
7588         try_robots; simply load robots_txt whenever the host is changed.
7589         (recursive_retrieve): Free forbidden before calling parse_robots.
7590
7591 1996-11-16  Hrvoje Niksic  <hniksic@srce.hr>
7592
7593         * retr.c (show_progress): Use them.
7594
7595         * options.h (struct options): New options dot_bytes, dots_on_line
7596         and dot_spacing.
7597
7598 1996-11-16  Mark Boyns  <boyns@sdsu.edu>
7599
7600         * recur.c (recursive_retrieve): Retrieve directories regardless of
7601         acc/rej rules; check for empty u->file.
7602
7603 1996-11-14  Hrvoje Niksic  <hniksic@srce.hr>
7604
7605         * init.c (setval): Use it.
7606
7607         * utils.c (merge_vecs): New function.
7608
7609         * init.c (setval): Reset the list-type functions when encountering
7610         "".
7611
7612 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
7613
7614         * recur.c (recursive_retrieve): Use base_url instead of this_url
7615         for no_parent.
7616
7617 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
7618
7619         * html.c (htmlfindurl): Reset s->in_quote after exiting the quote.
7620
7621 1996-11-13  Hrvoje Niksic  <hniksic@srce.hr>
7622
7623         * utils.c (sepstring): Rewrote; don't use strtok.
7624
7625         * recur.c (recursive_retrieve): Enter assorted this_url to slist
7626         when running the first time.
7627         (retrieve_robots): Warn to ignore errors when robots are loaded.
7628
7629         * utils.c (load_file): Moved from url.c.
7630
7631         * http.c: Made static variables const too in h* functions.
7632
7633         * main.c (main): Renamed --continue-ftp to --continue.
7634
7635         * recur.c (recursive_retrieve): Use it.
7636
7637         * utils.c (frontcmp): New function.
7638
7639         * url.c (accdir): New function.
7640
7641         * html.c (htmlfindurl): Recognize <area href=...>.
7642
7643         * ftp.c (ftp_retrieve_dirs): Implemented opt.includes.
7644
7645         * init.c (setval): Free the existing opt.excludes and
7646         opt.includes, if available.
7647
7648         * main.c (main): New option -I.
7649
7650 1996-11-12  Hrvoje Niksic  <hniksic@srce.hr>
7651
7652         * ftp.c (ftp_retrieve_glob): Do not weed out directories.
7653
7654         * version.c: Changed version to 1.4.1.
7655
7656 1996-11-11  Hrvoje Niksic  <hniksic@srce.hr>
7657
7658         * version.c: Released 1.4.0.
7659
7660 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
7661
7662         * main.c (main): Free com and val after parse_line.
7663         (printhelp): Reorder the listing.
7664
7665         * http.c: More robust header parsing.
7666
7667         * http.c: Allow any number of spaces, or no spaces, precede ':'.
7668         (hskip_lws): New function.
7669         (haccepts_bytes): New function.
7670         (gethttp): Use it.
7671
7672         * init.c (setval): Check header sanity.
7673         (setval): Allow resetting of headers.
7674
7675 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
7676
7677         * http.c (http_loop): Don't use has_wildcards.
7678
7679         * http.c (gethttp): Free all_headers -- would leak.
7680
7681         * recur.c (recursive_retrieve): Initialize depth to 1 instead of
7682         0 -- this fixes a long-standing bug in -rl.
7683
7684 1996-11-09  Hrvoje Niksic  <hniksic@srce.hr>
7685
7686         * ftp.c: Use -1 as "impossible" value for con->fd.
7687
7688         * url.h (URL_SEPARATOR): Don't treat `*' and `+' as separators.
7689
7690         * init.c (parse_line): Use isalpha.
7691
7692         * ftp-unix.c: Use HAVE_UNISTD_H.
7693
7694         * mtch.c (has_wildcards): Don't match \.
7695
7696         * http.c (http_loop): Warn on HTTP wildcard usage.
7697
7698 1996-11-08  Hrvoje Niksic  <hniksic@srce.hr>
7699
7700         * url.c (url_filename): Do not create numbered suffixes if
7701         opt.noclobber -- would bug out on -nc.
7702
7703 1996-11-07  Hrvoje Niksic  <hniksic@srce.hr>
7704
7705         * recur.c (parse_robots): Don't chuck out the commands without
7706         arguments (`Disallow:<empty>' didn't work).
7707         (parse_robots): Compare versions lowercase.
7708         (parse_robots): Match on base_version, not version_string!
7709         (parse_robots): Handle comments properly.
7710         (parse_robots): Match versions in a sane way.
7711
7712         * init.c: Print nicer error messages.
7713
7714         * version.c: Changed version to 1.4.0.
7715
7716 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
7717
7718         * version.c: Released 1.4.0-test2.
7719
7720         * init.c (run_wgetrc): Close fp.
7721
7722         * ftp.c (ftp_retrieve_dirs): Allocate the correct length for
7723         u->dir.
7724
7725 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
7726
7727         * init.c (setquota): Allow inf as quota specification.
7728
7729 1996-11-05  Hrvoje Niksic  <hniksic@srce.hr>
7730
7731         * ftp.c (ftp_retrieve_dirs): Return QUOTEXC if quota exceeded.
7732         (ftp_retrieve_glob): Return QUOTEXC on quota exceeded.
7733
7734         * main.c (main): Check for quota by comparison with downloaded
7735         stuff, not from status.
7736
7737         * connect.c (select_fd): Should compile on HPUX without warnings now.
7738
7739         * ftp.c (ftp_get_listing): Check whether ftp_loop_internal
7740         returned RETROK.
7741
7742 1996-11-04  Hrvoje Niksic  <hniksic@srce.hr>
7743
7744         * ftp.c (ftp_retrieve_glob): Print the pattern nicely.
7745         (getftp): Return FTPRETRINT on control connection error.
7746
7747         * html.c (htmlfindurl): Recognize <embed src=...> and
7748         <bgsound src=...>.
7749         (ftp_index): Handle username and password correctly.
7750
7751         * main.c (main): Made `-np' a synonim for --no-parent.
7752
7753 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
7754
7755         * ftp.c (ftp_loop): Check for opt.ftp_glob too before calling
7756         ftp_retrieve_glob.
7757
7758         * version.c: Changed version to 1.4.0-test2.
7759
7760 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
7761
7762         * version.c: Released 1.4.0-test1.
7763
7764         * url.c (str_url): Don't use sprintf when creating %2F-prefixed
7765         directory.
7766         (convert_links): Removed definition of make_backup.
7767
7768         * http.h: Removed definition of MAX_ERROR_LENGTH.
7769
7770         * host.c (ftp_getaddress): Check for "(none)" domains.
7771
7772         * ftp.c (ftp_retrieve_dirs): Docfix.
7773
7774         * http.c (gethttp): Use ou->referer instead of u->referer.
7775
7776         * retr.c (retrieve_url): Reset u to avoid freeing pointers twice;
7777         this was known to cause coredumps on Linux.
7778
7779         * html.c (ftp_index): Cast the argument to local_time to time_t *.
7780
7781 1996-11-01  Hrvoje Niksic  <hniksic@srce.hr>
7782
7783         * connect.c (select_fd): Use exceptfds -- once and for all.
7784
7785         * retr.c (retrieve_from_file): Free filename after
7786         recursive_retrieve.
7787         (retrieve_from_file): Send RFIRST_TIME to recursive_retrieve on
7788         first-time retrieval.
7789         (retrieve_from_file): Return uerr_t; new argument, count.
7790         (retrieve_from_file): Break on QUOTEXC.
7791
7792         * init.c (setquota): Fixed a bug that caused rejection of
7793         non-postfixed values..
7794
7795 1996-10-30  Hrvoje Niksic  <hniksic@srce.hr>
7796
7797         * version.c: Changed name to wget.
7798
7799         * connect.c (iread): Smarter use of select.
7800         (select_fd): Set errno on timeout.  If not timeout, return 1
7801         instead of 0.
7802
7803 1996-10-29  Hrvoje Niksic  <hniksic@srce.hr>
7804
7805         * ftp.c (ftp_loop_internal): Don't use con->cmd before
7806         establishing it.
7807
7808 1996-10-26  Hrvoje Niksic  <hniksic@srce.hr>
7809
7810         * http.c (gethttp): Send correct referer when using proxy.
7811         (gethttp): Use struct urlinfo ou to access the relevant data; send
7812         correct authorization in all cases.
7813
7814         * host.c (same_host): Use skip_uname to skip username and
7815         password.
7816
7817         * url.c (skip_uname): New function.
7818         (parseurl): Use it.
7819
7820         * host.c (same_host): Do not assume HTTP -- same_host should now
7821         be totally foolproof.
7822
7823         * url.c (skip_proto): New function.
7824         (parse_uname): Use it.
7825
7826         * http.c (gethttp): Create local user and passwd from what is
7827         given.
7828
7829         * url.c (parseurl): Check for HTTP username and password too.
7830
7831 1996-10-25  Hrvoje Niksic  <hniksic@srce.hr>
7832
7833         * config.h.in: Removed #define gethostbyname R...
7834
7835 1996-10-22  Hrvoje Niksic  <hniksic@srce.hr>
7836
7837         * version.c: Changed version to 1.4.0-test1.
7838
7839 1996-10-21  Hrvoje Niksic  <hniksic@srce.hr>
7840
7841         * version.c: "Released" 1.4b29.
7842
7843         * recur.c (recursive_retrieve): Check for no_parent.
7844
7845         * init.c (setval): Option update.
7846
7847         * main.c (main): New option no-parent.
7848
7849         * options.h (struct options): New variable no_parent.
7850
7851         * recur.c (recursive_retrieve): Only files are checked for
7852         opt.accepts and opt.rejects.
7853         (recursive_retrieve): Check directories for opt.excludes.
7854         (recursive_retrieve): Make the dir absolute when checking
7855         opt.excludes.
7856
7857         * html.c (htmlfindurl): Recognize <applet code=...> and <script
7858         src=...>
7859
7860 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
7861
7862         * ftp.c (getftp): Do not line-break assert entries at all.
7863         (ftp_retrieve_dirs): docfix.
7864
7865         * connect.c (select_fd): Use fd + 1 as nfds.
7866
7867         * version.c: Changed version to 1.4b29.
7868
7869 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
7870
7871         * version.c: "Released" 1.4b28.
7872
7873         * ftp.c (ftp_loop_internal): Check whether f->size == len and
7874         don't continue the loop if it is.
7875         (ftp_get_listing): Remove list_filename on unsuccesful loop.
7876
7877 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
7878
7879         * ftp.c (ftp_loop_internal): Use strcpy to initialize tmp.
7880         (getftp): Do not use multiline assert.
7881
7882         * http.c (hparsestatline): Use mjr and mnr instead of major and
7883         minor, which don't compile on Ultrix.
7884         (http_loop): Use strcpy() to initialize tmp.
7885
7886         * all: Geturl -> Fetch
7887
7888 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
7889
7890         * recur.c (parse_robots): Fixed an off-by-one bug when looking for
7891         ':'.
7892
7893         * html.c (htmlfindurl): Fixed several possible off-by-one bugs by
7894         moving `bufsize &&' to the beginning of each check in for-loops.
7895
7896         * recur.c (parse_robots): Close fp on exit.
7897
7898         * url.c (mymkdir): Check for each directory before creating.
7899
7900 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
7901
7902         * version.c: Changed version to 1.4b28.
7903
7904 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
7905
7906         * version.c: "Released" 1.4b27.
7907
7908         * init.c (parse_line): Use isspace.
7909         (parse_line): Free *com on all errors.
7910
7911         * ftp.c (ftp_loop): Change FTPOK to RETROK before exiting.
7912         (delelement): Use next instead of f->next and prev instead of
7913         f->prev.
7914         (delelement): Free the members of the deleted element.
7915
7916         * http.c (http_loop): Do not return RETROK on code != 20x.
7917
7918         * init.c (cleanup): Free opt.user_header.
7919         (cleanup): Free opt.domains.
7920
7921         * url.c (freelists): Moved to cleanup().
7922
7923         * http.c (hparsestatline): Docfix.
7924
7925         * main.c (main): Return with error status on unsuccesful
7926         retrieval.
7927
7928         * init.c (setval): Do not remove listing when mirroring.
7929
7930         * url.c (url_filename): Use opt.fileprefix.
7931
7932         * ftp.c (ftp_get_listing): Use url_filename to get filename for
7933         .listing.
7934
7935         * main.c (main): New option: -rn.
7936
7937 1996-10-15  Hrvoje Niksic  <hniksic@srce.hr>
7938
7939         * Makefile.in (RM): Added RM = rm -f.
7940
7941         * host.c (clean_hosts): New function.
7942         (free_hlist): Just free the list, no reset.
7943
7944         * version.c: Changed version to 1.4b27.
7945
7946 1996-10-13  Hrvoje Niksic  <hniksic@srce.hr>
7947
7948         * version.c: "Released" 1.4b26.
7949
7950         * retr.c (retrieve_from_file): If call get_urls_html with
7951         opt.spider to make it silent in spider mode.
7952
7953         * url.c (str_url): Use CLEANDUP instead of URL_CLEANSE.
7954
7955         * url.h (CLEANDUP): New macro.
7956
7957         * http.c (gethttp): Fixed a bug that freed location only when it
7958         was NULL.
7959
7960         * retr.c (retrieve_url): Free url if it will not be stored,
7961         i.e. newloc is NULL.
7962
7963         * html.c (htmlfindurl): Handle exiting from quotes correctly; the
7964         old version would bug out on <a href="x#a"href="y">.
7965
7966         * html.h (state_t): New member in_quote.
7967
7968         * html.c (htmlfindurl): Free s->attr at the beginning of
7969         attr-loop.
7970
7971         * recur.c (recursive_retrieve): Recognize RCLEANUP.
7972         (tried_robots): Make hosts a global variable.
7973         (recursive_retrieve): Free constr after URL host optimization.
7974         (tried_robots): Free urlinfo before exiting.
7975
7976         * utils.c (free_slist): New function.
7977
7978         * recur.c (recursive_retrieve): Use flags to add cleanup
7979         possibility.
7980
7981         * main.c (main): Free filename after recursive_retrieve.
7982
7983         * http.c (gethttp): Store successful responses too.
7984
7985 1996-10-12  Hrvoje Niksic  <hniksic@srce.hr>
7986
7987         * all: Constified the whole source.  This required some minor
7988         changes in many functions in url.c, possibly introducing bugs -- I
7989         hope not.
7990
7991         * ftp-basic.c: Removed last_respline.
7992
7993         * http.c (gethttp): Free type.
7994
7995         * host.c (same_host): Free real1 and real2.
7996
7997         * main.c (main): New option --spider.
7998
7999         * retr.c (get_contents): Don't reset errno.
8000
8001         * main.c (main): Sorted the options.
8002
8003         * connect.c (iread): Set errno to ETIMEDOUT only if it was left
8004         uninitialized by select().
8005
8006         * http.c (http_loop): Print the time when the connection is
8007         closed.
8008         (gethttp): Debug-print the HTTP request.
8009
8010 1996-10-11  Hrvoje Niksic  <hniksic@srce.hr>
8011
8012         * connect.c (iread): Do not try reading after timeout.
8013
8014         * main.c (main): Would bug out on -T.
8015
8016         * connect.c (select_fd): Do not use exceptfds.
8017         (iread): Set ETIMEDOUT on select_fd <= 0.
8018
8019         * version.c: Changed version to 1.4b26.
8020
8021 1996-10-10  Hrvoje Niksic  <hniksic@srce.hr>
8022
8023         * version.c: "Released" 1.4b25.
8024
8025         * ftp-unix.c (ftp_parse_unix_ls): Ignore lines without file name
8026         or link name.
8027
8028         * http.c (gethttp): Add errcode to struct hstat.
8029         (http_loop): Use it.
8030
8031         * url.c (no_proxy_match): Simplify using char** for no_proxy.
8032
8033         * options.h (struct options): Make opt.no_proxy a vector.
8034
8035         * utils.c (sepstring): Use !*s instead of !strlen(s).
8036
8037         * init.c (setval): Set opt.maxreclevel to 0 on --mirror.
8038         (getperms): Use ISODIGIT instead of isdigit.
8039
8040         * ftp.c (getftp): Print time.
8041
8042         * main.c (main): Use legible output of downloaded quantity.
8043
8044         * ftp.c (getftp): Use elapsed_time().
8045         (ftp_loop_internal): Use rate().
8046
8047         * http.c (http_loop): Add download ratio output; Use rate().
8048
8049         * utils.c (rate): New function.
8050
8051 1996-10-09  Hrvoje Niksic  <hniksic@srce.hr>
8052
8053         * http.c (http_loop): Use timer.
8054
8055         * ftp.c: Split to ftp-basic.c and ftp.c
8056
8057         * utils.c (reset_timer): New function.
8058         (elapsed_time): New function.
8059
8060         * retr.c (show_progress): Make bytes_in_line and offs long; should
8061         work on 16-bit machines.
8062
8063 1996-10-08  Hrvoje Niksic  <hniksic@srce.hr>
8064
8065         * url.c (in_acclist): New argument backward.
8066
8067         * ftp.c (ftp_retrieve_glob): Use acceptable() to determine whether
8068         a file should be retrieved according to suffix.
8069         (ftp_get_listing): Check the return value of unlink; Do not call
8070         ftp_retrieve_dirs if depth reached maxreclevel.
8071         (ftp_retrieve_dirs): Check whether the directory is in
8072         exclude-list.
8073
8074         * main.c (main): Print the version number at the beginning of
8075         DEBUG output.
8076         (main): Use strrchr when creating exec_name.
8077
8078         * ftp.c (ftp_retrieve_glob): Do not close control connection.
8079
8080         * version.c: Changed version to 1.4b25.
8081
8082 1996-10-07  Hrvoje Niksic  <hniksic@srce.hr>
8083
8084         * version.c: "Released" 1.4b24.
8085
8086         * Makefile.in: Rewrite.
8087
8088         * ftp.c (ftp_loop_internal): Likewise.
8089
8090         * retr.c (time_str): Check for failed time().
8091
8092         * html.c (htmlfindurl): Recognize <fig src> and <overlay src> from
8093         HTML3.0.
8094
8095         * retr.c (time_str): Return time_t *.
8096
8097         * connect.c (bindport): Close msock on unsuccesful bind.
8098         (bindport): The same for getsockname and listen.
8099
8100         * retr.c (retrieve_url): Allow any number of retries on
8101         proxy.
8102
8103         * http.c (gethttp): Do not treat errno == 0 as timeout.
8104         (http_loop): Likewise.
8105         (http_loop): Cosmetic changes.
8106
8107         * connect.c (iread): Set errno to ETIMEDOUT in case of timeout.
8108
8109         * retr.c (get_contents): Reset errno.
8110
8111         * ftp.c (getftp): Minor fixes.
8112
8113 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
8114
8115         * http.c: Do not use backups.
8116
8117         * geturl.1 (WARNING): Warn that man-page could be obsolete.
8118
8119         * getopt.c (getopt_long): Moved to getopt.c
8120
8121         * geturl.texi: Enhanced.
8122
8123         * main.c (main): Use it.
8124
8125         * recur.c (convert_all_links): New function.
8126
8127         * utils.c (add_slist): New argument flags.
8128
8129         * recur.c (recursive_retrieve): Update a list of downloaded URLs.
8130         (parse_robots): Do not chuck out empty value fields.
8131         (parse_robots): Make yourself welcome on empty Disallow.
8132
8133         * version.c: Changed version to 1.4b24.
8134
8135 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
8136
8137         * version.c: "Released" 1.4b23.
8138
8139         * ftp.c (ftp_loop_internal): Get the time after getftp.
8140
8141         * Makefile.in (install.info): New target.
8142         (install): Use it.
8143
8144         * http.c (http_loop): Fix output when doing -O.
8145
8146 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
8147
8148         * geturl.texi: New file.
8149
8150         * main.c (main): Do not print the warnings and download summary if
8151         opt.quiet is set.
8152
8153         * version.c: Changed version to 1.4b23.
8154
8155 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
8156
8157         * "Released" 1.4b22.
8158
8159         * atotm.c (atotm): Use True and False instead of TRUE and FALSE,
8160         to avoid redefinition warnings.
8161
8162         * host.c (store_hostaddress): Use memcpy() to copy the address
8163         returned by inet_addr.
8164
8165         * version.c: Changed version to 1.4b22.
8166
8167 1996-10-04  Hrvoje Niksic  <hniksic@srce.hr>
8168
8169         * version.c: "Released" 1.4b21.
8170
8171         * ftp-unix.c (ftp_parse_ls): Renamed to ftp_parse_unix_ls.
8172
8173         * ftp.c (ftp_port): Use conaddr.
8174         (getftp): Print the file length.
8175         (ftp_retrieve_list): Check the stamps of plain files only.
8176
8177         * connect.c (closeport): Do not call shutdown().
8178         (conaddr): New function.
8179
8180         * html.c (ftp_index): Made it dfp-aware.
8181
8182         * init.c (cleanup): New name of freemem. Close opt.dfp.
8183
8184         * ftp.c (getftp): Use opt.dfp if it is set.
8185
8186         * ftp-unix.c (ftp_parse_ls): Recognize time in h:mm format.
8187
8188         * ftp.c (ftp_retrieve_dirs): Fixed a bug that caused incorrect
8189         CWDs to be sent with recursive FTP retrievals.
8190
8191 1996-10-03  Hrvoje Niksic  <hniksic@srce.hr>
8192
8193         * recur.c (parse_robots): Made it more compliant with "official"
8194         specifications.
8195
8196         * http.c: New function.
8197
8198         * ftp-unix.c (ftp_parse_ls): Added better debug output.
8199
8200         * ftp.c (getftp): Print out the LIST in case of
8201         opt.print_server_response.
8202
8203         * version.c: Changed version to 1.4b21.
8204
8205 1996-10-01  Hrvoje Niksic  <hniksic@srce.hr>
8206
8207         * version.c: "Released" 1.4b20.
8208
8209         * README: Update.
8210
8211         * http.c (gethttp): Preset lengths of various headers instead of
8212         calculating them dynamically.
8213         (gethttp): Check for 206 partial contents.
8214
8215 1996-09-30  Hrvoje Niksic  <hniksic@srce.hr>
8216
8217         * configure.in: Set SYSTEM_GETURLRC to $libdir/geturlrc
8218
8219         * http.c (gethttp): Send the port number in the Host: header.
8220
8221 1996-09-29  Hrvoje Niksic  <hniksic@srce.hr>
8222
8223         * http.c (gethttp): Send host: header.
8224         (gethttp): Add the possibility of user-defined headers.
8225         (gethttp): Move decision about pragma: no-cache to http_loop,
8226         where it belongs.
8227         (gethttp): Pass a struct instead of enormous argument list.
8228         (http_loop): Use a new, fancier display format.
8229         (ftp_loop): Likewise.
8230
8231         * main.c: (hangup): Turn off buffering of the new log file.
8232
8233         * install-sh: Likewise.
8234
8235         * config.sub: Replace with the one in autoconf-2.10
8236
8237         * geturl.1: Update.
8238
8239         * init.c: New options httpuser and httppasswd.
8240
8241         * http.c: (base64_encode_line): New function.
8242         (gethttp): Send authentication.
8243
8244         * connect.c (make_connection): Use store_hostaddress.
8245
8246 1996-09-28  Hrvoje Niksic  <hniksic@srce.hr>
8247
8248         * host.c (store_hostaddress): New function.
8249
8250         * NEWS: Update.
8251
8252         * http.c (hgetrange): New function.
8253         (gethttp): Use ranges.
8254
8255         * utils.c (numdigit): Accept long instead of int.
8256
8257         * http.c (http_loop): Add restart capabilities.
8258
8259         * ftp.c (ftp_retrieve_glob): Fixed a bug that could cause matchres
8260         being used uninitialized.
8261         (ftp_retrieve_list): Similar fix.
8262
8263         * host.c (add_hlist): Fixed a bug that could cause cmp being used
8264         uninitialized.
8265
8266         * url.c (construct_relative): New function.
8267
8268         * recur.c (recursive_retrieve): Use it.
8269
8270         * retr.c (convert_links): New function.
8271
8272 1996-09-27  Hrvoje Niksic  <hniksic@srce.hr>
8273
8274         * url.c (free_urlpos): New function.
8275
8276         * recur.c (recursive_retrieve): Adapt.
8277
8278         * url.c (get_urls_html): Return a linked list instead of a vector.
8279
8280         * url.c (get_urls_file): Return a linked list instead of a vector.
8281
8282         * geturl.1: Update.
8283
8284         * http.c (gethttp): Implement it.
8285
8286         * init.c (setval): New option: SAVEHEADERS
8287
8288         * ftp.c (ftp_loop_internal): Do not set restval if listing is to
8289         be retrieved. Lack of this test caused bugs when the connection
8290         was lost during listing.
8291
8292         * retr.c (retrieve_url): Fixed a bug that caused
8293         coredumps. *newloc is now reset by default.
8294         (retrieve_url): Lift the twenty-tries limit on proxies.
8295
8296         * version.c: Changed version to 1.4b20.
8297
8298 1996-09-20  Hrvoje Niksic  <hniksic@srce.hr>
8299
8300         * version.c: "Released" 1.4b19.
8301
8302 1996-09-19  Hrvoje Niksic  <hniksic@srce.hr>
8303
8304         * ftp.c (ftp_loop_internal): Renamed from ftp_1fl_loop.
8305         (getftp): Changed prototype to accept ccon *.
8306
8307 1996-09-17  Hrvoje Niksic  <hniksic@srce.hr>
8308
8309         * ftp.c (ftp_retrieve_list): Fixed a bug that caused setting
8310         incorrect values to files pointed to by symbolic links.
8311         (ftp_1fl_loop): Do not count listings among the downloaded URL-s.
8312
8313 1996-09-16  Hrvoje Niksic  <hniksic@srce.hr>
8314
8315         * url.c (mkstruct): Do not prepend "./" in front of a pathname.
8316
8317         * main.c (main): New option: --user-agent.
8318
8319         * geturl.1: Ditto.
8320
8321         * init.h: Ditto.
8322
8323         * init.c (setval): Ditto.
8324
8325         * main.c (main): Rename "server-headers" to "server-response".
8326
8327         * ftp-unix.c (ftp_parse_ls): Check for asterisks at the end of
8328         executables in 'ls -F' listings.
8329
8330 1996-09-15  Hrvoje Niksic  <hniksic@srce.hr>
8331
8332         * url.c (parseurl): Remove realloc() and sprintf().
8333         (str_url): Get rid of sprintf().
8334
8335         * recur.c (recursive_retrieve): Enable FTP recursion through proxy
8336         servers.
8337
8338         * url.h (URL_CLEANSE): Made it else-resistant.
8339         (USE_PROXY): New macro.
8340
8341 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
8342
8343         * NEWS: Update.
8344
8345         * version.c: Changed version to 1.4b19.
8346
8347 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
8348
8349         * version.c: "Released" 1.4b18.
8350
8351         * url.c: Made it reallocate space exponentially.
8352
8353 1996-09-14  Drazen Kacar  <dave@fly.cc.fer.hr>
8354
8355         * html.c (htmlfindurl): Added <frame src> and <iframe src> among
8356         the list of stuff to fetch.
8357
8358 1996-09-13  Hrvoje Niksic  <hniksic@srce.hr>
8359
8360         * url.c (get_urls_html): Fixed a bug that caused SIGSEGV's with
8361         -Fi.
8362
8363         * html.c (htmlfindurl): Rewrite.
8364
8365         * http.c (gethttp): Use opt.proxy_cache.
8366
8367         * main.c (main): Added --cache option.
8368
8369         * ftp.c (ftp_response): Print server response if opt.print_server
8370         response is set.
8371         (getftp): Print newlines after each request if the server response
8372         is to be printed.
8373         (ftp_response): Copy the last response line to last_respline.
8374
8375         * http.c (gethttp): Add Pragma: nocache for retried
8376         proxy-retrievals.
8377
8378         * ftp.c (getftp): Use it.
8379
8380         * retr.c (buf_discard): New function.
8381
8382         * ftp.c (ftp_response): Use buf_readchar().
8383         (getftp): Flush the control connection buffer before calling
8384         get_contents().
8385
8386         * retr.c (buf_readchar): New function.
8387         (buf_flush): New function.
8388         (get_contents): Use buf_readchar() instead of read(x, x, 1).
8389         (get_contents): Use buf_flush.
8390
8391 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
8392
8393         * ftp.c: Incorporate changes to ftp_response.
8394
8395         * ftp.c (ftp_response): Allocate the server response dynamically,
8396         as in read_whole_line and fetch_next_header.
8397
8398         * utils.c (read_whole_line): Fixed a bug that prevented reading
8399         the last line if it is not \n-terminated. Also fixed a possible
8400         memory overflow.
8401
8402         * http.c (fetch_next_header): Return malloc-ed string as large as
8403         needed.
8404         (gethttp): Use new fetch_next_header.
8405
8406 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
8407
8408         * http.c (hgetlen): Compute the header length the first time only.
8409         (hgettype): Ditto.
8410         (hgetlocation): Ditto.
8411         (hgetmodified): Ditto.
8412
8413 1996-09-11  Hrvoje Niksic  <hniksic@srce.hr>
8414
8415         * sample.geturlrc: Update.
8416
8417 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
8418
8419         * http.c (http_loop): Ditto.
8420
8421         * ftp.c (getftp): Open the output file as binary.
8422
8423         * version.c: Changed version to 1.4b18.
8424
8425 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
8426
8427         * version.c: "Released" 1.4b17.
8428
8429         * ftp-unix.c (ftp_parse_ls): If unable to open file, return NULL
8430         instead of failed assertion.
8431
8432 1996-09-09  Hrvoje Niksic  <hniksic@srce.hr>
8433
8434         * ftp.c (ftp_get_listing): Add a numbered suffix to LIST_FILENAME
8435         if a file of that name already exists.
8436
8437 1996-09-05  Hrvoje Niksic  <hniksic@srce.hr>
8438
8439         * ftp.c (ftp_1fl_loop): Handler FTPPORTERR and FOPENERR correctly.
8440
8441         * config.h.in: Define gethostbyname as Rgethostbyname when using
8442         Socks.
8443
8444         * configure.in: Check for -lresolv if using Socks.
8445
8446         * version.c: Changed version to 1.4b17.
8447
8448 1996-07-15  Hrvoje Niksic  <hniksic@srce.hr>
8449
8450         * version.c: "Released" 1.4b16.
8451
8452         * http.c (gethttp): More intelligent check for first line of HTTP
8453         response.
8454         (gethttp): Would bug out on time-stamping.
8455
8456         * version.c: Changed version to 1.4b16.
8457
8458 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
8459
8460         * version.c: Released 1.4b15.
8461
8462         * http.c (http_loop): Print \n after the loop entry, not before.
8463
8464         * url.c (url_filename): Use ISDOT.
8465
8466         * url.h (ISDOT): New macro.
8467
8468         * recur.c (recursive_retrieve): Change only opt.recursive for
8469         following FTP.
8470
8471 1996-07-11  Antonio Rosella <antonio.rosella@agip.it>
8472
8473         * socks/geturl.cgi: Fixed version No.
8474
8475         * socks/download-netscape.html: Ditto.
8476
8477         * socks/download.html: Changed socks.html to download.html.
8478
8479 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
8480
8481         * url.c (url_filename): Check for opt.dirstruct instead for
8482         opt.recursive && opt.dirstruct.
8483
8484         * init.c (defaults): Ditto.
8485         (defaults): Reset dirstruct by default.
8486         (setval): Set opt.dirstruct whenever setting recursive.
8487
8488         * init.h: Removed FORCEDIRHIER.
8489
8490         * INSTALL: Added -L to socks-description.
8491
8492         * version.c: Changed version to 1.4b15.
8493
8494 1996-07-10  Hrvoje Niksic  <hniksic@srce.hr>
8495
8496         * version.c: "Released" 1.4b14.
8497
8498         * geturl.1: Update AUTHOR to include Rosella as contributor.
8499
8500         * NEWS: Update.
8501
8502         * socks/geturl.cgi: Simplified command creation, nuked <blink>.
8503
8504         * socks/geturl.cgi: Wrap nutscape extensions within if $netscape.
8505         (cal_time): Fix == to eq.
8506
8507         * socks/geturl.cgi: GPL-ized with permission of A. Rosella.
8508
8509         * geturl.1 (hostname): Moved URL CONVENTIONS to the beginning.
8510
8511         * Makefile.in: Use @VERSION@.
8512
8513         * configure.in: Check version from version.c.
8514
8515         * socks/geturl.cgi: Changed /pub/bin/perl to /usr/bin/perl.
8516
8517         * socks/download.html: Created from download-netscape.html, made
8518         HTML-2.0 compliant.
8519
8520         * recur.c (recursive_retrieve): Set opt.force_dir_hier when
8521         following FTP links from recursions.
8522
8523 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
8524
8525         * url.c (mymkdir): Fixed a bug that prevented mymkdir() to create
8526         absolute directories correctly.
8527
8528         * version.c: Changed version to 1.4b14.
8529
8530 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
8531
8532         * version.c: "Released" 1.4b13.
8533
8534         * url.c (make_backup): New function.
8535
8536         * http.c (http_loop): Make a backup copy of the local file (using
8537         rename(2)) before opening it.
8538
8539         * main.c (main): Added --backups.
8540
8541         * host.c (ftp_getaddress): Bail out on failed mycuserid().
8542         (ftp_getaddress): Check for leading dot on MY_DOMAIN.
8543         (ftp_getaddress): Check for empty, null or (null) domain.
8544
8545         * url.c (get_urls_html): If this_url is NULL, the base must have a
8546         protocol.
8547         (parseurl): Use has_proto.
8548
8549         * retr.c (retrieve_url): Warn when proxy is used with more than 20
8550         retries.
8551
8552         * url.c (mkstruct): Create the directory (calling mymkdir()) only
8553         if it is not already there.
8554         (has_proto): New function.
8555         (get_urls_html): Eliminate the remaining call to findurl -- use
8556         has_proto.
8557
8558         * geturl.1: Ditto.
8559
8560         * main.c: Change -X to -x.
8561
8562         * url.c (url_filename): Simplify creation of filename if
8563         prefix_files is set.
8564         (url_filename): Simplify everything. And I do mean *everything*.
8565         (mkstruct): Add dir_prefix before hostname.
8566         (path_simplify): Fixed a bug that caused writing outside the path
8567         string in case of "." and ".." path strings.
8568
8569 1996-07-06  Hrvoje Niksic  <hniksic@srce.hr>
8570
8571         * init.c: Added --mirror.
8572
8573         * main.c (main): Added -X to force saving of directory hierarchy.
8574
8575         * ftp.c (ftp_retrieve_list): Added recursion depth counter.
8576         (ftp_retrieve_list): Check whether quota is exceeded.
8577
8578         * url.c (get_urls_html): Skip leading blanks for absolute URIs.
8579
8580         * http.c (gethttp): Use referer if present.
8581
8582         * recur.c (recursive_retrieve): Set u->referer before calling
8583         retrieve_url.
8584
8585         * url.c (newurl): Use memset to nullify the struct members.
8586         (freeurl): Free the referer field too.
8587
8588         * url.h: Added referer to urlinfo.
8589
8590         * geturl.1: Updated the manual to document some of the new features.
8591
8592         * utils.c (numdigit): Moved from url.c.
8593
8594         * README: Rewritten.
8595
8596         * config.h.in: Add the support for socks.
8597
8598         * configure.in: Add the support for socks.
8599
8600         * url.c (url_filename): If the dir_prefix is ".", work with just
8601         the file name.
8602         (url_filename): Do not look for .n extensions if timestamping if
8603         turned on.
8604
8605         * retr.c (show_progress): Skip the over-abundant restval data, and
8606         print the rest of it with ',' instead of '.'.
8607
8608 1996-07-05  Hrvoje Niksic  <hniksic@srce.hr>
8609
8610         * retr.c (show_progress): Changed second arg. to long (as it
8611         should be).
8612         (show_progress): Moved to retr.c.
8613         (get_contents): Moved to retr.c.
8614
8615         * version.c: Change version to 1.4b13.
8616
8617 1996-07-05  Hrvoje Lacko <hlacko@fly.cc.fer.hr>
8618
8619         * url.c (in_acclist): Would return after the first suffix.
8620
8621 1996-07-04  Hrvoje Niksic  <hniksic@srce.hr>
8622
8623         * version.c: "Released" 1.4b12.
8624
8625         * url.c (path_simplify): More kludgifications.
8626         (get_urls_html): Use new parameters for htmlfindurl.
8627
8628         * html.c: Removed memorizing "parser states", since the new
8629         organization does not require them.
8630
8631         * init.c (run_geturlrc): Use read_whole_line.
8632
8633         * ftp-unix.c (ftp_parse_ls): Use read_whole_line.
8634
8635         * recur.c (parse_robots): Use read_whole_line.
8636
8637         * utils.c (read_whole_line): New function.
8638
8639         * recur.c (tried_robots): Use add_slist/in_slist, *much* cleaner.
8640
8641         * host.c (ngethostbyname): Call inet_addr just once. Yet to be
8642         tested on OSF and Ultrix.
8643         (add_hlist): New function.
8644         (free_hlist): New function.
8645         (search_host): New function.
8646         (search_address): New function.
8647         (realhost): Use search_host, search_address and add_hlist.
8648         (same_host): Replaced realloc() with strdupdelim(), made
8649         case-insensitive, fixed a memory leak.
8650
8651         * html.c (ftp_index): Fixed tm_min and tm_sec to be tm_hour and
8652         tm_min, like intended.
8653
8654         * version.c: Change user agent information to
8655         Geturl/version.
8656
8657 1996-07-03  Hrvoje Niksic  <hniksic@srce.hr>
8658
8659         * utils.c: Renamed nmalloc.c to utils.c, .h likewise.
8660
8661         * url.c (acceptable): Always accept directories.
8662
8663         * ftp-unix.c (ftp_parse_ls): Support brain-damaged "ls -F"-loving
8664         servers by stripping trailing @ from symlinks and trailing / from
8665         directories.
8666
8667         * ftp.c (ftp_loop): Debugged the "enhanced" heuristics. :-)
8668
8669         * url.c (skip_url): Use toupper instead of UCASE.
8670
8671         * host.c (sufmatch): Made it case-insensitive.
8672
8673         * url.c (match_backwards_or_pattern): Fixed i == -1 to j == -1.
8674         (match_backwards): New function, instead of
8675         match_backwards_or_pattern.
8676
8677         * recur.c (recursive_retrieve): Increased performance by
8678         introducing inl, which reduces number of calls to in_slist to only
8679         one.
8680
8681         * ftp.c (ftp_loop): Enhanced the heuristics that decides which
8682         routine to use.
8683
8684         * main.c (printhelp): Removed the warranty stuff.
8685
8686 1996-07-02  Hrvoje Niksic  <hniksic@srce.hr>
8687
8688         * url.c (add_slist): Simplify.
8689         (match_backwards_or_pattern): New function.
8690         (in_acclist): Use match_backwards_or_pattern.
8691         (matches): Remove.
8692
8693 1996-06-30  Hrvoje Niksic  <hniksic@srce.hr>
8694
8695         * ftp.c (ftp_loop): Call ftp_index on empty file names, if not
8696         recursive.
8697
8698         * html.c (ftp_index): Fixed to work. Beautified the output.
8699
8700         * ftp.c (ftp_retrieve_glob): Another argument to control whether
8701         globbing is to be used.
8702         (ftp_retrieve_list): Compare the time-stamps of local and remote
8703         files to determine whether to download.
8704
8705 1996-06-29  Hrvoje Niksic  <hniksic@srce.hr>
8706
8707         * ftp.c (rel_constr): New function.
8708
8709         * retr.c (retrieve_from_file): Check for text/html before
8710         retrieving recursively.
8711
8712         * main.c (main): Check whether the file is HTML before going into
8713         recursive HTML retrieving.
8714
8715         * ftp.c (ftp_retrieve_list): Manage directories.
8716         (ftp_retrieve_glob): Pass all the file-types to ftp_retrieve_list.
8717         (ftp_1fl_loop): Fixed a bug that caused con->com to be incorrectly
8718         initialized, causing bugchecks in getftp to fail.
8719
8720         * configure.in: Check for symlink.
8721
8722         * ftp.c (ftp_retrieve_list): Added support for symlinks.
8723
8724         * version.c: "Released" 1.4b10.
8725
8726         * atotm.c (atotm): Redeclared as time_t.
8727
8728         * init.c: New variable "timestamping".
8729
8730         * main.c (main): New option 'N'.
8731
8732         * http.c (hgetlocation): Case-insensitive match.
8733         (hgetmodified): New function.
8734         (http_loop): Implement time-stamping.
8735
8736 1996-06-28  Hrvoje Niksic  <hniksic@srce.hr>
8737
8738         * version.c: Changed version to 1.4b10
8739
8740         * atotm.c: New file, from phttpd.
8741
8742         * options.h (struct options): New parameter timestamping.
8743
8744         * version.c: 1.4b9 "released".
8745
8746         * recur.c (recursive_retrieve): Used linked list (ulist) for
8747         faster storing of URLs.
8748
8749         * url.c (get_urls_html): Removed the old kludge with comparing the
8750         outputs of htmlfindurl and findurl.
8751         (get_urls_html): Added better protocol support here.
8752         (create_hash): Removed, as well as add_hash and in_hash.
8753         (addslist): New function.
8754         (in_slist): ditto
8755
8756         * version.c: Released 1.4b8, changed version to b9.
8757
8758 1996-06-27  Hrvoje Niksic  <hniksic@srce.hr>
8759
8760         * ftp.c (freefileinfo): New function.
8761         (delelement): New function.
8762
8763         * everywhere: GPL!
8764
8765         * ftp.c (ftp_loop): Use ccon.
8766         (ftp_retrieve_glob): Likewise.
8767
8768         * ftp.h: Define ccon, to define status of control connection.
8769
8770         * ftp.c (ftp_get_listing): New function.
8771         (ftp_retrieve_more): New function.
8772         (ftp_retrieve_glob): New function.
8773
8774 1996-06-25  Hrvoje Niksic  <hniksic@srce.hr>
8775
8776         * configure.in: Removed the search for cuserid().
8777
8778         * init.c (getmode): Renamed to getperms.
8779
8780 1996-06-24  Hrvoje Niksic  <hniksic@srce.hr>
8781
8782         * version.c: New version.
8783
8784         * main.c (hangup): New function, that handles hangup. Hangup
8785         signal now causes geturl to stop writing on stdout, and to write
8786         to a log file.
8787
8788         * ftp.c (getftp): "Released" 1.4b7.
8789
8790         * html.c (htmlfindurl): Ignore everything inside <head>...</head>.
8791         (ftp_index): Use fileinfo/urlinfo.
8792
8793         * ftp-unix.c (ftp_parse_ls): New function.
8794         (symperms): New function.
8795
8796         * ftp.c (ftp_1fl_loop): New function, to handle 1-file loops.
8797
8798         * retr.c (retrieve_url): Added FTP support.
8799
8800 1996-06-23  Hrvoje Niksic  <hniksic@srce.hr>
8801
8802         * geturl.h: Removed NOTFTP2HTML enum.
8803         Added DO_LOGIN, DO_CWD and DO_LIST. LIST_ONLY is obsolete.
8804
8805         * ftp.c (getftp): Resynched with urlinfo.
8806         (getftp): Removed HMTL-ization of index.html from getftp.
8807
8808         * version.c: 1.4b6 "released".
8809
8810         * options.h (options): New struct, to keep options in.
8811
8812         * http.c (http_loop,gethttp): Synched with proxy.
8813
8814         * retr.c (retrieve_url): Implemented proxy retrieval.
8815
8816         * main.c (main): Use retrieve_from_file.
8817
8818 1996-06-22  Hrvoje Niksic  <hniksic@srce.hr>
8819
8820         * retr.c (retrieve_from_file): New function.
8821
8822         * url.c (parseurl): Modified to return URLOK if all OK. Protocol
8823         can be found in u->proto.
8824
8825         * ftp.c (ftp_response): Fixed to accept multi-line responses as
8826         per RFC 959.
8827
8828         * recr.c (recursive_retrieve): Take newloc from retrieve_url.
8829
8830         * url.c (mymkdir): Removed the file of the same name, if one
8831         exists.
8832         (isfile): New function.
8833         (mkstruct): Fixed the '/' glitches.
8834         (path_simplify): Hacked to treat something/.. correctly.
8835
8836 1996-06-21  Hrvoje Niksic  <hniksic@srce.hr>
8837
8838         * http.c (gethttp): Close the socket after error in headers.
8839         (http_loop): HEOF no longer a fatal header.
8840
8841         * loop.c (retrieve_url): When dt is NULL, do not modify it. This
8842         simplifies the syntax of calling retrieve_url.
8843
8844         * recr.c (recursive_retrieve): Modified to use get_urls_html.
8845
8846         * url.c (get_urls_file): New function.
8847         (get_urls_html): New function.
8848
8849         * recr.c (recursive_retrieve): Patched up to conform to the
8850         standards.
8851
8852         * http.c (gethttp): Synched with the rest...
8853         (gethttp): Treat only CONREFUSED specially, with connection
8854         errors.
8855
8856         * init.c,geturl.1,http.c (http_loop): Removed kill_error.
8857
8858 1996-06-20  Hrvoje Niksic  <hniksic@srce.hr>
8859
8860         * http.c (http_loop): New function.
8861
8862         * loop.c: Removed *lots* of stuff from retrieve_url.
8863
8864         * url.c (parseurl): Changed to work with urlinfo. Integrated
8865         username finding and path parsing.
8866         (newurl): New function.
8867         (freeurl): New function.
8868         (mkstruct): Removed the old bogosities, made it urlinfo-compliant.
8869         (url_filename): Likewise.
8870         (path_simplify): Accept relative paths too.
8871         (opt_url): Made urlinfo-compliant, removed bogosities.
8872         (path_simplify): Expanded to accept relative paths.
8873         (str_url): A replacement for hide_url
8874         (decode_string): Fixed a bug that caused malfunctioning when
8875         encountering an illegal %.. combination.
8876         (opt_url): Removed the argument. Dot-optimizations are now default.
8877
8878         * nmalloc.c (strdupdelim): New function.
8879
8880         * url.h: Added the urlinfo structure
8881
8882 1996-06-19  Hrvoje Niksic  <hniksic@srce.hr>
8883
8884         * url.c (hide_url): Thrown out the protocol assertion. Do not
8885         change the URL if the protocol if not recognized.
8886         (findurl): Put continue instead of break.
8887
8888 1996-06-18  Hrvoje Niksic  <hniksic@srce.hr>
8889
8890         * sample.geturlrc: Changed the defaults to be commented out and
8891         harmless (previous defaults caused pains if copied to
8892         ~/.geturlrc).
8893
8894         * http.c (gethttp): Print the HTTP request in debug mode.
8895
8896         * connect.c (iread): Added EINTR check loop to select-ing
8897         too. EINTR is now correctly handled with select().
8898
8899         * TODO: new file
8900
8901 1996-05-07  Hrvoje Niksic  <hniksic@srce.hr>
8902
8903         * host.c (same_host): Made the function a little bit more
8904         intelligent regarding diversified URL syntaxes.
8905
8906         * url.c (skip_url): Spaces are now skipped after URL:
8907
8908         * Released 1.3.1 with the patch to prevent crashing when sending
8909         NULL to robot* functions and the patch to compile "out of the box"
8910         on AIX.
8911
8912         * recr.c (recursive_retrieve): Added checking whether this_url is
8913         NULL when calling the robot functions.
8914
8915         * ChangeLog: New file.