]> sjero.net Git - wget/blob - src/ChangeLog
[svn] Fix typo.
[wget] / src / ChangeLog
1 2004-03-31  Hrvoje Niksic  <hniksic@xemacs.org>
2
3         * http.c (gethttp): Fix typo: SCHEME_SSL -> SCHEME_HTTPS.
4
5 2004-03-30  Hrvoje Niksic  <hniksic@xemacs.org>
6
7         * http.c (gethttp): Send the Proxy-Authorization header over
8         non-SSL connections too.
9
10 2004-03-25  David Fritz  <zeroxdf@att.net>
11
12         * mswindows.c (fake_fork_child): Ignore error code when
13         OpenFileMapping() fails; assume it failed because the object does
14         not exist.
15
16 2004-03-24  David Fritz  <zeroxdf@att.net>
17
18         * mswindows.c (fake_fork): New function.
19
20         * mswindows.c (fork_to_background): Use it.
21
22 2004-03-19  David Fritz  <zeroxdf@att.net>
23
24         * mswindows.c (ws_hangup): Incorporate old fork_to_background()
25         code.  Add event name argument.
26         (fork_to_backgorund): Now a simple wrapper around ws_hangup().
27         (ws_handler): Correctly handle the case when neither CTRLC_BACKGND
28         nor CTRLBREAK_BACKGND are defined.  Don't bother handling close,
29         logoff, or shutdown events.  Call ws_hangup() with the correct
30         event name; don't assume it was CTRL+Break.
31
32 2004-03-19  Hrvoje Niksic  <hniksic@xemacs.org>
33
34         * url.c (url_parse): Decode %HH sequences in host name.
35
36 2004-03-04  Hrvoje Niksic  <hniksic@xemacs.org>
37
38         * convert.c (local_quote_string): Quote "#" as "%23" and "%" as
39         "%25" when creating links to local files.
40
41 2004-03-02  David Fritz  <zeroxdf@att.net>
42
43         * mswindows.c (ws_percenttitle): Guard against future changes by
44         doing nothing if the proper variables have not been initialized.
45         Clamp percentage value.
46
47 2004-03-04  Gisle Vanem  <giva@bgnett.no>
48
49         * retr.c (fd_read_body): Don't change console title if quiet.
50
51 2004-02-25  David Fritz  <zeroxdf@att.net>
52
53         * mswindows.c (set_sleep_mode): Remove argument and return value.
54         Call GetModuleHandle() instead of LoadLibrary()/FreeLibrary() for
55         kernel32.dll.  Use typedef for function-pointer.  Don't cast
56         l-value.  Don't use dereference operator when calling through
57         function-pointer.
58         (ws_startup): Update call to set_sleep_mode().
59         (ws_cleanup): Remove call to set_sleep_mode().
60
61 2004-02-23  David Fritz  <zeroxdf@att.net>
62
63         * http.c (http_loop): Ditto.
64
65         * ftp.c (ftp_loop_internal): Update call to ws_changetitle().
66
67         * main.c (main): Don't bother calling ws_changetitle().
68
69         * mswindows.h (ws_changetitle): Update prototype.
70
71         * mswindows.c (ws_changetitle): Remove second argument.  Use
72         xfree_null().
73         (ws_percenttitle): Only update title when percentage has changed.
74
75 2004-02-23  David Fritz  <zeroxdf@att.net>
76
77         * mswindows.h: Ditto.
78
79         * mswindows.c: Misc. formatting/comment tweaks throughout.
80
81 2004-02-20  David Fritz  <zeroxdf@att.net>
82
83         * main.c (print_help): Remove call to ws_help().
84
85         * mswindows.c (ws_help): Remove.
86
87         * mswindows.h (ws_help): Remove.
88
89 2004-02-16  David Fritz  <zeroxdf@att.net>
90
91         * init.c (home_dir): Use aprintf() instead of xmalloc()/sprintf().
92         Under Windows, if $HOME is not defined, use the directory that
93         contains the Wget binary instead of hard-coded `C:\'.
94         (wgetrc_file_name): Under Windows, look for $HOME/.wgetrc then, if
95         not found, look for wget.ini in the directory of the Wget binary.
96
97         * mswindows.c (ws_mypath): Employ slightly more robust methodology.
98         Strip trailing path separator.
99
100 2004-02-06  Hrvoje Niksic  <hniksic@xemacs.org>
101
102         * http.c (gethttp): Respect --ignore-length.
103         (gethttp): Inhibit keep-alive if --ignore-length is specified.
104
105 2004-02-06  Hrvoje Niksic  <hniksic@xemacs.org>
106
107         * connect.c (sockaddr_set_data): Zero out
108         sockaddr_in/sockaddr_in6.  Apparently BSD-derived stacks need this
109         when binding a socket to local address.
110
111 2004-02-04  Hrvoje Niksic  <hniksic@xemacs.org>
112
113         * hash.c: Make the file compilable outside Wget source tree when
114         -DSTANDALONE is used.
115
116 2004-01-29  Hrvoje Niksic  <hniksic@xemacs.org>
117
118         * utils.c (determine_screen_width): Return 0 if not running on
119         Windows or on a TIOCGWINSZ-capable system.
120
121 2004-01-28  David Fritz  <zeroxdf@att.net>
122
123         * utils.c (determine_screen_width): Correctly determine console
124         width under Windows.
125
126 2004-01-28  Christian Biere  <christianbiere@gmx.de>
127
128         * progress.c (bar_set_params): Fixed syntax error when HAVE_ISATTY
129         was undefined.
130
131         * ftp.c (ftp_loop_internal): Allocate a larger buffer in case
132         "try" gets translated to something large.  Ditto in http_loop in
133         http.c.
134
135         * http.c (response_header_copy): Don't write to buf[BUFSIZE].
136
137         * ftp-opie.c (skey_response): Eliminate unnecessary string
138         concatenation; just call gen_md5_update twice.
139
140 2004-01-25  Hrvoje Niksic  <hniksic@xemacs.org>
141
142         * utils.c (xsleep): Don't call usleep with values larger than
143         1,000,000.
144
145 2003-12-16  Hrvoje Niksic  <hniksic@xemacs.org>
146
147         * http.c (gethttp): Fix generation of `Content-Length'.
148
149 2003-12-15  Gisle Vanem  <giva@bgnett.no>
150
151         * url.c (url_skip_credentials): Fixed return value; 'url' if no
152         credentials.
153
154 2003-12-14  Hrvoje Niksic  <hniksic@xemacs.org>
155
156         * url.c (url_skip_credentials): Return a pointer directly.
157
158 2003-12-14  Hrvoje Niksic  <hniksic@xemacs.org>
159
160         * url.c (url_file_name): Ditto.
161         (parse_errors): Ditto.
162
163         * retr.c (retr_rate): Ditto.
164
165         * progress.c (create_image): Ditto.
166
167         * netrc.c (parse_netrc): Ditto.
168
169         * main.c (struct cmdline_option): Ditto.
170         (redirect_output_signal): Ditto.
171
172         * init.c (commands): Ditto.
173
174         * ftp-ls.c (ftp_index): Ditto.
175
176         * cookies.c (check_domain_match): Declare the pointer to a literal
177         string as `const'.
178
179 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
180
181         * retr.c (fd_read_body): Pass total size to progress_create, not
182         the remaining amount.
183
184 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
185
186         * retr.c (fd_read_body): Don't fiddle with "interactive timeout"
187         if read timeout is unset.
188
189 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
190
191         * connect.c (bind_local): Don't set the IPV6_V6ONLY option on the
192         socket.
193
194 2003-12-06  Hrvoje Niksic  <hniksic@xemacs.org>
195
196         * url.c (url_file_name): Respect the setting of
197         opt.protocol_directories.
198
199         * main.c (main): Only check for ret=='?' when longindex is unset.
200         (option_data): New option --protocol-directories.
201
202 2003-12-06  Hrvoje Niksic  <hniksic@xemacs.org>
203
204         * ftp.c (getftp): Ditto.
205
206         * http.c (gethttp): Correctly calculate bandwidth as total data
207         read divided with download time.
208
209         * retr.c (fd_read_body): Separate the return values for data
210         written and read.
211
212 2003-12-05  Hrvoje Niksic  <hniksic@xemacs.org>
213
214         * http.c (H_REDIRECTED): Respect the HTTP/1.1 "303 See Other"
215         response code.
216         Suggested by Dan Razzell.
217
218 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
219
220         * retr.c (fd_read_body): Report the amount of data *written* as
221         amount_read.  This is not entirely logical, but that's what the
222         callers expect, and it's not easy to change.
223
224         * ftp.c (ftp_loop_internal): Ditto.
225
226         * http.c (http_loop): Be smarter about assigning restval; if we're
227         in the nth pass of a download, simply use the information we have
228         about how much data has been retrieved as restval.
229
230         * ftp.c (getftp): Ditto for FTP "REST" command.
231
232         * http.c (gethttp): When the server doesn't respect range, skip
233         the first RESTVAL bytes of the read body.  Never truncate the
234         output file.
235
236         * retr.c (fd_read_body): Support skipping initial STARTPOS octets.
237
238 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
239
240         * http.c (skip_short_body): Renamed skip_body to skip_short_body;
241         don't bother calling fd_read_body.
242
243 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
244
245         * retr.c (fd_read_body): Sanitize arguments and document them
246         better.  Make sure the timer is created and updated only if
247         necessary.  Updated callers.
248
249 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
250
251         * http.c (skip_body): New function.
252         (gethttp): Use it to skip the body of the responses we don't care
253         to download.  That allows us to reuse the connection.
254         (gethttp): Trust that the HEAD requests will not generate body
255         data.
256
257         * retr.c (fd_read_body): Don't write to OUT if it's NULL.
258
259 2003-11-29  Hrvoje Niksic  <hniksic@xemacs.org>
260
261         * http.c (gethttp): Initialize SSL only the first time when SSL
262         URL is downloaded.
263
264 2003-11-29  Hrvoje Niksic  <hniksic@xemacs.org>
265
266         * cookies.c (cookie_header): Only generate the contents of the
267         header, not the leading "Cookie: " or the trailing "\r\n".
268
269         * http.c (gethttp): When adding headers specified with `--header',
270         allow them to override the headers generated by Wget.
271
272         * init.c (cmd_spec_header): Made opt.user_headers a vector.
273
274         * http.c (request_new): New function.  Returns a request structure
275         which can be modified in various ways, most notably by adding HTTP
276         headers to the request.
277         (request_set_header): New function for adding the header to the
278         request.  If the header is already available, it gets replaced.
279         (request_send): Construct and send the request.
280         (gethttp): Use the request_* functions to generate the request.
281
282 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
283
284         * http.c (gethttp): Don't include the Proxy-Authorization header
285         in the request tunneled through proxy.
286
287 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
288
289         * http.c (gethttp): Use the CONNECT handle to establish SSL
290         passthrough through non-SSL proxies.
291
292 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
293
294         * init.c: Don't #include netinet/Winsock stuff.
295
296 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
297
298         * http.c: Deleted the old functions header_process,
299         header_extract_number, header_exists, header_strdup,
300         http_process_range, http_process_none, http_process_type, and
301         http_process_connection.
302
303         * http.c (response_new): New function.
304         (response_header_bounds): Ditto.
305         (response_header_copy): Ditto.
306         (response_header_strdup): Ditto.
307         (response_status): Ditto.
308         (gethttp): Use the new response_* functions to parse the response.
309         Support HTTP/0.9 responses.
310
311 2003-11-27  Hrvoje Niksic  <hniksic@xemacs.org>
312
313         * progress.c (create_image): Don't calculate ETA if nothing has
314         been downloaded yet, because it causes division by zero.
315
316 2003-11-27  Hrvoje Niksic  <hniksic@xemacs.org>
317
318         * connect.c (bind_local): Rename sa_len to addrlen because IRIX
319         headers define sa_len as a macro.
320
321 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
322
323         * html-parse.c (convert_and_copy): Remove embedded newlines when
324         AP_TRIM_BLANKS is specified.
325
326 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
327
328         * ftp.c: Set con->csock to -1 where rbuf_uninitialize was
329         previously used.
330
331 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
332
333         * Makefile.in (http$o): Added the trailing backslash that was
334         missing.
335
336 2003-11-21  Hrvoje Niksic  <hniksic@xemacs.org>
337
338         * headers.c: Removed.  The file is no longer relevant, now that no
339         special handling of headers is done by the rbuf code.  Moved
340         portions to http.c.
341
342 2003-11-21  Hrvoje Niksic  <hniksic@xemacs.org>
343
344         * rbuf.c: Removed.
345
346         * ftp-basic.c (ftp_response): Use fd_read_line.  No longer use
347         struct rbuf.  Updated all callers.
348
349         * http.c (gethttp): Use fd_read_head to read all the headers in
350         one go.
351         (next_header): New function.
352
353         * retr.c (fd_read_line): New function: reads a line from FD,
354         leaving the rest of the data unread.
355         (fd_read_head): New function.
356
357         * connect.c (fd_peek): New function, implements peeking.
358         (poll_internal): New function.
359         (fd_read): Use it.
360         (fd_write): Ditto.
361         (fd_peek): Ditto.
362         (fd_register_transport): Allow registering a "peeker" callback.
363
364 2003-11-20  Hrvoje Niksic  <hniksic@xemacs.org>
365
366         * connect.c: Renamed xread/xwrite/xclose to
367         fd_read/fd_write/fd_close.  The "x" prefix is not appropriate
368         because the semantics have diverged from read/write/close too
369         significantly.  Updated all callers.
370
371 2003-11-20  Hrvoje Niksic  <hniksic@xemacs.org>
372
373         * connect.c (sock_write): It's not necessary to initialize RES.
374
375 2003-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
376
377         * main.c (main): Don't reference opt.ipv4_only and opt.ipv6_only
378         if IPv6 is disabled.
379
380 2003-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
381
382         * connect.c (socket_has_inet6): Only compile it if IPv6 is enabled
383         and AI_ADDRCONFIG is missing.
384
385 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
386
387         * gen_sslfunc.c (ssl_init_prng): Warn the user when using a weak
388         random seed.
389
390 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
391
392         * host.c (address_list_contains): Renamed address_list_find to
393         address_list_contains because its result is boolean.
394
395 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
396
397         * connect.c (select_fd): Return 1 if select is not available.
398
399 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
400
401         * connect.c (connect_to_host): Don't reference address list after
402         releasing it.
403
404 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
405
406         * main.c (print_help): Fix alignment of FTP options output.
407
408 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
409
410         * host.c (lookup_host): Check for the ability to create IPv6
411         sockets here.
412
413         * init.c (defaults): Don't auto-set --inet4-only on IPv6-less
414         systems.
415
416 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
417
418         * main.c (print_help): Fix typo in `-O' help message.  Fix docs of
419         -Y/--proxy.  Fix docs of `--cookies' and `--glob'.  Improve docs
420         of --convert-links.  Fix docs of SSL options.
421
422 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
423
424         * ftp-basic.c: Don't include <arpa/inet.h> and others because
425         they're no longer needed.
426
427 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
428
429         * main.c (main): Don't allow setting of both opt.ipv4_only and
430         opt.ipv6_only.
431
432         * init.c (defaults): Mark opt.ipv4_only specially when set
433         automatically.
434
435 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
436
437         * host.c (lookup_host): Use AI_ADDRCONFIG only if the family is
438         unspecified.  This ensures that specifying `--no-inet4' on systems
439         where IPv6 resolves, but doesn't work behaves the same regardless
440         of the availability of AI_ADDRCONFIG.
441
442 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
443
444         * host.c: Don't refer to the now-removed function
445         forget_host_lookup in the documentation of lookup_host.
446
447 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
448
449         * http.c (persistent_available_p): Correctly specify the endpoint
450         argument to socket_ip_address.
451         (gethttp): When printing the "reusing connection to..." message,
452         specify the host name of the reused connection, not the current
453         host name.  That makes more sense because it provides a useful
454         piece of information -- we know to which host we're supposed to
455         connect anyway!
456
457 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
458
459         * init.c: Make sure the options are in alphabetic order!
460
461         * host.c (lookup_host): Merge lookup_host_passive and lookup_host
462         after all -- having both would result in some code duplication.
463         (lookup_host): Set hints.ai_family to AF_INET if ipv4_only is
464         requested.  Likewise, set it to AF_INET6 for ipv6_only.  Specify
465         AI_ADDRCONFIG where available.
466         (lookup_host): New flag LH_REFRESH that specifies that a cached
467         entry for HOST should be refreshed.
468         (cache_query): New function.
469         (cache_store): Ditto.
470         (cache_remove): Ditto.
471         (forget_host_lookup): No longer necessary, replaced with static
472         function cache_remove.
473
474 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
475
476         * main.c: Enable -4 and -6 only if IPv6 is enabled.
477
478 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
479
480         * connect.c (register_transport): Renamed from register_extended.
481         Explain the intended usage.
482
483 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
484
485         * url.c (uri_merge): Merging "foo" and "bar" should result in
486         "bar", not in "foo/bar".
487         (path_simplify): Don't remove empty path elements; don't
488         special-case leading slash.
489         (path_simplify): Don't swallow ".."'s at the beginning of string.
490         E.g. simplify "foo/../../bar" as "../bar", not as "bar".
491         (append_uri_pathel): Defang ".." path element upon encountering
492         it.
493
494 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
495
496         * http.c (persistent_available_p): Don't attempt to talk to two
497         different SSL sites over the same secure connection.
498
499 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
500
501         * http.c (gethttp): Ditto.
502
503         * ftp.c (getftp): Use retryable_socket_connect_error instead of
504         CONNECT_ERROR.
505
506         * wget.h (CONNECT_ERROR): Removed.
507
508         * connect.c (retryable_socket_connect_error): New function instead
509         of unsupported_socket_family_error.
510
511 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
512
513         * wget.h (CONNECT_ERROR): Use it.
514
515         * connect.c (unsupported_socket_family_error): New function.
516
517 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
518
519         * connect.c (bind_local): Renamed bindport to bind_local; return
520         the socket directly.  Updated callers.
521         (accept_connection): Renamed acceptport to accept_connection;
522         return the created socket directly.  Updated callers.
523
524 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
525
526         * init.c (defaults): Turn on opt.ipv4_only if we're compiling with
527         IPv6, and AI_ADDRINFO is not available, and AF_INET6 sockets can't
528         be created.
529
530 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
531
532         * host.c (lookup_host): Document the fact that the addresses are
533         returned in order.
534
535 2003-11-12  Hrvoje Niksic  <hniksic@xemacs.org>
536
537         * utils.c: Use limits.h only where available.
538
539         * hash.c: Use INVALID_PTR and INVALID_PTR_BYTE.  Include limits.h.
540
541 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
542
543         * main.c: Added options --inet4-only and --inet6-only.
544
545 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
546
547         * host.c (host_errstr): Use the more standard message "Unknown
548         host".
549
550 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
551
552         * connect.c (connect_to_host): Use that flag to decide whether to
553         re-resolve the host name.
554
555         * host.c (struct address_list): Added a flag that maintains
556         whether the connection worked at some point.
557
558 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
559
560         * host.c (lookup_host): Special-case the numeric addresses only in
561         the non-IPv6 case.
562
563 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
564
565         * connect.c (resolve_bind_address): Call lookup_host_passive.
566         Make sure that opt.bind_address is resolved only once.
567
568         * host.c (lookup_host_passive): New function, handles "passive"
569         lookups.
570         (lookup_host): Remove the passive flags.  Remove the
571         family-related flags -- use ip_default_family instead.
572
573 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
574
575         * html-url.c: Get URLs from <object data="...">.
576
577 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
578
579         * main.c (option_data): Specify the command to use for --mirror.
580
581 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
582
583         * cookies.c (cookie_handle_set_cookie): Specify exact match for
584         unspecified domains.
585
586 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
587
588         * main.c (main): Removed one-letter options `-C', `-g', `-G', and
589         `-s'.
590
591 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
592
593         * main.c (main): Add --dont-remove-listing for backward
594         compatibility with previous versions.
595         (print_help): Fix typo, spotted by Dennis Smit.
596
597 2003-11-08  Gisle Vanem  <giva@bgnett.no>
598
599         * ftp-basic.c: Support Windows-2000 ftp servers. Win-2000 *is*
600         Win-NT 5.0 so calling it ST_WINNT is okay I guess.
601
602 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
603
604         * progress.c (update_speed_ring): Clear the speed ring when the
605         download stalls.
606
607         * retr.c (get_contents): Specify 0.95s read timeout, so that the
608         progress gauge can be updated even when data arrives very slowly
609         or stalls.
610
611 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
612
613         * utils.c (wtimer_allocate): Bless the use of wtimer_read on a
614         timer that has merely been allocated because get_contents() does
615         that.
616         (wtimer_update): Abort if the timer is not initialized.
617
618 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
619
620         * retr.c (get_contents): Pass the timer to limit_bandwidth().
621
622         * utils.c (wtimer_update): New function instead of wget_elapsed;
623         just update the timer, but don't return anything.
624         (wtimer_read): Read and return the last known value of the timer.
625
626 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
627
628         * http.c (persistent_available_p): Instead of matching all the
629         addresses of HOST and last host, determine the peer's IP address
630         with socket_ip_address and see if that address is one of those
631         HOST resolves to.
632
633         * host.c (address_list_match_all): Removed.
634         (address_list_find): New function, finds an IP address in the
635         address list.
636
637         * ftp.c (ftp_do_pasv): Get the peer's address here, and pass it to
638         ftp_epsv so it doesn't need to call getpeername.
639
640         * ftp-basic.c (ftp_port): Use socket_ip_address instead of
641         getpeername.
642         (ftp_lprt): Ditto.
643
644         * connect.c (socket_ip_address): Replaces conaddr, generalized to
645         either get peer's or local address.
646         (sockaddr_get_data): Made local to this file.
647
648 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
649
650         * hash.c (HASH_POSITION): Explicitly accept the hash function.
651         (grow_hash_table): Extract ht->hash_function outside the loop.
652         (hash_table_remove): Ditto.
653         (hash_table_clear): Fill entries with 0xff to clear them.
654         (hash_table_remove): Mark entries as deleted with the correct
655         marker.
656
657 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
658
659         * http.c (persistent_available_p): No reason for the host lookup
660         to be silent -- it's a lookup like any other.
661
662 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
663
664         * connect.c (register_extended): Check that fd >= 0.
665
666 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
667
668         * connect.c (LAZY_RETRIEVE_INFO): Set LAST_INFO.
669
670 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
671
672         * hash.c (NON_EMPTY): Use the all-bit-set value as the marker that
673         the field is empty.  This allows NULL pointer and 0 value to be
674         used as keys, which is necessary for the connect.c code to work
675         when fd==0.
676         (hash_table_new): Fill mappings with 0xff.
677         (grow_hash_table): Ditto.
678
679 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
680
681         * url.c (url_parse): Allow empty ports.
682
683 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
684
685         * main.c (print_help): Break the help string into multiple chunks.
686         (cmdline_option): New option handler OPT_FUNCALL.  Generalized
687         HANDLE_CMD to generic DATA.
688         (option_data): Use the new OPT_FUNCALL feature.
689
690 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
691
692         * log.h: Declare log_init, log_close, and
693         log_request_redirect_output here.
694
695 2003-11-05  Dennis Smit  <ds@nerds-incorporated.org>
696
697         * main.c: (main): added --preserve-permissions option.
698
699         * ftp.c (ftp_retrieve_list): added support for
700         --preserve-permissions option.
701
702         * init.c: added support for --preserve-permission option.
703
704         * option.h: added support for --preserve-permission option.
705
706 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
707
708         * main.c (init_switches): New function.  Convert option_data to
709         long_options and short_options, which can be fed to getopt_long.
710         (main): Execute command-line options by consulting option_data.
711
712 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
713
714         * gen_sslfunc.c (ssl_read): Implement a more correct check for
715         EINTR.
716         (ssl_write): Ditto.
717         (init_ssl): Use a global SSL context.
718
719 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
720
721         * connect.c (xclose): Free INFO even if it doesn't provide a
722         closer.
723
724 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
725
726         * connect.c: Updated all callers of
727         iread/ssl_iread/iwrite/ssl_iwrite to use xread and xwrite instead.
728
729         * rbuf.h (struct rbuf): Removed the SSL member because SSL is
730         handled automatically by xread.
731
732         * hash.c (ptrhash): Made private.
733         (ptrcmp): Ditto.
734         (inthash): Removed.
735
736         * connect.c (select_fd): Don't set errno, leave it to the caller.
737
738         * gen_sslfunc.c (connect_ssl): Use register_extended to register
739         SSL callbacks for communication with SSL-enabled endpoints.
740         (ssl_read): New function.
741         (ssl_write): Ditto.
742         (ssl_poll): Ditto.
743         (ssl_close): Ditto.
744
745         * connect.c (register_extended): New function -- register
746         callbacks for basic socket operations.
747         (xread): Ditto.
748         (xwrite): Ditto.
749         (xclose): Ditto.
750         (sock_read): New function, default implementation for reading.
751         (sock_write): Ditto for writing.
752         (sock_poll): Ditto for polling.
753         (sock_close): Ditto for closing.
754
755 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
756
757         * connect.c (bindport): Fix compilation under pre-C99 compilers.
758
759 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
760
761         * connect.c (connect_to_ip): More compact error checking.
762         (bindport): Don't treat failed setsockopt as a fatal error.
763
764 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
765
766         * connect.c (resolve_bind_address): Use a more accurate error
767         message -- we're not binding to ANY, we're disabling bind
768         altogether.
769
770 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
771
772         * cookies.c (save_cookies_mapper): Respect the setting of
773         keep-session-cookies.
774         (cookie_jar_load): Import session cookies.
775         Based on code submitted by Nicolas Schodet.
776
777         * utils.c (datetime_str): Use information in TM when it's
778         non-NULL.
779
780         * main.c (main): New option `--keep-session-cookies'.
781
782 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
783
784         * Makefile.in (realclean): Delete config.h.in.
785
786 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
787
788         * config-post.h: New file, included from now autogenerated
789         config.h.in.
790
791 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
792
793         * progress.c (progress_handle_sigwinch): Don't call
794         determine_screen_width() from the signal handler.  Instead, just
795         set a volatile variable.
796         (bar_create): Check whether SIGWINCH was received.
797         (bar_update): Ditto.
798
799         * sysdep.h: Define SYSTEM_FNMATCH only if HAVE_FNMATCH_H is true.
800
801 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
802
803         * utils.c (xsleep): New function.  Uses nanosleep where available,
804         resuming sleeps interrupted by signals.  Updated callers of sleep
805         and usleep to use xsleep.
806
807 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
808
809         * ftp-basic.c (ftp_login): Remove shadowing (and bogus)
810         declaration of SEED.
811
812 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
813
814         * log.c (logvprintf): Documented better.  Renamed to
815         log_vprintf_internal to avoid confusion with the public API
816         functions logprintf and logputs.
817
818 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
819
820         * wget.h (N_): Don't parenthesize argument.
821
822 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
823
824         * host.h (ADDRESS_IPV4_DATA): Don't take the address of in.s_addr
825         because that doesn't work on machines that define it as bitfield.
826
827 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
828
829         * connect.c (select_fd): Generalize the third argument into WAIT,
830         so that the caller can request waiting for both read and write.
831         Updated callers.
832
833 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
834
835         * html-url.c (cleanup_html_url): Destroy the hash tables, don't
836         just call free on them.
837         (init_interesting): Use hash_table_put instead of string_set_add
838         because we don't need the strdup that the latter function
839         performs.
840
841         * init.c (cleanup): Don't pass NULL to cookie_jar_delete.
842
843         * xmalloc.c (xfree_real): Abort when passed a NULL pointer.
844         (xfree_debug): Print at the file and line of the offending call to
845         free.
846
847 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
848
849         * wget.h: Retired the `boolean' type.  Moved the DEFAULT_LOGFILE
850         define to log.h.  Moved the INFINITE_RECURSION define to recur.h.
851
852         * xmalloc.h: Renamed FREE_MAYBE to xfree_null and moved the
853         definition from wget.h to xmalloc.h.
854
855 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
856
857         * html-parse.c (decode_entity): New function; split the decoding
858         of entities here.
859         (convert_and_copy): Use it to decode entities.
860         (decode_entity): Handle the &apos entity.
861         (decode_entity): Don't decode Latin 1 numeric entities.  Don't
862         decode &#0.
863
864 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
865
866         * ftp-opie.c (calculate_skey_response): Use uint32_t instead of
867         `unsigned long' for the cheksum array.  Document the function.
868
869 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
870
871         * connect.c (acceptport): Don't call select_fd when timeout is not
872         requested.
873
874 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
875
876         * host.c: Removed the ip_default_family global variable.
877
878         * host.c (lookup_host): Document the function.  Fixed declaration
879         of VEC.
880
881 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
882
883         * various: Use new macros xnew, xnew0, xnew_array, and xnew0_array
884         in various places.
885
886 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
887
888         * wget.h: Move declarations of malloc and logging code to
889         xmalloc.h and log.h respectively to unclutter this file.
890         (STRDUP_ALLOCA): Made it side-effect free.
891
892         * xmalloc.h: New files.  Define macros xnew, xnew0, xnew_array,
893         and xnew0_array.
894
895         * xmalloc.c: New file.  Move the xmalloc routines here.
896
897 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
898
899         * connect.c (sockaddr_set_data): Remove the broken code that
900         checked for NULL address.
901
902 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
903
904         * host.c (address_list_from_single): Removed.
905         (address_list_from_ipv4_addresses): Renamed from
906         address_list_from_vector.
907
908 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
909
910         * sysdep.h (CLOSE): Don't call close on file descriptors less than
911         0, i.e. on uncreated sockets.
912
913         * connect.c (resolve_bind_address): Work on struct sockaddr
914         directly.
915         (connect_to_host): Replacement for connect_to_many.  Resolve HOST
916         and connect to any of its addresses.  If we can't connect and the
917         host name lookup was cached, try to resolve it again.  This should
918         fix problems with hosts behind dynamic DNS.  Updated all callers.
919         (connect_to_ip): Replacement for connect_to_one.  Removed SILENT;
920         added the argument PRINT instead.  Updated all callers.
921         (set_connection_host_name): Removed.
922
923         * host.c (address_list_address_at): New function instead of
924         address_list_copy_one. It returns a pointer to ip_address *, so
925         it's not necessary to copy the data.
926         (address_list_cached_p): New function.
927         (forget_host_lookup): Ditto.
928
929         * connect.c: Got rid of the MSOCK global variable.  Made bindport
930         return the local socket it creates.  Added a new argument to
931         acceptport, the socket to call accept on.  Updated callers.
932         (closeport): Removed.
933
934         * connect.c: Moved the sockaddr code from host.c to this file,
935         because most of that stuff is used for connecting, and has nothing
936         to do with host names anyway.
937         (sockaddr_set_data, sockaddr_get_data): New functions, replace the
938         old sockaddr_set_address, sockaddr_set_port, sockaddr_get_address,
939         and sockaddr_get_port.
940
941 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
942
943         * sysdep.h: Use `S >= 8' rather than `S == 8' when looking for
944         large integers.
945
946 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
947
948         * url.c (append_uri_pathel): New argument ESCAPED_P that says
949         whether [B, E) is to be treated as URL-escaped or not.  If
950         ESCAPED_P is false, don't unescape the region.
951         (url_file_name): u->file is not URL-escaped.
952
953 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
954
955         * retr.c (retrieve_from_file): Use retrieve_tree for
956         page-requisites.
957
958         * main.c (main): Don't define opt.recursive when -p is used.
959         Instead, make sure that recursion is used for HTTP in that case.
960
961 2003-10-29  Hrvoje Niksic  <hniksic@xemacs.org>
962
963         * host.h: Defined accessors for elements of ip_address.  Updated
964         all callers.
965         (address_list_match_all): Use memcmp in the non-IPv6 case.
966
967         * wget.h (CONNECT_ERROR): Don't retry connecting if connect()
968         returned EAFNOSUPPORT.
969
970 2003-10-27  Mauro Tortonesi <mauro@deepspace6.net>
971
972         * connect.h: changed bindport prototype and added the related
973         BIND_ON_IPV4_ONLY and BIND_ON_IPV6_ONLY flags.
974
975         * connect.c: changed bindport and resolve_bind_address to allow
976         protocol-version specific DNS resolution. modified conaddr,
977         acceptport and connect_to_one to make use of struct
978         sockaddr_storage and of the new ip_address structure.
979
980         * ftp-basic.c: added LPRT/LPSV (RFC1639) support, refactored
981         PORT/PASV (RFC959) and EPRT/EPSV (RFC2428) support code.
982
983         * ftp.c: added the ftp_do_port and ftp_do_pasv functions to
984         handle FTP over IPv6.
985
986         * ftp.h: changed prototype of ftp_epsv and added prototypes for
987         ftp_lpsv, ftp_lprt and ftp_eprt.
988
989         * host.c: renamed the
990         wget_sockaddr_set_address and wget_sockaddr_get_addr, and
991         wget_sockaddr_{s,g}et_port couples to sockaddr_{s,g}et_address and
992         sockaddr_{g,s}et_port respectively.  changed
993         address_list_match_all, address_list_from_addrinfo sockaddr_len,
994         pretty_print_address, lookup_host, sockaddr_{s,g}et_address and
995         sockaddr_{g,s}et_port to make use of struct sockaddr_storage and
996         of the new ip_address structure.  removed map_ipv4_to_ip and
997         map_ip_to_ipv4.
998
999         * host.h: redefined structure ip_address and removed structure
1000         wget_sockaddr.
1001
1002 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
1003
1004         * sysdep.h: Include inttypes.h where available.
1005
1006         * host.c: Switch from u_int32_t to uint32_t.
1007
1008 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
1009
1010         * netrc.c (parse_netrc): Reset the QUOTE flag after the closing
1011         quote.
1012
1013 2003-10-25  Hrvoje Niksic  <hniksic@xemacs.org>
1014
1015         * url.c (is_valid_ipv6_address): Reformat to GNU coding style.
1016         Use enums for NS_IN* constants.  Use ISXDIGIT.
1017
1018         * convert.c (construct_relative): Document better how the function
1019         works.
1020
1021 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
1022
1023         * config.h.in: Deploy preprocessor magic to avoid Ultrix's
1024         <netdb.h> include <bitypes.h> which defines its own u_int32_t.
1025         Reported by Bernhard Simon.
1026
1027 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
1028
1029         * version.c: Bump version.
1030
1031 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
1032
1033         * url.c: Ditto.
1034
1035         * html-parse.c (advance_declaration): Don't use trailing comma in
1036         enum because older compilers don't support it.
1037
1038         * utils.c: Don't redefine HAVE_SIGSETJMP.
1039
1040 2003-10-16  Hrvoje Niksic  <hniksic@xemacs.org>
1041
1042         * convert.c (construct_relative): Don't handle absolute files
1043         specially -- for example, -P/tmp/foo shouldn't imply that
1044         converted files must refer to "/tmp/foo/..."!
1045
1046 2003-10-15  Hrvoje Niksic  <hniksic@xemacs.org>
1047
1048         * http.c: Consider status 307 a valid redirect.
1049
1050 2003-10-15  Philip Stadermann  <philip.stadermann@credativ.de>
1051
1052         * ftp.c (ftp_retrieve_glob): Correctly loop through the list whose
1053         elements might have been deleted.
1054
1055 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
1056
1057         * html-url.c (tag_handle_meta): Set the Refresh link to expect
1058         HTML.
1059         (append_one_url): Renamed to append_url.
1060
1061 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
1062
1063         * sysdep.h: Only define u_int32_t.
1064
1065 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
1066
1067         * utils.c (large_int_to_string): Use snprintf() to print the
1068         number.  This will work even on systems where libc doesn't
1069         understand %lld, but the compiler does, because it will use our
1070         snprintf replacement.
1071
1072         * init.c (parse_bytes_helper): New function.
1073         (cmd_bytes): Use it to parse bytes, but cast the result to long.
1074         (cmd_bytes_large): Ditto, but store the result to LARGE_INT.  Used
1075         for --quota so that --quota=10G works even on machines without
1076         long long.
1077
1078         * options.h (struct options): Declare quota as LARGE_INT.
1079
1080         * retr.c (downloaded_exceeds_quota): Removed.
1081         (downloaded_increase): Ditto.
1082         (total_downloaded_bytes): New variable, replaces opt.downloaded,
1083         which was the wrong place for it anyway.  Updated callers of
1084         downloaded_exceeds_quota and downloaded_increase to check this
1085         variable directly.
1086
1087         * sysdep.h: Get rid of VERY_LONG_TYPE.  Use LARGE_INT for the same
1088         purpose, defined as `long', `long long' or `double', depending on
1089         size of long and whether long long is available.
1090
1091 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
1092
1093         * sysdep.h: Also check size of short for int32_t.
1094
1095 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
1096
1097         * host.c (lookup_host): Use u_int32_t to store the result of
1098         inet_addr().  That removes the need for offset fiddling, caring
1099         about endian-ness, etc.
1100
1101         * sysdep.h: Define int32_t and u_int32_t if not available.
1102
1103 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
1104
1105         * ftp-basic.c (ftp_epsv): Use socklen_t * as the third argument to
1106         getpeername.
1107
1108         * config.h.in: Define socklen_t stub.
1109
1110         * host.c (sockaddr_len): Return socklen_t.
1111
1112         * connect.c (conaddr): Use socklen_t as the third argument to
1113         accept, getsockname, and connect.
1114
1115 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
1116
1117         * recur.c (retrieve_tree): Don't descend into documents that are
1118         not expected to contain HTML, regardless of their content-type.
1119
1120         * html-url.c (tag_url_attributes): Record which attributes are
1121         supposed to yield HTML links that can be followed.
1122         (tag_find_urls): Propagate that information to the caller through
1123         struct urlpos.
1124
1125 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
1126
1127         * hash.c (find_mapping): Return the next available mapping when
1128         the key is not found, not NULL.
1129         (hash_table_put): Use find_mapping to find the storage for the new
1130         data.
1131         (hash_table_put): Grow the table before exceeding maximum
1132         fullness, not afterwards.
1133
1134 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
1135
1136         * hash.c (hash_table_new): Slightly change the meaning of the
1137         first parameter.  Instead of being the minimum initial size, it is
1138         now the minimum number of items that the hash table can take
1139         without needing to resize.
1140
1141 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
1142
1143         * html-url.c (init_interesting): Initialize interesting_tags and
1144         interesting_attributes as hash tables.  This simplifies the code
1145         immensely because hash tables handle allocation and remove
1146         duplicates automatically.
1147         (find_tag): Removed.
1148         (collect_tags_mapper): Instead of calling find_tag, simply get the
1149         entry from interesting_tags hash table, which is both simpler and
1150         faster.
1151
1152 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
1153
1154         * hash.c (hash_table_get): Declare hash-table argument as const.
1155         (find_mapping): Ditto.
1156         (hash_table_get_pair): Ditto.
1157         (hash_table_contains): Ditto.
1158         (hash_table_count): Ditto.
1159
1160 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1161
1162         * html-url.c (get_urls_html): Parse the appropriate flags to
1163         html-parse.c.
1164
1165         * html-parse.c (map_html_tags): Accept FLAGS from the caller
1166         instead of examining OPT.
1167
1168 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1169
1170         * html-url.c (find_tag): Switch to binary search.
1171
1172 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1173
1174         * main.c (print_help): Fix typo; stured -> stored.
1175
1176 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1177
1178         * getopt.c: Add definitions of getopt_long and getopt_long_only.
1179
1180 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1181
1182         * config.h.in: Renamed DEBUG to ENABLE_DEBUG.  ENABLE_DEBUG is, I
1183         think, a better name, because it implies that debugging output is
1184         merely possible, not "on by default", as might be construed from
1185         just DEBUG.
1186
1187 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1188
1189         * ftp.c (has_insecure_name_p): Define it here.
1190
1191         * utils.c (has_wildcards_p): Define it here.
1192
1193         * sysdep.h: Declare fnmatch-related macros here, if not using
1194         system fnmatch().  Update .c files to not declare fnmatch.h
1195         directly.
1196
1197         * cmpt.c (fnmatch): Moved here.  Use it only under non-GNU libc.
1198
1199 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1200
1201         * getopt.c: Newer version, imported from Free libit.
1202
1203 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
1204
1205         * cookies.c (struct cookie): Remove unused backpointer to cookie
1206         jar.
1207
1208 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
1209
1210         * cmpt.c (memmove): Comment out, since it's no longer used.
1211
1212         * cookies.c (cookie_jar_generate_cookie_header): Allocate room for
1213         chains in one pass.
1214         (find_chains_of_host): Assume that the caller has allocated DEST
1215         to be sufficiently large to take all the data.
1216         (eliminate_dups): Run through the array and eliminate dups on the
1217         fly instead of using memmove.
1218         (cookie_jar_process_set_cookie): Free cookie->domain before
1219         re-setting it.
1220
1221 2003-10-05  Gisle Vanem  <giva@bgnett.no>
1222
1223         * mswindows.c (set_sleep_mode): Fix type of
1224         _SetThreadExecutionState.
1225
1226 2003-10-05  Hrvoje Niksic  <hniksic@xemacs.org>
1227
1228         * utils.c (file_size): Return -1 if fopen() returns NULL.  Prior
1229         to this patch, wget --post-file=nosuchfile dumped core.
1230
1231 2003-10-04  Gisle Vanem  <giva@bgnett.no>
1232
1233         * mswindows.c (run_with_timeout): Use WaitForSingleObject to wait
1234         for thread termination.
1235
1236 2003-10-04  Hrvoje Niksic  <hniksic@xemacs.org>
1237
1238         * log.c: Use `...' in function definitions; ansi2knr will convert
1239         them to va_dcl.  This allowed removal of the ugly VA_START_1 and
1240         VA_START_2 macros.
1241
1242 2003-10-03  Gisle Vanem  <giva@bgnett.no>
1243
1244         * connect.c: And don't include them here.
1245
1246         * mswindows.h: Include winsock headers here.
1247
1248 2003-10-03  Hrvoje Niksic  <hniksic@xemacs.org>
1249
1250         * html-parse.c (convert_and_copy): Move variable declarations
1251         before statements.
1252
1253 2003-10-02  Gisle Vanem  <giva@bgnett.no>
1254         
1255         * mswindows.c (run_with_timeout): For Windows: Run the 'fun' in a
1256         thread via a helper function. Continually query the thread's
1257         exit-code until finished or timed out.
1258
1259 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
1260
1261         * wget.h (XMALLOC_ARRAY): Removed.
1262         (ALLOCA_ARRAY): Ditto.
1263
1264         * html-parse.c: Renamed alloca_p to resized.
1265         (GROW_ARRAY): Renamed DO_REALLOC_FROM_ALLOCA to GROW_ARRAY and
1266         returned it to html-parse.c, since nothing else was using it.
1267
1268 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
1269
1270         * retr.c (retrieve_url): Initialize DUMMY storage for DT.  Caught
1271         by valgrind.
1272
1273 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
1274
1275         * html-parse.c (convert_and_copy): Handle numeric entities in
1276         hexadecimal, &#xHH.
1277         (convert_and_copy): Copy the contents directly to the pool without
1278         a stack-allocated intermediary.
1279
1280 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
1281
1282         * utils.c (alarm_set): New function; use either setitimer or alarm
1283         to set up the alarm.
1284         (alarm_cancel): New function; cancel the alarm set up by
1285         alarm_set.
1286         (run_with_timeout): Use them.
1287
1288 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
1289
1290         * url.c (url_parse): Don't leak memory when a reencoded URL turns
1291         out to be invalid.
1292
1293         * url.c (parse_errors): Mark error messages for translation.
1294         (url_error): Translate error messages returned to the caller.
1295
1296 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
1297
1298         * ftp.c (ftp_loop_internal): Initialize TMRATE to NULL to shut up
1299         the compiler.
1300
1301 2003-09-26  Gisle Vanem  <giva@bgnett.no>
1302
1303         * src/mswindows.c: Added ws_percenttitle() showing progress in the
1304         window titlebar. Called from retr.c. Secured ws_mypath().
1305
1306         * windows/config.h.ms: alloca() prototype not needed.  Removed
1307         "#undef ENABLE_NLS"; should be in Makefile IMHO. Moved
1308         WGET_USE_STDARG from mswindows.h to config.ms.h because of #ifdef
1309         in log.c. (MSVC's vararg.h and stdarg.h are incompatible).
1310
1311 2003-09-29  Aaron Hawley <Aaron.Hawley@uvm.edu>
1312
1313         * ftp.c (getftp): --spider option should now work with FTP
1314         downloads.
1315         (ftp_loop_internal): quiet reports and calculations of downloads
1316         when --spider option set, nor try deleting when --delete-after
1317         also set.
1318         (ftp_loop): --spider will skip HTML-ification of .listing file.
1319
1320 2003-09-26  Gisle Vanem  <giva@bgnett.no>
1321
1322         * mswindows.c (read_registry): Removed.
1323         (set_sleep_mode): New function.
1324         (windows_main_junk): Call it.
1325
1326 2003-09-26  Gisle Vanem  <giva@bgnett.no>
1327
1328         * mswindows.c (read_registry): Fix invocation of registry
1329         functions.
1330
1331         * mswindows.c (read_registry): Condition definitions of sleep and
1332         usleep with not HAVE_SLEEP and HAVE_USLEEP respectively.  Define
1333         HAVE_SLEEP and HAVE_USLEEP under __DMC__.
1334
1335 2003-09-24  Hrvoje Niksic  <hniksic@xemacs.org>
1336
1337         * url.c (url_escape_1): Revert unintentional change to lowercase
1338         xdigit escapes.
1339         (url_escape_dir): Document that this function depends on the
1340         output of url_escape_1.
1341
1342 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
1343
1344         * progress.c (create_image): Print the current ETA if we're done
1345         with the download.
1346         (create_image): Change '-' display char to '+' in the progress bar.
1347
1348         * Makefile.in (clean): Remove .libs.
1349
1350 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
1351
1352         * cookies.c (struct cookie): New flag domain_exact.
1353         (update_cookie_field): Skip leading dot in domain.
1354         (find_matching_chains): Match numeric addresses exactly; don't
1355         needlessly copy HOST to the stack.
1356         (matching_cookie): Added argument HOST.  If cookie->domain_exact
1357         is set, check that HOST is equal to cookie->domain.
1358         (cookie_jar_load): Only use TAB as delimiter.  Document the
1359         meaning of DOMAIN-FLAG.  Skip leading dot in domain.
1360         (cookie_jar_load): Don't ignore DOMAIN-FLAG -- instead, set
1361         domain_exact to true if DOMAIN-FLAG is false.
1362         (save_cookies_mapper): If domain_exact is false, prepend the
1363         domain with dot, like Mozilla does.
1364
1365 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
1366
1367         * progress.c (create_image): Print the initial part of the
1368         download with '-' characters, analogous to how dot progress prints
1369         the initial part with ','.
1370
1371         * hash.c (ptrhash): New function.
1372         (ptrcmp): Ditto.
1373         (hash_table_new): Default to identity hash table.
1374
1375 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
1376
1377         * safe-ctype.h (_sch_test): The cast of BIT to unsigned char was
1378         broken -- _sch_istable bitmasks are 16-bit, not 8-bit!  Cast BIT
1379         to unsigned short instead.
1380
1381 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
1382
1383         * url.c (path_simplify): Instead of calls to memmove, handle "./"
1384         and "../" by advancing pointers.
1385
1386 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
1387
1388         * retr.c (getproxy): Moved from url.c.
1389
1390         * convert.c: Split off link conversion from url.c into separate
1391         file.  Also included the book-keeping stuff from recur.c.
1392
1393 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
1394
1395         * init.c: Improved documentation of functions.
1396         (cmd_boolean): Attempt to make code that tries to avoid calling
1397         strcmp for "speed" a bit more readable.
1398
1399         * init.c (simple_atof): Report error on encountering non-digit,
1400         non-"." character.
1401         (simple_atoi): Replacement for myatoi(), calling interface
1402         compatible with simple_atof.  Updated myatoi's callers.
1403
1404 2003-09-21  Bertrand Demiddelaer  <bert@b3rt.org>
1405
1406         * url.c (path_simplify): Would read two bytes past the end of the
1407         string in the "./" case.
1408
1409 2003-09-21  Matthew J. Mellon  <mellon@tymenet.com>
1410
1411         * http.c (gethttp): Recognize content-type "application/xhtml+xml"
1412         as what Wget considers "text/html".
1413
1414 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
1415
1416         * connect.c (connect_with_timeout): Made timeout type double.
1417
1418         * options.h (struct options): New members read_timeout,
1419         dns_timeout, and connect_timeout.
1420         Use them.
1421
1422 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
1423
1424         * init.c (simple_atof): New function.
1425         (cmd_time): Use it.
1426         (cmd_bytes): Accept things like "1.5k" and such.  Use simple_atof
1427         to parse decimals.
1428
1429         * retr.c (limit_bandwidth): Adjust each sleep by the error of the
1430         previous one.
1431
1432 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
1433
1434         * main.c (main): Use setoptval() for setting the options.  Use
1435         run_command for `-e'.
1436
1437         * init.c (parse_line): Rewritten to return COMIND right away.
1438         Changed linkage to static.
1439         (run_wgetrc): Use the available comind when calling setval, so it
1440         doesn't have to be computed twice.
1441         (setval_internal): New function, runs the command's action without
1442         any error checking.
1443         (setoptval): New function, does what setval used to do, but exits
1444         in case of error.
1445         (run_command): New function.
1446
1447 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
1448
1449         * connect.c (select_fd): Change MAXTIME's type to double.  Handle
1450         its decimal part.
1451
1452         * retr.c (sleep_between_retrievals): In the random-wait case, use
1453         random_float() to wait between 0 and 2*opt.wait seconds.
1454
1455         * utils.c (run_with_timeout): Accept `double' timeouts.  Correctly
1456         handle timeout values in (0, 1) range.
1457         (random_float): New function.
1458
1459         * options.h (struct options): Change the types of wait, waitretry,
1460         and timeout to double.
1461
1462         * init.c (cmd_time): Accept floating point time.
1463
1464 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
1465
1466         * retr.c (get_contents): Cosmetic fixes.
1467
1468 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
1469
1470         * url.c (uri_merge): Get rid of uri_merge_1.
1471         (uri_merge): Merge "foo//", "bar" as "foo//bar", not "foo///bar",
1472         i.e. don't add an extra slash merely because BASE ends with two
1473         slashes.
1474         (parse_credentials): Renamed from parse_uname.  Rewrittern in
1475         standard [beg, end) calling style.
1476         (url_skip_credentials): Renamed from url_skip_uname.  Made static.
1477         (url_skip_credentials): Include # and ; as terminators.  Old code
1478         would mistakenly consider "http://foo.com#hniksic@iskon.hr" to
1479         contain a username.
1480         (url_skip_scheme): Removed because it was unused.
1481         (url_has_scheme): Require "scheme" to be at least one char long.
1482
1483 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
1484
1485         * url.c (url_file_name): Expect NULL dir_prefix.
1486
1487         * init.c (cmd_file): Use a macro to prevent multiple #ifdef
1488         WINDOWS.
1489         (defaults): Set dir_prefix to NULL by default.
1490
1491 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
1492
1493         * safe-ctype.h (_sch_test): Cast BIT to unsigned char, like latest
1494         gcc does.
1495
1496 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
1497
1498         * wget.h (BOUNDED_TO_ALLOCA): Evaluate PLACE only once.
1499         (ARRAY_SIZE): Renamed to countof.  All callers updated.
1500
1501 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
1502
1503         * main.c (main): New option --strict-comments.
1504
1505         * html-parse.c (find_comment_end): New function: simple BM search
1506         for "-->".
1507         (map_html_tags): Use it if looking at a comment and not in strict
1508         comments mode.
1509
1510 2003-09-17  Aurelien Marchand  <artaxerxes@users.sf.net>
1511
1512         * ftp.h: Added OS400 system in enum
1513         * ftp-basic.c: recognize OS400 systems
1514         * ftp.c: don't prepend the CWD if talking to OS400, since it
1515         breaks the change in library
1516
1517 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
1518
1519         * retr.c (get_contents): Pass the correct argument to ssl_iread.
1520
1521 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
1522
1523         * safe-ctype.h: Don't #define ctype.h macros to errors because
1524         that loses when someone #include's ctype.h after safe-ctype.h.
1525
1526 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
1527
1528         * url.c: Undef U, W, C after use.
1529
1530 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
1531
1532         * init.c (cmd_spec_restrict_file_names): Allow the OS setting to
1533         be augmented by ",nocontrol" which means don't escape the control
1534         characters, but otherwise keep OS settings.
1535
1536         * url.c (file_unsafe_char): Deleted.
1537         (append_uri_pathel): Query filechr_table directly.
1538         (filechr_table): Separated Unix, Windows, and control-unsafe
1539         characters.
1540
1541 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
1542
1543         * url.c (url_escape_1): New function.
1544         (url_escape): Use it.
1545         (sync_path): Handle pathological cases where u->file and u->dir
1546         contain really strange characters.
1547         (ENCODE): Deleted.
1548         (REENCODE): Deleted.
1549
1550 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
1551
1552         * url.c (url_file_name): Don't reallocate FNAME if the file
1553         doesn't exist, as is usually the case.
1554
1555         * utils.c (unique_name): New flag allow_passthrough.
1556
1557 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
1558
1559         * utils.c (wtimer_sys_diff): Convert the time difference to signed
1560         __int64, then to double.  This works around MS VC++ 6 which can't
1561         convert unsigned __int64 to double directly.
1562
1563 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
1564
1565         * Makefile.in (clean): Also remove the core.<number> files
1566         produced by recent Linux systems.
1567
1568 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
1569
1570         * http.c (post_file): Don't pad the file if it's not large
1571         enough.  Bail out instead.
1572
1573 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
1574
1575         * retr.c (get_contents): Reduce the buffer size to the amount of
1576         data that may pass through for one second.  This prevents long
1577         sleeps when limiting bandwidth.
1578
1579         * connect.c (connect_to_one): Reduce the socket's RCVBUF when
1580         bandwidth limitation to small values is requested.
1581
1582 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
1583
1584         * progress.c (update_speed_ring): Moved the speed ring update to a
1585         separate function and documented it better.
1586
1587         * progress.c: Use `double' for most timers to support granularity
1588         smaller than 1ms.
1589
1590 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
1591
1592         * wget.h (XDIGIT_TO_XCHAR): Implement as index into a literal
1593         string.
1594         (XDIGIT_TO_xchar): Ditto.
1595
1596 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
1597
1598         * utils.c: Change the type of timer-related functions from long to
1599         double, for better precision.  On machines supporting gettimeofday
1600         the timers now work with granularity of less than one millisecond.
1601
1602 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
1603
1604         * cookies.c (parse_set_cookies): Fixed the parser to handle more
1605         edge conditions.
1606         (test_cookies): New function, contains a test suite for
1607         parse_set_cookies.
1608
1609 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
1610
1611         * url.c (strpbrk_or_eos): Implement as a macro under Gcc.
1612
1613 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
1614
1615         * cookies.c (parse_set_cookies): Allow trailing space in
1616         set-cookies header.  Also, allow any amount of whitespace, not
1617         only one character.  Allow empty set-cookies header without
1618         spewing an error.
1619
1620 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
1621
1622         * url.c (append_uri_pathel): Use opt.restrict_file_names when
1623         calling file_unsafe_char.
1624
1625         * init.c: New command restrict_file_names.
1626
1627         * main.c (main): New option --restrict-file-names[=windows,unix].
1628
1629         * url.c (url_file_name): Renamed from url_filename.
1630         (url_file_name): Add directory and hostdir prefix here, not in
1631         mkstruct.
1632         (append_dir_structure): New function, does part of the work that
1633         used to be in mkstruct.  Iterates over path elements in u->path,
1634         calling append_uri_pathel on each one to append it to the file
1635         name.
1636         (append_uri_pathel): URL-unescape a path element and reencode it
1637         with a different set of rules, more appropriate for handling of
1638         files.
1639         (file_unsafe_char): New function, uses a lookup table to decide
1640         whether a character should be escaped for use in file name.
1641         (append_string): New utility function.
1642         (append_char): Ditto.
1643         (file_unsafe_char): New argument restrict_for_windows, decide
1644         whether Windows file names should be escaped in run-time.
1645
1646         * connect.c: Include <stdlib.h> to get prototype for abort().
1647
1648 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
1649
1650         * utils.c (wtimer_sys_set): Extracted the code that sets the
1651         current time here.
1652         (wtimer_reset): Call it.
1653         (wtimer_sys_diff): Extracted the code that calculates the
1654         difference between two system times here.
1655         (wtimer_elapsed): Call it.
1656         (wtimer_elapsed): Don't return a value smaller than the previous
1657         one, which could previously happen when system time is set back.
1658         Instead, reset start time to current time and note the elapsed
1659         offset for future calculations.  The returned times are now
1660         guaranteed to be monotonically nondecreasing.
1661
1662 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
1663
1664         * host.c (lookup_host): Print the result of the DNS lookup.
1665
1666 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
1667
1668         * init.c (cmd_boolean): Accept yes/no along with on/off.
1669         (cmd_lockable_boolean): Ditto.
1670
1671 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
1672
1673         * init.c: New command dns_cache.
1674
1675         * main.c (main): New option --dns-cache[=off].
1676
1677 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
1678
1679         * config.h.in: Initialize HAVE_GETADDRINFO and ENABLE_IPV6.
1680
1681         * all: Use #ifdef ENABLE_IPV6 instead of the older INET6.  Use
1682         HAVE_GETADDRINFO for getaddrinfo-related stuff.
1683
1684 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
1685
1686         * url.c (url_parse): Return an error if the URL contains a [...]
1687         IPv6 numeric address and we don't support IPv6.
1688
1689 2003-09-05  Hrvoje Niksic  <hniksic@xemacs.org>
1690
1691         * url.c (is_valid_ipv6_address): Modified to not require
1692         zero-terminated strings.
1693         (is_valid_ipv4_address): Ditto.
1694
1695 2003-09-05  Mauro Tortonesi <mauro@deepspace6.net>
1696
1697         src/url.c: added RFC 2732 compliance for URL parsing. The
1698         functions is_*_address valid are a modified version of
1699         glibc 2.3.2 inet_pton's code.
1700
1701 2003-09-03  Ahmon Dancy  <dancy@dancysoft.com>
1702
1703         * main.c init.c options.h: Added --retry-connrefused option so
1704         that Connection Refused failures are treated as non-fatal (when
1705         trying to retrieve from busy servers).
1706
1707         * wget.h: New CONNECT_ERROR macro for encapsulating this
1708         modification.
1709
1710         * ftp.c http.c : Use CONNECT_ERROR macro in places where
1711         ECONNREFUSED was checked.
1712
1713 2003-01-11  Ian Abbott  <abbotti@mev.co.uk>
1714
1715         * ftp.c (ftp_retrieve_glob): Reject insecure filenames as determined
1716         by calling new function has_insecure_name_p.  This is based on a
1717         patch by Red Hat.
1718
1719         * fnmatch.c (has_insecure_name_p): New function: returns non-zero
1720         if filename starts with `/' or contains `../' and is therefore
1721         considered insecure.
1722
1723         * fnmatch.h: Declare has_insecure_name_p().
1724
1725 2002-08-03  Hrvoje Niksic  <hniksic@xemacs.org>
1726
1727         * init.c (cmd_file): Allocate RESULT correctly.
1728
1729 2002-07-24  Hrvoje Niksic  <hniksic@xemacs.org>
1730
1731         * recur.c (retrieve_tree): Check whether downloaded_html_set is
1732         non-NULL before using it.
1733
1734 2002-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1735
1736         * html-parse.c (NAME_CHAR_P): Allow almost any character here.
1737
1738 2002-05-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1739
1740         * progress.c (bar_set_params): Fall back to dot progress if the
1741         terminal type is "emacs".
1742
1743 2002-05-20  Hrvoje Niksic  <hniksic@arsdigita.com>
1744
1745         * log.c: Don't #undef WGET_USE_STDARG.
1746
1747 2002-05-16  Hrvoje Niksic  <hniksic@arsdigita.com>
1748
1749         * hash.c (prime_size): Store the offset of the prime number in the
1750         prime table.  When searching, start with the given offset.
1751         (hash_table_new): Pass the pointer to ht->prime_offset to
1752         prime_size.
1753         (grow_hash_table): Ditto.
1754         (prime_size): Make 13 the first prime to make empty hash tables
1755         slightly smaller.
1756
1757 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
1758
1759         * recur.c (download_child_p): Minor optimization to avoid an
1760         unnecessary additional call to schemes_are_similar_p function.
1761
1762 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
1763
1764         * url.c (schemes_are_similar_p): New function to test enumerated
1765         scheme codes for similarity.
1766
1767         * url.h: Declare it.
1768
1769         * recur.c (download_child_p): Use it to compare schemes.  This
1770         also fixes a bug that allows hosts to be spanned (without the
1771         -H option) when the parent scheme is https and the child's is
1772         http or vice versa.
1773
1774 2002-05-14  Bill Richardson  <bill@riverstonenet.com>
1775
1776         * ftp.c (getftp): Don't ftruncate stdout.
1777
1778         * http.c (gethttp): Don't ftruncate stdout.
1779
1780 2002-05-09  Ian Abbott  <abbotti@mev.co.uk>
1781
1782         * cmpt.c (strptime_internal): Synched with glibc-2.1.3.
1783         (get_number): Ditto.
1784         (get_alt_number): Ditto.
1785         (__isleap): New function-like macro used by strptime.
1786         (day_of_the_week): New function used by strptime.
1787         (day_of_the_year): Ditto.
1788         (__mon_yday): Now shared by mktime and strptime implementations.
1789
1790 2002-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
1791
1792         * cookies.c (check_domain_match): Use match_tail in case
1793         insensitive mode.
1794
1795         * utils.c (match_tail): Allow the caller to specify case
1796         insensitive mode.
1797
1798         * cookies.c (store_cookie): When expiry_time is 0, print it as
1799         undefined, not indefinite.
1800
1801 2002-05-07  Ian Abbott  <abbotti@mev.co.uk>
1802
1803         * cookies.c (cookie_jar_process_set_cookie): Do not store
1804         discarded cookie.
1805
1806 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
1807
1808         * cookies.c (check_domain_match): Allow cookies to be set for
1809         subdomains of unknown top-level domains under some circumstances.
1810
1811 2002-04-21  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
1812
1813         * gen_ssl.c:
1814         - allow checking of server cert
1815         - allow defining client cert type
1816         - allow limit of ssl protocol
1817         - check more return values
1818         - added debug message on break
1819
1820 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
1821
1822         * recur.c (download_child_p): Revert order of items in check
1823         number 6 for clarity.
1824
1825 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
1826
1827         * init.c: Ditto.
1828
1829         * main.c: Ditto.
1830
1831         * http.c: Use the new interface.
1832
1833         * cookies.c: Provide an OO-style "cookie jar" interface to enable
1834         separate cookie jars.
1835
1836         * http.c (http_atotm): Declare argument as const.
1837
1838 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
1839
1840         * cookies.c (cookie_new): Default to PORT_ANY.
1841         (find_cookie_chain_exact): Only search by DOMAIN.
1842         (find_matching_cookie): Also check that PORT matches.
1843         (store_cookie): Only match the domain.
1844         (set_cookie_header_cb): When a cookie "fakes" a domain, assume it
1845         is valid for that host rather than discarding it completely.
1846         (find_matching_chains): Don't search by PORT.
1847         (matching_cookie): Also match PORT.
1848         (load_cookies): Set the port if specified, otherwise leave it as
1849         ANY.
1850         (save_cookies_mapper): Save the port if specified, otherwise leave
1851         it empty.
1852
1853 2002-04-19  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
1854
1855         * init.c: The option `egdfile' was not in sort order.
1856
1857 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
1858
1859         * ftp.c (getftp): Treat directories that begin with <letter>: as
1860         absolute.
1861         (getftp): Strip trailing slashes from con->id before merging it
1862         with TARGET.
1863
1864 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
1865
1866         * http.c (gethttp): If Content-Type is not given, assume
1867         text/html.
1868
1869 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
1870
1871         * recur.c (download_child_p): Don't ignore rejection of HTML
1872         documents that are themselves leaves of recursion.
1873
1874 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
1875
1876         Makefile.in: Updated several dependencies for object files to take
1877         account of nested include files.
1878
1879 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
1880
1881         Makefile.in: The target `connect$o' (connect.o) now depends on
1882         `utils.h'
1883
1884 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
1885
1886         * host.c (SET_H_ERRNO): New function-like macro to set `h_errno'.
1887         (gethostbyname_with_timeout): Use it.
1888
1889         * utils.c: Don't define `SETJMP()', `run_with_timeout_env' or
1890         `abort_run_with_timeout()' when `USE_SIGNAL_TIMEOUT' is undefined.
1891
1892 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
1893
1894         * host.c (getaddrinfo_with_timeout): New function.
1895         (gethostbyname_with_timeout): Ditto.
1896         (lookup_host): Use them.
1897
1898 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1899
1900         * utils.c (number_to_string): Handle the case when n < -INT_MAX.
1901
1902 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1903
1904         * init.c (comind): Use a marginally faster implementation of
1905         binary search.  To quote Martin Buchholz, "a nanosecond saved is a
1906         nanosecond earned."
1907
1908 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1909
1910         * main.c (print_help): Document `--post-data' and `--post-file'.
1911
1912 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1913
1914         * http.c (gethttp): Ditto.
1915
1916         * retr.c (retrieve_url): Initialize variables to appease the
1917         compiler.
1918
1919         * gen_sslfunc.c (ssl_iread): Don't handle EINTR when calling
1920         select_fd.
1921         (ssl_iwrite): Ditto.
1922
1923         * connect.c (select_fd): Rewrite to handle EINTR.  Set errno to
1924         ETIMEDOUT in case of timeout.
1925         (iread): No need to handle EINTR when calling select_fd.
1926         (iwrite): Ditto.
1927
1928 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1929
1930         * retr.c (retrieve_url): Make sure that POST is not honored for
1931         redirections.
1932
1933         * http.c (gethttp): Send the POST data when requested.
1934         (post_file): New function.
1935         (gethttp): Use it.
1936
1937         * main.c (main): Ditto.
1938
1939         * init.c: Add new options.
1940
1941         * options.h (struct options): New options post_data and
1942         post_file_name.
1943
1944 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1945
1946         * connect.c (connect_with_timeout): Firing SIGALRM can result in
1947         connect() exiting with EINTR.  Treat EINTR the same as ETIMEDOUT.
1948
1949 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1950
1951         * connect.c (connect_with_timeout): Use it.
1952
1953         * utils.c (run_with_timeout): New function.
1954
1955 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1956
1957         * url.c (getproxy): Accept a struct url argument.  This obviates
1958         the need for USE_PROXY_P.
1959
1960         * retr.c (retrieve_url): Allow proxy to be a non-FTP URL.
1961
1962         * ftp.c (getftp): Recognize FWTK-style proxy.
1963
1964 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1965
1966         * config.h.in: Only define _VA_LIST when compiled with gcc.
1967
1968 2002-04012  Ian Abbott  <abbotti@mev.co.uk>
1969
1970         * http.c (http_loop): Compensate for MS Windows two-second
1971         granularity of file modification time when comparing timestamps.
1972
1973         * ftp.c (ftp_retrieve_list): Ditto.
1974
1975 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
1976
1977         * utils.c (has_html_suffix_p): New function to test filename for
1978         common html extensions.
1979
1980         * utils.h: Declare it.
1981
1982         * http.c (http_loop): Use it instead of previous test.
1983
1984         * retr.c (retrieve_url): Ditto.
1985
1986         * recur.c (download_child_p): Ditto.
1987
1988 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1989
1990         * config.h.in: Define _VA_LIST on Solaris to prevent stdio.h from
1991         declaring va_list.
1992         From Kevin Rodgers <kevinr@ihs.com>.
1993
1994 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
1995
1996         * Makefile.in: Specify libtool mode explicitly when linking.
1997
1998 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1999
2000         * connect.c (connect_with_timeout): New function.
2001         (connect_to_one): Use it.
2002
2003         * config.h.in: Add stubs for HAVE_SIGSETJMP, HAVE_SIGBLOCK, and
2004         HAVE_SETJMP_H.
2005
2006 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2007
2008         * log.c: Set WGET_USE_STDARG if __STDC__ is defined and stdarg.h
2009         is present.
2010
2011 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2012
2013         * progress.c (bar_create): If INITIAL is larger than TOTAL, fix
2014         TOTAL.
2015         (bar_finish): Likewise.
2016
2017 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2018
2019         * html-url.c (tag_handle_form): New function.  Pick up form
2020         actions and mark them for conversion only.
2021
2022 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2023
2024         * progress.c (struct progress_implementation): Use PARAMS when
2025         declaring the parameters of *create, *update, *finish, and
2026         *set_params.
2027
2028         * netrc.c: Ditto.
2029
2030         * http.c: Reformat some function definitions so that ansi2knr can
2031         read them.
2032
2033         * hash.c (struct hash_table): Use the PARAMS macro around
2034         parameters in the declaration of hash_function and test_function.
2035         (prime_size): Spell 2580823717UL and 3355070839UL as (unsigned
2036         long)0x99d43ea5 and (unsigned long)0xc7fa5177 respectively, so
2037         that pre-ANSI compilers can read them.
2038         (find_mapping): Use PARAMS when declaring EQUALS.
2039         (hash_table_put): Ditto.
2040
2041         * ftp.h: Wrap the parameters of ftp_index declaration in PARAMS.
2042
2043         * cookies.c (cookie_new): Use (unsigned long)0 instead of 0UL,
2044         which was unsupported by pre-ANSI compilers.
2045
2046         From Nelson H. F. Beebe <beebe@math.utah.edu>, for the most part.
2047
2048 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2049
2050         * url.c (url_filename): Use compose_file_name regardless of
2051         whether opt.dirstruct is set.
2052         (mkstruct): Don't handle the query and the reencoding of DIR; that
2053         is done in compose_file_name.
2054
2055 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2056
2057         * wget.h: Ditto for extern char *exec_name.
2058
2059         * options.h: Don't guard against OPTIONS_DEFINED_HERE -- it is
2060         perfectly legal to follow an `extern' with a non-`extern' ones,
2061         provided the types match.
2062
2063         * main.c: Don't define OPTIONS_DEFINED_HERE.
2064
2065 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2066
2067         * progress.c (create_image): Revert to calculating ETA based on
2068         average download speed.
2069         (create_image): Don't print ETA until the download has been active
2070         for at least 3 seconds.
2071         (create_image): When ETA is not available, don't print anything.
2072         The previous version would print --:--.
2073
2074 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2075
2076         * progress.c (bar_update): Keep updating a subinterval until it
2077         reaches or exceeds a watermark.  That way the measurement will be
2078         guaranteed to span a configurable minimum of time.  The current
2079         default is 3s in 30 100ms intervals.
2080
2081 2002-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2082
2083         * progress.c (bar_update): Maintain an array of the time it took
2084         to perform previous 30 network reads.
2085         (create_image): Calculate the download speed and ETA based on the
2086         last 30 reads, not the entire download.
2087         (create_image): Make sure that the ETA is not changed more than
2088         once per second.
2089
2090 2002-04-09  Ian Abbott  <abbotti@mev.co.uk>
2091
2092         * mswindows.c (borland_utime): New function conditionally defined
2093         when `HACK_BCC_UTIME_BUG' is defined.  A reimplementation of
2094         `utime()' as Borland's `utime()' function is broken on Windows 9x
2095         systems.  (Original patch by Chin-yuan Kuo <sr1111111@yahoo.com.tw>.)
2096
2097 2002-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
2098
2099         * ftp.c (ftp_loop): Propagate the result of ftp_retrieve_glob.
2100
2101 2002-03-26  Ian Abbott  <abbotti@mev.co.uk>
2102
2103         * Makefile.in: Updated several dependencies for object files.
2104
2105 2002-03-20  Ian Abbott  <abbotti@mev.co.uk>
2106
2107         * mswindows.c: Include "utils.h".
2108
2109 2002-03-18  Ian Abbott  <abbotti@mev.co.uk>
2110
2111         * host.h: Don't include netdb.h on windows.
2112
2113 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2114
2115         * recur.c (retrieve_tree): Handle the case when start_url doesn't
2116         parse.
2117
2118 2002-02-19  Andreas Damm  <andreas-sourceforge@radab.org>
2119
2120         * wget.h (DO_REALLOC_FROM_ALLOCA): Multiply with sizeof(type) when
2121         calling xmalloc and memcpy.
2122
2123 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2124
2125         * host.h: Include Unix-specific includes #ifndef WINDOWS.
2126         Patch originally provided by Christian Lackas.
2127
2128 2002-02-11  Christian Lackas  <delta@lackas.net>
2129
2130         * recur.c: recurive downloading for https fixed.
2131
2132 2002-02-19  Alan Eldridge  <alane@geeksrus.net>
2133
2134         * host.h: Also include <netinet/in.h> and <sys/socket.h>.
2135
2136         * ftp-basic.c: Also include <netinet/in.h>.
2137
2138 2002-02-05  Ian Abbott  <abbotti@mev.co.uk>
2139
2140         * http.c (gethttp): when -c used, mark already fully retrieved
2141         file as successfully retrieved.
2142
2143 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2144
2145         * url.c (url_parse): Don't treat '?' as query string separator
2146         when parsing FTP URLs.
2147
2148 2002-02-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2149
2150         * html-url.c (tag_handle_meta): Don't crash on <meta
2151         http-equiv=refresh> where content is missing.
2152
2153 2002-01-31  Herold Heiko  <Heiko.Herold@previnet.it>
2154
2155         * ftp-basic.c, host.c: don't include sys/socket.h, arpa/inet.h,
2156         netdb.h on windows.
2157
2158 2002-01-30  Hrvoje Niksic  <hniksic@arsdigita.com>
2159
2160         * retr.c (retrieve_url): Remove redirection cycle detection.  This
2161         is because some sites legitimately redirect the user back to the
2162         same location, e.g. after an authorization check performed by
2163         another page.  MAX_REDIRECTIONS is still used to prevent infinite
2164         redirection loops.
2165
2166 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2167
2168         * http.c (gethttp): Wrap host name in square brackets if it
2169         contains a colon.
2170
2171 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2172
2173         * url.c (url_parse): Allow all hex digits, not only decimal ones,
2174         to form an IP address.
2175
2176 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2177
2178         * url.c (urlchr_table): Make square braces reserved, so we can
2179         parse http://[::1]/.
2180         (url_parse): Handle host in braces.
2181         (url_string): If url->host contains colons, wrap it in braces.
2182
2183 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2184
2185         * connect.c (resolve_bind_address): New function.
2186         (connect_to_one): Use it.
2187         (bindport): Ditto.
2188
2189         * init.c: Don't resolve bind-address here.
2190
2191         * host.c (wget_sockaddr_set_address): Would bug out with ADDR == NULL.
2192
2193 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2194
2195         * host.c (lookup_host): Use sizeof(ip4_address) to calculate the
2196         offset.
2197         (address_list_new): Use map_ipv4_to_ip.
2198         (wget_sockaddr_set_address): Convert ADDR to IPv4 before using it
2199         in IPv4 context.
2200
2201 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2202
2203         * source: Integrated IPv6 support.
2204         Written by Thomas Lussnig <thomas.lussnig@bewegungsmelder.de>.
2205
2206 2002-01-15  Ian Abbott  <abbotti@mev.co.uk>
2207
2208         * init.c (cmd_file): Change `\' to `/' for Windows (yes, really!)
2209         (cmd_directory): New function. Like cmd_file(), but strips
2210         trailing directory separators.
2211         (commands): Change action for "dirprefix" from `cmd_file' to
2212         `cmd_directory'.
2213
2214         * utils.c (make_directory): Allow intermediate `mkdir' calls to
2215         fail, as not all path components that do not exist should be
2216         directory components, especially under Windows.
2217
2218 2002-01-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2219
2220         * netrc.c (parse_netrc): Skip leading whitespace before testing
2221         whether the line is empty.  Empty lines still contain the line
2222         terminator.
2223
2224 2002-01-15  Hrvoje Niksic  <hniksic@arsdigita.com>
2225
2226         * gen_sslfunc.c (ssl_iread): Call select on the file descriptor
2227         only if no data is pending in SSL buffers.
2228         From tony@bluetail.com.
2229
2230 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2231
2232         * headers.c (header_get): Strip trailing whitespace from the
2233         header.
2234
2235 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2236
2237         * url.c (parse_uname): URL-decode *USER and *PASSWD.
2238
2239 2002-01-07  Ian Abbott <abbotti@mev.co.uk>
2240
2241         * url.c (uri_merge_1): Deal with "net path" relative URL (one that
2242         starts with "//").
2243
2244 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2245
2246         * http.c (gethttp): Invalidate SOCK if get_contents encountered an
2247         error.
2248
2249 2001-12-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2250
2251         * version.c: Wget 1.8.1 is released.
2252
2253 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2254
2255         * version.c: Wget 1.8.1-pre3 is released.
2256
2257 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2258
2259         * recur.c (retrieve_tree): Enqueue the canonical representation of
2260         start_url, so that the test against dl_url_file_map works.
2261
2262 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2263
2264         * log.c (logputs): Check for requested verbosity before printing
2265         anything.
2266
2267 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2268
2269         * html-url.c (tag_handle_link): Treat the "shortcut icon" link as
2270         inline.
2271
2272 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2273
2274         * recur.c (retrieve_tree): Make a copy of file obtained from
2275         dl_url_file_map because the code calls xfree(file) later.
2276
2277 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2278
2279         * recur.c (register_html): Maintain a hash table of HTML files
2280         along with the list.  Disallow duplicates.
2281         (retrieve_tree): Use downloaded_html_set to check whether the file
2282         found in dl_url_file_map is an HTML file, and descend into it if
2283         so.
2284         (convert_all_links): Don't guard against duplicates in
2285         downloaded_html_list, since they are no longer possible.
2286
2287 2001-12-18  Ian Abbott  <abbotti@mev.co.uk>
2288
2289         * recur.c (retrieve_tree): Pass on referring URL when retrieving
2290         recursed URL.
2291
2292 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2293
2294         * version.c: Wget 1.8.1-pre2 is released.
2295
2296 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2297
2298         * retr.c (sleep_between_retrievals): Simplify indentation.
2299
2300 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2301
2302         * gen_sslfunc.c (ssl_init_prng): Use random_number to get a byte
2303         of "randomness" at a time.
2304         (ssl_init_prng): Don't seed the PRNG; random_number will do that.
2305
2306         * retr.c (sleep_between_retrievals): Use it.  Make sure that the
2307         random amount averages in opt.wait.
2308         (sleep_between_retrievals): Don't seed the PRNG; random_number
2309         will do that.
2310
2311         * utils.c (random_number): New function.
2312
2313 2001-12-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2314
2315         * url.c (path_simplify): Move here from utils.c, and make static.
2316
2317 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2318
2319         * init.c (wgetrc_file_name): Print correct message when loading
2320         getenv("WGETRC") fails.
2321
2322 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2323
2324         * recur.c (register_download): Don't abort when one URL references
2325         two different files.
2326
2327 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2328
2329         * http.c (gethttp): Check for conn->scheme, not u->scheme, before
2330         calling ssl_iwrite.
2331
2332 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2333
2334         * version.c: Wget 1.8.1-pre1 is released.
2335
2336 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2337
2338         * res.c (matches): Fix broken URL in the docstring.
2339
2340 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2341
2342         * html-url.c (tag_url_attributes): Mark <embed href=...> as
2343         external.
2344
2345 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2346
2347         * url.c (get_urls_file): Cosmetic changes.
2348
2349 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2350
2351         * html-url.c (append_one_url): Resurrect warning when unable to
2352         resolve a relative link.
2353
2354 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2355
2356         * html-url.c (collect_tags_mapper): Break into several functions.
2357         (tag_url_attributes): Collect <embed href=...>.
2358
2359 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2360
2361         * host.c: New type ipv4_address.  Use it consistently instead of
2362         `unsigned char[4]' and `unsigned char *'.
2363         (pretty_print_address): Accept a `const void *', to require even
2364         less casting.
2365
2366 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2367
2368         * ftp-ls.c (ftp_parse_vms_ls): Fix obvious memory leaks.
2369
2370 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2371
2372         * main.c (main): Initialize progress after fork_to_background, so
2373         that it knows when to use dots.
2374
2375         * mswindows.c (ws_hangup): Call log_request_redirect_output.
2376
2377         * utils.c (fork_to_background): Print the PID of the child
2378         process.
2379
2380         * log.c (log_request_redirect_output): Set a flag that output
2381         redirection has been requested.  Doing anything else in a signal
2382         handler is unsafe.
2383         (check_redirect_output): New function: check whether redirection
2384         has been requested and, if so, call redirect_output().
2385         (logputs): Call check_redirect_output.
2386         (logprintf): Ditto.
2387         (debug_logprintf): Ditto.
2388         (redirect_output): Print clearer messages.
2389
2390         * main.c (redirect_output_signal): Don't call
2391         redirect_output_signal directly.  Instead, call
2392         log_request_redirect_output.
2393
2394         * utils.c (memfatal): Ditto.
2395
2396         * progress.c (display_image): Use it.
2397
2398         * log.c (log_set_save_context): New function: allow the caller to
2399         turn off saving log context lines.
2400
2401 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2402
2403         * host.c (address_list_set_faulty): Uncomment a sanity check.
2404
2405 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2406
2407         * utils.c (long_to_string): Return a pointer after where the
2408         number ends.
2409         (long_to_string): Rename to number_to_string.
2410
2411 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2412
2413         * utils.c (path_simplify): Correctly handle the unlikely case that
2414         b starts out as path + 1.
2415
2416 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2417
2418         * utils.c (path_simplify): Rewrite, with better comments, and
2419         without the use of strcpy to move overlapping blocks.
2420
2421 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2422
2423         * init.c (cmd_spec_progress): Resurrect.  Check whether VAL is a
2424         valid progress type before setting it.
2425
2426 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2427
2428         * main.c (main): Remove stray debugging message.
2429
2430 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2431
2432         * progress.c (create_image): Fix ETA padding when hours are prined.
2433
2434 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2435
2436         * version.c: Wget 1.8 is released.
2437
2438 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2439
2440         * url.c (reencode_string): Declare static.
2441
2442         * res.c (registered_specs): Declare static.
2443
2444         * progress.c (current_impl_locked): Declare static.
2445
2446         * log.c (flush_log_p): Declare static.
2447         (needs_flushing): Ditto.
2448
2449         * http.c (digest_authentication_encode): Declare static.
2450
2451         * html-url.c (init_interesting): Declare static.
2452
2453         * host.c (host_name_addresses_map): Declare static.
2454
2455         * cookies.c (find_matching_chains): Declare static.
2456
2457         * ftp-ls.c (ftp_parse_vms_ls): Warn about the memory leak
2458         indicated by lint.
2459
2460         * utils.c (path_simplify): Remove unused variable STUB_CHAR.
2461
2462         * host.c (address_list_set_faulty): Document that INDEX is
2463         currently unused.
2464
2465         * url.c (rewrite_shorthand_url): Remove unused variable PATH.
2466
2467 2001-12-08  Hrvoje Niksic  <hniksic@arsdigita.com>
2468
2469         * version.c: Wget 1.8-pre2 is released.
2470
2471 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2472
2473         * progress.c (progress_handle_sigwinch): Set up the signal again.
2474
2475         * utils.c: Include <sys/termios.h>, where Solaris defines
2476         TIOCGWINSZ.
2477
2478         * progress.c (bar_create): Don't use the last column on the screen.
2479         (create_image): Pad ETA to constant size.  Pad SIZE to nine digits
2480         only until it exceeded them.
2481
2482 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2483
2484         * version.c: Wget 1.8-pre1 is released.
2485
2486 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2487
2488         * progress.c (progress_create): Make sure that, when the output is
2489         redirected, the progress implementation gets changed to the
2490         fallback one.
2491         (bar_set_params): Set current_impl_locked to 1 when "force" is
2492         specified.
2493         (progress_create): Don't change the progress implementation if
2494         current_impl_locked is non-zero.
2495
2496         * main.c (redirect_output_signal): Call
2497         progress_schedule_redirect.
2498
2499         * progress.c (progress_schedule_redirect): New function.
2500
2501 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2502
2503         * log.c (logvprintf): Restructure to allow being called multiple
2504         times.
2505         (logprintf): Call logvprintf in a loop.
2506         (debug_logprintf): Ditto.
2507
2508 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2509
2510         * gen_sslfunc.c (ssl_init_prng): Allow the user to disable EGD by
2511         setting egd_file it to empty string.
2512
2513         * main.c (main): Change the option name from --sslegdsock to
2514         --egd-file.
2515
2516 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2517
2518         * gen_sslfunc.c (ssl_init_prng): Make the printed message
2519         translatable.
2520
2521 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2522
2523         * url.c (scheme_disable): New function.
2524
2525         * main.c (main): Call ssl_init_prng from here rather than from
2526         init_ssl, so that it has a chance to disable support for https
2527         before a URL has been resolved.
2528
2529         * gen_sslfunc.c (ssl_init_prng): Seed with rand() if all else
2530         failed.
2531         (ssl_init_prng): Disable support for https if seeding the PRNG
2532         fails.
2533
2534 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2535
2536         * utils.c (read_whole_line): Handle lines beginning with \0.
2537
2538 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
2539
2540         * recur.c (convert_all_links): Guard against duplicates in
2541         downloaded_html_files.
2542         (register_download): Don't invalidate similar-looking URLs.
2543         (match_except_index): New function.
2544
2545 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
2546
2547         * utils.c (path_simplify): Document with test cases.
2548
2549 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
2550
2551         * gen_sslfunc.c: Ditto.
2552
2553         * rbuf.c: Include <string.h>.
2554
2555 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
2556
2557         * recur.c (retrieve_tree): Check whether the URL was already
2558         downloaded before downloading it again.
2559         (descend_child_p): Renamed to download_child_p.
2560         (register_download): When one URL is downloaded to a file already
2561         "owned" by another URL, delete all references that map any URL to
2562         that file.
2563         (register_delete_file): New function.
2564         (retrieve_tree): Use it after deleting a file.
2565
2566         * url.c (url_parse): Re-canonicalize the URL also if the path is
2567         empty, so that e.g. "http://www.server.com" ->
2568         "http://www.server.com/".
2569         (lowercase_str): Use ISUPPER instead of !ISLOWER.
2570
2571         * retr.c (retrieve_url): Use the canonical URL form when calling
2572         register_download().
2573
2574 2001-12-04  Ian Abbott <abbotti@mev.co.uk>
2575
2576         * snprintf.c (dopr): Use `unsigned int' as the second argument to
2577         va_arg when casting to `unsigned short' is intended.
2578
2579 2001-12-04  Herold Heiko  <Heiko.Herold@previnet.it>
2580
2581         * gen_sslfunc.c: on windows provide ssl crypto random 
2582           initialization through RAND_screen(); could possibly
2583           be not enough for strong ssl communication (see the 
2584           relevant manual page from the openssl package).
2585
2586 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
2587
2588         * url.c (local_quote_string): Reenable quoting of question marks,
2589         but only when `--html-extension' is used.
2590
2591 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
2592
2593         * version.c: Wget 1.8-beta3 is released.
2594
2595 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
2596
2597         * snprintf.c (dopr): Cast the result of va_arg to short int and
2598         short unsigned int where these types are expected to be used.
2599
2600 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
2601
2602         * snprintf.c (dopr): Replace `short int' and `unsigned short int'
2603         with `int' when using it as the second argument to `va_arg'.
2604
2605 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
2606
2607         * host.c (address_list_new_one): New function.
2608         (lookup_host): Use it.
2609
2610 2001-12-03  Andre Majorel  <amajorel@teaser.fr>
2611
2612         * host.c (lookup_host): Don't initialize TMPSTORE directly because
2613         it's not legal C.
2614
2615 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
2616
2617         * ftp-basic.c (ftp_port): Don't return HOSTERR if we fail getting
2618         the socket data.
2619
2620         * ftp.c: Ditto.
2621
2622         * http.c: No need to declare h_errno.
2623
2624         * host.c: Declare h_errno.
2625
2626 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
2627
2628         * utils.c (file_merge): If BASE doesn't contain a slash, just
2629         return a copy of FILE.
2630
2631 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
2632
2633         * version.c: Wget 1.8-beta2 is released.
2634
2635 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2636
2637         * ftp.c (getftp): When PWD fails, assume "/".
2638
2639         * ftp-basic.c (ftp_syst): Fix indentation.
2640
2641 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2642
2643         * url.c (get_urls_file): If opt.base_href is specified, merge each
2644         URL with the base.
2645
2646 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2647
2648         * main.c (print_help): Don't document the removed `-nh'.
2649
2650 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2651
2652         * url.c (url_full_path): Document better.
2653
2654         * http.c (gethttp): Use the full path when creating digest
2655         authorization.
2656
2657 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2658
2659         * cookies.c (path_matches): Return 0 if PREFIX doesn't begin with
2660         '/'.
2661
2662 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2663
2664         * cookies.c (path_matches): FULL_PATH doesn't begin with '/', but
2665         PREFIX does.
2666
2667 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2668
2669         * cookies.c (check_domain_match): Reimplement to match Netscape's
2670         "preliminary specification" for cookies.
2671
2672 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2673
2674         * url.c (replace_attr_refresh_hack): New function.
2675         (convert_links): Call replace_attr_refresh_hack for Refresh
2676         links.  It will add the "TMOUT; URL=" junk before the link.
2677
2678         * html-url.c (collect_tags_mapper): Set ID to the ID of the
2679         "content" attribute, not "http-equiv".
2680         (collect_tags_mapper): Don't use OFFSET to hack the raw_* values;
2681         instead, store the information that this entry belongs to a
2682         "refresh" link.
2683
2684 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2685
2686         * version.c: Wget 1.8-beta1 is released.
2687
2688 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2689
2690         * recur.c (retrieve_tree): Allow -p retrievals to exceed maximum
2691         depth by more than one.
2692
2693 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
2694
2695         * retr.c (retrieve_url): Don't allow more than 20 redirections.
2696
2697 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
2698
2699         * recur.c (retrieve_tree): Skip the non-inline entries when
2700         enqueuing the children of a leaf HTML node in -p mode.
2701         (descend_url_p): Ignore opt.no_parent when in -p mode and UPOS is
2702         "inline".
2703
2704         * html-url.c (get_urls_html): Don't accept dash_p_leaf_HTML.
2705         (collect_tags_mapper): When an entry is "inline", mark it as such.
2706
2707         * recur.c (descend_url_p): Fix test when checking for
2708         acceptance/rejection rules.
2709
2710 2001-10-31 Daniel BODEA <dali@dali-designs.com>
2711
2712         * netrc.c (search_netrc): When slack_default is 0, still look for
2713         an account with matching password, just not the "default account".
2714         HTTP Authorization using .netrc should now work as expected.
2715
2716 2001-11-30  T. Bharath  <TBharath@responsenetworks.com>
2717
2718         * http.c (persistent_available_p): Call SHUTDOWN_SSL if
2719         test_socket_open fails.
2720
2721 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
2722
2723         * progress.c (display_image): Just print one CR to reset the
2724         cursor position.
2725
2726 2001-11-30  Christian Fraenkel  <c.fraenkel@gmx.net>
2727
2728         * init.c: New command `ssl_egd_sock'.
2729
2730         * main.c (main): New option `--sslegdsock'.
2731
2732         * gen_sslfunc.c (ssl_init_prng): Seed the RNG using EGD.
2733
2734 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
2735
2736         * cmpt.c (memmove): Include a simple memmove implementation.
2737
2738 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
2739
2740         * headers: Guard against header files being included twice.
2741
2742 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
2743
2744         * gen-md5.c: Use unsigned char * as the buffer argument to
2745         gen_md5_update.
2746
2747 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
2748
2749         * connect.h: Declare select_fd.
2750
2751 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
2752
2753         * recur.c (descend_url_p): When resolving no_parent, compare with
2754         start_url, not parent url.  Otherwise link from /a/b/ to /a/c/
2755         wouldn't be followed, although the download started from /a/.
2756
2757 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
2758
2759         * config.h.ms, mswindows.h: defined HAVE_ISATTY, use _isatty for
2760         MS VC; somebody with Borland compiler please check and provide
2761         patch if possible;
2762
2763         * cmpt.c: provided a usleep emulation.
2764
2765 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
2766
2767         * host.c (address_list_new): Initialize al->faulty.
2768
2769 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
2770
2771         * http.c (http_process_range): Accept the broken output of
2772         "JavaWebServer/1.1.1".
2773
2774 2001-11-28  Hrvoje Niksic  <hniksic@arsdigita.com>
2775
2776         * progress.c (dot_set_params): If PARAMS is unspecified, use
2777         dot_style, if available.
2778
2779         * init.c: Ditto.
2780
2781         * main.c (main): Resurect --dot-style.
2782
2783         * progress.c (dot_finish): Print the quantity if we're left at the
2784         beginning of a row.
2785
2786 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2787
2788         * cmpt.c (random): Removed.
2789
2790         * retr.c (sleep_between_retrievals): Use the more portable rand()
2791         instead of random().
2792
2793 2001-11-27  Ian Abbott <abbotti@mev.co.uk>
2794
2795         * retr.c (retrieve_from_file): Initialize `new_file' to NULL to
2796         prevent seg fault.
2797
2798 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2799
2800         * connect.c (connect_to_many): Use address_list_set_faulty to
2801         prevent the faulty address from being reused.
2802
2803         * host.c (address_list_set_faulty): New function.
2804         (address_list_get_bounds): New function, instead of
2805         address_list_count.
2806
2807 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2808
2809         * url.c (convert_links): Don't translate %d-%d.
2810
2811         * main.c (print_help): Remove stray HAVE_RANDOM code.
2812
2813 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2814
2815         * ftp.c (getftp): Improve output after sending PASV.  Don't
2816         attempt to "look up" the IP address we already know; call
2817         connect_to_one directly.
2818
2819 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2820
2821         * progress.c: Change the default progress implementation to "bar".
2822
2823 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2824
2825         * progress.c (bar_create): Print two newlines.
2826
2827 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2828
2829         * cmpt.c (random): New function, a simple-minded replacement for
2830         random() on systems that don't have it.
2831
2832 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2833
2834         * config.h.in: Put a HAVE_USLEEP stub.
2835
2836         * cmpt.c (usleep): Replacement implementation of usleep using
2837         select.
2838
2839         * init.c: New option init_rate.
2840
2841         * main.c (main): New option --limit-rate.
2842
2843         * retr.c (limit_bandwidth): New function.
2844         (get_contents): Call it to limit the bandwidth used when
2845         downloading.
2846
2847         * progress.c (dot_update): Would print the wrong download speed on
2848         rows other than the first one when the download was continued.
2849         (dot_finish): Ditto.
2850
2851 2001-11-26  Ian Abbott <abbotti@mev.co.uk>
2852
2853         * http.c (gethttp): fix undeclared variable 'err' when compiled
2854         with HAVE_SSL.
2855
2856 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2857
2858         * progress.c: Don't allocate new timers; use the timing data
2859         propagated from the caller.
2860
2861         * retr.c (get_contents): Allocate and use a timer.
2862
2863 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2864
2865         * http.c (last_host_ip): Made into an address_list.
2866         (invalidate_persistent): Release pc_last_host_ip.
2867         (register_persistent): Use lookup_host.
2868         (persistent_available_p): Check for equality of hosts using
2869         address_list_match_all.  Call address_list_release.
2870         (http_cleanup): New function.
2871
2872         * ftp.c (getftp): Use lookup_host and connect_to_many.
2873
2874         * http.c (gethttp): Use lookup_host and connect_to_many.
2875
2876         * connect.c (make_connection): Removed.
2877         (connect_to_one): New function.
2878         (connect_to_many): Ditto.
2879         (set_connection_host_name): Ditto.
2880
2881         * host.c (lookup_host): New function; new return type.
2882         (address_list_new): New function.
2883         (address_list_count): Ditto.
2884         (address_list_copy_one): Ditto.
2885         (address_list_delete): Ditto.
2886         (address_list_release): Ditto.
2887         (pretty_print_address): Ditto.
2888
2889 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2890
2891         * recur.c (retrieve_tree): In case of followed redirection,
2892         blacklist the pre-redirection URL.
2893
2894 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2895
2896         * recur.c (descend_redirect_p): New function.
2897         (retrieve_tree): Make sure redirections are not blindly followed.
2898
2899 2001-11-04  Alan Eldridge  <alane@geeksrus.net>
2900
2901         * config.h.in: added HAVE_RANDOM.
2902
2903         * options.h: added random_wait to struct options.
2904
2905         * main.c (print_help [HAVE_RANDOM], main): added arg parsing, help
2906         for --random-wait.
2907
2908         * retr.c (sleep_between_retrievals) [HAVE_RANDOM]: added
2909         implementation of random wait times.
2910
2911         * init.c (commands): added "randomwait" keyword.
2912
2913 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2914
2915         * recur.c (descend_url_p): Be more conservative with blacklisting
2916         URLs.
2917         (convert_all_links): Print how many files have been converted, and
2918         how long it took.
2919
2920         * progress.c (create_image): Place the number of downloaded bytes
2921         right after the progress bar.
2922
2923         * utils.c (suffix): Return a pointer into the string.
2924
2925 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2926
2927         * url.c (convert_links): Handle CO_NULLIFY_BASE.
2928
2929         * recur.c (retrieve_tree): Ignore download-ignorable children.
2930         (convert_all_links): Specify CO_NULLIFY_BASE when link_base_p.
2931
2932         * html-url.c (handle_link): Return the newly created urlpos.
2933         (collect_tags_mapper): When dealing with BASE, store the base
2934         reference and mark it as download-ignorable.
2935
2936 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2937
2938         * url.c (convert_links): Attempt to quote '?' as "%3F" when
2939         linking to local files.  Given up on the attempt, as it breaks
2940         local browsing.
2941
2942 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2943
2944         * main.c (private_initialize): Removed.
2945         (main): Don't call private_initialize.
2946
2947         * http.c: Call lookup_host.
2948
2949         * host.c (host_init): Removed.
2950         (add_host_to_cache): Initialize host_name_address_map here, on
2951         demand.
2952         (ngethostbyname): Commented out.
2953
2954         * connect.c (make_connection): Remove dead code; use lookup_host.
2955
2956         * host.c (store_hostaddress): Renamed to lookup_host and reversed
2957         the args.
2958         Removed host_address_name_map and host_slave_master_map.
2959
2960 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2961
2962         * progress.c (dot_create): Align the "[ skipping ... ]" string
2963         with the dots.
2964
2965         * retr.c (rate): Split into two functions: calc_rate and
2966         retr_rate.
2967
2968         * progress.c (create_image): Draw a dummy progress bar even when
2969         total size is unknown.
2970         (display_image): Place the text cursor at the end of the "image".
2971
2972 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2973
2974         * url.c (reencode_string): Use unsigned char, not char --
2975         otherwise the hex digits come out wrong for 8-bit chars such as
2976         nbsp.
2977         (lowercase_str): New function.
2978         (url_parse): Canonicalize u->url if needed.
2979         (get_urls_file): Parse each URL, and return only the valid ones.
2980         (free_urlpos): Call url_free.
2981         (mkstruct): Add :port if the port is non-standard.
2982         (mkstruct): Append the query string to the file name, if any.
2983         (urlpath_length): Use strpbrk_or_eos.
2984         (uri_merge_1): Handle the cases where LINK is an empty string,
2985         where LINK consists only of query, and where LINK consists only of
2986         fragment.
2987         (convert_links): Count and report both kinds of conversion.
2988         (downloaded_file): Use a hash table, not a list.
2989         (downloaded_files_free): Free the hash table.
2990
2991         * retr.c (retrieve_from_file): Ditto.
2992
2993         * main.c (main): Call either retrieve_url or retrieve_tree
2994         for each URL, not both.
2995
2996         * retr.c (register_all_redirections): New function.
2997         (register_redirections_mapper): Ditto.
2998         (retrieve_url): Register the redirections.
2999         (retrieve_url): Make the string "Error parsing proxy ..." 
3000         translatable.
3001
3002         * res.c (add_path): Strip leading slash from robots.txt paths so
3003         that the path representations are "compatible".
3004         (free_specs): Free each individual path, too.
3005         (res_cleanup): New function.
3006         (cleanup_hash_table_mapper): Ditto.
3007
3008         * recur.c (url_queue_new): New function.
3009         (url_queue_delete): Ditto.
3010         (url_enqueue): Ditto.
3011         (url_dequeue): Ditto.
3012         (retrieve_tree): New function, replacement for recursive_retrieve.
3013         (descend_url_p): New function.
3014         (register_redirection): New function.
3015
3016         * progress.c (create_image): Cosmetic changes.
3017
3018         * init.c (cleanup): Do all those complex cleanups only if
3019         DEBUG_MALLOC is defined.
3020
3021         * main.c: Removed --simple-check and the corresponding
3022         simple_host_check in init.c.
3023
3024         * html-url.c (handle_link): Parse the URL here, and propagate the
3025         parsed URL to the caller, who would otherwise have to parse it
3026         again.
3027
3028         * host.c (xstrdup_lower): Moved to utils.c.
3029         (realhost): Removed.
3030         (same_host): Ditto.
3031
3032 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3033
3034         * utils.c (path_simplify): Preserver the (non-)existence of
3035         leading slash.  Return non-zero if changes were made.
3036
3037 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3038
3039         * progress.c (bar_update): Don't modify bp->total_length if it is
3040         zero.
3041
3042 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3043
3044         * retr.c (retrieve_url): When the redirection URL doesn't parse,
3045         print the correct error message rather than "UNKNOWN".
3046
3047 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3048
3049         * progress.c (bar_finish): If the timer didn't record any time
3050         since the download beginning, fake 1ms.
3051
3052 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3053
3054         * recur.c (recursive_retrieve): Fix typo.
3055
3056 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
3057
3058         * progress.c (create_image): Don't translate "%ld ".
3059
3060 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
3061
3062         * progress.c (bar_set_params): Allow the user to force the use of
3063         the bar.
3064
3065 2001-11-23  Lemble Gregory  <gregory.lemble@st.com>
3066
3067         * gen_sslfunc.c (ssl_init_prng): New function; seed the SSL RNG.
3068
3069 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
3070
3071         * progress.c: Renamed dp_* functions to dot_* for greater clarity
3072         and consistency with bar_*.
3073         (print_download_speed): Get rid of the unneeded '@' character.
3074         (create_image): Fix download rate geometry.
3075
3076         * progress.c (print_elapsed): Remove spurious space.
3077         (print_elapsed): Renamed to print_download_speed, since that's
3078         what it does.
3079
3080 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
3081
3082         * progress.c (bar_update): If the downloaded amount becomes larger
3083         than the expected amount, adjust the expected amount accordingly.
3084
3085 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
3086
3087         * utils.c (determine_screen_width): New function.
3088
3089         * main.c (main): New option `--progress=TYPE'.
3090         (main): Implement compatibility with the old option `--dot-style'.
3091
3092         * init.c: Removed cmd_spec_dotstyle -- that logic is now in
3093         dp_set_params.
3094         (cmd_spec_progress): New function.
3095
3096         * retr.c (get_contents): Use the progress_* functions instead of
3097         the old show_progress().
3098         (show_progress): Removed.
3099         (rate): Print "xxxx.xx K/s" instead of "KB/s".  Ditto for MB/s,
3100         etc.
3101
3102         * progress.c (set_progress_implementation): New function.
3103         (valid_progress_implementation_p): Ditto.
3104         (progress_create): Ditto.
3105         (progress_update): Ditto.
3106         (progress_finish): Ditto.
3107         (dp_create): Ditto.
3108         (dp_update): Ditto.
3109         (dp_finish): Ditto.
3110         (dp_set_params): Ditto.
3111         (print_elapsed): Ditto.
3112
3113 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
3114
3115         * retr.c (show_progress): Use it.
3116
3117         * log.c (log_set_flush): New function.
3118
3119 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
3120
3121         * utils.c (path_simplify): Don't remove trailing slashes.
3122
3123         * ftp.c (ftp_get_listing): Use it.
3124
3125         * utils.c (file_merge): New function.
3126
3127         * url.c (opt_url): Removed.
3128
3129         * recur.c (recursive_retrieve): Inline "opt_url" logic.
3130
3131         * main.c (main): Use xfree(), not free().
3132
3133         * url.c (rewrite_url_maybe): Renamed to rewrite_shorthand_url.
3134
3135         * ftp.c (ccon): Move `ccon' typedef here, since it's only used
3136         internally.
3137
3138         * config.h.in: Include a stub for HAVE_STRPBRK.
3139
3140         * cmpt.c (strpbrk): Include a replacement for systems without
3141         strpbrk().
3142
3143         * ftp.c: Use url_set_dir and url_set_file when modifying the URL.
3144
3145         * url.c (url_set_dir): New function.
3146         (url_set_file): Ditto.
3147
3148         * ftp-basic.c (ftp_process_type): Process FTP type here; the URL
3149         parser makes the URL "params" available, so we can do that in this
3150         function.
3151
3152         * retr.c: Ditto.
3153
3154         * ftp.c: Ditto; pass the local file information in `ccon'.
3155
3156         * http.c: Get rid of the ugly kludge that had URL being replaced
3157         with the proxy URL when proxy retrieval was requested.  Use a
3158         separate parameter to http_loop and gethttp for the proxy URL.
3159
3160         * http.c: Changed to reflect the fact that local file, proxy, and
3161         referer information are no longer stored in struct url.  The local
3162         file information is passed in `struct hstat' now.
3163
3164         * url.c: Reworked URL parsing to be more regular.  Reencode the
3165         URL using reencode_string.
3166         Removed non-URL-related information from struct url.  This
3167         includes fields `proxy', `local', and `referer'.
3168
3169 2001-11-22  Jochen Hein  <jochen@jochen.org>
3170
3171         * main.c (main): Split the copyright notice for easier
3172         translation.
3173
3174 2001-08-21  Dave Turner <dct25@hermes.cam.ac.uk>
3175
3176         * ftp-basic.c (ftp_size): New function to send non-standard SIZE
3177           command to server to request file size.
3178         * ftp.h (ftp_size): Export it.
3179         * ftp.c (getftp): Use new ftp_size function if restoring
3180           transfer of a file with unknown size.
3181
3182 2001-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
3183
3184         * url.c (parseurl): Don't depend on the now-obsolete TYPE.
3185
3186 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3187
3188         * url.c (getproxy): Handle URL shorthands.
3189
3190 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3191
3192         * main.c: Remove --wait / --waitretry backwards compatibility
3193         code.
3194         
3195 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3196
3197         * main.c (main): Use it.
3198
3199         * url.c (rewrite_url_maybe): New function.
3200
3201 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3202
3203         * url.c: Clean up handling of URL schemes.
3204
3205 2001-05-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3206
3207         * url.c: Get rid of `protostrings'.
3208         (skip_proto): Don't use protostrings.
3209         (has_proto): Ditto.
3210
3211 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3212
3213         * Makefile.in: Conditionally compile getopt.o.
3214
3215 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3216
3217         * md5.h: Renamed to gnu-md5.h.
3218
3219         * md5.c: Renamed to gnu-md5.c.
3220
3221         * http.c: Ditto.
3222
3223         * ftp-opie.c: Use the new macros.
3224
3225         * sysdep.h: Define md5-related macros.
3226
3227         * config.h.in: Define HAVE_SOLARIS_MD5 or HAVE_BUILTIN_MD5
3228         depending on which md5 implementation is used.
3229
3230 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3231
3232         * res.c (res_register_specs): Initialize OLD and HP_OLD to appease
3233         the compiler.
3234
3235 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3236
3237         * http.c (gethttp): Print the whole response line when printing
3238         headers is requested.
3239
3240 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3241
3242         * res.c: New file.  Implement all RES-related code here.
3243
3244 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3245
3246         * version.c: Wget 1.7.1 is released.
3247
3248 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
3249
3250         * headers.c (header_extract_number): Ignore trailing whitespace.
3251
3252 2001-08-24  Ian Abbott  <abbotti@mev.co.uk>
3253
3254         * html-url.c (collect_tags_mapper): Fix bug converting links
3255         with -k option for tags with multiple link attributes by
3256         handling links in the order they appear.
3257
3258 2001-08-15  Ian Abbott  <abbotti@mev.co.uk>
3259
3260         * ftp.c (ftp_loop_internal): Avoid a potential buffer overflow in
3261           the call to the 'rate' function by moving it past the error
3262           checking for the 'getftp' function return value.
3263
3264 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
3265
3266         * html-parse.c (advance_declaration): Use 0x22 instead of '"' or
3267         '\"'.  Different compilers' assert macros are broken in different
3268         ways.
3269
3270 2001-09-29  Christian Fraenkel  <c.fraenkel@gmx.net>
3271
3272         * http.c (gethttp): print debug output for errors occuring during
3273         the ssl handshake.
3274
3275 2001-11-16  Chris Seawood  <cls@seawood.org>
3276
3277         * init.c: Ditto.
3278
3279         * host.c: Ditto.
3280
3281         * connect.c: Ditto.
3282
3283         * sysdep.h: Support compilation under BEOS.
3284
3285 2001-06-08  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
3286
3287         * url.c (url_equal): Fix a memory leak when parseurl returns an
3288         error on the second URL. Also, since url_equal is not used at the
3289         moment, do not compile it.
3290
3291         * url.h: Ditto for the prototype of url_equal.
3292
3293 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
3294
3295         * html-parse.c (map_html_tags): Support XML-style empty tags.
3296
3297 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3298
3299         * wget.h (DO_REALLOC_FROM_ALLOCA): Check for do_realloc_newsize in
3300         loop condition because we're no longer setting SIZEVAR here.
3301
3302 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3303
3304         * wget.h (DO_REALLOC_FROM_ALLOCA): Set SIZEVAR after the memcpy()
3305         call because it needs the old value.
3306
3307 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3308
3309         * cookies.c (ATTR_NAME_CHAR): Allow almost any character to be in
3310         an attribute name.
3311
3312 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3313
3314         * url.c (url_filename): Make sure that slashes that sneak in to
3315         u->file via query string get protected.
3316         (file_name_protect_query_string): New function.
3317
3318 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3319
3320         * recur.c (recursive_retrieve): Also check undesirable_urls with
3321         canonicalized URL.
3322
3323 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3324
3325         * http.c (gethttp): Search `.netrc' with real host, not the proxy
3326         one.
3327
3328 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3329
3330         * sysdep.h (MAP_FAILED): Provide MAP_FAILED for systems that don't
3331         define it.
3332
3333 2001-06-09  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3334
3335         * ftp.h: Provide correct prototype for ftp_parse_ls().
3336
3337 2001-06-04  Hrvoje Niksic  <hniksic@arsdigita.com>
3338
3339         * version.c: Wget 1.7 is released.
3340
3341 2001-06-03  Karl Eichwalder  <ke@suse.de>
3342
3343         * ftp-ls.c (ftp_parse_ls): Fix typo.
3344
3345 2001-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3346
3347         * all: Update copyright information.
3348
3349 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3350
3351         * http.c (gethttp): Indicate that the continued download failed
3352         for *this* file.
3353
3354 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3355
3356         * version.c: Wget 1.7-pre1 is released.
3357
3358 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3359
3360         * version.c: Updated version to 1.7-pre1.
3361
3362 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3363
3364         * gen_sslfunc.c: Don't include <sys/time.h> directly.
3365
3366 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3367
3368         * http.c (gethttp): Use real URL data for cookies, not the proxy
3369         stuff.
3370
3371 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3372
3373         * main.c (print_help): Document `--no-http-keep-alive'.
3374
3375         * utils.c (numdigit): Handle negative numbers *correctly*.
3376
3377         * hash.c (make_nocase_string_hash_table): Use term "nocase" rather
3378         than the confusing "unsigned".
3379
3380         * utils.c (string_set_contains): Renamed from string_set_exists.
3381
3382         * hash.c (hash_table_contains): Renamed from hash_table_exists.
3383
3384         * cookies.c: Move case-insensitive hash tables to hash.c.
3385
3386 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3387
3388         * http.c (gethttp): Before concluding that the file is already
3389         fully retrieved, make sure that the file existed and `Range' was
3390         actually requested.
3391
3392 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3393
3394         * cookies.c (eliminate_dups): New function.
3395         (build_cookies_request): Use it.
3396         (build_cookies_request): Set chain_store_size after reallocating
3397         all_chains.
3398         (check_domain_match): Annotated for easier future debugging.
3399         (store_cookie): In the debug message, print whether the cookie is
3400         permanent.
3401
3402 2001-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3403
3404         * http.c (http_loop): Reset no_truncate before deciding whether to
3405         set it.
3406         (gethttp): Further clarify "-c conflicts with existing file" error
3407         message, based on input from Herold Heiko.
3408
3409 2001-05-07  Hrvoje Niksic  <hniksic@arsdigita.com>
3410
3411         * http.c (http_loop): If restval is set, set no_truncate to 1
3412         unconditionally.
3413
3414 2001-05-02  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3415
3416         * ftp-ls.c (ftp_parse_winnt_ls): Assure months are being correctly
3417         converted. Pointed out by <Stefan.Weil@de.heidelberg.com>.
3418         (ftp_parse_vms_ls): Ditto.
3419
3420 2001-04-30  Hrvoje Niksic  <hniksic@arsdigita.com>
3421
3422         * init.c (cmd_address): Zero SIN before using it; apparently
3423         needed on *BSD.
3424
3425 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3426
3427         * ftp.c (ftp_loop_internal): Don't set NO_TRUNCATE if the file is
3428         empty.
3429
3430 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3431
3432         * main.c (main): Make `--cookies' respect its argument.
3433
3434 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
3435
3436         * main.c (main): Removed undocumented option `--email-address'.
3437
3438         * netrc.c: Use the latest read_whole_line.
3439
3440         * init.c (defaults): Set opt.ftp_pass to "-wget@".
3441
3442         * mswindows.c (pwd_cuserid): Ditto.
3443
3444         * utils.c (pwd_cuserid): Removed.
3445
3446         * host.c (ftp_getaddress): Removed.
3447
3448 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
3449
3450         (http_loop): Allocate space for filename_plus_orig_suffix with
3451         alloca; this is more efficient and removes the need to free it
3452         before each and every return.
3453
3454 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
3455
3456         * http.c (gethttp): Return RETRUNNEEDED when the retrieval is
3457         unneeded because the file is already there and fully downloaded,
3458         and -c is specified.
3459         (http_loop): Handle RETRUNNEEDED.
3460
3461         * wget.h (uerr_t): New value RETRUNNEEDED.
3462
3463         * http.c (http_loop): Set no_truncate for files that both exist
3464         and are non-empty.
3465         (gethttp): Consider the download finished when restval >= contlen,
3466         not only when restval==contlen.
3467         (gethttp): Handle redirection before giving up due to -c.
3468         (gethttp): Clarify error message which explains that -c will not
3469         truncate the file.
3470         (gethttp): When returning CONTNOTSUPPORTED, don't forget to free
3471         the stuff that needs freeing and release the socket.
3472
3473 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3474
3475         * main.c (print_help): Wget booleans accept "off", not "no".
3476
3477 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3478
3479         * http.c (http_loop): If allow_cache is zero, always disable
3480         caching, not only when retrieving through proxy.
3481
3482         * init.c: Ditto.
3483
3484         * options.h (struct options): Rename proxy_cache to allow_cache.
3485
3486 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3487
3488         * http.c (mktime_from_utc): Improve documentation.
3489         (http_atotm): Put format strings into a separate array.
3490
3491 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3492
3493         * safe-ctype.h: Instead of throwing #error when isalpha is
3494         defined, redefine it to something that will throw a compile-time
3495         error if actually *used*.  Do the same for the rest of the
3496         standard C macros.
3497
3498 2001-04-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3499
3500         * url.c (getproxy): Ignore empty proxy vars.
3501
3502 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3503
3504         * http.c (http_loop): Would load cookies every time.
3505
3506         * cookies.c (load_cookies): Handle cookies whose values contain
3507         embedded spaces.
3508
3509 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3510
3511         * utils.c: Define each DIGITS_* in one line.
3512
3513 2001-04-25  Roger L. Beeman  <beeman@cisco.com>
3514
3515         * http.c (http_atotm): Initialize t.tm_isdst to 0.
3516         (mktime_from_utc): Prevent mktime() from having discontinuities at
3517         DST transition points.
3518
3519 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3520
3521         * html-url.c (get_urls_html): Fix documentation.
3522
3523 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3524
3525         * url.c (UNSAFE_CHAR): Reimplement using a static table.
3526         (url_init): Removed.
3527         (init_unsafe_char_table): Removed.
3528
3529 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3530
3531         * snprintf.c (dopr): Replace ISDIGIT with '0' <= ch && ch <= '9'.
3532
3533 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3534
3535         * utils.c: Document timer functions.
3536
3537         * retr.c (rate): Use it.
3538         (rate): Print in GB/s if transfer rate exceeds 1 GB/s.
3539
3540         * utils.c (wtimer_granularity): New function.
3541
3542 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3543
3544         * retr.c (show_progress): Ditto.
3545
3546         * ftp.c (getftp): Ditto.
3547
3548         * http.c (gethttp): Use new timer functions.
3549
3550         * utils.c (wtimer_allocate): New function.
3551         (wtimer_new): Ditto.
3552         (wtimer_delete): Ditto.
3553         (wtimer_reset): Ditto.
3554         (wtimer_elapsed): Ditto.
3555
3556 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3557
3558         * utils.c (long_to_string): New, faster version.  Favors smaller
3559         numbers; much of the calculation is now done at compile-time.
3560
3561 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3562
3563         * utils.c (numdigit): Handle negative numbers.
3564
3565 2001-04-23  Hrvoje Niksic  <hniksic@arsdigita.com>
3566
3567         * retr.c (show_progress): Print the download rate even when the
3568         percentages are not available.
3569
3570 2001-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
3571
3572         * ftp.c (getftp): Adjust expected_bytes if the length is
3573         authoritative.
3574
3575 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3576
3577         * url.c: Don't declare `construct'.
3578
3579         * hash.c (grow_hash_table): Speed up rehashing; inline storing of
3580         mappings to new locations.
3581         (hash_table_new): Make resize_threshold a field in the hash table,
3582         so we don't have to recalculate it in each hash_table_put.
3583         (grow_hash_table): Update resize_threshold.
3584         (MAX): Remove unused macro.
3585         (prime_size): Made static.
3586
3587 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3588
3589         * retr.c (retrieve_url): Call uri_merge, not url_concat.
3590
3591         * html-url.c (collect_tags_mapper): Call uri_merge, not
3592         url_concat.
3593
3594         * url.c (mkstruct): Use encode_string instead of xstrdup followed
3595         by URL_CLEANSE.
3596         (path_simplify_with_kludge): Deleted.
3597         (contains_unsafe): Deleted.
3598         (construct): Renamed to uri_merge_1.
3599         (url_concat): Renamed to uri_merge.
3600
3601 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3602
3603         * url.c (str_url): Use encode_string instead of the unnecessary
3604         CLEANDUP.
3605         (encode_string_maybe): New function, returns input string if no
3606         encoding is needed.
3607         (encode_string): Call encode_string_maybe to do the dirty work,
3608         xstrdup if no work needed.
3609
3610 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3611
3612         * wget.h (XDIGIT_TO_xchar): Define here.
3613
3614         * url.c (decode_string): Use new name.
3615         (encode_string): Ditto.
3616
3617         * http.c (XDIGIT_TO_xchar): Rename HEXD2asc to XDIGIT_TO_xchar.
3618         (dump_hash): Use new name.
3619
3620         * wget.h: Rename ASC2HEXD and HEXD2ASC to XCHAR_TO_XDIGIT and
3621         XDIGIT_TO_XCHAR respectively.
3622
3623 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3624
3625         * init.c: Include cookies.h.
3626
3627         * cookies.h: Declare cookies_cleanup.
3628
3629         * cookies.c (check_domain_match): Remove unused variable.
3630         (save_cookies): Remove extraneous argument from debug statement.
3631
3632         * host.c (same_host): Don't call skip_url.
3633
3634         * url.c (skip_url): Removed.  Removed its calls from various
3635         functions in url.c.
3636
3637 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3638
3639         * cookies.c (unsigned_string_hash): Use the new code in
3640         string_hash as reference.
3641
3642         * hash.c (hash_table_map): Allow deletion and change of the
3643         element processed by MAPFUN.
3644         (string_hash): Use the function from glib.
3645
3646 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3647
3648         * config.h.in: Include #undef stub.
3649
3650         * hash.c (hash_table_remove): Rewrite to actually clear deleted
3651         entries instead of just marking them as deleted.
3652
3653 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3654
3655         * hash.h: Declare hash_table_get_pair and hash_table_count.
3656
3657 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3658
3659         * cookies.c: Declare http_atotm.
3660
3661 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3662
3663         * ftp-ls.c (ftp_parse_unix_ls): Use octal constants for
3664         permissions.  A compiler that doesn't accept octal constants is
3665         seriously broken and shouldn't be used -- octal constants were
3666         present in K&R C!
3667
3668 2001-01-20  Karl Eichwalder  <ke@suse.de>
3669
3670         * Makefile.in: Provide and use DESTDIR according to the Coding
3671         Standards.
3672
3673 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3674
3675         * ftp-ls.c (ftp_parse_vms_ls): Make seconds optional in time
3676         specification.
3677
3678 2001-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3679
3680         * url.c (parseurl): Don't strip trailing slash when u->dir is "/"
3681         because that strips the *leading* slash, thus forcing relative
3682         FTP retrieval.
3683
3684 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3685
3686         * ftp.c (getftp): Convert initial FTP directory from VMS to UNIX
3687         notation for VMS servers. 
3688         (ftp_retrieve_dirs): Do not prepend '/' to f->name when
3689         odir is an empty string.
3690
3691 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3692
3693         * ftp-ls.c (ftp_parse_winnt_ls): Made the fix for AM/PM more
3694         effective. Suggested by Edward J. Sabol.
3695
3696 2001-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3697
3698         * cookies.c (build_cookies_request): Use and sort cookies from all
3699         matching domains.
3700         (build_cookies_request): Check for duplicates before generating
3701         the `Cookies' header.
3702
3703         * main.c (main): Don't load cookies here.
3704         (main): Make loadcookies and savecookies call the correct command.
3705
3706         * http.c (http_loop): Load cookies on-demand.
3707
3708 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3709
3710         * http.c (gethttp): Fix indentation of SSL ifdef.
3711
3712 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3713
3714         * ftp.c (ftp_retrieve_dirs): Don't forcibly prepend "/" to u->dir;
3715         that hack is no longer necessary.
3716         (getftp): Prepend initial directory to *non*-absolute u->dir's.
3717
3718 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3719
3720         * init.c (cmd_file): New function.
3721         (enable_tilde_expansion): New variable.
3722         (run_wgetrc): Use it.
3723         (cmd_file): Use it.
3724
3725 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3726
3727         * init.c: Include cookie-related options.
3728
3729         * main.c (main): Include cookie-specific options.
3730         (main): Load cookies before download is finished.
3731         (main): Save cookies when done.
3732
3733         * http.c (gethttp): Process the `Set-Cookie' header.
3734         (gethttp): Include cookies in the response.
3735
3736         * cookies.c: New file.
3737
3738 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3739
3740         * utils.c (datetime_str): New function.
3741
3742 2001-04-08  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3743
3744         * ftp-ls.c (ftp_parse_winnt_ls): The AM/PM change did assume
3745         12:01PM == 00:01, which was obviously wrong. Taken care of this
3746         anomaly.
3747
3748         * ChangeLog: Removed an excess conflict marker. Reformatted the
3749         entry by Philipp Thomas from 2001-03-09.
3750
3751         * ftp-ls.c (ftp_parse_winnt_ls): Ensure that adjusted PM hours lay
3752         between 0 and 23. Elminate unused variable `sec'.
3753
3754 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3755
3756         * hash.c (hash_table_count): New function.
3757
3758 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3759
3760         * utils.c (read_file): Cast MAP_FAILED to char *.  Enforced by
3761         Digital Unix cc.
3762
3763 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3764
3765         * config.h.in: Oops, do the namespace tweaks only on systems we
3766         know about.
3767
3768 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3769
3770         * hash.c: Include <string.h>.
3771
3772 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3773
3774         * config.h.in: Define "compilation environment" options that work
3775         under Linux and Solaris.  To be reviewed on other OS'es.
3776
3777 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3778
3779         * http.c (gethttp): Prepend literal newline with `\n\'.
3780
3781 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3782
3783         * sysdep.h: Don't define VERY_LONG_FORMAT.
3784
3785         * utils.c (very_long_to_string): New function.
3786         (legible_very_long): Use it; don't use VERY_LONG_FORMAT.
3787
3788 2001-04-04  Christian Fraenkel  <christian.fraenkel@gmx.net>
3789
3790         * url.c (parse_uname): Would run past the end of the string if the
3791         username was present, but the URL did not contain a slash, e.g.
3792         http://foo:bar@myhost.
3793
3794 2001-04-03  KOJIMA Hajime  <kjm@rins.ryukoku.ac.jp>
3795
3796         * http.c (http_atotm): Use %A instead of %a to match full
3797         weekday.  (On most systems there is no difference.)
3798
3799 2001-04-03  Paul Bludov  <paul@ozero.net>
3800
3801         * mswindows.c (sleep): Use SleepEx() instead of Sleep().
3802         (ws_changetitle): Use alloca() instead of malloc() to avoid memory
3803         leak.
3804         (ws_mypath): Use GetModuleFileName instead of argv[0].
3805         (ws_startup): Use data.wVersion for comparison.
3806
3807 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3808
3809         * http.c (http_loop): Ditto.
3810
3811         * ftp.c (ftp_loop_internal): Made the check whether to continue
3812         retrieval `-O'-friendly.
3813
3814 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3815
3816         * netrc.c (parse_netrc): Don't trim the line endings explicitly;
3817         they will be handled as whitespace.
3818         (parse_netrc): Correctly handle lines that end with whitespace.
3819
3820 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3821
3822         * retr.c (retrieve_url): New variable global_download_count used
3823         to identify first retrieval.
3824
3825         * ftp.c (getftp): Ditto.
3826
3827         * http.c (gethttp): Rewind opt.dfp only on first retrieval.
3828
3829 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3830
3831         * init.c (cmd_address): Heap-allocate the address that gets stored
3832         to CLOSURE.  Old code would simply assign an address on the stack.
3833
3834 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
3835
3836         * ftp.c (ftp_get_listing): Propagate error status.
3837         (ftp_retrieve_glob): Use it.
3838         (ftp_loop): Ditto.
3839
3840 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
3841
3842         * main.c (main): Add -C to the string that is the third arg to
3843         getopt_long().
3844
3845 2001-04-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3846
3847         * ftp.c (getftp): Don't start the download from scratch if `-c'
3848         was specified, but the file is already fully downloaded.
3849
3850         * http.c (gethttp): Don't truncate a pre-existing file if `-c' was
3851         specified and the server doesn't support continued download.
3852         (gethttp): Don't start the download from scratch if `-c' was
3853         specified, but the file is already fully downloaded.
3854
3855 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
3856
3857         (recursive_retrieve): Don't clear the hash tables at this point at
3858         all; it interferes with the normal operation of register_download.
3859
3860 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
3861
3862         * recur.c (recursive_retrieve): Clear the hash tables only when
3863         they are defined.
3864
3865 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
3866
3867         * http.c (gethttp): Make sure the socket is closed with
3868         CLOSE_INVALIDATE before we have drained the body.
3869
3870 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
3871
3872         * retr.c (retrieve_url): Call register_download() for downloaded
3873         files and register_html() for downloaded HTML files.
3874
3875         * recur.c (register_download): New function; register here that a
3876         file has been downloaded, rather than in recursive_retrieve().
3877         (register_html): New function; enqueue the location of HTML files
3878         here rather than in recursive_retrieve().
3879
3880 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
3881
3882         * main.c (print_help): Use multiple fputs instead of a single ugly
3883         printf().
3884         (main): Consistently assign numbers >128 to options without a
3885         corresponding character.
3886
3887 2001-03-09  Philipp Thomas  <pthomas@suse.de>
3888
3889         * safe-ctype.h: New file. Locale independent ctype.h replacement
3890         taken from libiberty.
3891
3892         * safe-ctype.c: New file. Tables for above.
3893
3894         * Makefile.in: Add safe-ctype$o to OBJS.  Add dependencies for
3895         safe-ctype$o.
3896
3897         * cmpt.c: Remove include of ctype.h. Use ISSPACE instead of
3898         isspace.
3899
3900         * ftp-basic.c: Don't include ctype.h.
3901
3902         * ftp-ls.c: Likewise.
3903
3904         * ftp.c: Likewise.
3905
3906         * headers.c: Likewise.
3907
3908         * host.c: Likewise.
3909
3910         * html-parse.c: Likewise.
3911
3912         * html-url.c: Likewise.
3913
3914         * http.c: Likewise.
3915
3916         * init.c: Likewise.
3917
3918         * main.c: Likewise. Set LC_CTYPE along with LC_MESSAGES.
3919
3920         * netrc.c: Likewise.
3921
3922         * recur.c: Likewise.
3923
3924         * retr.c: Likewise.
3925
3926         * snprintf.c: Replace ctype.h with safe-ctype.h. Use ISDIGIT
3927         instead of isdigit.
3928
3929         * sysdep.h: Remove defines of ctype macros as they aren't needed
3930         for safe-ctype-h.
3931
3932         * url.c: Don't include ctype.h.
3933
3934         * utils.c: Likewise.
3935
3936         * wget.h: Include safe-ctype.h.
3937
3938 2001-03-27  Dan Harkless  <wget@harkless.org>
3939
3940         * Makefile.in: Moved top_builddir out of "User configuration
3941         section" of top Makefile and analogous spot in this one.
3942
3943 2001-03-17  Dan Harkless  <wget@harkless.org>
3944
3945         * Makefile.in: Include @SSL_INCLUDES@ substition in INCLUDES.
3946         Define top_builddir.  Link wget with libtool so the user doesn't
3947         have to supply a bunch of custom environment variables to 
3948         correctly link with the OpenSSL shared libraries.
3949
3950 2001-03-06  Hack Kampbjorn  <hack@hackdata.com>
3951
3952         * http.c (gethttp): skip :port in host header if it is the
3953         DEFAULT_HTTPS_PORT when using SSL.
3954
3955         * url.c: move the #define of DEFAULT_HTTP_PORT, DEFAULT_FTP_PORT
3956         and DEFAULT_HTTPS_PORT to the header file so it can be use in the
3957         rest of the code. 
3958         * url.h: Ditto
3959
3960 2001-03-01  Jonas Jensen  <bones@huleboer.dk>
3961
3962         * retr.c (show_progress): Correctly calculate the number of bytes
3963         in the first line of the download that have been actually
3964         downloaded in this run.
3965
3966 2001-02-23  Dan Harkless  <wget@harkless.org>
3967
3968         * main.c (print_help): --help documentation for -N said it would
3969         re-download files if they had the _same_ timestamp on server.
3970         (print_help): -nr belongs in "FTP options" section of --help
3971         output, not "Recursive retrieval" section.  Alphabetized FTP
3972         options by long option name.
3973
3974 2001-02-16  Dan Harkless  <wget@harkless.org>
3975
3976         * init.c (commands): Hack Kampbjørn <hack@hackdata.com> discovered
3977         that "httpsproxy" had been inserted into commands[] out of
3978         alphabetical order, causing "BUG: unknown command `httpuser'".
3979
3980 2001-02-13  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3981
3982         * ftp-ls.c (ftp_parse_ls): Added support of ST_MACOS (Unix-like
3983         listing without correct permissons).
3984
3985         * ftp.h (stype): Added ST_MACOS to identify the NetPresenz MacOS
3986         FTP server. 
3987
3988         * ftp.c (ftp_retrieve_list): New mirroring logic: A remote file
3989         shall be donwloaded only when it's newer than the local copy or
3990         when it has the same timeestamp but its size is different. ST_VMS
3991         and ST_MACOS as special cases that lie about file size. 
3992
3993         * ftp-ls.c (ftp_parse_ls): Support for ST_MACOS.
3994
3995         * Makefile.in: Removed dependency on ftpparse library due to unclear
3996         copyright issues and absence of any feedback to our queries. 
3997
3998         * ftp-ls.c: Removed dependency on ftpparse library due to unclear
3999         copyright issues and absence of any feedback to our queries.   
4000         (ftp_parse_ls): Added a warning message when remote server system
4001         does not seem to be suported by wget. 
4002         (ftp_parse_vms_ls): New function for parsing VMS ftp
4003         server listing output.
4004         (clean_line): New function responsible for removing
4005         end-of-line characters from FTP listing texts.
4006
4007         * ftp.c (getftp): Global variables pwd and host_type are now
4008         member of the ccon structure under names ccon.id and ccon.rs. 
4009
4010         * ftp.h (struct ccon): Added formed global variables from ftp.c,
4011         enum stype rs (remote system identification) and char *id (initial
4012         working directory), as suggested by Hrvoje.
4013
4014         * url.c (parse_uname): Added support for passwords containing '@'
4015         characters.
4016         (skip_uname): Ditto.
4017
4018 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4019
4020         * ftp.c (ftp_loop): Reset con.
4021
4022 2001-01-06  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4023
4024         * url.c (parse_uname): Added support for passwords containing '@'
4025         characters.
4026         (skip_uname): Ditto.
4027
4028 2001-02-11  Hack Kampbjørn  <hack@hackdata.com>
4029
4030         * url.c (parseurl): Debug-print u->ftp_type.
4031
4032 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4033
4034         * ftp.c (ftp_loop_internal): Disable padding.
4035         (getftp): Ditto.
4036
4037         * http.c (http_loop): Disable padding.
4038
4039         * retr.c (show_progress): Use it to enable padding.
4040
4041         * retr.c (rate): Optional parameter PAD for padding the rate.
4042
4043 2001-02-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4044
4045         * retr.c (show_progress): Make sure that the last output line
4046         includes progress.
4047
4048 2001-02-10  Jonas Jensen  <bones@huleboer.dk>
4049
4050         * retr.c (show_progress): Print the download rate along with the
4051         percentages.
4052         Along with Anders Thorsby <anders@thorsby.dk>.
4053
4054 2001-02-10  Tim Mooney  <mooney@dogbert.cc.ndsu.NoDak.edu>
4055
4056         * ftp.h: Rename enums `command' to `wget_ftp_command' and
4057         `fstatus' to `wget_ftp_status' because old names clash with Tru64
4058         net/if.h.
4059
4060 2001-02-08  Christian Fraenkel <christian.fraenkel@gmx.net>
4061
4062         * gen_sslfunc.c: verify_callback is now static
4063
4064         * gen_sslfunc.c (init_ssl): load certificate if specified
4065
4066         * gen_sslfunc.c (ssl_printerr): new function
4067
4068         * init.c: added new --sslcertfile and --sslcertkey switches
4069
4070         * main.c: ditto
4071
4072         * options.h: ditto
4073
4074         * http.c (gethttp): abort when init_ssl fails
4075
4076 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
4077
4078         * mswindows.h: Include <malloc.h>; it's needed for alloca().
4079
4080 2001-01-10  Dan Harkless  <wget@harkless.org>
4081
4082         * url.c (str_url): Clarified this function's comment header after
4083         Hrvoje answered my question on the list as to when hide != 1.
4084         Also Hrvoje pointed out I need to use xstrdup() on the string literal.
4085
4086 2001-01-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4087
4088         * connect.c (bindport): Declare addrlen as int.  Diagnosed by
4089         Drazen Kacar <dave@arsdigita.com>.
4090         (conaddr): Ditto.
4091
4092 2001-01-09  Dan Harkless  <wget@harkless.org>
4093
4094         * html-url.c: A bunch of fixup of `--page-requisites'-related
4095         comments to reflect Hrvoje's changes to my code when transplanting
4096         it into this new file, to fix spelling mistakes, to clarify, etc.
4097
4098         * url.c (write_backup_file): Clarified a comment.
4099         (str_url): Henrik van Ginhoven pointed out on the list that we
4100         shouldn't give away the number of characters in the password by
4101         replacing each character with a 'x'.  Use "<password>" instead.
4102
4103         * ftp.c (ftp_retrieve_dirs): The bug where recursion into FTP
4104         directories didn't work if logging in put you in a directory other
4105         than "/" is fixed now.  Removed the comment here warning of the bug.
4106
4107         * main.c (print_help): --continue's description was misleading.
4108         We don't "restart", we "resume".  Also, better to say
4109         "partially-downloaded file" rather than just "existing file".
4110
4111 2001-01-06  Dan Harkless  <wget@harkless.org>
4112
4113         * ChangeLog: The '[Not in 1.6 branch.]'s were decided not to be
4114         the best way to go about my aim.  Removed them in favor of:
4115
4116         * ChangeLog-branches/1.6_branch.ChangeLog: New file.
4117
4118 2001-01-04  Hrvoje Niksic  <hniksic@arsdigita.com>
4119
4120         * url.c (replace_attr): New function, to be used by both
4121         TO_COMPLETE and TO_RELATIVE case in convert_links.
4122         (find_fragment): New function for finding URL fragments.
4123         (replace_attr): Better handle the case where the original string
4124         is not quoted.  Use find_fragment.
4125         (convert_links): Use replace_attr().
4126
4127 2000-12-31  Dan Harkless  <wget@harkless.org>
4128
4129         * ChangeLog: Since this flat file doesn't have multiple branches,
4130         looking at the dates would make you think that things went into
4131         1.6 that actually just went into the 1.7-dev branch.  Added "[Not
4132         in 1.6 branch.]" where appropriate to clarify.
4133         
4134 2000-12-30  Dan Harkless  <wget@harkless.org>
4135
4136         * ftp.c, http.c:  Applied Hack Kampbjørn <hack@hackdata.com>'s
4137         patch to deal with h_errno not being defined in netdb.h under Cygwin.
4138
4139 2000-12-18  Csaba Raduly  <csaba.raduly@sophos.com>
4140
4141         * sysdep.h: Include <malloc.h> and <io.h> under Watcom.
4142
4143 2000-12-17  Igor Khristophorov  <igor@atdot.org>
4144
4145         * http.c (check_end): Fix test for '+' or '-'.
4146
4147 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
4148
4149         * url.c (parseurl): Rename inner loop var from i to ind to avoid
4150         clash with the function top-level-declared variable i.
4151         (str_url): Likewise, rename inner-loop i to j.
4152
4153         * recur.c (parse_robots): Don't declare LEN at top of function.
4154         (robots_match): Renamed parameter FORBIDDEN to avoid hiding of
4155         global variable.
4156
4157         * main.c (main): Change erroneous use of bitwise and to logical.
4158
4159         * init.c (cmd_address): Don't heap-allocate `sin'; it can be on
4160         the stack because it will be copied to closure.
4161
4162         Thanks to Csaba Raduly's run of PC-LINT over the sources.
4163
4164 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
4165
4166         * http.c (basic_authentication_encode): Use xmalloc(), not
4167         malloc().  Thanks to Csaba Raduly's run of PC-LINT over the
4168         sources.
4169
4170 2000-12-17  Csaba Raduly  <csaba.raduly@sophos.com>
4171
4172         * sysdep.h: Test for __EMX__ rather than for EMXOS2 for OS/2
4173         compilation.
4174
4175 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
4176
4177         * mswindows.c: Include <errno.h>.
4178
4179         * gen_sslfunc.c: Include <errno.h>.
4180
4181         * ftp-basic.c: Don't attempt to declare errno or h_errno because
4182         they're not used.
4183
4184         * main.c: Include <errno.h> because errno is used.
4185
4186         * ftp.c: Ditto.
4187
4188         * http.c: Include <netdb.h> for h_errno.
4189
4190 2000-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4191
4192         * html-parse.c (advance_declaration): MSVC assert() chokes on
4193         '\"'.  Use '"' instead.
4194
4195 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4196
4197         * utils.c (xfree_real): Removed.
4198         (xfree_debug): Just call free().
4199
4200         * wget.h (xfree): Make it an alias for free.
4201
4202 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4203
4204         * http.c (http_loop): Furthermore, touch output_document only if
4205         it is known to be an existing regular file.
4206
4207 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4208
4209         * ftp.c (ftp_retrieve_list): Ditto.
4210
4211         * http.c (http_loop): Touch output_document if that is used for
4212         output.
4213
4214 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4215
4216         * http.c: Include gen_sslfunc.h after including Wget's headers.
4217         (persistent_available_p): Needed coma before `int ssl'.
4218
4219 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4220
4221         * ftp.c (ftp_loop_internal): Ditto.
4222
4223         * http.c (http_loop): Use it.
4224
4225         * retr.c (sleep_between_retrievals): New function that handles the
4226         logic of opt.wait and opt.waitretry.
4227
4228 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4229
4230         * rbuf.h: Implement only a single version of RBUF_READCHAR, using
4231         rbuf_read_bufferful when the buffer is depleted.
4232
4233         * rbuf.c (rbuf_read_bufferful): New function.
4234
4235 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4236
4237         * gen_sslfunc.h: Use ansi2knr style function declarations.
4238
4239         * gen_sslfunc.c: Reformat according to the GNU coding standards.
4240         More should be done.
4241
4242         * http.c (persistent_available_p): Place the cheap SSL test nearer
4243         the top of the function.
4244         (CLOSE_FINISH, CLOSE_INVALIDATE): Define only one version of each.
4245
4246 2000-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
4247
4248         * url.c (init_unsafe_char_table): Reinstate space as an unsafe
4249         char.
4250
4251 2000-12-03  Christian Fraenkel <christian.fraenkel@gmx.net>
4252
4253         * Makefile.in: added gen_sslfunc object
4254         * config.h.in: added HAVE_SSL define
4255         * connect.c: changed select_fd from static int to int
4256         * connect.h: ditto
4257         * gen_sslfunc.h: New file
4258         * gen_sslfunc.c: ditto
4259         * http.c: added HTTPS fuctionality
4260         * retrc.c: ditto
4261         * url.c: ditto
4262         * init.c: added opt.httpsproxy
4263         * options.h: ditto
4264         * rbuf.h: added alternate rbuf struct
4265         * wget.h: added CONSSLERR
4266         * rbuf.c: ditto
4267
4268         * http.c: Added HTTPS fuctionality.
4269
4270         * retrc.c: Ditto.
4271
4272         * url.c: Ditto.
4273
4274         * init.c: Added opt.httpsproxy.
4275
4276         * options.h: Ditto.
4277
4278         * rbuf.h: Added alternate rbuf struct.
4279
4280         * wget.h: Added CONSSLERR.
4281
4282         * rbuf.c: Ditto.
4283
4284 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4285
4286         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
4287         "ignore_perms" to ignore file and directory permissions for
4288         Windows NT FTP server listings.
4289         (ftp_parse_winnt_ls): New function.
4290         (ftp_parse_ls): Parses UNIX and Windows NT listings
4291         separately. Simple heuristics for distinguishing between UNIX and
4292         MS-DOS-like FTP listing provided by Windows NT FTP service.
4293
4294 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4295
4296         * ftpparse.c, ftpparse.h: New files.
4297
4298         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
4299         only. Use ftp_parse_nonunix_ls otherwise.
4300         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
4301         exotic FTP servers.
4302
4303         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
4304         FTP servers.
4305
4306         * ftp.c: New static wariables host_type, pwd, and pwd_len. 
4307         (getftp): Support for VMS. Support for FTP servers that do not
4308         place you in the root directory after login.
4309         (ftp_retrieve_list): VMS is silent about the real file size, issue
4310         a more appropriate message.
4311         (ftp_get_listing): Pass host_type to ftp_parse_ls.
4312
4313         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
4314
4315 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4316
4317         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
4318         "ignore_perms" to ignore file and directory permissions for
4319         Windows NT FTP server listings.
4320         (ftp_parse_winnt_ls): New function.
4321         (ftp_parse_ls): Parses UNIX and Windows NT listings
4322         separately. Simple heuristics for distinguishing between UNIX
4323         and MS-DOS-like FTP listing provided by Windows NT FTP service.
4324
4325 2000-11-29  John Summerfield  <summer@OS2.ami.com.au>
4326
4327         * netrc.c (parse_netrc): Get rid of line ending.
4328
4329 2000-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4330
4331         * ftp.c (ftp_retrieve_list): Undo typo "fix" until resolution by
4332         Dan.
4333
4334 2000-11-24  Karl Eichwalder  <ke@suse.de>
4335
4336         * main.c (print_help): Untabify.
4337
4338 2000-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
4339
4340         * utils.c (xrealloc_debug): Do the unregister/register thing only
4341         if the pointer has actually changed.
4342         (xmalloc_real): Declare `static' in DEBUG_MALLOC builds.
4343         (xfree_real): Ditto.
4344         (xrealloc_real): Ditto.
4345         (xstrdup_real): Ditto.
4346
4347 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
4348
4349         * ftp.c (getftp): ftp_getaddress() returns a malloc'ed copy of the
4350         string; no need to strdup() it.
4351         (getftp): Make pwd_len a local variable.
4352         (ftp_loop): Free PWD before returning.
4353
4354         * init.c (cleanup): Free opt.ftp_pass only if it's non-NULL.
4355
4356 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
4357
4358         * all: Use xfree() instead of free.
4359
4360         * utils.c (xfree): New function.
4361
4362 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
4363
4364         * url.c (convert_links): HTML-quote the converted string.
4365
4366         * utils.c (html_quote_string): Move here from ftp-ls.c
4367         (html_quote_string): Make non-static; declare in utils.h.
4368         (html_quote_string): Convert SP to &#32;.
4369
4370 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
4371
4372         * ftp.c (getftp): Reformat Jan's code according to GNU coding
4373         standards; remove (debugging?) printf's; use '\0' for the ASCII
4374         zero character.  Use alloca() instead of malloc() for
4375         inter-function temporary allocations.
4376
4377 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4378
4379         * ftpparse.c, ftpparse.h: New files.
4380
4381         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
4382         only. Use ftp_parse_nonunix_ls otherwise.
4383         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
4384         exotic FTP servers.
4385
4386         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
4387         FTP servers.
4388
4389         * ftp.c: New static wariables host_type, pwd, and pwd_len. 
4390         (getftp): Support for VMS. Support for FTP servers that do not
4391         place you in the root directory after login.
4392         (ftp_retrieve_list): VMS is silent about the real file size, issue
4393         a more appropriate message.
4394         (ftp_get_listing): Pass host_type to ftp_parse_ls.
4395
4396         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
4397
4398 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
4399
4400         * hash.c (hash_table_put): Don't overwrite deleted mappings.
4401
4402 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
4403
4404         * hash.c (find_mapping): New function.
4405         (hash_table_get): Use it.
4406         (hash_table_get_pair): Ditto.
4407         (hash_table_exists): Ditto.
4408         (hash_table_remove): Ditto.
4409         (hash_table_remove): Really delete the entry if the mapping
4410         following LOCATION is empty.
4411
4412         * utils.c (string_set_add): Check whether the element has existed
4413         before.
4414
4415         * hash.c (hash_table_get_pair): New function.
4416
4417 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4418
4419         * http.c (http_process_type): Ignore trailing whitespace; use
4420         strdupdelim().
4421
4422         * recur.c (recursive_retrieve): Use the new `convert' field.
4423         (convert_all_links): Ditto.
4424         (convert_all_links): Don't respect meta_disallow_follow.
4425
4426         * html-url.c (handle_link): Fill out link_relative_p and
4427         link_complete_p.
4428
4429         * url.h (struct _urlpos): Make elements more readable.
4430
4431         * recur.c (recursive_retrieve): Call slist_prepend instead of
4432         slist_append.
4433         (convert_all_links): Call slist_nreverse before iterating through
4434         urls_html.
4435
4436         * utils.c (slist_prepend): New function.
4437         (slist_nreverse): Ditto.
4438
4439 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4440
4441         * http.c (check_end): Constify.
4442
4443 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4444
4445         * http.c (http_loop): If username and password are known, try the
4446         `Basic' authentication scheme by default.
4447
4448         * connect.h: Declare test_socket_open.
4449
4450 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4451
4452         * version.c: Bump version from 1.5.3+dev to 1.7-dev.
4453
4454 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4455
4456         * http.c (gethttp): Don't use the return value of sprintf().
4457         (gethttp): Inhibit keep-alive if opt.http_keep_alive is 0.
4458
4459 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4460
4461         * recur.c (recursive_retrieve): Print the "so we don't load"
4462         debugging message only if we really don't load.
4463
4464         * http.c (gethttp): Inhibit keep-alive if proxy is being used.
4465         (gethttp): Don't request keep-alive if keep-alive is inhibited.
4466
4467 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4468
4469         * http.c (gethttp): Make the HTTP persistent connections more
4470         robust.
4471
4472 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4473
4474         * retr.c (get_contents): If use_expected, make sure that the
4475         appropriate amount of data is being read.
4476
4477         * http.c (gethttp): Check for both `Keep-Alive: ...' and
4478         `Connection: Keep-Alive'.
4479
4480         * wget.h (DEBUGP): Call debug_logprintf only if opt.debug is
4481         turned on.
4482
4483 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4484
4485         * http.c (connection_available_p): Use it.
4486
4487         * connect.c (test_socket_open): New function.
4488
4489         * http.c (gethttp): Support persistent connections.  Based on the
4490         ideas, and partly on code, by Sam Horrocks <sam@daemoninc.com>.
4491         (register_persistent): New function.
4492         (connection_available_p): Ditto.
4493         (invalidate_connection): Ditto.
4494
4495 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4496
4497         * url.c (convert_links): Handle UREL2ABS case.
4498
4499         * recur.c (recursive_retrieve): Instead of the list
4500         urls_downloaded, use hash tables dl_file_url_map and
4501         dl_url_file_map.
4502         (convert_all_links): Use them to retrieve data.
4503
4504         * host.c (clean_hosts): Free the hash tables.
4505
4506         * main.c (private_initialize): Call host_init().
4507
4508         * host.c (store_hostaddress): Use a saner, hash table-based data
4509         model.
4510         (realhost): Ditto.
4511         (host_init): Initialize the hash tables.
4512
4513 2000-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
4514
4515         * utils.c (slist_append): Eviscerate NOSORT.  Hash tables are now
4516         used for what the sorted slists used to be used for.
4517         (slist_contains): Don't rely on the list being sorted.
4518         (slist_append): Simplify the code.
4519
4520         * recur.c (recursive_cleanup): Use free_string_set.
4521
4522         * utils.c (string_set_add, string_set_exists, string_set_free):
4523         New functions for easier freeing of hash tables whose keys are
4524         strdup'ed strings.
4525
4526         * recur.c (recursive_retrieve): Use the hash table functions for
4527         storing undesirable URLs.
4528
4529         * hash.c: New file.
4530
4531 2000-11-17  Hrvoje Niksic  <hniksic@arsdigita.com>
4532
4533         * main.c (private_initialize): Call url_init.
4534         (main): Call private_initialize.
4535
4536         * url.c (unsafe_char_table): New table.
4537         (UNSAFE_CHAR): Use it.
4538         (init_unsafe_char_table): New function.
4539         (url_init): New function; call init_unsafe_char_table.
4540
4541 2000-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
4542
4543         * mswindows.h: Define snprintf and vsnprintf to _snprintf and
4544         _vsnprintf respectively.
4545
4546 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
4547
4548         * config.h.in: Do the _XOPEN_SOURCE and _SVID_SOURCE things only
4549         on Linux.
4550
4551 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
4552
4553         * html-url.c (handle_link): Handle HTML fragment identifiers.
4554
4555         * recur.c (recursive_retrieve): If norobot info is respected and
4556         the file is specified not to be followed by robots, respect that.
4557
4558         * html-url.c (collect_tags_mapper): Handle <meta name=robots
4559         content=X>.  For us the important cases are where X is NONE or
4560         where X contains NOFOLLOW.
4561         (get_urls_html): Propagate that information to the caller.
4562
4563 2000-11-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4564
4565         * url.c (convert_links): Unlink the file we might be reading from
4566         before writing to it.
4567         (convert_links): Use alloca instead of malloc for
4568         filename_plus_orig_suffix.
4569
4570 2000-11-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4571
4572         * host.c (realhost): Add HOST to the list with quality==0 only if
4573         it wasn't already there.
4574         Based on analysis by Lu Guohan <feng@public.bjnet.edu.cn>.
4575
4576 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4577
4578         * url.c (get_urls_file): Ditto.
4579         (convert_links): Ditto.
4580
4581         * html-url.c (get_urls_html): Use read_file() instead of
4582         load_file().
4583
4584         * utils.c (read_file): New function, instead of the old
4585         load_file().
4586         (read_file_free): Ditto.
4587
4588         * url.c (findurl): Search only for the supported protocols.
4589         (convert_links): Use fwrite() when writing out a region of
4590         characters.
4591
4592 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4593
4594         * ftp-ls.c: Move html_quote_string and ftp_index here.
4595
4596         * url.c: Remove get_urls_html, since that's now in html-url.c.
4597
4598         * html-url.c: New file.
4599
4600         * html-parse.c: New file.
4601
4602 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4603
4604         * init.c (run_wgetrc): Don't bother killing off '\r' since
4605         pars_line() skips whitespace at end of line anyway.
4606         (parse_line): Oops, it didn't.  Now it does.
4607
4608         * recur.c (parse_robots): Ditto here.
4609
4610         * ftp-ls.c (ftp_parse_unix_ls): Kill off the newline character
4611         manually because read_whole_line no longer does.
4612
4613         * utils.c (read_whole_line): Rewrite to: a) use less memory
4614         (reallocates to needed size after work), b) work faster -->
4615         fgets() instead of getc, c) be more correct --> doesn't kill the
4616         newline character at the end of line.
4617
4618 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4619
4620         * init.c (comind): Initialize MAX to array size - 1.
4621
4622 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
4623
4624         * url.c (construct): Changed last_slash[-1] to *(last_slash - 1).
4625         Suggested by Edward J. Sabol.
4626
4627 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
4628
4629         * url.c (construct): Handle the case where host name is not
4630         followed by a slash.
4631
4632 2000-11-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4633
4634         * init.c: commands[] need to be sorted!  ("base" wasn't.)
4635
4636 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
4637
4638         * wget.h (DO_REALLOC_FROM_ALLOCA): Use braces to disambiguate
4639         `if'.
4640
4641 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
4642
4643         * url.c (construct): Insert unneeded initialization for the
4644         compiler to shut up.
4645
4646         * config.h.in: Define _XOPEN_SOURCE to 500 to get the prototype
4647         for strptime() (*duh*).  Define _SVID_SOURCE to get S_IFLNK which
4648         otherwise gets lost when you define _XOPEN_SOURCE.
4649
4650         * utils.c (touch): Include the file name in the error message.
4651         From Debian.
4652
4653 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
4654
4655         * log.c (logvprintf): Use vsnprintf() in all cases.  If necessary,
4656         resize the buffer to fit the formated message.  That way, messages
4657         of arbitrary size may be printed.
4658         (logvprintf): Use saved_append() to optionally log the last
4659         several lines of output.
4660         (logputs): Ditto.
4661         (log_close): Adapt to new data structures.
4662         (log_dump): Ditto.
4663         (redirect_output): Print messages to stderr, not to stdout.
4664
4665         * log.c (saved_append_1): New function.  Replaces the old logging
4666         system ("log all output until 10M characters") with a new, much
4667         more reasonable one ("log last screenful of text").
4668         (saved_append): New function; call saved_append_1.
4669         (free_log_line): New function.
4670
4671 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
4672
4673         * url.c (construct): Fix comment.
4674         (find_last_char): Document.
4675
4676 2000-11-04  Hrvoje Niksic  <hniksic@arsdigita.com>
4677
4678         * snprintf.c: New file.
4679
4680 2000-11-03  Hrvoje Niksic  <hniksic@arsdigita.com>
4681
4682         * wget.h: If HAVE_STDARG_H is not defined, don't declare argument
4683         types to logprintf() and debug_logprintf().
4684
4685 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4686
4687         * ftp.c (ftp_loop_internal): Hide the password from the URL when
4688         printing non-verbose.  Problem spotted by Dariusz Mlynarczyk
4689         <darekm@bydg.lomac.com.pl>.
4690
4691 2000-11-02  Junio Hamano  <junio@twinsun.com>
4692
4693         * ftp-basic.c (ftp_login): Make comparison case-insensitive.
4694
4695 2000-11-02  Tyler Riddle  <triddle@liquidmarket.com>
4696
4697         * http.c (known_authentication_scheme_p): Recognize NTML
4698         authentication.
4699         (create_authorization_line): Treat NTML the same as `Basic'.
4700
4701 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4702
4703         * retr.c (retrieve_url): Free url before returning.
4704         (retrieve_url): Free mynewloc before returning.
4705         Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
4706
4707 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4708
4709         * url.c (parseurl): Remove possible reading past the end of
4710         sup_protos[].  Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
4711
4712 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4713
4714         * main.c (main): In case of opt.downloaded overflowing, print
4715         <overflow> instead of a totally bogus random value.
4716
4717         * retr.c (retrieve_from_file): Ditto.
4718
4719         * recur.c (recursive_retrieve): Ditto.
4720
4721         * main.c (main): Ditto.
4722
4723         * http.c (http_loop): Ditto.
4724
4725         * ftp.c (ftp_loop_internal): Use downloaded_increase() instead of
4726         `+=', and downloaded_exceeds_quota() instead of the simple-minded
4727         check.
4728         (ftp_retrieve_list): Ditto.
4729         (ftp_retrieve_dirs): Ditto.
4730         (ftp_retrieve_glob): Ditto.
4731
4732         * retr.c (downloaded_increase): New function.  Notice overflows of
4733         opt.downloaded.
4734         (downloaded_exceeds_quota): Make sure that opt.downloaded is not
4735         used if it overflowed.
4736
4737         * options.h (struct options): New member downloaded_overflow.
4738
4739 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4740
4741         * wget.h (enum): Remove extra space after last enumeration.
4742
4743 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4744
4745         * main.c (main): Use legible_very_long() for printing
4746         opt.downloaded.
4747
4748         * utils.c (legible_1): New function that operates on strings and
4749         does the brunt of legible()'s work.
4750         (legible): Use legible_1().
4751         (legible_very_long): New function; dump the argument with
4752         sprintf(), and call legible_1().
4753
4754         * options.h (struct options): Use VERY_LONG_TYPE for
4755         opt.downloaded.
4756
4757         * sysdep.h (VERY_LONG_TYPE): Define it to have a 64-bit or greater
4758         type.
4759
4760         * config.h.in: Make sure that SIZEOF_LONG and SIZEOF_LONG_LONG get
4761         defined.  Define HAVE_LONG_LONG if long long is available.
4762
4763 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4764
4765         * utils.c (long_to_string): Update with a later, better version.
4766
4767 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4768
4769         * url.c (path_simplify_with_kludge): New function.
4770         (path_simplify_with_kludge): Disable it.  Instead...
4771         (parse_dir): ...make sure that at this point the right thing is
4772         done, i.e. that "query" part of the URL (?...) is always assigned
4773         to the file, never to the directory portion of the path.
4774
4775 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4776
4777         * retr.c (retrieve_url): Detect redirection cycles.
4778
4779 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4780
4781         * url.c (get_urls_html): Decode HTML entities using
4782         html_decode_entities.
4783
4784         * html.c (htmlfindurl): Don't count the `#' in numeric entities
4785         (&#NNN;) as an HTML fragemnt.
4786         (html_decode_entities): New function.
4787
4788 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4789
4790         * html.c (htmlfindurl): Fix recognition of # HTML fragments.
4791
4792 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4793
4794         * url.c (construct): Rewritten for clarity.  Avoids the
4795         unnecessary copying and stack-allocation the old version
4796         performed.
4797
4798 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
4799
4800         * ftp.c (getftp): Ditto.
4801
4802         * http.c (gethttp): Rewind the stream when retrying from scratch.
4803
4804 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
4805
4806         * retr.c (retrieve_url): Use url_concat() to handle relative
4807         redirections instead of /ad hoc/ code.
4808
4809         * url.c (url_concat): New function encapsulating weird
4810         construct().
4811         (urllen_http_hack): New function.
4812         (construct): When constructing new URLs, recognize that `?' does
4813         not form part of the file name in HTTP.
4814
4815 2000-10-13  Adrian Aichner  <adrian@xemacs.org>
4816
4817         * retr.c: Add msec timing support for WINDOWS.
4818         * retr.c (reset_timer): GetSystemTime() on WINDOWS.
4819         * retr.c (elapsed_time): Calculate delta time to msec on WINDOWS.
4820
4821 2000-10-27  Dan Harkless  <wget@harkless.org>
4822
4823         * retr.c (retrieve_url): Manually applied T. Bharath
4824         <TBharath@responsenetworks.com>'s patch to get wget to grok
4825         illegal relative URL redirects.  Reformatted and re-commented it.
4826
4827 2000-10-23  Dan Harkless  <wget@harkless.org>
4828
4829         * connect.c (make_connection and bindport): Manually applied Rob
4830         Mayoff <mayoff@dqd.com>'s 1.5.3 patch to add --bind-address,
4831         changing coding style to GNU's.
4832
4833         * ftp.c (ftp_loop_internal): --delete-after wasn't implemented for
4834         files downloaded via FTP.  Per a comment, .listing files were not
4835         counted towards number of bytes and files downloaded because they're 
4836         deleted anyway.  Well, they aren't under -nr, so count them then.
4837
4838         * init.c: Manually applied Rob Mayoff's 1.5.3 patch to add
4839         --bind-address, alphabetizing, changing coding style to GNU's,
4840         commenting, and renaming cmd_ip_address() to cmd_address() to
4841         imply hostnames also okay.
4842                 
4843         * main.c (main): --delete-after didn't delete the root of the
4844         tree.  Ignore --convert-links if --delete-after was specified.
4845         Manually applied Rob Mayoff's 1.5.3 patch to add --bind-address,
4846         fixing duplicate use of added-since-1.5.3 case value.
4847         (print_help): Clarified that --delete-after deletes local files.
4848         Rob forgot to add a line for his new --bind-address option.
4849                 
4850         * options.h (struct options): Manually applied Rob Mayoff's patch
4851         to add --bind-address (bind_address structure member).
4852                 
4853         * recur.c (recursive_retrieve): Improved comment; added DEBUGP().
4854         Ignore --convert-links if --delete-after was specified.
4855                 
4856         * retr.c (retrieve_from_file): Just added a DEBUGP().
4857                 
4858 2000-10-19  Dan Harkless  <wget@harkless.org>
4859
4860         * ftp.c (ftp_loop_internal): downloaded_file() enumerators changed.
4861         (getftp): Applied Piotr Sulecki <Piotr.Sulecki@ios.krakow.pl>'s
4862         patch to work around FTP servers that incorrectly respond to the
4863         "REST" command with the remaining size rather than the total file size.
4864                 
4865         * http.c (gethttp): Improved a comment and added code to tack on
4866         ".html" to text/html files without that extension when -E specified.
4867         (http_loop): Use new downloaded_file() enumerators and deal with
4868         the case of gethttp() called xrealloc() on u->local.
4869
4870         * init.c (commands): Added new "htmlextension" command.
4871         Also renamed John Daily's cmd_quad() to the more descriptive
4872         cmd_lockable_boolean(), alpha-sorted the CMD_DECLARE()s and
4873         removed duplicate cmd_boolean() declaration.
4874
4875         * main.c (print_help): Added my new -E / --html-extension option.
4876         (main): Undocumented --email-address option previously used -E synonym.
4877         Stole it away for the much more deserving --html-extension's use.
4878
4879         * options.h (struct options): Added html_extension field.
4880
4881         * url.c (convert_links): URL X that we saved as X.html locally due
4882         to -E needs to be backed up as X.orig, not X.html.orig.  Added comments.
4883         (downloaded_file): Now remembers if we added .html extension to a file.
4884
4885         * url.h (downloaded_file_t): Added extra enumerators to support above.
4886         (downloaded_file): Now takes and returns a downloaded_file_t.
4887
4888         * wget.h (unnamed "dt" enum): Added ADDED_HTML_EXTENSION enumerator.
4889         
4890 2000-10-09  Dan Harkless  <wget@harkless.org>
4891
4892         * html.c (htmlfindurl): Added unneeded initialization to quiet warning.
4893                 
4894         * main.c (print_help): Clarified what --retr-symlinks does.
4895         
4896 2000-09-15  John Daily  <jdaily@cyberdude.com>
4897
4898         * init.c: Add support for "always" and "never" values to allow
4899         .wgetrc to override commandline (useful e.g. with .pm files
4900         calling `wget --passive-ftp' when your firewall doesn't allow that).
4901
4902         * ftp.c (getftp): passive_ftp is first option to support always/never.
4903
4904 2000-08-30  Dan Harkless  <wget@harkless.org>
4905
4906         * ftp.c (ftp_retrieve_list): Use new INFINITE_RECURSION #define.
4907         
4908         * html.c: htmlfindurl() now takes final `dash_p_leaf_HTML' parameter.
4909         Wrapped some > 80-column lines.  When -p is specified and we're at a 
4910         leaf node, do not traverse <A>, <AREA>, or <LINK> tags other than 
4911         <LINK REL="stylesheet">.
4912         
4913         * html.h (htmlfindurl): Now takes final `dash_p_leaf_HTML' parameter.
4914         
4915         * init.c: Added new -p / --page-requisites / page_requisites option.
4916
4917         * main.c (print_help): Clarified that -l inf and -l 0 both allow
4918         infinite recursion.  Changed the unhelpful --mirrior description
4919         to simply give the options it's equivalent to.  Added new -p option.
4920         (main): Added some comments; handle new -p / --page-requisites.
4921         
4922         * options.h (struct options): Added new page_requisites field.
4923
4924         * recur.c: Changed "URL-s" to "URLs" and "HTML-s" to "HTMLs".
4925         Calculate and pass down new `dash_p_leaf_HTML' parameter to
4926         get_urls_html().  Use new INFINITE_RECURSION #define.
4927
4928         * retr.c: Changed "URL-s" to "URLs".  get_urls_html() now takes
4929         final `dash_p_leaf_HTML' parameter.
4930
4931         * url.c: get_urls_html() and htmlfindurl() now take final
4932         `dash_p_leaf_HTML' parameter.
4933
4934         * url.h (get_urls_html): Now takes final `dash_p_leaf_HTML' parameter.
4935
4936         * wget.h: Added some comments and new INFINITE_RECURSION #define.
4937         
4938 2000-08-23  Dan Harkless  <wget@harkless.org>
4939
4940         * main.c (print_help): -B / --base was not mentioned.
4941
4942 2000-08-22  Dan Harkless  <wget@harkless.org>
4943
4944         * main.c (print_help): Modified -nc description to mention that it
4945         also prevents the creation of multiple versions of the same file
4946         with ".<number>" suffixes.
4947
4948 2000-07-14  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4949
4950         * retr.c (retrieve_url): Consistently strdup opt.referer when
4951         setting u->referer.
4952
4953 2000-06-09  Dan Harkless  <wget@harkless.org>
4954
4955         * main.c (print_help): --help output for --waitretry was over 80 cols.
4956
4957 2000-06-09  Hrvoje Niksic  <hniksic@iskon.hr>
4958
4959         * url.c (encode_string): Fix comment.
4960         Suggested by Herold Heiko <Heiko.Herold@previnet.it>.
4961
4962 2000-06-01  Const Kaplinsky  <const@ce.cctpu.edu.ru>
4963
4964         * ftp.c (ftp_retrieve_list): Change permissions only on plain
4965         files.
4966
4967 2000-06-01  Hrvoje Niksic  <hniksic@iskon.hr>
4968
4969         * url.c (str_url): Print the port number only if it's different
4970         from the default port number for that protocol.
4971
4972 2000-05-22  Dan Harkless  <wget@harkless.org>
4973
4974         * main.c (print_help): Added --help line for Damir Dzeko
4975         <ddzeko@zesoi.fer.hr>'s until-now-undocumented --referer option.
4976         Removed comments that --referer and --waitretry were undocumented.
4977         Changed "`.wgetrc' command" to "`.wgetrc'-style command" on --help
4978         line for --execute.
4979
4980 2000-05-18  Hrvoje Niksic  <hniksic@iskon.hr>
4981
4982         * ftp.c (getftp): Ditto.
4983
4984         * http.c (gethttp): Check for return value of fclose/fflush.
4985
4986 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
4987
4988         * host.c (store_hostaddress): Instead of shifting ADDR, start
4989         copying from the correct address.
4990
4991 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
4992
4993         * http.c (gethttp): Don't free REQUEST -- it was allocated with
4994         alloca().
4995         Pointed out by Gisle Vanem <gvanem@eunet.no>.
4996
4997 2000-04-04  Dan Harkless  <wget@harkless.org>
4998
4999         * host.c (store_hostaddress): R. K. Owen's patch introduces a
5000         "left shift count >= width of type" warning on 32-bit
5001         architectures.  Got rid of it by tricking the compiler w/ a variable.
5002         
5003         * url.c (UNSAFE_CHAR): The macro didn't include all the illegal
5004         characters per RFC1738, namely everything above '~'.  It also
5005         generated a warning on OSes where char =~ unsigned char.  Fixed.
5006         
5007 1998-10-17  Hrvoje Niksic  <hniksic@srce.hr>
5008
5009         * http.c (http_process_type): Removed needless strdup(), a memory
5010         leak.
5011
5012 1998-09-25  Hrvoje Niksic  <hniksic@srce.hr>
5013
5014         * html.c (htmlfindurl): Set PH to the first occurrence of `#'.
5015
5016 1998-09-25  Simon Munton  <simonm@m4data.co.uk>
5017
5018         * init.c (wgetrc_file_name): Don't free HOME under Windows.
5019
5020 1998-12-01  "R. K. Owen"  <rkowen@Nersc.GOV>
5021
5022         * host.c (store_hostaddress): Fix for big endian 64-bit machines.
5023
5024 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
5025
5026         * url.c (UNSAFE_CHAR): New macro.
5027         (contains_unsafe): Use it.
5028         (encode_string): Ditto.
5029
5030 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
5031
5032         * main.c (i18n_initialize): Use LC_MESSAGES only if available.
5033
5034 2000-03-31  Hrvoje Niksic  <hniksic@srce.hr>
5035
5036         * Use TOUPPER/TOLOWER.
5037
5038 1998-12-22  Alexander V. Lukyanov  <lav@yars.free.net>
5039
5040         * ftp-opie.c (btoe): Zero-terminate OSTORE.
5041
5042 2000-03-21  Hrvoje Niksic  <hniksic@iskon.hr>
5043
5044         * wget.h (DO_REALLOC_FROM_ALLOCA): Ditto.
5045
5046         * sysdep.h (ISALNUM): New macro.
5047         (TOLOWER): Ditto.
5048         (TOUPPER): Ditto.
5049
5050 2000-03-10  Dan Harkless  <wget@harkless.org>
5051
5052         * html.c (idmatch): Implemented checking of my new --follow-tags
5053         and --ignore-tags options.
5054         
5055         * init.c (commands): Added comment reminding people adding new
5056         entries doing allocation to add corresponding freeing in cleanup().
5057         (commands): Added new followtags and ignoretags commands.
5058         (cleanup): Free storage for new followtags and ignoretags.
5059         
5060         * main.c: Use of "comma-separated list" was random -- normalized
5061         it.  Did some alphabetization.  Added comments pointing out
5062         "Options without arguments" and "Options accepting an argument"
5063         sections of long_options[].  Added new options --follow-tags and
5064         -G / --ignore-tags.  Added comment that Damir's --referer is
5065         currently undocumented.  Added comment that Heiko's --waitretry is
5066         partially undocumented (mentioned in --help but not in
5067         wget.texi).  Moved improperly sorted 24, 129, and 'G' cases.
5068         
5069         * options.h (struct options): Added new fields follow_tags and
5070         ignore_tags. 
5071         
5072         * wget.h: Added "#define EQ 0" so we can say "strcmp(a, b) == EQ".
5073         
5074 2000-03-02  Dan Harkless  <wget@harkless.org>
5075
5076         * ftp.c (ftp_loop_internal): Heiko introduced "suggest explicit
5077         braces to avoid ambiguous `else'" warnings.  Eliminated them.
5078         
5079         * http.c (gethttp): Dan Berger's query string patch is totally
5080         bogus.  If you have two different URLs, gen_page.cgi?page1 and
5081         get_page.cgi?page2, they'll both be saved as get_page.cgi and the
5082         second will overwrite the first.  Also, parameters to implicit
5083         CGIs, like "http://www.host.com/db/?2000-03-02" cause the URLs to
5084         be printed with trailing garbage characters, and could seg fault.
5085         Backing out the patch, which Dan B. informed me by email was just
5086         a kludge to download StarOffice from Sun made necessary due to
5087         wget's unconditional escaping of certain characters (room for an
5088         option there?).
5089         (http_loop): Heiko introduced "suggest explicit braces to avoid
5090         ambiguous `else'" warnings.  Eliminated them.
5091         
5092         * main.c: Heiko's --wait / --waitretry backwards compatibility
5093         code looks to have been totally untested -- automatic variable
5094         'wr' was used without being initialized, and a long int was passed
5095         into setval()'s char* val parameter.
5096         
5097         * recur.c (parse_robots): Applied Edward J. Sabol
5098         <sabol@alderaan.gsfc.nasa.gov>'s patch for Guan Yang's reported
5099         problem with "User-agent:<space>*<space>" lines in robots.txt.
5100         
5101         * url.c (parseurl, str_url): Removing Dan Berger's code (see
5102         http.c above for explanation).
5103         
5104 1999-08-25  Heiko Herold  <Heiko.Herold@previnet.it>
5105
5106         * ftp.c: Respect new option waitretry.
5107
5108 2000-01-30  Damir Dzeko  <ddzeko@zesoi.fer.hr>
5109
5110         * http.c (gethttp): Send custom Referer, if required.
5111
5112 1999-09-24  Charles G Waldman  <cgw@fnal.gov>
5113
5114         * netrc.c (parse_netrc): Allow passwords to contain spaces.
5115
5116         * netrc.c (parse_netrc): New function.
5117
5118 1999-09-17  Dan Berger  <dberger@ix.netcom.com>
5119
5120         * http.c (gethttp): Send it.
5121
5122         * url.c (parseurl): Detect query string in HTTP URL-s.
5123         (str_url): Print it.
5124
5125 2000-03-02  HIROSE Masaaki  <hirose31@t3.rim.or.jp>
5126
5127         * html.c (html_allow): Add <link href=...> and <script src=...>.
5128
5129 1999-05-02  andrew deryabin  <djsf@softhome.net>
5130
5131         * http.c (gethttp): Specify port in `Host' header only if it's
5132         different from 80.
5133
5134 1998-11-03  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
5135
5136         * recur.c (recursive_retrieve): If a finite maximum depth is
5137         specified, and we're are already at that depth, don't download the
5138         HTML file for parsing.
5139
5140 2000-03-01  Dan Harkless  <wget@harkless.org>
5141
5142         * ftp.c (ftp_loop_internal): Call new downloaded_file() function,
5143         even though we don't do conversion on HTML files retrieved via
5144         FTP, so _current_ usage of downloaded_file() makes this call unneeded. 
5145         (ftp_retrieve_list): Added a comment saying where we need to
5146         stat() a .orig file if FTP'd HTML file conversion is ever implemented.
5147         (ftp_retrieve_list): "Local file '%s' is more recent," is sometimes
5148         a lie -- reworded as "Server file no newer than local file '%s' --".
5149         
5150         * http.c (http_loop): Fixed a typo and clarified a comment.
5151         (http_loop): When -K and -N are specified together, compare size
5152         and timestamp of server file X against local file X.orig (if
5153         extant) rather than converted local file X.
5154         (http_loop): "Local file '%s' is more recent," is sometimes a lie
5155         -- reworded as "Server file no newer than local file '%s' --".
5156         (http_loop): Call new downloaded_file() function to prevent
5157         wrongful overwriting of .orig file when -N is specified.
5158         
5159         * url.c (convert_links): When -K specified, only rename X to
5160         X.orig if downloaded_file() returns TRUE.  Otherwise when we skip
5161         file X due to -N, we clobber an X.orig from a previous invocation.
5162         (convert_links): Call the failsafe xstrdup(), not the real strdup().
5163         (convert_links): Added a note asking anyone who understands how
5164         multiple URLs can correspond to a single file to comment it.
5165         (downloaded_file): Added this new function.
5166         
5167         * url.h (downloaded_file): Added prototype for this new function
5168         as well as its downloaded_file_t enum type.
5169
5170         * wget.h (boolean): Added this new typedef and TRUE and FALSE #defines.
5171
5172 2000-02-29  Dan Harkless  <wget@harkless.org>
5173
5174         * version.c: Upped version to developer-only "1.5.3+dev".
5175
5176 2000-02-18  Dan Harkless  <wget@harkless.org>
5177
5178         * init.c (backup_converted): Added this new option.
5179
5180         * main.c (-K / --backup-converted): Added this new option.
5181
5182         * options.h (backup_converted): Added this new option.
5183
5184         * url.c (convert_links): When backup_converted is specified, save
5185         file X as X.orig before converting.
5186
5187         * url.h (urlpos): Fixed typo -- said "Rekative" instead of "Relative".
5188
5189 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
5190
5191         * version.c: Wget 1.5.3 is released.
5192
5193 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
5194
5195         * host.c (ftp_getaddress): Don't warn when reverse-lookup of local 
5196         address doesn't yield FQDN.
5197
5198 1998-09-21  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
5199
5200         * cmpt.c (strerror): Fix declaration of sys_errlist.
5201
5202 1998-09-11  Hrvoje Niksic  <hniksic@srce.hr>
5203
5204         * main.c (main): Don't use an array subscript as the first
5205         argument to STRDUP_ALLOCA.
5206         From Kaveh R. Ghazi.
5207
5208 1998-09-11  Szakacsits Szabolcs  <szaka@sienet.hu>
5209
5210         * html.c (htmlfindurl): Download table background.
5211
5212 1998-09-11  Hans Grobler  <grobh@conde.ee.sun.ac.za>
5213
5214         * init.c (parse_line): Would free *com before allocating it.
5215         (parse_line): Would free com instead of *com.
5216
5217 1998-09-10  Howard Gayle  <howard@fjst.com>
5218
5219         * url.c (get_urls_html): Would drop the last character of the
5220         link.
5221
5222 1998-09-10  Hrvoje Niksic  <hniksic@srce.hr>
5223
5224         * http.c (http_loop): Don't print status code if quiet.
5225
5226 1998-09-10  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
5227
5228         * log.c: Use <stdarg.h> only when __STDC__.
5229
5230 1998-09-10  Adam D. Moss  <adam@foxbox.org>
5231
5232         * html.c (htmlfindurl): Download <layer src=...>.
5233
5234 1998-09-10  Howard Gayle  <howard@fjst.com>
5235
5236         * ftp.c (ftp_retrieve_list): Don't update the time stamp of a file 
5237         not retrieved.
5238
5239 1998-06-27  Hrvoje Niksic  <hniksic@srce.hr>
5240
5241         * utils.c: Include <libc.h> on NeXT.
5242
5243 1998-06-26  Heinz Salzmann  <heinz.salzmann@intermetall.de>
5244
5245         * url.c (get_urls_html): Fix calculation of URL position.
5246
5247 1998-06-23  Hrvoje Niksic  <hniksic@srce.hr>
5248
5249         * version.c: Wget 1.5.2 is released.
5250
5251 1998-06-23  Dave Love  <d.love@dl.ac.uk>
5252
5253         * ftp.c, init.c, netrc.c: Include errno.h.
5254
5255         * http.c: Include errno.h and time header.
5256
5257         * Makefile.in (exext): Define.
5258         (install.bin, uninstall.bin): Use it.
5259
5260 1998-06-21  Hrvoje Niksic  <hniksic@srce.hr>
5261
5262         * http.c (http_loop): Don't attempt to compare local and remote
5263         sizes if the remote size is unknown.
5264
5265 1998-06-16  Hrvoje Niksic  <hniksic@srce.hr>
5266
5267         * url.c (get_urls_html): Use malloc() instead of alloca in the
5268         loop.
5269
5270 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
5271
5272         * version.c: Wget 1.5.2-b4 is released.
5273
5274 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
5275
5276         * url.c (get_urls_html): Ignore spaces before and after the URI.
5277
5278 1998-06-08  Wanderlei Antonio Cavassin  <cavassin@conectiva.com.br>
5279
5280         * ftp.c (getftp): Translate `done'.
5281
5282 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
5283
5284         * version.c: Wget 1.5.2-b3 is released.
5285
5286 1998-06-06  Alexander Kourakos  <awk@bnt.com>
5287
5288         * init.c (cleanup): Close dfp, don't free it.
5289
5290 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
5291
5292         * utils.c (make_directory): Twiddle.
5293
5294         * config.h.in: Added template for access().
5295
5296 1998-06-05  Mathieu Guillaume  <mat@cythere.com>
5297
5298         * html.c (htmlfindurl): Download <input src=...>
5299
5300 1998-06-03  Hrvoje Niksic  <hniksic@srce.hr>
5301
5302         * utils.c (file_exists_p): Use access() with two arguments.
5303
5304 1998-05-27  Martin Kraemer  <Martin.Kraemer@mch.sni.de>
5305
5306         * netrc.c (parse_netrc): Correct logic.
5307
5308 1998-05-27  Hrvoje Niksic  <hniksic@srce.hr>
5309
5310         * ftp.c (getftp): Added `break'; suggested by Lin Zhe Min
5311         <ljm@ljm.wownet.net>.
5312
5313 1998-05-24  Hrvoje Niksic  <hniksic@srce.hr>
5314
5315         * version.c: Wget 1.5.2-b2 is released.
5316
5317 1998-05-18  Juan Jose Rodriguez  <jcnsoft@jal1.telmex.net.mx>
5318
5319         * mswindows.h: Don't translate mkdir to _mkdir under Borland.
5320
5321 1998-05-17  Hrvoje Niksic  <hniksic@srce.hr>
5322
5323         * retr.c (elapsed_time): Return correct value when
5324         HAVE_GETTIMEOFDAY is undefined.
5325
5326 1998-05-13  Hrvoje Niksic  <hniksic@srce.hr>
5327
5328         * version.c: Wget 1.5.2-b1 is released.
5329
5330 1998-05-08  Hrvoje Niksic  <hniksic@srce.hr>
5331
5332         * getopt.c (_getopt_internal): Use exec_name instead of argv[0].
5333         (_getopt_internal): Don't translate `#if 0'-ed strings.
5334
5335 1998-05-06  Douglas E. Wegscheid  <wegscd@whirlpool.com>
5336
5337         * mswindows.c (ws_handler): Use fork_to_background().
5338
5339 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
5340
5341         * version.c: Wget 1.5.1 is released.
5342
5343 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
5344
5345         * http.c (parse_http_status_line): Avoid `minor' and `major'
5346         names.
5347
5348 1998-05-02  Hrvoje Niksic  <hniksic@srce.hr>
5349
5350         * utils.c (mkdirhier): Renamed to make_directory.
5351
5352 1998-05-01  Hrvoje Niksic  <hniksic@srce.hr>
5353
5354         * mswindows.c (fork_to_background): Define under Windows.
5355
5356         * utils.c (fork_to_background): New function.
5357
5358         * html.c (htmlfindurl): Removed rerdundant casts.
5359
5360 1998-05-01  Douglas E. Wegscheid  <wegscd@whirlpool.com>
5361
5362         * mswindows.c (ws_mypath): Cache the path.
5363
5364 1998-04-30  Douglas E. Wegscheid  <wegscd@whirlpool.com>
5365
5366         * ftp.h: Prefix enum ftype members with FT_.
5367
5368         * ftp-ls.c, ftp.c, html.h: Adjust accordingly.
5369
5370         * mswindows.h: Use stat under Borland, _stat under MSVC.
5371
5372 1998-04-28  Hrvoje Niksic  <hniksic@srce.hr>
5373
5374         * http.c (known_authentication_scheme_p): New function.
5375         (gethttp): Handle authorization more correctly.
5376
5377         * ftp-basic.h: Removed.
5378
5379         * cmpt.h: Removed.
5380
5381         * utils.c: Include <unistd.h> before <pwd.h>; needed under SunOS
5382         with gcc 2.8.
5383         (numdigit): Use `while' loop.
5384
5385         * http.c (create_authorization_line): Detect authentication
5386         schemes case-insensitively.
5387
5388         * http.c (extract_header_attr): Use strdupdelim().
5389         (digest_authentication_encode): Move declaration of local
5390         variables to smaller scope.
5391         (digest_authentication_encode): Reset REALM, OPAQUE and NONCE.
5392         (create_authorization_line): Detect authentication schemes
5393         case-insensitively.
5394
5395         * utils.c (touch): Constify.
5396
5397         * http.c (gethttp): Report a nicer error when no data is received.
5398
5399         * rbuf.h (RBUF_READCHAR): Ditto.
5400
5401         * ftp-basic.c (ftp_response): Use sizeof.
5402
5403 1998-04-27  Hrvoje Niksic  <hniksic@srce.hr>
5404
5405         * retr.c (print_percentage): EXPECTED is long, not int.
5406         (print_percentage): Use floating-point arithmetic to avoid
5407         overflow with large files' sizes multiplied with 100.
5408
5409 1998-04-27  Gregor Hoffleit  <flight@mathi.uni-heidelberg.de>
5410
5411         * config.h.in: Added pid_t stub.
5412
5413         * sysdep.h (S_ISREG): Moved here from mswindows.h (NeXT doesn't
5414         define it).
5415
5416 1998-04-20  Hrvoje Niksic  <hniksic@srce.hr>
5417
5418         * version.c: Wget 1.5.0 is released.
5419
5420 1998-04-18  Hrvoje Niksic  <hniksic@srce.hr>
5421
5422         * url.c (str_url): Ditto.
5423
5424         * ftp-basic.c (ftp_rest): Use new name.
5425
5426         * utils.c (long_to_string): Renamed from prnum().
5427
5428 1998-04-16  Hrvoje Niksic  <hniksic@srce.hr>
5429
5430         * version.c: Wget 1.5-b17 is released.
5431
5432 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
5433
5434         * headers.c (header_get): New argument FLAGS.
5435
5436         * http.c (gethttp): If request is malformed, bail out of the
5437         header loop.
5438         (gethttp): Check for empty header *after* the status line checks.
5439         (gethttp): Disallow continuations for status line.
5440
5441 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
5442
5443         * version.c: Wget 1.5-b16 is released.
5444
5445 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
5446
5447         * init.c (commands): Renamed `always_rest' to `continue'.
5448
5449 1998-04-05  Hrvoje Niksic  <hniksic@srce.hr>
5450
5451         * all: Use it.
5452
5453         * log.c (logputs): New argument.
5454         (logvprintf): Ditto.
5455         (logprintf): Ditto.
5456
5457 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
5458
5459         * http.c (http_atotm): Update comment.
5460
5461         * main.c (i18n_initialize): Set LC_MESSAGES, not LC_ALL.
5462
5463         * wget.h: Renamed ENABLED_NLS to HAVE_NLS.
5464
5465         * main.c (i18n_initialize): New function.
5466         (main): Use it.
5467
5468         * log.c: Include <unistd.h>.
5469
5470         * retr.c (show_progress): Cast alloca to char *.
5471
5472 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
5473
5474         * version.c: Wget 1.5-b15 is released.
5475
5476 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
5477
5478         * utils.h: Declare file_non_directory_p().
5479
5480 1998-04-03  Hrvoje Niksic  <hniksic@srce.hr>
5481
5482         * main.c (main): It's `tries', not `numtries' now.
5483
5484 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
5485
5486         * init.c (getperms): Removed.
5487
5488 1998-04-01  Tim Charron  <tcharron@interlog.com>
5489
5490         * log.c (logvprintf): Don't use ARGS twice.
5491
5492 1998-04-01  John  <john@futuresguide.com>
5493
5494         * mswindows.c: Cleaned up.
5495
5496 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
5497
5498         * version.c: Wget 1.5-b14 is released.
5499
5500 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
5501
5502         * ftp-opie.c (STRLEN4): New macro.
5503         (btoe): Use it.
5504
5505 1998-04-01  Junio Hamano  <junio@twinsun.com>
5506
5507         * http.c: Document all the Digest functions.
5508
5509 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
5510
5511         * utils.c (file_non_directory_p): Renamed from isfile().
5512
5513         * mswindows.h (S_ISREG): New macro, suggested by Tim Adam.
5514
5515 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
5516
5517         * utils.c (mkdirhier): Use 0777 instead of opt.dirmode.
5518
5519         * init.c (cmd_spec_dotstyle): Use 48 dots per line for binary
5520         style.
5521         (cmd_permissions): Removed.
5522
5523         * config.h.in: Add template for WORDS_BIGENDIAN.
5524
5525 1998-03-31  Junio Hamano  <junio@twinsun.com>
5526
5527         * http.c (HEXD2asc): New macro.
5528         (dump_hash): Use it.
5529
5530 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
5531
5532         * version.c: Wget 1.5-b13 is released.
5533
5534 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
5535
5536         * main.c (main): Don't try to use `com'.
5537
5538 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
5539
5540         * init.c (cmd_permissions): New function.
5541
5542 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
5543
5544         * version.c: Wget 1.5-b12 is released.
5545
5546 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
5547
5548         * init.c (commands): Renamed `numtries' to `tries'.
5549         (cmd_spec_debug): Removed.
5550         (home_dir): Under Windows, return `C:\' if HOME is undefined.
5551
5552 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
5553
5554         * config.h.in: Define _XOPEN_SOURCE.
5555
5556         * init.c (check_user_specified_header): New function.
5557         (cmd_spec_header): Use it.
5558         (cmd_spec_useragent): New function.
5559
5560 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
5561
5562         * version.c: Wget 1.5-b11 is released.
5563
5564 1998-03-28  Hrvoje Niksic  <hniksic@srce.hr>
5565
5566         * wget.h: Include <libintl.h> only if NLS is enabled.
5567
5568 1998-03-26  Hrvoje Niksic  <hniksic@srce.hr>
5569
5570         * options.h (struct options): Made `wait' a long.
5571         (struct options): Ditto for `timeout'.
5572
5573 1998-03-19  Hrvoje Niksic  <hniksic@srce.hr>
5574
5575         * utils.c (exists): Renamed to file_exists_p.
5576         (file_exists_p): Use access() if available.
5577
5578 1998-03-17  Hrvoje Niksic  <hniksic@srce.hr>
5579
5580         * utils.c (memfatal): Set save_log_p to 0 to avoid potential
5581         infloop.
5582
5583         * log.c: do_logging -> save_log_p.
5584
5585         * config.h.in: Added template for HAVE_VSNPRINTF.
5586
5587 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
5588
5589         * init.c: Ditto.
5590
5591         * http.c: Protect declaration against non-ANSI compiler.
5592
5593         * log.c (logvprintf): Use vsnprintf() if available.
5594
5595         * getopt.c (main): Don't translate test stuff.
5596
5597 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
5598
5599         * version.c: Wget 1.5-b10 is released.
5600
5601 1998-03-11  Hrvoje Niksic  <hniksic@srce.hr>
5602
5603         * ftp.c (getftp): Don't translate "CWD %s".
5604
5605         * wget.h (GCC_FORMAT_ATTR): Renamed from FORMAT_ATTR.
5606
5607 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
5608
5609         * ftp-opie.c (btoe): Use memcpy() instead of strncat().
5610
5611         * log.c (logputs): New function.
5612         (logvprintf): Renamed from vlogmsg; use logputs().
5613
5614         * retr.c (show_progress): Print `[100%]' when the retrieval is
5615         finished.
5616
5617         * init.c (run_wgetrc): Use FILE, not PATH.
5618         (wgetrc_file_name): Ditto.
5619
5620 1998-03-07  Tim Adam  <tma@osa.com.au>
5621
5622         * recur.c (parse_robots): Correctly reset `entries' on empty
5623         disallow.
5624
5625 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
5626
5627         * init.c (cmd_spec_debug): Use cmd_boolean().
5628
5629 1998-02-23  Hrvoje Niksic  <hniksic@srce.hr>
5630
5631         * http.c (gethttp): Create proxy-authorization correctly.
5632
5633 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
5634
5635         * md5.c: Ditto.
5636
5637         * getopt.c: Use ANSI function definitions.
5638
5639         * ftp-opie.c: New file.
5640
5641         * options.h: Don't redefine EXTERN.
5642
5643         * init.c: Sort it correctly.
5644
5645 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
5646
5647         * version.c: Wget 1.5-b9 is released.
5648
5649 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
5650
5651         * recur.c (recursive_retrieve): Reset `first_time'.
5652
5653         * ftp.c (getftp): Added `default' clause to switches of uerr_t.
5654
5655         * rbuf.c (rbuf_peek): Simplified.
5656         (rbuf_flush): Use MINVAL.
5657
5658         * wget.h (MINVAL): Moved from url.h.
5659
5660         * rbuf.h (RBUF_FD): New macro.
5661
5662         * url.c (add_url): Add to the head of the list.
5663
5664         * ftp.c (ftp_retrieve_list): Set the permissions to downloaded
5665         file.
5666         (getftp): Set the default permissions to 0600.
5667
5668 1998-02-21  Hrvoje Niksic  <hniksic@srce.hr>
5669
5670         * url.c (get_urls_html): Ditto.
5671         (convert_links): Ditto.
5672
5673         * recur.c (parse_robots): Ditto.
5674
5675         * html.c (ftp_index): Ditto.
5676
5677         * ftp-ls.c (ftp_parse_unix_ls): Open file as binary.
5678
5679         * init.c (defaults): Initialize `opt' to zero via memset.
5680
5681         * http.c (digest_authentication_encode): goto considered harmful.
5682
5683 1998-02-19  Hrvoje Niksic  <hniksic@srce.hr>
5684
5685         * ftp.c (delelement): Simplify and fix leak.
5686
5687 1998-02-18  Hrvoje Niksic  <hniksic@srce.hr>
5688
5689         * http.c (dump_hash): Use HEXD2ASC instead of home-grown stuff.
5690
5691         * url.h (HEXD2ASC): Removed warning.
5692
5693         * init.c (comind): Use binary search.
5694         (commands): Reorganized.
5695         (setval): Ditto.
5696         (cmd_boolean): New function.
5697         (cmd_number): Ditto.
5698         (cmd_number_inf): Ditto.
5699         (cmd_string): Ditto.
5700         (cmd_vector): Ditto.
5701         (cmd_directory_vector): Ditto.
5702         (cmd_bytes): Ditto.
5703         (cmd_time): Ditto.
5704         (cmd_spec_debug): Ditto.
5705         (cmd_spec_dirmode): Ditto.
5706         (cmd_spec_dirstruct): Ditto.
5707         (cmd_spec_dotstyle): Ditto.
5708         (cmd_spec_header): Ditto.
5709         (cmd_spec_htmlify): Ditto.
5710         (cmd_spec_mirror): Ditto.
5711         (cmd_spec_outputdocument): Ditto.
5712         (cmd_spec_recursive): Ditto.
5713         (settime): Merged with cmd_time().
5714         (setbytes): Merged with cmd_bytes().
5715         (setonoff): Merged with cmd_boolean().
5716         (onoff): Ditto.
5717
5718 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
5719
5720         * Makefile.in (distclean): Remove `config.h'.
5721
5722 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
5723
5724         * version.c: Wget 1.5-b8 is released.
5725
5726 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
5727
5728         * http.c (digest_authentication_encode): New function.
5729         (create_authorization_line): Use it.
5730         (dump_hash): New function.
5731         (digest_authentication_encode): Use it.
5732
5733         * fnmatch.c: Renamed from `mtch.c'.
5734
5735 1998-02-15  Karl Eichwalder  <ke@suse.de>
5736
5737         * main.c (main): Tag "Written by..." string as translatable.
5738
5739 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
5740
5741         * wget.h (FREE_MAYBE): New macro.
5742
5743         * http.c (create_authorization_line): Don't use ANSI C string
5744         concatenation feature.
5745         (basic_authentication_encode): Use alloca() for temporary
5746         variables.
5747
5748         * recur.h: Ditto.
5749
5750         * http.c: Ditto.
5751
5752         * headers.h: Ditto.
5753
5754         * ftp-basic.c: Protect declaration against non-ANSI compiler.
5755
5756         * http.c (create_authorization_line): Cast `unsigned char *' to
5757         `char *' for sprintf, to shut up the noisy Digital Unix cc.
5758
5759 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
5760
5761         * version.c: Wget 1.5-b7 is released.
5762
5763 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
5764
5765         * cmpt.c (strstr): Synched with glibc-2.0.6.
5766
5767         * ftp-basic.c (calculate_skey_response): Ditto.
5768         (calculate_skey_response): Use alloca().
5769
5770         * http.c (create_authorization_line): Work with FSF's version of
5771         md5.c.
5772
5773         * md5.c: New file, from GNU libc.
5774
5775 1998-02-14  Hrvoje Niksic  <hniksic@srce.hr>
5776
5777         * url.h (URL_CLEANSE): Name the temporary variable more carefully.
5778
5779 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
5780
5781         * http.c (basic_authentication_encode): New function, instead of
5782         the macro.
5783
5784 1998-02-13  Junio Hamano  <junio@twinsun.com>
5785
5786         * http.c: Add HTTP-DA support.
5787         * ftp-basic.c: Add Opie/S-key support.
5788         * config.h.in, Makefile.in: Add HTTP-DA and Opie/S-key support.
5789         * md5.c, md5.h: New files.
5790
5791 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
5792
5793         * http.c (http_process_range): Renamed from hprocrange().
5794         (http_process_range): Parse the whole header.
5795
5796         * headers.c: New file.
5797         (header_process): New function.
5798         (header_get): Renamed from fetch_next_header.
5799
5800         * all: Include utils.h only where necessary.
5801
5802         * wget.h: Declare xmalloc(), xrealloc() and xstrdup() here.
5803
5804         * wget.h: Add provisions for dmalloc.
5805
5806 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
5807
5808         * version.c: Wget 1.5-b6 is released.
5809
5810 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
5811
5812         * ftp.c (ftp_loop): Determine `filename' more precisely.
5813
5814         * init.c (setval): Don't set `opt.quiet' if output-document is
5815         `-'.
5816
5817         * log.c (log_init): Print to STDERR instead of STDOUT.
5818         (vlogmsg): Use STDERR by default.
5819         (logflush): Ditto.
5820
5821 1998-02-11  Simon Josefsson  <jas@pdc.kth.se>
5822
5823         * host.c: Use addr_in again.
5824
5825 1998-02-08  Karl Eichwalder  <karl@suse.de>
5826
5827         * http.c (gethttp): Fixed typo.
5828
5829 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
5830
5831         * version.c: Wget 1.5-b5 is released.
5832
5833 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
5834
5835         * retr.c (show_progress): Use it.
5836
5837         * log.c (logflush): New function.
5838
5839         * wget.h: Utilize __attribute__ if on gcc.
5840
5841 1998-02-07  Hrvoje Niksic  <hniksic@srce.hr>
5842
5843         * http.c (base64_encode_line): New argument LENGTH.
5844         (BASIC_AUTHENTICATION_ENCODE): Use it.
5845         (BASIC_AUTHENTICATION_ENCODE): Take length of HEADER into account.
5846
5847         * main.c (main): Fixed fprintf() format mismatch.
5848
5849 1998-02-06  Hrvoje Niksic  <hniksic@srce.hr>
5850
5851         * version.c: Wget 1.5-b4 is released.
5852
5853 1998-02-03  Simon Josefsson  <jas@pdc.kth.se>
5854
5855         * host.c: use sockaddr_in instead of addr_in.
5856
5857 1998-02-04  Hrvoje Niksic  <hniksic@srce.hr>
5858
5859         * init.c (cleanup): Use it.
5860
5861         * recur.c (recursive_cleanup): New function.
5862
5863         * retr.c (retrieve_from_file): Ditto.
5864
5865         * main.c (main): Use it.
5866
5867         * recur.c (recursive_reset): New function.
5868
5869         * retr.c (retrieve_from_file): Ditto.
5870
5871         * main.c (main): Simplify call to recursive_retrieve().
5872
5873         * recur.c (recursive_retrieve): Removed FLAGS argument.
5874
5875         * http.c (gethttp): Changed call to iwrite().
5876
5877 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
5878
5879         * url.c (get_urls_html): Ditto.
5880         (free_urlpos): Ditto.
5881         (mkstruct): Ditto.
5882         (construct): Ditto.
5883
5884         * retr.c (retrieve_url): Move declaration of local variables to
5885         smaller scope.
5886
5887         * url.c (urlproto): Use it.
5888         (parseurl): Ditto.
5889         (str_url): Ditto.
5890         (get_urls_html): Ditto.
5891
5892         * utils.h (ARRAY_SIZE): New macro.
5893
5894         * url.c (proto): Moved from url.h.
5895
5896         * url.h (URL_CLEANSE): Reformatted.
5897         (USE_PROXY_P): Renamed from USE_PROXY.
5898
5899         * ftp-basic.c: Adjust to the new interface of iwrite().
5900
5901         * ftp-basic.c (ftp_port): Use alloca().
5902
5903 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
5904
5905         * version.c: Wget 1.5-b3 is released.
5906
5907         * host.c (ftp_getaddress): Don't print to stderr directly.
5908
5909         * init.c (setbytes): Support `g' for gigabytes.
5910         (cmdtype): New specification CTIME.
5911         (setval): Use it with settime().
5912         (commands): Use it for WAIT and TIMEOUT.
5913
5914 1998-02-02  Hrvoje Niksic  <hniksic@srce.hr>
5915
5916         * http.c (BASIC_AUTHENTICATION_ENCODE): New macro.
5917         (gethttp): Use it.
5918
5919         * utils.c (unique_name_1): Moved from url.c.
5920         (unique_name): Ditto.
5921
5922         * url.c (url_filename): Ditto.
5923
5924         * log.c (redirect_output): Changed call to unique_name().
5925
5926         * url.c (unique_name_1): Renamed from unique_name().
5927         (unique_name): Changed interface.
5928
5929         * init.c (enum cmdid): Moved from init.h.
5930         (cmdtype): Ditto.
5931         (struct cmd): Ditto.
5932
5933         * main.c (main): Use it.
5934         (main): Moved `--backups' to not have a short option.
5935
5936         * options.h (struct options): New member BACKGROUND.
5937
5938         * main.c (print_help): Rearranged.
5939         (main): New long options for -n* short options: --no-directories,
5940         --no-host-directories, --non-verbose, --no-host-lookup and
5941         --dont-remove-listing.
5942
5943 1998-02-01  Hrvoje Niksic  <hniksic@srce.hr>
5944
5945         * main.c (main): Use log_close().
5946
5947         * log.c: New variable LOGFP.
5948         (vlogmsg): Use it.
5949         (redirect_output): Don't open /dev/null; set LOGFP to stdin
5950         instead.
5951         (log_close): New function.
5952
5953         * options.h (struct options): Removed LFILE.
5954
5955         * log.c (log_enable): Removed.
5956
5957         * main.c (main): Use it.
5958
5959         * log.c (log_init): New function.
5960
5961         * url.c (get_urls_html): Removed needless assignment to BASE.
5962
5963         * host.c (add_hlist): Don't set CMP needlessly.
5964
5965         * utils.c (match_backwards): Ditto.
5966         (in_acclist): Ditto.
5967
5968         * url.c (findurl): Ditto.
5969
5970         * netrc.c (parse_netrc): Ditto.
5971
5972         * log.c (log_dump): Ditto.
5973
5974         * html.c (html_quote_string): Ditto.
5975
5976         * ftp-basic.c (ftp_request): Made static.
5977
5978         * connect.c: Made global variables static.
5979
5980         * url.c (construct): Ditto.
5981
5982         * init.c (init_path): Avoid assignment inside `if'-condition.
5983
5984         * ftp.c: Don't include in.h or winsock.h.
5985
5986         * ftp.c (ftp_loop): Use SZ.
5987
5988         * connect.c (bindport): Cast &addrlen to int *.
5989         (conaddr): Ditto.
5990
5991         * init.c (initialize): Don't use SYSTEM_WGETRC unconditionally.
5992
5993 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
5994
5995         * ftp.c (getftp): Initialize opt.ftp_pass here.
5996         (ftp_retrieve_dirs): Use alloca().
5997
5998         * init.c (defaults): Don't initialize opt.ftp_pass.
5999
6000         * sysdep.h (S_ISLNK): Declare for OS/2; ditto for lstat.
6001         From Ivan F. Martinez <ivanfm@ecodigit.com.br>.
6002
6003 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
6004
6005         * recur.c (parse_robots): Check for comments more correctly.
6006
6007         * host.c (ftp_getaddress): Use STRDUP_ALLOCA.
6008         (ftp_getaddress): Add diagnostics when reverse-lookup yields only
6009         hostname.
6010
6011 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
6012
6013         * version.c: Wget 1.5-b2 is released.
6014
6015         * netrc.c (NETRC_FILE_NAME): Moved from netrc.h.
6016
6017         * utils.c (proclist): Pass FNM_PATHNAME to fnmatch().
6018
6019         * ftp-basic.c (ftp_pasv): Avoid unnecessary casting to unsigned
6020         char.
6021
6022         * log.c: Don't attempt to hide arguments from ansi2knr.
6023
6024         * cmpt.c: Synched strptime() and mktime() with glibc-2.0.6.
6025
6026         * ansi2knr.c: Use a later version, from fileutils-3.16l alpha.
6027
6028         * ftp.c (getftp): Ditto.
6029
6030         * http.c (gethttp): Use it.
6031
6032         * retr.c (get_contents): New argument EXPECTED; pass it to
6033         show_progress().
6034         (show_progress): New argument EXPECTED; use it to display
6035         percentages.
6036
6037         * init.c (setval): Ditto.
6038
6039         * http.c (gethttp): Ditto.
6040         (http_loop): Ditto.
6041
6042         * ftp.c (getftp): Ditto.
6043         (ftp_loop_internal): Ditto.
6044
6045         * ftp-ls.c (ftp_parse_unix_ls): Use abort() instead of assert(0).
6046
6047         * sysdep.h (CLOSE): Simplify; use DEBUGP.
6048
6049         * netrc.c (search_netrc): Use alloca().
6050
6051         * init.c (defaults): Initialize no_flush.
6052
6053         * log.c (vlogmsg): Don't flush if no_flush.
6054
6055         * options.h (struct options): New variable no_flush.
6056
6057         * main.c (main): Don't play games with buffering.
6058
6059         * log.c (vlogmsg): Flush the output after every message.
6060
6061 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
6062
6063         * init.c (parse_line): Ditto.
6064
6065         * url.c (get_urls_html): Ditto.
6066
6067         * main.c (main): Don't cast to unsigned char.
6068
6069         * init.c (run_wgetrc): Don't cast to unsigned char.
6070         (parse_line): Accept char instead of unsigned char.
6071
6072         * html.c (htmlfindurl): Use char instead of unsigned char.
6073
6074         * all: Use them.
6075
6076         * sysdep.h: Add wrappers to ctype macros to make them
6077         eight-bit-clean:
6078
6079 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
6080
6081         * html.c (htmlfindurl): Download <img lowsrc=...>
6082
6083         * main.c (main): Ignore SIGPIPE.
6084
6085         * connect.c (select_fd): New argument WRITEP.
6086         (iwrite): Call select_fd().
6087
6088 1997-02-27  Fila Kolodny <fila@ibi.com>
6089
6090         * ftp.c (ftp_retrieve_list): If retrieving symlink and the proper
6091         one already exists, just skip it.
6092
6093 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
6094
6095         * http.c (gethttp): Cosmetic changes.
6096
6097         * http.c (check_end): Allow `+D...' instead of `GMT'.
6098         From Fabrizio Pollastri <pollastri@cstv.to.cnr.it>.
6099
6100         * url.c (process_ftp_type): New function.
6101         (parseurl): Use it.
6102
6103         * connect.c (iwrite): Allow writing in a few chunks.
6104         (bindport): Made SRV static, so addr can point to it.
6105         (select_fd): Removed HPUX kludge.
6106
6107         * host.c (free_hlist): Incorporated into clean_hosts().
6108
6109 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
6110
6111         * host.c (hlist): Made static.
6112         (search_address): Cosmetic change.
6113
6114 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
6115
6116         * version.c: Wget v1.5-b1 is released.
6117
6118         * http.c (hgetlen): Use sizeof() to get the header length.
6119         (hgetrange): Ditto.
6120         (hgettype): Ditto.
6121         (hgetlocation): Ditto.
6122         (hgetmodified): Ditto.
6123         (haccepts_none): Ditto.
6124
6125         * main.c (main): Updated `--version' and `--help' output, as per
6126         Francois Pinard's suggestions.
6127
6128         * main.c: Include locale.h; call setlocale(), bindtextdomain() and 
6129         textdomain().
6130
6131         * config.h.in: Define stubs for I18N3.
6132
6133         * wget.h: Include libintl.h.
6134
6135 1998-01-28  Hrvoje Niksic  <hniksic@srce.hr>
6136
6137         * url.c (mkstruct): Check for opt.cut_dirs.
6138         (mkstruct): alloca()-te more, xmalloc() less.
6139
6140         * utils.c (load_file): Check for ferror().
6141
6142         * url.c (get_urls_file): Close only the files we opened.
6143         (get_urls_html): Ditto.
6144         (count_slashes): New function.
6145
6146         * http.h: Removed.
6147
6148         * http.c (gethttp): Respect username and password provided by
6149         proxy URL.
6150         (base64_encode_line): Write into an existing buffer instead of
6151         malloc-ing a new one.
6152         (struct http_stat): Moved from http.h
6153
6154         * retr.c (retrieve_url): Free SUF.
6155
6156         * all: Removed lots of unnecessary .h dependencies.
6157
6158         * html.c (global_state): Made static.
6159
6160         * utils.h (ALLOCA_ARRAY): New macro.
6161
6162         * main.c (main): New option `--cut-dirs'.
6163
6164         * url.c (construct): Use alloca() for T.
6165
6166         * utils.c (mkdirhier): Use STRDUP_ALLOCA.
6167
6168         * host.c (_host_t): Moved from host.h.
6169         (struct host): Renamed from _host_t.
6170         (store_hostaddress): Use STRDUP_ALLOCA for INET_S.
6171         (realhost): Ditto.
6172
6173         * host.h: Don't include url.h.
6174
6175         * ftp.c (LIST_FILENAME): Moved from ftp.h.
6176
6177         * init.c (DEFAULT_FTP_ACCT): Moved from ftp.h.
6178
6179         * main.c (main): Enable log if the output goes to a TTY.
6180
6181         * connect.h: Removed unused constant `BACKLOG'.
6182
6183         * config.h.in: Check for isatty().
6184
6185         * Makefile.in (LINK): Use CFLAGS when linking.
6186
6187 1998-01-27  Hrvoje Niksic  <hniksic@srce.hr>
6188
6189         * mswindows.c (ws_hangup): Use redirect_output().
6190
6191         * main.c (redirect_output_signal): New function; use
6192         redirect_output().
6193
6194         * log.c (redirect_output): New function, based on hangup(), which
6195         is deleted.
6196
6197         * log.c (vlogmsg): New function.
6198
6199         * wget.h (DEBUGP): Use debug_logmsg().
6200
6201         * main.c (hangup): Use it.
6202
6203         * log.c (log_dump): New function.
6204
6205         * utils.h (DO_REALLOC): Use `long' for various sizes.
6206
6207         * http.c (hskip_lws): Use `while', for clarity.
6208         (HTTP_DYNAMIC_LINE_BUFFER): New constant.
6209         (fetch_next_header): Use it instead of DYNAMIC_LINE_BUFFER.
6210
6211         * ftp-basic.c (FTP_DYNAMIC_LINE_BUFFER): New constant.
6212         (ftp_response): Use it instead of DYNAMIC_LINE_BUFFER.
6213
6214         * utils.c (DYNAMIC_LINE_BUFFER): Moved from utils.c.
6215         (LEGIBLE_SEPARATOR): Ditto.
6216         (FILE_BUFFER_SIZE): Ditto.
6217
6218         * retr.c (BUFFER_SIZE): Moved from retr.h.
6219
6220         * log.c: New file.
6221         (logmsg): Moved from utils.c.
6222         (debug_logmsg): New function.
6223
6224         * mswindows.h: Include it here.
6225
6226         * init.c: Ditto.
6227
6228         * utils.c: Don't include <windows.h>.
6229
6230 1998-01-25  Hrvoje Niksic  <hniksic@srce.hr>
6231
6232         * host.c (ftp_getaddress): Ditto.
6233
6234         * main.c (main): Use it.
6235
6236         * utils.h (STRDUP_ALLOCA): New macro.
6237
6238         * init.c: Prepend `wget: ' to error messages printed on stderr.
6239
6240         * utils.c (mkdirhier): Renamed from mymkdir.
6241         (touch): Renamed from my_touch.
6242         (pwd_cuserid): Renamed from my_cuserid().
6243
6244 1998-01-24  Andy Eskilsson  <andy.eskilsson@telelogic.se>
6245
6246         * utils.c (accdir): Process wildcards.
6247         (proclist): New function.
6248         (accdir): Use it to avoid code repetition.
6249
6250 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
6251
6252         * recur.c (parse_robots): Respect opt.useragent; use alloca().
6253
6254         * http.c (gethttp): Construct useragent accordingly.
6255
6256         * version.c: Changed version string to numbers-only.
6257
6258         * main.c (print_help): List all the options.
6259
6260         * mswindows.c (windows_main_junk): Initialize argv0 here.
6261
6262 1998-01-24  Karl Heuer  <kwzh@gnu.org>
6263
6264         * netrc.c (search_netrc): Initialize `l' only after processing
6265         netrc.
6266
6267         * main.c (main): Don't trap SIGHUP if it's being ignored.
6268
6269 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
6270
6271         * all: Use logmsg().
6272
6273         * utils.c (time_str): Moved from retr.c.
6274         (logmsg): New function.
6275         (logmsg_noflush): Ditto.
6276
6277         * rbuf.c: New file, moved buf_* functions here.
6278
6279         * ftp.c (ftp_expected_bytes): Moved from ftp-basic.c.
6280
6281         * ftp-basic.c (ftp_rest): Use prnum().
6282
6283         * ftp-basic.c: Ditto.
6284
6285         * ftp.c: Use the new reading functions and macros.
6286
6287         * retr.c (buf_initialize): New function.
6288         (buf_initialized_p): Ditto.
6289         (buf_uninitialize): Ditto.
6290         (buf_fd): Ditto.
6291
6292         * http.c (fetch_next_header): Use the BUF_READCHAR macro for
6293         efficiency.
6294         (gethttp): Use alloca() where appropriate.
6295
6296         * retr.c (buf_readchar): Use it.
6297         (buf_peek): Use rstreams.
6298
6299         * retr.h (BUF_READCHAR): New macro.
6300
6301         * init.c (home_dir): Rewritten for clarity.
6302         (init_path): Ditto.
6303
6304         * mswindows.c (ws_backgnd): Made static.
6305         (read_registry): Ditto.
6306         (ws_cleanup): Ditto.
6307         (ws_handler): Ditto.
6308
6309 1998-01-23  Hrvoje Niksic  <hniksic@srce.hr>
6310
6311         * alloca.c: New file.
6312
6313         * Makefile.in (ALLOCA): Define.
6314
6315         * mswindows.c (ws_help): Constify.
6316         (ws_help): Use alloca.
6317
6318         * mswindows.c: Reformat.
6319
6320         * all: Added _(...) annotations for I18N snarfing and translation.
6321
6322         * host.c (ftp_getaddress): Nuke SYSINFO.
6323         (ftp_getaddress): Don't use getdomainname().
6324         (ftp_getaddress): Use uname(), where available.
6325
6326         * http.c (gethttp): Protect a stray fprintf().
6327
6328         * init.c (settime): New function.
6329         (setval): Treat WAIT specially, allowing suffixes like `m' for
6330         minutes, etc.
6331
6332 1998-01-21  Hrvoje Niksic  <hniksic@srce.hr>
6333
6334         * url.c (get_urls_html): Use alloca() for TEMP.
6335
6336 1998-01-21  Jordan Mendelson  <jordy@wserv.com>
6337
6338         * url.c (rotate_backups): New function.
6339
6340         * http.c (gethttp): Ditto.
6341
6342         * ftp.c (getftp): Rotate backups.
6343
6344 1997-12-18  Hrvoje Niksic  <hniksic@srce.hr>
6345
6346         * all: Renamed nmalloc(), nrealloc() and nstrdup() to xmalloc(),
6347         xrealloc() and xstrdup().  Use the new functions.
6348
6349         * url.c (decode_string): Made static.
6350         (has_proto): Ditto.
6351         (parse_dir): Ditto.
6352         (parse_uname): Ditto.
6353         (mkstruct): Ditto.
6354         (construct): Ditto.
6355         (construct_relative): Ditto.
6356
6357         * retr.c (show_progress): Made static.
6358
6359         * recur.c (robots_url): Made static.
6360         (retrieve_robots): Ditto.
6361         (parse_robots): Ditto.
6362         (robots_match): Ditto.
6363
6364         * main.h: Removed.
6365
6366         * main.c (printhelp): Made static.
6367         (hangup): Ditto.
6368
6369         * init.c (comind): Made static.
6370         (defaults): Ditto.
6371         (init_path): Ditto.
6372         (run_wgetrc): Ditto.
6373         (onoff): Ditto.
6374         (setonoff): Ditto.
6375         (setnum): Ditto.
6376         (myatoi): Ditto.
6377         (getperms): Ditto.
6378         (setbytes): Ditto.
6379
6380         * http.c (fetch_next_header): Made static.
6381         (hparsestatline): Ditto.
6382         (hskip_lws): Ditto.
6383         (hgetlen): Ditto.
6384         (hgetrange): Ditto.
6385         (hgettype): Ditto.
6386         (hgetlocation): Ditto.
6387         (hgetmodified): Ditto.
6388         (haccepts_none): Ditto.
6389         (gethttp): Ditto.
6390         (base64_encode_line): Ditto.
6391         (mktime_from_utc): Ditto.
6392         (http_atotm): Ditto.
6393
6394         * html.c (idmatch): Made static.
6395
6396         * host.c (search_host): Made static.
6397         (search_address): Ditto.
6398         (free_hlist): Ditto.
6399
6400         * ftp.c (getftp): Made static.
6401         (ftp_loop_internal): Ditto.
6402         (ftp_get_listing): Ditto.
6403         (ftp_retrieve_list): Ditto.
6404         (ftp_retrieve_dirs): Ditto.
6405         (ftp_retrieve_glob): Ditto.
6406         (freefileinfo): Ditto.
6407         (delelement): Ditto.
6408
6409         * ftp-ls.c (symperms): Made static.
6410         (ftp_parse_unix_ls): Ditto.
6411
6412         * connect.c (select_fd): Made static.
6413
6414         * utils.c (xmalloc): Renamed from nmalloc.
6415         (xrealloc): Renamed from nrealloc.
6416         (xstrdup): Renamed from nstrdup.
6417
6418         * getopt.c (exchange): Use alloca.
6419
6420         * mswindows.c (mycuserid): Use strncpy.
6421
6422         * New files mswindows.c, mswindows.h, sysdep.h.  winjunk.c,
6423         systhings.h, windecl.h and winjunk.h removed.
6424
6425         * mswindows.c (sleep): New function.
6426
6427         * utils.c: Include <windows.h> under Windows.
6428
6429 1997-06-12  Darko Budor  <dbudor@zesoi.fer.hr>
6430
6431         * url.h (URL_UNSAFE): Change default under Windows.
6432
6433         * retr.c (retrieve_from_file): Respect opt.delete_after.
6434
6435         * main.c (main): Call ws_help on Windows.
6436
6437         * winjunk.c (windows_main_junk): New function.
6438
6439         * main.c (main): Junk-process argv[0].
6440
6441         * http.c (mktime_from_utc): Return -1 if mktime failed.
6442
6443         * http.c (http_loop): Ditto.
6444
6445         * ftp.c (ftp_loop_internal): Change title on Windows when using a
6446         new URL.
6447
6448         * winjunk.c (getdomainname): Lots of functions.
6449
6450 1997-06-12  Hrvoje Niksic  <hniksic@srce.hr>
6451
6452         * cmpt.c (strptime_internal): Handle years more correctly for
6453         `%y'.
6454
6455 1997-06-09  Mike Thomas <mthomas@reality.ctron.com>
6456
6457         * http.c (gethttp): Allocate enough space for
6458         `Proxy-Authorization' header.
6459
6460 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
6461
6462         * version.c: Wget/1.4.5 is released.
6463
6464 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
6465
6466         * retr.c (get_contents): Check return value of fwrite more
6467         carefully.
6468
6469 1997-03-30  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
6470
6471         * cmpt.c (strptime_internal) [case 'Y']: Always subtract 1900 from
6472         year, regardless of century.
6473
6474 1997-03-30  Hrvoje Niksic  <hniksic@srce.hr>
6475
6476         * utils.c (isfile): Use `lstat' instead of `stat'.
6477
6478 1997-03-29  Hrvoje Niksic  <hniksic@srce.hr>
6479
6480         * utils.c (numdigit): Use explicit test.
6481
6482 1997-03-21  Hrvoje Niksic  <hniksic@srce.hr>
6483
6484         * http.c (http_loop): Always use `url_filename' to get u->local.
6485
6486 1997-03-20  Hrvoje Niksic  <hniksic@srce.hr>
6487
6488         * url.c: Recognize https.
6489
6490 1997-03-13  Hrvoje Niksic  <hniksic@srce.hr>
6491
6492         * recur.c (recursive_retrieve): Lowercase just the host name.
6493
6494 1997-03-09  Hrvoje Niksic  <hniksic@srce.hr>
6495
6496         * url.c (get_urls_file): Use the correct test.
6497         (get_urls_html): Ditto.
6498
6499 1997-03-07  Hrvoje Niksic  <hniksic@srce.hr>
6500
6501         * connect.c: Reverted addrlen to int.
6502
6503         * init.c (parse_line): Check for -1 instead of NONE.
6504
6505         * version.c: Changed version to 1.4.5.
6506
6507 1997-02-17  Hrvoje Niksic  <hniksic@srce.hr>
6508
6509         * init.c: New option netrc.
6510         (initialize): Don't parse .netrc.
6511
6512         * cmpt.c (recursive): Return rp.
6513         (strptime_internal): Match the long strings first, the abbreviated
6514         second.
6515
6516 1997-02-16  Hrvoje Niksic  <hniksic@srce.hr>
6517
6518         * http.c (check_end): New function.
6519         (http_atotm): Use it.
6520  
6521 1997-02-13  gilles Cedoc  <gilles@cedocar.fr>
6522
6523         * http.c (gethttp): Use them.
6524
6525         * init.c: New options proxy_user and proxy_passwd.
6526
6527 1997-02-14  Hrvoje Niksic  <hniksic@srce.hr>
6528
6529         * ftp.c (ftp_retrieve_list): Create links even if not relative.
6530
6531 1997-02-10  Hrvoje Niksic  <hniksic@srce.hr>
6532
6533         * recur.c (recursive_retrieve): Lowercase the host name, if the
6534         URL is not "optimized".
6535
6536         * host.c (realhost): Return l->hostname, even if it matches with
6537         host.
6538
6539 1997-02-10  Marin Purgar  <pmc@asgard.hr>
6540
6541         * connect.c: Make addrlen size_t instead of int.
6542         (conaddr): Ditto.
6543
6544 1997-02-09  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
6545
6546         * systhings.h: Define S_ISLNK on NeXT too.
6547
6548 1997-02-09  Hrvoje Niksic  <hniksic@srce.hr>
6549
6550         * version.c: Released 1.4.3.
6551
6552         * url.c: Futher update to list of protostrings.
6553         (skip_proto): Skip `//' correctly for FTP and HTTP.
6554
6555         * url.c (get_urls_html): Handle bogus `http:' things a little
6556         different.
6557
6558         * main.c (main): Removed `follow-ftp' from `f'.
6559         (main): Dumped the `prefix-files' and `file-prefix' options and
6560         features; old and bogus.
6561         (main): Exit on failed setval() in `-e'.
6562
6563         * http.c (fetch_next_header): Use it to detect header continuation
6564         correctly.
6565
6566         * retr.c (buf_peek): New function.
6567
6568 1997-02-08  Hrvoje Niksic  <hniksic@srce.hr>
6569
6570         * wget.h: Include time.h and stuff.
6571
6572 1997-02-08  Roger Beeman  <beeman@cisco.com>
6573
6574         * ftp.c: Include <time.h>
6575
6576 1997-02-07  Hrvoje Niksic  <hniksic@srce.hr>
6577
6578         * url.c (findurl): Would read over buffer limits.
6579
6580 1997-02-06  Hrvoje Niksic  <hniksic@srce.hr>
6581
6582         * ftp-ls.c (ftp_parse_unix_ls): Allow spaces in file names.
6583
6584 1997-02-05  Hrvoje Niksic  <hniksic@srce.hr>
6585
6586         * http.c (http_atotm): Initialize tm.is_dst.
6587
6588 1997-02-02  Hrvoje Niksic  <hniksic@srce.hr>
6589
6590         * http.c (gethttp): Don't print the number of retrieved headers.
6591
6592         * main.c (main): New option `--no-clobber', alias for `-nc'.
6593
6594         * url.c: Recognize `https://'.
6595
6596 1997-02-01  Hrvoje Niksic  <hniksic@srce.hr>
6597
6598         * host.c (herrmsg): Don't use h_errno.
6599
6600 1997-01-30  Hrvoje Niksic  <hniksic@srce.hr>
6601
6602         * host.c (accept_domain): Use it.
6603
6604         * main.c (main): New option `--exclude-domains'.
6605
6606         * retr.c (retrieve_url): Use it.
6607         (retrieve_url): Bail out when an URL is redirecting to itself.
6608
6609         * url.c (url_equal): New function.
6610
6611 1997-01-29  Hrvoje Niksic  <hniksic@srce.hr>
6612
6613         * connect.c: Include arpa/inet.h instead of arpa/nameser.h.
6614
6615         * http.c (mk_utc_time): New function.
6616         (http_atotm): Use it; handle time zones correctly.
6617
6618 1997-01-28  Hrvoje Niksic  <hniksic@srce.hr>
6619
6620         * http.c: Ditto.
6621
6622         * ftp-basic.c: Use it instead of WRITE.
6623
6624         * connect.c (iwrite): New function.
6625
6626 1997-01-27  Hrvoje Niksic  <hniksic@srce.hr>
6627
6628         * cmpt.c (mktime): New function.
6629
6630         * netrc.c: Include <sys/types.h>.
6631
6632         * main.c (main): Wouldn't recognize --spider.
6633
6634         * retr.c (rate): Use `B', `KB' and `MB'.
6635         (reset_timer,elapsed_time): Moved from utils.c.
6636
6637         * ftp.c (ftp_retrieve_list): Ditto.
6638
6639         * http.c (http_loop): Don't touch the file if opt.dfp.
6640
6641 1997-01-24  Hrvoje Niksic  <hniksic@srce.hr>
6642
6643         * cmpt.c: New file.
6644
6645         * ftp.c (ftp_retrieve_glob): New argument semantics.
6646         (ftp_retrieve_dirs): Use it.
6647         (ftp_loop): Ditto.
6648
6649         * html.c (htmlfindurl): Recognize `'' as the quote char.
6650
6651 1997-01-23  Hrvoje Niksic  <hniksic@srce.hr>
6652
6653         * ftp.c (ftp_loop_internal): Use it.
6654
6655         * utils.c (remove_link): New function.
6656
6657 1997-01-22  Hrvoje Niksic  <hniksic@srce.hr>
6658
6659         * retr.c (retrieve_url): Require STRICT redirection URL.
6660
6661         * url.c (parseurl): New argument STRICT.
6662
6663         * http.c (hparsestatline): Be a little-bit less strict about
6664         status line format.
6665
6666 1997-01-21  Hrvoje Niksic  <hniksic@srce.hr>
6667
6668         * http.c (gethttp): Use it.
6669
6670         * main.c (main): Don't use '<digit>' as options.
6671
6672         * init.c: New option ignore_length.
6673
6674         * http.c (gethttp): Ditto.
6675         (http_loop): Check for redirection without Location:.
6676         (gethttp): Don't print Length unless RETROKF.
6677
6678         * ftp.c (getftp): Use it.
6679
6680         * url.c (mkalldirs): New function.
6681
6682         * utils.c (mymkdir): Don't check for existing non-directory.
6683
6684         * url.c (mkstruct): Don't create the directory.
6685
6686 1997-01-20  Hrvoje Niksic  <hniksic@srce.hr>
6687
6688         * init.c (setval): Removed NO_RECURSION checks.
6689
6690 1997-01-19  Hrvoje Niksic  <hniksic@srce.hr>
6691
6692         * version.c: "Released" 1.4.3-pre2.
6693
6694         * recur.c (recursive_retrieve): Bypass host checking only if URL
6695         is ftp AND parent URL is not ftp.
6696
6697         * ftp-basic.c (ftp_request): Print out Turtle Power.
6698
6699         * ftp.c (ftp_loop): Call ftp_retrieve_glob with 0 if there's no
6700         wildcard.
6701         (ftp_retrieve_glob): Call ftp_loop_internal even on empty list, if
6702         not glob.
6703
6704         * http.c (gethttp): Be a little bit smarter about status codes.
6705
6706         * recur.c (recursive_retrieve): Always reset opt.recursive when
6707         dealing with FTP.
6708
6709 1997-01-18  Hrvoje Niksic  <hniksic@srce.hr>
6710
6711         * retr.c (retrieve_url): New variable location_changed; use it for
6712         tests instead of mynewloc.
6713         (retrieve_url): Allow heuristic adding of html.
6714
6715         * url.c (url_filename): Don't use the `%' in Windows file names.
6716
6717         * http.c (http_loop): Always time-stamp the local file.
6718
6719         * http.c (http_loop): Ditto.
6720
6721         * ftp.c (ftp_retrieve_list): Use it.
6722
6723         * utils.c (my_touch): New function.
6724
6725         * ftp.c (ftp_retrieve_list): Use #ifdef HAVE_STRUCT_UTIMBUF
6726         instead of #ifndef NeXT.
6727
6728         * utils.c (strptime): New version, by Ulrich Drepper.
6729
6730 1997-01-17  Hrvoje Niksic  <hniksic@srce.hr>
6731
6732         * http.c (haccepts_none): Renamed from `haccepts_bytes'.
6733         (gethttp): If haccepts_none(), disable ACCEPTRANGES.
6734         (http_loop): Would remove ACCEPTRANGES.
6735
6736         * ftp.c (getftp): Call ftp_list with NULL.
6737
6738 1997-01-15  Hrvoje Niksic  <hniksic@srce.hr>
6739
6740         * html.c (ftp_index): Don't print minutes and seconds if we don't
6741         know them; beautify the output.
6742
6743         * ftp.c (getftp): Don't close the socket on FTPNSFOD.
6744
6745 1997-01-14  Hrvoje Niksic  <hniksic@srce.hr>
6746
6747         * utils.c (strptime): New function.
6748         (strptime): Don't use get_alt_number.
6749         (strptime): Don't use locale.
6750         (match_string): Made it a function.
6751
6752 1997-01-12  Hrvoje Niksic  <hniksic@srce.hr>
6753
6754         * http.c (http_atotm): New function.
6755         (http_loop): Use it.
6756
6757         * atotm.c: Removed from the distribution.
6758
6759         * http.c (base64_encode_line): Rewrite.
6760
6761 1997-01-09  Hrvoje Niksic  <hniksic@srce.hr>
6762
6763         * ftp.c (getftp): Use ftp_expected_bytes; print size.
6764
6765         * ftp-basic.c (ftp_response): Use ftp_last_respline.
6766         (ftp_expected_bytes): New function.
6767
6768         * ftp.c (getftp): Print the unauthoritative file length.
6769
6770         * ftp-ls.c: Renamed from ftp-unix.c.
6771         (ftp_parse_ls): Moved from ftp.c.
6772         (ftp_parse_unix_ls): Recognize seconds in time spec.
6773         (ftp_parse_unix_ls): Recognize year-less dates of the previous
6774         year.
6775
6776 1997-01-08  Hrvoje Niksic  <hniksic@srce.hr>
6777
6778         * ftp-basic.c: Don't declare errno if #defined.
6779
6780         * host.c (ftp_getaddress): Check for sysinfo legally.
6781
6782 1997-01-08  Darko Budor  <dbudor@diana.zems.fer.hr>
6783
6784         * connect.c (iread): Use READ.
6785
6786 1996-12-23  Hrvoje Niksic  <hniksic@srce.hr>
6787
6788         * url.c: Recognize finger, rlogin, tn3270, mid and cid as valid
6789         schemes.
6790
6791 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
6792
6793         * host.c (ftp_getaddress): Allow `.' in hostname.
6794
6795 1996-12-26  Darko Budor <dbudor@zems.fer.hr>
6796
6797         * wget.h: READ and WRITE macros for use instead of read and write
6798         on sockets, grep READ *.c, grep WRITE *.c
6799
6800         * wsstartup.c: new file - startup for winsock
6801
6802         * wsstartup.h: new file
6803
6804         * win32decl.h: new file - fixup for <errno.h> and winsock trouble
6805
6806         * configure.bat: Configure utility for MSVC
6807
6808         * src/Makefile.ms,config.h.ms: new files for use with MSVC 4.x
6809
6810 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
6811
6812         * version.c: Released 1.4.3-pre.
6813
6814         * utils.c (prnum): Accept long.
6815         (legible): Use prnum().
6816
6817         * connect.c (make_connection): Accept port as short.
6818         (bindport): Ditto.
6819
6820         * http.c (gethttp): Use search_netrc.
6821
6822 1996-12-21  Hrvoje Niksic  <hniksic@srce.hr>
6823
6824         * ftp.c (getftp): Use search_netrc.
6825
6826         * netrc.c (free_netrc): New function.
6827
6828         * init.c (home_dir): New function.
6829
6830         * url.c (convert_links): Allow REL2ABS changes.
6831
6832 1996-12-21  Gordon Matzigkeit  <gord@gnu.ai.mit.edu>
6833
6834         * netrc.c: New file.
6835         (parse_netrc, maybe_add_to_list): New functions.
6836
6837 1996-12-17  Hrvoje Niksic  <hniksic@srce.hr>
6838
6839         * retr.c (retrieve_url): Reset opt.recursion before calling
6840         ftp_loop if it is reached through newloc.
6841
6842         * init.c (run_wgetrc): Print the wgetrc path too, when reporting
6843         error; don't use "Syntax error", since we don't know if it is
6844         really a syntax error.
6845
6846 1996-12-16  Hrvoje Niksic  <hniksic@srce.hr>
6847
6848         * utils.c (acceptable): Extract the filename part of the path.
6849
6850         * recur.c (recursive_retrieve): Call acceptable() with the right
6851         argument; would bug out on wildcards.
6852
6853         * init.c (parse_line): Likewise.
6854
6855         * html.c (htmlfindurl): Cast to char * when calling stuff.
6856
6857 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
6858
6859         * ftp.c (getftp): Use ftp_pasv.
6860
6861         * ftp-basic.c (ftp_request): Accept NULL value.
6862         (ftp_pasv): New function.
6863
6864         * options.h (struct options): Add passive FTP option.
6865
6866 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
6867
6868         * url.c (parseurl): Debug output.
6869
6870         * utils.c (path_simplify): New one, adapted from bash's
6871         canonicalize_pathname().
6872
6873 1996-12-14  Hrvoje Niksic  <hniksic@srce.hr>
6874
6875         * ftp.c (getftp): Don't discard the buffer.
6876
6877         * retr.c (get_contents): New parameter nobuf.
6878
6879 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
6880
6881         * html.c (htmlfindurl): Recognize <meta contents="d; URL=...".
6882
6883         * init.c (setval): Strip the trailing slashes on CVECDIR.
6884
6885 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
6886
6887         * init.c: Make excludes and includes under CVECDIR instead of
6888         CVEC.
6889
6890 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
6891
6892         * url.c (get_urls_html): Skip "http:".
6893
6894 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
6895
6896         * utils.c (strcasecmp): From glibc.
6897         (strncasecmp): Also.
6898         (strstr): Also.
6899
6900         * url.c: Added javascript: to the list of URLs prefixes.
6901
6902 1996-12-12  Shawn McHorse  <riffraff@txdirect.net>
6903
6904         * recur.c (retrieve_robots): Print the warning message only if
6905         verbose.
6906
6907 1996-12-12  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
6908
6909         * ftp.c (ftp_retrieve_list): Use NeXT old utime interface.
6910
6911 1996-12-12  Hrvoje Niksic  <hniksic@srce.hr>
6912
6913         * systhings.h: New file.
6914
6915         * ../configure.in: Check for utime.h
6916
6917         * ftp.c: Check whether we have unistd.h.
6918
6919 1996-11-27  Hrvoje Niksic  <hniksic@srce.hr>
6920
6921         * recur.c (recursive_retrieve): Send the canonical URL as referer.
6922         (recursive_retrieve): Call get_urls_html with the canonical URL.
6923
6924 1996-12-13  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
6925
6926         * (configure.in, config.h.in, src/Makefile.in, src/*.[ch]): Add
6927         ansi2knr support for compilers which don't support ANSI style
6928         function prototypes and signatures.
6929
6930         * (aclocal.m4, src/ansi2knr.c, src/ansi2knr.1): New files.
6931
6932 1996-11-26  Hrvoje Niksic  <hniksic@srce.hr>
6933
6934         * url.c: Use it; Recognize paths ending with "." and ".." as
6935         directories.
6936         (url_filename): Append .n whenever file exists and could be a
6937         directory.
6938
6939         * url.h (ISDDOT): New macro.
6940
6941         * init.c (parse_line): Use unsigned char.
6942
6943         * url.c (get_urls_html): Cast to unsigned char * when calling
6944         htmlfindurl.
6945
6946         * html.c (htmlfindurl): Use unsigned char.
6947
6948         * version.c: Changed version to 1.4.3.
6949
6950 1996-11-25  Hrvoje Niksic  <hniksic@srce.hr>
6951
6952         * version.c: Released 1.4.2.
6953
6954         * ftp.c (getftp): Simplified assertion.
6955         (ftp_loop_internal): Remove symlink before downloading.
6956         (ftp_retrieve_list): Unlink the symlink name before attempting to
6957         create a symlink!
6958
6959         * options.h (struct options): Renamed print_server_response to
6960         server_response.
6961
6962         * ftp.c (rel_constr): Removed.
6963         (ftp_retrieve_list): Don't use it.
6964         (ftp_retrieve_list): Use opt.retr_symlinks.
6965
6966 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
6967
6968         * main.c (main): New option retr_symlinks.
6969
6970         * url.c (convert_links): Print verbose message.
6971
6972 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
6973
6974         * http.c (http_loop): Reset newloc in the beginning of function;
6975         would cause FMR in retrieve_url.
6976
6977 1996-11-23  Hrvoje Niksic  <hniksic@srce.hr>
6978
6979         * recur.c (convert_all_links): Find the URL of each HTML document,
6980         and feed it to get_urls_html; would bug out.
6981         (convert_all_links): Check for l2 instead of dl; removed dl.
6982
6983         * url.c (convert_links): Don't refer to freed newname.
6984
6985         * recur.c (recursive_retrieve): Add this_url to urls_downloaded.
6986
6987         * main.c (main): Print the OS_TYPE in the debug output, too.
6988
6989         * recur.c (recursive_retrieve): Check for opt.delete_after.
6990
6991         * main.c (main): New option delete-after.
6992
6993         * init.c (setval): Cleaned up.
6994
6995 1996-11-21  Hrvoje Niksic  <hniksic@srce.hr>
6996
6997         * Makefile.in (wget): Make `wget' the default target.
6998
6999         * ftp.c (ftp_loop_internal): Move noclobber checking out of the
7000         loop.
7001         (ftp_retrieve_list): Warn about non-matching sizes.
7002
7003         * http.c (http_loop): Made -nc non-dependent on opt.recursive.
7004
7005         * init.c (setnum): Renamed from setnuminf; New argument flags.
7006         (setval): Use it.
7007
7008         * main.c (main): Sorted the options.
7009         (main): New option --wait.
7010
7011 1996-11-21  Shawn McHorse  <riffraff@txdirect.net>
7012
7013         * html.c (htmlfindurl): Reset s->in_quote after getting out of
7014         quotes.
7015
7016 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
7017
7018         * version.c: Changed version to 1.4.2.
7019
7020 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
7021
7022         * version.c: Released 1.4.1.
7023
7024         * html.c (html_quote_string): New function.
7025         (ftp_index): Use it.
7026         (htmlfindurl): A more gentle ending debug message.
7027
7028         * ftp.c (ftp_loop): Check for opt.htmlify.
7029
7030         * init.c: New command htmlify.
7031
7032         * ftp.c (getftp): Nicer error messages, with `'-encapsulated
7033         strings.
7034         (ftp_loop): Print size of index.html.
7035
7036         * init.c (setval): Implement "styles".
7037
7038         * main.c (main): New option dotstyle.
7039
7040 1996-11-19  Hrvoje Niksic  <hniksic@srce.hr>
7041
7042         * ftp.c (getftp): Close the master socket in case of errors, after
7043         bindport().
7044
7045         * connect.c (bindport): Initialize msock to -1.
7046
7047         * ftp.c (getftp): Initialize dtsock to -1.
7048
7049         * connect.c (closeport): Don't close sock if sock == -1.
7050
7051 1996-11-18  Hrvoje Niksic  <hniksic@srce.hr>
7052
7053         * init.c (setnuminf): Nuked default value -- just leave unchanged.
7054         (setval): Don't send default values.
7055         (defaults): Use DEFAULT_TIMEOUT -- aaargh.
7056
7057         * options.h (struct options): Use long for dot_bytes.
7058
7059         * init.c (setquota): Renamed to setbytes.
7060         (setval): Use setbytes on DOTBYTES.
7061
7062 1996-11-17  Hrvoje Niksic  <hniksic@srce.hr>
7063
7064         * ftp.c (getftp): Initialize con->dltime.
7065
7066         * recur.c (recursive_retrieve): Use same_host instead of
7067         try_robots; simply load robots_txt whenever the host is changed.
7068         (recursive_retrieve): Free forbidden before calling parse_robots.
7069
7070 1996-11-16  Hrvoje Niksic  <hniksic@srce.hr>
7071
7072         * retr.c (show_progress): Use them.
7073
7074         * options.h (struct options): New options dot_bytes, dots_on_line
7075         and dot_spacing.
7076
7077 1996-11-16  Mark Boyns  <boyns@sdsu.edu>
7078
7079         * recur.c (recursive_retrieve): Retrieve directories regardless of
7080         acc/rej rules; check for empty u->file.
7081
7082 1996-11-14  Hrvoje Niksic  <hniksic@srce.hr>
7083
7084         * init.c (setval): Use it.
7085
7086         * utils.c (merge_vecs): New function.
7087
7088         * init.c (setval): Reset the list-type functions when encountering
7089         "".
7090
7091 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
7092
7093         * recur.c (recursive_retrieve): Use base_url instead of this_url
7094         for no_parent.
7095
7096 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
7097
7098         * html.c (htmlfindurl): Reset s->in_quote after exiting the quote.
7099
7100 1996-11-13  Hrvoje Niksic  <hniksic@srce.hr>
7101
7102         * utils.c (sepstring): Rewrote; don't use strtok.
7103
7104         * recur.c (recursive_retrieve): Enter assorted this_url to slist
7105         when running the first time.
7106         (retrieve_robots): Warn to ignore errors when robots are loaded.
7107
7108         * utils.c (load_file): Moved from url.c.
7109
7110         * http.c: Made static variables const too in h* functions.
7111
7112         * main.c (main): Renamed --continue-ftp to --continue.
7113
7114         * recur.c (recursive_retrieve): Use it.
7115
7116         * utils.c (frontcmp): New function.
7117
7118         * url.c (accdir): New function.
7119
7120         * html.c (htmlfindurl): Recognize <area href=...>.
7121
7122         * ftp.c (ftp_retrieve_dirs): Implemented opt.includes.
7123
7124         * init.c (setval): Free the existing opt.excludes and
7125         opt.includes, if available.
7126
7127         * main.c (main): New option -I.
7128
7129 1996-11-12  Hrvoje Niksic  <hniksic@srce.hr>
7130
7131         * ftp.c (ftp_retrieve_glob): Do not weed out directories.
7132
7133         * version.c: Changed version to 1.4.1.
7134
7135 1996-11-11  Hrvoje Niksic  <hniksic@srce.hr>
7136
7137         * version.c: Released 1.4.0.
7138
7139 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
7140
7141         * main.c (main): Free com and val after parse_line.
7142         (printhelp): Reorder the listing.
7143
7144         * http.c: More robust header parsing.
7145
7146         * http.c: Allow any number of spaces, or no spaces, precede ':'.
7147         (hskip_lws): New function.
7148         (haccepts_bytes): New function.
7149         (gethttp): Use it.
7150
7151         * init.c (setval): Check header sanity.
7152         (setval): Allow resetting of headers.
7153
7154 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
7155
7156         * http.c (http_loop): Don't use has_wildcards.
7157
7158         * http.c (gethttp): Free all_headers -- would leak.
7159
7160         * recur.c (recursive_retrieve): Initialize depth to 1 instead of
7161         0 -- this fixes a long-standing bug in -rl.
7162
7163 1996-11-09  Hrvoje Niksic  <hniksic@srce.hr>
7164
7165         * ftp.c: Use -1 as "impossible" value for con->fd.
7166
7167         * url.h (URL_SEPARATOR): Don't treat `*' and `+' as separators.
7168
7169         * init.c (parse_line): Use isalpha.
7170
7171         * ftp-unix.c: Use HAVE_UNISTD_H.
7172
7173         * mtch.c (has_wildcards): Don't match \.
7174
7175         * http.c (http_loop): Warn on HTTP wildcard usage.
7176
7177 1996-11-08  Hrvoje Niksic  <hniksic@srce.hr>
7178
7179         * url.c (url_filename): Do not create numbered suffixes if
7180         opt.noclobber -- would bug out on -nc.
7181
7182 1996-11-07  Hrvoje Niksic  <hniksic@srce.hr>
7183
7184         * recur.c (parse_robots): Don't chuck out the commands without
7185         arguments (`Disallow:<empty>' didn't work).
7186         (parse_robots): Compare versions lowercase.
7187         (parse_robots): Match on base_version, not version_string!
7188         (parse_robots): Handle comments properly.
7189         (parse_robots): Match versions in a sane way.
7190
7191         * init.c: Print nicer error messages.
7192
7193         * version.c: Changed version to 1.4.0.
7194
7195 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
7196
7197         * version.c: Released 1.4.0-test2.
7198
7199         * init.c (run_wgetrc): Close fp.
7200
7201         * ftp.c (ftp_retrieve_dirs): Allocate the correct length for
7202         u->dir.
7203
7204 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
7205
7206         * init.c (setquota): Allow inf as quota specification.
7207
7208 1996-11-05  Hrvoje Niksic  <hniksic@srce.hr>
7209
7210         * ftp.c (ftp_retrieve_dirs): Return QUOTEXC if quota exceeded.
7211         (ftp_retrieve_glob): Return QUOTEXC on quota exceeded.
7212
7213         * main.c (main): Check for quota by comparison with downloaded
7214         stuff, not from status.
7215
7216         * connect.c (select_fd): Should compile on HPUX without warnings now.
7217
7218         * ftp.c (ftp_get_listing): Check whether ftp_loop_internal
7219         returned RETROK.
7220
7221 1996-11-04  Hrvoje Niksic  <hniksic@srce.hr>
7222
7223         * ftp.c (ftp_retrieve_glob): Print the pattern nicely.
7224         (getftp): Return FTPRETRINT on control connection error.
7225
7226         * html.c (htmlfindurl): Recognize <embed src=...> and
7227         <bgsound src=...>.
7228         (ftp_index): Handle username and password correctly.
7229
7230         * main.c (main): Made `-np' a synonim for --no-parent.
7231
7232 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
7233
7234         * ftp.c (ftp_loop): Check for opt.ftp_glob too before calling
7235         ftp_retrieve_glob.
7236
7237         * version.c: Changed version to 1.4.0-test2.
7238
7239 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
7240
7241         * version.c: Released 1.4.0-test1.
7242
7243         * url.c (str_url): Don't use sprintf when creating %2F-prefixed
7244         directory.
7245         (convert_links): Removed definition of make_backup.
7246
7247         * http.h: Removed definition of MAX_ERROR_LENGTH.
7248
7249         * host.c (ftp_getaddress): Check for "(none)" domains.
7250
7251         * ftp.c (ftp_retrieve_dirs): Docfix.
7252
7253         * http.c (gethttp): Use ou->referer instead of u->referer.
7254
7255         * retr.c (retrieve_url): Reset u to avoid freeing pointers twice;
7256         this was known to cause coredumps on Linux.
7257
7258         * html.c (ftp_index): Cast the argument to local_time to time_t *.
7259
7260 1996-11-01  Hrvoje Niksic  <hniksic@srce.hr>
7261
7262         * connect.c (select_fd): Use exceptfds -- once and for all.
7263
7264         * retr.c (retrieve_from_file): Free filename after
7265         recursive_retrieve.
7266         (retrieve_from_file): Send RFIRST_TIME to recursive_retrieve on
7267         first-time retrieval.
7268         (retrieve_from_file): Return uerr_t; new argument, count.
7269         (retrieve_from_file): Break on QUOTEXC.
7270
7271         * init.c (setquota): Fixed a bug that caused rejection of
7272         non-postfixed values..
7273
7274 1996-10-30  Hrvoje Niksic  <hniksic@srce.hr>
7275
7276         * version.c: Changed name to wget.
7277
7278         * connect.c (iread): Smarter use of select.
7279         (select_fd): Set errno on timeout.  If not timeout, return 1
7280         instead of 0.
7281
7282 1996-10-29  Hrvoje Niksic  <hniksic@srce.hr>
7283
7284         * ftp.c (ftp_loop_internal): Don't use con->cmd before
7285         establishing it.
7286
7287 1996-10-26  Hrvoje Niksic  <hniksic@srce.hr>
7288
7289         * http.c (gethttp): Send correct referer when using proxy.
7290         (gethttp): Use struct urlinfo ou to access the relevant data; send
7291         correct authorization in all cases.
7292
7293         * host.c (same_host): Use skip_uname to skip username and
7294         password.
7295
7296         * url.c (skip_uname): New function.
7297         (parseurl): Use it.
7298
7299         * host.c (same_host): Do not assume HTTP -- same_host should now
7300         be totally foolproof.
7301
7302         * url.c (skip_proto): New function.
7303         (parse_uname): Use it.
7304
7305         * http.c (gethttp): Create local user and passwd from what is
7306         given.
7307
7308         * url.c (parseurl): Check for HTTP username and password too.
7309
7310 1996-10-25  Hrvoje Niksic  <hniksic@srce.hr>
7311
7312         * config.h.in: Removed #define gethostbyname R...
7313
7314 1996-10-22  Hrvoje Niksic  <hniksic@srce.hr>
7315
7316         * version.c: Changed version to 1.4.0-test1.
7317
7318 1996-10-21  Hrvoje Niksic  <hniksic@srce.hr>
7319
7320         * version.c: "Released" 1.4b29.
7321
7322         * recur.c (recursive_retrieve): Check for no_parent.
7323
7324         * init.c (setval): Option update.
7325
7326         * main.c (main): New option no-parent.
7327
7328         * options.h (struct options): New variable no_parent.
7329
7330         * recur.c (recursive_retrieve): Only files are checked for
7331         opt.accepts and opt.rejects.
7332         (recursive_retrieve): Check directories for opt.excludes.
7333         (recursive_retrieve): Make the dir absolute when checking
7334         opt.excludes.
7335
7336         * html.c (htmlfindurl): Recognize <applet code=...> and <script
7337         src=...>
7338
7339 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
7340
7341         * ftp.c (getftp): Do not line-break assert entries at all.
7342         (ftp_retrieve_dirs): docfix.
7343
7344         * connect.c (select_fd): Use fd + 1 as nfds.
7345
7346         * version.c: Changed version to 1.4b29.
7347
7348 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
7349
7350         * version.c: "Released" 1.4b28.
7351
7352         * ftp.c (ftp_loop_internal): Check whether f->size == len and
7353         don't continue the loop if it is.
7354         (ftp_get_listing): Remove list_filename on unsuccesful loop.
7355
7356 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
7357
7358         * ftp.c (ftp_loop_internal): Use strcpy to initialize tmp.
7359         (getftp): Do not use multiline assert.
7360
7361         * http.c (hparsestatline): Use mjr and mnr instead of major and
7362         minor, which don't compile on Ultrix.
7363         (http_loop): Use strcpy() to initialize tmp.
7364
7365         * all: Geturl -> Fetch
7366
7367 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
7368
7369         * recur.c (parse_robots): Fixed an off-by-one bug when looking for
7370         ':'.
7371
7372         * html.c (htmlfindurl): Fixed several possible off-by-one bugs by
7373         moving `bufsize &&' to the beginning of each check in for-loops.
7374
7375         * recur.c (parse_robots): Close fp on exit.
7376
7377         * url.c (mymkdir): Check for each directory before creating.
7378
7379 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
7380
7381         * version.c: Changed version to 1.4b28.
7382
7383 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
7384
7385         * version.c: "Released" 1.4b27.
7386
7387         * init.c (parse_line): Use isspace.
7388         (parse_line): Free *com on all errors.
7389
7390         * ftp.c (ftp_loop): Change FTPOK to RETROK before exiting.
7391         (delelement): Use next instead of f->next and prev instead of
7392         f->prev.
7393         (delelement): Free the members of the deleted element.
7394
7395         * http.c (http_loop): Do not return RETROK on code != 20x.
7396
7397         * init.c (cleanup): Free opt.user_header.
7398         (cleanup): Free opt.domains.
7399
7400         * url.c (freelists): Moved to cleanup().
7401
7402         * http.c (hparsestatline): Docfix.
7403
7404         * main.c (main): Return with error status on unsuccesful
7405         retrieval.
7406
7407         * init.c (setval): Do not remove listing when mirroring.
7408
7409         * url.c (url_filename): Use opt.fileprefix.
7410
7411         * ftp.c (ftp_get_listing): Use url_filename to get filename for
7412         .listing.
7413
7414         * main.c (main): New option: -rn.
7415
7416 1996-10-15  Hrvoje Niksic  <hniksic@srce.hr>
7417
7418         * Makefile.in (RM): Added RM = rm -f.
7419
7420         * host.c (clean_hosts): New function.
7421         (free_hlist): Just free the list, no reset.
7422
7423         * version.c: Changed version to 1.4b27.
7424
7425 1996-10-13  Hrvoje Niksic  <hniksic@srce.hr>
7426
7427         * version.c: "Released" 1.4b26.
7428
7429         * retr.c (retrieve_from_file): If call get_urls_html with
7430         opt.spider to make it silent in spider mode.
7431
7432         * url.c (str_url): Use CLEANDUP instead of URL_CLEANSE.
7433
7434         * url.h (CLEANDUP): New macro.
7435
7436         * http.c (gethttp): Fixed a bug that freed location only when it
7437         was NULL.
7438
7439         * retr.c (retrieve_url): Free url if it will not be stored,
7440         i.e. newloc is NULL.
7441
7442         * html.c (htmlfindurl): Handle exiting from quotes correctly; the
7443         old version would bug out on <a href="x#a"href="y">.
7444
7445         * html.h (state_t): New member in_quote.
7446
7447         * html.c (htmlfindurl): Free s->attr at the beginning of
7448         attr-loop.
7449
7450         * recur.c (recursive_retrieve): Recognize RCLEANUP.
7451         (tried_robots): Make hosts a global variable.
7452         (recursive_retrieve): Free constr after URL host optimization.
7453         (tried_robots): Free urlinfo before exiting.
7454
7455         * utils.c (free_slist): New function.
7456
7457         * recur.c (recursive_retrieve): Use flags to add cleanup
7458         possibility.
7459
7460         * main.c (main): Free filename after recursive_retrieve.
7461
7462         * http.c (gethttp): Store successful responses too.
7463
7464 1996-10-12  Hrvoje Niksic  <hniksic@srce.hr>
7465
7466         * all: Constified the whole source.  This required some minor
7467         changes in many functions in url.c, possibly introducing bugs -- I
7468         hope not.
7469
7470         * ftp-basic.c: Removed last_respline.
7471
7472         * http.c (gethttp): Free type.
7473
7474         * host.c (same_host): Free real1 and real2.
7475
7476         * main.c (main): New option --spider.
7477
7478         * retr.c (get_contents): Don't reset errno.
7479
7480         * main.c (main): Sorted the options.
7481
7482         * connect.c (iread): Set errno to ETIMEDOUT only if it was left
7483         uninitialized by select().
7484
7485         * http.c (http_loop): Print the time when the connection is
7486         closed.
7487         (gethttp): Debug-print the HTTP request.
7488
7489 1996-10-11  Hrvoje Niksic  <hniksic@srce.hr>
7490
7491         * connect.c (iread): Do not try reading after timeout.
7492
7493         * main.c (main): Would bug out on -T.
7494
7495         * connect.c (select_fd): Do not use exceptfds.
7496         (iread): Set ETIMEDOUT on select_fd <= 0.
7497
7498         * version.c: Changed version to 1.4b26.
7499
7500 1996-10-10  Hrvoje Niksic  <hniksic@srce.hr>
7501
7502         * version.c: "Released" 1.4b25.
7503
7504         * ftp-unix.c (ftp_parse_unix_ls): Ignore lines without file name
7505         or link name.
7506
7507         * http.c (gethttp): Add errcode to struct hstat.
7508         (http_loop): Use it.
7509
7510         * url.c (no_proxy_match): Simplify using char** for no_proxy.
7511
7512         * options.h (struct options): Make opt.no_proxy a vector.
7513
7514         * utils.c (sepstring): Use !*s instead of !strlen(s).
7515
7516         * init.c (setval): Set opt.maxreclevel to 0 on --mirror.
7517         (getperms): Use ISODIGIT instead of isdigit.
7518
7519         * ftp.c (getftp): Print time.
7520
7521         * main.c (main): Use legible output of downloaded quantity.
7522
7523         * ftp.c (getftp): Use elapsed_time().
7524         (ftp_loop_internal): Use rate().
7525
7526         * http.c (http_loop): Add download ratio output; Use rate().
7527
7528         * utils.c (rate): New function.
7529
7530 1996-10-09  Hrvoje Niksic  <hniksic@srce.hr>
7531
7532         * http.c (http_loop): Use timer.
7533
7534         * ftp.c: Split to ftp-basic.c and ftp.c
7535
7536         * utils.c (reset_timer): New function.
7537         (elapsed_time): New function.
7538
7539         * retr.c (show_progress): Make bytes_in_line and offs long; should
7540         work on 16-bit machines.
7541
7542 1996-10-08  Hrvoje Niksic  <hniksic@srce.hr>
7543
7544         * url.c (in_acclist): New argument backward.
7545
7546         * ftp.c (ftp_retrieve_glob): Use acceptable() to determine whether
7547         a file should be retrieved according to suffix.
7548         (ftp_get_listing): Check the return value of unlink; Do not call
7549         ftp_retrieve_dirs if depth reached maxreclevel.
7550         (ftp_retrieve_dirs): Check whether the directory is in
7551         exclude-list.
7552
7553         * main.c (main): Print the version number at the beginning of
7554         DEBUG output.
7555         (main): Use strrchr when creating exec_name.
7556
7557         * ftp.c (ftp_retrieve_glob): Do not close control connection.
7558
7559         * version.c: Changed version to 1.4b25.
7560
7561 1996-10-07  Hrvoje Niksic  <hniksic@srce.hr>
7562
7563         * version.c: "Released" 1.4b24.
7564
7565         * Makefile.in: Rewrite.
7566
7567         * ftp.c (ftp_loop_internal): Likewise.
7568
7569         * retr.c (time_str): Check for failed time().
7570
7571         * html.c (htmlfindurl): Recognize <fig src> and <overlay src> from
7572         HTML3.0.
7573
7574         * retr.c (time_str): Return time_t *.
7575
7576         * connect.c (bindport): Close msock on unsuccesful bind.
7577         (bindport): The same for getsockname and listen.
7578
7579         * retr.c (retrieve_url): Allow any number of retries on
7580         proxy.
7581
7582         * http.c (gethttp): Do not treat errno == 0 as timeout.
7583         (http_loop): Likewise.
7584         (http_loop): Cosmetic changes.
7585
7586         * connect.c (iread): Set errno to ETIMEDOUT in case of timeout.
7587
7588         * retr.c (get_contents): Reset errno.
7589
7590         * ftp.c (getftp): Minor fixes.
7591
7592 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
7593
7594         * http.c: Do not use backups.
7595
7596         * geturl.1 (WARNING): Warn that man-page could be obsolete.
7597
7598         * getopt.c (getopt_long): Moved to getopt.c
7599
7600         * geturl.texi: Enhanced.
7601
7602         * main.c (main): Use it.
7603
7604         * recur.c (convert_all_links): New function.
7605
7606         * utils.c (add_slist): New argument flags.
7607
7608         * recur.c (recursive_retrieve): Update a list of downloaded URLs.
7609         (parse_robots): Do not chuck out empty value fields.
7610         (parse_robots): Make yourself welcome on empty Disallow.
7611
7612         * version.c: Changed version to 1.4b24.
7613
7614 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
7615
7616         * version.c: "Released" 1.4b23.
7617
7618         * ftp.c (ftp_loop_internal): Get the time after getftp.
7619
7620         * Makefile.in (install.info): New target.
7621         (install): Use it.
7622
7623         * http.c (http_loop): Fix output when doing -O.
7624
7625 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
7626
7627         * geturl.texi: New file.
7628
7629         * main.c (main): Do not print the warnings and download summary if
7630         opt.quiet is set.
7631
7632         * version.c: Changed version to 1.4b23.
7633
7634 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
7635
7636         * "Released" 1.4b22.
7637
7638         * atotm.c (atotm): Use True and False instead of TRUE and FALSE,
7639         to avoid redefinition warnings.
7640
7641         * host.c (store_hostaddress): Use memcpy() to copy the address
7642         returned by inet_addr.
7643
7644         * version.c: Changed version to 1.4b22.
7645
7646 1996-10-04  Hrvoje Niksic  <hniksic@srce.hr>
7647
7648         * version.c: "Released" 1.4b21.
7649
7650         * ftp-unix.c (ftp_parse_ls): Renamed to ftp_parse_unix_ls.
7651
7652         * ftp.c (ftp_port): Use conaddr.
7653         (getftp): Print the file length.
7654         (ftp_retrieve_list): Check the stamps of plain files only.
7655
7656         * connect.c (closeport): Do not call shutdown().
7657         (conaddr): New function.
7658
7659         * html.c (ftp_index): Made it dfp-aware.
7660
7661         * init.c (cleanup): New name of freemem. Close opt.dfp.
7662
7663         * ftp.c (getftp): Use opt.dfp if it is set.
7664
7665         * ftp-unix.c (ftp_parse_ls): Recognize time in h:mm format.
7666
7667         * ftp.c (ftp_retrieve_dirs): Fixed a bug that caused incorrect
7668         CWDs to be sent with recursive FTP retrievals.
7669
7670 1996-10-03  Hrvoje Niksic  <hniksic@srce.hr>
7671
7672         * recur.c (parse_robots): Made it more compliant with "official"
7673         specifications.
7674
7675         * http.c: New function.
7676
7677         * ftp-unix.c (ftp_parse_ls): Added better debug output.
7678
7679         * ftp.c (getftp): Print out the LIST in case of
7680         opt.print_server_response.
7681
7682         * version.c: Changed version to 1.4b21.
7683
7684 1996-10-01  Hrvoje Niksic  <hniksic@srce.hr>
7685
7686         * version.c: "Released" 1.4b20.
7687
7688         * README: Update.
7689
7690         * http.c (gethttp): Preset lengths of various headers instead of
7691         calculating them dynamically.
7692         (gethttp): Check for 206 partial contents.
7693
7694 1996-09-30  Hrvoje Niksic  <hniksic@srce.hr>
7695
7696         * configure.in: Set SYSTEM_GETURLRC to $libdir/geturlrc
7697
7698         * http.c (gethttp): Send the port number in the Host: header.
7699
7700 1996-09-29  Hrvoje Niksic  <hniksic@srce.hr>
7701
7702         * http.c (gethttp): Send host: header.
7703         (gethttp): Add the possibility of user-defined headers.
7704         (gethttp): Move decision about pragma: no-cache to http_loop,
7705         where it belongs.
7706         (gethttp): Pass a struct instead of enormous argument list.
7707         (http_loop): Use a new, fancier display format.
7708         (ftp_loop): Likewise.
7709
7710         * main.c: (hangup): Turn off buffering of the new log file.
7711
7712         * install-sh: Likewise.
7713
7714         * config.sub: Replace with the one in autoconf-2.10
7715
7716         * geturl.1: Update.
7717
7718         * init.c: New options httpuser and httppasswd.
7719
7720         * http.c: (base64_encode_line): New function.
7721         (gethttp): Send authentication.
7722
7723         * connect.c (make_connection): Use store_hostaddress.
7724
7725 1996-09-28  Hrvoje Niksic  <hniksic@srce.hr>
7726
7727         * host.c (store_hostaddress): New function.
7728
7729         * NEWS: Update.
7730
7731         * http.c (hgetrange): New function.
7732         (gethttp): Use ranges.
7733
7734         * utils.c (numdigit): Accept long instead of int.
7735
7736         * http.c (http_loop): Add restart capabilities.
7737
7738         * ftp.c (ftp_retrieve_glob): Fixed a bug that could cause matchres
7739         being used uninitialized.
7740         (ftp_retrieve_list): Similar fix.
7741
7742         * host.c (add_hlist): Fixed a bug that could cause cmp being used
7743         uninitialized.
7744
7745         * url.c (construct_relative): New function.
7746
7747         * recur.c (recursive_retrieve): Use it.
7748
7749         * retr.c (convert_links): New function.
7750
7751 1996-09-27  Hrvoje Niksic  <hniksic@srce.hr>
7752
7753         * url.c (free_urlpos): New function.
7754
7755         * recur.c (recursive_retrieve): Adapt.
7756
7757         * url.c (get_urls_html): Return a linked list instead of a vector.
7758
7759         * url.c (get_urls_file): Return a linked list instead of a vector.
7760
7761         * geturl.1: Update.
7762
7763         * http.c (gethttp): Implement it.
7764
7765         * init.c (setval): New option: SAVEHEADERS
7766
7767         * ftp.c (ftp_loop_internal): Do not set restval if listing is to
7768         be retrieved. Lack of this test caused bugs when the connection
7769         was lost during listing.
7770
7771         * retr.c (retrieve_url): Fixed a bug that caused
7772         coredumps. *newloc is now reset by default.
7773         (retrieve_url): Lift the twenty-tries limit on proxies.
7774
7775         * version.c: Changed version to 1.4b20.
7776
7777 1996-09-20  Hrvoje Niksic  <hniksic@srce.hr>
7778
7779         * version.c: "Released" 1.4b19.
7780
7781 1996-09-19  Hrvoje Niksic  <hniksic@srce.hr>
7782
7783         * ftp.c (ftp_loop_internal): Renamed from ftp_1fl_loop.
7784         (getftp): Changed prototype to accept ccon *.
7785
7786 1996-09-17  Hrvoje Niksic  <hniksic@srce.hr>
7787
7788         * ftp.c (ftp_retrieve_list): Fixed a bug that caused setting
7789         incorrect values to files pointed to by symbolic links.
7790         (ftp_1fl_loop): Do not count listings among the downloaded URL-s.
7791
7792 1996-09-16  Hrvoje Niksic  <hniksic@srce.hr>
7793
7794         * url.c (mkstruct): Do not prepend "./" in front of a pathname.
7795
7796         * main.c (main): New option: --user-agent.
7797
7798         * geturl.1: Ditto.
7799
7800         * init.h: Ditto.
7801
7802         * init.c (setval): Ditto.
7803
7804         * main.c (main): Rename "server-headers" to "server-response".
7805
7806         * ftp-unix.c (ftp_parse_ls): Check for asterisks at the end of
7807         executables in 'ls -F' listings.
7808
7809 1996-09-15  Hrvoje Niksic  <hniksic@srce.hr>
7810
7811         * url.c (parseurl): Remove realloc() and sprintf().
7812         (str_url): Get rid of sprintf().
7813
7814         * recur.c (recursive_retrieve): Enable FTP recursion through proxy
7815         servers.
7816
7817         * url.h (URL_CLEANSE): Made it else-resistant.
7818         (USE_PROXY): New macro.
7819
7820 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
7821
7822         * NEWS: Update.
7823
7824         * version.c: Changed version to 1.4b19.
7825
7826 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
7827
7828         * version.c: "Released" 1.4b18.
7829
7830         * url.c: Made it reallocate space exponentially.
7831
7832 1996-09-14  Drazen Kacar  <dave@fly.cc.fer.hr>
7833
7834         * html.c (htmlfindurl): Added <frame src> and <iframe src> among
7835         the list of stuff to fetch.
7836
7837 1996-09-13  Hrvoje Niksic  <hniksic@srce.hr>
7838
7839         * url.c (get_urls_html): Fixed a bug that caused SIGSEGV's with
7840         -Fi.
7841
7842         * html.c (htmlfindurl): Rewrite.
7843
7844         * http.c (gethttp): Use opt.proxy_cache.
7845
7846         * main.c (main): Added --cache option.
7847
7848         * ftp.c (ftp_response): Print server response if opt.print_server
7849         response is set.
7850         (getftp): Print newlines after each request if the server response
7851         is to be printed.
7852         (ftp_response): Copy the last response line to last_respline.
7853
7854         * http.c (gethttp): Add Pragma: nocache for retried
7855         proxy-retrievals.
7856
7857         * ftp.c (getftp): Use it.
7858
7859         * retr.c (buf_discard): New function.
7860
7861         * ftp.c (ftp_response): Use buf_readchar().
7862         (getftp): Flush the control connection buffer before calling
7863         get_contents().
7864
7865         * retr.c (buf_readchar): New function.
7866         (buf_flush): New function.
7867         (get_contents): Use buf_readchar() instead of read(x, x, 1).
7868         (get_contents): Use buf_flush.
7869
7870 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
7871
7872         * ftp.c: Incorporate changes to ftp_response.
7873
7874         * ftp.c (ftp_response): Allocate the server response dynamically,
7875         as in read_whole_line and fetch_next_header.
7876
7877         * utils.c (read_whole_line): Fixed a bug that prevented reading
7878         the last line if it is not \n-terminated. Also fixed a possible
7879         memory overflow.
7880
7881         * http.c (fetch_next_header): Return malloc-ed string as large as
7882         needed.
7883         (gethttp): Use new fetch_next_header.
7884
7885 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
7886
7887         * http.c (hgetlen): Compute the header length the first time only.
7888         (hgettype): Ditto.
7889         (hgetlocation): Ditto.
7890         (hgetmodified): Ditto.
7891
7892 1996-09-11  Hrvoje Niksic  <hniksic@srce.hr>
7893
7894         * sample.geturlrc: Update.
7895
7896 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
7897
7898         * http.c (http_loop): Ditto.
7899
7900         * ftp.c (getftp): Open the output file as binary.
7901
7902         * version.c: Changed version to 1.4b18.
7903
7904 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
7905
7906         * version.c: "Released" 1.4b17.
7907
7908         * ftp-unix.c (ftp_parse_ls): If unable to open file, return NULL
7909         instead of failed assertion.
7910
7911 1996-09-09  Hrvoje Niksic  <hniksic@srce.hr>
7912
7913         * ftp.c (ftp_get_listing): Add a numbered suffix to LIST_FILENAME
7914         if a file of that name already exists.
7915
7916 1996-09-05  Hrvoje Niksic  <hniksic@srce.hr>
7917
7918         * ftp.c (ftp_1fl_loop): Handler FTPPORTERR and FOPENERR correctly.
7919
7920         * config.h.in: Define gethostbyname as Rgethostbyname when using
7921         Socks.
7922
7923         * configure.in: Check for -lresolv if using Socks.
7924
7925         * version.c: Changed version to 1.4b17.
7926
7927 1996-07-15  Hrvoje Niksic  <hniksic@srce.hr>
7928
7929         * version.c: "Released" 1.4b16.
7930
7931         * http.c (gethttp): More intelligent check for first line of HTTP
7932         response.
7933         (gethttp): Would bug out on time-stamping.
7934
7935         * version.c: Changed version to 1.4b16.
7936
7937 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
7938
7939         * version.c: Released 1.4b15.
7940
7941         * http.c (http_loop): Print \n after the loop entry, not before.
7942
7943         * url.c (url_filename): Use ISDOT.
7944
7945         * url.h (ISDOT): New macro.
7946
7947         * recur.c (recursive_retrieve): Change only opt.recursive for
7948         following FTP.
7949
7950 1996-07-11  Antonio Rosella <antonio.rosella@agip.it>
7951
7952         * socks/geturl.cgi: Fixed version No.
7953
7954         * socks/download-netscape.html: Ditto.
7955
7956         * socks/download.html: Changed socks.html to download.html.
7957
7958 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
7959
7960         * url.c (url_filename): Check for opt.dirstruct instead for
7961         opt.recursive && opt.dirstruct.
7962
7963         * init.c (defaults): Ditto.
7964         (defaults): Reset dirstruct by default.
7965         (setval): Set opt.dirstruct whenever setting recursive.
7966
7967         * init.h: Removed FORCEDIRHIER.
7968
7969         * INSTALL: Added -L to socks-description.
7970
7971         * version.c: Changed version to 1.4b15.
7972
7973 1996-07-10  Hrvoje Niksic  <hniksic@srce.hr>
7974
7975         * version.c: "Released" 1.4b14.
7976
7977         * geturl.1: Update AUTHOR to include Rosella as contributor.
7978
7979         * NEWS: Update.
7980
7981         * socks/geturl.cgi: Simplified command creation, nuked <blink>.
7982
7983         * socks/geturl.cgi: Wrap nutscape extensions within if $netscape.
7984         (cal_time): Fix == to eq.
7985
7986         * socks/geturl.cgi: GPL-ized with permission of A. Rosella.
7987
7988         * geturl.1 (hostname): Moved URL CONVENTIONS to the beginning.
7989
7990         * Makefile.in: Use @VERSION@.
7991
7992         * configure.in: Check version from version.c.
7993
7994         * socks/geturl.cgi: Changed /pub/bin/perl to /usr/bin/perl.
7995
7996         * socks/download.html: Created from download-netscape.html, made
7997         HTML-2.0 compliant.
7998
7999         * recur.c (recursive_retrieve): Set opt.force_dir_hier when
8000         following FTP links from recursions.
8001
8002 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
8003
8004         * url.c (mymkdir): Fixed a bug that prevented mymkdir() to create
8005         absolute directories correctly.
8006
8007         * version.c: Changed version to 1.4b14.
8008
8009 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
8010
8011         * version.c: "Released" 1.4b13.
8012
8013         * url.c (make_backup): New function.
8014
8015         * http.c (http_loop): Make a backup copy of the local file (using
8016         rename(2)) before opening it.
8017
8018         * main.c (main): Added --backups.
8019
8020         * host.c (ftp_getaddress): Bail out on failed mycuserid().
8021         (ftp_getaddress): Check for leading dot on MY_DOMAIN.
8022         (ftp_getaddress): Check for empty, null or (null) domain.
8023
8024         * url.c (get_urls_html): If this_url is NULL, the base must have a
8025         protocol.
8026         (parseurl): Use has_proto.
8027
8028         * retr.c (retrieve_url): Warn when proxy is used with more than 20
8029         retries.
8030
8031         * url.c (mkstruct): Create the directory (calling mymkdir()) only
8032         if it is not already there.
8033         (has_proto): New function.
8034         (get_urls_html): Eliminate the remaining call to findurl -- use
8035         has_proto.
8036
8037         * geturl.1: Ditto.
8038
8039         * main.c: Change -X to -x.
8040
8041         * url.c (url_filename): Simplify creation of filename if
8042         prefix_files is set.
8043         (url_filename): Simplify everything. And I do mean *everything*.
8044         (mkstruct): Add dir_prefix before hostname.
8045         (path_simplify): Fixed a bug that caused writing outside the path
8046         string in case of "." and ".." path strings.
8047
8048 1996-07-06  Hrvoje Niksic  <hniksic@srce.hr>
8049
8050         * init.c: Added --mirror.
8051
8052         * main.c (main): Added -X to force saving of directory hierarchy.
8053
8054         * ftp.c (ftp_retrieve_list): Added recursion depth counter.
8055         (ftp_retrieve_list): Check whether quota is exceeded.
8056
8057         * url.c (get_urls_html): Skip leading blanks for absolute URIs.
8058
8059         * http.c (gethttp): Use referer if present.
8060
8061         * recur.c (recursive_retrieve): Set u->referer before calling
8062         retrieve_url.
8063
8064         * url.c (newurl): Use memset to nullify the struct members.
8065         (freeurl): Free the referer field too.
8066
8067         * url.h: Added referer to urlinfo.
8068
8069         * geturl.1: Updated the manual to document some of the new features.
8070
8071         * utils.c (numdigit): Moved from url.c.
8072
8073         * README: Rewritten.
8074
8075         * config.h.in: Add the support for socks.
8076
8077         * configure.in: Add the support for socks.
8078
8079         * url.c (url_filename): If the dir_prefix is ".", work with just
8080         the file name.
8081         (url_filename): Do not look for .n extensions if timestamping if
8082         turned on.
8083
8084         * retr.c (show_progress): Skip the over-abundant restval data, and
8085         print the rest of it with ',' instead of '.'.
8086
8087 1996-07-05  Hrvoje Niksic  <hniksic@srce.hr>
8088
8089         * retr.c (show_progress): Changed second arg. to long (as it
8090         should be).
8091         (show_progress): Moved to retr.c.
8092         (get_contents): Moved to retr.c.
8093
8094         * version.c: Change version to 1.4b13.
8095
8096 1996-07-05  Hrvoje Lacko <hlacko@fly.cc.fer.hr>
8097
8098         * url.c (in_acclist): Would return after the first suffix.
8099
8100 1996-07-04  Hrvoje Niksic  <hniksic@srce.hr>
8101
8102         * version.c: "Released" 1.4b12.
8103
8104         * url.c (path_simplify): More kludgifications.
8105         (get_urls_html): Use new parameters for htmlfindurl.
8106
8107         * html.c: Removed memorizing "parser states", since the new
8108         organization does not require them.
8109
8110         * init.c (run_geturlrc): Use read_whole_line.
8111
8112         * ftp-unix.c (ftp_parse_ls): Use read_whole_line.
8113
8114         * recur.c (parse_robots): Use read_whole_line.
8115
8116         * utils.c (read_whole_line): New function.
8117
8118         * recur.c (tried_robots): Use add_slist/in_slist, *much* cleaner.
8119
8120         * host.c (ngethostbyname): Call inet_addr just once. Yet to be
8121         tested on OSF and Ultrix.
8122         (add_hlist): New function.
8123         (free_hlist): New function.
8124         (search_host): New function.
8125         (search_address): New function.
8126         (realhost): Use search_host, search_address and add_hlist.
8127         (same_host): Replaced realloc() with strdupdelim(), made
8128         case-insensitive, fixed a memory leak.
8129
8130         * html.c (ftp_index): Fixed tm_min and tm_sec to be tm_hour and
8131         tm_min, like intended.
8132
8133         * version.c: Change user agent information to
8134         Geturl/version.
8135
8136 1996-07-03  Hrvoje Niksic  <hniksic@srce.hr>
8137
8138         * utils.c: Renamed nmalloc.c to utils.c, .h likewise.
8139
8140         * url.c (acceptable): Always accept directories.
8141
8142         * ftp-unix.c (ftp_parse_ls): Support brain-damaged "ls -F"-loving
8143         servers by stripping trailing @ from symlinks and trailing / from
8144         directories.
8145
8146         * ftp.c (ftp_loop): Debugged the "enhanced" heuristics. :-)
8147
8148         * url.c (skip_url): Use toupper instead of UCASE.
8149
8150         * host.c (sufmatch): Made it case-insensitive.
8151
8152         * url.c (match_backwards_or_pattern): Fixed i == -1 to j == -1.
8153         (match_backwards): New function, instead of
8154         match_backwards_or_pattern.
8155
8156         * recur.c (recursive_retrieve): Increased performance by
8157         introducing inl, which reduces number of calls to in_slist to only
8158         one.
8159
8160         * ftp.c (ftp_loop): Enhanced the heuristics that decides which
8161         routine to use.
8162
8163         * main.c (printhelp): Removed the warranty stuff.
8164
8165 1996-07-02  Hrvoje Niksic  <hniksic@srce.hr>
8166
8167         * url.c (add_slist): Simplify.
8168         (match_backwards_or_pattern): New function.
8169         (in_acclist): Use match_backwards_or_pattern.
8170         (matches): Remove.
8171
8172 1996-06-30  Hrvoje Niksic  <hniksic@srce.hr>
8173
8174         * ftp.c (ftp_loop): Call ftp_index on empty file names, if not
8175         recursive.
8176
8177         * html.c (ftp_index): Fixed to work. Beautified the output.
8178
8179         * ftp.c (ftp_retrieve_glob): Another argument to control whether
8180         globbing is to be used.
8181         (ftp_retrieve_list): Compare the time-stamps of local and remote
8182         files to determine whether to download.
8183
8184 1996-06-29  Hrvoje Niksic  <hniksic@srce.hr>
8185
8186         * ftp.c (rel_constr): New function.
8187
8188         * retr.c (retrieve_from_file): Check for text/html before
8189         retrieving recursively.
8190
8191         * main.c (main): Check whether the file is HTML before going into
8192         recursive HTML retrieving.
8193
8194         * ftp.c (ftp_retrieve_list): Manage directories.
8195         (ftp_retrieve_glob): Pass all the file-types to ftp_retrieve_list.
8196         (ftp_1fl_loop): Fixed a bug that caused con->com to be incorrectly
8197         initialized, causing bugchecks in getftp to fail.
8198
8199         * configure.in: Check for symlink.
8200
8201         * ftp.c (ftp_retrieve_list): Added support for symlinks.
8202
8203         * version.c: "Released" 1.4b10.
8204
8205         * atotm.c (atotm): Redeclared as time_t.
8206
8207         * init.c: New variable "timestamping".
8208
8209         * main.c (main): New option 'N'.
8210
8211         * http.c (hgetlocation): Case-insensitive match.
8212         (hgetmodified): New function.
8213         (http_loop): Implement time-stamping.
8214
8215 1996-06-28  Hrvoje Niksic  <hniksic@srce.hr>
8216
8217         * version.c: Changed version to 1.4b10
8218
8219         * atotm.c: New file, from phttpd.
8220
8221         * options.h (struct options): New parameter timestamping.
8222
8223         * version.c: 1.4b9 "released".
8224
8225         * recur.c (recursive_retrieve): Used linked list (ulist) for
8226         faster storing of URLs.
8227
8228         * url.c (get_urls_html): Removed the old kludge with comparing the
8229         outputs of htmlfindurl and findurl.
8230         (get_urls_html): Added better protocol support here.
8231         (create_hash): Removed, as well as add_hash and in_hash.
8232         (addslist): New function.
8233         (in_slist): ditto
8234
8235         * version.c: Released 1.4b8, changed version to b9.
8236
8237 1996-06-27  Hrvoje Niksic  <hniksic@srce.hr>
8238
8239         * ftp.c (freefileinfo): New function.
8240         (delelement): New function.
8241
8242         * everywhere: GPL!
8243
8244         * ftp.c (ftp_loop): Use ccon.
8245         (ftp_retrieve_glob): Likewise.
8246
8247         * ftp.h: Define ccon, to define status of control connection.
8248
8249         * ftp.c (ftp_get_listing): New function.
8250         (ftp_retrieve_more): New function.
8251         (ftp_retrieve_glob): New function.
8252
8253 1996-06-25  Hrvoje Niksic  <hniksic@srce.hr>
8254
8255         * configure.in: Removed the search for cuserid().
8256
8257         * init.c (getmode): Renamed to getperms.
8258
8259 1996-06-24  Hrvoje Niksic  <hniksic@srce.hr>
8260
8261         * version.c: New version.
8262
8263         * main.c (hangup): New function, that handles hangup. Hangup
8264         signal now causes geturl to stop writing on stdout, and to write
8265         to a log file.
8266
8267         * ftp.c (getftp): "Released" 1.4b7.
8268
8269         * html.c (htmlfindurl): Ignore everything inside <head>...</head>.
8270         (ftp_index): Use fileinfo/urlinfo.
8271
8272         * ftp-unix.c (ftp_parse_ls): New function.
8273         (symperms): New function.
8274
8275         * ftp.c (ftp_1fl_loop): New function, to handle 1-file loops.
8276
8277         * retr.c (retrieve_url): Added FTP support.
8278
8279 1996-06-23  Hrvoje Niksic  <hniksic@srce.hr>
8280
8281         * geturl.h: Removed NOTFTP2HTML enum.
8282         Added DO_LOGIN, DO_CWD and DO_LIST. LIST_ONLY is obsolete.
8283
8284         * ftp.c (getftp): Resynched with urlinfo.
8285         (getftp): Removed HMTL-ization of index.html from getftp.
8286
8287         * version.c: 1.4b6 "released".
8288
8289         * options.h (options): New struct, to keep options in.
8290
8291         * http.c (http_loop,gethttp): Synched with proxy.
8292
8293         * retr.c (retrieve_url): Implemented proxy retrieval.
8294
8295         * main.c (main): Use retrieve_from_file.
8296
8297 1996-06-22  Hrvoje Niksic  <hniksic@srce.hr>
8298
8299         * retr.c (retrieve_from_file): New function.
8300
8301         * url.c (parseurl): Modified to return URLOK if all OK. Protocol
8302         can be found in u->proto.
8303
8304         * ftp.c (ftp_response): Fixed to accept multi-line responses as
8305         per RFC 959.
8306
8307         * recr.c (recursive_retrieve): Take newloc from retrieve_url.
8308
8309         * url.c (mymkdir): Removed the file of the same name, if one
8310         exists.
8311         (isfile): New function.
8312         (mkstruct): Fixed the '/' glitches.
8313         (path_simplify): Hacked to treat something/.. correctly.
8314
8315 1996-06-21  Hrvoje Niksic  <hniksic@srce.hr>
8316
8317         * http.c (gethttp): Close the socket after error in headers.
8318         (http_loop): HEOF no longer a fatal header.
8319
8320         * loop.c (retrieve_url): When dt is NULL, do not modify it. This
8321         simplifies the syntax of calling retrieve_url.
8322
8323         * recr.c (recursive_retrieve): Modified to use get_urls_html.
8324
8325         * url.c (get_urls_file): New function.
8326         (get_urls_html): New function.
8327
8328         * recr.c (recursive_retrieve): Patched up to conform to the
8329         standards.
8330
8331         * http.c (gethttp): Synched with the rest...
8332         (gethttp): Treat only CONREFUSED specially, with connection
8333         errors.
8334
8335         * init.c,geturl.1,http.c (http_loop): Removed kill_error.
8336
8337 1996-06-20  Hrvoje Niksic  <hniksic@srce.hr>
8338
8339         * http.c (http_loop): New function.
8340
8341         * loop.c: Removed *lots* of stuff from retrieve_url.
8342
8343         * url.c (parseurl): Changed to work with urlinfo. Integrated
8344         username finding and path parsing.
8345         (newurl): New function.
8346         (freeurl): New function.
8347         (mkstruct): Removed the old bogosities, made it urlinfo-compliant.
8348         (url_filename): Likewise.
8349         (path_simplify): Accept relative paths too.
8350         (opt_url): Made urlinfo-compliant, removed bogosities.
8351         (path_simplify): Expanded to accept relative paths.
8352         (str_url): A replacement for hide_url
8353         (decode_string): Fixed a bug that caused malfunctioning when
8354         encountering an illegal %.. combination.
8355         (opt_url): Removed the argument. Dot-optimizations are now default.
8356
8357         * nmalloc.c (strdupdelim): New function.
8358
8359         * url.h: Added the urlinfo structure
8360
8361 1996-06-19  Hrvoje Niksic  <hniksic@srce.hr>
8362
8363         * url.c (hide_url): Thrown out the protocol assertion. Do not
8364         change the URL if the protocol if not recognized.
8365         (findurl): Put continue instead of break.
8366
8367 1996-06-18  Hrvoje Niksic  <hniksic@srce.hr>
8368
8369         * sample.geturlrc: Changed the defaults to be commented out and
8370         harmless (previous defaults caused pains if copied to
8371         ~/.geturlrc).
8372
8373         * http.c (gethttp): Print the HTTP request in debug mode.
8374
8375         * connect.c (iread): Added EINTR check loop to select-ing
8376         too. EINTR is now correctly handled with select().
8377
8378         * TODO: new file
8379
8380 1996-05-07  Hrvoje Niksic  <hniksic@srce.hr>
8381
8382         * host.c (same_host): Made the function a little bit more
8383         intelligent regarding diversified URL syntaxes.
8384
8385         * url.c (skip_url): Spaces are now skipped after URL:
8386
8387         * Released 1.3.1 with the patch to prevent crashing when sending
8388         NULL to robot* functions and the patch to compile "out of the box"
8389         on AIX.
8390
8391         * recr.c (recursive_retrieve): Added checking whether this_url is
8392         NULL when calling the robot functions.
8393
8394         * ChangeLog: New file.