]> sjero.net Git - wget/blob - src/ChangeLog
[svn] Fix minor problems with --help text.
[wget] / src / ChangeLog
1 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
2
3         * main.c (print_help): Fix typo in `-O' help message.  Fix docs of
4         -Y/--proxy.  Fix docs of `--cookies' and `--glob'.  Improve docs
5         of --convert-links.  Fix docs of SSL options.
6
7 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
8
9         * ftp-basic.c: Don't include <arpa/inet.h> and others because
10         they're no longer needed.
11
12 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
13
14         * main.c (main): Don't allow setting of both opt.ipv4_only and
15         opt.ipv6_only.
16
17         * init.c (defaults): Mark opt.ipv4_only specially when set
18         automatically.
19
20 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
21
22         * host.c (lookup_host): Use AI_ADDRCONFIG only if the family is
23         unspecified.  This ensures that specifying `--no-inet4' on systems
24         where IPv6 resolves, but doesn't work behaves the same regardless
25         of the availability of AI_ADDRCONFIG.
26
27 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
28
29         * host.c: Don't refer to the now-removed function
30         forget_host_lookup in the documentation of lookup_host.
31
32 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
33
34         * http.c (persistent_available_p): Correctly specify the endpoint
35         argument to socket_ip_address.
36         (gethttp): When printing the "reusing connection to..." message,
37         specify the host name of the reused connection, not the current
38         host name.  That makes more sense because it provides a useful
39         piece of information -- we know to which host we're supposed to
40         connect anyway!
41
42 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
43
44         * init.c: Make sure the options are in alphabetic order!
45
46         * host.c (lookup_host): Merge lookup_host_passive and lookup_host
47         after all -- having both would result in some code duplication.
48         (lookup_host): Set hints.ai_family to AF_INET if ipv4_only is
49         requested.  Likewise, set it to AF_INET6 for ipv6_only.  Specify
50         AI_ADDRCONFIG where available.
51         (lookup_host): New flag LH_REFRESH that specifies that a cached
52         entry for HOST should be refreshed.
53         (cache_query): New function.
54         (cache_store): Ditto.
55         (cache_remove): Ditto.
56         (forget_host_lookup): No longer necessary, replaced with static
57         function cache_remove.
58
59 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
60
61         * main.c: Enable -4 and -6 only if IPv6 is enabled.
62
63 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
64
65         * connect.c (register_transport): Renamed from register_extended.
66         Explain the intended usage.
67
68 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
69
70         * url.c (uri_merge): Merging "foo" and "bar" should result in
71         "bar", not in "foo/bar".
72         (path_simplify): Don't remove empty path elements; don't
73         special-case leading slash.
74         (path_simplify): Don't swallow ".."'s at the beginning of string.
75         E.g. simplify "foo/../../bar" as "../bar", not as "bar".
76         (append_uri_pathel): Defang ".." path element upon encountering
77         it.
78
79 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
80
81         * http.c (persistent_available_p): Don't attempt to talk to two
82         different SSL sites over the same secure connection.
83
84 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
85
86         * http.c (gethttp): Ditto.
87
88         * ftp.c (getftp): Use retryable_socket_connect_error instead of
89         CONNECT_ERROR.
90
91         * wget.h (CONNECT_ERROR): Removed.
92
93         * connect.c (retryable_socket_connect_error): New function instead
94         of unsupported_socket_family_error.
95
96 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
97
98         * wget.h (CONNECT_ERROR): Use it.
99
100         * connect.c (unsupported_socket_family_error): New function.
101
102 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
103
104         * connect.c (bind_local): Renamed bindport to bind_local; return
105         the socket directly.  Updated callers.
106         (accept_connection): Renamed acceptport to accept_connection;
107         return the created socket directly.  Updated callers.
108
109 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
110
111         * init.c (defaults): Turn on opt.ipv4_only if we're compiling with
112         IPv6, and AI_ADDRINFO is not available, and AF_INET6 sockets can't
113         be created.
114
115 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
116
117         * host.c (lookup_host): Document the fact that the addresses are
118         returned in order.
119
120 2003-11-12  Hrvoje Niksic  <hniksic@xemacs.org>
121
122         * utils.c: Use limits.h only where available.
123
124         * hash.c: Use INVALID_PTR and INVALID_PTR_BYTE.  Include limits.h.
125
126 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
127
128         * main.c: Added options --inet4-only and --inet6-only.
129
130 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
131
132         * host.c (host_errstr): Use the more standard message "Unknown
133         host".
134
135 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
136
137         * connect.c (connect_to_host): Use that flag to decide whether to
138         re-resolve the host name.
139
140         * host.c (struct address_list): Added a flag that maintains
141         whether the connection worked at some point.
142
143 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
144
145         * host.c (lookup_host): Special-case the numeric addresses only in
146         the non-IPv6 case.
147
148 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
149
150         * connect.c (resolve_bind_address): Call lookup_host_passive.
151         Make sure that opt.bind_address is resolved only once.
152
153         * host.c (lookup_host_passive): New function, handles "passive"
154         lookups.
155         (lookup_host): Remove the passive flags.  Remove the
156         family-related flags -- use ip_default_family instead.
157
158 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
159
160         * html-url.c: Get URLs from <object data="...">.
161
162 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
163
164         * main.c (option_data): Specify the command to use for --mirror.
165
166 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
167
168         * cookies.c (cookie_handle_set_cookie): Specify exact match for
169         unspecified domains.
170
171 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
172
173         * main.c (main): Removed one-letter options `-C', `-g', `-G', and
174         `-s'.
175
176 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
177
178         * main.c (main): Add --dont-remove-listing for backward
179         compatibility with previous versions.
180         (print_help): Fix typo, spotted by Dennis Smit.
181
182 2003-11-08  Gisle Vanem  <giva@bgnett.no>
183
184         * ftp-basic.c: Support Windows-2000 ftp servers. Win-2000 *is*
185         Win-NT 5.0 so calling it ST_WINNT is okay I guess.
186
187 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
188
189         * progress.c (update_speed_ring): Clear the speed ring when the
190         download stalls.
191
192         * retr.c (get_contents): Specify 0.95s read timeout, so that the
193         progress gauge can be updated even when data arrives very slowly
194         or stalls.
195
196 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
197
198         * utils.c (wtimer_allocate): Bless the use of wtimer_read on a
199         timer that has merely been allocated because get_contents() does
200         that.
201         (wtimer_update): Abort if the timer is not initialized.
202
203 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
204
205         * retr.c (get_contents): Pass the timer to limit_bandwidth().
206
207         * utils.c (wtimer_update): New function instead of wget_elapsed;
208         just update the timer, but don't return anything.
209         (wtimer_read): Read and return the last known value of the timer.
210
211 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
212
213         * http.c (persistent_available_p): Instead of matching all the
214         addresses of HOST and last host, determine the peer's IP address
215         with socket_ip_address and see if that address is one of those
216         HOST resolves to.
217
218         * host.c (address_list_match_all): Removed.
219         (address_list_find): New function, finds an IP address in the
220         address list.
221
222         * ftp.c (ftp_do_pasv): Get the peer's address here, and pass it to
223         ftp_epsv so it doesn't need to call getpeername.
224
225         * ftp-basic.c (ftp_port): Use socket_ip_address instead of
226         getpeername.
227         (ftp_lprt): Ditto.
228
229         * connect.c (socket_ip_address): Replaces conaddr, generalized to
230         either get peer's or local address.
231         (sockaddr_get_data): Made local to this file.
232
233 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
234
235         * hash.c (HASH_POSITION): Explicitly accept the hash function.
236         (grow_hash_table): Extract ht->hash_function outside the loop.
237         (hash_table_remove): Ditto.
238         (hash_table_clear): Fill entries with 0xff to clear them.
239         (hash_table_remove): Mark entries as deleted with the correct
240         marker.
241
242 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
243
244         * http.c (persistent_available_p): No reason for the host lookup
245         to be silent -- it's a lookup like any other.
246
247 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
248
249         * connect.c (register_extended): Check that fd >= 0.
250
251 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
252
253         * connect.c (LAZY_RETRIEVE_INFO): Set LAST_INFO.
254
255 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
256
257         * hash.c (NON_EMPTY): Use the all-bit-set value as the marker that
258         the field is empty.  This allows NULL pointer and 0 value to be
259         used as keys, which is necessary for the connect.c code to work
260         when fd==0.
261         (hash_table_new): Fill mappings with 0xff.
262         (grow_hash_table): Ditto.
263
264 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
265
266         * url.c (url_parse): Allow empty ports.
267
268 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
269
270         * main.c (print_help): Break the help string into multiple chunks.
271         (cmdline_option): New option handler OPT_FUNCALL.  Generalized
272         HANDLE_CMD to generic DATA.
273         (option_data): Use the new OPT_FUNCALL feature.
274
275 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
276
277         * log.h: Declare log_init, log_close, and
278         log_request_redirect_output here.
279
280 2003-11-05  Dennis Smit  <ds@nerds-incorporated.org>
281
282         * main.c: (main): added --preserve-permissions option.
283
284         * ftp.c (ftp_retrieve_list): added support for
285         --preserve-permissions option.
286
287         * init.c: added support for --preserve-permission option.
288
289         * option.h: added support for --preserve-permission option.
290
291 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
292
293         * main.c (init_switches): New function.  Convert option_data to
294         long_options and short_options, which can be fed to getopt_long.
295         (main): Execute command-line options by consulting option_data.
296
297 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
298
299         * gen_sslfunc.c (ssl_read): Implement a more correct check for
300         EINTR.
301         (ssl_write): Ditto.
302         (init_ssl): Use a global SSL context.
303
304 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
305
306         * connect.c (xclose): Free INFO even if it doesn't provide a
307         closer.
308
309 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
310
311         * connect.c: Updated all callers of
312         iread/ssl_iread/iwrite/ssl_iwrite to use xread and xwrite instead.
313
314         * rbuf.h (struct rbuf): Removed the SSL member because SSL is
315         handled automatically by xread.
316
317         * hash.c (ptrhash): Made private.
318         (ptrcmp): Ditto.
319         (inthash): Removed.
320
321         * connect.c (select_fd): Don't set errno, leave it to the caller.
322
323         * gen_sslfunc.c (connect_ssl): Use register_extended to register
324         SSL callbacks for communication with SSL-enabled endpoints.
325         (ssl_read): New function.
326         (ssl_write): Ditto.
327         (ssl_poll): Ditto.
328         (ssl_close): Ditto.
329
330         * connect.c (register_extended): New function -- register
331         callbacks for basic socket operations.
332         (xread): Ditto.
333         (xwrite): Ditto.
334         (xclose): Ditto.
335         (sock_read): New function, default implementation for reading.
336         (sock_write): Ditto for writing.
337         (sock_poll): Ditto for polling.
338         (sock_close): Ditto for closing.
339
340 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
341
342         * connect.c (bindport): Fix compilation under pre-C99 compilers.
343
344 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
345
346         * connect.c (connect_to_ip): More compact error checking.
347         (bindport): Don't treat failed setsockopt as a fatal error.
348
349 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
350
351         * connect.c (resolve_bind_address): Use a more accurate error
352         message -- we're not binding to ANY, we're disabling bind
353         altogether.
354
355 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
356
357         * cookies.c (save_cookies_mapper): Respect the setting of
358         keep-session-cookies.
359         (cookie_jar_load): Import session cookies.
360         Based on code submitted by Nicolas Schodet.
361
362         * utils.c (datetime_str): Use information in TM when it's
363         non-NULL.
364
365         * main.c (main): New option `--keep-session-cookies'.
366
367 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
368
369         * Makefile.in (realclean): Delete config.h.in.
370
371 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
372
373         * config-post.h: New file, included from now autogenerated
374         config.h.in.
375
376 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
377
378         * progress.c (progress_handle_sigwinch): Don't call
379         determine_screen_width() from the signal handler.  Instead, just
380         set a volatile variable.
381         (bar_create): Check whether SIGWINCH was received.
382         (bar_update): Ditto.
383
384         * sysdep.h: Define SYSTEM_FNMATCH only if HAVE_FNMATCH_H is true.
385
386 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
387
388         * utils.c (xsleep): New function.  Uses nanosleep where available,
389         resuming sleeps interrupted by signals.  Updated callers of sleep
390         and usleep to use xsleep.
391
392 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
393
394         * ftp-basic.c (ftp_login): Remove shadowing (and bogus)
395         declaration of SEED.
396
397 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
398
399         * log.c (logvprintf): Documented better.  Renamed to
400         log_vprintf_internal to avoid confusion with the public API
401         functions logprintf and logputs.
402
403 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
404
405         * wget.h (N_): Don't parenthesize argument.
406
407 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
408
409         * host.h (ADDRESS_IPV4_DATA): Don't take the address of in.s_addr
410         because that doesn't work on machines that define it as bitfield.
411
412 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
413
414         * connect.c (select_fd): Generalize the third argument into WAIT,
415         so that the caller can request waiting for both read and write.
416         Updated callers.
417
418 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
419
420         * html-url.c (cleanup_html_url): Destroy the hash tables, don't
421         just call free on them.
422         (init_interesting): Use hash_table_put instead of string_set_add
423         because we don't need the strdup that the latter function
424         performs.
425
426         * init.c (cleanup): Don't pass NULL to cookie_jar_delete.
427
428         * xmalloc.c (xfree_real): Abort when passed a NULL pointer.
429         (xfree_debug): Print at the file and line of the offending call to
430         free.
431
432 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
433
434         * wget.h: Retired the `boolean' type.  Moved the DEFAULT_LOGFILE
435         define to log.h.  Moved the INFINITE_RECURSION define to recur.h.
436
437         * xmalloc.h: Renamed FREE_MAYBE to xfree_null and moved the
438         definition from wget.h to xmalloc.h.
439
440 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
441
442         * html-parse.c (decode_entity): New function; split the decoding
443         of entities here.
444         (convert_and_copy): Use it to decode entities.
445         (decode_entity): Handle the &apos entity.
446         (decode_entity): Don't decode Latin 1 numeric entities.  Don't
447         decode &#0.
448
449 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
450
451         * ftp-opie.c (calculate_skey_response): Use uint32_t instead of
452         `unsigned long' for the cheksum array.  Document the function.
453
454 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
455
456         * connect.c (acceptport): Don't call select_fd when timeout is not
457         requested.
458
459 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
460
461         * host.c: Removed the ip_default_family global variable.
462
463         * host.c (lookup_host): Document the function.  Fixed declaration
464         of VEC.
465
466 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
467
468         * various: Use new macros xnew, xnew0, xnew_array, and xnew0_array
469         in various places.
470
471 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
472
473         * wget.h: Move declarations of malloc and logging code to
474         xmalloc.h and log.h respectively to unclutter this file.
475         (STRDUP_ALLOCA): Made it side-effect free.
476
477         * xmalloc.h: New files.  Define macros xnew, xnew0, xnew_array,
478         and xnew0_array.
479
480         * xmalloc.c: New file.  Move the xmalloc routines here.
481
482 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
483
484         * connect.c (sockaddr_set_data): Remove the broken code that
485         checked for NULL address.
486
487 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
488
489         * host.c (address_list_from_single): Removed.
490         (address_list_from_ipv4_addresses): Renamed from
491         address_list_from_vector.
492
493 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
494
495         * sysdep.h (CLOSE): Don't call close on file descriptors less than
496         0, i.e. on uncreated sockets.
497
498         * connect.c (resolve_bind_address): Work on struct sockaddr
499         directly.
500         (connect_to_host): Replacement for connect_to_many.  Resolve HOST
501         and connect to any of its addresses.  If we can't connect and the
502         host name lookup was cached, try to resolve it again.  This should
503         fix problems with hosts behind dynamic DNS.  Updated all callers.
504         (connect_to_ip): Replacement for connect_to_one.  Removed SILENT;
505         added the argument PRINT instead.  Updated all callers.
506         (set_connection_host_name): Removed.
507
508         * host.c (address_list_address_at): New function instead of
509         address_list_copy_one. It returns a pointer to ip_address *, so
510         it's not necessary to copy the data.
511         (address_list_cached_p): New function.
512         (forget_host_lookup): Ditto.
513
514         * connect.c: Got rid of the MSOCK global variable.  Made bindport
515         return the local socket it creates.  Added a new argument to
516         acceptport, the socket to call accept on.  Updated callers.
517         (closeport): Removed.
518
519         * connect.c: Moved the sockaddr code from host.c to this file,
520         because most of that stuff is used for connecting, and has nothing
521         to do with host names anyway.
522         (sockaddr_set_data, sockaddr_get_data): New functions, replace the
523         old sockaddr_set_address, sockaddr_set_port, sockaddr_get_address,
524         and sockaddr_get_port.
525
526 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
527
528         * sysdep.h: Use `S >= 8' rather than `S == 8' when looking for
529         large integers.
530
531 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
532
533         * url.c (append_uri_pathel): New argument ESCAPED_P that says
534         whether [B, E) is to be treated as URL-escaped or not.  If
535         ESCAPED_P is false, don't unescape the region.
536         (url_file_name): u->file is not URL-escaped.
537
538 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
539
540         * retr.c (retrieve_from_file): Use retrieve_tree for
541         page-requisites.
542
543         * main.c (main): Don't define opt.recursive when -p is used.
544         Instead, make sure that recursion is used for HTTP in that case.
545
546 2003-10-29  Hrvoje Niksic  <hniksic@xemacs.org>
547
548         * host.h: Defined accessors for elements of ip_address.  Updated
549         all callers.
550         (address_list_match_all): Use memcmp in the non-IPv6 case.
551
552         * wget.h (CONNECT_ERROR): Don't retry connecting if connect()
553         returned EAFNOSUPPORT.
554
555 2003-10-27  Mauro Tortonesi <mauro@deepspace6.net>
556
557         * connect.h: changed bindport prototype and added the related
558         BIND_ON_IPV4_ONLY and BIND_ON_IPV6_ONLY flags.
559
560         * connect.c: changed bindport and resolve_bind_address to allow
561         protocol-version specific DNS resolution. modified conaddr,
562         acceptport and connect_to_one to make use of struct
563         sockaddr_storage and of the new ip_address structure.
564
565         * ftp-basic.c: added LPRT/LPSV (RFC1639) support, refactored
566         PORT/PASV (RFC959) and EPRT/EPSV (RFC2428) support code.
567
568         * ftp.c: added the ftp_do_port and ftp_do_pasv functions to
569         handle FTP over IPv6.
570
571         * ftp.h: changed prototype of ftp_epsv and added prototypes for
572         ftp_lpsv, ftp_lprt and ftp_eprt.
573
574         * host.c: renamed the
575         wget_sockaddr_set_address and wget_sockaddr_get_addr, and
576         wget_sockaddr_{s,g}et_port couples to sockaddr_{s,g}et_address and
577         sockaddr_{g,s}et_port respectively.  changed
578         address_list_match_all, address_list_from_addrinfo sockaddr_len,
579         pretty_print_address, lookup_host, sockaddr_{s,g}et_address and
580         sockaddr_{g,s}et_port to make use of struct sockaddr_storage and
581         of the new ip_address structure.  removed map_ipv4_to_ip and
582         map_ip_to_ipv4.
583
584         * host.h: redefined structure ip_address and removed structure
585         wget_sockaddr.
586
587 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
588
589         * sysdep.h: Include inttypes.h where available.
590
591         * host.c: Switch from u_int32_t to uint32_t.
592
593 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
594
595         * netrc.c (parse_netrc): Reset the QUOTE flag after the closing
596         quote.
597
598 2003-10-25  Hrvoje Niksic  <hniksic@xemacs.org>
599
600         * url.c (is_valid_ipv6_address): Reformat to GNU coding style.
601         Use enums for NS_IN* constants.  Use ISXDIGIT.
602
603         * convert.c (construct_relative): Document better how the function
604         works.
605
606 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
607
608         * config.h.in: Deploy preprocessor magic to avoid Ultrix's
609         <netdb.h> include <bitypes.h> which defines its own u_int32_t.
610         Reported by Bernhard Simon.
611
612 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
613
614         * version.c: Bump version.
615
616 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
617
618         * url.c: Ditto.
619
620         * html-parse.c (advance_declaration): Don't use trailing comma in
621         enum because older compilers don't support it.
622
623         * utils.c: Don't redefine HAVE_SIGSETJMP.
624
625 2003-10-16  Hrvoje Niksic  <hniksic@xemacs.org>
626
627         * convert.c (construct_relative): Don't handle absolute files
628         specially -- for example, -P/tmp/foo shouldn't imply that
629         converted files must refer to "/tmp/foo/..."!
630
631 2003-10-15  Hrvoje Niksic  <hniksic@xemacs.org>
632
633         * http.c: Consider status 307 a valid redirect.
634
635 2003-10-15  Philip Stadermann  <philip.stadermann@credativ.de>
636
637         * ftp.c (ftp_retrieve_glob): Correctly loop through the list whose
638         elements might have been deleted.
639
640 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
641
642         * html-url.c (tag_handle_meta): Set the Refresh link to expect
643         HTML.
644         (append_one_url): Renamed to append_url.
645
646 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
647
648         * sysdep.h: Only define u_int32_t.
649
650 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
651
652         * utils.c (large_int_to_string): Use snprintf() to print the
653         number.  This will work even on systems where libc doesn't
654         understand %lld, but the compiler does, because it will use our
655         snprintf replacement.
656
657         * init.c (parse_bytes_helper): New function.
658         (cmd_bytes): Use it to parse bytes, but cast the result to long.
659         (cmd_bytes_large): Ditto, but store the result to LARGE_INT.  Used
660         for --quota so that --quota=10G works even on machines without
661         long long.
662
663         * options.h (struct options): Declare quota as LARGE_INT.
664
665         * retr.c (downloaded_exceeds_quota): Removed.
666         (downloaded_increase): Ditto.
667         (total_downloaded_bytes): New variable, replaces opt.downloaded,
668         which was the wrong place for it anyway.  Updated callers of
669         downloaded_exceeds_quota and downloaded_increase to check this
670         variable directly.
671
672         * sysdep.h: Get rid of VERY_LONG_TYPE.  Use LARGE_INT for the same
673         purpose, defined as `long', `long long' or `double', depending on
674         size of long and whether long long is available.
675
676 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
677
678         * sysdep.h: Also check size of short for int32_t.
679
680 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
681
682         * host.c (lookup_host): Use u_int32_t to store the result of
683         inet_addr().  That removes the need for offset fiddling, caring
684         about endian-ness, etc.
685
686         * sysdep.h: Define int32_t and u_int32_t if not available.
687
688 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
689
690         * ftp-basic.c (ftp_epsv): Use socklen_t * as the third argument to
691         getpeername.
692
693         * config.h.in: Define socklen_t stub.
694
695         * host.c (sockaddr_len): Return socklen_t.
696
697         * connect.c (conaddr): Use socklen_t as the third argument to
698         accept, getsockname, and connect.
699
700 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
701
702         * recur.c (retrieve_tree): Don't descend into documents that are
703         not expected to contain HTML, regardless of their content-type.
704
705         * html-url.c (tag_url_attributes): Record which attributes are
706         supposed to yield HTML links that can be followed.
707         (tag_find_urls): Propagate that information to the caller through
708         struct urlpos.
709
710 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
711
712         * hash.c (find_mapping): Return the next available mapping when
713         the key is not found, not NULL.
714         (hash_table_put): Use find_mapping to find the storage for the new
715         data.
716         (hash_table_put): Grow the table before exceeding maximum
717         fullness, not afterwards.
718
719 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
720
721         * hash.c (hash_table_new): Slightly change the meaning of the
722         first parameter.  Instead of being the minimum initial size, it is
723         now the minimum number of items that the hash table can take
724         without needing to resize.
725
726 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
727
728         * html-url.c (init_interesting): Initialize interesting_tags and
729         interesting_attributes as hash tables.  This simplifies the code
730         immensely because hash tables handle allocation and remove
731         duplicates automatically.
732         (find_tag): Removed.
733         (collect_tags_mapper): Instead of calling find_tag, simply get the
734         entry from interesting_tags hash table, which is both simpler and
735         faster.
736
737 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
738
739         * hash.c (hash_table_get): Declare hash-table argument as const.
740         (find_mapping): Ditto.
741         (hash_table_get_pair): Ditto.
742         (hash_table_contains): Ditto.
743         (hash_table_count): Ditto.
744
745 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
746
747         * html-url.c (get_urls_html): Parse the appropriate flags to
748         html-parse.c.
749
750         * html-parse.c (map_html_tags): Accept FLAGS from the caller
751         instead of examining OPT.
752
753 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
754
755         * html-url.c (find_tag): Switch to binary search.
756
757 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
758
759         * main.c (print_help): Fix typo; stured -> stored.
760
761 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
762
763         * getopt.c: Add definitions of getopt_long and getopt_long_only.
764
765 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
766
767         * config.h.in: Renamed DEBUG to ENABLE_DEBUG.  ENABLE_DEBUG is, I
768         think, a better name, because it implies that debugging output is
769         merely possible, not "on by default", as might be construed from
770         just DEBUG.
771
772 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
773
774         * ftp.c (has_insecure_name_p): Define it here.
775
776         * utils.c (has_wildcards_p): Define it here.
777
778         * sysdep.h: Declare fnmatch-related macros here, if not using
779         system fnmatch().  Update .c files to not declare fnmatch.h
780         directly.
781
782         * cmpt.c (fnmatch): Moved here.  Use it only under non-GNU libc.
783
784 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
785
786         * getopt.c: Newer version, imported from Free libit.
787
788 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
789
790         * cookies.c (struct cookie): Remove unused backpointer to cookie
791         jar.
792
793 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
794
795         * cmpt.c (memmove): Comment out, since it's no longer used.
796
797         * cookies.c (cookie_jar_generate_cookie_header): Allocate room for
798         chains in one pass.
799         (find_chains_of_host): Assume that the caller has allocated DEST
800         to be sufficiently large to take all the data.
801         (eliminate_dups): Run through the array and eliminate dups on the
802         fly instead of using memmove.
803         (cookie_jar_process_set_cookie): Free cookie->domain before
804         re-setting it.
805
806 2003-10-05  Gisle Vanem  <giva@bgnett.no>
807
808         * mswindows.c (set_sleep_mode): Fix type of
809         _SetThreadExecutionState.
810
811 2003-10-05  Hrvoje Niksic  <hniksic@xemacs.org>
812
813         * utils.c (file_size): Return -1 if fopen() returns NULL.  Prior
814         to this patch, wget --post-file=nosuchfile dumped core.
815
816 2003-10-04  Gisle Vanem  <giva@bgnett.no>
817
818         * mswindows.c (run_with_timeout): Use WaitForSingleObject to wait
819         for thread termination.
820
821 2003-10-04  Hrvoje Niksic  <hniksic@xemacs.org>
822
823         * log.c: Use `...' in function definitions; ansi2knr will convert
824         them to va_dcl.  This allowed removal of the ugly VA_START_1 and
825         VA_START_2 macros.
826
827 2003-10-03  Gisle Vanem  <giva@bgnett.no>
828
829         * connect.c: And don't include them here.
830
831         * mswindows.h: Include winsock headers here.
832
833 2003-10-03  Hrvoje Niksic  <hniksic@xemacs.org>
834
835         * html-parse.c (convert_and_copy): Move variable declarations
836         before statements.
837
838 2003-10-02  Gisle Vanem  <giva@bgnett.no>
839         
840         * mswindows.c (run_with_timeout): For Windows: Run the 'fun' in a
841         thread via a helper function. Continually query the thread's
842         exit-code until finished or timed out.
843
844 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
845
846         * wget.h (XMALLOC_ARRAY): Removed.
847         (ALLOCA_ARRAY): Ditto.
848
849         * html-parse.c: Renamed alloca_p to resized.
850         (GROW_ARRAY): Renamed DO_REALLOC_FROM_ALLOCA to GROW_ARRAY and
851         returned it to html-parse.c, since nothing else was using it.
852
853 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
854
855         * retr.c (retrieve_url): Initialize DUMMY storage for DT.  Caught
856         by valgrind.
857
858 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
859
860         * html-parse.c (convert_and_copy): Handle numeric entities in
861         hexadecimal, &#xHH.
862         (convert_and_copy): Copy the contents directly to the pool without
863         a stack-allocated intermediary.
864
865 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
866
867         * utils.c (alarm_set): New function; use either setitimer or alarm
868         to set up the alarm.
869         (alarm_cancel): New function; cancel the alarm set up by
870         alarm_set.
871         (run_with_timeout): Use them.
872
873 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
874
875         * url.c (url_parse): Don't leak memory when a reencoded URL turns
876         out to be invalid.
877
878         * url.c (parse_errors): Mark error messages for translation.
879         (url_error): Translate error messages returned to the caller.
880
881 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
882
883         * ftp.c (ftp_loop_internal): Initialize TMRATE to NULL to shut up
884         the compiler.
885
886 2003-09-26  Gisle Vanem  <giva@bgnett.no>
887
888         * src/mswindows.c: Added ws_percenttitle() showing progress in the
889         window titlebar. Called from retr.c. Secured ws_mypath().
890
891         * windows/config.h.ms: alloca() prototype not needed.  Removed
892         "#undef ENABLE_NLS"; should be in Makefile IMHO. Moved
893         WGET_USE_STDARG from mswindows.h to config.ms.h because of #ifdef
894         in log.c. (MSVC's vararg.h and stdarg.h are incompatible).
895
896 2003-09-29  Aaron Hawley <Aaron.Hawley@uvm.edu>
897
898         * ftp.c (getftp): --spider option should now work with FTP
899         downloads.
900         (ftp_loop_internal): quiet reports and calculations of downloads
901         when --spider option set, nor try deleting when --delete-after
902         also set.
903         (ftp_loop): --spider will skip HTML-ification of .listing file.
904
905 2003-09-26  Gisle Vanem  <giva@bgnett.no>
906
907         * mswindows.c (read_registry): Removed.
908         (set_sleep_mode): New function.
909         (windows_main_junk): Call it.
910
911 2003-09-26  Gisle Vanem  <giva@bgnett.no>
912
913         * mswindows.c (read_registry): Fix invocation of registry
914         functions.
915
916         * mswindows.c (read_registry): Condition definitions of sleep and
917         usleep with not HAVE_SLEEP and HAVE_USLEEP respectively.  Define
918         HAVE_SLEEP and HAVE_USLEEP under __DMC__.
919
920 2003-09-24  Hrvoje Niksic  <hniksic@xemacs.org>
921
922         * url.c (url_escape_1): Revert unintentional change to lowercase
923         xdigit escapes.
924         (url_escape_dir): Document that this function depends on the
925         output of url_escape_1.
926
927 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
928
929         * progress.c (create_image): Print the current ETA if we're done
930         with the download.
931         (create_image): Change '-' display char to '+' in the progress bar.
932
933         * Makefile.in (clean): Remove .libs.
934
935 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
936
937         * cookies.c (struct cookie): New flag domain_exact.
938         (update_cookie_field): Skip leading dot in domain.
939         (find_matching_chains): Match numeric addresses exactly; don't
940         needlessly copy HOST to the stack.
941         (matching_cookie): Added argument HOST.  If cookie->domain_exact
942         is set, check that HOST is equal to cookie->domain.
943         (cookie_jar_load): Only use TAB as delimiter.  Document the
944         meaning of DOMAIN-FLAG.  Skip leading dot in domain.
945         (cookie_jar_load): Don't ignore DOMAIN-FLAG -- instead, set
946         domain_exact to true if DOMAIN-FLAG is false.
947         (save_cookies_mapper): If domain_exact is false, prepend the
948         domain with dot, like Mozilla does.
949
950 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
951
952         * progress.c (create_image): Print the initial part of the
953         download with '-' characters, analogous to how dot progress prints
954         the initial part with ','.
955
956         * hash.c (ptrhash): New function.
957         (ptrcmp): Ditto.
958         (hash_table_new): Default to identity hash table.
959
960 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
961
962         * safe-ctype.h (_sch_test): The cast of BIT to unsigned char was
963         broken -- _sch_istable bitmasks are 16-bit, not 8-bit!  Cast BIT
964         to unsigned short instead.
965
966 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
967
968         * url.c (path_simplify): Instead of calls to memmove, handle "./"
969         and "../" by advancing pointers.
970
971 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
972
973         * retr.c (getproxy): Moved from url.c.
974
975         * convert.c: Split off link conversion from url.c into separate
976         file.  Also included the book-keeping stuff from recur.c.
977
978 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
979
980         * init.c: Improved documentation of functions.
981         (cmd_boolean): Attempt to make code that tries to avoid calling
982         strcmp for "speed" a bit more readable.
983
984         * init.c (simple_atof): Report error on encountering non-digit,
985         non-"." character.
986         (simple_atoi): Replacement for myatoi(), calling interface
987         compatible with simple_atof.  Updated myatoi's callers.
988
989 2003-09-21  Bertrand Demiddelaer  <bert@b3rt.org>
990
991         * url.c (path_simplify): Would read two bytes past the end of the
992         string in the "./" case.
993
994 2003-09-21  Matthew J. Mellon  <mellon@tymenet.com>
995
996         * http.c (gethttp): Recognize content-type "application/xhtml+xml"
997         as what Wget considers "text/html".
998
999 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
1000
1001         * connect.c (connect_with_timeout): Made timeout type double.
1002
1003         * options.h (struct options): New members read_timeout,
1004         dns_timeout, and connect_timeout.
1005         Use them.
1006
1007 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
1008
1009         * init.c (simple_atof): New function.
1010         (cmd_time): Use it.
1011         (cmd_bytes): Accept things like "1.5k" and such.  Use simple_atof
1012         to parse decimals.
1013
1014         * retr.c (limit_bandwidth): Adjust each sleep by the error of the
1015         previous one.
1016
1017 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
1018
1019         * main.c (main): Use setoptval() for setting the options.  Use
1020         run_command for `-e'.
1021
1022         * init.c (parse_line): Rewritten to return COMIND right away.
1023         Changed linkage to static.
1024         (run_wgetrc): Use the available comind when calling setval, so it
1025         doesn't have to be computed twice.
1026         (setval_internal): New function, runs the command's action without
1027         any error checking.
1028         (setoptval): New function, does what setval used to do, but exits
1029         in case of error.
1030         (run_command): New function.
1031
1032 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
1033
1034         * connect.c (select_fd): Change MAXTIME's type to double.  Handle
1035         its decimal part.
1036
1037         * retr.c (sleep_between_retrievals): In the random-wait case, use
1038         random_float() to wait between 0 and 2*opt.wait seconds.
1039
1040         * utils.c (run_with_timeout): Accept `double' timeouts.  Correctly
1041         handle timeout values in (0, 1) range.
1042         (random_float): New function.
1043
1044         * options.h (struct options): Change the types of wait, waitretry,
1045         and timeout to double.
1046
1047         * init.c (cmd_time): Accept floating point time.
1048
1049 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
1050
1051         * retr.c (get_contents): Cosmetic fixes.
1052
1053 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
1054
1055         * url.c (uri_merge): Get rid of uri_merge_1.
1056         (uri_merge): Merge "foo//", "bar" as "foo//bar", not "foo///bar",
1057         i.e. don't add an extra slash merely because BASE ends with two
1058         slashes.
1059         (parse_credentials): Renamed from parse_uname.  Rewrittern in
1060         standard [beg, end) calling style.
1061         (url_skip_credentials): Renamed from url_skip_uname.  Made static.
1062         (url_skip_credentials): Include # and ; as terminators.  Old code
1063         would mistakenly consider "http://foo.com#hniksic@iskon.hr" to
1064         contain a username.
1065         (url_skip_scheme): Removed because it was unused.
1066         (url_has_scheme): Require "scheme" to be at least one char long.
1067
1068 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
1069
1070         * url.c (url_file_name): Expect NULL dir_prefix.
1071
1072         * init.c (cmd_file): Use a macro to prevent multiple #ifdef
1073         WINDOWS.
1074         (defaults): Set dir_prefix to NULL by default.
1075
1076 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
1077
1078         * safe-ctype.h (_sch_test): Cast BIT to unsigned char, like latest
1079         gcc does.
1080
1081 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
1082
1083         * wget.h (BOUNDED_TO_ALLOCA): Evaluate PLACE only once.
1084         (ARRAY_SIZE): Renamed to countof.  All callers updated.
1085
1086 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
1087
1088         * main.c (main): New option --strict-comments.
1089
1090         * html-parse.c (find_comment_end): New function: simple BM search
1091         for "-->".
1092         (map_html_tags): Use it if looking at a comment and not in strict
1093         comments mode.
1094
1095 2003-09-17  Aurelien Marchand  <artaxerxes@users.sf.net>
1096
1097         * ftp.h: Added OS400 system in enum
1098         * ftp-basic.c: recognize OS400 systems
1099         * ftp.c: don't prepend the CWD if talking to OS400, since it
1100         breaks the change in library
1101
1102 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
1103
1104         * retr.c (get_contents): Pass the correct argument to ssl_iread.
1105
1106 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
1107
1108         * safe-ctype.h: Don't #define ctype.h macros to errors because
1109         that loses when someone #include's ctype.h after safe-ctype.h.
1110
1111 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
1112
1113         * url.c: Undef U, W, C after use.
1114
1115 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
1116
1117         * init.c (cmd_spec_restrict_file_names): Allow the OS setting to
1118         be augmented by ",nocontrol" which means don't escape the control
1119         characters, but otherwise keep OS settings.
1120
1121         * url.c (file_unsafe_char): Deleted.
1122         (append_uri_pathel): Query filechr_table directly.
1123         (filechr_table): Separated Unix, Windows, and control-unsafe
1124         characters.
1125
1126 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
1127
1128         * url.c (url_escape_1): New function.
1129         (url_escape): Use it.
1130         (sync_path): Handle pathological cases where u->file and u->dir
1131         contain really strange characters.
1132         (ENCODE): Deleted.
1133         (REENCODE): Deleted.
1134
1135 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
1136
1137         * url.c (url_file_name): Don't reallocate FNAME if the file
1138         doesn't exist, as is usually the case.
1139
1140         * utils.c (unique_name): New flag allow_passthrough.
1141
1142 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
1143
1144         * utils.c (wtimer_sys_diff): Convert the time difference to signed
1145         __int64, then to double.  This works around MS VC++ 6 which can't
1146         convert unsigned __int64 to double directly.
1147
1148 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
1149
1150         * Makefile.in (clean): Also remove the core.<number> files
1151         produced by recent Linux systems.
1152
1153 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
1154
1155         * http.c (post_file): Don't pad the file if it's not large
1156         enough.  Bail out instead.
1157
1158 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
1159
1160         * retr.c (get_contents): Reduce the buffer size to the amount of
1161         data that may pass through for one second.  This prevents long
1162         sleeps when limiting bandwidth.
1163
1164         * connect.c (connect_to_one): Reduce the socket's RCVBUF when
1165         bandwidth limitation to small values is requested.
1166
1167 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
1168
1169         * progress.c (update_speed_ring): Moved the speed ring update to a
1170         separate function and documented it better.
1171
1172         * progress.c: Use `double' for most timers to support granularity
1173         smaller than 1ms.
1174
1175 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
1176
1177         * wget.h (XDIGIT_TO_XCHAR): Implement as index into a literal
1178         string.
1179         (XDIGIT_TO_xchar): Ditto.
1180
1181 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
1182
1183         * utils.c: Change the type of timer-related functions from long to
1184         double, for better precision.  On machines supporting gettimeofday
1185         the timers now work with granularity of less than one millisecond.
1186
1187 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
1188
1189         * cookies.c (parse_set_cookies): Fixed the parser to handle more
1190         edge conditions.
1191         (test_cookies): New function, contains a test suite for
1192         parse_set_cookies.
1193
1194 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
1195
1196         * url.c (strpbrk_or_eos): Implement as a macro under Gcc.
1197
1198 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
1199
1200         * cookies.c (parse_set_cookies): Allow trailing space in
1201         set-cookies header.  Also, allow any amount of whitespace, not
1202         only one character.  Allow empty set-cookies header without
1203         spewing an error.
1204
1205 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
1206
1207         * url.c (append_uri_pathel): Use opt.restrict_file_names when
1208         calling file_unsafe_char.
1209
1210         * init.c: New command restrict_file_names.
1211
1212         * main.c (main): New option --restrict-file-names[=windows,unix].
1213
1214         * url.c (url_file_name): Renamed from url_filename.
1215         (url_file_name): Add directory and hostdir prefix here, not in
1216         mkstruct.
1217         (append_dir_structure): New function, does part of the work that
1218         used to be in mkstruct.  Iterates over path elements in u->path,
1219         calling append_uri_pathel on each one to append it to the file
1220         name.
1221         (append_uri_pathel): URL-unescape a path element and reencode it
1222         with a different set of rules, more appropriate for handling of
1223         files.
1224         (file_unsafe_char): New function, uses a lookup table to decide
1225         whether a character should be escaped for use in file name.
1226         (append_string): New utility function.
1227         (append_char): Ditto.
1228         (file_unsafe_char): New argument restrict_for_windows, decide
1229         whether Windows file names should be escaped in run-time.
1230
1231         * connect.c: Include <stdlib.h> to get prototype for abort().
1232
1233 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
1234
1235         * utils.c (wtimer_sys_set): Extracted the code that sets the
1236         current time here.
1237         (wtimer_reset): Call it.
1238         (wtimer_sys_diff): Extracted the code that calculates the
1239         difference between two system times here.
1240         (wtimer_elapsed): Call it.
1241         (wtimer_elapsed): Don't return a value smaller than the previous
1242         one, which could previously happen when system time is set back.
1243         Instead, reset start time to current time and note the elapsed
1244         offset for future calculations.  The returned times are now
1245         guaranteed to be monotonically nondecreasing.
1246
1247 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
1248
1249         * host.c (lookup_host): Print the result of the DNS lookup.
1250
1251 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
1252
1253         * init.c (cmd_boolean): Accept yes/no along with on/off.
1254         (cmd_lockable_boolean): Ditto.
1255
1256 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
1257
1258         * init.c: New command dns_cache.
1259
1260         * main.c (main): New option --dns-cache[=off].
1261
1262 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
1263
1264         * config.h.in: Initialize HAVE_GETADDRINFO and ENABLE_IPV6.
1265
1266         * all: Use #ifdef ENABLE_IPV6 instead of the older INET6.  Use
1267         HAVE_GETADDRINFO for getaddrinfo-related stuff.
1268
1269 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
1270
1271         * url.c (url_parse): Return an error if the URL contains a [...]
1272         IPv6 numeric address and we don't support IPv6.
1273
1274 2003-09-05  Hrvoje Niksic  <hniksic@xemacs.org>
1275
1276         * url.c (is_valid_ipv6_address): Modified to not require
1277         zero-terminated strings.
1278         (is_valid_ipv4_address): Ditto.
1279
1280 2003-09-05  Mauro Tortonesi <mauro@deepspace6.net>
1281
1282         src/url.c: added RFC 2732 compliance for URL parsing. The
1283         functions is_*_address valid are a modified version of
1284         glibc 2.3.2 inet_pton's code.
1285
1286 2003-09-03  Ahmon Dancy  <dancy@dancysoft.com>
1287
1288         * main.c init.c options.h: Added --retry-connrefused option so
1289         that Connection Refused failures are treated as non-fatal (when
1290         trying to retrieve from busy servers).
1291
1292         * wget.h: New CONNECT_ERROR macro for encapsulating this
1293         modification.
1294
1295         * ftp.c http.c : Use CONNECT_ERROR macro in places where
1296         ECONNREFUSED was checked.
1297
1298 2003-01-11  Ian Abbott  <abbotti@mev.co.uk>
1299
1300         * ftp.c (ftp_retrieve_glob): Reject insecure filenames as determined
1301         by calling new function has_insecure_name_p.  This is based on a
1302         patch by Red Hat.
1303
1304         * fnmatch.c (has_insecure_name_p): New function: returns non-zero
1305         if filename starts with `/' or contains `../' and is therefore
1306         considered insecure.
1307
1308         * fnmatch.h: Declare has_insecure_name_p().
1309
1310 2002-08-03  Hrvoje Niksic  <hniksic@xemacs.org>
1311
1312         * init.c (cmd_file): Allocate RESULT correctly.
1313
1314 2002-07-24  Hrvoje Niksic  <hniksic@xemacs.org>
1315
1316         * recur.c (retrieve_tree): Check whether downloaded_html_set is
1317         non-NULL before using it.
1318
1319 2002-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1320
1321         * html-parse.c (NAME_CHAR_P): Allow almost any character here.
1322
1323 2002-05-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1324
1325         * progress.c (bar_set_params): Fall back to dot progress if the
1326         terminal type is "emacs".
1327
1328 2002-05-20  Hrvoje Niksic  <hniksic@arsdigita.com>
1329
1330         * log.c: Don't #undef WGET_USE_STDARG.
1331
1332 2002-05-16  Hrvoje Niksic  <hniksic@arsdigita.com>
1333
1334         * hash.c (prime_size): Store the offset of the prime number in the
1335         prime table.  When searching, start with the given offset.
1336         (hash_table_new): Pass the pointer to ht->prime_offset to
1337         prime_size.
1338         (grow_hash_table): Ditto.
1339         (prime_size): Make 13 the first prime to make empty hash tables
1340         slightly smaller.
1341
1342 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
1343
1344         * recur.c (download_child_p): Minor optimization to avoid an
1345         unnecessary additional call to schemes_are_similar_p function.
1346
1347 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
1348
1349         * url.c (schemes_are_similar_p): New function to test enumerated
1350         scheme codes for similarity.
1351
1352         * url.h: Declare it.
1353
1354         * recur.c (download_child_p): Use it to compare schemes.  This
1355         also fixes a bug that allows hosts to be spanned (without the
1356         -H option) when the parent scheme is https and the child's is
1357         http or vice versa.
1358
1359 2002-05-14  Bill Richardson  <bill@riverstonenet.com>
1360
1361         * ftp.c (getftp): Don't ftruncate stdout.
1362
1363         * http.c (gethttp): Don't ftruncate stdout.
1364
1365 2002-05-09  Ian Abbott  <abbotti@mev.co.uk>
1366
1367         * cmpt.c (strptime_internal): Synched with glibc-2.1.3.
1368         (get_number): Ditto.
1369         (get_alt_number): Ditto.
1370         (__isleap): New function-like macro used by strptime.
1371         (day_of_the_week): New function used by strptime.
1372         (day_of_the_year): Ditto.
1373         (__mon_yday): Now shared by mktime and strptime implementations.
1374
1375 2002-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
1376
1377         * cookies.c (check_domain_match): Use match_tail in case
1378         insensitive mode.
1379
1380         * utils.c (match_tail): Allow the caller to specify case
1381         insensitive mode.
1382
1383         * cookies.c (store_cookie): When expiry_time is 0, print it as
1384         undefined, not indefinite.
1385
1386 2002-05-07  Ian Abbott  <abbotti@mev.co.uk>
1387
1388         * cookies.c (cookie_jar_process_set_cookie): Do not store
1389         discarded cookie.
1390
1391 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
1392
1393         * cookies.c (check_domain_match): Allow cookies to be set for
1394         subdomains of unknown top-level domains under some circumstances.
1395
1396 2002-04-21  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
1397
1398         * gen_ssl.c:
1399         - allow checking of server cert
1400         - allow defining client cert type
1401         - allow limit of ssl protocol
1402         - check more return values
1403         - added debug message on break
1404
1405 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
1406
1407         * recur.c (download_child_p): Revert order of items in check
1408         number 6 for clarity.
1409
1410 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
1411
1412         * init.c: Ditto.
1413
1414         * main.c: Ditto.
1415
1416         * http.c: Use the new interface.
1417
1418         * cookies.c: Provide an OO-style "cookie jar" interface to enable
1419         separate cookie jars.
1420
1421         * http.c (http_atotm): Declare argument as const.
1422
1423 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
1424
1425         * cookies.c (cookie_new): Default to PORT_ANY.
1426         (find_cookie_chain_exact): Only search by DOMAIN.
1427         (find_matching_cookie): Also check that PORT matches.
1428         (store_cookie): Only match the domain.
1429         (set_cookie_header_cb): When a cookie "fakes" a domain, assume it
1430         is valid for that host rather than discarding it completely.
1431         (find_matching_chains): Don't search by PORT.
1432         (matching_cookie): Also match PORT.
1433         (load_cookies): Set the port if specified, otherwise leave it as
1434         ANY.
1435         (save_cookies_mapper): Save the port if specified, otherwise leave
1436         it empty.
1437
1438 2002-04-19  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
1439
1440         * init.c: The option `egdfile' was not in sort order.
1441
1442 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
1443
1444         * ftp.c (getftp): Treat directories that begin with <letter>: as
1445         absolute.
1446         (getftp): Strip trailing slashes from con->id before merging it
1447         with TARGET.
1448
1449 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
1450
1451         * http.c (gethttp): If Content-Type is not given, assume
1452         text/html.
1453
1454 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
1455
1456         * recur.c (download_child_p): Don't ignore rejection of HTML
1457         documents that are themselves leaves of recursion.
1458
1459 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
1460
1461         Makefile.in: Updated several dependencies for object files to take
1462         account of nested include files.
1463
1464 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
1465
1466         Makefile.in: The target `connect$o' (connect.o) now depends on
1467         `utils.h'
1468
1469 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
1470
1471         * host.c (SET_H_ERRNO): New function-like macro to set `h_errno'.
1472         (gethostbyname_with_timeout): Use it.
1473
1474         * utils.c: Don't define `SETJMP()', `run_with_timeout_env' or
1475         `abort_run_with_timeout()' when `USE_SIGNAL_TIMEOUT' is undefined.
1476
1477 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
1478
1479         * host.c (getaddrinfo_with_timeout): New function.
1480         (gethostbyname_with_timeout): Ditto.
1481         (lookup_host): Use them.
1482
1483 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1484
1485         * utils.c (number_to_string): Handle the case when n < -INT_MAX.
1486
1487 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1488
1489         * init.c (comind): Use a marginally faster implementation of
1490         binary search.  To quote Martin Buchholz, "a nanosecond saved is a
1491         nanosecond earned."
1492
1493 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1494
1495         * main.c (print_help): Document `--post-data' and `--post-file'.
1496
1497 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1498
1499         * http.c (gethttp): Ditto.
1500
1501         * retr.c (retrieve_url): Initialize variables to appease the
1502         compiler.
1503
1504         * gen_sslfunc.c (ssl_iread): Don't handle EINTR when calling
1505         select_fd.
1506         (ssl_iwrite): Ditto.
1507
1508         * connect.c (select_fd): Rewrite to handle EINTR.  Set errno to
1509         ETIMEDOUT in case of timeout.
1510         (iread): No need to handle EINTR when calling select_fd.
1511         (iwrite): Ditto.
1512
1513 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1514
1515         * retr.c (retrieve_url): Make sure that POST is not honored for
1516         redirections.
1517
1518         * http.c (gethttp): Send the POST data when requested.
1519         (post_file): New function.
1520         (gethttp): Use it.
1521
1522         * main.c (main): Ditto.
1523
1524         * init.c: Add new options.
1525
1526         * options.h (struct options): New options post_data and
1527         post_file_name.
1528
1529 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1530
1531         * connect.c (connect_with_timeout): Firing SIGALRM can result in
1532         connect() exiting with EINTR.  Treat EINTR the same as ETIMEDOUT.
1533
1534 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1535
1536         * connect.c (connect_with_timeout): Use it.
1537
1538         * utils.c (run_with_timeout): New function.
1539
1540 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1541
1542         * url.c (getproxy): Accept a struct url argument.  This obviates
1543         the need for USE_PROXY_P.
1544
1545         * retr.c (retrieve_url): Allow proxy to be a non-FTP URL.
1546
1547         * ftp.c (getftp): Recognize FWTK-style proxy.
1548
1549 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1550
1551         * config.h.in: Only define _VA_LIST when compiled with gcc.
1552
1553 2002-04012  Ian Abbott  <abbotti@mev.co.uk>
1554
1555         * http.c (http_loop): Compensate for MS Windows two-second
1556         granularity of file modification time when comparing timestamps.
1557
1558         * ftp.c (ftp_retrieve_list): Ditto.
1559
1560 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
1561
1562         * utils.c (has_html_suffix_p): New function to test filename for
1563         common html extensions.
1564
1565         * utils.h: Declare it.
1566
1567         * http.c (http_loop): Use it instead of previous test.
1568
1569         * retr.c (retrieve_url): Ditto.
1570
1571         * recur.c (download_child_p): Ditto.
1572
1573 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1574
1575         * config.h.in: Define _VA_LIST on Solaris to prevent stdio.h from
1576         declaring va_list.
1577         From Kevin Rodgers <kevinr@ihs.com>.
1578
1579 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
1580
1581         * Makefile.in: Specify libtool mode explicitly when linking.
1582
1583 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1584
1585         * connect.c (connect_with_timeout): New function.
1586         (connect_to_one): Use it.
1587
1588         * config.h.in: Add stubs for HAVE_SIGSETJMP, HAVE_SIGBLOCK, and
1589         HAVE_SETJMP_H.
1590
1591 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
1592
1593         * log.c: Set WGET_USE_STDARG if __STDC__ is defined and stdarg.h
1594         is present.
1595
1596 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
1597
1598         * progress.c (bar_create): If INITIAL is larger than TOTAL, fix
1599         TOTAL.
1600         (bar_finish): Likewise.
1601
1602 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
1603
1604         * html-url.c (tag_handle_form): New function.  Pick up form
1605         actions and mark them for conversion only.
1606
1607 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
1608
1609         * progress.c (struct progress_implementation): Use PARAMS when
1610         declaring the parameters of *create, *update, *finish, and
1611         *set_params.
1612
1613         * netrc.c: Ditto.
1614
1615         * http.c: Reformat some function definitions so that ansi2knr can
1616         read them.
1617
1618         * hash.c (struct hash_table): Use the PARAMS macro around
1619         parameters in the declaration of hash_function and test_function.
1620         (prime_size): Spell 2580823717UL and 3355070839UL as (unsigned
1621         long)0x99d43ea5 and (unsigned long)0xc7fa5177 respectively, so
1622         that pre-ANSI compilers can read them.
1623         (find_mapping): Use PARAMS when declaring EQUALS.
1624         (hash_table_put): Ditto.
1625
1626         * ftp.h: Wrap the parameters of ftp_index declaration in PARAMS.
1627
1628         * cookies.c (cookie_new): Use (unsigned long)0 instead of 0UL,
1629         which was unsupported by pre-ANSI compilers.
1630
1631         From Nelson H. F. Beebe <beebe@math.utah.edu>, for the most part.
1632
1633 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
1634
1635         * url.c (url_filename): Use compose_file_name regardless of
1636         whether opt.dirstruct is set.
1637         (mkstruct): Don't handle the query and the reencoding of DIR; that
1638         is done in compose_file_name.
1639
1640 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
1641
1642         * wget.h: Ditto for extern char *exec_name.
1643
1644         * options.h: Don't guard against OPTIONS_DEFINED_HERE -- it is
1645         perfectly legal to follow an `extern' with a non-`extern' ones,
1646         provided the types match.
1647
1648         * main.c: Don't define OPTIONS_DEFINED_HERE.
1649
1650 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
1651
1652         * progress.c (create_image): Revert to calculating ETA based on
1653         average download speed.
1654         (create_image): Don't print ETA until the download has been active
1655         for at least 3 seconds.
1656         (create_image): When ETA is not available, don't print anything.
1657         The previous version would print --:--.
1658
1659 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
1660
1661         * progress.c (bar_update): Keep updating a subinterval until it
1662         reaches or exceeds a watermark.  That way the measurement will be
1663         guaranteed to span a configurable minimum of time.  The current
1664         default is 3s in 30 100ms intervals.
1665
1666 2002-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
1667
1668         * progress.c (bar_update): Maintain an array of the time it took
1669         to perform previous 30 network reads.
1670         (create_image): Calculate the download speed and ETA based on the
1671         last 30 reads, not the entire download.
1672         (create_image): Make sure that the ETA is not changed more than
1673         once per second.
1674
1675 2002-04-09  Ian Abbott  <abbotti@mev.co.uk>
1676
1677         * mswindows.c (borland_utime): New function conditionally defined
1678         when `HACK_BCC_UTIME_BUG' is defined.  A reimplementation of
1679         `utime()' as Borland's `utime()' function is broken on Windows 9x
1680         systems.  (Original patch by Chin-yuan Kuo <sr1111111@yahoo.com.tw>.)
1681
1682 2002-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
1683
1684         * ftp.c (ftp_loop): Propagate the result of ftp_retrieve_glob.
1685
1686 2002-03-26  Ian Abbott  <abbotti@mev.co.uk>
1687
1688         * Makefile.in: Updated several dependencies for object files.
1689
1690 2002-03-20  Ian Abbott  <abbotti@mev.co.uk>
1691
1692         * mswindows.c: Include "utils.h".
1693
1694 2002-03-18  Ian Abbott  <abbotti@mev.co.uk>
1695
1696         * host.h: Don't include netdb.h on windows.
1697
1698 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1699
1700         * recur.c (retrieve_tree): Handle the case when start_url doesn't
1701         parse.
1702
1703 2002-02-19  Andreas Damm  <andreas-sourceforge@radab.org>
1704
1705         * wget.h (DO_REALLOC_FROM_ALLOCA): Multiply with sizeof(type) when
1706         calling xmalloc and memcpy.
1707
1708 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1709
1710         * host.h: Include Unix-specific includes #ifndef WINDOWS.
1711         Patch originally provided by Christian Lackas.
1712
1713 2002-02-11  Christian Lackas  <delta@lackas.net>
1714
1715         * recur.c: recurive downloading for https fixed.
1716
1717 2002-02-19  Alan Eldridge  <alane@geeksrus.net>
1718
1719         * host.h: Also include <netinet/in.h> and <sys/socket.h>.
1720
1721         * ftp-basic.c: Also include <netinet/in.h>.
1722
1723 2002-02-05  Ian Abbott  <abbotti@mev.co.uk>
1724
1725         * http.c (gethttp): when -c used, mark already fully retrieved
1726         file as successfully retrieved.
1727
1728 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1729
1730         * url.c (url_parse): Don't treat '?' as query string separator
1731         when parsing FTP URLs.
1732
1733 2002-02-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1734
1735         * html-url.c (tag_handle_meta): Don't crash on <meta
1736         http-equiv=refresh> where content is missing.
1737
1738 2002-01-31  Herold Heiko  <Heiko.Herold@previnet.it>
1739
1740         * ftp-basic.c, host.c: don't include sys/socket.h, arpa/inet.h,
1741         netdb.h on windows.
1742
1743 2002-01-30  Hrvoje Niksic  <hniksic@arsdigita.com>
1744
1745         * retr.c (retrieve_url): Remove redirection cycle detection.  This
1746         is because some sites legitimately redirect the user back to the
1747         same location, e.g. after an authorization check performed by
1748         another page.  MAX_REDIRECTIONS is still used to prevent infinite
1749         redirection loops.
1750
1751 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1752
1753         * http.c (gethttp): Wrap host name in square brackets if it
1754         contains a colon.
1755
1756 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1757
1758         * url.c (url_parse): Allow all hex digits, not only decimal ones,
1759         to form an IP address.
1760
1761 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1762
1763         * url.c (urlchr_table): Make square braces reserved, so we can
1764         parse http://[::1]/.
1765         (url_parse): Handle host in braces.
1766         (url_string): If url->host contains colons, wrap it in braces.
1767
1768 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1769
1770         * connect.c (resolve_bind_address): New function.
1771         (connect_to_one): Use it.
1772         (bindport): Ditto.
1773
1774         * init.c: Don't resolve bind-address here.
1775
1776         * host.c (wget_sockaddr_set_address): Would bug out with ADDR == NULL.
1777
1778 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1779
1780         * host.c (lookup_host): Use sizeof(ip4_address) to calculate the
1781         offset.
1782         (address_list_new): Use map_ipv4_to_ip.
1783         (wget_sockaddr_set_address): Convert ADDR to IPv4 before using it
1784         in IPv4 context.
1785
1786 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1787
1788         * source: Integrated IPv6 support.
1789         Written by Thomas Lussnig <thomas.lussnig@bewegungsmelder.de>.
1790
1791 2002-01-15  Ian Abbott  <abbotti@mev.co.uk>
1792
1793         * init.c (cmd_file): Change `\' to `/' for Windows (yes, really!)
1794         (cmd_directory): New function. Like cmd_file(), but strips
1795         trailing directory separators.
1796         (commands): Change action for "dirprefix" from `cmd_file' to
1797         `cmd_directory'.
1798
1799         * utils.c (make_directory): Allow intermediate `mkdir' calls to
1800         fail, as not all path components that do not exist should be
1801         directory components, especially under Windows.
1802
1803 2002-01-17  Hrvoje Niksic  <hniksic@arsdigita.com>
1804
1805         * netrc.c (parse_netrc): Skip leading whitespace before testing
1806         whether the line is empty.  Empty lines still contain the line
1807         terminator.
1808
1809 2002-01-15  Hrvoje Niksic  <hniksic@arsdigita.com>
1810
1811         * gen_sslfunc.c (ssl_iread): Call select on the file descriptor
1812         only if no data is pending in SSL buffers.
1813         From tony@bluetail.com.
1814
1815 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1816
1817         * headers.c (header_get): Strip trailing whitespace from the
1818         header.
1819
1820 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1821
1822         * url.c (parse_uname): URL-decode *USER and *PASSWD.
1823
1824 2002-01-07  Ian Abbott <abbotti@mev.co.uk>
1825
1826         * url.c (uri_merge_1): Deal with "net path" relative URL (one that
1827         starts with "//").
1828
1829 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1830
1831         * http.c (gethttp): Invalidate SOCK if get_contents encountered an
1832         error.
1833
1834 2001-12-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1835
1836         * version.c: Wget 1.8.1 is released.
1837
1838 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1839
1840         * version.c: Wget 1.8.1-pre3 is released.
1841
1842 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1843
1844         * recur.c (retrieve_tree): Enqueue the canonical representation of
1845         start_url, so that the test against dl_url_file_map works.
1846
1847 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1848
1849         * log.c (logputs): Check for requested verbosity before printing
1850         anything.
1851
1852 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1853
1854         * html-url.c (tag_handle_link): Treat the "shortcut icon" link as
1855         inline.
1856
1857 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1858
1859         * recur.c (retrieve_tree): Make a copy of file obtained from
1860         dl_url_file_map because the code calls xfree(file) later.
1861
1862 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1863
1864         * recur.c (register_html): Maintain a hash table of HTML files
1865         along with the list.  Disallow duplicates.
1866         (retrieve_tree): Use downloaded_html_set to check whether the file
1867         found in dl_url_file_map is an HTML file, and descend into it if
1868         so.
1869         (convert_all_links): Don't guard against duplicates in
1870         downloaded_html_list, since they are no longer possible.
1871
1872 2001-12-18  Ian Abbott  <abbotti@mev.co.uk>
1873
1874         * recur.c (retrieve_tree): Pass on referring URL when retrieving
1875         recursed URL.
1876
1877 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
1878
1879         * version.c: Wget 1.8.1-pre2 is released.
1880
1881 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
1882
1883         * retr.c (sleep_between_retrievals): Simplify indentation.
1884
1885 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
1886
1887         * gen_sslfunc.c (ssl_init_prng): Use random_number to get a byte
1888         of "randomness" at a time.
1889         (ssl_init_prng): Don't seed the PRNG; random_number will do that.
1890
1891         * retr.c (sleep_between_retrievals): Use it.  Make sure that the
1892         random amount averages in opt.wait.
1893         (sleep_between_retrievals): Don't seed the PRNG; random_number
1894         will do that.
1895
1896         * utils.c (random_number): New function.
1897
1898 2001-12-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1899
1900         * url.c (path_simplify): Move here from utils.c, and make static.
1901
1902 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1903
1904         * init.c (wgetrc_file_name): Print correct message when loading
1905         getenv("WGETRC") fails.
1906
1907 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1908
1909         * recur.c (register_download): Don't abort when one URL references
1910         two different files.
1911
1912 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1913
1914         * http.c (gethttp): Check for conn->scheme, not u->scheme, before
1915         calling ssl_iwrite.
1916
1917 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1918
1919         * version.c: Wget 1.8.1-pre1 is released.
1920
1921 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1922
1923         * res.c (matches): Fix broken URL in the docstring.
1924
1925 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1926
1927         * html-url.c (tag_url_attributes): Mark <embed href=...> as
1928         external.
1929
1930 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1931
1932         * url.c (get_urls_file): Cosmetic changes.
1933
1934 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1935
1936         * html-url.c (append_one_url): Resurrect warning when unable to
1937         resolve a relative link.
1938
1939 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1940
1941         * html-url.c (collect_tags_mapper): Break into several functions.
1942         (tag_url_attributes): Collect <embed href=...>.
1943
1944 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
1945
1946         * host.c: New type ipv4_address.  Use it consistently instead of
1947         `unsigned char[4]' and `unsigned char *'.
1948         (pretty_print_address): Accept a `const void *', to require even
1949         less casting.
1950
1951 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
1952
1953         * ftp-ls.c (ftp_parse_vms_ls): Fix obvious memory leaks.
1954
1955 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
1956
1957         * main.c (main): Initialize progress after fork_to_background, so
1958         that it knows when to use dots.
1959
1960         * mswindows.c (ws_hangup): Call log_request_redirect_output.
1961
1962         * utils.c (fork_to_background): Print the PID of the child
1963         process.
1964
1965         * log.c (log_request_redirect_output): Set a flag that output
1966         redirection has been requested.  Doing anything else in a signal
1967         handler is unsafe.
1968         (check_redirect_output): New function: check whether redirection
1969         has been requested and, if so, call redirect_output().
1970         (logputs): Call check_redirect_output.
1971         (logprintf): Ditto.
1972         (debug_logprintf): Ditto.
1973         (redirect_output): Print clearer messages.
1974
1975         * main.c (redirect_output_signal): Don't call
1976         redirect_output_signal directly.  Instead, call
1977         log_request_redirect_output.
1978
1979         * utils.c (memfatal): Ditto.
1980
1981         * progress.c (display_image): Use it.
1982
1983         * log.c (log_set_save_context): New function: allow the caller to
1984         turn off saving log context lines.
1985
1986 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
1987
1988         * host.c (address_list_set_faulty): Uncomment a sanity check.
1989
1990 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
1991
1992         * utils.c (long_to_string): Return a pointer after where the
1993         number ends.
1994         (long_to_string): Rename to number_to_string.
1995
1996 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
1997
1998         * utils.c (path_simplify): Correctly handle the unlikely case that
1999         b starts out as path + 1.
2000
2001 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2002
2003         * utils.c (path_simplify): Rewrite, with better comments, and
2004         without the use of strcpy to move overlapping blocks.
2005
2006 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2007
2008         * init.c (cmd_spec_progress): Resurrect.  Check whether VAL is a
2009         valid progress type before setting it.
2010
2011 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2012
2013         * main.c (main): Remove stray debugging message.
2014
2015 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2016
2017         * progress.c (create_image): Fix ETA padding when hours are prined.
2018
2019 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2020
2021         * version.c: Wget 1.8 is released.
2022
2023 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2024
2025         * url.c (reencode_string): Declare static.
2026
2027         * res.c (registered_specs): Declare static.
2028
2029         * progress.c (current_impl_locked): Declare static.
2030
2031         * log.c (flush_log_p): Declare static.
2032         (needs_flushing): Ditto.
2033
2034         * http.c (digest_authentication_encode): Declare static.
2035
2036         * html-url.c (init_interesting): Declare static.
2037
2038         * host.c (host_name_addresses_map): Declare static.
2039
2040         * cookies.c (find_matching_chains): Declare static.
2041
2042         * ftp-ls.c (ftp_parse_vms_ls): Warn about the memory leak
2043         indicated by lint.
2044
2045         * utils.c (path_simplify): Remove unused variable STUB_CHAR.
2046
2047         * host.c (address_list_set_faulty): Document that INDEX is
2048         currently unused.
2049
2050         * url.c (rewrite_shorthand_url): Remove unused variable PATH.
2051
2052 2001-12-08  Hrvoje Niksic  <hniksic@arsdigita.com>
2053
2054         * version.c: Wget 1.8-pre2 is released.
2055
2056 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2057
2058         * progress.c (progress_handle_sigwinch): Set up the signal again.
2059
2060         * utils.c: Include <sys/termios.h>, where Solaris defines
2061         TIOCGWINSZ.
2062
2063         * progress.c (bar_create): Don't use the last column on the screen.
2064         (create_image): Pad ETA to constant size.  Pad SIZE to nine digits
2065         only until it exceeded them.
2066
2067 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2068
2069         * version.c: Wget 1.8-pre1 is released.
2070
2071 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2072
2073         * progress.c (progress_create): Make sure that, when the output is
2074         redirected, the progress implementation gets changed to the
2075         fallback one.
2076         (bar_set_params): Set current_impl_locked to 1 when "force" is
2077         specified.
2078         (progress_create): Don't change the progress implementation if
2079         current_impl_locked is non-zero.
2080
2081         * main.c (redirect_output_signal): Call
2082         progress_schedule_redirect.
2083
2084         * progress.c (progress_schedule_redirect): New function.
2085
2086 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2087
2088         * log.c (logvprintf): Restructure to allow being called multiple
2089         times.
2090         (logprintf): Call logvprintf in a loop.
2091         (debug_logprintf): Ditto.
2092
2093 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2094
2095         * gen_sslfunc.c (ssl_init_prng): Allow the user to disable EGD by
2096         setting egd_file it to empty string.
2097
2098         * main.c (main): Change the option name from --sslegdsock to
2099         --egd-file.
2100
2101 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2102
2103         * gen_sslfunc.c (ssl_init_prng): Make the printed message
2104         translatable.
2105
2106 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2107
2108         * url.c (scheme_disable): New function.
2109
2110         * main.c (main): Call ssl_init_prng from here rather than from
2111         init_ssl, so that it has a chance to disable support for https
2112         before a URL has been resolved.
2113
2114         * gen_sslfunc.c (ssl_init_prng): Seed with rand() if all else
2115         failed.
2116         (ssl_init_prng): Disable support for https if seeding the PRNG
2117         fails.
2118
2119 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2120
2121         * utils.c (read_whole_line): Handle lines beginning with \0.
2122
2123 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
2124
2125         * recur.c (convert_all_links): Guard against duplicates in
2126         downloaded_html_files.
2127         (register_download): Don't invalidate similar-looking URLs.
2128         (match_except_index): New function.
2129
2130 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
2131
2132         * utils.c (path_simplify): Document with test cases.
2133
2134 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
2135
2136         * gen_sslfunc.c: Ditto.
2137
2138         * rbuf.c: Include <string.h>.
2139
2140 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
2141
2142         * recur.c (retrieve_tree): Check whether the URL was already
2143         downloaded before downloading it again.
2144         (descend_child_p): Renamed to download_child_p.
2145         (register_download): When one URL is downloaded to a file already
2146         "owned" by another URL, delete all references that map any URL to
2147         that file.
2148         (register_delete_file): New function.
2149         (retrieve_tree): Use it after deleting a file.
2150
2151         * url.c (url_parse): Re-canonicalize the URL also if the path is
2152         empty, so that e.g. "http://www.server.com" ->
2153         "http://www.server.com/".
2154         (lowercase_str): Use ISUPPER instead of !ISLOWER.
2155
2156         * retr.c (retrieve_url): Use the canonical URL form when calling
2157         register_download().
2158
2159 2001-12-04  Ian Abbott <abbotti@mev.co.uk>
2160
2161         * snprintf.c (dopr): Use `unsigned int' as the second argument to
2162         va_arg when casting to `unsigned short' is intended.
2163
2164 2001-12-04  Herold Heiko  <Heiko.Herold@previnet.it>
2165
2166         * gen_sslfunc.c: on windows provide ssl crypto random 
2167           initialization through RAND_screen(); could possibly
2168           be not enough for strong ssl communication (see the 
2169           relevant manual page from the openssl package).
2170
2171 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
2172
2173         * url.c (local_quote_string): Reenable quoting of question marks,
2174         but only when `--html-extension' is used.
2175
2176 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
2177
2178         * version.c: Wget 1.8-beta3 is released.
2179
2180 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
2181
2182         * snprintf.c (dopr): Cast the result of va_arg to short int and
2183         short unsigned int where these types are expected to be used.
2184
2185 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
2186
2187         * snprintf.c (dopr): Replace `short int' and `unsigned short int'
2188         with `int' when using it as the second argument to `va_arg'.
2189
2190 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
2191
2192         * host.c (address_list_new_one): New function.
2193         (lookup_host): Use it.
2194
2195 2001-12-03  Andre Majorel  <amajorel@teaser.fr>
2196
2197         * host.c (lookup_host): Don't initialize TMPSTORE directly because
2198         it's not legal C.
2199
2200 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
2201
2202         * ftp-basic.c (ftp_port): Don't return HOSTERR if we fail getting
2203         the socket data.
2204
2205         * ftp.c: Ditto.
2206
2207         * http.c: No need to declare h_errno.
2208
2209         * host.c: Declare h_errno.
2210
2211 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
2212
2213         * utils.c (file_merge): If BASE doesn't contain a slash, just
2214         return a copy of FILE.
2215
2216 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
2217
2218         * version.c: Wget 1.8-beta2 is released.
2219
2220 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2221
2222         * ftp.c (getftp): When PWD fails, assume "/".
2223
2224         * ftp-basic.c (ftp_syst): Fix indentation.
2225
2226 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2227
2228         * url.c (get_urls_file): If opt.base_href is specified, merge each
2229         URL with the base.
2230
2231 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2232
2233         * main.c (print_help): Don't document the removed `-nh'.
2234
2235 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2236
2237         * url.c (url_full_path): Document better.
2238
2239         * http.c (gethttp): Use the full path when creating digest
2240         authorization.
2241
2242 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2243
2244         * cookies.c (path_matches): Return 0 if PREFIX doesn't begin with
2245         '/'.
2246
2247 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2248
2249         * cookies.c (path_matches): FULL_PATH doesn't begin with '/', but
2250         PREFIX does.
2251
2252 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2253
2254         * cookies.c (check_domain_match): Reimplement to match Netscape's
2255         "preliminary specification" for cookies.
2256
2257 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2258
2259         * url.c (replace_attr_refresh_hack): New function.
2260         (convert_links): Call replace_attr_refresh_hack for Refresh
2261         links.  It will add the "TMOUT; URL=" junk before the link.
2262
2263         * html-url.c (collect_tags_mapper): Set ID to the ID of the
2264         "content" attribute, not "http-equiv".
2265         (collect_tags_mapper): Don't use OFFSET to hack the raw_* values;
2266         instead, store the information that this entry belongs to a
2267         "refresh" link.
2268
2269 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2270
2271         * version.c: Wget 1.8-beta1 is released.
2272
2273 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2274
2275         * recur.c (retrieve_tree): Allow -p retrievals to exceed maximum
2276         depth by more than one.
2277
2278 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
2279
2280         * retr.c (retrieve_url): Don't allow more than 20 redirections.
2281
2282 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
2283
2284         * recur.c (retrieve_tree): Skip the non-inline entries when
2285         enqueuing the children of a leaf HTML node in -p mode.
2286         (descend_url_p): Ignore opt.no_parent when in -p mode and UPOS is
2287         "inline".
2288
2289         * html-url.c (get_urls_html): Don't accept dash_p_leaf_HTML.
2290         (collect_tags_mapper): When an entry is "inline", mark it as such.
2291
2292         * recur.c (descend_url_p): Fix test when checking for
2293         acceptance/rejection rules.
2294
2295 2001-10-31 Daniel BODEA <dali@dali-designs.com>
2296
2297         * netrc.c (search_netrc): When slack_default is 0, still look for
2298         an account with matching password, just not the "default account".
2299         HTTP Authorization using .netrc should now work as expected.
2300
2301 2001-11-30  T. Bharath  <TBharath@responsenetworks.com>
2302
2303         * http.c (persistent_available_p): Call SHUTDOWN_SSL if
2304         test_socket_open fails.
2305
2306 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
2307
2308         * progress.c (display_image): Just print one CR to reset the
2309         cursor position.
2310
2311 2001-11-30  Christian Fraenkel  <c.fraenkel@gmx.net>
2312
2313         * init.c: New command `ssl_egd_sock'.
2314
2315         * main.c (main): New option `--sslegdsock'.
2316
2317         * gen_sslfunc.c (ssl_init_prng): Seed the RNG using EGD.
2318
2319 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
2320
2321         * cmpt.c (memmove): Include a simple memmove implementation.
2322
2323 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
2324
2325         * headers: Guard against header files being included twice.
2326
2327 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
2328
2329         * gen-md5.c: Use unsigned char * as the buffer argument to
2330         gen_md5_update.
2331
2332 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
2333
2334         * connect.h: Declare select_fd.
2335
2336 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
2337
2338         * recur.c (descend_url_p): When resolving no_parent, compare with
2339         start_url, not parent url.  Otherwise link from /a/b/ to /a/c/
2340         wouldn't be followed, although the download started from /a/.
2341
2342 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
2343
2344         * config.h.ms, mswindows.h: defined HAVE_ISATTY, use _isatty for
2345         MS VC; somebody with Borland compiler please check and provide
2346         patch if possible;
2347
2348         * cmpt.c: provided a usleep emulation.
2349
2350 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
2351
2352         * host.c (address_list_new): Initialize al->faulty.
2353
2354 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
2355
2356         * http.c (http_process_range): Accept the broken output of
2357         "JavaWebServer/1.1.1".
2358
2359 2001-11-28  Hrvoje Niksic  <hniksic@arsdigita.com>
2360
2361         * progress.c (dot_set_params): If PARAMS is unspecified, use
2362         dot_style, if available.
2363
2364         * init.c: Ditto.
2365
2366         * main.c (main): Resurect --dot-style.
2367
2368         * progress.c (dot_finish): Print the quantity if we're left at the
2369         beginning of a row.
2370
2371 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2372
2373         * cmpt.c (random): Removed.
2374
2375         * retr.c (sleep_between_retrievals): Use the more portable rand()
2376         instead of random().
2377
2378 2001-11-27  Ian Abbott <abbotti@mev.co.uk>
2379
2380         * retr.c (retrieve_from_file): Initialize `new_file' to NULL to
2381         prevent seg fault.
2382
2383 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2384
2385         * connect.c (connect_to_many): Use address_list_set_faulty to
2386         prevent the faulty address from being reused.
2387
2388         * host.c (address_list_set_faulty): New function.
2389         (address_list_get_bounds): New function, instead of
2390         address_list_count.
2391
2392 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2393
2394         * url.c (convert_links): Don't translate %d-%d.
2395
2396         * main.c (print_help): Remove stray HAVE_RANDOM code.
2397
2398 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2399
2400         * ftp.c (getftp): Improve output after sending PASV.  Don't
2401         attempt to "look up" the IP address we already know; call
2402         connect_to_one directly.
2403
2404 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2405
2406         * progress.c: Change the default progress implementation to "bar".
2407
2408 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2409
2410         * progress.c (bar_create): Print two newlines.
2411
2412 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2413
2414         * cmpt.c (random): New function, a simple-minded replacement for
2415         random() on systems that don't have it.
2416
2417 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2418
2419         * config.h.in: Put a HAVE_USLEEP stub.
2420
2421         * cmpt.c (usleep): Replacement implementation of usleep using
2422         select.
2423
2424         * init.c: New option init_rate.
2425
2426         * main.c (main): New option --limit-rate.
2427
2428         * retr.c (limit_bandwidth): New function.
2429         (get_contents): Call it to limit the bandwidth used when
2430         downloading.
2431
2432         * progress.c (dot_update): Would print the wrong download speed on
2433         rows other than the first one when the download was continued.
2434         (dot_finish): Ditto.
2435
2436 2001-11-26  Ian Abbott <abbotti@mev.co.uk>
2437
2438         * http.c (gethttp): fix undeclared variable 'err' when compiled
2439         with HAVE_SSL.
2440
2441 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2442
2443         * progress.c: Don't allocate new timers; use the timing data
2444         propagated from the caller.
2445
2446         * retr.c (get_contents): Allocate and use a timer.
2447
2448 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2449
2450         * http.c (last_host_ip): Made into an address_list.
2451         (invalidate_persistent): Release pc_last_host_ip.
2452         (register_persistent): Use lookup_host.
2453         (persistent_available_p): Check for equality of hosts using
2454         address_list_match_all.  Call address_list_release.
2455         (http_cleanup): New function.
2456
2457         * ftp.c (getftp): Use lookup_host and connect_to_many.
2458
2459         * http.c (gethttp): Use lookup_host and connect_to_many.
2460
2461         * connect.c (make_connection): Removed.
2462         (connect_to_one): New function.
2463         (connect_to_many): Ditto.
2464         (set_connection_host_name): Ditto.
2465
2466         * host.c (lookup_host): New function; new return type.
2467         (address_list_new): New function.
2468         (address_list_count): Ditto.
2469         (address_list_copy_one): Ditto.
2470         (address_list_delete): Ditto.
2471         (address_list_release): Ditto.
2472         (pretty_print_address): Ditto.
2473
2474 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2475
2476         * recur.c (retrieve_tree): In case of followed redirection,
2477         blacklist the pre-redirection URL.
2478
2479 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2480
2481         * recur.c (descend_redirect_p): New function.
2482         (retrieve_tree): Make sure redirections are not blindly followed.
2483
2484 2001-11-04  Alan Eldridge  <alane@geeksrus.net>
2485
2486         * config.h.in: added HAVE_RANDOM.
2487
2488         * options.h: added random_wait to struct options.
2489
2490         * main.c (print_help [HAVE_RANDOM], main): added arg parsing, help
2491         for --random-wait.
2492
2493         * retr.c (sleep_between_retrievals) [HAVE_RANDOM]: added
2494         implementation of random wait times.
2495
2496         * init.c (commands): added "randomwait" keyword.
2497
2498 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2499
2500         * recur.c (descend_url_p): Be more conservative with blacklisting
2501         URLs.
2502         (convert_all_links): Print how many files have been converted, and
2503         how long it took.
2504
2505         * progress.c (create_image): Place the number of downloaded bytes
2506         right after the progress bar.
2507
2508         * utils.c (suffix): Return a pointer into the string.
2509
2510 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2511
2512         * url.c (convert_links): Handle CO_NULLIFY_BASE.
2513
2514         * recur.c (retrieve_tree): Ignore download-ignorable children.
2515         (convert_all_links): Specify CO_NULLIFY_BASE when link_base_p.
2516
2517         * html-url.c (handle_link): Return the newly created urlpos.
2518         (collect_tags_mapper): When dealing with BASE, store the base
2519         reference and mark it as download-ignorable.
2520
2521 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2522
2523         * url.c (convert_links): Attempt to quote '?' as "%3F" when
2524         linking to local files.  Given up on the attempt, as it breaks
2525         local browsing.
2526
2527 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2528
2529         * main.c (private_initialize): Removed.
2530         (main): Don't call private_initialize.
2531
2532         * http.c: Call lookup_host.
2533
2534         * host.c (host_init): Removed.
2535         (add_host_to_cache): Initialize host_name_address_map here, on
2536         demand.
2537         (ngethostbyname): Commented out.
2538
2539         * connect.c (make_connection): Remove dead code; use lookup_host.
2540
2541         * host.c (store_hostaddress): Renamed to lookup_host and reversed
2542         the args.
2543         Removed host_address_name_map and host_slave_master_map.
2544
2545 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2546
2547         * progress.c (dot_create): Align the "[ skipping ... ]" string
2548         with the dots.
2549
2550         * retr.c (rate): Split into two functions: calc_rate and
2551         retr_rate.
2552
2553         * progress.c (create_image): Draw a dummy progress bar even when
2554         total size is unknown.
2555         (display_image): Place the text cursor at the end of the "image".
2556
2557 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2558
2559         * url.c (reencode_string): Use unsigned char, not char --
2560         otherwise the hex digits come out wrong for 8-bit chars such as
2561         nbsp.
2562         (lowercase_str): New function.
2563         (url_parse): Canonicalize u->url if needed.
2564         (get_urls_file): Parse each URL, and return only the valid ones.
2565         (free_urlpos): Call url_free.
2566         (mkstruct): Add :port if the port is non-standard.
2567         (mkstruct): Append the query string to the file name, if any.
2568         (urlpath_length): Use strpbrk_or_eos.
2569         (uri_merge_1): Handle the cases where LINK is an empty string,
2570         where LINK consists only of query, and where LINK consists only of
2571         fragment.
2572         (convert_links): Count and report both kinds of conversion.
2573         (downloaded_file): Use a hash table, not a list.
2574         (downloaded_files_free): Free the hash table.
2575
2576         * retr.c (retrieve_from_file): Ditto.
2577
2578         * main.c (main): Call either retrieve_url or retrieve_tree
2579         for each URL, not both.
2580
2581         * retr.c (register_all_redirections): New function.
2582         (register_redirections_mapper): Ditto.
2583         (retrieve_url): Register the redirections.
2584         (retrieve_url): Make the string "Error parsing proxy ..." 
2585         translatable.
2586
2587         * res.c (add_path): Strip leading slash from robots.txt paths so
2588         that the path representations are "compatible".
2589         (free_specs): Free each individual path, too.
2590         (res_cleanup): New function.
2591         (cleanup_hash_table_mapper): Ditto.
2592
2593         * recur.c (url_queue_new): New function.
2594         (url_queue_delete): Ditto.
2595         (url_enqueue): Ditto.
2596         (url_dequeue): Ditto.
2597         (retrieve_tree): New function, replacement for recursive_retrieve.
2598         (descend_url_p): New function.
2599         (register_redirection): New function.
2600
2601         * progress.c (create_image): Cosmetic changes.
2602
2603         * init.c (cleanup): Do all those complex cleanups only if
2604         DEBUG_MALLOC is defined.
2605
2606         * main.c: Removed --simple-check and the corresponding
2607         simple_host_check in init.c.
2608
2609         * html-url.c (handle_link): Parse the URL here, and propagate the
2610         parsed URL to the caller, who would otherwise have to parse it
2611         again.
2612
2613         * host.c (xstrdup_lower): Moved to utils.c.
2614         (realhost): Removed.
2615         (same_host): Ditto.
2616
2617 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2618
2619         * utils.c (path_simplify): Preserver the (non-)existence of
2620         leading slash.  Return non-zero if changes were made.
2621
2622 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2623
2624         * progress.c (bar_update): Don't modify bp->total_length if it is
2625         zero.
2626
2627 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2628
2629         * retr.c (retrieve_url): When the redirection URL doesn't parse,
2630         print the correct error message rather than "UNKNOWN".
2631
2632 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2633
2634         * progress.c (bar_finish): If the timer didn't record any time
2635         since the download beginning, fake 1ms.
2636
2637 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2638
2639         * recur.c (recursive_retrieve): Fix typo.
2640
2641 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
2642
2643         * progress.c (create_image): Don't translate "%ld ".
2644
2645 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
2646
2647         * progress.c (bar_set_params): Allow the user to force the use of
2648         the bar.
2649
2650 2001-11-23  Lemble Gregory  <gregory.lemble@st.com>
2651
2652         * gen_sslfunc.c (ssl_init_prng): New function; seed the SSL RNG.
2653
2654 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
2655
2656         * progress.c: Renamed dp_* functions to dot_* for greater clarity
2657         and consistency with bar_*.
2658         (print_download_speed): Get rid of the unneeded '@' character.
2659         (create_image): Fix download rate geometry.
2660
2661         * progress.c (print_elapsed): Remove spurious space.
2662         (print_elapsed): Renamed to print_download_speed, since that's
2663         what it does.
2664
2665 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
2666
2667         * progress.c (bar_update): If the downloaded amount becomes larger
2668         than the expected amount, adjust the expected amount accordingly.
2669
2670 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
2671
2672         * utils.c (determine_screen_width): New function.
2673
2674         * main.c (main): New option `--progress=TYPE'.
2675         (main): Implement compatibility with the old option `--dot-style'.
2676
2677         * init.c: Removed cmd_spec_dotstyle -- that logic is now in
2678         dp_set_params.
2679         (cmd_spec_progress): New function.
2680
2681         * retr.c (get_contents): Use the progress_* functions instead of
2682         the old show_progress().
2683         (show_progress): Removed.
2684         (rate): Print "xxxx.xx K/s" instead of "KB/s".  Ditto for MB/s,
2685         etc.
2686
2687         * progress.c (set_progress_implementation): New function.
2688         (valid_progress_implementation_p): Ditto.
2689         (progress_create): Ditto.
2690         (progress_update): Ditto.
2691         (progress_finish): Ditto.
2692         (dp_create): Ditto.
2693         (dp_update): Ditto.
2694         (dp_finish): Ditto.
2695         (dp_set_params): Ditto.
2696         (print_elapsed): Ditto.
2697
2698 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
2699
2700         * retr.c (show_progress): Use it.
2701
2702         * log.c (log_set_flush): New function.
2703
2704 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
2705
2706         * utils.c (path_simplify): Don't remove trailing slashes.
2707
2708         * ftp.c (ftp_get_listing): Use it.
2709
2710         * utils.c (file_merge): New function.
2711
2712         * url.c (opt_url): Removed.
2713
2714         * recur.c (recursive_retrieve): Inline "opt_url" logic.
2715
2716         * main.c (main): Use xfree(), not free().
2717
2718         * url.c (rewrite_url_maybe): Renamed to rewrite_shorthand_url.
2719
2720         * ftp.c (ccon): Move `ccon' typedef here, since it's only used
2721         internally.
2722
2723         * config.h.in: Include a stub for HAVE_STRPBRK.
2724
2725         * cmpt.c (strpbrk): Include a replacement for systems without
2726         strpbrk().
2727
2728         * ftp.c: Use url_set_dir and url_set_file when modifying the URL.
2729
2730         * url.c (url_set_dir): New function.
2731         (url_set_file): Ditto.
2732
2733         * ftp-basic.c (ftp_process_type): Process FTP type here; the URL
2734         parser makes the URL "params" available, so we can do that in this
2735         function.
2736
2737         * retr.c: Ditto.
2738
2739         * ftp.c: Ditto; pass the local file information in `ccon'.
2740
2741         * http.c: Get rid of the ugly kludge that had URL being replaced
2742         with the proxy URL when proxy retrieval was requested.  Use a
2743         separate parameter to http_loop and gethttp for the proxy URL.
2744
2745         * http.c: Changed to reflect the fact that local file, proxy, and
2746         referer information are no longer stored in struct url.  The local
2747         file information is passed in `struct hstat' now.
2748
2749         * url.c: Reworked URL parsing to be more regular.  Reencode the
2750         URL using reencode_string.
2751         Removed non-URL-related information from struct url.  This
2752         includes fields `proxy', `local', and `referer'.
2753
2754 2001-11-22  Jochen Hein  <jochen@jochen.org>
2755
2756         * main.c (main): Split the copyright notice for easier
2757         translation.
2758
2759 2001-08-21  Dave Turner <dct25@hermes.cam.ac.uk>
2760
2761         * ftp-basic.c (ftp_size): New function to send non-standard SIZE
2762           command to server to request file size.
2763         * ftp.h (ftp_size): Export it.
2764         * ftp.c (getftp): Use new ftp_size function if restoring
2765           transfer of a file with unknown size.
2766
2767 2001-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2768
2769         * url.c (parseurl): Don't depend on the now-obsolete TYPE.
2770
2771 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2772
2773         * url.c (getproxy): Handle URL shorthands.
2774
2775 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2776
2777         * main.c: Remove --wait / --waitretry backwards compatibility
2778         code.
2779         
2780 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2781
2782         * main.c (main): Use it.
2783
2784         * url.c (rewrite_url_maybe): New function.
2785
2786 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2787
2788         * url.c: Clean up handling of URL schemes.
2789
2790 2001-05-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2791
2792         * url.c: Get rid of `protostrings'.
2793         (skip_proto): Don't use protostrings.
2794         (has_proto): Ditto.
2795
2796 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2797
2798         * Makefile.in: Conditionally compile getopt.o.
2799
2800 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2801
2802         * md5.h: Renamed to gnu-md5.h.
2803
2804         * md5.c: Renamed to gnu-md5.c.
2805
2806         * http.c: Ditto.
2807
2808         * ftp-opie.c: Use the new macros.
2809
2810         * sysdep.h: Define md5-related macros.
2811
2812         * config.h.in: Define HAVE_SOLARIS_MD5 or HAVE_BUILTIN_MD5
2813         depending on which md5 implementation is used.
2814
2815 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2816
2817         * res.c (res_register_specs): Initialize OLD and HP_OLD to appease
2818         the compiler.
2819
2820 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2821
2822         * http.c (gethttp): Print the whole response line when printing
2823         headers is requested.
2824
2825 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2826
2827         * res.c: New file.  Implement all RES-related code here.
2828
2829 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2830
2831         * version.c: Wget 1.7.1 is released.
2832
2833 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
2834
2835         * headers.c (header_extract_number): Ignore trailing whitespace.
2836
2837 2001-08-24  Ian Abbott  <abbotti@mev.co.uk>
2838
2839         * html-url.c (collect_tags_mapper): Fix bug converting links
2840         with -k option for tags with multiple link attributes by
2841         handling links in the order they appear.
2842
2843 2001-08-15  Ian Abbott  <abbotti@mev.co.uk>
2844
2845         * ftp.c (ftp_loop_internal): Avoid a potential buffer overflow in
2846           the call to the 'rate' function by moving it past the error
2847           checking for the 'getftp' function return value.
2848
2849 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
2850
2851         * html-parse.c (advance_declaration): Use 0x22 instead of '"' or
2852         '\"'.  Different compilers' assert macros are broken in different
2853         ways.
2854
2855 2001-09-29  Christian Fraenkel  <c.fraenkel@gmx.net>
2856
2857         * http.c (gethttp): print debug output for errors occuring during
2858         the ssl handshake.
2859
2860 2001-11-16  Chris Seawood  <cls@seawood.org>
2861
2862         * init.c: Ditto.
2863
2864         * host.c: Ditto.
2865
2866         * connect.c: Ditto.
2867
2868         * sysdep.h: Support compilation under BEOS.
2869
2870 2001-06-08  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
2871
2872         * url.c (url_equal): Fix a memory leak when parseurl returns an
2873         error on the second URL. Also, since url_equal is not used at the
2874         moment, do not compile it.
2875
2876         * url.h: Ditto for the prototype of url_equal.
2877
2878 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
2879
2880         * html-parse.c (map_html_tags): Support XML-style empty tags.
2881
2882 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2883
2884         * wget.h (DO_REALLOC_FROM_ALLOCA): Check for do_realloc_newsize in
2885         loop condition because we're no longer setting SIZEVAR here.
2886
2887 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2888
2889         * wget.h (DO_REALLOC_FROM_ALLOCA): Set SIZEVAR after the memcpy()
2890         call because it needs the old value.
2891
2892 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2893
2894         * cookies.c (ATTR_NAME_CHAR): Allow almost any character to be in
2895         an attribute name.
2896
2897 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2898
2899         * url.c (url_filename): Make sure that slashes that sneak in to
2900         u->file via query string get protected.
2901         (file_name_protect_query_string): New function.
2902
2903 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2904
2905         * recur.c (recursive_retrieve): Also check undesirable_urls with
2906         canonicalized URL.
2907
2908 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2909
2910         * http.c (gethttp): Search `.netrc' with real host, not the proxy
2911         one.
2912
2913 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2914
2915         * sysdep.h (MAP_FAILED): Provide MAP_FAILED for systems that don't
2916         define it.
2917
2918 2001-06-09  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2919
2920         * ftp.h: Provide correct prototype for ftp_parse_ls().
2921
2922 2001-06-04  Hrvoje Niksic  <hniksic@arsdigita.com>
2923
2924         * version.c: Wget 1.7 is released.
2925
2926 2001-06-03  Karl Eichwalder  <ke@suse.de>
2927
2928         * ftp-ls.c (ftp_parse_ls): Fix typo.
2929
2930 2001-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2931
2932         * all: Update copyright information.
2933
2934 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2935
2936         * http.c (gethttp): Indicate that the continued download failed
2937         for *this* file.
2938
2939 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2940
2941         * version.c: Wget 1.7-pre1 is released.
2942
2943 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2944
2945         * version.c: Updated version to 1.7-pre1.
2946
2947 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2948
2949         * gen_sslfunc.c: Don't include <sys/time.h> directly.
2950
2951 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2952
2953         * http.c (gethttp): Use real URL data for cookies, not the proxy
2954         stuff.
2955
2956 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2957
2958         * main.c (print_help): Document `--no-http-keep-alive'.
2959
2960         * utils.c (numdigit): Handle negative numbers *correctly*.
2961
2962         * hash.c (make_nocase_string_hash_table): Use term "nocase" rather
2963         than the confusing "unsigned".
2964
2965         * utils.c (string_set_contains): Renamed from string_set_exists.
2966
2967         * hash.c (hash_table_contains): Renamed from hash_table_exists.
2968
2969         * cookies.c: Move case-insensitive hash tables to hash.c.
2970
2971 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2972
2973         * http.c (gethttp): Before concluding that the file is already
2974         fully retrieved, make sure that the file existed and `Range' was
2975         actually requested.
2976
2977 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2978
2979         * cookies.c (eliminate_dups): New function.
2980         (build_cookies_request): Use it.
2981         (build_cookies_request): Set chain_store_size after reallocating
2982         all_chains.
2983         (check_domain_match): Annotated for easier future debugging.
2984         (store_cookie): In the debug message, print whether the cookie is
2985         permanent.
2986
2987 2001-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
2988
2989         * http.c (http_loop): Reset no_truncate before deciding whether to
2990         set it.
2991         (gethttp): Further clarify "-c conflicts with existing file" error
2992         message, based on input from Herold Heiko.
2993
2994 2001-05-07  Hrvoje Niksic  <hniksic@arsdigita.com>
2995
2996         * http.c (http_loop): If restval is set, set no_truncate to 1
2997         unconditionally.
2998
2999 2001-05-02  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3000
3001         * ftp-ls.c (ftp_parse_winnt_ls): Assure months are being correctly
3002         converted. Pointed out by <Stefan.Weil@de.heidelberg.com>.
3003         (ftp_parse_vms_ls): Ditto.
3004
3005 2001-04-30  Hrvoje Niksic  <hniksic@arsdigita.com>
3006
3007         * init.c (cmd_address): Zero SIN before using it; apparently
3008         needed on *BSD.
3009
3010 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3011
3012         * ftp.c (ftp_loop_internal): Don't set NO_TRUNCATE if the file is
3013         empty.
3014
3015 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3016
3017         * main.c (main): Make `--cookies' respect its argument.
3018
3019 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
3020
3021         * main.c (main): Removed undocumented option `--email-address'.
3022
3023         * netrc.c: Use the latest read_whole_line.
3024
3025         * init.c (defaults): Set opt.ftp_pass to "-wget@".
3026
3027         * mswindows.c (pwd_cuserid): Ditto.
3028
3029         * utils.c (pwd_cuserid): Removed.
3030
3031         * host.c (ftp_getaddress): Removed.
3032
3033 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
3034
3035         (http_loop): Allocate space for filename_plus_orig_suffix with
3036         alloca; this is more efficient and removes the need to free it
3037         before each and every return.
3038
3039 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
3040
3041         * http.c (gethttp): Return RETRUNNEEDED when the retrieval is
3042         unneeded because the file is already there and fully downloaded,
3043         and -c is specified.
3044         (http_loop): Handle RETRUNNEEDED.
3045
3046         * wget.h (uerr_t): New value RETRUNNEEDED.
3047
3048         * http.c (http_loop): Set no_truncate for files that both exist
3049         and are non-empty.
3050         (gethttp): Consider the download finished when restval >= contlen,
3051         not only when restval==contlen.
3052         (gethttp): Handle redirection before giving up due to -c.
3053         (gethttp): Clarify error message which explains that -c will not
3054         truncate the file.
3055         (gethttp): When returning CONTNOTSUPPORTED, don't forget to free
3056         the stuff that needs freeing and release the socket.
3057
3058 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3059
3060         * main.c (print_help): Wget booleans accept "off", not "no".
3061
3062 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3063
3064         * http.c (http_loop): If allow_cache is zero, always disable
3065         caching, not only when retrieving through proxy.
3066
3067         * init.c: Ditto.
3068
3069         * options.h (struct options): Rename proxy_cache to allow_cache.
3070
3071 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3072
3073         * http.c (mktime_from_utc): Improve documentation.
3074         (http_atotm): Put format strings into a separate array.
3075
3076 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3077
3078         * safe-ctype.h: Instead of throwing #error when isalpha is
3079         defined, redefine it to something that will throw a compile-time
3080         error if actually *used*.  Do the same for the rest of the
3081         standard C macros.
3082
3083 2001-04-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3084
3085         * url.c (getproxy): Ignore empty proxy vars.
3086
3087 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3088
3089         * http.c (http_loop): Would load cookies every time.
3090
3091         * cookies.c (load_cookies): Handle cookies whose values contain
3092         embedded spaces.
3093
3094 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3095
3096         * utils.c: Define each DIGITS_* in one line.
3097
3098 2001-04-25  Roger L. Beeman  <beeman@cisco.com>
3099
3100         * http.c (http_atotm): Initialize t.tm_isdst to 0.
3101         (mktime_from_utc): Prevent mktime() from having discontinuities at
3102         DST transition points.
3103
3104 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3105
3106         * html-url.c (get_urls_html): Fix documentation.
3107
3108 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3109
3110         * url.c (UNSAFE_CHAR): Reimplement using a static table.
3111         (url_init): Removed.
3112         (init_unsafe_char_table): Removed.
3113
3114 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3115
3116         * snprintf.c (dopr): Replace ISDIGIT with '0' <= ch && ch <= '9'.
3117
3118 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3119
3120         * utils.c: Document timer functions.
3121
3122         * retr.c (rate): Use it.
3123         (rate): Print in GB/s if transfer rate exceeds 1 GB/s.
3124
3125         * utils.c (wtimer_granularity): New function.
3126
3127 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3128
3129         * retr.c (show_progress): Ditto.
3130
3131         * ftp.c (getftp): Ditto.
3132
3133         * http.c (gethttp): Use new timer functions.
3134
3135         * utils.c (wtimer_allocate): New function.
3136         (wtimer_new): Ditto.
3137         (wtimer_delete): Ditto.
3138         (wtimer_reset): Ditto.
3139         (wtimer_elapsed): Ditto.
3140
3141 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3142
3143         * utils.c (long_to_string): New, faster version.  Favors smaller
3144         numbers; much of the calculation is now done at compile-time.
3145
3146 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3147
3148         * utils.c (numdigit): Handle negative numbers.
3149
3150 2001-04-23  Hrvoje Niksic  <hniksic@arsdigita.com>
3151
3152         * retr.c (show_progress): Print the download rate even when the
3153         percentages are not available.
3154
3155 2001-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
3156
3157         * ftp.c (getftp): Adjust expected_bytes if the length is
3158         authoritative.
3159
3160 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3161
3162         * url.c: Don't declare `construct'.
3163
3164         * hash.c (grow_hash_table): Speed up rehashing; inline storing of
3165         mappings to new locations.
3166         (hash_table_new): Make resize_threshold a field in the hash table,
3167         so we don't have to recalculate it in each hash_table_put.
3168         (grow_hash_table): Update resize_threshold.
3169         (MAX): Remove unused macro.
3170         (prime_size): Made static.
3171
3172 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3173
3174         * retr.c (retrieve_url): Call uri_merge, not url_concat.
3175
3176         * html-url.c (collect_tags_mapper): Call uri_merge, not
3177         url_concat.
3178
3179         * url.c (mkstruct): Use encode_string instead of xstrdup followed
3180         by URL_CLEANSE.
3181         (path_simplify_with_kludge): Deleted.
3182         (contains_unsafe): Deleted.
3183         (construct): Renamed to uri_merge_1.
3184         (url_concat): Renamed to uri_merge.
3185
3186 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3187
3188         * url.c (str_url): Use encode_string instead of the unnecessary
3189         CLEANDUP.
3190         (encode_string_maybe): New function, returns input string if no
3191         encoding is needed.
3192         (encode_string): Call encode_string_maybe to do the dirty work,
3193         xstrdup if no work needed.
3194
3195 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3196
3197         * wget.h (XDIGIT_TO_xchar): Define here.
3198
3199         * url.c (decode_string): Use new name.
3200         (encode_string): Ditto.
3201
3202         * http.c (XDIGIT_TO_xchar): Rename HEXD2asc to XDIGIT_TO_xchar.
3203         (dump_hash): Use new name.
3204
3205         * wget.h: Rename ASC2HEXD and HEXD2ASC to XCHAR_TO_XDIGIT and
3206         XDIGIT_TO_XCHAR respectively.
3207
3208 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3209
3210         * init.c: Include cookies.h.
3211
3212         * cookies.h: Declare cookies_cleanup.
3213
3214         * cookies.c (check_domain_match): Remove unused variable.
3215         (save_cookies): Remove extraneous argument from debug statement.
3216
3217         * host.c (same_host): Don't call skip_url.
3218
3219         * url.c (skip_url): Removed.  Removed its calls from various
3220         functions in url.c.
3221
3222 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3223
3224         * cookies.c (unsigned_string_hash): Use the new code in
3225         string_hash as reference.
3226
3227         * hash.c (hash_table_map): Allow deletion and change of the
3228         element processed by MAPFUN.
3229         (string_hash): Use the function from glib.
3230
3231 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3232
3233         * config.h.in: Include #undef stub.
3234
3235         * hash.c (hash_table_remove): Rewrite to actually clear deleted
3236         entries instead of just marking them as deleted.
3237
3238 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3239
3240         * hash.h: Declare hash_table_get_pair and hash_table_count.
3241
3242 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3243
3244         * cookies.c: Declare http_atotm.
3245
3246 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3247
3248         * ftp-ls.c (ftp_parse_unix_ls): Use octal constants for
3249         permissions.  A compiler that doesn't accept octal constants is
3250         seriously broken and shouldn't be used -- octal constants were
3251         present in K&R C!
3252
3253 2001-01-20  Karl Eichwalder  <ke@suse.de>
3254
3255         * Makefile.in: Provide and use DESTDIR according to the Coding
3256         Standards.
3257
3258 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3259
3260         * ftp-ls.c (ftp_parse_vms_ls): Make seconds optional in time
3261         specification.
3262
3263 2001-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3264
3265         * url.c (parseurl): Don't strip trailing slash when u->dir is "/"
3266         because that strips the *leading* slash, thus forcing relative
3267         FTP retrieval.
3268
3269 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3270
3271         * ftp.c (getftp): Convert initial FTP directory from VMS to UNIX
3272         notation for VMS servers. 
3273         (ftp_retrieve_dirs): Do not prepend '/' to f->name when
3274         odir is an empty string.
3275
3276 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3277
3278         * ftp-ls.c (ftp_parse_winnt_ls): Made the fix for AM/PM more
3279         effective. Suggested by Edward J. Sabol.
3280
3281 2001-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3282
3283         * cookies.c (build_cookies_request): Use and sort cookies from all
3284         matching domains.
3285         (build_cookies_request): Check for duplicates before generating
3286         the `Cookies' header.
3287
3288         * main.c (main): Don't load cookies here.
3289         (main): Make loadcookies and savecookies call the correct command.
3290
3291         * http.c (http_loop): Load cookies on-demand.
3292
3293 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3294
3295         * http.c (gethttp): Fix indentation of SSL ifdef.
3296
3297 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3298
3299         * ftp.c (ftp_retrieve_dirs): Don't forcibly prepend "/" to u->dir;
3300         that hack is no longer necessary.
3301         (getftp): Prepend initial directory to *non*-absolute u->dir's.
3302
3303 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3304
3305         * init.c (cmd_file): New function.
3306         (enable_tilde_expansion): New variable.
3307         (run_wgetrc): Use it.
3308         (cmd_file): Use it.
3309
3310 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3311
3312         * init.c: Include cookie-related options.
3313
3314         * main.c (main): Include cookie-specific options.
3315         (main): Load cookies before download is finished.
3316         (main): Save cookies when done.
3317
3318         * http.c (gethttp): Process the `Set-Cookie' header.
3319         (gethttp): Include cookies in the response.
3320
3321         * cookies.c: New file.
3322
3323 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3324
3325         * utils.c (datetime_str): New function.
3326
3327 2001-04-08  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3328
3329         * ftp-ls.c (ftp_parse_winnt_ls): The AM/PM change did assume
3330         12:01PM == 00:01, which was obviously wrong. Taken care of this
3331         anomaly.
3332
3333         * ChangeLog: Removed an excess conflict marker. Reformatted the
3334         entry by Philipp Thomas from 2001-03-09.
3335
3336         * ftp-ls.c (ftp_parse_winnt_ls): Ensure that adjusted PM hours lay
3337         between 0 and 23. Elminate unused variable `sec'.
3338
3339 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3340
3341         * hash.c (hash_table_count): New function.
3342
3343 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3344
3345         * utils.c (read_file): Cast MAP_FAILED to char *.  Enforced by
3346         Digital Unix cc.
3347
3348 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3349
3350         * config.h.in: Oops, do the namespace tweaks only on systems we
3351         know about.
3352
3353 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3354
3355         * hash.c: Include <string.h>.
3356
3357 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3358
3359         * config.h.in: Define "compilation environment" options that work
3360         under Linux and Solaris.  To be reviewed on other OS'es.
3361
3362 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3363
3364         * http.c (gethttp): Prepend literal newline with `\n\'.
3365
3366 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3367
3368         * sysdep.h: Don't define VERY_LONG_FORMAT.
3369
3370         * utils.c (very_long_to_string): New function.
3371         (legible_very_long): Use it; don't use VERY_LONG_FORMAT.
3372
3373 2001-04-04  Christian Fraenkel  <christian.fraenkel@gmx.net>
3374
3375         * url.c (parse_uname): Would run past the end of the string if the
3376         username was present, but the URL did not contain a slash, e.g.
3377         http://foo:bar@myhost.
3378
3379 2001-04-03  KOJIMA Hajime  <kjm@rins.ryukoku.ac.jp>
3380
3381         * http.c (http_atotm): Use %A instead of %a to match full
3382         weekday.  (On most systems there is no difference.)
3383
3384 2001-04-03  Paul Bludov  <paul@ozero.net>
3385
3386         * mswindows.c (sleep): Use SleepEx() instead of Sleep().
3387         (ws_changetitle): Use alloca() instead of malloc() to avoid memory
3388         leak.
3389         (ws_mypath): Use GetModuleFileName instead of argv[0].
3390         (ws_startup): Use data.wVersion for comparison.
3391
3392 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3393
3394         * http.c (http_loop): Ditto.
3395
3396         * ftp.c (ftp_loop_internal): Made the check whether to continue
3397         retrieval `-O'-friendly.
3398
3399 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3400
3401         * netrc.c (parse_netrc): Don't trim the line endings explicitly;
3402         they will be handled as whitespace.
3403         (parse_netrc): Correctly handle lines that end with whitespace.
3404
3405 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3406
3407         * retr.c (retrieve_url): New variable global_download_count used
3408         to identify first retrieval.
3409
3410         * ftp.c (getftp): Ditto.
3411
3412         * http.c (gethttp): Rewind opt.dfp only on first retrieval.
3413
3414 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3415
3416         * init.c (cmd_address): Heap-allocate the address that gets stored
3417         to CLOSURE.  Old code would simply assign an address on the stack.
3418
3419 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
3420
3421         * ftp.c (ftp_get_listing): Propagate error status.
3422         (ftp_retrieve_glob): Use it.
3423         (ftp_loop): Ditto.
3424
3425 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
3426
3427         * main.c (main): Add -C to the string that is the third arg to
3428         getopt_long().
3429
3430 2001-04-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3431
3432         * ftp.c (getftp): Don't start the download from scratch if `-c'
3433         was specified, but the file is already fully downloaded.
3434
3435         * http.c (gethttp): Don't truncate a pre-existing file if `-c' was
3436         specified and the server doesn't support continued download.
3437         (gethttp): Don't start the download from scratch if `-c' was
3438         specified, but the file is already fully downloaded.
3439
3440 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
3441
3442         (recursive_retrieve): Don't clear the hash tables at this point at
3443         all; it interferes with the normal operation of register_download.
3444
3445 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
3446
3447         * recur.c (recursive_retrieve): Clear the hash tables only when
3448         they are defined.
3449
3450 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
3451
3452         * http.c (gethttp): Make sure the socket is closed with
3453         CLOSE_INVALIDATE before we have drained the body.
3454
3455 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
3456
3457         * retr.c (retrieve_url): Call register_download() for downloaded
3458         files and register_html() for downloaded HTML files.
3459
3460         * recur.c (register_download): New function; register here that a
3461         file has been downloaded, rather than in recursive_retrieve().
3462         (register_html): New function; enqueue the location of HTML files
3463         here rather than in recursive_retrieve().
3464
3465 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
3466
3467         * main.c (print_help): Use multiple fputs instead of a single ugly
3468         printf().
3469         (main): Consistently assign numbers >128 to options without a
3470         corresponding character.
3471
3472 2001-03-09  Philipp Thomas  <pthomas@suse.de>
3473
3474         * safe-ctype.h: New file. Locale independent ctype.h replacement
3475         taken from libiberty.
3476
3477         * safe-ctype.c: New file. Tables for above.
3478
3479         * Makefile.in: Add safe-ctype$o to OBJS.  Add dependencies for
3480         safe-ctype$o.
3481
3482         * cmpt.c: Remove include of ctype.h. Use ISSPACE instead of
3483         isspace.
3484
3485         * ftp-basic.c: Don't include ctype.h.
3486
3487         * ftp-ls.c: Likewise.
3488
3489         * ftp.c: Likewise.
3490
3491         * headers.c: Likewise.
3492
3493         * host.c: Likewise.
3494
3495         * html-parse.c: Likewise.
3496
3497         * html-url.c: Likewise.
3498
3499         * http.c: Likewise.
3500
3501         * init.c: Likewise.
3502
3503         * main.c: Likewise. Set LC_CTYPE along with LC_MESSAGES.
3504
3505         * netrc.c: Likewise.
3506
3507         * recur.c: Likewise.
3508
3509         * retr.c: Likewise.
3510
3511         * snprintf.c: Replace ctype.h with safe-ctype.h. Use ISDIGIT
3512         instead of isdigit.
3513
3514         * sysdep.h: Remove defines of ctype macros as they aren't needed
3515         for safe-ctype-h.
3516
3517         * url.c: Don't include ctype.h.
3518
3519         * utils.c: Likewise.
3520
3521         * wget.h: Include safe-ctype.h.
3522
3523 2001-03-27  Dan Harkless  <wget@harkless.org>
3524
3525         * Makefile.in: Moved top_builddir out of "User configuration
3526         section" of top Makefile and analogous spot in this one.
3527
3528 2001-03-17  Dan Harkless  <wget@harkless.org>
3529
3530         * Makefile.in: Include @SSL_INCLUDES@ substition in INCLUDES.
3531         Define top_builddir.  Link wget with libtool so the user doesn't
3532         have to supply a bunch of custom environment variables to 
3533         correctly link with the OpenSSL shared libraries.
3534
3535 2001-03-06  Hack Kampbjorn  <hack@hackdata.com>
3536
3537         * http.c (gethttp): skip :port in host header if it is the
3538         DEFAULT_HTTPS_PORT when using SSL.
3539
3540         * url.c: move the #define of DEFAULT_HTTP_PORT, DEFAULT_FTP_PORT
3541         and DEFAULT_HTTPS_PORT to the header file so it can be use in the
3542         rest of the code. 
3543         * url.h: Ditto
3544
3545 2001-03-01  Jonas Jensen  <bones@huleboer.dk>
3546
3547         * retr.c (show_progress): Correctly calculate the number of bytes
3548         in the first line of the download that have been actually
3549         downloaded in this run.
3550
3551 2001-02-23  Dan Harkless  <wget@harkless.org>
3552
3553         * main.c (print_help): --help documentation for -N said it would
3554         re-download files if they had the _same_ timestamp on server.
3555         (print_help): -nr belongs in "FTP options" section of --help
3556         output, not "Recursive retrieval" section.  Alphabetized FTP
3557         options by long option name.
3558
3559 2001-02-16  Dan Harkless  <wget@harkless.org>
3560
3561         * init.c (commands): Hack Kampbjørn <hack@hackdata.com> discovered
3562         that "httpsproxy" had been inserted into commands[] out of
3563         alphabetical order, causing "BUG: unknown command `httpuser'".
3564
3565 2001-02-13  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3566
3567         * ftp-ls.c (ftp_parse_ls): Added support of ST_MACOS (Unix-like
3568         listing without correct permissons).
3569
3570         * ftp.h (stype): Added ST_MACOS to identify the NetPresenz MacOS
3571         FTP server. 
3572
3573         * ftp.c (ftp_retrieve_list): New mirroring logic: A remote file
3574         shall be donwloaded only when it's newer than the local copy or
3575         when it has the same timeestamp but its size is different. ST_VMS
3576         and ST_MACOS as special cases that lie about file size. 
3577
3578         * ftp-ls.c (ftp_parse_ls): Support for ST_MACOS.
3579
3580         * Makefile.in: Removed dependency on ftpparse library due to unclear
3581         copyright issues and absence of any feedback to our queries. 
3582
3583         * ftp-ls.c: Removed dependency on ftpparse library due to unclear
3584         copyright issues and absence of any feedback to our queries.   
3585         (ftp_parse_ls): Added a warning message when remote server system
3586         does not seem to be suported by wget. 
3587         (ftp_parse_vms_ls): New function for parsing VMS ftp
3588         server listing output.
3589         (clean_line): New function responsible for removing
3590         end-of-line characters from FTP listing texts.
3591
3592         * ftp.c (getftp): Global variables pwd and host_type are now
3593         member of the ccon structure under names ccon.id and ccon.rs. 
3594
3595         * ftp.h (struct ccon): Added formed global variables from ftp.c,
3596         enum stype rs (remote system identification) and char *id (initial
3597         working directory), as suggested by Hrvoje.
3598
3599         * url.c (parse_uname): Added support for passwords containing '@'
3600         characters.
3601         (skip_uname): Ditto.
3602
3603 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3604
3605         * ftp.c (ftp_loop): Reset con.
3606
3607 2001-01-06  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3608
3609         * url.c (parse_uname): Added support for passwords containing '@'
3610         characters.
3611         (skip_uname): Ditto.
3612
3613 2001-02-11  Hack Kampbjørn  <hack@hackdata.com>
3614
3615         * url.c (parseurl): Debug-print u->ftp_type.
3616
3617 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3618
3619         * ftp.c (ftp_loop_internal): Disable padding.
3620         (getftp): Ditto.
3621
3622         * http.c (http_loop): Disable padding.
3623
3624         * retr.c (show_progress): Use it to enable padding.
3625
3626         * retr.c (rate): Optional parameter PAD for padding the rate.
3627
3628 2001-02-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3629
3630         * retr.c (show_progress): Make sure that the last output line
3631         includes progress.
3632
3633 2001-02-10  Jonas Jensen  <bones@huleboer.dk>
3634
3635         * retr.c (show_progress): Print the download rate along with the
3636         percentages.
3637         Along with Anders Thorsby <anders@thorsby.dk>.
3638
3639 2001-02-10  Tim Mooney  <mooney@dogbert.cc.ndsu.NoDak.edu>
3640
3641         * ftp.h: Rename enums `command' to `wget_ftp_command' and
3642         `fstatus' to `wget_ftp_status' because old names clash with Tru64
3643         net/if.h.
3644
3645 2001-02-08  Christian Fraenkel <christian.fraenkel@gmx.net>
3646
3647         * gen_sslfunc.c: verify_callback is now static
3648
3649         * gen_sslfunc.c (init_ssl): load certificate if specified
3650
3651         * gen_sslfunc.c (ssl_printerr): new function
3652
3653         * init.c: added new --sslcertfile and --sslcertkey switches
3654
3655         * main.c: ditto
3656
3657         * options.h: ditto
3658
3659         * http.c (gethttp): abort when init_ssl fails
3660
3661 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
3662
3663         * mswindows.h: Include <malloc.h>; it's needed for alloca().
3664
3665 2001-01-10  Dan Harkless  <wget@harkless.org>
3666
3667         * url.c (str_url): Clarified this function's comment header after
3668         Hrvoje answered my question on the list as to when hide != 1.
3669         Also Hrvoje pointed out I need to use xstrdup() on the string literal.
3670
3671 2001-01-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3672
3673         * connect.c (bindport): Declare addrlen as int.  Diagnosed by
3674         Drazen Kacar <dave@arsdigita.com>.
3675         (conaddr): Ditto.
3676
3677 2001-01-09  Dan Harkless  <wget@harkless.org>
3678
3679         * html-url.c: A bunch of fixup of `--page-requisites'-related
3680         comments to reflect Hrvoje's changes to my code when transplanting
3681         it into this new file, to fix spelling mistakes, to clarify, etc.
3682
3683         * url.c (write_backup_file): Clarified a comment.
3684         (str_url): Henrik van Ginhoven pointed out on the list that we
3685         shouldn't give away the number of characters in the password by
3686         replacing each character with a 'x'.  Use "<password>" instead.
3687
3688         * ftp.c (ftp_retrieve_dirs): The bug where recursion into FTP
3689         directories didn't work if logging in put you in a directory other
3690         than "/" is fixed now.  Removed the comment here warning of the bug.
3691
3692         * main.c (print_help): --continue's description was misleading.
3693         We don't "restart", we "resume".  Also, better to say
3694         "partially-downloaded file" rather than just "existing file".
3695
3696 2001-01-06  Dan Harkless  <wget@harkless.org>
3697
3698         * ChangeLog: The '[Not in 1.6 branch.]'s were decided not to be
3699         the best way to go about my aim.  Removed them in favor of:
3700
3701         * ChangeLog-branches/1.6_branch.ChangeLog: New file.
3702
3703 2001-01-04  Hrvoje Niksic  <hniksic@arsdigita.com>
3704
3705         * url.c (replace_attr): New function, to be used by both
3706         TO_COMPLETE and TO_RELATIVE case in convert_links.
3707         (find_fragment): New function for finding URL fragments.
3708         (replace_attr): Better handle the case where the original string
3709         is not quoted.  Use find_fragment.
3710         (convert_links): Use replace_attr().
3711
3712 2000-12-31  Dan Harkless  <wget@harkless.org>
3713
3714         * ChangeLog: Since this flat file doesn't have multiple branches,
3715         looking at the dates would make you think that things went into
3716         1.6 that actually just went into the 1.7-dev branch.  Added "[Not
3717         in 1.6 branch.]" where appropriate to clarify.
3718         
3719 2000-12-30  Dan Harkless  <wget@harkless.org>
3720
3721         * ftp.c, http.c:  Applied Hack Kampbjørn <hack@hackdata.com>'s
3722         patch to deal with h_errno not being defined in netdb.h under Cygwin.
3723
3724 2000-12-18  Csaba Raduly  <csaba.raduly@sophos.com>
3725
3726         * sysdep.h: Include <malloc.h> and <io.h> under Watcom.
3727
3728 2000-12-17  Igor Khristophorov  <igor@atdot.org>
3729
3730         * http.c (check_end): Fix test for '+' or '-'.
3731
3732 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
3733
3734         * url.c (parseurl): Rename inner loop var from i to ind to avoid
3735         clash with the function top-level-declared variable i.
3736         (str_url): Likewise, rename inner-loop i to j.
3737
3738         * recur.c (parse_robots): Don't declare LEN at top of function.
3739         (robots_match): Renamed parameter FORBIDDEN to avoid hiding of
3740         global variable.
3741
3742         * main.c (main): Change erroneous use of bitwise and to logical.
3743
3744         * init.c (cmd_address): Don't heap-allocate `sin'; it can be on
3745         the stack because it will be copied to closure.
3746
3747         Thanks to Csaba Raduly's run of PC-LINT over the sources.
3748
3749 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
3750
3751         * http.c (basic_authentication_encode): Use xmalloc(), not
3752         malloc().  Thanks to Csaba Raduly's run of PC-LINT over the
3753         sources.
3754
3755 2000-12-17  Csaba Raduly  <csaba.raduly@sophos.com>
3756
3757         * sysdep.h: Test for __EMX__ rather than for EMXOS2 for OS/2
3758         compilation.
3759
3760 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
3761
3762         * mswindows.c: Include <errno.h>.
3763
3764         * gen_sslfunc.c: Include <errno.h>.
3765
3766         * ftp-basic.c: Don't attempt to declare errno or h_errno because
3767         they're not used.
3768
3769         * main.c: Include <errno.h> because errno is used.
3770
3771         * ftp.c: Ditto.
3772
3773         * http.c: Include <netdb.h> for h_errno.
3774
3775 2000-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3776
3777         * html-parse.c (advance_declaration): MSVC assert() chokes on
3778         '\"'.  Use '"' instead.
3779
3780 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3781
3782         * utils.c (xfree_real): Removed.
3783         (xfree_debug): Just call free().
3784
3785         * wget.h (xfree): Make it an alias for free.
3786
3787 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3788
3789         * http.c (http_loop): Furthermore, touch output_document only if
3790         it is known to be an existing regular file.
3791
3792 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3793
3794         * ftp.c (ftp_retrieve_list): Ditto.
3795
3796         * http.c (http_loop): Touch output_document if that is used for
3797         output.
3798
3799 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3800
3801         * http.c: Include gen_sslfunc.h after including Wget's headers.
3802         (persistent_available_p): Needed coma before `int ssl'.
3803
3804 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3805
3806         * ftp.c (ftp_loop_internal): Ditto.
3807
3808         * http.c (http_loop): Use it.
3809
3810         * retr.c (sleep_between_retrievals): New function that handles the
3811         logic of opt.wait and opt.waitretry.
3812
3813 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3814
3815         * rbuf.h: Implement only a single version of RBUF_READCHAR, using
3816         rbuf_read_bufferful when the buffer is depleted.
3817
3818         * rbuf.c (rbuf_read_bufferful): New function.
3819
3820 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3821
3822         * gen_sslfunc.h: Use ansi2knr style function declarations.
3823
3824         * gen_sslfunc.c: Reformat according to the GNU coding standards.
3825         More should be done.
3826
3827         * http.c (persistent_available_p): Place the cheap SSL test nearer
3828         the top of the function.
3829         (CLOSE_FINISH, CLOSE_INVALIDATE): Define only one version of each.
3830
3831 2000-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
3832
3833         * url.c (init_unsafe_char_table): Reinstate space as an unsafe
3834         char.
3835
3836 2000-12-03  Christian Fraenkel <christian.fraenkel@gmx.net>
3837
3838         * Makefile.in: added gen_sslfunc object
3839         * config.h.in: added HAVE_SSL define
3840         * connect.c: changed select_fd from static int to int
3841         * connect.h: ditto
3842         * gen_sslfunc.h: New file
3843         * gen_sslfunc.c: ditto
3844         * http.c: added HTTPS fuctionality
3845         * retrc.c: ditto
3846         * url.c: ditto
3847         * init.c: added opt.httpsproxy
3848         * options.h: ditto
3849         * rbuf.h: added alternate rbuf struct
3850         * wget.h: added CONSSLERR
3851         * rbuf.c: ditto
3852
3853         * http.c: Added HTTPS fuctionality.
3854
3855         * retrc.c: Ditto.
3856
3857         * url.c: Ditto.
3858
3859         * init.c: Added opt.httpsproxy.
3860
3861         * options.h: Ditto.
3862
3863         * rbuf.h: Added alternate rbuf struct.
3864
3865         * wget.h: Added CONSSLERR.
3866
3867         * rbuf.c: Ditto.
3868
3869 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3870
3871         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
3872         "ignore_perms" to ignore file and directory permissions for
3873         Windows NT FTP server listings.
3874         (ftp_parse_winnt_ls): New function.
3875         (ftp_parse_ls): Parses UNIX and Windows NT listings
3876         separately. Simple heuristics for distinguishing between UNIX and
3877         MS-DOS-like FTP listing provided by Windows NT FTP service.
3878
3879 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3880
3881         * ftpparse.c, ftpparse.h: New files.
3882
3883         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
3884         only. Use ftp_parse_nonunix_ls otherwise.
3885         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
3886         exotic FTP servers.
3887
3888         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
3889         FTP servers.
3890
3891         * ftp.c: New static wariables host_type, pwd, and pwd_len. 
3892         (getftp): Support for VMS. Support for FTP servers that do not
3893         place you in the root directory after login.
3894         (ftp_retrieve_list): VMS is silent about the real file size, issue
3895         a more appropriate message.
3896         (ftp_get_listing): Pass host_type to ftp_parse_ls.
3897
3898         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
3899
3900 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3901
3902         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
3903         "ignore_perms" to ignore file and directory permissions for
3904         Windows NT FTP server listings.
3905         (ftp_parse_winnt_ls): New function.
3906         (ftp_parse_ls): Parses UNIX and Windows NT listings
3907         separately. Simple heuristics for distinguishing between UNIX
3908         and MS-DOS-like FTP listing provided by Windows NT FTP service.
3909
3910 2000-11-29  John Summerfield  <summer@OS2.ami.com.au>
3911
3912         * netrc.c (parse_netrc): Get rid of line ending.
3913
3914 2000-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3915
3916         * ftp.c (ftp_retrieve_list): Undo typo "fix" until resolution by
3917         Dan.
3918
3919 2000-11-24  Karl Eichwalder  <ke@suse.de>
3920
3921         * main.c (print_help): Untabify.
3922
3923 2000-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
3924
3925         * utils.c (xrealloc_debug): Do the unregister/register thing only
3926         if the pointer has actually changed.
3927         (xmalloc_real): Declare `static' in DEBUG_MALLOC builds.
3928         (xfree_real): Ditto.
3929         (xrealloc_real): Ditto.
3930         (xstrdup_real): Ditto.
3931
3932 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
3933
3934         * ftp.c (getftp): ftp_getaddress() returns a malloc'ed copy of the
3935         string; no need to strdup() it.
3936         (getftp): Make pwd_len a local variable.
3937         (ftp_loop): Free PWD before returning.
3938
3939         * init.c (cleanup): Free opt.ftp_pass only if it's non-NULL.
3940
3941 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
3942
3943         * all: Use xfree() instead of free.
3944
3945         * utils.c (xfree): New function.
3946
3947 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
3948
3949         * url.c (convert_links): HTML-quote the converted string.
3950
3951         * utils.c (html_quote_string): Move here from ftp-ls.c
3952         (html_quote_string): Make non-static; declare in utils.h.
3953         (html_quote_string): Convert SP to &#32;.
3954
3955 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
3956
3957         * ftp.c (getftp): Reformat Jan's code according to GNU coding
3958         standards; remove (debugging?) printf's; use '\0' for the ASCII
3959         zero character.  Use alloca() instead of malloc() for
3960         inter-function temporary allocations.
3961
3962 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3963
3964         * ftpparse.c, ftpparse.h: New files.
3965
3966         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
3967         only. Use ftp_parse_nonunix_ls otherwise.
3968         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
3969         exotic FTP servers.
3970
3971         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
3972         FTP servers.
3973
3974         * ftp.c: New static wariables host_type, pwd, and pwd_len. 
3975         (getftp): Support for VMS. Support for FTP servers that do not
3976         place you in the root directory after login.
3977         (ftp_retrieve_list): VMS is silent about the real file size, issue
3978         a more appropriate message.
3979         (ftp_get_listing): Pass host_type to ftp_parse_ls.
3980
3981         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
3982
3983 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
3984
3985         * hash.c (hash_table_put): Don't overwrite deleted mappings.
3986
3987 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
3988
3989         * hash.c (find_mapping): New function.
3990         (hash_table_get): Use it.
3991         (hash_table_get_pair): Ditto.
3992         (hash_table_exists): Ditto.
3993         (hash_table_remove): Ditto.
3994         (hash_table_remove): Really delete the entry if the mapping
3995         following LOCATION is empty.
3996
3997         * utils.c (string_set_add): Check whether the element has existed
3998         before.
3999
4000         * hash.c (hash_table_get_pair): New function.
4001
4002 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4003
4004         * http.c (http_process_type): Ignore trailing whitespace; use
4005         strdupdelim().
4006
4007         * recur.c (recursive_retrieve): Use the new `convert' field.
4008         (convert_all_links): Ditto.
4009         (convert_all_links): Don't respect meta_disallow_follow.
4010
4011         * html-url.c (handle_link): Fill out link_relative_p and
4012         link_complete_p.
4013
4014         * url.h (struct _urlpos): Make elements more readable.
4015
4016         * recur.c (recursive_retrieve): Call slist_prepend instead of
4017         slist_append.
4018         (convert_all_links): Call slist_nreverse before iterating through
4019         urls_html.
4020
4021         * utils.c (slist_prepend): New function.
4022         (slist_nreverse): Ditto.
4023
4024 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4025
4026         * http.c (check_end): Constify.
4027
4028 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4029
4030         * http.c (http_loop): If username and password are known, try the
4031         `Basic' authentication scheme by default.
4032
4033         * connect.h: Declare test_socket_open.
4034
4035 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4036
4037         * version.c: Bump version from 1.5.3+dev to 1.7-dev.
4038
4039 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4040
4041         * http.c (gethttp): Don't use the return value of sprintf().
4042         (gethttp): Inhibit keep-alive if opt.http_keep_alive is 0.
4043
4044 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4045
4046         * recur.c (recursive_retrieve): Print the "so we don't load"
4047         debugging message only if we really don't load.
4048
4049         * http.c (gethttp): Inhibit keep-alive if proxy is being used.
4050         (gethttp): Don't request keep-alive if keep-alive is inhibited.
4051
4052 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4053
4054         * http.c (gethttp): Make the HTTP persistent connections more
4055         robust.
4056
4057 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4058
4059         * retr.c (get_contents): If use_expected, make sure that the
4060         appropriate amount of data is being read.
4061
4062         * http.c (gethttp): Check for both `Keep-Alive: ...' and
4063         `Connection: Keep-Alive'.
4064
4065         * wget.h (DEBUGP): Call debug_logprintf only if opt.debug is
4066         turned on.
4067
4068 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4069
4070         * http.c (connection_available_p): Use it.
4071
4072         * connect.c (test_socket_open): New function.
4073
4074         * http.c (gethttp): Support persistent connections.  Based on the
4075         ideas, and partly on code, by Sam Horrocks <sam@daemoninc.com>.
4076         (register_persistent): New function.
4077         (connection_available_p): Ditto.
4078         (invalidate_connection): Ditto.
4079
4080 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4081
4082         * url.c (convert_links): Handle UREL2ABS case.
4083
4084         * recur.c (recursive_retrieve): Instead of the list
4085         urls_downloaded, use hash tables dl_file_url_map and
4086         dl_url_file_map.
4087         (convert_all_links): Use them to retrieve data.
4088
4089         * host.c (clean_hosts): Free the hash tables.
4090
4091         * main.c (private_initialize): Call host_init().
4092
4093         * host.c (store_hostaddress): Use a saner, hash table-based data
4094         model.
4095         (realhost): Ditto.
4096         (host_init): Initialize the hash tables.
4097
4098 2000-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
4099
4100         * utils.c (slist_append): Eviscerate NOSORT.  Hash tables are now
4101         used for what the sorted slists used to be used for.
4102         (slist_contains): Don't rely on the list being sorted.
4103         (slist_append): Simplify the code.
4104
4105         * recur.c (recursive_cleanup): Use free_string_set.
4106
4107         * utils.c (string_set_add, string_set_exists, string_set_free):
4108         New functions for easier freeing of hash tables whose keys are
4109         strdup'ed strings.
4110
4111         * recur.c (recursive_retrieve): Use the hash table functions for
4112         storing undesirable URLs.
4113
4114         * hash.c: New file.
4115
4116 2000-11-17  Hrvoje Niksic  <hniksic@arsdigita.com>
4117
4118         * main.c (private_initialize): Call url_init.
4119         (main): Call private_initialize.
4120
4121         * url.c (unsafe_char_table): New table.
4122         (UNSAFE_CHAR): Use it.
4123         (init_unsafe_char_table): New function.
4124         (url_init): New function; call init_unsafe_char_table.
4125
4126 2000-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
4127
4128         * mswindows.h: Define snprintf and vsnprintf to _snprintf and
4129         _vsnprintf respectively.
4130
4131 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
4132
4133         * config.h.in: Do the _XOPEN_SOURCE and _SVID_SOURCE things only
4134         on Linux.
4135
4136 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
4137
4138         * html-url.c (handle_link): Handle HTML fragment identifiers.
4139
4140         * recur.c (recursive_retrieve): If norobot info is respected and
4141         the file is specified not to be followed by robots, respect that.
4142
4143         * html-url.c (collect_tags_mapper): Handle <meta name=robots
4144         content=X>.  For us the important cases are where X is NONE or
4145         where X contains NOFOLLOW.
4146         (get_urls_html): Propagate that information to the caller.
4147
4148 2000-11-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4149
4150         * url.c (convert_links): Unlink the file we might be reading from
4151         before writing to it.
4152         (convert_links): Use alloca instead of malloc for
4153         filename_plus_orig_suffix.
4154
4155 2000-11-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4156
4157         * host.c (realhost): Add HOST to the list with quality==0 only if
4158         it wasn't already there.
4159         Based on analysis by Lu Guohan <feng@public.bjnet.edu.cn>.
4160
4161 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4162
4163         * url.c (get_urls_file): Ditto.
4164         (convert_links): Ditto.
4165
4166         * html-url.c (get_urls_html): Use read_file() instead of
4167         load_file().
4168
4169         * utils.c (read_file): New function, instead of the old
4170         load_file().
4171         (read_file_free): Ditto.
4172
4173         * url.c (findurl): Search only for the supported protocols.
4174         (convert_links): Use fwrite() when writing out a region of
4175         characters.
4176
4177 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4178
4179         * ftp-ls.c: Move html_quote_string and ftp_index here.
4180
4181         * url.c: Remove get_urls_html, since that's now in html-url.c.
4182
4183         * html-url.c: New file.
4184
4185         * html-parse.c: New file.
4186
4187 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4188
4189         * init.c (run_wgetrc): Don't bother killing off '\r' since
4190         pars_line() skips whitespace at end of line anyway.
4191         (parse_line): Oops, it didn't.  Now it does.
4192
4193         * recur.c (parse_robots): Ditto here.
4194
4195         * ftp-ls.c (ftp_parse_unix_ls): Kill off the newline character
4196         manually because read_whole_line no longer does.
4197
4198         * utils.c (read_whole_line): Rewrite to: a) use less memory
4199         (reallocates to needed size after work), b) work faster -->
4200         fgets() instead of getc, c) be more correct --> doesn't kill the
4201         newline character at the end of line.
4202
4203 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4204
4205         * init.c (comind): Initialize MAX to array size - 1.
4206
4207 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
4208
4209         * url.c (construct): Changed last_slash[-1] to *(last_slash - 1).
4210         Suggested by Edward J. Sabol.
4211
4212 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
4213
4214         * url.c (construct): Handle the case where host name is not
4215         followed by a slash.
4216
4217 2000-11-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4218
4219         * init.c: commands[] need to be sorted!  ("base" wasn't.)
4220
4221 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
4222
4223         * wget.h (DO_REALLOC_FROM_ALLOCA): Use braces to disambiguate
4224         `if'.
4225
4226 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
4227
4228         * url.c (construct): Insert unneeded initialization for the
4229         compiler to shut up.
4230
4231         * config.h.in: Define _XOPEN_SOURCE to 500 to get the prototype
4232         for strptime() (*duh*).  Define _SVID_SOURCE to get S_IFLNK which
4233         otherwise gets lost when you define _XOPEN_SOURCE.
4234
4235         * utils.c (touch): Include the file name in the error message.
4236         From Debian.
4237
4238 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
4239
4240         * log.c (logvprintf): Use vsnprintf() in all cases.  If necessary,
4241         resize the buffer to fit the formated message.  That way, messages
4242         of arbitrary size may be printed.
4243         (logvprintf): Use saved_append() to optionally log the last
4244         several lines of output.
4245         (logputs): Ditto.
4246         (log_close): Adapt to new data structures.
4247         (log_dump): Ditto.
4248         (redirect_output): Print messages to stderr, not to stdout.
4249
4250         * log.c (saved_append_1): New function.  Replaces the old logging
4251         system ("log all output until 10M characters") with a new, much
4252         more reasonable one ("log last screenful of text").
4253         (saved_append): New function; call saved_append_1.
4254         (free_log_line): New function.
4255
4256 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
4257
4258         * url.c (construct): Fix comment.
4259         (find_last_char): Document.
4260
4261 2000-11-04  Hrvoje Niksic  <hniksic@arsdigita.com>
4262
4263         * snprintf.c: New file.
4264
4265 2000-11-03  Hrvoje Niksic  <hniksic@arsdigita.com>
4266
4267         * wget.h: If HAVE_STDARG_H is not defined, don't declare argument
4268         types to logprintf() and debug_logprintf().
4269
4270 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4271
4272         * ftp.c (ftp_loop_internal): Hide the password from the URL when
4273         printing non-verbose.  Problem spotted by Dariusz Mlynarczyk
4274         <darekm@bydg.lomac.com.pl>.
4275
4276 2000-11-02  Junio Hamano  <junio@twinsun.com>
4277
4278         * ftp-basic.c (ftp_login): Make comparison case-insensitive.
4279
4280 2000-11-02  Tyler Riddle  <triddle@liquidmarket.com>
4281
4282         * http.c (known_authentication_scheme_p): Recognize NTML
4283         authentication.
4284         (create_authorization_line): Treat NTML the same as `Basic'.
4285
4286 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4287
4288         * retr.c (retrieve_url): Free url before returning.
4289         (retrieve_url): Free mynewloc before returning.
4290         Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
4291
4292 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4293
4294         * url.c (parseurl): Remove possible reading past the end of
4295         sup_protos[].  Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
4296
4297 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4298
4299         * main.c (main): In case of opt.downloaded overflowing, print
4300         <overflow> instead of a totally bogus random value.
4301
4302         * retr.c (retrieve_from_file): Ditto.
4303
4304         * recur.c (recursive_retrieve): Ditto.
4305
4306         * main.c (main): Ditto.
4307
4308         * http.c (http_loop): Ditto.
4309
4310         * ftp.c (ftp_loop_internal): Use downloaded_increase() instead of
4311         `+=', and downloaded_exceeds_quota() instead of the simple-minded
4312         check.
4313         (ftp_retrieve_list): Ditto.
4314         (ftp_retrieve_dirs): Ditto.
4315         (ftp_retrieve_glob): Ditto.
4316
4317         * retr.c (downloaded_increase): New function.  Notice overflows of
4318         opt.downloaded.
4319         (downloaded_exceeds_quota): Make sure that opt.downloaded is not
4320         used if it overflowed.
4321
4322         * options.h (struct options): New member downloaded_overflow.
4323
4324 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4325
4326         * wget.h (enum): Remove extra space after last enumeration.
4327
4328 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4329
4330         * main.c (main): Use legible_very_long() for printing
4331         opt.downloaded.
4332
4333         * utils.c (legible_1): New function that operates on strings and
4334         does the brunt of legible()'s work.
4335         (legible): Use legible_1().
4336         (legible_very_long): New function; dump the argument with
4337         sprintf(), and call legible_1().
4338
4339         * options.h (struct options): Use VERY_LONG_TYPE for
4340         opt.downloaded.
4341
4342         * sysdep.h (VERY_LONG_TYPE): Define it to have a 64-bit or greater
4343         type.
4344
4345         * config.h.in: Make sure that SIZEOF_LONG and SIZEOF_LONG_LONG get
4346         defined.  Define HAVE_LONG_LONG if long long is available.
4347
4348 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4349
4350         * utils.c (long_to_string): Update with a later, better version.
4351
4352 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4353
4354         * url.c (path_simplify_with_kludge): New function.
4355         (path_simplify_with_kludge): Disable it.  Instead...
4356         (parse_dir): ...make sure that at this point the right thing is
4357         done, i.e. that "query" part of the URL (?...) is always assigned
4358         to the file, never to the directory portion of the path.
4359
4360 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4361
4362         * retr.c (retrieve_url): Detect redirection cycles.
4363
4364 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4365
4366         * url.c (get_urls_html): Decode HTML entities using
4367         html_decode_entities.
4368
4369         * html.c (htmlfindurl): Don't count the `#' in numeric entities
4370         (&#NNN;) as an HTML fragemnt.
4371         (html_decode_entities): New function.
4372
4373 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4374
4375         * html.c (htmlfindurl): Fix recognition of # HTML fragments.
4376
4377 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4378
4379         * url.c (construct): Rewritten for clarity.  Avoids the
4380         unnecessary copying and stack-allocation the old version
4381         performed.
4382
4383 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
4384
4385         * ftp.c (getftp): Ditto.
4386
4387         * http.c (gethttp): Rewind the stream when retrying from scratch.
4388
4389 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
4390
4391         * retr.c (retrieve_url): Use url_concat() to handle relative
4392         redirections instead of /ad hoc/ code.
4393
4394         * url.c (url_concat): New function encapsulating weird
4395         construct().
4396         (urllen_http_hack): New function.
4397         (construct): When constructing new URLs, recognize that `?' does
4398         not form part of the file name in HTTP.
4399
4400 2000-10-13  Adrian Aichner  <adrian@xemacs.org>
4401
4402         * retr.c: Add msec timing support for WINDOWS.
4403         * retr.c (reset_timer): GetSystemTime() on WINDOWS.
4404         * retr.c (elapsed_time): Calculate delta time to msec on WINDOWS.
4405
4406 2000-10-27  Dan Harkless  <wget@harkless.org>
4407
4408         * retr.c (retrieve_url): Manually applied T. Bharath
4409         <TBharath@responsenetworks.com>'s patch to get wget to grok
4410         illegal relative URL redirects.  Reformatted and re-commented it.
4411
4412 2000-10-23  Dan Harkless  <wget@harkless.org>
4413
4414         * connect.c (make_connection and bindport): Manually applied Rob
4415         Mayoff <mayoff@dqd.com>'s 1.5.3 patch to add --bind-address,
4416         changing coding style to GNU's.
4417
4418         * ftp.c (ftp_loop_internal): --delete-after wasn't implemented for
4419         files downloaded via FTP.  Per a comment, .listing files were not
4420         counted towards number of bytes and files downloaded because they're 
4421         deleted anyway.  Well, they aren't under -nr, so count them then.
4422
4423         * init.c: Manually applied Rob Mayoff's 1.5.3 patch to add
4424         --bind-address, alphabetizing, changing coding style to GNU's,
4425         commenting, and renaming cmd_ip_address() to cmd_address() to
4426         imply hostnames also okay.
4427                 
4428         * main.c (main): --delete-after didn't delete the root of the
4429         tree.  Ignore --convert-links if --delete-after was specified.
4430         Manually applied Rob Mayoff's 1.5.3 patch to add --bind-address,
4431         fixing duplicate use of added-since-1.5.3 case value.
4432         (print_help): Clarified that --delete-after deletes local files.
4433         Rob forgot to add a line for his new --bind-address option.
4434                 
4435         * options.h (struct options): Manually applied Rob Mayoff's patch
4436         to add --bind-address (bind_address structure member).
4437                 
4438         * recur.c (recursive_retrieve): Improved comment; added DEBUGP().
4439         Ignore --convert-links if --delete-after was specified.
4440                 
4441         * retr.c (retrieve_from_file): Just added a DEBUGP().
4442                 
4443 2000-10-19  Dan Harkless  <wget@harkless.org>
4444
4445         * ftp.c (ftp_loop_internal): downloaded_file() enumerators changed.
4446         (getftp): Applied Piotr Sulecki <Piotr.Sulecki@ios.krakow.pl>'s
4447         patch to work around FTP servers that incorrectly respond to the
4448         "REST" command with the remaining size rather than the total file size.
4449                 
4450         * http.c (gethttp): Improved a comment and added code to tack on
4451         ".html" to text/html files without that extension when -E specified.
4452         (http_loop): Use new downloaded_file() enumerators and deal with
4453         the case of gethttp() called xrealloc() on u->local.
4454
4455         * init.c (commands): Added new "htmlextension" command.
4456         Also renamed John Daily's cmd_quad() to the more descriptive
4457         cmd_lockable_boolean(), alpha-sorted the CMD_DECLARE()s and
4458         removed duplicate cmd_boolean() declaration.
4459
4460         * main.c (print_help): Added my new -E / --html-extension option.
4461         (main): Undocumented --email-address option previously used -E synonym.
4462         Stole it away for the much more deserving --html-extension's use.
4463
4464         * options.h (struct options): Added html_extension field.
4465
4466         * url.c (convert_links): URL X that we saved as X.html locally due
4467         to -E needs to be backed up as X.orig, not X.html.orig.  Added comments.
4468         (downloaded_file): Now remembers if we added .html extension to a file.
4469
4470         * url.h (downloaded_file_t): Added extra enumerators to support above.
4471         (downloaded_file): Now takes and returns a downloaded_file_t.
4472
4473         * wget.h (unnamed "dt" enum): Added ADDED_HTML_EXTENSION enumerator.
4474         
4475 2000-10-09  Dan Harkless  <wget@harkless.org>
4476
4477         * html.c (htmlfindurl): Added unneeded initialization to quiet warning.
4478                 
4479         * main.c (print_help): Clarified what --retr-symlinks does.
4480         
4481 2000-09-15  John Daily  <jdaily@cyberdude.com>
4482
4483         * init.c: Add support for "always" and "never" values to allow
4484         .wgetrc to override commandline (useful e.g. with .pm files
4485         calling `wget --passive-ftp' when your firewall doesn't allow that).
4486
4487         * ftp.c (getftp): passive_ftp is first option to support always/never.
4488
4489 2000-08-30  Dan Harkless  <wget@harkless.org>
4490
4491         * ftp.c (ftp_retrieve_list): Use new INFINITE_RECURSION #define.
4492         
4493         * html.c: htmlfindurl() now takes final `dash_p_leaf_HTML' parameter.
4494         Wrapped some > 80-column lines.  When -p is specified and we're at a 
4495         leaf node, do not traverse <A>, <AREA>, or <LINK> tags other than 
4496         <LINK REL="stylesheet">.
4497         
4498         * html.h (htmlfindurl): Now takes final `dash_p_leaf_HTML' parameter.
4499         
4500         * init.c: Added new -p / --page-requisites / page_requisites option.
4501
4502         * main.c (print_help): Clarified that -l inf and -l 0 both allow
4503         infinite recursion.  Changed the unhelpful --mirrior description
4504         to simply give the options it's equivalent to.  Added new -p option.
4505         (main): Added some comments; handle new -p / --page-requisites.
4506         
4507         * options.h (struct options): Added new page_requisites field.
4508
4509         * recur.c: Changed "URL-s" to "URLs" and "HTML-s" to "HTMLs".
4510         Calculate and pass down new `dash_p_leaf_HTML' parameter to
4511         get_urls_html().  Use new INFINITE_RECURSION #define.
4512
4513         * retr.c: Changed "URL-s" to "URLs".  get_urls_html() now takes
4514         final `dash_p_leaf_HTML' parameter.
4515
4516         * url.c: get_urls_html() and htmlfindurl() now take final
4517         `dash_p_leaf_HTML' parameter.
4518
4519         * url.h (get_urls_html): Now takes final `dash_p_leaf_HTML' parameter.
4520
4521         * wget.h: Added some comments and new INFINITE_RECURSION #define.
4522         
4523 2000-08-23  Dan Harkless  <wget@harkless.org>
4524
4525         * main.c (print_help): -B / --base was not mentioned.
4526
4527 2000-08-22  Dan Harkless  <wget@harkless.org>
4528
4529         * main.c (print_help): Modified -nc description to mention that it
4530         also prevents the creation of multiple versions of the same file
4531         with ".<number>" suffixes.
4532
4533 2000-07-14  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4534
4535         * retr.c (retrieve_url): Consistently strdup opt.referer when
4536         setting u->referer.
4537
4538 2000-06-09  Dan Harkless  <wget@harkless.org>
4539
4540         * main.c (print_help): --help output for --waitretry was over 80 cols.
4541
4542 2000-06-09  Hrvoje Niksic  <hniksic@iskon.hr>
4543
4544         * url.c (encode_string): Fix comment.
4545         Suggested by Herold Heiko <Heiko.Herold@previnet.it>.
4546
4547 2000-06-01  Const Kaplinsky  <const@ce.cctpu.edu.ru>
4548
4549         * ftp.c (ftp_retrieve_list): Change permissions only on plain
4550         files.
4551
4552 2000-06-01  Hrvoje Niksic  <hniksic@iskon.hr>
4553
4554         * url.c (str_url): Print the port number only if it's different
4555         from the default port number for that protocol.
4556
4557 2000-05-22  Dan Harkless  <wget@harkless.org>
4558
4559         * main.c (print_help): Added --help line for Damir Dzeko
4560         <ddzeko@zesoi.fer.hr>'s until-now-undocumented --referer option.
4561         Removed comments that --referer and --waitretry were undocumented.
4562         Changed "`.wgetrc' command" to "`.wgetrc'-style command" on --help
4563         line for --execute.
4564
4565 2000-05-18  Hrvoje Niksic  <hniksic@iskon.hr>
4566
4567         * ftp.c (getftp): Ditto.
4568
4569         * http.c (gethttp): Check for return value of fclose/fflush.
4570
4571 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
4572
4573         * host.c (store_hostaddress): Instead of shifting ADDR, start
4574         copying from the correct address.
4575
4576 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
4577
4578         * http.c (gethttp): Don't free REQUEST -- it was allocated with
4579         alloca().
4580         Pointed out by Gisle Vanem <gvanem@eunet.no>.
4581
4582 2000-04-04  Dan Harkless  <wget@harkless.org>
4583
4584         * host.c (store_hostaddress): R. K. Owen's patch introduces a
4585         "left shift count >= width of type" warning on 32-bit
4586         architectures.  Got rid of it by tricking the compiler w/ a variable.
4587         
4588         * url.c (UNSAFE_CHAR): The macro didn't include all the illegal
4589         characters per RFC1738, namely everything above '~'.  It also
4590         generated a warning on OSes where char =~ unsigned char.  Fixed.
4591         
4592 1998-10-17  Hrvoje Niksic  <hniksic@srce.hr>
4593
4594         * http.c (http_process_type): Removed needless strdup(), a memory
4595         leak.
4596
4597 1998-09-25  Hrvoje Niksic  <hniksic@srce.hr>
4598
4599         * html.c (htmlfindurl): Set PH to the first occurrence of `#'.
4600
4601 1998-09-25  Simon Munton  <simonm@m4data.co.uk>
4602
4603         * init.c (wgetrc_file_name): Don't free HOME under Windows.
4604
4605 1998-12-01  "R. K. Owen"  <rkowen@Nersc.GOV>
4606
4607         * host.c (store_hostaddress): Fix for big endian 64-bit machines.
4608
4609 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
4610
4611         * url.c (UNSAFE_CHAR): New macro.
4612         (contains_unsafe): Use it.
4613         (encode_string): Ditto.
4614
4615 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
4616
4617         * main.c (i18n_initialize): Use LC_MESSAGES only if available.
4618
4619 2000-03-31  Hrvoje Niksic  <hniksic@srce.hr>
4620
4621         * Use TOUPPER/TOLOWER.
4622
4623 1998-12-22  Alexander V. Lukyanov  <lav@yars.free.net>
4624
4625         * ftp-opie.c (btoe): Zero-terminate OSTORE.
4626
4627 2000-03-21  Hrvoje Niksic  <hniksic@iskon.hr>
4628
4629         * wget.h (DO_REALLOC_FROM_ALLOCA): Ditto.
4630
4631         * sysdep.h (ISALNUM): New macro.
4632         (TOLOWER): Ditto.
4633         (TOUPPER): Ditto.
4634
4635 2000-03-10  Dan Harkless  <wget@harkless.org>
4636
4637         * html.c (idmatch): Implemented checking of my new --follow-tags
4638         and --ignore-tags options.
4639         
4640         * init.c (commands): Added comment reminding people adding new
4641         entries doing allocation to add corresponding freeing in cleanup().
4642         (commands): Added new followtags and ignoretags commands.
4643         (cleanup): Free storage for new followtags and ignoretags.
4644         
4645         * main.c: Use of "comma-separated list" was random -- normalized
4646         it.  Did some alphabetization.  Added comments pointing out
4647         "Options without arguments" and "Options accepting an argument"
4648         sections of long_options[].  Added new options --follow-tags and
4649         -G / --ignore-tags.  Added comment that Damir's --referer is
4650         currently undocumented.  Added comment that Heiko's --waitretry is
4651         partially undocumented (mentioned in --help but not in
4652         wget.texi).  Moved improperly sorted 24, 129, and 'G' cases.
4653         
4654         * options.h (struct options): Added new fields follow_tags and
4655         ignore_tags. 
4656         
4657         * wget.h: Added "#define EQ 0" so we can say "strcmp(a, b) == EQ".
4658         
4659 2000-03-02  Dan Harkless  <wget@harkless.org>
4660
4661         * ftp.c (ftp_loop_internal): Heiko introduced "suggest explicit
4662         braces to avoid ambiguous `else'" warnings.  Eliminated them.
4663         
4664         * http.c (gethttp): Dan Berger's query string patch is totally
4665         bogus.  If you have two different URLs, gen_page.cgi?page1 and
4666         get_page.cgi?page2, they'll both be saved as get_page.cgi and the
4667         second will overwrite the first.  Also, parameters to implicit
4668         CGIs, like "http://www.host.com/db/?2000-03-02" cause the URLs to
4669         be printed with trailing garbage characters, and could seg fault.
4670         Backing out the patch, which Dan B. informed me by email was just
4671         a kludge to download StarOffice from Sun made necessary due to
4672         wget's unconditional escaping of certain characters (room for an
4673         option there?).
4674         (http_loop): Heiko introduced "suggest explicit braces to avoid
4675         ambiguous `else'" warnings.  Eliminated them.
4676         
4677         * main.c: Heiko's --wait / --waitretry backwards compatibility
4678         code looks to have been totally untested -- automatic variable
4679         'wr' was used without being initialized, and a long int was passed
4680         into setval()'s char* val parameter.
4681         
4682         * recur.c (parse_robots): Applied Edward J. Sabol
4683         <sabol@alderaan.gsfc.nasa.gov>'s patch for Guan Yang's reported
4684         problem with "User-agent:<space>*<space>" lines in robots.txt.
4685         
4686         * url.c (parseurl, str_url): Removing Dan Berger's code (see
4687         http.c above for explanation).
4688         
4689 1999-08-25  Heiko Herold  <Heiko.Herold@previnet.it>
4690
4691         * ftp.c: Respect new option waitretry.
4692
4693 2000-01-30  Damir Dzeko  <ddzeko@zesoi.fer.hr>
4694
4695         * http.c (gethttp): Send custom Referer, if required.
4696
4697 1999-09-24  Charles G Waldman  <cgw@fnal.gov>
4698
4699         * netrc.c (parse_netrc): Allow passwords to contain spaces.
4700
4701         * netrc.c (parse_netrc): New function.
4702
4703 1999-09-17  Dan Berger  <dberger@ix.netcom.com>
4704
4705         * http.c (gethttp): Send it.
4706
4707         * url.c (parseurl): Detect query string in HTTP URL-s.
4708         (str_url): Print it.
4709
4710 2000-03-02  HIROSE Masaaki  <hirose31@t3.rim.or.jp>
4711
4712         * html.c (html_allow): Add <link href=...> and <script src=...>.
4713
4714 1999-05-02  andrew deryabin  <djsf@softhome.net>
4715
4716         * http.c (gethttp): Specify port in `Host' header only if it's
4717         different from 80.
4718
4719 1998-11-03  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
4720
4721         * recur.c (recursive_retrieve): If a finite maximum depth is
4722         specified, and we're are already at that depth, don't download the
4723         HTML file for parsing.
4724
4725 2000-03-01  Dan Harkless  <wget@harkless.org>
4726
4727         * ftp.c (ftp_loop_internal): Call new downloaded_file() function,
4728         even though we don't do conversion on HTML files retrieved via
4729         FTP, so _current_ usage of downloaded_file() makes this call unneeded. 
4730         (ftp_retrieve_list): Added a comment saying where we need to
4731         stat() a .orig file if FTP'd HTML file conversion is ever implemented.
4732         (ftp_retrieve_list): "Local file '%s' is more recent," is sometimes
4733         a lie -- reworded as "Server file no newer than local file '%s' --".
4734         
4735         * http.c (http_loop): Fixed a typo and clarified a comment.
4736         (http_loop): When -K and -N are specified together, compare size
4737         and timestamp of server file X against local file X.orig (if
4738         extant) rather than converted local file X.
4739         (http_loop): "Local file '%s' is more recent," is sometimes a lie
4740         -- reworded as "Server file no newer than local file '%s' --".
4741         (http_loop): Call new downloaded_file() function to prevent
4742         wrongful overwriting of .orig file when -N is specified.
4743         
4744         * url.c (convert_links): When -K specified, only rename X to
4745         X.orig if downloaded_file() returns TRUE.  Otherwise when we skip
4746         file X due to -N, we clobber an X.orig from a previous invocation.
4747         (convert_links): Call the failsafe xstrdup(), not the real strdup().
4748         (convert_links): Added a note asking anyone who understands how
4749         multiple URLs can correspond to a single file to comment it.
4750         (downloaded_file): Added this new function.
4751         
4752         * url.h (downloaded_file): Added prototype for this new function
4753         as well as its downloaded_file_t enum type.
4754
4755         * wget.h (boolean): Added this new typedef and TRUE and FALSE #defines.
4756
4757 2000-02-29  Dan Harkless  <wget@harkless.org>
4758
4759         * version.c: Upped version to developer-only "1.5.3+dev".
4760
4761 2000-02-18  Dan Harkless  <wget@harkless.org>
4762
4763         * init.c (backup_converted): Added this new option.
4764
4765         * main.c (-K / --backup-converted): Added this new option.
4766
4767         * options.h (backup_converted): Added this new option.
4768
4769         * url.c (convert_links): When backup_converted is specified, save
4770         file X as X.orig before converting.
4771
4772         * url.h (urlpos): Fixed typo -- said "Rekative" instead of "Relative".
4773
4774 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
4775
4776         * version.c: Wget 1.5.3 is released.
4777
4778 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
4779
4780         * host.c (ftp_getaddress): Don't warn when reverse-lookup of local 
4781         address doesn't yield FQDN.
4782
4783 1998-09-21  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
4784
4785         * cmpt.c (strerror): Fix declaration of sys_errlist.
4786
4787 1998-09-11  Hrvoje Niksic  <hniksic@srce.hr>
4788
4789         * main.c (main): Don't use an array subscript as the first
4790         argument to STRDUP_ALLOCA.
4791         From Kaveh R. Ghazi.
4792
4793 1998-09-11  Szakacsits Szabolcs  <szaka@sienet.hu>
4794
4795         * html.c (htmlfindurl): Download table background.
4796
4797 1998-09-11  Hans Grobler  <grobh@conde.ee.sun.ac.za>
4798
4799         * init.c (parse_line): Would free *com before allocating it.
4800         (parse_line): Would free com instead of *com.
4801
4802 1998-09-10  Howard Gayle  <howard@fjst.com>
4803
4804         * url.c (get_urls_html): Would drop the last character of the
4805         link.
4806
4807 1998-09-10  Hrvoje Niksic  <hniksic@srce.hr>
4808
4809         * http.c (http_loop): Don't print status code if quiet.
4810
4811 1998-09-10  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
4812
4813         * log.c: Use <stdarg.h> only when __STDC__.
4814
4815 1998-09-10  Adam D. Moss  <adam@foxbox.org>
4816
4817         * html.c (htmlfindurl): Download <layer src=...>.
4818
4819 1998-09-10  Howard Gayle  <howard@fjst.com>
4820
4821         * ftp.c (ftp_retrieve_list): Don't update the time stamp of a file 
4822         not retrieved.
4823
4824 1998-06-27  Hrvoje Niksic  <hniksic@srce.hr>
4825
4826         * utils.c: Include <libc.h> on NeXT.
4827
4828 1998-06-26  Heinz Salzmann  <heinz.salzmann@intermetall.de>
4829
4830         * url.c (get_urls_html): Fix calculation of URL position.
4831
4832 1998-06-23  Hrvoje Niksic  <hniksic@srce.hr>
4833
4834         * version.c: Wget 1.5.2 is released.
4835
4836 1998-06-23  Dave Love  <d.love@dl.ac.uk>
4837
4838         * ftp.c, init.c, netrc.c: Include errno.h.
4839
4840         * http.c: Include errno.h and time header.
4841
4842         * Makefile.in (exext): Define.
4843         (install.bin, uninstall.bin): Use it.
4844
4845 1998-06-21  Hrvoje Niksic  <hniksic@srce.hr>
4846
4847         * http.c (http_loop): Don't attempt to compare local and remote
4848         sizes if the remote size is unknown.
4849
4850 1998-06-16  Hrvoje Niksic  <hniksic@srce.hr>
4851
4852         * url.c (get_urls_html): Use malloc() instead of alloca in the
4853         loop.
4854
4855 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
4856
4857         * version.c: Wget 1.5.2-b4 is released.
4858
4859 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
4860
4861         * url.c (get_urls_html): Ignore spaces before and after the URI.
4862
4863 1998-06-08  Wanderlei Antonio Cavassin  <cavassin@conectiva.com.br>
4864
4865         * ftp.c (getftp): Translate `done'.
4866
4867 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
4868
4869         * version.c: Wget 1.5.2-b3 is released.
4870
4871 1998-06-06  Alexander Kourakos  <awk@bnt.com>
4872
4873         * init.c (cleanup): Close dfp, don't free it.
4874
4875 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
4876
4877         * utils.c (make_directory): Twiddle.
4878
4879         * config.h.in: Added template for access().
4880
4881 1998-06-05  Mathieu Guillaume  <mat@cythere.com>
4882
4883         * html.c (htmlfindurl): Download <input src=...>
4884
4885 1998-06-03  Hrvoje Niksic  <hniksic@srce.hr>
4886
4887         * utils.c (file_exists_p): Use access() with two arguments.
4888
4889 1998-05-27  Martin Kraemer  <Martin.Kraemer@mch.sni.de>
4890
4891         * netrc.c (parse_netrc): Correct logic.
4892
4893 1998-05-27  Hrvoje Niksic  <hniksic@srce.hr>
4894
4895         * ftp.c (getftp): Added `break'; suggested by Lin Zhe Min
4896         <ljm@ljm.wownet.net>.
4897
4898 1998-05-24  Hrvoje Niksic  <hniksic@srce.hr>
4899
4900         * version.c: Wget 1.5.2-b2 is released.
4901
4902 1998-05-18  Juan Jose Rodriguez  <jcnsoft@jal1.telmex.net.mx>
4903
4904         * mswindows.h: Don't translate mkdir to _mkdir under Borland.
4905
4906 1998-05-17  Hrvoje Niksic  <hniksic@srce.hr>
4907
4908         * retr.c (elapsed_time): Return correct value when
4909         HAVE_GETTIMEOFDAY is undefined.
4910
4911 1998-05-13  Hrvoje Niksic  <hniksic@srce.hr>
4912
4913         * version.c: Wget 1.5.2-b1 is released.
4914
4915 1998-05-08  Hrvoje Niksic  <hniksic@srce.hr>
4916
4917         * getopt.c (_getopt_internal): Use exec_name instead of argv[0].
4918         (_getopt_internal): Don't translate `#if 0'-ed strings.
4919
4920 1998-05-06  Douglas E. Wegscheid  <wegscd@whirlpool.com>
4921
4922         * mswindows.c (ws_handler): Use fork_to_background().
4923
4924 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
4925
4926         * version.c: Wget 1.5.1 is released.
4927
4928 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
4929
4930         * http.c (parse_http_status_line): Avoid `minor' and `major'
4931         names.
4932
4933 1998-05-02  Hrvoje Niksic  <hniksic@srce.hr>
4934
4935         * utils.c (mkdirhier): Renamed to make_directory.
4936
4937 1998-05-01  Hrvoje Niksic  <hniksic@srce.hr>
4938
4939         * mswindows.c (fork_to_background): Define under Windows.
4940
4941         * utils.c (fork_to_background): New function.
4942
4943         * html.c (htmlfindurl): Removed rerdundant casts.
4944
4945 1998-05-01  Douglas E. Wegscheid  <wegscd@whirlpool.com>
4946
4947         * mswindows.c (ws_mypath): Cache the path.
4948
4949 1998-04-30  Douglas E. Wegscheid  <wegscd@whirlpool.com>
4950
4951         * ftp.h: Prefix enum ftype members with FT_.
4952
4953         * ftp-ls.c, ftp.c, html.h: Adjust accordingly.
4954
4955         * mswindows.h: Use stat under Borland, _stat under MSVC.
4956
4957 1998-04-28  Hrvoje Niksic  <hniksic@srce.hr>
4958
4959         * http.c (known_authentication_scheme_p): New function.
4960         (gethttp): Handle authorization more correctly.
4961
4962         * ftp-basic.h: Removed.
4963
4964         * cmpt.h: Removed.
4965
4966         * utils.c: Include <unistd.h> before <pwd.h>; needed under SunOS
4967         with gcc 2.8.
4968         (numdigit): Use `while' loop.
4969
4970         * http.c (create_authorization_line): Detect authentication
4971         schemes case-insensitively.
4972
4973         * http.c (extract_header_attr): Use strdupdelim().
4974         (digest_authentication_encode): Move declaration of local
4975         variables to smaller scope.
4976         (digest_authentication_encode): Reset REALM, OPAQUE and NONCE.
4977         (create_authorization_line): Detect authentication schemes
4978         case-insensitively.
4979
4980         * utils.c (touch): Constify.
4981
4982         * http.c (gethttp): Report a nicer error when no data is received.
4983
4984         * rbuf.h (RBUF_READCHAR): Ditto.
4985
4986         * ftp-basic.c (ftp_response): Use sizeof.
4987
4988 1998-04-27  Hrvoje Niksic  <hniksic@srce.hr>
4989
4990         * retr.c (print_percentage): EXPECTED is long, not int.
4991         (print_percentage): Use floating-point arithmetic to avoid
4992         overflow with large files' sizes multiplied with 100.
4993
4994 1998-04-27  Gregor Hoffleit  <flight@mathi.uni-heidelberg.de>
4995
4996         * config.h.in: Added pid_t stub.
4997
4998         * sysdep.h (S_ISREG): Moved here from mswindows.h (NeXT doesn't
4999         define it).
5000
5001 1998-04-20  Hrvoje Niksic  <hniksic@srce.hr>
5002
5003         * version.c: Wget 1.5.0 is released.
5004
5005 1998-04-18  Hrvoje Niksic  <hniksic@srce.hr>
5006
5007         * url.c (str_url): Ditto.
5008
5009         * ftp-basic.c (ftp_rest): Use new name.
5010
5011         * utils.c (long_to_string): Renamed from prnum().
5012
5013 1998-04-16  Hrvoje Niksic  <hniksic@srce.hr>
5014
5015         * version.c: Wget 1.5-b17 is released.
5016
5017 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
5018
5019         * headers.c (header_get): New argument FLAGS.
5020
5021         * http.c (gethttp): If request is malformed, bail out of the
5022         header loop.
5023         (gethttp): Check for empty header *after* the status line checks.
5024         (gethttp): Disallow continuations for status line.
5025
5026 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
5027
5028         * version.c: Wget 1.5-b16 is released.
5029
5030 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
5031
5032         * init.c (commands): Renamed `always_rest' to `continue'.
5033
5034 1998-04-05  Hrvoje Niksic  <hniksic@srce.hr>
5035
5036         * all: Use it.
5037
5038         * log.c (logputs): New argument.
5039         (logvprintf): Ditto.
5040         (logprintf): Ditto.
5041
5042 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
5043
5044         * http.c (http_atotm): Update comment.
5045
5046         * main.c (i18n_initialize): Set LC_MESSAGES, not LC_ALL.
5047
5048         * wget.h: Renamed ENABLED_NLS to HAVE_NLS.
5049
5050         * main.c (i18n_initialize): New function.
5051         (main): Use it.
5052
5053         * log.c: Include <unistd.h>.
5054
5055         * retr.c (show_progress): Cast alloca to char *.
5056
5057 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
5058
5059         * version.c: Wget 1.5-b15 is released.
5060
5061 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
5062
5063         * utils.h: Declare file_non_directory_p().
5064
5065 1998-04-03  Hrvoje Niksic  <hniksic@srce.hr>
5066
5067         * main.c (main): It's `tries', not `numtries' now.
5068
5069 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
5070
5071         * init.c (getperms): Removed.
5072
5073 1998-04-01  Tim Charron  <tcharron@interlog.com>
5074
5075         * log.c (logvprintf): Don't use ARGS twice.
5076
5077 1998-04-01  John  <john@futuresguide.com>
5078
5079         * mswindows.c: Cleaned up.
5080
5081 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
5082
5083         * version.c: Wget 1.5-b14 is released.
5084
5085 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
5086
5087         * ftp-opie.c (STRLEN4): New macro.
5088         (btoe): Use it.
5089
5090 1998-04-01  Junio Hamano  <junio@twinsun.com>
5091
5092         * http.c: Document all the Digest functions.
5093
5094 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
5095
5096         * utils.c (file_non_directory_p): Renamed from isfile().
5097
5098         * mswindows.h (S_ISREG): New macro, suggested by Tim Adam.
5099
5100 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
5101
5102         * utils.c (mkdirhier): Use 0777 instead of opt.dirmode.
5103
5104         * init.c (cmd_spec_dotstyle): Use 48 dots per line for binary
5105         style.
5106         (cmd_permissions): Removed.
5107
5108         * config.h.in: Add template for WORDS_BIGENDIAN.
5109
5110 1998-03-31  Junio Hamano  <junio@twinsun.com>
5111
5112         * http.c (HEXD2asc): New macro.
5113         (dump_hash): Use it.
5114
5115 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
5116
5117         * version.c: Wget 1.5-b13 is released.
5118
5119 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
5120
5121         * main.c (main): Don't try to use `com'.
5122
5123 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
5124
5125         * init.c (cmd_permissions): New function.
5126
5127 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
5128
5129         * version.c: Wget 1.5-b12 is released.
5130
5131 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
5132
5133         * init.c (commands): Renamed `numtries' to `tries'.
5134         (cmd_spec_debug): Removed.
5135         (home_dir): Under Windows, return `C:\' if HOME is undefined.
5136
5137 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
5138
5139         * config.h.in: Define _XOPEN_SOURCE.
5140
5141         * init.c (check_user_specified_header): New function.
5142         (cmd_spec_header): Use it.
5143         (cmd_spec_useragent): New function.
5144
5145 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
5146
5147         * version.c: Wget 1.5-b11 is released.
5148
5149 1998-03-28  Hrvoje Niksic  <hniksic@srce.hr>
5150
5151         * wget.h: Include <libintl.h> only if NLS is enabled.
5152
5153 1998-03-26  Hrvoje Niksic  <hniksic@srce.hr>
5154
5155         * options.h (struct options): Made `wait' a long.
5156         (struct options): Ditto for `timeout'.
5157
5158 1998-03-19  Hrvoje Niksic  <hniksic@srce.hr>
5159
5160         * utils.c (exists): Renamed to file_exists_p.
5161         (file_exists_p): Use access() if available.
5162
5163 1998-03-17  Hrvoje Niksic  <hniksic@srce.hr>
5164
5165         * utils.c (memfatal): Set save_log_p to 0 to avoid potential
5166         infloop.
5167
5168         * log.c: do_logging -> save_log_p.
5169
5170         * config.h.in: Added template for HAVE_VSNPRINTF.
5171
5172 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
5173
5174         * init.c: Ditto.
5175
5176         * http.c: Protect declaration against non-ANSI compiler.
5177
5178         * log.c (logvprintf): Use vsnprintf() if available.
5179
5180         * getopt.c (main): Don't translate test stuff.
5181
5182 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
5183
5184         * version.c: Wget 1.5-b10 is released.
5185
5186 1998-03-11  Hrvoje Niksic  <hniksic@srce.hr>
5187
5188         * ftp.c (getftp): Don't translate "CWD %s".
5189
5190         * wget.h (GCC_FORMAT_ATTR): Renamed from FORMAT_ATTR.
5191
5192 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
5193
5194         * ftp-opie.c (btoe): Use memcpy() instead of strncat().
5195
5196         * log.c (logputs): New function.
5197         (logvprintf): Renamed from vlogmsg; use logputs().
5198
5199         * retr.c (show_progress): Print `[100%]' when the retrieval is
5200         finished.
5201
5202         * init.c (run_wgetrc): Use FILE, not PATH.
5203         (wgetrc_file_name): Ditto.
5204
5205 1998-03-07  Tim Adam  <tma@osa.com.au>
5206
5207         * recur.c (parse_robots): Correctly reset `entries' on empty
5208         disallow.
5209
5210 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
5211
5212         * init.c (cmd_spec_debug): Use cmd_boolean().
5213
5214 1998-02-23  Hrvoje Niksic  <hniksic@srce.hr>
5215
5216         * http.c (gethttp): Create proxy-authorization correctly.
5217
5218 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
5219
5220         * md5.c: Ditto.
5221
5222         * getopt.c: Use ANSI function definitions.
5223
5224         * ftp-opie.c: New file.
5225
5226         * options.h: Don't redefine EXTERN.
5227
5228         * init.c: Sort it correctly.
5229
5230 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
5231
5232         * version.c: Wget 1.5-b9 is released.
5233
5234 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
5235
5236         * recur.c (recursive_retrieve): Reset `first_time'.
5237
5238         * ftp.c (getftp): Added `default' clause to switches of uerr_t.
5239
5240         * rbuf.c (rbuf_peek): Simplified.
5241         (rbuf_flush): Use MINVAL.
5242
5243         * wget.h (MINVAL): Moved from url.h.
5244
5245         * rbuf.h (RBUF_FD): New macro.
5246
5247         * url.c (add_url): Add to the head of the list.
5248
5249         * ftp.c (ftp_retrieve_list): Set the permissions to downloaded
5250         file.
5251         (getftp): Set the default permissions to 0600.
5252
5253 1998-02-21  Hrvoje Niksic  <hniksic@srce.hr>
5254
5255         * url.c (get_urls_html): Ditto.
5256         (convert_links): Ditto.
5257
5258         * recur.c (parse_robots): Ditto.
5259
5260         * html.c (ftp_index): Ditto.
5261
5262         * ftp-ls.c (ftp_parse_unix_ls): Open file as binary.
5263
5264         * init.c (defaults): Initialize `opt' to zero via memset.
5265
5266         * http.c (digest_authentication_encode): goto considered harmful.
5267
5268 1998-02-19  Hrvoje Niksic  <hniksic@srce.hr>
5269
5270         * ftp.c (delelement): Simplify and fix leak.
5271
5272 1998-02-18  Hrvoje Niksic  <hniksic@srce.hr>
5273
5274         * http.c (dump_hash): Use HEXD2ASC instead of home-grown stuff.
5275
5276         * url.h (HEXD2ASC): Removed warning.
5277
5278         * init.c (comind): Use binary search.
5279         (commands): Reorganized.
5280         (setval): Ditto.
5281         (cmd_boolean): New function.
5282         (cmd_number): Ditto.
5283         (cmd_number_inf): Ditto.
5284         (cmd_string): Ditto.
5285         (cmd_vector): Ditto.
5286         (cmd_directory_vector): Ditto.
5287         (cmd_bytes): Ditto.
5288         (cmd_time): Ditto.
5289         (cmd_spec_debug): Ditto.
5290         (cmd_spec_dirmode): Ditto.
5291         (cmd_spec_dirstruct): Ditto.
5292         (cmd_spec_dotstyle): Ditto.
5293         (cmd_spec_header): Ditto.
5294         (cmd_spec_htmlify): Ditto.
5295         (cmd_spec_mirror): Ditto.
5296         (cmd_spec_outputdocument): Ditto.
5297         (cmd_spec_recursive): Ditto.
5298         (settime): Merged with cmd_time().
5299         (setbytes): Merged with cmd_bytes().
5300         (setonoff): Merged with cmd_boolean().
5301         (onoff): Ditto.
5302
5303 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
5304
5305         * Makefile.in (distclean): Remove `config.h'.
5306
5307 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
5308
5309         * version.c: Wget 1.5-b8 is released.
5310
5311 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
5312
5313         * http.c (digest_authentication_encode): New function.
5314         (create_authorization_line): Use it.
5315         (dump_hash): New function.
5316         (digest_authentication_encode): Use it.
5317
5318         * fnmatch.c: Renamed from `mtch.c'.
5319
5320 1998-02-15  Karl Eichwalder  <ke@suse.de>
5321
5322         * main.c (main): Tag "Written by..." string as translatable.
5323
5324 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
5325
5326         * wget.h (FREE_MAYBE): New macro.
5327
5328         * http.c (create_authorization_line): Don't use ANSI C string
5329         concatenation feature.
5330         (basic_authentication_encode): Use alloca() for temporary
5331         variables.
5332
5333         * recur.h: Ditto.
5334
5335         * http.c: Ditto.
5336
5337         * headers.h: Ditto.
5338
5339         * ftp-basic.c: Protect declaration against non-ANSI compiler.
5340
5341         * http.c (create_authorization_line): Cast `unsigned char *' to
5342         `char *' for sprintf, to shut up the noisy Digital Unix cc.
5343
5344 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
5345
5346         * version.c: Wget 1.5-b7 is released.
5347
5348 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
5349
5350         * cmpt.c (strstr): Synched with glibc-2.0.6.
5351
5352         * ftp-basic.c (calculate_skey_response): Ditto.
5353         (calculate_skey_response): Use alloca().
5354
5355         * http.c (create_authorization_line): Work with FSF's version of
5356         md5.c.
5357
5358         * md5.c: New file, from GNU libc.
5359
5360 1998-02-14  Hrvoje Niksic  <hniksic@srce.hr>
5361
5362         * url.h (URL_CLEANSE): Name the temporary variable more carefully.
5363
5364 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
5365
5366         * http.c (basic_authentication_encode): New function, instead of
5367         the macro.
5368
5369 1998-02-13  Junio Hamano  <junio@twinsun.com>
5370
5371         * http.c: Add HTTP-DA support.
5372         * ftp-basic.c: Add Opie/S-key support.
5373         * config.h.in, Makefile.in: Add HTTP-DA and Opie/S-key support.
5374         * md5.c, md5.h: New files.
5375
5376 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
5377
5378         * http.c (http_process_range): Renamed from hprocrange().
5379         (http_process_range): Parse the whole header.
5380
5381         * headers.c: New file.
5382         (header_process): New function.
5383         (header_get): Renamed from fetch_next_header.
5384
5385         * all: Include utils.h only where necessary.
5386
5387         * wget.h: Declare xmalloc(), xrealloc() and xstrdup() here.
5388
5389         * wget.h: Add provisions for dmalloc.
5390
5391 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
5392
5393         * version.c: Wget 1.5-b6 is released.
5394
5395 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
5396
5397         * ftp.c (ftp_loop): Determine `filename' more precisely.
5398
5399         * init.c (setval): Don't set `opt.quiet' if output-document is
5400         `-'.
5401
5402         * log.c (log_init): Print to STDERR instead of STDOUT.
5403         (vlogmsg): Use STDERR by default.
5404         (logflush): Ditto.
5405
5406 1998-02-11  Simon Josefsson  <jas@pdc.kth.se>
5407
5408         * host.c: Use addr_in again.
5409
5410 1998-02-08  Karl Eichwalder  <karl@suse.de>
5411
5412         * http.c (gethttp): Fixed typo.
5413
5414 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
5415
5416         * version.c: Wget 1.5-b5 is released.
5417
5418 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
5419
5420         * retr.c (show_progress): Use it.
5421
5422         * log.c (logflush): New function.
5423
5424         * wget.h: Utilize __attribute__ if on gcc.
5425
5426 1998-02-07  Hrvoje Niksic  <hniksic@srce.hr>
5427
5428         * http.c (base64_encode_line): New argument LENGTH.
5429         (BASIC_AUTHENTICATION_ENCODE): Use it.
5430         (BASIC_AUTHENTICATION_ENCODE): Take length of HEADER into account.
5431
5432         * main.c (main): Fixed fprintf() format mismatch.
5433
5434 1998-02-06  Hrvoje Niksic  <hniksic@srce.hr>
5435
5436         * version.c: Wget 1.5-b4 is released.
5437
5438 1998-02-03  Simon Josefsson  <jas@pdc.kth.se>
5439
5440         * host.c: use sockaddr_in instead of addr_in.
5441
5442 1998-02-04  Hrvoje Niksic  <hniksic@srce.hr>
5443
5444         * init.c (cleanup): Use it.
5445
5446         * recur.c (recursive_cleanup): New function.
5447
5448         * retr.c (retrieve_from_file): Ditto.
5449
5450         * main.c (main): Use it.
5451
5452         * recur.c (recursive_reset): New function.
5453
5454         * retr.c (retrieve_from_file): Ditto.
5455
5456         * main.c (main): Simplify call to recursive_retrieve().
5457
5458         * recur.c (recursive_retrieve): Removed FLAGS argument.
5459
5460         * http.c (gethttp): Changed call to iwrite().
5461
5462 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
5463
5464         * url.c (get_urls_html): Ditto.
5465         (free_urlpos): Ditto.
5466         (mkstruct): Ditto.
5467         (construct): Ditto.
5468
5469         * retr.c (retrieve_url): Move declaration of local variables to
5470         smaller scope.
5471
5472         * url.c (urlproto): Use it.
5473         (parseurl): Ditto.
5474         (str_url): Ditto.
5475         (get_urls_html): Ditto.
5476
5477         * utils.h (ARRAY_SIZE): New macro.
5478
5479         * url.c (proto): Moved from url.h.
5480
5481         * url.h (URL_CLEANSE): Reformatted.
5482         (USE_PROXY_P): Renamed from USE_PROXY.
5483
5484         * ftp-basic.c: Adjust to the new interface of iwrite().
5485
5486         * ftp-basic.c (ftp_port): Use alloca().
5487
5488 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
5489
5490         * version.c: Wget 1.5-b3 is released.
5491
5492         * host.c (ftp_getaddress): Don't print to stderr directly.
5493
5494         * init.c (setbytes): Support `g' for gigabytes.
5495         (cmdtype): New specification CTIME.
5496         (setval): Use it with settime().
5497         (commands): Use it for WAIT and TIMEOUT.
5498
5499 1998-02-02  Hrvoje Niksic  <hniksic@srce.hr>
5500
5501         * http.c (BASIC_AUTHENTICATION_ENCODE): New macro.
5502         (gethttp): Use it.
5503
5504         * utils.c (unique_name_1): Moved from url.c.
5505         (unique_name): Ditto.
5506
5507         * url.c (url_filename): Ditto.
5508
5509         * log.c (redirect_output): Changed call to unique_name().
5510
5511         * url.c (unique_name_1): Renamed from unique_name().
5512         (unique_name): Changed interface.
5513
5514         * init.c (enum cmdid): Moved from init.h.
5515         (cmdtype): Ditto.
5516         (struct cmd): Ditto.
5517
5518         * main.c (main): Use it.
5519         (main): Moved `--backups' to not have a short option.
5520
5521         * options.h (struct options): New member BACKGROUND.
5522
5523         * main.c (print_help): Rearranged.
5524         (main): New long options for -n* short options: --no-directories,
5525         --no-host-directories, --non-verbose, --no-host-lookup and
5526         --dont-remove-listing.
5527
5528 1998-02-01  Hrvoje Niksic  <hniksic@srce.hr>
5529
5530         * main.c (main): Use log_close().
5531
5532         * log.c: New variable LOGFP.
5533         (vlogmsg): Use it.
5534         (redirect_output): Don't open /dev/null; set LOGFP to stdin
5535         instead.
5536         (log_close): New function.
5537
5538         * options.h (struct options): Removed LFILE.
5539
5540         * log.c (log_enable): Removed.
5541
5542         * main.c (main): Use it.
5543
5544         * log.c (log_init): New function.
5545
5546         * url.c (get_urls_html): Removed needless assignment to BASE.
5547
5548         * host.c (add_hlist): Don't set CMP needlessly.
5549
5550         * utils.c (match_backwards): Ditto.
5551         (in_acclist): Ditto.
5552
5553         * url.c (findurl): Ditto.
5554
5555         * netrc.c (parse_netrc): Ditto.
5556
5557         * log.c (log_dump): Ditto.
5558
5559         * html.c (html_quote_string): Ditto.
5560
5561         * ftp-basic.c (ftp_request): Made static.
5562
5563         * connect.c: Made global variables static.
5564
5565         * url.c (construct): Ditto.
5566
5567         * init.c (init_path): Avoid assignment inside `if'-condition.
5568
5569         * ftp.c: Don't include in.h or winsock.h.
5570
5571         * ftp.c (ftp_loop): Use SZ.
5572
5573         * connect.c (bindport): Cast &addrlen to int *.
5574         (conaddr): Ditto.
5575
5576         * init.c (initialize): Don't use SYSTEM_WGETRC unconditionally.
5577
5578 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
5579
5580         * ftp.c (getftp): Initialize opt.ftp_pass here.
5581         (ftp_retrieve_dirs): Use alloca().
5582
5583         * init.c (defaults): Don't initialize opt.ftp_pass.
5584
5585         * sysdep.h (S_ISLNK): Declare for OS/2; ditto for lstat.
5586         From Ivan F. Martinez <ivanfm@ecodigit.com.br>.
5587
5588 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
5589
5590         * recur.c (parse_robots): Check for comments more correctly.
5591
5592         * host.c (ftp_getaddress): Use STRDUP_ALLOCA.
5593         (ftp_getaddress): Add diagnostics when reverse-lookup yields only
5594         hostname.
5595
5596 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
5597
5598         * version.c: Wget 1.5-b2 is released.
5599
5600         * netrc.c (NETRC_FILE_NAME): Moved from netrc.h.
5601
5602         * utils.c (proclist): Pass FNM_PATHNAME to fnmatch().
5603
5604         * ftp-basic.c (ftp_pasv): Avoid unnecessary casting to unsigned
5605         char.
5606
5607         * log.c: Don't attempt to hide arguments from ansi2knr.
5608
5609         * cmpt.c: Synched strptime() and mktime() with glibc-2.0.6.
5610
5611         * ansi2knr.c: Use a later version, from fileutils-3.16l alpha.
5612
5613         * ftp.c (getftp): Ditto.
5614
5615         * http.c (gethttp): Use it.
5616
5617         * retr.c (get_contents): New argument EXPECTED; pass it to
5618         show_progress().
5619         (show_progress): New argument EXPECTED; use it to display
5620         percentages.
5621
5622         * init.c (setval): Ditto.
5623
5624         * http.c (gethttp): Ditto.
5625         (http_loop): Ditto.
5626
5627         * ftp.c (getftp): Ditto.
5628         (ftp_loop_internal): Ditto.
5629
5630         * ftp-ls.c (ftp_parse_unix_ls): Use abort() instead of assert(0).
5631
5632         * sysdep.h (CLOSE): Simplify; use DEBUGP.
5633
5634         * netrc.c (search_netrc): Use alloca().
5635
5636         * init.c (defaults): Initialize no_flush.
5637
5638         * log.c (vlogmsg): Don't flush if no_flush.
5639
5640         * options.h (struct options): New variable no_flush.
5641
5642         * main.c (main): Don't play games with buffering.
5643
5644         * log.c (vlogmsg): Flush the output after every message.
5645
5646 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
5647
5648         * init.c (parse_line): Ditto.
5649
5650         * url.c (get_urls_html): Ditto.
5651
5652         * main.c (main): Don't cast to unsigned char.
5653
5654         * init.c (run_wgetrc): Don't cast to unsigned char.
5655         (parse_line): Accept char instead of unsigned char.
5656
5657         * html.c (htmlfindurl): Use char instead of unsigned char.
5658
5659         * all: Use them.
5660
5661         * sysdep.h: Add wrappers to ctype macros to make them
5662         eight-bit-clean:
5663
5664 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
5665
5666         * html.c (htmlfindurl): Download <img lowsrc=...>
5667
5668         * main.c (main): Ignore SIGPIPE.
5669
5670         * connect.c (select_fd): New argument WRITEP.
5671         (iwrite): Call select_fd().
5672
5673 1997-02-27  Fila Kolodny <fila@ibi.com>
5674
5675         * ftp.c (ftp_retrieve_list): If retrieving symlink and the proper
5676         one already exists, just skip it.
5677
5678 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
5679
5680         * http.c (gethttp): Cosmetic changes.
5681
5682         * http.c (check_end): Allow `+D...' instead of `GMT'.
5683         From Fabrizio Pollastri <pollastri@cstv.to.cnr.it>.
5684
5685         * url.c (process_ftp_type): New function.
5686         (parseurl): Use it.
5687
5688         * connect.c (iwrite): Allow writing in a few chunks.
5689         (bindport): Made SRV static, so addr can point to it.
5690         (select_fd): Removed HPUX kludge.
5691
5692         * host.c (free_hlist): Incorporated into clean_hosts().
5693
5694 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
5695
5696         * host.c (hlist): Made static.
5697         (search_address): Cosmetic change.
5698
5699 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
5700
5701         * version.c: Wget v1.5-b1 is released.
5702
5703         * http.c (hgetlen): Use sizeof() to get the header length.
5704         (hgetrange): Ditto.
5705         (hgettype): Ditto.
5706         (hgetlocation): Ditto.
5707         (hgetmodified): Ditto.
5708         (haccepts_none): Ditto.
5709
5710         * main.c (main): Updated `--version' and `--help' output, as per
5711         Francois Pinard's suggestions.
5712
5713         * main.c: Include locale.h; call setlocale(), bindtextdomain() and 
5714         textdomain().
5715
5716         * config.h.in: Define stubs for I18N3.
5717
5718         * wget.h: Include libintl.h.
5719
5720 1998-01-28  Hrvoje Niksic  <hniksic@srce.hr>
5721
5722         * url.c (mkstruct): Check for opt.cut_dirs.
5723         (mkstruct): alloca()-te more, xmalloc() less.
5724
5725         * utils.c (load_file): Check for ferror().
5726
5727         * url.c (get_urls_file): Close only the files we opened.
5728         (get_urls_html): Ditto.
5729         (count_slashes): New function.
5730
5731         * http.h: Removed.
5732
5733         * http.c (gethttp): Respect username and password provided by
5734         proxy URL.
5735         (base64_encode_line): Write into an existing buffer instead of
5736         malloc-ing a new one.
5737         (struct http_stat): Moved from http.h
5738
5739         * retr.c (retrieve_url): Free SUF.
5740
5741         * all: Removed lots of unnecessary .h dependencies.
5742
5743         * html.c (global_state): Made static.
5744
5745         * utils.h (ALLOCA_ARRAY): New macro.
5746
5747         * main.c (main): New option `--cut-dirs'.
5748
5749         * url.c (construct): Use alloca() for T.
5750
5751         * utils.c (mkdirhier): Use STRDUP_ALLOCA.
5752
5753         * host.c (_host_t): Moved from host.h.
5754         (struct host): Renamed from _host_t.
5755         (store_hostaddress): Use STRDUP_ALLOCA for INET_S.
5756         (realhost): Ditto.
5757
5758         * host.h: Don't include url.h.
5759
5760         * ftp.c (LIST_FILENAME): Moved from ftp.h.
5761
5762         * init.c (DEFAULT_FTP_ACCT): Moved from ftp.h.
5763
5764         * main.c (main): Enable log if the output goes to a TTY.
5765
5766         * connect.h: Removed unused constant `BACKLOG'.
5767
5768         * config.h.in: Check for isatty().
5769
5770         * Makefile.in (LINK): Use CFLAGS when linking.
5771
5772 1998-01-27  Hrvoje Niksic  <hniksic@srce.hr>
5773
5774         * mswindows.c (ws_hangup): Use redirect_output().
5775
5776         * main.c (redirect_output_signal): New function; use
5777         redirect_output().
5778
5779         * log.c (redirect_output): New function, based on hangup(), which
5780         is deleted.
5781
5782         * log.c (vlogmsg): New function.
5783
5784         * wget.h (DEBUGP): Use debug_logmsg().
5785
5786         * main.c (hangup): Use it.
5787
5788         * log.c (log_dump): New function.
5789
5790         * utils.h (DO_REALLOC): Use `long' for various sizes.
5791
5792         * http.c (hskip_lws): Use `while', for clarity.
5793         (HTTP_DYNAMIC_LINE_BUFFER): New constant.
5794         (fetch_next_header): Use it instead of DYNAMIC_LINE_BUFFER.
5795
5796         * ftp-basic.c (FTP_DYNAMIC_LINE_BUFFER): New constant.
5797         (ftp_response): Use it instead of DYNAMIC_LINE_BUFFER.
5798
5799         * utils.c (DYNAMIC_LINE_BUFFER): Moved from utils.c.
5800         (LEGIBLE_SEPARATOR): Ditto.
5801         (FILE_BUFFER_SIZE): Ditto.
5802
5803         * retr.c (BUFFER_SIZE): Moved from retr.h.
5804
5805         * log.c: New file.
5806         (logmsg): Moved from utils.c.
5807         (debug_logmsg): New function.
5808
5809         * mswindows.h: Include it here.
5810
5811         * init.c: Ditto.
5812
5813         * utils.c: Don't include <windows.h>.
5814
5815 1998-01-25  Hrvoje Niksic  <hniksic@srce.hr>
5816
5817         * host.c (ftp_getaddress): Ditto.
5818
5819         * main.c (main): Use it.
5820
5821         * utils.h (STRDUP_ALLOCA): New macro.
5822
5823         * init.c: Prepend `wget: ' to error messages printed on stderr.
5824
5825         * utils.c (mkdirhier): Renamed from mymkdir.
5826         (touch): Renamed from my_touch.
5827         (pwd_cuserid): Renamed from my_cuserid().
5828
5829 1998-01-24  Andy Eskilsson  <andy.eskilsson@telelogic.se>
5830
5831         * utils.c (accdir): Process wildcards.
5832         (proclist): New function.
5833         (accdir): Use it to avoid code repetition.
5834
5835 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
5836
5837         * recur.c (parse_robots): Respect opt.useragent; use alloca().
5838
5839         * http.c (gethttp): Construct useragent accordingly.
5840
5841         * version.c: Changed version string to numbers-only.
5842
5843         * main.c (print_help): List all the options.
5844
5845         * mswindows.c (windows_main_junk): Initialize argv0 here.
5846
5847 1998-01-24  Karl Heuer  <kwzh@gnu.org>
5848
5849         * netrc.c (search_netrc): Initialize `l' only after processing
5850         netrc.
5851
5852         * main.c (main): Don't trap SIGHUP if it's being ignored.
5853
5854 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
5855
5856         * all: Use logmsg().
5857
5858         * utils.c (time_str): Moved from retr.c.
5859         (logmsg): New function.
5860         (logmsg_noflush): Ditto.
5861
5862         * rbuf.c: New file, moved buf_* functions here.
5863
5864         * ftp.c (ftp_expected_bytes): Moved from ftp-basic.c.
5865
5866         * ftp-basic.c (ftp_rest): Use prnum().
5867
5868         * ftp-basic.c: Ditto.
5869
5870         * ftp.c: Use the new reading functions and macros.
5871
5872         * retr.c (buf_initialize): New function.
5873         (buf_initialized_p): Ditto.
5874         (buf_uninitialize): Ditto.
5875         (buf_fd): Ditto.
5876
5877         * http.c (fetch_next_header): Use the BUF_READCHAR macro for
5878         efficiency.
5879         (gethttp): Use alloca() where appropriate.
5880
5881         * retr.c (buf_readchar): Use it.
5882         (buf_peek): Use rstreams.
5883
5884         * retr.h (BUF_READCHAR): New macro.
5885
5886         * init.c (home_dir): Rewritten for clarity.
5887         (init_path): Ditto.
5888
5889         * mswindows.c (ws_backgnd): Made static.
5890         (read_registry): Ditto.
5891         (ws_cleanup): Ditto.
5892         (ws_handler): Ditto.
5893
5894 1998-01-23  Hrvoje Niksic  <hniksic@srce.hr>
5895
5896         * alloca.c: New file.
5897
5898         * Makefile.in (ALLOCA): Define.
5899
5900         * mswindows.c (ws_help): Constify.
5901         (ws_help): Use alloca.
5902
5903         * mswindows.c: Reformat.
5904
5905         * all: Added _(...) annotations for I18N snarfing and translation.
5906
5907         * host.c (ftp_getaddress): Nuke SYSINFO.
5908         (ftp_getaddress): Don't use getdomainname().
5909         (ftp_getaddress): Use uname(), where available.
5910
5911         * http.c (gethttp): Protect a stray fprintf().
5912
5913         * init.c (settime): New function.
5914         (setval): Treat WAIT specially, allowing suffixes like `m' for
5915         minutes, etc.
5916
5917 1998-01-21  Hrvoje Niksic  <hniksic@srce.hr>
5918
5919         * url.c (get_urls_html): Use alloca() for TEMP.
5920
5921 1998-01-21  Jordan Mendelson  <jordy@wserv.com>
5922
5923         * url.c (rotate_backups): New function.
5924
5925         * http.c (gethttp): Ditto.
5926
5927         * ftp.c (getftp): Rotate backups.
5928
5929 1997-12-18  Hrvoje Niksic  <hniksic@srce.hr>
5930
5931         * all: Renamed nmalloc(), nrealloc() and nstrdup() to xmalloc(),
5932         xrealloc() and xstrdup().  Use the new functions.
5933
5934         * url.c (decode_string): Made static.
5935         (has_proto): Ditto.
5936         (parse_dir): Ditto.
5937         (parse_uname): Ditto.
5938         (mkstruct): Ditto.
5939         (construct): Ditto.
5940         (construct_relative): Ditto.
5941
5942         * retr.c (show_progress): Made static.
5943
5944         * recur.c (robots_url): Made static.
5945         (retrieve_robots): Ditto.
5946         (parse_robots): Ditto.
5947         (robots_match): Ditto.
5948
5949         * main.h: Removed.
5950
5951         * main.c (printhelp): Made static.
5952         (hangup): Ditto.
5953
5954         * init.c (comind): Made static.
5955         (defaults): Ditto.
5956         (init_path): Ditto.
5957         (run_wgetrc): Ditto.
5958         (onoff): Ditto.
5959         (setonoff): Ditto.
5960         (setnum): Ditto.
5961         (myatoi): Ditto.
5962         (getperms): Ditto.
5963         (setbytes): Ditto.
5964
5965         * http.c (fetch_next_header): Made static.
5966         (hparsestatline): Ditto.
5967         (hskip_lws): Ditto.
5968         (hgetlen): Ditto.
5969         (hgetrange): Ditto.
5970         (hgettype): Ditto.
5971         (hgetlocation): Ditto.
5972         (hgetmodified): Ditto.
5973         (haccepts_none): Ditto.
5974         (gethttp): Ditto.
5975         (base64_encode_line): Ditto.
5976         (mktime_from_utc): Ditto.
5977         (http_atotm): Ditto.
5978
5979         * html.c (idmatch): Made static.
5980
5981         * host.c (search_host): Made static.
5982         (search_address): Ditto.
5983         (free_hlist): Ditto.
5984
5985         * ftp.c (getftp): Made static.
5986         (ftp_loop_internal): Ditto.
5987         (ftp_get_listing): Ditto.
5988         (ftp_retrieve_list): Ditto.
5989         (ftp_retrieve_dirs): Ditto.
5990         (ftp_retrieve_glob): Ditto.
5991         (freefileinfo): Ditto.
5992         (delelement): Ditto.
5993
5994         * ftp-ls.c (symperms): Made static.
5995         (ftp_parse_unix_ls): Ditto.
5996
5997         * connect.c (select_fd): Made static.
5998
5999         * utils.c (xmalloc): Renamed from nmalloc.
6000         (xrealloc): Renamed from nrealloc.
6001         (xstrdup): Renamed from nstrdup.
6002
6003         * getopt.c (exchange): Use alloca.
6004
6005         * mswindows.c (mycuserid): Use strncpy.
6006
6007         * New files mswindows.c, mswindows.h, sysdep.h.  winjunk.c,
6008         systhings.h, windecl.h and winjunk.h removed.
6009
6010         * mswindows.c (sleep): New function.
6011
6012         * utils.c: Include <windows.h> under Windows.
6013
6014 1997-06-12  Darko Budor  <dbudor@zesoi.fer.hr>
6015
6016         * url.h (URL_UNSAFE): Change default under Windows.
6017
6018         * retr.c (retrieve_from_file): Respect opt.delete_after.
6019
6020         * main.c (main): Call ws_help on Windows.
6021
6022         * winjunk.c (windows_main_junk): New function.
6023
6024         * main.c (main): Junk-process argv[0].
6025
6026         * http.c (mktime_from_utc): Return -1 if mktime failed.
6027
6028         * http.c (http_loop): Ditto.
6029
6030         * ftp.c (ftp_loop_internal): Change title on Windows when using a
6031         new URL.
6032
6033         * winjunk.c (getdomainname): Lots of functions.
6034
6035 1997-06-12  Hrvoje Niksic  <hniksic@srce.hr>
6036
6037         * cmpt.c (strptime_internal): Handle years more correctly for
6038         `%y'.
6039
6040 1997-06-09  Mike Thomas <mthomas@reality.ctron.com>
6041
6042         * http.c (gethttp): Allocate enough space for
6043         `Proxy-Authorization' header.
6044
6045 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
6046
6047         * version.c: Wget/1.4.5 is released.
6048
6049 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
6050
6051         * retr.c (get_contents): Check return value of fwrite more
6052         carefully.
6053
6054 1997-03-30  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
6055
6056         * cmpt.c (strptime_internal) [case 'Y']: Always subtract 1900 from
6057         year, regardless of century.
6058
6059 1997-03-30  Hrvoje Niksic  <hniksic@srce.hr>
6060
6061         * utils.c (isfile): Use `lstat' instead of `stat'.
6062
6063 1997-03-29  Hrvoje Niksic  <hniksic@srce.hr>
6064
6065         * utils.c (numdigit): Use explicit test.
6066
6067 1997-03-21  Hrvoje Niksic  <hniksic@srce.hr>
6068
6069         * http.c (http_loop): Always use `url_filename' to get u->local.
6070
6071 1997-03-20  Hrvoje Niksic  <hniksic@srce.hr>
6072
6073         * url.c: Recognize https.
6074
6075 1997-03-13  Hrvoje Niksic  <hniksic@srce.hr>
6076
6077         * recur.c (recursive_retrieve): Lowercase just the host name.
6078
6079 1997-03-09  Hrvoje Niksic  <hniksic@srce.hr>
6080
6081         * url.c (get_urls_file): Use the correct test.
6082         (get_urls_html): Ditto.
6083
6084 1997-03-07  Hrvoje Niksic  <hniksic@srce.hr>
6085
6086         * connect.c: Reverted addrlen to int.
6087
6088         * init.c (parse_line): Check for -1 instead of NONE.
6089
6090         * version.c: Changed version to 1.4.5.
6091
6092 1997-02-17  Hrvoje Niksic  <hniksic@srce.hr>
6093
6094         * init.c: New option netrc.
6095         (initialize): Don't parse .netrc.
6096
6097         * cmpt.c (recursive): Return rp.
6098         (strptime_internal): Match the long strings first, the abbreviated
6099         second.
6100
6101 1997-02-16  Hrvoje Niksic  <hniksic@srce.hr>
6102
6103         * http.c (check_end): New function.
6104         (http_atotm): Use it.
6105  
6106 1997-02-13  gilles Cedoc  <gilles@cedocar.fr>
6107
6108         * http.c (gethttp): Use them.
6109
6110         * init.c: New options proxy_user and proxy_passwd.
6111
6112 1997-02-14  Hrvoje Niksic  <hniksic@srce.hr>
6113
6114         * ftp.c (ftp_retrieve_list): Create links even if not relative.
6115
6116 1997-02-10  Hrvoje Niksic  <hniksic@srce.hr>
6117
6118         * recur.c (recursive_retrieve): Lowercase the host name, if the
6119         URL is not "optimized".
6120
6121         * host.c (realhost): Return l->hostname, even if it matches with
6122         host.
6123
6124 1997-02-10  Marin Purgar  <pmc@asgard.hr>
6125
6126         * connect.c: Make addrlen size_t instead of int.
6127         (conaddr): Ditto.
6128
6129 1997-02-09  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
6130
6131         * systhings.h: Define S_ISLNK on NeXT too.
6132
6133 1997-02-09  Hrvoje Niksic  <hniksic@srce.hr>
6134
6135         * version.c: Released 1.4.3.
6136
6137         * url.c: Futher update to list of protostrings.
6138         (skip_proto): Skip `//' correctly for FTP and HTTP.
6139
6140         * url.c (get_urls_html): Handle bogus `http:' things a little
6141         different.
6142
6143         * main.c (main): Removed `follow-ftp' from `f'.
6144         (main): Dumped the `prefix-files' and `file-prefix' options and
6145         features; old and bogus.
6146         (main): Exit on failed setval() in `-e'.
6147
6148         * http.c (fetch_next_header): Use it to detect header continuation
6149         correctly.
6150
6151         * retr.c (buf_peek): New function.
6152
6153 1997-02-08  Hrvoje Niksic  <hniksic@srce.hr>
6154
6155         * wget.h: Include time.h and stuff.
6156
6157 1997-02-08  Roger Beeman  <beeman@cisco.com>
6158
6159         * ftp.c: Include <time.h>
6160
6161 1997-02-07  Hrvoje Niksic  <hniksic@srce.hr>
6162
6163         * url.c (findurl): Would read over buffer limits.
6164
6165 1997-02-06  Hrvoje Niksic  <hniksic@srce.hr>
6166
6167         * ftp-ls.c (ftp_parse_unix_ls): Allow spaces in file names.
6168
6169 1997-02-05  Hrvoje Niksic  <hniksic@srce.hr>
6170
6171         * http.c (http_atotm): Initialize tm.is_dst.
6172
6173 1997-02-02  Hrvoje Niksic  <hniksic@srce.hr>
6174
6175         * http.c (gethttp): Don't print the number of retrieved headers.
6176
6177         * main.c (main): New option `--no-clobber', alias for `-nc'.
6178
6179         * url.c: Recognize `https://'.
6180
6181 1997-02-01  Hrvoje Niksic  <hniksic@srce.hr>
6182
6183         * host.c (herrmsg): Don't use h_errno.
6184
6185 1997-01-30  Hrvoje Niksic  <hniksic@srce.hr>
6186
6187         * host.c (accept_domain): Use it.
6188
6189         * main.c (main): New option `--exclude-domains'.
6190
6191         * retr.c (retrieve_url): Use it.
6192         (retrieve_url): Bail out when an URL is redirecting to itself.
6193
6194         * url.c (url_equal): New function.
6195
6196 1997-01-29  Hrvoje Niksic  <hniksic@srce.hr>
6197
6198         * connect.c: Include arpa/inet.h instead of arpa/nameser.h.
6199
6200         * http.c (mk_utc_time): New function.
6201         (http_atotm): Use it; handle time zones correctly.
6202
6203 1997-01-28  Hrvoje Niksic  <hniksic@srce.hr>
6204
6205         * http.c: Ditto.
6206
6207         * ftp-basic.c: Use it instead of WRITE.
6208
6209         * connect.c (iwrite): New function.
6210
6211 1997-01-27  Hrvoje Niksic  <hniksic@srce.hr>
6212
6213         * cmpt.c (mktime): New function.
6214
6215         * netrc.c: Include <sys/types.h>.
6216
6217         * main.c (main): Wouldn't recognize --spider.
6218
6219         * retr.c (rate): Use `B', `KB' and `MB'.
6220         (reset_timer,elapsed_time): Moved from utils.c.
6221
6222         * ftp.c (ftp_retrieve_list): Ditto.
6223
6224         * http.c (http_loop): Don't touch the file if opt.dfp.
6225
6226 1997-01-24  Hrvoje Niksic  <hniksic@srce.hr>
6227
6228         * cmpt.c: New file.
6229
6230         * ftp.c (ftp_retrieve_glob): New argument semantics.
6231         (ftp_retrieve_dirs): Use it.
6232         (ftp_loop): Ditto.
6233
6234         * html.c (htmlfindurl): Recognize `'' as the quote char.
6235
6236 1997-01-23  Hrvoje Niksic  <hniksic@srce.hr>
6237
6238         * ftp.c (ftp_loop_internal): Use it.
6239
6240         * utils.c (remove_link): New function.
6241
6242 1997-01-22  Hrvoje Niksic  <hniksic@srce.hr>
6243
6244         * retr.c (retrieve_url): Require STRICT redirection URL.
6245
6246         * url.c (parseurl): New argument STRICT.
6247
6248         * http.c (hparsestatline): Be a little-bit less strict about
6249         status line format.
6250
6251 1997-01-21  Hrvoje Niksic  <hniksic@srce.hr>
6252
6253         * http.c (gethttp): Use it.
6254
6255         * main.c (main): Don't use '<digit>' as options.
6256
6257         * init.c: New option ignore_length.
6258
6259         * http.c (gethttp): Ditto.
6260         (http_loop): Check for redirection without Location:.
6261         (gethttp): Don't print Length unless RETROKF.
6262
6263         * ftp.c (getftp): Use it.
6264
6265         * url.c (mkalldirs): New function.
6266
6267         * utils.c (mymkdir): Don't check for existing non-directory.
6268
6269         * url.c (mkstruct): Don't create the directory.
6270
6271 1997-01-20  Hrvoje Niksic  <hniksic@srce.hr>
6272
6273         * init.c (setval): Removed NO_RECURSION checks.
6274
6275 1997-01-19  Hrvoje Niksic  <hniksic@srce.hr>
6276
6277         * version.c: "Released" 1.4.3-pre2.
6278
6279         * recur.c (recursive_retrieve): Bypass host checking only if URL
6280         is ftp AND parent URL is not ftp.
6281
6282         * ftp-basic.c (ftp_request): Print out Turtle Power.
6283
6284         * ftp.c (ftp_loop): Call ftp_retrieve_glob with 0 if there's no
6285         wildcard.
6286         (ftp_retrieve_glob): Call ftp_loop_internal even on empty list, if
6287         not glob.
6288
6289         * http.c (gethttp): Be a little bit smarter about status codes.
6290
6291         * recur.c (recursive_retrieve): Always reset opt.recursive when
6292         dealing with FTP.
6293
6294 1997-01-18  Hrvoje Niksic  <hniksic@srce.hr>
6295
6296         * retr.c (retrieve_url): New variable location_changed; use it for
6297         tests instead of mynewloc.
6298         (retrieve_url): Allow heuristic adding of html.
6299
6300         * url.c (url_filename): Don't use the `%' in Windows file names.
6301
6302         * http.c (http_loop): Always time-stamp the local file.
6303
6304         * http.c (http_loop): Ditto.
6305
6306         * ftp.c (ftp_retrieve_list): Use it.
6307
6308         * utils.c (my_touch): New function.
6309
6310         * ftp.c (ftp_retrieve_list): Use #ifdef HAVE_STRUCT_UTIMBUF
6311         instead of #ifndef NeXT.
6312
6313         * utils.c (strptime): New version, by Ulrich Drepper.
6314
6315 1997-01-17  Hrvoje Niksic  <hniksic@srce.hr>
6316
6317         * http.c (haccepts_none): Renamed from `haccepts_bytes'.
6318         (gethttp): If haccepts_none(), disable ACCEPTRANGES.
6319         (http_loop): Would remove ACCEPTRANGES.
6320
6321         * ftp.c (getftp): Call ftp_list with NULL.
6322
6323 1997-01-15  Hrvoje Niksic  <hniksic@srce.hr>
6324
6325         * html.c (ftp_index): Don't print minutes and seconds if we don't
6326         know them; beautify the output.
6327
6328         * ftp.c (getftp): Don't close the socket on FTPNSFOD.
6329
6330 1997-01-14  Hrvoje Niksic  <hniksic@srce.hr>
6331
6332         * utils.c (strptime): New function.
6333         (strptime): Don't use get_alt_number.
6334         (strptime): Don't use locale.
6335         (match_string): Made it a function.
6336
6337 1997-01-12  Hrvoje Niksic  <hniksic@srce.hr>
6338
6339         * http.c (http_atotm): New function.
6340         (http_loop): Use it.
6341
6342         * atotm.c: Removed from the distribution.
6343
6344         * http.c (base64_encode_line): Rewrite.
6345
6346 1997-01-09  Hrvoje Niksic  <hniksic@srce.hr>
6347
6348         * ftp.c (getftp): Use ftp_expected_bytes; print size.
6349
6350         * ftp-basic.c (ftp_response): Use ftp_last_respline.
6351         (ftp_expected_bytes): New function.
6352
6353         * ftp.c (getftp): Print the unauthoritative file length.
6354
6355         * ftp-ls.c: Renamed from ftp-unix.c.
6356         (ftp_parse_ls): Moved from ftp.c.
6357         (ftp_parse_unix_ls): Recognize seconds in time spec.
6358         (ftp_parse_unix_ls): Recognize year-less dates of the previous
6359         year.
6360
6361 1997-01-08  Hrvoje Niksic  <hniksic@srce.hr>
6362
6363         * ftp-basic.c: Don't declare errno if #defined.
6364
6365         * host.c (ftp_getaddress): Check for sysinfo legally.
6366
6367 1997-01-08  Darko Budor  <dbudor@diana.zems.fer.hr>
6368
6369         * connect.c (iread): Use READ.
6370
6371 1996-12-23  Hrvoje Niksic  <hniksic@srce.hr>
6372
6373         * url.c: Recognize finger, rlogin, tn3270, mid and cid as valid
6374         schemes.
6375
6376 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
6377
6378         * host.c (ftp_getaddress): Allow `.' in hostname.
6379
6380 1996-12-26  Darko Budor <dbudor@zems.fer.hr>
6381
6382         * wget.h: READ and WRITE macros for use instead of read and write
6383         on sockets, grep READ *.c, grep WRITE *.c
6384
6385         * wsstartup.c: new file - startup for winsock
6386
6387         * wsstartup.h: new file
6388
6389         * win32decl.h: new file - fixup for <errno.h> and winsock trouble
6390
6391         * configure.bat: Configure utility for MSVC
6392
6393         * src/Makefile.ms,config.h.ms: new files for use with MSVC 4.x
6394
6395 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
6396
6397         * version.c: Released 1.4.3-pre.
6398
6399         * utils.c (prnum): Accept long.
6400         (legible): Use prnum().
6401
6402         * connect.c (make_connection): Accept port as short.
6403         (bindport): Ditto.
6404
6405         * http.c (gethttp): Use search_netrc.
6406
6407 1996-12-21  Hrvoje Niksic  <hniksic@srce.hr>
6408
6409         * ftp.c (getftp): Use search_netrc.
6410
6411         * netrc.c (free_netrc): New function.
6412
6413         * init.c (home_dir): New function.
6414
6415         * url.c (convert_links): Allow REL2ABS changes.
6416
6417 1996-12-21  Gordon Matzigkeit  <gord@gnu.ai.mit.edu>
6418
6419         * netrc.c: New file.
6420         (parse_netrc, maybe_add_to_list): New functions.
6421
6422 1996-12-17  Hrvoje Niksic  <hniksic@srce.hr>
6423
6424         * retr.c (retrieve_url): Reset opt.recursion before calling
6425         ftp_loop if it is reached through newloc.
6426
6427         * init.c (run_wgetrc): Print the wgetrc path too, when reporting
6428         error; don't use "Syntax error", since we don't know if it is
6429         really a syntax error.
6430
6431 1996-12-16  Hrvoje Niksic  <hniksic@srce.hr>
6432
6433         * utils.c (acceptable): Extract the filename part of the path.
6434
6435         * recur.c (recursive_retrieve): Call acceptable() with the right
6436         argument; would bug out on wildcards.
6437
6438         * init.c (parse_line): Likewise.
6439
6440         * html.c (htmlfindurl): Cast to char * when calling stuff.
6441
6442 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
6443
6444         * ftp.c (getftp): Use ftp_pasv.
6445
6446         * ftp-basic.c (ftp_request): Accept NULL value.
6447         (ftp_pasv): New function.
6448
6449         * options.h (struct options): Add passive FTP option.
6450
6451 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
6452
6453         * url.c (parseurl): Debug output.
6454
6455         * utils.c (path_simplify): New one, adapted from bash's
6456         canonicalize_pathname().
6457
6458 1996-12-14  Hrvoje Niksic  <hniksic@srce.hr>
6459
6460         * ftp.c (getftp): Don't discard the buffer.
6461
6462         * retr.c (get_contents): New parameter nobuf.
6463
6464 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
6465
6466         * html.c (htmlfindurl): Recognize <meta contents="d; URL=...".
6467
6468         * init.c (setval): Strip the trailing slashes on CVECDIR.
6469
6470 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
6471
6472         * init.c: Make excludes and includes under CVECDIR instead of
6473         CVEC.
6474
6475 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
6476
6477         * url.c (get_urls_html): Skip "http:".
6478
6479 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
6480
6481         * utils.c (strcasecmp): From glibc.
6482         (strncasecmp): Also.
6483         (strstr): Also.
6484
6485         * url.c: Added javascript: to the list of URLs prefixes.
6486
6487 1996-12-12  Shawn McHorse  <riffraff@txdirect.net>
6488
6489         * recur.c (retrieve_robots): Print the warning message only if
6490         verbose.
6491
6492 1996-12-12  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
6493
6494         * ftp.c (ftp_retrieve_list): Use NeXT old utime interface.
6495
6496 1996-12-12  Hrvoje Niksic  <hniksic@srce.hr>
6497
6498         * systhings.h: New file.
6499
6500         * ../configure.in: Check for utime.h
6501
6502         * ftp.c: Check whether we have unistd.h.
6503
6504 1996-11-27  Hrvoje Niksic  <hniksic@srce.hr>
6505
6506         * recur.c (recursive_retrieve): Send the canonical URL as referer.
6507         (recursive_retrieve): Call get_urls_html with the canonical URL.
6508
6509 1996-12-13  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
6510
6511         * (configure.in, config.h.in, src/Makefile.in, src/*.[ch]): Add
6512         ansi2knr support for compilers which don't support ANSI style
6513         function prototypes and signatures.
6514
6515         * (aclocal.m4, src/ansi2knr.c, src/ansi2knr.1): New files.
6516
6517 1996-11-26  Hrvoje Niksic  <hniksic@srce.hr>
6518
6519         * url.c: Use it; Recognize paths ending with "." and ".." as
6520         directories.
6521         (url_filename): Append .n whenever file exists and could be a
6522         directory.
6523
6524         * url.h (ISDDOT): New macro.
6525
6526         * init.c (parse_line): Use unsigned char.
6527
6528         * url.c (get_urls_html): Cast to unsigned char * when calling
6529         htmlfindurl.
6530
6531         * html.c (htmlfindurl): Use unsigned char.
6532
6533         * version.c: Changed version to 1.4.3.
6534
6535 1996-11-25  Hrvoje Niksic  <hniksic@srce.hr>
6536
6537         * version.c: Released 1.4.2.
6538
6539         * ftp.c (getftp): Simplified assertion.
6540         (ftp_loop_internal): Remove symlink before downloading.
6541         (ftp_retrieve_list): Unlink the symlink name before attempting to
6542         create a symlink!
6543
6544         * options.h (struct options): Renamed print_server_response to
6545         server_response.
6546
6547         * ftp.c (rel_constr): Removed.
6548         (ftp_retrieve_list): Don't use it.
6549         (ftp_retrieve_list): Use opt.retr_symlinks.
6550
6551 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
6552
6553         * main.c (main): New option retr_symlinks.
6554
6555         * url.c (convert_links): Print verbose message.
6556
6557 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
6558
6559         * http.c (http_loop): Reset newloc in the beginning of function;
6560         would cause FMR in retrieve_url.
6561
6562 1996-11-23  Hrvoje Niksic  <hniksic@srce.hr>
6563
6564         * recur.c (convert_all_links): Find the URL of each HTML document,
6565         and feed it to get_urls_html; would bug out.
6566         (convert_all_links): Check for l2 instead of dl; removed dl.
6567
6568         * url.c (convert_links): Don't refer to freed newname.
6569
6570         * recur.c (recursive_retrieve): Add this_url to urls_downloaded.
6571
6572         * main.c (main): Print the OS_TYPE in the debug output, too.
6573
6574         * recur.c (recursive_retrieve): Check for opt.delete_after.
6575
6576         * main.c (main): New option delete-after.
6577
6578         * init.c (setval): Cleaned up.
6579
6580 1996-11-21  Hrvoje Niksic  <hniksic@srce.hr>
6581
6582         * Makefile.in (wget): Make `wget' the default target.
6583
6584         * ftp.c (ftp_loop_internal): Move noclobber checking out of the
6585         loop.
6586         (ftp_retrieve_list): Warn about non-matching sizes.
6587
6588         * http.c (http_loop): Made -nc non-dependent on opt.recursive.
6589
6590         * init.c (setnum): Renamed from setnuminf; New argument flags.
6591         (setval): Use it.
6592
6593         * main.c (main): Sorted the options.
6594         (main): New option --wait.
6595
6596 1996-11-21  Shawn McHorse  <riffraff@txdirect.net>
6597
6598         * html.c (htmlfindurl): Reset s->in_quote after getting out of
6599         quotes.
6600
6601 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
6602
6603         * version.c: Changed version to 1.4.2.
6604
6605 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
6606
6607         * version.c: Released 1.4.1.
6608
6609         * html.c (html_quote_string): New function.
6610         (ftp_index): Use it.
6611         (htmlfindurl): A more gentle ending debug message.
6612
6613         * ftp.c (ftp_loop): Check for opt.htmlify.
6614
6615         * init.c: New command htmlify.
6616
6617         * ftp.c (getftp): Nicer error messages, with `'-encapsulated
6618         strings.
6619         (ftp_loop): Print size of index.html.
6620
6621         * init.c (setval): Implement "styles".
6622
6623         * main.c (main): New option dotstyle.
6624
6625 1996-11-19  Hrvoje Niksic  <hniksic@srce.hr>
6626
6627         * ftp.c (getftp): Close the master socket in case of errors, after
6628         bindport().
6629
6630         * connect.c (bindport): Initialize msock to -1.
6631
6632         * ftp.c (getftp): Initialize dtsock to -1.
6633
6634         * connect.c (closeport): Don't close sock if sock == -1.
6635
6636 1996-11-18  Hrvoje Niksic  <hniksic@srce.hr>
6637
6638         * init.c (setnuminf): Nuked default value -- just leave unchanged.
6639         (setval): Don't send default values.
6640         (defaults): Use DEFAULT_TIMEOUT -- aaargh.
6641
6642         * options.h (struct options): Use long for dot_bytes.
6643
6644         * init.c (setquota): Renamed to setbytes.
6645         (setval): Use setbytes on DOTBYTES.
6646
6647 1996-11-17  Hrvoje Niksic  <hniksic@srce.hr>
6648
6649         * ftp.c (getftp): Initialize con->dltime.
6650
6651         * recur.c (recursive_retrieve): Use same_host instead of
6652         try_robots; simply load robots_txt whenever the host is changed.
6653         (recursive_retrieve): Free forbidden before calling parse_robots.
6654
6655 1996-11-16  Hrvoje Niksic  <hniksic@srce.hr>
6656
6657         * retr.c (show_progress): Use them.
6658
6659         * options.h (struct options): New options dot_bytes, dots_on_line
6660         and dot_spacing.
6661
6662 1996-11-16  Mark Boyns  <boyns@sdsu.edu>
6663
6664         * recur.c (recursive_retrieve): Retrieve directories regardless of
6665         acc/rej rules; check for empty u->file.
6666
6667 1996-11-14  Hrvoje Niksic  <hniksic@srce.hr>
6668
6669         * init.c (setval): Use it.
6670
6671         * utils.c (merge_vecs): New function.
6672
6673         * init.c (setval): Reset the list-type functions when encountering
6674         "".
6675
6676 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
6677
6678         * recur.c (recursive_retrieve): Use base_url instead of this_url
6679         for no_parent.
6680
6681 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
6682
6683         * html.c (htmlfindurl): Reset s->in_quote after exiting the quote.
6684
6685 1996-11-13  Hrvoje Niksic  <hniksic@srce.hr>
6686
6687         * utils.c (sepstring): Rewrote; don't use strtok.
6688
6689         * recur.c (recursive_retrieve): Enter assorted this_url to slist
6690         when running the first time.
6691         (retrieve_robots): Warn to ignore errors when robots are loaded.
6692
6693         * utils.c (load_file): Moved from url.c.
6694
6695         * http.c: Made static variables const too in h* functions.
6696
6697         * main.c (main): Renamed --continue-ftp to --continue.
6698
6699         * recur.c (recursive_retrieve): Use it.
6700
6701         * utils.c (frontcmp): New function.
6702
6703         * url.c (accdir): New function.
6704
6705         * html.c (htmlfindurl): Recognize <area href=...>.
6706
6707         * ftp.c (ftp_retrieve_dirs): Implemented opt.includes.
6708
6709         * init.c (setval): Free the existing opt.excludes and
6710         opt.includes, if available.
6711
6712         * main.c (main): New option -I.
6713
6714 1996-11-12  Hrvoje Niksic  <hniksic@srce.hr>
6715
6716         * ftp.c (ftp_retrieve_glob): Do not weed out directories.
6717
6718         * version.c: Changed version to 1.4.1.
6719
6720 1996-11-11  Hrvoje Niksic  <hniksic@srce.hr>
6721
6722         * version.c: Released 1.4.0.
6723
6724 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
6725
6726         * main.c (main): Free com and val after parse_line.
6727         (printhelp): Reorder the listing.
6728
6729         * http.c: More robust header parsing.
6730
6731         * http.c: Allow any number of spaces, or no spaces, precede ':'.
6732         (hskip_lws): New function.
6733         (haccepts_bytes): New function.
6734         (gethttp): Use it.
6735
6736         * init.c (setval): Check header sanity.
6737         (setval): Allow resetting of headers.
6738
6739 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
6740
6741         * http.c (http_loop): Don't use has_wildcards.
6742
6743         * http.c (gethttp): Free all_headers -- would leak.
6744
6745         * recur.c (recursive_retrieve): Initialize depth to 1 instead of
6746         0 -- this fixes a long-standing bug in -rl.
6747
6748 1996-11-09  Hrvoje Niksic  <hniksic@srce.hr>
6749
6750         * ftp.c: Use -1 as "impossible" value for con->fd.
6751
6752         * url.h (URL_SEPARATOR): Don't treat `*' and `+' as separators.
6753
6754         * init.c (parse_line): Use isalpha.
6755
6756         * ftp-unix.c: Use HAVE_UNISTD_H.
6757
6758         * mtch.c (has_wildcards): Don't match \.
6759
6760         * http.c (http_loop): Warn on HTTP wildcard usage.
6761
6762 1996-11-08  Hrvoje Niksic  <hniksic@srce.hr>
6763
6764         * url.c (url_filename): Do not create numbered suffixes if
6765         opt.noclobber -- would bug out on -nc.
6766
6767 1996-11-07  Hrvoje Niksic  <hniksic@srce.hr>
6768
6769         * recur.c (parse_robots): Don't chuck out the commands without
6770         arguments (`Disallow:<empty>' didn't work).
6771         (parse_robots): Compare versions lowercase.
6772         (parse_robots): Match on base_version, not version_string!
6773         (parse_robots): Handle comments properly.
6774         (parse_robots): Match versions in a sane way.
6775
6776         * init.c: Print nicer error messages.
6777
6778         * version.c: Changed version to 1.4.0.
6779
6780 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
6781
6782         * version.c: Released 1.4.0-test2.
6783
6784         * init.c (run_wgetrc): Close fp.
6785
6786         * ftp.c (ftp_retrieve_dirs): Allocate the correct length for
6787         u->dir.
6788
6789 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
6790
6791         * init.c (setquota): Allow inf as quota specification.
6792
6793 1996-11-05  Hrvoje Niksic  <hniksic@srce.hr>
6794
6795         * ftp.c (ftp_retrieve_dirs): Return QUOTEXC if quota exceeded.
6796         (ftp_retrieve_glob): Return QUOTEXC on quota exceeded.
6797
6798         * main.c (main): Check for quota by comparison with downloaded
6799         stuff, not from status.
6800
6801         * connect.c (select_fd): Should compile on HPUX without warnings now.
6802
6803         * ftp.c (ftp_get_listing): Check whether ftp_loop_internal
6804         returned RETROK.
6805
6806 1996-11-04  Hrvoje Niksic  <hniksic@srce.hr>
6807
6808         * ftp.c (ftp_retrieve_glob): Print the pattern nicely.
6809         (getftp): Return FTPRETRINT on control connection error.
6810
6811         * html.c (htmlfindurl): Recognize <embed src=...> and
6812         <bgsound src=...>.
6813         (ftp_index): Handle username and password correctly.
6814
6815         * main.c (main): Made `-np' a synonim for --no-parent.
6816
6817 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
6818
6819         * ftp.c (ftp_loop): Check for opt.ftp_glob too before calling
6820         ftp_retrieve_glob.
6821
6822         * version.c: Changed version to 1.4.0-test2.
6823
6824 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
6825
6826         * version.c: Released 1.4.0-test1.
6827
6828         * url.c (str_url): Don't use sprintf when creating %2F-prefixed
6829         directory.
6830         (convert_links): Removed definition of make_backup.
6831
6832         * http.h: Removed definition of MAX_ERROR_LENGTH.
6833
6834         * host.c (ftp_getaddress): Check for "(none)" domains.
6835
6836         * ftp.c (ftp_retrieve_dirs): Docfix.
6837
6838         * http.c (gethttp): Use ou->referer instead of u->referer.
6839
6840         * retr.c (retrieve_url): Reset u to avoid freeing pointers twice;
6841         this was known to cause coredumps on Linux.
6842
6843         * html.c (ftp_index): Cast the argument to local_time to time_t *.
6844
6845 1996-11-01  Hrvoje Niksic  <hniksic@srce.hr>
6846
6847         * connect.c (select_fd): Use exceptfds -- once and for all.
6848
6849         * retr.c (retrieve_from_file): Free filename after
6850         recursive_retrieve.
6851         (retrieve_from_file): Send RFIRST_TIME to recursive_retrieve on
6852         first-time retrieval.
6853         (retrieve_from_file): Return uerr_t; new argument, count.
6854         (retrieve_from_file): Break on QUOTEXC.
6855
6856         * init.c (setquota): Fixed a bug that caused rejection of
6857         non-postfixed values..
6858
6859 1996-10-30  Hrvoje Niksic  <hniksic@srce.hr>
6860
6861         * version.c: Changed name to wget.
6862
6863         * connect.c (iread): Smarter use of select.
6864         (select_fd): Set errno on timeout.  If not timeout, return 1
6865         instead of 0.
6866
6867 1996-10-29  Hrvoje Niksic  <hniksic@srce.hr>
6868
6869         * ftp.c (ftp_loop_internal): Don't use con->cmd before
6870         establishing it.
6871
6872 1996-10-26  Hrvoje Niksic  <hniksic@srce.hr>
6873
6874         * http.c (gethttp): Send correct referer when using proxy.
6875         (gethttp): Use struct urlinfo ou to access the relevant data; send
6876         correct authorization in all cases.
6877
6878         * host.c (same_host): Use skip_uname to skip username and
6879         password.
6880
6881         * url.c (skip_uname): New function.
6882         (parseurl): Use it.
6883
6884         * host.c (same_host): Do not assume HTTP -- same_host should now
6885         be totally foolproof.
6886
6887         * url.c (skip_proto): New function.
6888         (parse_uname): Use it.
6889
6890         * http.c (gethttp): Create local user and passwd from what is
6891         given.
6892
6893         * url.c (parseurl): Check for HTTP username and password too.
6894
6895 1996-10-25  Hrvoje Niksic  <hniksic@srce.hr>
6896
6897         * config.h.in: Removed #define gethostbyname R...
6898
6899 1996-10-22  Hrvoje Niksic  <hniksic@srce.hr>
6900
6901         * version.c: Changed version to 1.4.0-test1.
6902
6903 1996-10-21  Hrvoje Niksic  <hniksic@srce.hr>
6904
6905         * version.c: "Released" 1.4b29.
6906
6907         * recur.c (recursive_retrieve): Check for no_parent.
6908
6909         * init.c (setval): Option update.
6910
6911         * main.c (main): New option no-parent.
6912
6913         * options.h (struct options): New variable no_parent.
6914
6915         * recur.c (recursive_retrieve): Only files are checked for
6916         opt.accepts and opt.rejects.
6917         (recursive_retrieve): Check directories for opt.excludes.
6918         (recursive_retrieve): Make the dir absolute when checking
6919         opt.excludes.
6920
6921         * html.c (htmlfindurl): Recognize <applet code=...> and <script
6922         src=...>
6923
6924 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
6925
6926         * ftp.c (getftp): Do not line-break assert entries at all.
6927         (ftp_retrieve_dirs): docfix.
6928
6929         * connect.c (select_fd): Use fd + 1 as nfds.
6930
6931         * version.c: Changed version to 1.4b29.
6932
6933 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
6934
6935         * version.c: "Released" 1.4b28.
6936
6937         * ftp.c (ftp_loop_internal): Check whether f->size == len and
6938         don't continue the loop if it is.
6939         (ftp_get_listing): Remove list_filename on unsuccesful loop.
6940
6941 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
6942
6943         * ftp.c (ftp_loop_internal): Use strcpy to initialize tmp.
6944         (getftp): Do not use multiline assert.
6945
6946         * http.c (hparsestatline): Use mjr and mnr instead of major and
6947         minor, which don't compile on Ultrix.
6948         (http_loop): Use strcpy() to initialize tmp.
6949
6950         * all: Geturl -> Fetch
6951
6952 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
6953
6954         * recur.c (parse_robots): Fixed an off-by-one bug when looking for
6955         ':'.
6956
6957         * html.c (htmlfindurl): Fixed several possible off-by-one bugs by
6958         moving `bufsize &&' to the beginning of each check in for-loops.
6959
6960         * recur.c (parse_robots): Close fp on exit.
6961
6962         * url.c (mymkdir): Check for each directory before creating.
6963
6964 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
6965
6966         * version.c: Changed version to 1.4b28.
6967
6968 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
6969
6970         * version.c: "Released" 1.4b27.
6971
6972         * init.c (parse_line): Use isspace.
6973         (parse_line): Free *com on all errors.
6974
6975         * ftp.c (ftp_loop): Change FTPOK to RETROK before exiting.
6976         (delelement): Use next instead of f->next and prev instead of
6977         f->prev.
6978         (delelement): Free the members of the deleted element.
6979
6980         * http.c (http_loop): Do not return RETROK on code != 20x.
6981
6982         * init.c (cleanup): Free opt.user_header.
6983         (cleanup): Free opt.domains.
6984
6985         * url.c (freelists): Moved to cleanup().
6986
6987         * http.c (hparsestatline): Docfix.
6988
6989         * main.c (main): Return with error status on unsuccesful
6990         retrieval.
6991
6992         * init.c (setval): Do not remove listing when mirroring.
6993
6994         * url.c (url_filename): Use opt.fileprefix.
6995
6996         * ftp.c (ftp_get_listing): Use url_filename to get filename for
6997         .listing.
6998
6999         * main.c (main): New option: -rn.
7000
7001 1996-10-15  Hrvoje Niksic  <hniksic@srce.hr>
7002
7003         * Makefile.in (RM): Added RM = rm -f.
7004
7005         * host.c (clean_hosts): New function.
7006         (free_hlist): Just free the list, no reset.
7007
7008         * version.c: Changed version to 1.4b27.
7009
7010 1996-10-13  Hrvoje Niksic  <hniksic@srce.hr>
7011
7012         * version.c: "Released" 1.4b26.
7013
7014         * retr.c (retrieve_from_file): If call get_urls_html with
7015         opt.spider to make it silent in spider mode.
7016
7017         * url.c (str_url): Use CLEANDUP instead of URL_CLEANSE.
7018
7019         * url.h (CLEANDUP): New macro.
7020
7021         * http.c (gethttp): Fixed a bug that freed location only when it
7022         was NULL.
7023
7024         * retr.c (retrieve_url): Free url if it will not be stored,
7025         i.e. newloc is NULL.
7026
7027         * html.c (htmlfindurl): Handle exiting from quotes correctly; the
7028         old version would bug out on <a href="x#a"href="y">.
7029
7030         * html.h (state_t): New member in_quote.
7031
7032         * html.c (htmlfindurl): Free s->attr at the beginning of
7033         attr-loop.
7034
7035         * recur.c (recursive_retrieve): Recognize RCLEANUP.
7036         (tried_robots): Make hosts a global variable.
7037         (recursive_retrieve): Free constr after URL host optimization.
7038         (tried_robots): Free urlinfo before exiting.
7039
7040         * utils.c (free_slist): New function.
7041
7042         * recur.c (recursive_retrieve): Use flags to add cleanup
7043         possibility.
7044
7045         * main.c (main): Free filename after recursive_retrieve.
7046
7047         * http.c (gethttp): Store successful responses too.
7048
7049 1996-10-12  Hrvoje Niksic  <hniksic@srce.hr>
7050
7051         * all: Constified the whole source.  This required some minor
7052         changes in many functions in url.c, possibly introducing bugs -- I
7053         hope not.
7054
7055         * ftp-basic.c: Removed last_respline.
7056
7057         * http.c (gethttp): Free type.
7058
7059         * host.c (same_host): Free real1 and real2.
7060
7061         * main.c (main): New option --spider.
7062
7063         * retr.c (get_contents): Don't reset errno.
7064
7065         * main.c (main): Sorted the options.
7066
7067         * connect.c (iread): Set errno to ETIMEDOUT only if it was left
7068         uninitialized by select().
7069
7070         * http.c (http_loop): Print the time when the connection is
7071         closed.
7072         (gethttp): Debug-print the HTTP request.
7073
7074 1996-10-11  Hrvoje Niksic  <hniksic@srce.hr>
7075
7076         * connect.c (iread): Do not try reading after timeout.
7077
7078         * main.c (main): Would bug out on -T.
7079
7080         * connect.c (select_fd): Do not use exceptfds.
7081         (iread): Set ETIMEDOUT on select_fd <= 0.
7082
7083         * version.c: Changed version to 1.4b26.
7084
7085 1996-10-10  Hrvoje Niksic  <hniksic@srce.hr>
7086
7087         * version.c: "Released" 1.4b25.
7088
7089         * ftp-unix.c (ftp_parse_unix_ls): Ignore lines without file name
7090         or link name.
7091
7092         * http.c (gethttp): Add errcode to struct hstat.
7093         (http_loop): Use it.
7094
7095         * url.c (no_proxy_match): Simplify using char** for no_proxy.
7096
7097         * options.h (struct options): Make opt.no_proxy a vector.
7098
7099         * utils.c (sepstring): Use !*s instead of !strlen(s).
7100
7101         * init.c (setval): Set opt.maxreclevel to 0 on --mirror.
7102         (getperms): Use ISODIGIT instead of isdigit.
7103
7104         * ftp.c (getftp): Print time.
7105
7106         * main.c (main): Use legible output of downloaded quantity.
7107
7108         * ftp.c (getftp): Use elapsed_time().
7109         (ftp_loop_internal): Use rate().
7110
7111         * http.c (http_loop): Add download ratio output; Use rate().
7112
7113         * utils.c (rate): New function.
7114
7115 1996-10-09  Hrvoje Niksic  <hniksic@srce.hr>
7116
7117         * http.c (http_loop): Use timer.
7118
7119         * ftp.c: Split to ftp-basic.c and ftp.c
7120
7121         * utils.c (reset_timer): New function.
7122         (elapsed_time): New function.
7123
7124         * retr.c (show_progress): Make bytes_in_line and offs long; should
7125         work on 16-bit machines.
7126
7127 1996-10-08  Hrvoje Niksic  <hniksic@srce.hr>
7128
7129         * url.c (in_acclist): New argument backward.
7130
7131         * ftp.c (ftp_retrieve_glob): Use acceptable() to determine whether
7132         a file should be retrieved according to suffix.
7133         (ftp_get_listing): Check the return value of unlink; Do not call
7134         ftp_retrieve_dirs if depth reached maxreclevel.
7135         (ftp_retrieve_dirs): Check whether the directory is in
7136         exclude-list.
7137
7138         * main.c (main): Print the version number at the beginning of
7139         DEBUG output.
7140         (main): Use strrchr when creating exec_name.
7141
7142         * ftp.c (ftp_retrieve_glob): Do not close control connection.
7143
7144         * version.c: Changed version to 1.4b25.
7145
7146 1996-10-07  Hrvoje Niksic  <hniksic@srce.hr>
7147
7148         * version.c: "Released" 1.4b24.
7149
7150         * Makefile.in: Rewrite.
7151
7152         * ftp.c (ftp_loop_internal): Likewise.
7153
7154         * retr.c (time_str): Check for failed time().
7155
7156         * html.c (htmlfindurl): Recognize <fig src> and <overlay src> from
7157         HTML3.0.
7158
7159         * retr.c (time_str): Return time_t *.
7160
7161         * connect.c (bindport): Close msock on unsuccesful bind.
7162         (bindport): The same for getsockname and listen.
7163
7164         * retr.c (retrieve_url): Allow any number of retries on
7165         proxy.
7166
7167         * http.c (gethttp): Do not treat errno == 0 as timeout.
7168         (http_loop): Likewise.
7169         (http_loop): Cosmetic changes.
7170
7171         * connect.c (iread): Set errno to ETIMEDOUT in case of timeout.
7172
7173         * retr.c (get_contents): Reset errno.
7174
7175         * ftp.c (getftp): Minor fixes.
7176
7177 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
7178
7179         * http.c: Do not use backups.
7180
7181         * geturl.1 (WARNING): Warn that man-page could be obsolete.
7182
7183         * getopt.c (getopt_long): Moved to getopt.c
7184
7185         * geturl.texi: Enhanced.
7186
7187         * main.c (main): Use it.
7188
7189         * recur.c (convert_all_links): New function.
7190
7191         * utils.c (add_slist): New argument flags.
7192
7193         * recur.c (recursive_retrieve): Update a list of downloaded URLs.
7194         (parse_robots): Do not chuck out empty value fields.
7195         (parse_robots): Make yourself welcome on empty Disallow.
7196
7197         * version.c: Changed version to 1.4b24.
7198
7199 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
7200
7201         * version.c: "Released" 1.4b23.
7202
7203         * ftp.c (ftp_loop_internal): Get the time after getftp.
7204
7205         * Makefile.in (install.info): New target.
7206         (install): Use it.
7207
7208         * http.c (http_loop): Fix output when doing -O.
7209
7210 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
7211
7212         * geturl.texi: New file.
7213
7214         * main.c (main): Do not print the warnings and download summary if
7215         opt.quiet is set.
7216
7217         * version.c: Changed version to 1.4b23.
7218
7219 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
7220
7221         * "Released" 1.4b22.
7222
7223         * atotm.c (atotm): Use True and False instead of TRUE and FALSE,
7224         to avoid redefinition warnings.
7225
7226         * host.c (store_hostaddress): Use memcpy() to copy the address
7227         returned by inet_addr.
7228
7229         * version.c: Changed version to 1.4b22.
7230
7231 1996-10-04  Hrvoje Niksic  <hniksic@srce.hr>
7232
7233         * version.c: "Released" 1.4b21.
7234
7235         * ftp-unix.c (ftp_parse_ls): Renamed to ftp_parse_unix_ls.
7236
7237         * ftp.c (ftp_port): Use conaddr.
7238         (getftp): Print the file length.
7239         (ftp_retrieve_list): Check the stamps of plain files only.
7240
7241         * connect.c (closeport): Do not call shutdown().
7242         (conaddr): New function.
7243
7244         * html.c (ftp_index): Made it dfp-aware.
7245
7246         * init.c (cleanup): New name of freemem. Close opt.dfp.
7247
7248         * ftp.c (getftp): Use opt.dfp if it is set.
7249
7250         * ftp-unix.c (ftp_parse_ls): Recognize time in h:mm format.
7251
7252         * ftp.c (ftp_retrieve_dirs): Fixed a bug that caused incorrect
7253         CWDs to be sent with recursive FTP retrievals.
7254
7255 1996-10-03  Hrvoje Niksic  <hniksic@srce.hr>
7256
7257         * recur.c (parse_robots): Made it more compliant with "official"
7258         specifications.
7259
7260         * http.c: New function.
7261
7262         * ftp-unix.c (ftp_parse_ls): Added better debug output.
7263
7264         * ftp.c (getftp): Print out the LIST in case of
7265         opt.print_server_response.
7266
7267         * version.c: Changed version to 1.4b21.
7268
7269 1996-10-01  Hrvoje Niksic  <hniksic@srce.hr>
7270
7271         * version.c: "Released" 1.4b20.
7272
7273         * README: Update.
7274
7275         * http.c (gethttp): Preset lengths of various headers instead of
7276         calculating them dynamically.
7277         (gethttp): Check for 206 partial contents.
7278
7279 1996-09-30  Hrvoje Niksic  <hniksic@srce.hr>
7280
7281         * configure.in: Set SYSTEM_GETURLRC to $libdir/geturlrc
7282
7283         * http.c (gethttp): Send the port number in the Host: header.
7284
7285 1996-09-29  Hrvoje Niksic  <hniksic@srce.hr>
7286
7287         * http.c (gethttp): Send host: header.
7288         (gethttp): Add the possibility of user-defined headers.
7289         (gethttp): Move decision about pragma: no-cache to http_loop,
7290         where it belongs.
7291         (gethttp): Pass a struct instead of enormous argument list.
7292         (http_loop): Use a new, fancier display format.
7293         (ftp_loop): Likewise.
7294
7295         * main.c: (hangup): Turn off buffering of the new log file.
7296
7297         * install-sh: Likewise.
7298
7299         * config.sub: Replace with the one in autoconf-2.10
7300
7301         * geturl.1: Update.
7302
7303         * init.c: New options httpuser and httppasswd.
7304
7305         * http.c: (base64_encode_line): New function.
7306         (gethttp): Send authentication.
7307
7308         * connect.c (make_connection): Use store_hostaddress.
7309
7310 1996-09-28  Hrvoje Niksic  <hniksic@srce.hr>
7311
7312         * host.c (store_hostaddress): New function.
7313
7314         * NEWS: Update.
7315
7316         * http.c (hgetrange): New function.
7317         (gethttp): Use ranges.
7318
7319         * utils.c (numdigit): Accept long instead of int.
7320
7321         * http.c (http_loop): Add restart capabilities.
7322
7323         * ftp.c (ftp_retrieve_glob): Fixed a bug that could cause matchres
7324         being used uninitialized.
7325         (ftp_retrieve_list): Similar fix.
7326
7327         * host.c (add_hlist): Fixed a bug that could cause cmp being used
7328         uninitialized.
7329
7330         * url.c (construct_relative): New function.
7331
7332         * recur.c (recursive_retrieve): Use it.
7333
7334         * retr.c (convert_links): New function.
7335
7336 1996-09-27  Hrvoje Niksic  <hniksic@srce.hr>
7337
7338         * url.c (free_urlpos): New function.
7339
7340         * recur.c (recursive_retrieve): Adapt.
7341
7342         * url.c (get_urls_html): Return a linked list instead of a vector.
7343
7344         * url.c (get_urls_file): Return a linked list instead of a vector.
7345
7346         * geturl.1: Update.
7347
7348         * http.c (gethttp): Implement it.
7349
7350         * init.c (setval): New option: SAVEHEADERS
7351
7352         * ftp.c (ftp_loop_internal): Do not set restval if listing is to
7353         be retrieved. Lack of this test caused bugs when the connection
7354         was lost during listing.
7355
7356         * retr.c (retrieve_url): Fixed a bug that caused
7357         coredumps. *newloc is now reset by default.
7358         (retrieve_url): Lift the twenty-tries limit on proxies.
7359
7360         * version.c: Changed version to 1.4b20.
7361
7362 1996-09-20  Hrvoje Niksic  <hniksic@srce.hr>
7363
7364         * version.c: "Released" 1.4b19.
7365
7366 1996-09-19  Hrvoje Niksic  <hniksic@srce.hr>
7367
7368         * ftp.c (ftp_loop_internal): Renamed from ftp_1fl_loop.
7369         (getftp): Changed prototype to accept ccon *.
7370
7371 1996-09-17  Hrvoje Niksic  <hniksic@srce.hr>
7372
7373         * ftp.c (ftp_retrieve_list): Fixed a bug that caused setting
7374         incorrect values to files pointed to by symbolic links.
7375         (ftp_1fl_loop): Do not count listings among the downloaded URL-s.
7376
7377 1996-09-16  Hrvoje Niksic  <hniksic@srce.hr>
7378
7379         * url.c (mkstruct): Do not prepend "./" in front of a pathname.
7380
7381         * main.c (main): New option: --user-agent.
7382
7383         * geturl.1: Ditto.
7384
7385         * init.h: Ditto.
7386
7387         * init.c (setval): Ditto.
7388
7389         * main.c (main): Rename "server-headers" to "server-response".
7390
7391         * ftp-unix.c (ftp_parse_ls): Check for asterisks at the end of
7392         executables in 'ls -F' listings.
7393
7394 1996-09-15  Hrvoje Niksic  <hniksic@srce.hr>
7395
7396         * url.c (parseurl): Remove realloc() and sprintf().
7397         (str_url): Get rid of sprintf().
7398
7399         * recur.c (recursive_retrieve): Enable FTP recursion through proxy
7400         servers.
7401
7402         * url.h (URL_CLEANSE): Made it else-resistant.
7403         (USE_PROXY): New macro.
7404
7405 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
7406
7407         * NEWS: Update.
7408
7409         * version.c: Changed version to 1.4b19.
7410
7411 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
7412
7413         * version.c: "Released" 1.4b18.
7414
7415         * url.c: Made it reallocate space exponentially.
7416
7417 1996-09-14  Drazen Kacar  <dave@fly.cc.fer.hr>
7418
7419         * html.c (htmlfindurl): Added <frame src> and <iframe src> among
7420         the list of stuff to fetch.
7421
7422 1996-09-13  Hrvoje Niksic  <hniksic@srce.hr>
7423
7424         * url.c (get_urls_html): Fixed a bug that caused SIGSEGV's with
7425         -Fi.
7426
7427         * html.c (htmlfindurl): Rewrite.
7428
7429         * http.c (gethttp): Use opt.proxy_cache.
7430
7431         * main.c (main): Added --cache option.
7432
7433         * ftp.c (ftp_response): Print server response if opt.print_server
7434         response is set.
7435         (getftp): Print newlines after each request if the server response
7436         is to be printed.
7437         (ftp_response): Copy the last response line to last_respline.
7438
7439         * http.c (gethttp): Add Pragma: nocache for retried
7440         proxy-retrievals.
7441
7442         * ftp.c (getftp): Use it.
7443
7444         * retr.c (buf_discard): New function.
7445
7446         * ftp.c (ftp_response): Use buf_readchar().
7447         (getftp): Flush the control connection buffer before calling
7448         get_contents().
7449
7450         * retr.c (buf_readchar): New function.
7451         (buf_flush): New function.
7452         (get_contents): Use buf_readchar() instead of read(x, x, 1).
7453         (get_contents): Use buf_flush.
7454
7455 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
7456
7457         * ftp.c: Incorporate changes to ftp_response.
7458
7459         * ftp.c (ftp_response): Allocate the server response dynamically,
7460         as in read_whole_line and fetch_next_header.
7461
7462         * utils.c (read_whole_line): Fixed a bug that prevented reading
7463         the last line if it is not \n-terminated. Also fixed a possible
7464         memory overflow.
7465
7466         * http.c (fetch_next_header): Return malloc-ed string as large as
7467         needed.
7468         (gethttp): Use new fetch_next_header.
7469
7470 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
7471
7472         * http.c (hgetlen): Compute the header length the first time only.
7473         (hgettype): Ditto.
7474         (hgetlocation): Ditto.
7475         (hgetmodified): Ditto.
7476
7477 1996-09-11  Hrvoje Niksic  <hniksic@srce.hr>
7478
7479         * sample.geturlrc: Update.
7480
7481 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
7482
7483         * http.c (http_loop): Ditto.
7484
7485         * ftp.c (getftp): Open the output file as binary.
7486
7487         * version.c: Changed version to 1.4b18.
7488
7489 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
7490
7491         * version.c: "Released" 1.4b17.
7492
7493         * ftp-unix.c (ftp_parse_ls): If unable to open file, return NULL
7494         instead of failed assertion.
7495
7496 1996-09-09  Hrvoje Niksic  <hniksic@srce.hr>
7497
7498         * ftp.c (ftp_get_listing): Add a numbered suffix to LIST_FILENAME
7499         if a file of that name already exists.
7500
7501 1996-09-05  Hrvoje Niksic  <hniksic@srce.hr>
7502
7503         * ftp.c (ftp_1fl_loop): Handler FTPPORTERR and FOPENERR correctly.
7504
7505         * config.h.in: Define gethostbyname as Rgethostbyname when using
7506         Socks.
7507
7508         * configure.in: Check for -lresolv if using Socks.
7509
7510         * version.c: Changed version to 1.4b17.
7511
7512 1996-07-15  Hrvoje Niksic  <hniksic@srce.hr>
7513
7514         * version.c: "Released" 1.4b16.
7515
7516         * http.c (gethttp): More intelligent check for first line of HTTP
7517         response.
7518         (gethttp): Would bug out on time-stamping.
7519
7520         * version.c: Changed version to 1.4b16.
7521
7522 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
7523
7524         * version.c: Released 1.4b15.
7525
7526         * http.c (http_loop): Print \n after the loop entry, not before.
7527
7528         * url.c (url_filename): Use ISDOT.
7529
7530         * url.h (ISDOT): New macro.
7531
7532         * recur.c (recursive_retrieve): Change only opt.recursive for
7533         following FTP.
7534
7535 1996-07-11  Antonio Rosella <antonio.rosella@agip.it>
7536
7537         * socks/geturl.cgi: Fixed version No.
7538
7539         * socks/download-netscape.html: Ditto.
7540
7541         * socks/download.html: Changed socks.html to download.html.
7542
7543 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
7544
7545         * url.c (url_filename): Check for opt.dirstruct instead for
7546         opt.recursive && opt.dirstruct.
7547
7548         * init.c (defaults): Ditto.
7549         (defaults): Reset dirstruct by default.
7550         (setval): Set opt.dirstruct whenever setting recursive.
7551
7552         * init.h: Removed FORCEDIRHIER.
7553
7554         * INSTALL: Added -L to socks-description.
7555
7556         * version.c: Changed version to 1.4b15.
7557
7558 1996-07-10  Hrvoje Niksic  <hniksic@srce.hr>
7559
7560         * version.c: "Released" 1.4b14.
7561
7562         * geturl.1: Update AUTHOR to include Rosella as contributor.
7563
7564         * NEWS: Update.
7565
7566         * socks/geturl.cgi: Simplified command creation, nuked <blink>.
7567
7568         * socks/geturl.cgi: Wrap nutscape extensions within if $netscape.
7569         (cal_time): Fix == to eq.
7570
7571         * socks/geturl.cgi: GPL-ized with permission of A. Rosella.
7572
7573         * geturl.1 (hostname): Moved URL CONVENTIONS to the beginning.
7574
7575         * Makefile.in: Use @VERSION@.
7576
7577         * configure.in: Check version from version.c.
7578
7579         * socks/geturl.cgi: Changed /pub/bin/perl to /usr/bin/perl.
7580
7581         * socks/download.html: Created from download-netscape.html, made
7582         HTML-2.0 compliant.
7583
7584         * recur.c (recursive_retrieve): Set opt.force_dir_hier when
7585         following FTP links from recursions.
7586
7587 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
7588
7589         * url.c (mymkdir): Fixed a bug that prevented mymkdir() to create
7590         absolute directories correctly.
7591
7592         * version.c: Changed version to 1.4b14.
7593
7594 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
7595
7596         * version.c: "Released" 1.4b13.
7597
7598         * url.c (make_backup): New function.
7599
7600         * http.c (http_loop): Make a backup copy of the local file (using
7601         rename(2)) before opening it.
7602
7603         * main.c (main): Added --backups.
7604
7605         * host.c (ftp_getaddress): Bail out on failed mycuserid().
7606         (ftp_getaddress): Check for leading dot on MY_DOMAIN.
7607         (ftp_getaddress): Check for empty, null or (null) domain.
7608
7609         * url.c (get_urls_html): If this_url is NULL, the base must have a
7610         protocol.
7611         (parseurl): Use has_proto.
7612
7613         * retr.c (retrieve_url): Warn when proxy is used with more than 20
7614         retries.
7615
7616         * url.c (mkstruct): Create the directory (calling mymkdir()) only
7617         if it is not already there.
7618         (has_proto): New function.
7619         (get_urls_html): Eliminate the remaining call to findurl -- use
7620         has_proto.
7621
7622         * geturl.1: Ditto.
7623
7624         * main.c: Change -X to -x.
7625
7626         * url.c (url_filename): Simplify creation of filename if
7627         prefix_files is set.
7628         (url_filename): Simplify everything. And I do mean *everything*.
7629         (mkstruct): Add dir_prefix before hostname.
7630         (path_simplify): Fixed a bug that caused writing outside the path
7631         string in case of "." and ".." path strings.
7632
7633 1996-07-06  Hrvoje Niksic  <hniksic@srce.hr>
7634
7635         * init.c: Added --mirror.
7636
7637         * main.c (main): Added -X to force saving of directory hierarchy.
7638
7639         * ftp.c (ftp_retrieve_list): Added recursion depth counter.
7640         (ftp_retrieve_list): Check whether quota is exceeded.
7641
7642         * url.c (get_urls_html): Skip leading blanks for absolute URIs.
7643
7644         * http.c (gethttp): Use referer if present.
7645
7646         * recur.c (recursive_retrieve): Set u->referer before calling
7647         retrieve_url.
7648
7649         * url.c (newurl): Use memset to nullify the struct members.
7650         (freeurl): Free the referer field too.
7651
7652         * url.h: Added referer to urlinfo.
7653
7654         * geturl.1: Updated the manual to document some of the new features.
7655
7656         * utils.c (numdigit): Moved from url.c.
7657
7658         * README: Rewritten.
7659
7660         * config.h.in: Add the support for socks.
7661
7662         * configure.in: Add the support for socks.
7663
7664         * url.c (url_filename): If the dir_prefix is ".", work with just
7665         the file name.
7666         (url_filename): Do not look for .n extensions if timestamping if
7667         turned on.
7668
7669         * retr.c (show_progress): Skip the over-abundant restval data, and
7670         print the rest of it with ',' instead of '.'.
7671
7672 1996-07-05  Hrvoje Niksic  <hniksic@srce.hr>
7673
7674         * retr.c (show_progress): Changed second arg. to long (as it
7675         should be).
7676         (show_progress): Moved to retr.c.
7677         (get_contents): Moved to retr.c.
7678
7679         * version.c: Change version to 1.4b13.
7680
7681 1996-07-05  Hrvoje Lacko <hlacko@fly.cc.fer.hr>
7682
7683         * url.c (in_acclist): Would return after the first suffix.
7684
7685 1996-07-04  Hrvoje Niksic  <hniksic@srce.hr>
7686
7687         * version.c: "Released" 1.4b12.
7688
7689         * url.c (path_simplify): More kludgifications.
7690         (get_urls_html): Use new parameters for htmlfindurl.
7691
7692         * html.c: Removed memorizing "parser states", since the new
7693         organization does not require them.
7694
7695         * init.c (run_geturlrc): Use read_whole_line.
7696
7697         * ftp-unix.c (ftp_parse_ls): Use read_whole_line.
7698
7699         * recur.c (parse_robots): Use read_whole_line.
7700
7701         * utils.c (read_whole_line): New function.
7702
7703         * recur.c (tried_robots): Use add_slist/in_slist, *much* cleaner.
7704
7705         * host.c (ngethostbyname): Call inet_addr just once. Yet to be
7706         tested on OSF and Ultrix.
7707         (add_hlist): New function.
7708         (free_hlist): New function.
7709         (search_host): New function.
7710         (search_address): New function.
7711         (realhost): Use search_host, search_address and add_hlist.
7712         (same_host): Replaced realloc() with strdupdelim(), made
7713         case-insensitive, fixed a memory leak.
7714
7715         * html.c (ftp_index): Fixed tm_min and tm_sec to be tm_hour and
7716         tm_min, like intended.
7717
7718         * version.c: Change user agent information to
7719         Geturl/version.
7720
7721 1996-07-03  Hrvoje Niksic  <hniksic@srce.hr>
7722
7723         * utils.c: Renamed nmalloc.c to utils.c, .h likewise.
7724
7725         * url.c (acceptable): Always accept directories.
7726
7727         * ftp-unix.c (ftp_parse_ls): Support brain-damaged "ls -F"-loving
7728         servers by stripping trailing @ from symlinks and trailing / from
7729         directories.
7730
7731         * ftp.c (ftp_loop): Debugged the "enhanced" heuristics. :-)
7732
7733         * url.c (skip_url): Use toupper instead of UCASE.
7734
7735         * host.c (sufmatch): Made it case-insensitive.
7736
7737         * url.c (match_backwards_or_pattern): Fixed i == -1 to j == -1.
7738         (match_backwards): New function, instead of
7739         match_backwards_or_pattern.
7740
7741         * recur.c (recursive_retrieve): Increased performance by
7742         introducing inl, which reduces number of calls to in_slist to only
7743         one.
7744
7745         * ftp.c (ftp_loop): Enhanced the heuristics that decides which
7746         routine to use.
7747
7748         * main.c (printhelp): Removed the warranty stuff.
7749
7750 1996-07-02  Hrvoje Niksic  <hniksic@srce.hr>
7751
7752         * url.c (add_slist): Simplify.
7753         (match_backwards_or_pattern): New function.
7754         (in_acclist): Use match_backwards_or_pattern.
7755         (matches): Remove.
7756
7757 1996-06-30  Hrvoje Niksic  <hniksic@srce.hr>
7758
7759         * ftp.c (ftp_loop): Call ftp_index on empty file names, if not
7760         recursive.
7761
7762         * html.c (ftp_index): Fixed to work. Beautified the output.
7763
7764         * ftp.c (ftp_retrieve_glob): Another argument to control whether
7765         globbing is to be used.
7766         (ftp_retrieve_list): Compare the time-stamps of local and remote
7767         files to determine whether to download.
7768
7769 1996-06-29  Hrvoje Niksic  <hniksic@srce.hr>
7770
7771         * ftp.c (rel_constr): New function.
7772
7773         * retr.c (retrieve_from_file): Check for text/html before
7774         retrieving recursively.
7775
7776         * main.c (main): Check whether the file is HTML before going into
7777         recursive HTML retrieving.
7778
7779         * ftp.c (ftp_retrieve_list): Manage directories.
7780         (ftp_retrieve_glob): Pass all the file-types to ftp_retrieve_list.
7781         (ftp_1fl_loop): Fixed a bug that caused con->com to be incorrectly
7782         initialized, causing bugchecks in getftp to fail.
7783
7784         * configure.in: Check for symlink.
7785
7786         * ftp.c (ftp_retrieve_list): Added support for symlinks.
7787
7788         * version.c: "Released" 1.4b10.
7789
7790         * atotm.c (atotm): Redeclared as time_t.
7791
7792         * init.c: New variable "timestamping".
7793
7794         * main.c (main): New option 'N'.
7795
7796         * http.c (hgetlocation): Case-insensitive match.
7797         (hgetmodified): New function.
7798         (http_loop): Implement time-stamping.
7799
7800 1996-06-28  Hrvoje Niksic  <hniksic@srce.hr>
7801
7802         * version.c: Changed version to 1.4b10
7803
7804         * atotm.c: New file, from phttpd.
7805
7806         * options.h (struct options): New parameter timestamping.
7807
7808         * version.c: 1.4b9 "released".
7809
7810         * recur.c (recursive_retrieve): Used linked list (ulist) for
7811         faster storing of URLs.
7812
7813         * url.c (get_urls_html): Removed the old kludge with comparing the
7814         outputs of htmlfindurl and findurl.
7815         (get_urls_html): Added better protocol support here.
7816         (create_hash): Removed, as well as add_hash and in_hash.
7817         (addslist): New function.
7818         (in_slist): ditto
7819
7820         * version.c: Released 1.4b8, changed version to b9.
7821
7822 1996-06-27  Hrvoje Niksic  <hniksic@srce.hr>
7823
7824         * ftp.c (freefileinfo): New function.
7825         (delelement): New function.
7826
7827         * everywhere: GPL!
7828
7829         * ftp.c (ftp_loop): Use ccon.
7830         (ftp_retrieve_glob): Likewise.
7831
7832         * ftp.h: Define ccon, to define status of control connection.
7833
7834         * ftp.c (ftp_get_listing): New function.
7835         (ftp_retrieve_more): New function.
7836         (ftp_retrieve_glob): New function.
7837
7838 1996-06-25  Hrvoje Niksic  <hniksic@srce.hr>
7839
7840         * configure.in: Removed the search for cuserid().
7841
7842         * init.c (getmode): Renamed to getperms.
7843
7844 1996-06-24  Hrvoje Niksic  <hniksic@srce.hr>
7845
7846         * version.c: New version.
7847
7848         * main.c (hangup): New function, that handles hangup. Hangup
7849         signal now causes geturl to stop writing on stdout, and to write
7850         to a log file.
7851
7852         * ftp.c (getftp): "Released" 1.4b7.
7853
7854         * html.c (htmlfindurl): Ignore everything inside <head>...</head>.
7855         (ftp_index): Use fileinfo/urlinfo.
7856
7857         * ftp-unix.c (ftp_parse_ls): New function.
7858         (symperms): New function.
7859
7860         * ftp.c (ftp_1fl_loop): New function, to handle 1-file loops.
7861
7862         * retr.c (retrieve_url): Added FTP support.
7863
7864 1996-06-23  Hrvoje Niksic  <hniksic@srce.hr>
7865
7866         * geturl.h: Removed NOTFTP2HTML enum.
7867         Added DO_LOGIN, DO_CWD and DO_LIST. LIST_ONLY is obsolete.
7868
7869         * ftp.c (getftp): Resynched with urlinfo.
7870         (getftp): Removed HMTL-ization of index.html from getftp.
7871
7872         * version.c: 1.4b6 "released".
7873
7874         * options.h (options): New struct, to keep options in.
7875
7876         * http.c (http_loop,gethttp): Synched with proxy.
7877
7878         * retr.c (retrieve_url): Implemented proxy retrieval.
7879
7880         * main.c (main): Use retrieve_from_file.
7881
7882 1996-06-22  Hrvoje Niksic  <hniksic@srce.hr>
7883
7884         * retr.c (retrieve_from_file): New function.
7885
7886         * url.c (parseurl): Modified to return URLOK if all OK. Protocol
7887         can be found in u->proto.
7888
7889         * ftp.c (ftp_response): Fixed to accept multi-line responses as
7890         per RFC 959.
7891
7892         * recr.c (recursive_retrieve): Take newloc from retrieve_url.
7893
7894         * url.c (mymkdir): Removed the file of the same name, if one
7895         exists.
7896         (isfile): New function.
7897         (mkstruct): Fixed the '/' glitches.
7898         (path_simplify): Hacked to treat something/.. correctly.
7899
7900 1996-06-21  Hrvoje Niksic  <hniksic@srce.hr>
7901
7902         * http.c (gethttp): Close the socket after error in headers.
7903         (http_loop): HEOF no longer a fatal header.
7904
7905         * loop.c (retrieve_url): When dt is NULL, do not modify it. This
7906         simplifies the syntax of calling retrieve_url.
7907
7908         * recr.c (recursive_retrieve): Modified to use get_urls_html.
7909
7910         * url.c (get_urls_file): New function.
7911         (get_urls_html): New function.
7912
7913         * recr.c (recursive_retrieve): Patched up to conform to the
7914         standards.
7915
7916         * http.c (gethttp): Synched with the rest...
7917         (gethttp): Treat only CONREFUSED specially, with connection
7918         errors.
7919
7920         * init.c,geturl.1,http.c (http_loop): Removed kill_error.
7921
7922 1996-06-20  Hrvoje Niksic  <hniksic@srce.hr>
7923
7924         * http.c (http_loop): New function.
7925
7926         * loop.c: Removed *lots* of stuff from retrieve_url.
7927
7928         * url.c (parseurl): Changed to work with urlinfo. Integrated
7929         username finding and path parsing.
7930         (newurl): New function.
7931         (freeurl): New function.
7932         (mkstruct): Removed the old bogosities, made it urlinfo-compliant.
7933         (url_filename): Likewise.
7934         (path_simplify): Accept relative paths too.
7935         (opt_url): Made urlinfo-compliant, removed bogosities.
7936         (path_simplify): Expanded to accept relative paths.
7937         (str_url): A replacement for hide_url
7938         (decode_string): Fixed a bug that caused malfunctioning when
7939         encountering an illegal %.. combination.
7940         (opt_url): Removed the argument. Dot-optimizations are now default.
7941
7942         * nmalloc.c (strdupdelim): New function.
7943
7944         * url.h: Added the urlinfo structure
7945
7946 1996-06-19  Hrvoje Niksic  <hniksic@srce.hr>
7947
7948         * url.c (hide_url): Thrown out the protocol assertion. Do not
7949         change the URL if the protocol if not recognized.
7950         (findurl): Put continue instead of break.
7951
7952 1996-06-18  Hrvoje Niksic  <hniksic@srce.hr>
7953
7954         * sample.geturlrc: Changed the defaults to be commented out and
7955         harmless (previous defaults caused pains if copied to
7956         ~/.geturlrc).
7957
7958         * http.c (gethttp): Print the HTTP request in debug mode.
7959
7960         * connect.c (iread): Added EINTR check loop to select-ing
7961         too. EINTR is now correctly handled with select().
7962
7963         * TODO: new file
7964
7965 1996-05-07  Hrvoje Niksic  <hniksic@srce.hr>
7966
7967         * host.c (same_host): Made the function a little bit more
7968         intelligent regarding diversified URL syntaxes.
7969
7970         * url.c (skip_url): Spaces are now skipped after URL:
7971
7972         * Released 1.3.1 with the patch to prevent crashing when sending
7973         NULL to robot* functions and the patch to compile "out of the box"
7974         on AIX.
7975
7976         * recr.c (recursive_retrieve): Added checking whether this_url is
7977         NULL when calling the robot functions.
7978
7979         * ChangeLog: New file.