]> sjero.net Git - wget/blob - src/ChangeLog
[svn] Don't reference address list after releasing it.
[wget] / src / ChangeLog
1 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
2
3         * connect.c (connect_to_host): Don't reference address list after
4         releasing it.
5
6 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
7
8         * main.c (print_help): Fix alignment of FTP options output.
9
10 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
11
12         * host.c (lookup_host): Check for the ability to create IPv6
13         sockets here.
14
15         * init.c (defaults): Don't auto-set --inet4-only on IPv6-less
16         systems.
17
18 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
19
20         * main.c (print_help): Fix typo in `-O' help message.  Fix docs of
21         -Y/--proxy.  Fix docs of `--cookies' and `--glob'.  Improve docs
22         of --convert-links.  Fix docs of SSL options.
23
24 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
25
26         * ftp-basic.c: Don't include <arpa/inet.h> and others because
27         they're no longer needed.
28
29 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
30
31         * main.c (main): Don't allow setting of both opt.ipv4_only and
32         opt.ipv6_only.
33
34         * init.c (defaults): Mark opt.ipv4_only specially when set
35         automatically.
36
37 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
38
39         * host.c (lookup_host): Use AI_ADDRCONFIG only if the family is
40         unspecified.  This ensures that specifying `--no-inet4' on systems
41         where IPv6 resolves, but doesn't work behaves the same regardless
42         of the availability of AI_ADDRCONFIG.
43
44 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
45
46         * host.c: Don't refer to the now-removed function
47         forget_host_lookup in the documentation of lookup_host.
48
49 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
50
51         * http.c (persistent_available_p): Correctly specify the endpoint
52         argument to socket_ip_address.
53         (gethttp): When printing the "reusing connection to..." message,
54         specify the host name of the reused connection, not the current
55         host name.  That makes more sense because it provides a useful
56         piece of information -- we know to which host we're supposed to
57         connect anyway!
58
59 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
60
61         * init.c: Make sure the options are in alphabetic order!
62
63         * host.c (lookup_host): Merge lookup_host_passive and lookup_host
64         after all -- having both would result in some code duplication.
65         (lookup_host): Set hints.ai_family to AF_INET if ipv4_only is
66         requested.  Likewise, set it to AF_INET6 for ipv6_only.  Specify
67         AI_ADDRCONFIG where available.
68         (lookup_host): New flag LH_REFRESH that specifies that a cached
69         entry for HOST should be refreshed.
70         (cache_query): New function.
71         (cache_store): Ditto.
72         (cache_remove): Ditto.
73         (forget_host_lookup): No longer necessary, replaced with static
74         function cache_remove.
75
76 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
77
78         * main.c: Enable -4 and -6 only if IPv6 is enabled.
79
80 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
81
82         * connect.c (register_transport): Renamed from register_extended.
83         Explain the intended usage.
84
85 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
86
87         * url.c (uri_merge): Merging "foo" and "bar" should result in
88         "bar", not in "foo/bar".
89         (path_simplify): Don't remove empty path elements; don't
90         special-case leading slash.
91         (path_simplify): Don't swallow ".."'s at the beginning of string.
92         E.g. simplify "foo/../../bar" as "../bar", not as "bar".
93         (append_uri_pathel): Defang ".." path element upon encountering
94         it.
95
96 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
97
98         * http.c (persistent_available_p): Don't attempt to talk to two
99         different SSL sites over the same secure connection.
100
101 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
102
103         * http.c (gethttp): Ditto.
104
105         * ftp.c (getftp): Use retryable_socket_connect_error instead of
106         CONNECT_ERROR.
107
108         * wget.h (CONNECT_ERROR): Removed.
109
110         * connect.c (retryable_socket_connect_error): New function instead
111         of unsupported_socket_family_error.
112
113 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
114
115         * wget.h (CONNECT_ERROR): Use it.
116
117         * connect.c (unsupported_socket_family_error): New function.
118
119 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
120
121         * connect.c (bind_local): Renamed bindport to bind_local; return
122         the socket directly.  Updated callers.
123         (accept_connection): Renamed acceptport to accept_connection;
124         return the created socket directly.  Updated callers.
125
126 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
127
128         * init.c (defaults): Turn on opt.ipv4_only if we're compiling with
129         IPv6, and AI_ADDRINFO is not available, and AF_INET6 sockets can't
130         be created.
131
132 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
133
134         * host.c (lookup_host): Document the fact that the addresses are
135         returned in order.
136
137 2003-11-12  Hrvoje Niksic  <hniksic@xemacs.org>
138
139         * utils.c: Use limits.h only where available.
140
141         * hash.c: Use INVALID_PTR and INVALID_PTR_BYTE.  Include limits.h.
142
143 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
144
145         * main.c: Added options --inet4-only and --inet6-only.
146
147 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
148
149         * host.c (host_errstr): Use the more standard message "Unknown
150         host".
151
152 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
153
154         * connect.c (connect_to_host): Use that flag to decide whether to
155         re-resolve the host name.
156
157         * host.c (struct address_list): Added a flag that maintains
158         whether the connection worked at some point.
159
160 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
161
162         * host.c (lookup_host): Special-case the numeric addresses only in
163         the non-IPv6 case.
164
165 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
166
167         * connect.c (resolve_bind_address): Call lookup_host_passive.
168         Make sure that opt.bind_address is resolved only once.
169
170         * host.c (lookup_host_passive): New function, handles "passive"
171         lookups.
172         (lookup_host): Remove the passive flags.  Remove the
173         family-related flags -- use ip_default_family instead.
174
175 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
176
177         * html-url.c: Get URLs from <object data="...">.
178
179 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
180
181         * main.c (option_data): Specify the command to use for --mirror.
182
183 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
184
185         * cookies.c (cookie_handle_set_cookie): Specify exact match for
186         unspecified domains.
187
188 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
189
190         * main.c (main): Removed one-letter options `-C', `-g', `-G', and
191         `-s'.
192
193 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
194
195         * main.c (main): Add --dont-remove-listing for backward
196         compatibility with previous versions.
197         (print_help): Fix typo, spotted by Dennis Smit.
198
199 2003-11-08  Gisle Vanem  <giva@bgnett.no>
200
201         * ftp-basic.c: Support Windows-2000 ftp servers. Win-2000 *is*
202         Win-NT 5.0 so calling it ST_WINNT is okay I guess.
203
204 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
205
206         * progress.c (update_speed_ring): Clear the speed ring when the
207         download stalls.
208
209         * retr.c (get_contents): Specify 0.95s read timeout, so that the
210         progress gauge can be updated even when data arrives very slowly
211         or stalls.
212
213 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
214
215         * utils.c (wtimer_allocate): Bless the use of wtimer_read on a
216         timer that has merely been allocated because get_contents() does
217         that.
218         (wtimer_update): Abort if the timer is not initialized.
219
220 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
221
222         * retr.c (get_contents): Pass the timer to limit_bandwidth().
223
224         * utils.c (wtimer_update): New function instead of wget_elapsed;
225         just update the timer, but don't return anything.
226         (wtimer_read): Read and return the last known value of the timer.
227
228 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
229
230         * http.c (persistent_available_p): Instead of matching all the
231         addresses of HOST and last host, determine the peer's IP address
232         with socket_ip_address and see if that address is one of those
233         HOST resolves to.
234
235         * host.c (address_list_match_all): Removed.
236         (address_list_find): New function, finds an IP address in the
237         address list.
238
239         * ftp.c (ftp_do_pasv): Get the peer's address here, and pass it to
240         ftp_epsv so it doesn't need to call getpeername.
241
242         * ftp-basic.c (ftp_port): Use socket_ip_address instead of
243         getpeername.
244         (ftp_lprt): Ditto.
245
246         * connect.c (socket_ip_address): Replaces conaddr, generalized to
247         either get peer's or local address.
248         (sockaddr_get_data): Made local to this file.
249
250 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
251
252         * hash.c (HASH_POSITION): Explicitly accept the hash function.
253         (grow_hash_table): Extract ht->hash_function outside the loop.
254         (hash_table_remove): Ditto.
255         (hash_table_clear): Fill entries with 0xff to clear them.
256         (hash_table_remove): Mark entries as deleted with the correct
257         marker.
258
259 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
260
261         * http.c (persistent_available_p): No reason for the host lookup
262         to be silent -- it's a lookup like any other.
263
264 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
265
266         * connect.c (register_extended): Check that fd >= 0.
267
268 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
269
270         * connect.c (LAZY_RETRIEVE_INFO): Set LAST_INFO.
271
272 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
273
274         * hash.c (NON_EMPTY): Use the all-bit-set value as the marker that
275         the field is empty.  This allows NULL pointer and 0 value to be
276         used as keys, which is necessary for the connect.c code to work
277         when fd==0.
278         (hash_table_new): Fill mappings with 0xff.
279         (grow_hash_table): Ditto.
280
281 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
282
283         * url.c (url_parse): Allow empty ports.
284
285 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
286
287         * main.c (print_help): Break the help string into multiple chunks.
288         (cmdline_option): New option handler OPT_FUNCALL.  Generalized
289         HANDLE_CMD to generic DATA.
290         (option_data): Use the new OPT_FUNCALL feature.
291
292 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
293
294         * log.h: Declare log_init, log_close, and
295         log_request_redirect_output here.
296
297 2003-11-05  Dennis Smit  <ds@nerds-incorporated.org>
298
299         * main.c: (main): added --preserve-permissions option.
300
301         * ftp.c (ftp_retrieve_list): added support for
302         --preserve-permissions option.
303
304         * init.c: added support for --preserve-permission option.
305
306         * option.h: added support for --preserve-permission option.
307
308 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
309
310         * main.c (init_switches): New function.  Convert option_data to
311         long_options and short_options, which can be fed to getopt_long.
312         (main): Execute command-line options by consulting option_data.
313
314 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
315
316         * gen_sslfunc.c (ssl_read): Implement a more correct check for
317         EINTR.
318         (ssl_write): Ditto.
319         (init_ssl): Use a global SSL context.
320
321 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
322
323         * connect.c (xclose): Free INFO even if it doesn't provide a
324         closer.
325
326 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
327
328         * connect.c: Updated all callers of
329         iread/ssl_iread/iwrite/ssl_iwrite to use xread and xwrite instead.
330
331         * rbuf.h (struct rbuf): Removed the SSL member because SSL is
332         handled automatically by xread.
333
334         * hash.c (ptrhash): Made private.
335         (ptrcmp): Ditto.
336         (inthash): Removed.
337
338         * connect.c (select_fd): Don't set errno, leave it to the caller.
339
340         * gen_sslfunc.c (connect_ssl): Use register_extended to register
341         SSL callbacks for communication with SSL-enabled endpoints.
342         (ssl_read): New function.
343         (ssl_write): Ditto.
344         (ssl_poll): Ditto.
345         (ssl_close): Ditto.
346
347         * connect.c (register_extended): New function -- register
348         callbacks for basic socket operations.
349         (xread): Ditto.
350         (xwrite): Ditto.
351         (xclose): Ditto.
352         (sock_read): New function, default implementation for reading.
353         (sock_write): Ditto for writing.
354         (sock_poll): Ditto for polling.
355         (sock_close): Ditto for closing.
356
357 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
358
359         * connect.c (bindport): Fix compilation under pre-C99 compilers.
360
361 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
362
363         * connect.c (connect_to_ip): More compact error checking.
364         (bindport): Don't treat failed setsockopt as a fatal error.
365
366 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
367
368         * connect.c (resolve_bind_address): Use a more accurate error
369         message -- we're not binding to ANY, we're disabling bind
370         altogether.
371
372 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
373
374         * cookies.c (save_cookies_mapper): Respect the setting of
375         keep-session-cookies.
376         (cookie_jar_load): Import session cookies.
377         Based on code submitted by Nicolas Schodet.
378
379         * utils.c (datetime_str): Use information in TM when it's
380         non-NULL.
381
382         * main.c (main): New option `--keep-session-cookies'.
383
384 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
385
386         * Makefile.in (realclean): Delete config.h.in.
387
388 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
389
390         * config-post.h: New file, included from now autogenerated
391         config.h.in.
392
393 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
394
395         * progress.c (progress_handle_sigwinch): Don't call
396         determine_screen_width() from the signal handler.  Instead, just
397         set a volatile variable.
398         (bar_create): Check whether SIGWINCH was received.
399         (bar_update): Ditto.
400
401         * sysdep.h: Define SYSTEM_FNMATCH only if HAVE_FNMATCH_H is true.
402
403 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
404
405         * utils.c (xsleep): New function.  Uses nanosleep where available,
406         resuming sleeps interrupted by signals.  Updated callers of sleep
407         and usleep to use xsleep.
408
409 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
410
411         * ftp-basic.c (ftp_login): Remove shadowing (and bogus)
412         declaration of SEED.
413
414 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
415
416         * log.c (logvprintf): Documented better.  Renamed to
417         log_vprintf_internal to avoid confusion with the public API
418         functions logprintf and logputs.
419
420 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
421
422         * wget.h (N_): Don't parenthesize argument.
423
424 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
425
426         * host.h (ADDRESS_IPV4_DATA): Don't take the address of in.s_addr
427         because that doesn't work on machines that define it as bitfield.
428
429 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
430
431         * connect.c (select_fd): Generalize the third argument into WAIT,
432         so that the caller can request waiting for both read and write.
433         Updated callers.
434
435 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
436
437         * html-url.c (cleanup_html_url): Destroy the hash tables, don't
438         just call free on them.
439         (init_interesting): Use hash_table_put instead of string_set_add
440         because we don't need the strdup that the latter function
441         performs.
442
443         * init.c (cleanup): Don't pass NULL to cookie_jar_delete.
444
445         * xmalloc.c (xfree_real): Abort when passed a NULL pointer.
446         (xfree_debug): Print at the file and line of the offending call to
447         free.
448
449 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
450
451         * wget.h: Retired the `boolean' type.  Moved the DEFAULT_LOGFILE
452         define to log.h.  Moved the INFINITE_RECURSION define to recur.h.
453
454         * xmalloc.h: Renamed FREE_MAYBE to xfree_null and moved the
455         definition from wget.h to xmalloc.h.
456
457 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
458
459         * html-parse.c (decode_entity): New function; split the decoding
460         of entities here.
461         (convert_and_copy): Use it to decode entities.
462         (decode_entity): Handle the &apos entity.
463         (decode_entity): Don't decode Latin 1 numeric entities.  Don't
464         decode &#0.
465
466 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
467
468         * ftp-opie.c (calculate_skey_response): Use uint32_t instead of
469         `unsigned long' for the cheksum array.  Document the function.
470
471 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
472
473         * connect.c (acceptport): Don't call select_fd when timeout is not
474         requested.
475
476 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
477
478         * host.c: Removed the ip_default_family global variable.
479
480         * host.c (lookup_host): Document the function.  Fixed declaration
481         of VEC.
482
483 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
484
485         * various: Use new macros xnew, xnew0, xnew_array, and xnew0_array
486         in various places.
487
488 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
489
490         * wget.h: Move declarations of malloc and logging code to
491         xmalloc.h and log.h respectively to unclutter this file.
492         (STRDUP_ALLOCA): Made it side-effect free.
493
494         * xmalloc.h: New files.  Define macros xnew, xnew0, xnew_array,
495         and xnew0_array.
496
497         * xmalloc.c: New file.  Move the xmalloc routines here.
498
499 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
500
501         * connect.c (sockaddr_set_data): Remove the broken code that
502         checked for NULL address.
503
504 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
505
506         * host.c (address_list_from_single): Removed.
507         (address_list_from_ipv4_addresses): Renamed from
508         address_list_from_vector.
509
510 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
511
512         * sysdep.h (CLOSE): Don't call close on file descriptors less than
513         0, i.e. on uncreated sockets.
514
515         * connect.c (resolve_bind_address): Work on struct sockaddr
516         directly.
517         (connect_to_host): Replacement for connect_to_many.  Resolve HOST
518         and connect to any of its addresses.  If we can't connect and the
519         host name lookup was cached, try to resolve it again.  This should
520         fix problems with hosts behind dynamic DNS.  Updated all callers.
521         (connect_to_ip): Replacement for connect_to_one.  Removed SILENT;
522         added the argument PRINT instead.  Updated all callers.
523         (set_connection_host_name): Removed.
524
525         * host.c (address_list_address_at): New function instead of
526         address_list_copy_one. It returns a pointer to ip_address *, so
527         it's not necessary to copy the data.
528         (address_list_cached_p): New function.
529         (forget_host_lookup): Ditto.
530
531         * connect.c: Got rid of the MSOCK global variable.  Made bindport
532         return the local socket it creates.  Added a new argument to
533         acceptport, the socket to call accept on.  Updated callers.
534         (closeport): Removed.
535
536         * connect.c: Moved the sockaddr code from host.c to this file,
537         because most of that stuff is used for connecting, and has nothing
538         to do with host names anyway.
539         (sockaddr_set_data, sockaddr_get_data): New functions, replace the
540         old sockaddr_set_address, sockaddr_set_port, sockaddr_get_address,
541         and sockaddr_get_port.
542
543 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
544
545         * sysdep.h: Use `S >= 8' rather than `S == 8' when looking for
546         large integers.
547
548 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
549
550         * url.c (append_uri_pathel): New argument ESCAPED_P that says
551         whether [B, E) is to be treated as URL-escaped or not.  If
552         ESCAPED_P is false, don't unescape the region.
553         (url_file_name): u->file is not URL-escaped.
554
555 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
556
557         * retr.c (retrieve_from_file): Use retrieve_tree for
558         page-requisites.
559
560         * main.c (main): Don't define opt.recursive when -p is used.
561         Instead, make sure that recursion is used for HTTP in that case.
562
563 2003-10-29  Hrvoje Niksic  <hniksic@xemacs.org>
564
565         * host.h: Defined accessors for elements of ip_address.  Updated
566         all callers.
567         (address_list_match_all): Use memcmp in the non-IPv6 case.
568
569         * wget.h (CONNECT_ERROR): Don't retry connecting if connect()
570         returned EAFNOSUPPORT.
571
572 2003-10-27  Mauro Tortonesi <mauro@deepspace6.net>
573
574         * connect.h: changed bindport prototype and added the related
575         BIND_ON_IPV4_ONLY and BIND_ON_IPV6_ONLY flags.
576
577         * connect.c: changed bindport and resolve_bind_address to allow
578         protocol-version specific DNS resolution. modified conaddr,
579         acceptport and connect_to_one to make use of struct
580         sockaddr_storage and of the new ip_address structure.
581
582         * ftp-basic.c: added LPRT/LPSV (RFC1639) support, refactored
583         PORT/PASV (RFC959) and EPRT/EPSV (RFC2428) support code.
584
585         * ftp.c: added the ftp_do_port and ftp_do_pasv functions to
586         handle FTP over IPv6.
587
588         * ftp.h: changed prototype of ftp_epsv and added prototypes for
589         ftp_lpsv, ftp_lprt and ftp_eprt.
590
591         * host.c: renamed the
592         wget_sockaddr_set_address and wget_sockaddr_get_addr, and
593         wget_sockaddr_{s,g}et_port couples to sockaddr_{s,g}et_address and
594         sockaddr_{g,s}et_port respectively.  changed
595         address_list_match_all, address_list_from_addrinfo sockaddr_len,
596         pretty_print_address, lookup_host, sockaddr_{s,g}et_address and
597         sockaddr_{g,s}et_port to make use of struct sockaddr_storage and
598         of the new ip_address structure.  removed map_ipv4_to_ip and
599         map_ip_to_ipv4.
600
601         * host.h: redefined structure ip_address and removed structure
602         wget_sockaddr.
603
604 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
605
606         * sysdep.h: Include inttypes.h where available.
607
608         * host.c: Switch from u_int32_t to uint32_t.
609
610 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
611
612         * netrc.c (parse_netrc): Reset the QUOTE flag after the closing
613         quote.
614
615 2003-10-25  Hrvoje Niksic  <hniksic@xemacs.org>
616
617         * url.c (is_valid_ipv6_address): Reformat to GNU coding style.
618         Use enums for NS_IN* constants.  Use ISXDIGIT.
619
620         * convert.c (construct_relative): Document better how the function
621         works.
622
623 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
624
625         * config.h.in: Deploy preprocessor magic to avoid Ultrix's
626         <netdb.h> include <bitypes.h> which defines its own u_int32_t.
627         Reported by Bernhard Simon.
628
629 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
630
631         * version.c: Bump version.
632
633 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
634
635         * url.c: Ditto.
636
637         * html-parse.c (advance_declaration): Don't use trailing comma in
638         enum because older compilers don't support it.
639
640         * utils.c: Don't redefine HAVE_SIGSETJMP.
641
642 2003-10-16  Hrvoje Niksic  <hniksic@xemacs.org>
643
644         * convert.c (construct_relative): Don't handle absolute files
645         specially -- for example, -P/tmp/foo shouldn't imply that
646         converted files must refer to "/tmp/foo/..."!
647
648 2003-10-15  Hrvoje Niksic  <hniksic@xemacs.org>
649
650         * http.c: Consider status 307 a valid redirect.
651
652 2003-10-15  Philip Stadermann  <philip.stadermann@credativ.de>
653
654         * ftp.c (ftp_retrieve_glob): Correctly loop through the list whose
655         elements might have been deleted.
656
657 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
658
659         * html-url.c (tag_handle_meta): Set the Refresh link to expect
660         HTML.
661         (append_one_url): Renamed to append_url.
662
663 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
664
665         * sysdep.h: Only define u_int32_t.
666
667 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
668
669         * utils.c (large_int_to_string): Use snprintf() to print the
670         number.  This will work even on systems where libc doesn't
671         understand %lld, but the compiler does, because it will use our
672         snprintf replacement.
673
674         * init.c (parse_bytes_helper): New function.
675         (cmd_bytes): Use it to parse bytes, but cast the result to long.
676         (cmd_bytes_large): Ditto, but store the result to LARGE_INT.  Used
677         for --quota so that --quota=10G works even on machines without
678         long long.
679
680         * options.h (struct options): Declare quota as LARGE_INT.
681
682         * retr.c (downloaded_exceeds_quota): Removed.
683         (downloaded_increase): Ditto.
684         (total_downloaded_bytes): New variable, replaces opt.downloaded,
685         which was the wrong place for it anyway.  Updated callers of
686         downloaded_exceeds_quota and downloaded_increase to check this
687         variable directly.
688
689         * sysdep.h: Get rid of VERY_LONG_TYPE.  Use LARGE_INT for the same
690         purpose, defined as `long', `long long' or `double', depending on
691         size of long and whether long long is available.
692
693 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
694
695         * sysdep.h: Also check size of short for int32_t.
696
697 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
698
699         * host.c (lookup_host): Use u_int32_t to store the result of
700         inet_addr().  That removes the need for offset fiddling, caring
701         about endian-ness, etc.
702
703         * sysdep.h: Define int32_t and u_int32_t if not available.
704
705 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
706
707         * ftp-basic.c (ftp_epsv): Use socklen_t * as the third argument to
708         getpeername.
709
710         * config.h.in: Define socklen_t stub.
711
712         * host.c (sockaddr_len): Return socklen_t.
713
714         * connect.c (conaddr): Use socklen_t as the third argument to
715         accept, getsockname, and connect.
716
717 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
718
719         * recur.c (retrieve_tree): Don't descend into documents that are
720         not expected to contain HTML, regardless of their content-type.
721
722         * html-url.c (tag_url_attributes): Record which attributes are
723         supposed to yield HTML links that can be followed.
724         (tag_find_urls): Propagate that information to the caller through
725         struct urlpos.
726
727 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
728
729         * hash.c (find_mapping): Return the next available mapping when
730         the key is not found, not NULL.
731         (hash_table_put): Use find_mapping to find the storage for the new
732         data.
733         (hash_table_put): Grow the table before exceeding maximum
734         fullness, not afterwards.
735
736 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
737
738         * hash.c (hash_table_new): Slightly change the meaning of the
739         first parameter.  Instead of being the minimum initial size, it is
740         now the minimum number of items that the hash table can take
741         without needing to resize.
742
743 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
744
745         * html-url.c (init_interesting): Initialize interesting_tags and
746         interesting_attributes as hash tables.  This simplifies the code
747         immensely because hash tables handle allocation and remove
748         duplicates automatically.
749         (find_tag): Removed.
750         (collect_tags_mapper): Instead of calling find_tag, simply get the
751         entry from interesting_tags hash table, which is both simpler and
752         faster.
753
754 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
755
756         * hash.c (hash_table_get): Declare hash-table argument as const.
757         (find_mapping): Ditto.
758         (hash_table_get_pair): Ditto.
759         (hash_table_contains): Ditto.
760         (hash_table_count): Ditto.
761
762 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
763
764         * html-url.c (get_urls_html): Parse the appropriate flags to
765         html-parse.c.
766
767         * html-parse.c (map_html_tags): Accept FLAGS from the caller
768         instead of examining OPT.
769
770 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
771
772         * html-url.c (find_tag): Switch to binary search.
773
774 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
775
776         * main.c (print_help): Fix typo; stured -> stored.
777
778 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
779
780         * getopt.c: Add definitions of getopt_long and getopt_long_only.
781
782 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
783
784         * config.h.in: Renamed DEBUG to ENABLE_DEBUG.  ENABLE_DEBUG is, I
785         think, a better name, because it implies that debugging output is
786         merely possible, not "on by default", as might be construed from
787         just DEBUG.
788
789 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
790
791         * ftp.c (has_insecure_name_p): Define it here.
792
793         * utils.c (has_wildcards_p): Define it here.
794
795         * sysdep.h: Declare fnmatch-related macros here, if not using
796         system fnmatch().  Update .c files to not declare fnmatch.h
797         directly.
798
799         * cmpt.c (fnmatch): Moved here.  Use it only under non-GNU libc.
800
801 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
802
803         * getopt.c: Newer version, imported from Free libit.
804
805 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
806
807         * cookies.c (struct cookie): Remove unused backpointer to cookie
808         jar.
809
810 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
811
812         * cmpt.c (memmove): Comment out, since it's no longer used.
813
814         * cookies.c (cookie_jar_generate_cookie_header): Allocate room for
815         chains in one pass.
816         (find_chains_of_host): Assume that the caller has allocated DEST
817         to be sufficiently large to take all the data.
818         (eliminate_dups): Run through the array and eliminate dups on the
819         fly instead of using memmove.
820         (cookie_jar_process_set_cookie): Free cookie->domain before
821         re-setting it.
822
823 2003-10-05  Gisle Vanem  <giva@bgnett.no>
824
825         * mswindows.c (set_sleep_mode): Fix type of
826         _SetThreadExecutionState.
827
828 2003-10-05  Hrvoje Niksic  <hniksic@xemacs.org>
829
830         * utils.c (file_size): Return -1 if fopen() returns NULL.  Prior
831         to this patch, wget --post-file=nosuchfile dumped core.
832
833 2003-10-04  Gisle Vanem  <giva@bgnett.no>
834
835         * mswindows.c (run_with_timeout): Use WaitForSingleObject to wait
836         for thread termination.
837
838 2003-10-04  Hrvoje Niksic  <hniksic@xemacs.org>
839
840         * log.c: Use `...' in function definitions; ansi2knr will convert
841         them to va_dcl.  This allowed removal of the ugly VA_START_1 and
842         VA_START_2 macros.
843
844 2003-10-03  Gisle Vanem  <giva@bgnett.no>
845
846         * connect.c: And don't include them here.
847
848         * mswindows.h: Include winsock headers here.
849
850 2003-10-03  Hrvoje Niksic  <hniksic@xemacs.org>
851
852         * html-parse.c (convert_and_copy): Move variable declarations
853         before statements.
854
855 2003-10-02  Gisle Vanem  <giva@bgnett.no>
856         
857         * mswindows.c (run_with_timeout): For Windows: Run the 'fun' in a
858         thread via a helper function. Continually query the thread's
859         exit-code until finished or timed out.
860
861 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
862
863         * wget.h (XMALLOC_ARRAY): Removed.
864         (ALLOCA_ARRAY): Ditto.
865
866         * html-parse.c: Renamed alloca_p to resized.
867         (GROW_ARRAY): Renamed DO_REALLOC_FROM_ALLOCA to GROW_ARRAY and
868         returned it to html-parse.c, since nothing else was using it.
869
870 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
871
872         * retr.c (retrieve_url): Initialize DUMMY storage for DT.  Caught
873         by valgrind.
874
875 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
876
877         * html-parse.c (convert_and_copy): Handle numeric entities in
878         hexadecimal, &#xHH.
879         (convert_and_copy): Copy the contents directly to the pool without
880         a stack-allocated intermediary.
881
882 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
883
884         * utils.c (alarm_set): New function; use either setitimer or alarm
885         to set up the alarm.
886         (alarm_cancel): New function; cancel the alarm set up by
887         alarm_set.
888         (run_with_timeout): Use them.
889
890 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
891
892         * url.c (url_parse): Don't leak memory when a reencoded URL turns
893         out to be invalid.
894
895         * url.c (parse_errors): Mark error messages for translation.
896         (url_error): Translate error messages returned to the caller.
897
898 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
899
900         * ftp.c (ftp_loop_internal): Initialize TMRATE to NULL to shut up
901         the compiler.
902
903 2003-09-26  Gisle Vanem  <giva@bgnett.no>
904
905         * src/mswindows.c: Added ws_percenttitle() showing progress in the
906         window titlebar. Called from retr.c. Secured ws_mypath().
907
908         * windows/config.h.ms: alloca() prototype not needed.  Removed
909         "#undef ENABLE_NLS"; should be in Makefile IMHO. Moved
910         WGET_USE_STDARG from mswindows.h to config.ms.h because of #ifdef
911         in log.c. (MSVC's vararg.h and stdarg.h are incompatible).
912
913 2003-09-29  Aaron Hawley <Aaron.Hawley@uvm.edu>
914
915         * ftp.c (getftp): --spider option should now work with FTP
916         downloads.
917         (ftp_loop_internal): quiet reports and calculations of downloads
918         when --spider option set, nor try deleting when --delete-after
919         also set.
920         (ftp_loop): --spider will skip HTML-ification of .listing file.
921
922 2003-09-26  Gisle Vanem  <giva@bgnett.no>
923
924         * mswindows.c (read_registry): Removed.
925         (set_sleep_mode): New function.
926         (windows_main_junk): Call it.
927
928 2003-09-26  Gisle Vanem  <giva@bgnett.no>
929
930         * mswindows.c (read_registry): Fix invocation of registry
931         functions.
932
933         * mswindows.c (read_registry): Condition definitions of sleep and
934         usleep with not HAVE_SLEEP and HAVE_USLEEP respectively.  Define
935         HAVE_SLEEP and HAVE_USLEEP under __DMC__.
936
937 2003-09-24  Hrvoje Niksic  <hniksic@xemacs.org>
938
939         * url.c (url_escape_1): Revert unintentional change to lowercase
940         xdigit escapes.
941         (url_escape_dir): Document that this function depends on the
942         output of url_escape_1.
943
944 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
945
946         * progress.c (create_image): Print the current ETA if we're done
947         with the download.
948         (create_image): Change '-' display char to '+' in the progress bar.
949
950         * Makefile.in (clean): Remove .libs.
951
952 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
953
954         * cookies.c (struct cookie): New flag domain_exact.
955         (update_cookie_field): Skip leading dot in domain.
956         (find_matching_chains): Match numeric addresses exactly; don't
957         needlessly copy HOST to the stack.
958         (matching_cookie): Added argument HOST.  If cookie->domain_exact
959         is set, check that HOST is equal to cookie->domain.
960         (cookie_jar_load): Only use TAB as delimiter.  Document the
961         meaning of DOMAIN-FLAG.  Skip leading dot in domain.
962         (cookie_jar_load): Don't ignore DOMAIN-FLAG -- instead, set
963         domain_exact to true if DOMAIN-FLAG is false.
964         (save_cookies_mapper): If domain_exact is false, prepend the
965         domain with dot, like Mozilla does.
966
967 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
968
969         * progress.c (create_image): Print the initial part of the
970         download with '-' characters, analogous to how dot progress prints
971         the initial part with ','.
972
973         * hash.c (ptrhash): New function.
974         (ptrcmp): Ditto.
975         (hash_table_new): Default to identity hash table.
976
977 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
978
979         * safe-ctype.h (_sch_test): The cast of BIT to unsigned char was
980         broken -- _sch_istable bitmasks are 16-bit, not 8-bit!  Cast BIT
981         to unsigned short instead.
982
983 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
984
985         * url.c (path_simplify): Instead of calls to memmove, handle "./"
986         and "../" by advancing pointers.
987
988 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
989
990         * retr.c (getproxy): Moved from url.c.
991
992         * convert.c: Split off link conversion from url.c into separate
993         file.  Also included the book-keeping stuff from recur.c.
994
995 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
996
997         * init.c: Improved documentation of functions.
998         (cmd_boolean): Attempt to make code that tries to avoid calling
999         strcmp for "speed" a bit more readable.
1000
1001         * init.c (simple_atof): Report error on encountering non-digit,
1002         non-"." character.
1003         (simple_atoi): Replacement for myatoi(), calling interface
1004         compatible with simple_atof.  Updated myatoi's callers.
1005
1006 2003-09-21  Bertrand Demiddelaer  <bert@b3rt.org>
1007
1008         * url.c (path_simplify): Would read two bytes past the end of the
1009         string in the "./" case.
1010
1011 2003-09-21  Matthew J. Mellon  <mellon@tymenet.com>
1012
1013         * http.c (gethttp): Recognize content-type "application/xhtml+xml"
1014         as what Wget considers "text/html".
1015
1016 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
1017
1018         * connect.c (connect_with_timeout): Made timeout type double.
1019
1020         * options.h (struct options): New members read_timeout,
1021         dns_timeout, and connect_timeout.
1022         Use them.
1023
1024 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
1025
1026         * init.c (simple_atof): New function.
1027         (cmd_time): Use it.
1028         (cmd_bytes): Accept things like "1.5k" and such.  Use simple_atof
1029         to parse decimals.
1030
1031         * retr.c (limit_bandwidth): Adjust each sleep by the error of the
1032         previous one.
1033
1034 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
1035
1036         * main.c (main): Use setoptval() for setting the options.  Use
1037         run_command for `-e'.
1038
1039         * init.c (parse_line): Rewritten to return COMIND right away.
1040         Changed linkage to static.
1041         (run_wgetrc): Use the available comind when calling setval, so it
1042         doesn't have to be computed twice.
1043         (setval_internal): New function, runs the command's action without
1044         any error checking.
1045         (setoptval): New function, does what setval used to do, but exits
1046         in case of error.
1047         (run_command): New function.
1048
1049 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
1050
1051         * connect.c (select_fd): Change MAXTIME's type to double.  Handle
1052         its decimal part.
1053
1054         * retr.c (sleep_between_retrievals): In the random-wait case, use
1055         random_float() to wait between 0 and 2*opt.wait seconds.
1056
1057         * utils.c (run_with_timeout): Accept `double' timeouts.  Correctly
1058         handle timeout values in (0, 1) range.
1059         (random_float): New function.
1060
1061         * options.h (struct options): Change the types of wait, waitretry,
1062         and timeout to double.
1063
1064         * init.c (cmd_time): Accept floating point time.
1065
1066 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
1067
1068         * retr.c (get_contents): Cosmetic fixes.
1069
1070 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
1071
1072         * url.c (uri_merge): Get rid of uri_merge_1.
1073         (uri_merge): Merge "foo//", "bar" as "foo//bar", not "foo///bar",
1074         i.e. don't add an extra slash merely because BASE ends with two
1075         slashes.
1076         (parse_credentials): Renamed from parse_uname.  Rewrittern in
1077         standard [beg, end) calling style.
1078         (url_skip_credentials): Renamed from url_skip_uname.  Made static.
1079         (url_skip_credentials): Include # and ; as terminators.  Old code
1080         would mistakenly consider "http://foo.com#hniksic@iskon.hr" to
1081         contain a username.
1082         (url_skip_scheme): Removed because it was unused.
1083         (url_has_scheme): Require "scheme" to be at least one char long.
1084
1085 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
1086
1087         * url.c (url_file_name): Expect NULL dir_prefix.
1088
1089         * init.c (cmd_file): Use a macro to prevent multiple #ifdef
1090         WINDOWS.
1091         (defaults): Set dir_prefix to NULL by default.
1092
1093 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
1094
1095         * safe-ctype.h (_sch_test): Cast BIT to unsigned char, like latest
1096         gcc does.
1097
1098 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
1099
1100         * wget.h (BOUNDED_TO_ALLOCA): Evaluate PLACE only once.
1101         (ARRAY_SIZE): Renamed to countof.  All callers updated.
1102
1103 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
1104
1105         * main.c (main): New option --strict-comments.
1106
1107         * html-parse.c (find_comment_end): New function: simple BM search
1108         for "-->".
1109         (map_html_tags): Use it if looking at a comment and not in strict
1110         comments mode.
1111
1112 2003-09-17  Aurelien Marchand  <artaxerxes@users.sf.net>
1113
1114         * ftp.h: Added OS400 system in enum
1115         * ftp-basic.c: recognize OS400 systems
1116         * ftp.c: don't prepend the CWD if talking to OS400, since it
1117         breaks the change in library
1118
1119 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
1120
1121         * retr.c (get_contents): Pass the correct argument to ssl_iread.
1122
1123 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
1124
1125         * safe-ctype.h: Don't #define ctype.h macros to errors because
1126         that loses when someone #include's ctype.h after safe-ctype.h.
1127
1128 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
1129
1130         * url.c: Undef U, W, C after use.
1131
1132 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
1133
1134         * init.c (cmd_spec_restrict_file_names): Allow the OS setting to
1135         be augmented by ",nocontrol" which means don't escape the control
1136         characters, but otherwise keep OS settings.
1137
1138         * url.c (file_unsafe_char): Deleted.
1139         (append_uri_pathel): Query filechr_table directly.
1140         (filechr_table): Separated Unix, Windows, and control-unsafe
1141         characters.
1142
1143 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
1144
1145         * url.c (url_escape_1): New function.
1146         (url_escape): Use it.
1147         (sync_path): Handle pathological cases where u->file and u->dir
1148         contain really strange characters.
1149         (ENCODE): Deleted.
1150         (REENCODE): Deleted.
1151
1152 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
1153
1154         * url.c (url_file_name): Don't reallocate FNAME if the file
1155         doesn't exist, as is usually the case.
1156
1157         * utils.c (unique_name): New flag allow_passthrough.
1158
1159 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
1160
1161         * utils.c (wtimer_sys_diff): Convert the time difference to signed
1162         __int64, then to double.  This works around MS VC++ 6 which can't
1163         convert unsigned __int64 to double directly.
1164
1165 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
1166
1167         * Makefile.in (clean): Also remove the core.<number> files
1168         produced by recent Linux systems.
1169
1170 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
1171
1172         * http.c (post_file): Don't pad the file if it's not large
1173         enough.  Bail out instead.
1174
1175 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
1176
1177         * retr.c (get_contents): Reduce the buffer size to the amount of
1178         data that may pass through for one second.  This prevents long
1179         sleeps when limiting bandwidth.
1180
1181         * connect.c (connect_to_one): Reduce the socket's RCVBUF when
1182         bandwidth limitation to small values is requested.
1183
1184 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
1185
1186         * progress.c (update_speed_ring): Moved the speed ring update to a
1187         separate function and documented it better.
1188
1189         * progress.c: Use `double' for most timers to support granularity
1190         smaller than 1ms.
1191
1192 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
1193
1194         * wget.h (XDIGIT_TO_XCHAR): Implement as index into a literal
1195         string.
1196         (XDIGIT_TO_xchar): Ditto.
1197
1198 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
1199
1200         * utils.c: Change the type of timer-related functions from long to
1201         double, for better precision.  On machines supporting gettimeofday
1202         the timers now work with granularity of less than one millisecond.
1203
1204 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
1205
1206         * cookies.c (parse_set_cookies): Fixed the parser to handle more
1207         edge conditions.
1208         (test_cookies): New function, contains a test suite for
1209         parse_set_cookies.
1210
1211 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
1212
1213         * url.c (strpbrk_or_eos): Implement as a macro under Gcc.
1214
1215 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
1216
1217         * cookies.c (parse_set_cookies): Allow trailing space in
1218         set-cookies header.  Also, allow any amount of whitespace, not
1219         only one character.  Allow empty set-cookies header without
1220         spewing an error.
1221
1222 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
1223
1224         * url.c (append_uri_pathel): Use opt.restrict_file_names when
1225         calling file_unsafe_char.
1226
1227         * init.c: New command restrict_file_names.
1228
1229         * main.c (main): New option --restrict-file-names[=windows,unix].
1230
1231         * url.c (url_file_name): Renamed from url_filename.
1232         (url_file_name): Add directory and hostdir prefix here, not in
1233         mkstruct.
1234         (append_dir_structure): New function, does part of the work that
1235         used to be in mkstruct.  Iterates over path elements in u->path,
1236         calling append_uri_pathel on each one to append it to the file
1237         name.
1238         (append_uri_pathel): URL-unescape a path element and reencode it
1239         with a different set of rules, more appropriate for handling of
1240         files.
1241         (file_unsafe_char): New function, uses a lookup table to decide
1242         whether a character should be escaped for use in file name.
1243         (append_string): New utility function.
1244         (append_char): Ditto.
1245         (file_unsafe_char): New argument restrict_for_windows, decide
1246         whether Windows file names should be escaped in run-time.
1247
1248         * connect.c: Include <stdlib.h> to get prototype for abort().
1249
1250 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
1251
1252         * utils.c (wtimer_sys_set): Extracted the code that sets the
1253         current time here.
1254         (wtimer_reset): Call it.
1255         (wtimer_sys_diff): Extracted the code that calculates the
1256         difference between two system times here.
1257         (wtimer_elapsed): Call it.
1258         (wtimer_elapsed): Don't return a value smaller than the previous
1259         one, which could previously happen when system time is set back.
1260         Instead, reset start time to current time and note the elapsed
1261         offset for future calculations.  The returned times are now
1262         guaranteed to be monotonically nondecreasing.
1263
1264 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
1265
1266         * host.c (lookup_host): Print the result of the DNS lookup.
1267
1268 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
1269
1270         * init.c (cmd_boolean): Accept yes/no along with on/off.
1271         (cmd_lockable_boolean): Ditto.
1272
1273 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
1274
1275         * init.c: New command dns_cache.
1276
1277         * main.c (main): New option --dns-cache[=off].
1278
1279 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
1280
1281         * config.h.in: Initialize HAVE_GETADDRINFO and ENABLE_IPV6.
1282
1283         * all: Use #ifdef ENABLE_IPV6 instead of the older INET6.  Use
1284         HAVE_GETADDRINFO for getaddrinfo-related stuff.
1285
1286 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
1287
1288         * url.c (url_parse): Return an error if the URL contains a [...]
1289         IPv6 numeric address and we don't support IPv6.
1290
1291 2003-09-05  Hrvoje Niksic  <hniksic@xemacs.org>
1292
1293         * url.c (is_valid_ipv6_address): Modified to not require
1294         zero-terminated strings.
1295         (is_valid_ipv4_address): Ditto.
1296
1297 2003-09-05  Mauro Tortonesi <mauro@deepspace6.net>
1298
1299         src/url.c: added RFC 2732 compliance for URL parsing. The
1300         functions is_*_address valid are a modified version of
1301         glibc 2.3.2 inet_pton's code.
1302
1303 2003-09-03  Ahmon Dancy  <dancy@dancysoft.com>
1304
1305         * main.c init.c options.h: Added --retry-connrefused option so
1306         that Connection Refused failures are treated as non-fatal (when
1307         trying to retrieve from busy servers).
1308
1309         * wget.h: New CONNECT_ERROR macro for encapsulating this
1310         modification.
1311
1312         * ftp.c http.c : Use CONNECT_ERROR macro in places where
1313         ECONNREFUSED was checked.
1314
1315 2003-01-11  Ian Abbott  <abbotti@mev.co.uk>
1316
1317         * ftp.c (ftp_retrieve_glob): Reject insecure filenames as determined
1318         by calling new function has_insecure_name_p.  This is based on a
1319         patch by Red Hat.
1320
1321         * fnmatch.c (has_insecure_name_p): New function: returns non-zero
1322         if filename starts with `/' or contains `../' and is therefore
1323         considered insecure.
1324
1325         * fnmatch.h: Declare has_insecure_name_p().
1326
1327 2002-08-03  Hrvoje Niksic  <hniksic@xemacs.org>
1328
1329         * init.c (cmd_file): Allocate RESULT correctly.
1330
1331 2002-07-24  Hrvoje Niksic  <hniksic@xemacs.org>
1332
1333         * recur.c (retrieve_tree): Check whether downloaded_html_set is
1334         non-NULL before using it.
1335
1336 2002-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1337
1338         * html-parse.c (NAME_CHAR_P): Allow almost any character here.
1339
1340 2002-05-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1341
1342         * progress.c (bar_set_params): Fall back to dot progress if the
1343         terminal type is "emacs".
1344
1345 2002-05-20  Hrvoje Niksic  <hniksic@arsdigita.com>
1346
1347         * log.c: Don't #undef WGET_USE_STDARG.
1348
1349 2002-05-16  Hrvoje Niksic  <hniksic@arsdigita.com>
1350
1351         * hash.c (prime_size): Store the offset of the prime number in the
1352         prime table.  When searching, start with the given offset.
1353         (hash_table_new): Pass the pointer to ht->prime_offset to
1354         prime_size.
1355         (grow_hash_table): Ditto.
1356         (prime_size): Make 13 the first prime to make empty hash tables
1357         slightly smaller.
1358
1359 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
1360
1361         * recur.c (download_child_p): Minor optimization to avoid an
1362         unnecessary additional call to schemes_are_similar_p function.
1363
1364 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
1365
1366         * url.c (schemes_are_similar_p): New function to test enumerated
1367         scheme codes for similarity.
1368
1369         * url.h: Declare it.
1370
1371         * recur.c (download_child_p): Use it to compare schemes.  This
1372         also fixes a bug that allows hosts to be spanned (without the
1373         -H option) when the parent scheme is https and the child's is
1374         http or vice versa.
1375
1376 2002-05-14  Bill Richardson  <bill@riverstonenet.com>
1377
1378         * ftp.c (getftp): Don't ftruncate stdout.
1379
1380         * http.c (gethttp): Don't ftruncate stdout.
1381
1382 2002-05-09  Ian Abbott  <abbotti@mev.co.uk>
1383
1384         * cmpt.c (strptime_internal): Synched with glibc-2.1.3.
1385         (get_number): Ditto.
1386         (get_alt_number): Ditto.
1387         (__isleap): New function-like macro used by strptime.
1388         (day_of_the_week): New function used by strptime.
1389         (day_of_the_year): Ditto.
1390         (__mon_yday): Now shared by mktime and strptime implementations.
1391
1392 2002-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
1393
1394         * cookies.c (check_domain_match): Use match_tail in case
1395         insensitive mode.
1396
1397         * utils.c (match_tail): Allow the caller to specify case
1398         insensitive mode.
1399
1400         * cookies.c (store_cookie): When expiry_time is 0, print it as
1401         undefined, not indefinite.
1402
1403 2002-05-07  Ian Abbott  <abbotti@mev.co.uk>
1404
1405         * cookies.c (cookie_jar_process_set_cookie): Do not store
1406         discarded cookie.
1407
1408 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
1409
1410         * cookies.c (check_domain_match): Allow cookies to be set for
1411         subdomains of unknown top-level domains under some circumstances.
1412
1413 2002-04-21  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
1414
1415         * gen_ssl.c:
1416         - allow checking of server cert
1417         - allow defining client cert type
1418         - allow limit of ssl protocol
1419         - check more return values
1420         - added debug message on break
1421
1422 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
1423
1424         * recur.c (download_child_p): Revert order of items in check
1425         number 6 for clarity.
1426
1427 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
1428
1429         * init.c: Ditto.
1430
1431         * main.c: Ditto.
1432
1433         * http.c: Use the new interface.
1434
1435         * cookies.c: Provide an OO-style "cookie jar" interface to enable
1436         separate cookie jars.
1437
1438         * http.c (http_atotm): Declare argument as const.
1439
1440 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
1441
1442         * cookies.c (cookie_new): Default to PORT_ANY.
1443         (find_cookie_chain_exact): Only search by DOMAIN.
1444         (find_matching_cookie): Also check that PORT matches.
1445         (store_cookie): Only match the domain.
1446         (set_cookie_header_cb): When a cookie "fakes" a domain, assume it
1447         is valid for that host rather than discarding it completely.
1448         (find_matching_chains): Don't search by PORT.
1449         (matching_cookie): Also match PORT.
1450         (load_cookies): Set the port if specified, otherwise leave it as
1451         ANY.
1452         (save_cookies_mapper): Save the port if specified, otherwise leave
1453         it empty.
1454
1455 2002-04-19  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
1456
1457         * init.c: The option `egdfile' was not in sort order.
1458
1459 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
1460
1461         * ftp.c (getftp): Treat directories that begin with <letter>: as
1462         absolute.
1463         (getftp): Strip trailing slashes from con->id before merging it
1464         with TARGET.
1465
1466 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
1467
1468         * http.c (gethttp): If Content-Type is not given, assume
1469         text/html.
1470
1471 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
1472
1473         * recur.c (download_child_p): Don't ignore rejection of HTML
1474         documents that are themselves leaves of recursion.
1475
1476 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
1477
1478         Makefile.in: Updated several dependencies for object files to take
1479         account of nested include files.
1480
1481 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
1482
1483         Makefile.in: The target `connect$o' (connect.o) now depends on
1484         `utils.h'
1485
1486 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
1487
1488         * host.c (SET_H_ERRNO): New function-like macro to set `h_errno'.
1489         (gethostbyname_with_timeout): Use it.
1490
1491         * utils.c: Don't define `SETJMP()', `run_with_timeout_env' or
1492         `abort_run_with_timeout()' when `USE_SIGNAL_TIMEOUT' is undefined.
1493
1494 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
1495
1496         * host.c (getaddrinfo_with_timeout): New function.
1497         (gethostbyname_with_timeout): Ditto.
1498         (lookup_host): Use them.
1499
1500 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1501
1502         * utils.c (number_to_string): Handle the case when n < -INT_MAX.
1503
1504 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1505
1506         * init.c (comind): Use a marginally faster implementation of
1507         binary search.  To quote Martin Buchholz, "a nanosecond saved is a
1508         nanosecond earned."
1509
1510 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1511
1512         * main.c (print_help): Document `--post-data' and `--post-file'.
1513
1514 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1515
1516         * http.c (gethttp): Ditto.
1517
1518         * retr.c (retrieve_url): Initialize variables to appease the
1519         compiler.
1520
1521         * gen_sslfunc.c (ssl_iread): Don't handle EINTR when calling
1522         select_fd.
1523         (ssl_iwrite): Ditto.
1524
1525         * connect.c (select_fd): Rewrite to handle EINTR.  Set errno to
1526         ETIMEDOUT in case of timeout.
1527         (iread): No need to handle EINTR when calling select_fd.
1528         (iwrite): Ditto.
1529
1530 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1531
1532         * retr.c (retrieve_url): Make sure that POST is not honored for
1533         redirections.
1534
1535         * http.c (gethttp): Send the POST data when requested.
1536         (post_file): New function.
1537         (gethttp): Use it.
1538
1539         * main.c (main): Ditto.
1540
1541         * init.c: Add new options.
1542
1543         * options.h (struct options): New options post_data and
1544         post_file_name.
1545
1546 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1547
1548         * connect.c (connect_with_timeout): Firing SIGALRM can result in
1549         connect() exiting with EINTR.  Treat EINTR the same as ETIMEDOUT.
1550
1551 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1552
1553         * connect.c (connect_with_timeout): Use it.
1554
1555         * utils.c (run_with_timeout): New function.
1556
1557 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1558
1559         * url.c (getproxy): Accept a struct url argument.  This obviates
1560         the need for USE_PROXY_P.
1561
1562         * retr.c (retrieve_url): Allow proxy to be a non-FTP URL.
1563
1564         * ftp.c (getftp): Recognize FWTK-style proxy.
1565
1566 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1567
1568         * config.h.in: Only define _VA_LIST when compiled with gcc.
1569
1570 2002-04012  Ian Abbott  <abbotti@mev.co.uk>
1571
1572         * http.c (http_loop): Compensate for MS Windows two-second
1573         granularity of file modification time when comparing timestamps.
1574
1575         * ftp.c (ftp_retrieve_list): Ditto.
1576
1577 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
1578
1579         * utils.c (has_html_suffix_p): New function to test filename for
1580         common html extensions.
1581
1582         * utils.h: Declare it.
1583
1584         * http.c (http_loop): Use it instead of previous test.
1585
1586         * retr.c (retrieve_url): Ditto.
1587
1588         * recur.c (download_child_p): Ditto.
1589
1590 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1591
1592         * config.h.in: Define _VA_LIST on Solaris to prevent stdio.h from
1593         declaring va_list.
1594         From Kevin Rodgers <kevinr@ihs.com>.
1595
1596 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
1597
1598         * Makefile.in: Specify libtool mode explicitly when linking.
1599
1600 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1601
1602         * connect.c (connect_with_timeout): New function.
1603         (connect_to_one): Use it.
1604
1605         * config.h.in: Add stubs for HAVE_SIGSETJMP, HAVE_SIGBLOCK, and
1606         HAVE_SETJMP_H.
1607
1608 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
1609
1610         * log.c: Set WGET_USE_STDARG if __STDC__ is defined and stdarg.h
1611         is present.
1612
1613 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
1614
1615         * progress.c (bar_create): If INITIAL is larger than TOTAL, fix
1616         TOTAL.
1617         (bar_finish): Likewise.
1618
1619 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
1620
1621         * html-url.c (tag_handle_form): New function.  Pick up form
1622         actions and mark them for conversion only.
1623
1624 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
1625
1626         * progress.c (struct progress_implementation): Use PARAMS when
1627         declaring the parameters of *create, *update, *finish, and
1628         *set_params.
1629
1630         * netrc.c: Ditto.
1631
1632         * http.c: Reformat some function definitions so that ansi2knr can
1633         read them.
1634
1635         * hash.c (struct hash_table): Use the PARAMS macro around
1636         parameters in the declaration of hash_function and test_function.
1637         (prime_size): Spell 2580823717UL and 3355070839UL as (unsigned
1638         long)0x99d43ea5 and (unsigned long)0xc7fa5177 respectively, so
1639         that pre-ANSI compilers can read them.
1640         (find_mapping): Use PARAMS when declaring EQUALS.
1641         (hash_table_put): Ditto.
1642
1643         * ftp.h: Wrap the parameters of ftp_index declaration in PARAMS.
1644
1645         * cookies.c (cookie_new): Use (unsigned long)0 instead of 0UL,
1646         which was unsupported by pre-ANSI compilers.
1647
1648         From Nelson H. F. Beebe <beebe@math.utah.edu>, for the most part.
1649
1650 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
1651
1652         * url.c (url_filename): Use compose_file_name regardless of
1653         whether opt.dirstruct is set.
1654         (mkstruct): Don't handle the query and the reencoding of DIR; that
1655         is done in compose_file_name.
1656
1657 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
1658
1659         * wget.h: Ditto for extern char *exec_name.
1660
1661         * options.h: Don't guard against OPTIONS_DEFINED_HERE -- it is
1662         perfectly legal to follow an `extern' with a non-`extern' ones,
1663         provided the types match.
1664
1665         * main.c: Don't define OPTIONS_DEFINED_HERE.
1666
1667 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
1668
1669         * progress.c (create_image): Revert to calculating ETA based on
1670         average download speed.
1671         (create_image): Don't print ETA until the download has been active
1672         for at least 3 seconds.
1673         (create_image): When ETA is not available, don't print anything.
1674         The previous version would print --:--.
1675
1676 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
1677
1678         * progress.c (bar_update): Keep updating a subinterval until it
1679         reaches or exceeds a watermark.  That way the measurement will be
1680         guaranteed to span a configurable minimum of time.  The current
1681         default is 3s in 30 100ms intervals.
1682
1683 2002-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
1684
1685         * progress.c (bar_update): Maintain an array of the time it took
1686         to perform previous 30 network reads.
1687         (create_image): Calculate the download speed and ETA based on the
1688         last 30 reads, not the entire download.
1689         (create_image): Make sure that the ETA is not changed more than
1690         once per second.
1691
1692 2002-04-09  Ian Abbott  <abbotti@mev.co.uk>
1693
1694         * mswindows.c (borland_utime): New function conditionally defined
1695         when `HACK_BCC_UTIME_BUG' is defined.  A reimplementation of
1696         `utime()' as Borland's `utime()' function is broken on Windows 9x
1697         systems.  (Original patch by Chin-yuan Kuo <sr1111111@yahoo.com.tw>.)
1698
1699 2002-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
1700
1701         * ftp.c (ftp_loop): Propagate the result of ftp_retrieve_glob.
1702
1703 2002-03-26  Ian Abbott  <abbotti@mev.co.uk>
1704
1705         * Makefile.in: Updated several dependencies for object files.
1706
1707 2002-03-20  Ian Abbott  <abbotti@mev.co.uk>
1708
1709         * mswindows.c: Include "utils.h".
1710
1711 2002-03-18  Ian Abbott  <abbotti@mev.co.uk>
1712
1713         * host.h: Don't include netdb.h on windows.
1714
1715 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1716
1717         * recur.c (retrieve_tree): Handle the case when start_url doesn't
1718         parse.
1719
1720 2002-02-19  Andreas Damm  <andreas-sourceforge@radab.org>
1721
1722         * wget.h (DO_REALLOC_FROM_ALLOCA): Multiply with sizeof(type) when
1723         calling xmalloc and memcpy.
1724
1725 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1726
1727         * host.h: Include Unix-specific includes #ifndef WINDOWS.
1728         Patch originally provided by Christian Lackas.
1729
1730 2002-02-11  Christian Lackas  <delta@lackas.net>
1731
1732         * recur.c: recurive downloading for https fixed.
1733
1734 2002-02-19  Alan Eldridge  <alane@geeksrus.net>
1735
1736         * host.h: Also include <netinet/in.h> and <sys/socket.h>.
1737
1738         * ftp-basic.c: Also include <netinet/in.h>.
1739
1740 2002-02-05  Ian Abbott  <abbotti@mev.co.uk>
1741
1742         * http.c (gethttp): when -c used, mark already fully retrieved
1743         file as successfully retrieved.
1744
1745 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1746
1747         * url.c (url_parse): Don't treat '?' as query string separator
1748         when parsing FTP URLs.
1749
1750 2002-02-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1751
1752         * html-url.c (tag_handle_meta): Don't crash on <meta
1753         http-equiv=refresh> where content is missing.
1754
1755 2002-01-31  Herold Heiko  <Heiko.Herold@previnet.it>
1756
1757         * ftp-basic.c, host.c: don't include sys/socket.h, arpa/inet.h,
1758         netdb.h on windows.
1759
1760 2002-01-30  Hrvoje Niksic  <hniksic@arsdigita.com>
1761
1762         * retr.c (retrieve_url): Remove redirection cycle detection.  This
1763         is because some sites legitimately redirect the user back to the
1764         same location, e.g. after an authorization check performed by
1765         another page.  MAX_REDIRECTIONS is still used to prevent infinite
1766         redirection loops.
1767
1768 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1769
1770         * http.c (gethttp): Wrap host name in square brackets if it
1771         contains a colon.
1772
1773 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1774
1775         * url.c (url_parse): Allow all hex digits, not only decimal ones,
1776         to form an IP address.
1777
1778 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1779
1780         * url.c (urlchr_table): Make square braces reserved, so we can
1781         parse http://[::1]/.
1782         (url_parse): Handle host in braces.
1783         (url_string): If url->host contains colons, wrap it in braces.
1784
1785 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1786
1787         * connect.c (resolve_bind_address): New function.
1788         (connect_to_one): Use it.
1789         (bindport): Ditto.
1790
1791         * init.c: Don't resolve bind-address here.
1792
1793         * host.c (wget_sockaddr_set_address): Would bug out with ADDR == NULL.
1794
1795 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1796
1797         * host.c (lookup_host): Use sizeof(ip4_address) to calculate the
1798         offset.
1799         (address_list_new): Use map_ipv4_to_ip.
1800         (wget_sockaddr_set_address): Convert ADDR to IPv4 before using it
1801         in IPv4 context.
1802
1803 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1804
1805         * source: Integrated IPv6 support.
1806         Written by Thomas Lussnig <thomas.lussnig@bewegungsmelder.de>.
1807
1808 2002-01-15  Ian Abbott  <abbotti@mev.co.uk>
1809
1810         * init.c (cmd_file): Change `\' to `/' for Windows (yes, really!)
1811         (cmd_directory): New function. Like cmd_file(), but strips
1812         trailing directory separators.
1813         (commands): Change action for "dirprefix" from `cmd_file' to
1814         `cmd_directory'.
1815
1816         * utils.c (make_directory): Allow intermediate `mkdir' calls to
1817         fail, as not all path components that do not exist should be
1818         directory components, especially under Windows.
1819
1820 2002-01-17  Hrvoje Niksic  <hniksic@arsdigita.com>
1821
1822         * netrc.c (parse_netrc): Skip leading whitespace before testing
1823         whether the line is empty.  Empty lines still contain the line
1824         terminator.
1825
1826 2002-01-15  Hrvoje Niksic  <hniksic@arsdigita.com>
1827
1828         * gen_sslfunc.c (ssl_iread): Call select on the file descriptor
1829         only if no data is pending in SSL buffers.
1830         From tony@bluetail.com.
1831
1832 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1833
1834         * headers.c (header_get): Strip trailing whitespace from the
1835         header.
1836
1837 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1838
1839         * url.c (parse_uname): URL-decode *USER and *PASSWD.
1840
1841 2002-01-07  Ian Abbott <abbotti@mev.co.uk>
1842
1843         * url.c (uri_merge_1): Deal with "net path" relative URL (one that
1844         starts with "//").
1845
1846 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1847
1848         * http.c (gethttp): Invalidate SOCK if get_contents encountered an
1849         error.
1850
1851 2001-12-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1852
1853         * version.c: Wget 1.8.1 is released.
1854
1855 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1856
1857         * version.c: Wget 1.8.1-pre3 is released.
1858
1859 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1860
1861         * recur.c (retrieve_tree): Enqueue the canonical representation of
1862         start_url, so that the test against dl_url_file_map works.
1863
1864 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1865
1866         * log.c (logputs): Check for requested verbosity before printing
1867         anything.
1868
1869 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1870
1871         * html-url.c (tag_handle_link): Treat the "shortcut icon" link as
1872         inline.
1873
1874 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1875
1876         * recur.c (retrieve_tree): Make a copy of file obtained from
1877         dl_url_file_map because the code calls xfree(file) later.
1878
1879 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1880
1881         * recur.c (register_html): Maintain a hash table of HTML files
1882         along with the list.  Disallow duplicates.
1883         (retrieve_tree): Use downloaded_html_set to check whether the file
1884         found in dl_url_file_map is an HTML file, and descend into it if
1885         so.
1886         (convert_all_links): Don't guard against duplicates in
1887         downloaded_html_list, since they are no longer possible.
1888
1889 2001-12-18  Ian Abbott  <abbotti@mev.co.uk>
1890
1891         * recur.c (retrieve_tree): Pass on referring URL when retrieving
1892         recursed URL.
1893
1894 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
1895
1896         * version.c: Wget 1.8.1-pre2 is released.
1897
1898 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
1899
1900         * retr.c (sleep_between_retrievals): Simplify indentation.
1901
1902 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
1903
1904         * gen_sslfunc.c (ssl_init_prng): Use random_number to get a byte
1905         of "randomness" at a time.
1906         (ssl_init_prng): Don't seed the PRNG; random_number will do that.
1907
1908         * retr.c (sleep_between_retrievals): Use it.  Make sure that the
1909         random amount averages in opt.wait.
1910         (sleep_between_retrievals): Don't seed the PRNG; random_number
1911         will do that.
1912
1913         * utils.c (random_number): New function.
1914
1915 2001-12-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1916
1917         * url.c (path_simplify): Move here from utils.c, and make static.
1918
1919 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1920
1921         * init.c (wgetrc_file_name): Print correct message when loading
1922         getenv("WGETRC") fails.
1923
1924 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1925
1926         * recur.c (register_download): Don't abort when one URL references
1927         two different files.
1928
1929 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1930
1931         * http.c (gethttp): Check for conn->scheme, not u->scheme, before
1932         calling ssl_iwrite.
1933
1934 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1935
1936         * version.c: Wget 1.8.1-pre1 is released.
1937
1938 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1939
1940         * res.c (matches): Fix broken URL in the docstring.
1941
1942 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1943
1944         * html-url.c (tag_url_attributes): Mark <embed href=...> as
1945         external.
1946
1947 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1948
1949         * url.c (get_urls_file): Cosmetic changes.
1950
1951 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1952
1953         * html-url.c (append_one_url): Resurrect warning when unable to
1954         resolve a relative link.
1955
1956 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1957
1958         * html-url.c (collect_tags_mapper): Break into several functions.
1959         (tag_url_attributes): Collect <embed href=...>.
1960
1961 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
1962
1963         * host.c: New type ipv4_address.  Use it consistently instead of
1964         `unsigned char[4]' and `unsigned char *'.
1965         (pretty_print_address): Accept a `const void *', to require even
1966         less casting.
1967
1968 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
1969
1970         * ftp-ls.c (ftp_parse_vms_ls): Fix obvious memory leaks.
1971
1972 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
1973
1974         * main.c (main): Initialize progress after fork_to_background, so
1975         that it knows when to use dots.
1976
1977         * mswindows.c (ws_hangup): Call log_request_redirect_output.
1978
1979         * utils.c (fork_to_background): Print the PID of the child
1980         process.
1981
1982         * log.c (log_request_redirect_output): Set a flag that output
1983         redirection has been requested.  Doing anything else in a signal
1984         handler is unsafe.
1985         (check_redirect_output): New function: check whether redirection
1986         has been requested and, if so, call redirect_output().
1987         (logputs): Call check_redirect_output.
1988         (logprintf): Ditto.
1989         (debug_logprintf): Ditto.
1990         (redirect_output): Print clearer messages.
1991
1992         * main.c (redirect_output_signal): Don't call
1993         redirect_output_signal directly.  Instead, call
1994         log_request_redirect_output.
1995
1996         * utils.c (memfatal): Ditto.
1997
1998         * progress.c (display_image): Use it.
1999
2000         * log.c (log_set_save_context): New function: allow the caller to
2001         turn off saving log context lines.
2002
2003 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2004
2005         * host.c (address_list_set_faulty): Uncomment a sanity check.
2006
2007 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2008
2009         * utils.c (long_to_string): Return a pointer after where the
2010         number ends.
2011         (long_to_string): Rename to number_to_string.
2012
2013 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2014
2015         * utils.c (path_simplify): Correctly handle the unlikely case that
2016         b starts out as path + 1.
2017
2018 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2019
2020         * utils.c (path_simplify): Rewrite, with better comments, and
2021         without the use of strcpy to move overlapping blocks.
2022
2023 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2024
2025         * init.c (cmd_spec_progress): Resurrect.  Check whether VAL is a
2026         valid progress type before setting it.
2027
2028 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2029
2030         * main.c (main): Remove stray debugging message.
2031
2032 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2033
2034         * progress.c (create_image): Fix ETA padding when hours are prined.
2035
2036 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2037
2038         * version.c: Wget 1.8 is released.
2039
2040 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2041
2042         * url.c (reencode_string): Declare static.
2043
2044         * res.c (registered_specs): Declare static.
2045
2046         * progress.c (current_impl_locked): Declare static.
2047
2048         * log.c (flush_log_p): Declare static.
2049         (needs_flushing): Ditto.
2050
2051         * http.c (digest_authentication_encode): Declare static.
2052
2053         * html-url.c (init_interesting): Declare static.
2054
2055         * host.c (host_name_addresses_map): Declare static.
2056
2057         * cookies.c (find_matching_chains): Declare static.
2058
2059         * ftp-ls.c (ftp_parse_vms_ls): Warn about the memory leak
2060         indicated by lint.
2061
2062         * utils.c (path_simplify): Remove unused variable STUB_CHAR.
2063
2064         * host.c (address_list_set_faulty): Document that INDEX is
2065         currently unused.
2066
2067         * url.c (rewrite_shorthand_url): Remove unused variable PATH.
2068
2069 2001-12-08  Hrvoje Niksic  <hniksic@arsdigita.com>
2070
2071         * version.c: Wget 1.8-pre2 is released.
2072
2073 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2074
2075         * progress.c (progress_handle_sigwinch): Set up the signal again.
2076
2077         * utils.c: Include <sys/termios.h>, where Solaris defines
2078         TIOCGWINSZ.
2079
2080         * progress.c (bar_create): Don't use the last column on the screen.
2081         (create_image): Pad ETA to constant size.  Pad SIZE to nine digits
2082         only until it exceeded them.
2083
2084 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2085
2086         * version.c: Wget 1.8-pre1 is released.
2087
2088 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2089
2090         * progress.c (progress_create): Make sure that, when the output is
2091         redirected, the progress implementation gets changed to the
2092         fallback one.
2093         (bar_set_params): Set current_impl_locked to 1 when "force" is
2094         specified.
2095         (progress_create): Don't change the progress implementation if
2096         current_impl_locked is non-zero.
2097
2098         * main.c (redirect_output_signal): Call
2099         progress_schedule_redirect.
2100
2101         * progress.c (progress_schedule_redirect): New function.
2102
2103 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2104
2105         * log.c (logvprintf): Restructure to allow being called multiple
2106         times.
2107         (logprintf): Call logvprintf in a loop.
2108         (debug_logprintf): Ditto.
2109
2110 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2111
2112         * gen_sslfunc.c (ssl_init_prng): Allow the user to disable EGD by
2113         setting egd_file it to empty string.
2114
2115         * main.c (main): Change the option name from --sslegdsock to
2116         --egd-file.
2117
2118 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2119
2120         * gen_sslfunc.c (ssl_init_prng): Make the printed message
2121         translatable.
2122
2123 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2124
2125         * url.c (scheme_disable): New function.
2126
2127         * main.c (main): Call ssl_init_prng from here rather than from
2128         init_ssl, so that it has a chance to disable support for https
2129         before a URL has been resolved.
2130
2131         * gen_sslfunc.c (ssl_init_prng): Seed with rand() if all else
2132         failed.
2133         (ssl_init_prng): Disable support for https if seeding the PRNG
2134         fails.
2135
2136 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2137
2138         * utils.c (read_whole_line): Handle lines beginning with \0.
2139
2140 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
2141
2142         * recur.c (convert_all_links): Guard against duplicates in
2143         downloaded_html_files.
2144         (register_download): Don't invalidate similar-looking URLs.
2145         (match_except_index): New function.
2146
2147 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
2148
2149         * utils.c (path_simplify): Document with test cases.
2150
2151 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
2152
2153         * gen_sslfunc.c: Ditto.
2154
2155         * rbuf.c: Include <string.h>.
2156
2157 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
2158
2159         * recur.c (retrieve_tree): Check whether the URL was already
2160         downloaded before downloading it again.
2161         (descend_child_p): Renamed to download_child_p.
2162         (register_download): When one URL is downloaded to a file already
2163         "owned" by another URL, delete all references that map any URL to
2164         that file.
2165         (register_delete_file): New function.
2166         (retrieve_tree): Use it after deleting a file.
2167
2168         * url.c (url_parse): Re-canonicalize the URL also if the path is
2169         empty, so that e.g. "http://www.server.com" ->
2170         "http://www.server.com/".
2171         (lowercase_str): Use ISUPPER instead of !ISLOWER.
2172
2173         * retr.c (retrieve_url): Use the canonical URL form when calling
2174         register_download().
2175
2176 2001-12-04  Ian Abbott <abbotti@mev.co.uk>
2177
2178         * snprintf.c (dopr): Use `unsigned int' as the second argument to
2179         va_arg when casting to `unsigned short' is intended.
2180
2181 2001-12-04  Herold Heiko  <Heiko.Herold@previnet.it>
2182
2183         * gen_sslfunc.c: on windows provide ssl crypto random 
2184           initialization through RAND_screen(); could possibly
2185           be not enough for strong ssl communication (see the 
2186           relevant manual page from the openssl package).
2187
2188 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
2189
2190         * url.c (local_quote_string): Reenable quoting of question marks,
2191         but only when `--html-extension' is used.
2192
2193 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
2194
2195         * version.c: Wget 1.8-beta3 is released.
2196
2197 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
2198
2199         * snprintf.c (dopr): Cast the result of va_arg to short int and
2200         short unsigned int where these types are expected to be used.
2201
2202 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
2203
2204         * snprintf.c (dopr): Replace `short int' and `unsigned short int'
2205         with `int' when using it as the second argument to `va_arg'.
2206
2207 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
2208
2209         * host.c (address_list_new_one): New function.
2210         (lookup_host): Use it.
2211
2212 2001-12-03  Andre Majorel  <amajorel@teaser.fr>
2213
2214         * host.c (lookup_host): Don't initialize TMPSTORE directly because
2215         it's not legal C.
2216
2217 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
2218
2219         * ftp-basic.c (ftp_port): Don't return HOSTERR if we fail getting
2220         the socket data.
2221
2222         * ftp.c: Ditto.
2223
2224         * http.c: No need to declare h_errno.
2225
2226         * host.c: Declare h_errno.
2227
2228 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
2229
2230         * utils.c (file_merge): If BASE doesn't contain a slash, just
2231         return a copy of FILE.
2232
2233 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
2234
2235         * version.c: Wget 1.8-beta2 is released.
2236
2237 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2238
2239         * ftp.c (getftp): When PWD fails, assume "/".
2240
2241         * ftp-basic.c (ftp_syst): Fix indentation.
2242
2243 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2244
2245         * url.c (get_urls_file): If opt.base_href is specified, merge each
2246         URL with the base.
2247
2248 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2249
2250         * main.c (print_help): Don't document the removed `-nh'.
2251
2252 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2253
2254         * url.c (url_full_path): Document better.
2255
2256         * http.c (gethttp): Use the full path when creating digest
2257         authorization.
2258
2259 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2260
2261         * cookies.c (path_matches): Return 0 if PREFIX doesn't begin with
2262         '/'.
2263
2264 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2265
2266         * cookies.c (path_matches): FULL_PATH doesn't begin with '/', but
2267         PREFIX does.
2268
2269 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2270
2271         * cookies.c (check_domain_match): Reimplement to match Netscape's
2272         "preliminary specification" for cookies.
2273
2274 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2275
2276         * url.c (replace_attr_refresh_hack): New function.
2277         (convert_links): Call replace_attr_refresh_hack for Refresh
2278         links.  It will add the "TMOUT; URL=" junk before the link.
2279
2280         * html-url.c (collect_tags_mapper): Set ID to the ID of the
2281         "content" attribute, not "http-equiv".
2282         (collect_tags_mapper): Don't use OFFSET to hack the raw_* values;
2283         instead, store the information that this entry belongs to a
2284         "refresh" link.
2285
2286 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2287
2288         * version.c: Wget 1.8-beta1 is released.
2289
2290 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2291
2292         * recur.c (retrieve_tree): Allow -p retrievals to exceed maximum
2293         depth by more than one.
2294
2295 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
2296
2297         * retr.c (retrieve_url): Don't allow more than 20 redirections.
2298
2299 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
2300
2301         * recur.c (retrieve_tree): Skip the non-inline entries when
2302         enqueuing the children of a leaf HTML node in -p mode.
2303         (descend_url_p): Ignore opt.no_parent when in -p mode and UPOS is
2304         "inline".
2305
2306         * html-url.c (get_urls_html): Don't accept dash_p_leaf_HTML.
2307         (collect_tags_mapper): When an entry is "inline", mark it as such.
2308
2309         * recur.c (descend_url_p): Fix test when checking for
2310         acceptance/rejection rules.
2311
2312 2001-10-31 Daniel BODEA <dali@dali-designs.com>
2313
2314         * netrc.c (search_netrc): When slack_default is 0, still look for
2315         an account with matching password, just not the "default account".
2316         HTTP Authorization using .netrc should now work as expected.
2317
2318 2001-11-30  T. Bharath  <TBharath@responsenetworks.com>
2319
2320         * http.c (persistent_available_p): Call SHUTDOWN_SSL if
2321         test_socket_open fails.
2322
2323 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
2324
2325         * progress.c (display_image): Just print one CR to reset the
2326         cursor position.
2327
2328 2001-11-30  Christian Fraenkel  <c.fraenkel@gmx.net>
2329
2330         * init.c: New command `ssl_egd_sock'.
2331
2332         * main.c (main): New option `--sslegdsock'.
2333
2334         * gen_sslfunc.c (ssl_init_prng): Seed the RNG using EGD.
2335
2336 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
2337
2338         * cmpt.c (memmove): Include a simple memmove implementation.
2339
2340 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
2341
2342         * headers: Guard against header files being included twice.
2343
2344 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
2345
2346         * gen-md5.c: Use unsigned char * as the buffer argument to
2347         gen_md5_update.
2348
2349 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
2350
2351         * connect.h: Declare select_fd.
2352
2353 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
2354
2355         * recur.c (descend_url_p): When resolving no_parent, compare with
2356         start_url, not parent url.  Otherwise link from /a/b/ to /a/c/
2357         wouldn't be followed, although the download started from /a/.
2358
2359 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
2360
2361         * config.h.ms, mswindows.h: defined HAVE_ISATTY, use _isatty for
2362         MS VC; somebody with Borland compiler please check and provide
2363         patch if possible;
2364
2365         * cmpt.c: provided a usleep emulation.
2366
2367 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
2368
2369         * host.c (address_list_new): Initialize al->faulty.
2370
2371 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
2372
2373         * http.c (http_process_range): Accept the broken output of
2374         "JavaWebServer/1.1.1".
2375
2376 2001-11-28  Hrvoje Niksic  <hniksic@arsdigita.com>
2377
2378         * progress.c (dot_set_params): If PARAMS is unspecified, use
2379         dot_style, if available.
2380
2381         * init.c: Ditto.
2382
2383         * main.c (main): Resurect --dot-style.
2384
2385         * progress.c (dot_finish): Print the quantity if we're left at the
2386         beginning of a row.
2387
2388 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2389
2390         * cmpt.c (random): Removed.
2391
2392         * retr.c (sleep_between_retrievals): Use the more portable rand()
2393         instead of random().
2394
2395 2001-11-27  Ian Abbott <abbotti@mev.co.uk>
2396
2397         * retr.c (retrieve_from_file): Initialize `new_file' to NULL to
2398         prevent seg fault.
2399
2400 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2401
2402         * connect.c (connect_to_many): Use address_list_set_faulty to
2403         prevent the faulty address from being reused.
2404
2405         * host.c (address_list_set_faulty): New function.
2406         (address_list_get_bounds): New function, instead of
2407         address_list_count.
2408
2409 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2410
2411         * url.c (convert_links): Don't translate %d-%d.
2412
2413         * main.c (print_help): Remove stray HAVE_RANDOM code.
2414
2415 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2416
2417         * ftp.c (getftp): Improve output after sending PASV.  Don't
2418         attempt to "look up" the IP address we already know; call
2419         connect_to_one directly.
2420
2421 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2422
2423         * progress.c: Change the default progress implementation to "bar".
2424
2425 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2426
2427         * progress.c (bar_create): Print two newlines.
2428
2429 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2430
2431         * cmpt.c (random): New function, a simple-minded replacement for
2432         random() on systems that don't have it.
2433
2434 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2435
2436         * config.h.in: Put a HAVE_USLEEP stub.
2437
2438         * cmpt.c (usleep): Replacement implementation of usleep using
2439         select.
2440
2441         * init.c: New option init_rate.
2442
2443         * main.c (main): New option --limit-rate.
2444
2445         * retr.c (limit_bandwidth): New function.
2446         (get_contents): Call it to limit the bandwidth used when
2447         downloading.
2448
2449         * progress.c (dot_update): Would print the wrong download speed on
2450         rows other than the first one when the download was continued.
2451         (dot_finish): Ditto.
2452
2453 2001-11-26  Ian Abbott <abbotti@mev.co.uk>
2454
2455         * http.c (gethttp): fix undeclared variable 'err' when compiled
2456         with HAVE_SSL.
2457
2458 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2459
2460         * progress.c: Don't allocate new timers; use the timing data
2461         propagated from the caller.
2462
2463         * retr.c (get_contents): Allocate and use a timer.
2464
2465 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2466
2467         * http.c (last_host_ip): Made into an address_list.
2468         (invalidate_persistent): Release pc_last_host_ip.
2469         (register_persistent): Use lookup_host.
2470         (persistent_available_p): Check for equality of hosts using
2471         address_list_match_all.  Call address_list_release.
2472         (http_cleanup): New function.
2473
2474         * ftp.c (getftp): Use lookup_host and connect_to_many.
2475
2476         * http.c (gethttp): Use lookup_host and connect_to_many.
2477
2478         * connect.c (make_connection): Removed.
2479         (connect_to_one): New function.
2480         (connect_to_many): Ditto.
2481         (set_connection_host_name): Ditto.
2482
2483         * host.c (lookup_host): New function; new return type.
2484         (address_list_new): New function.
2485         (address_list_count): Ditto.
2486         (address_list_copy_one): Ditto.
2487         (address_list_delete): Ditto.
2488         (address_list_release): Ditto.
2489         (pretty_print_address): Ditto.
2490
2491 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2492
2493         * recur.c (retrieve_tree): In case of followed redirection,
2494         blacklist the pre-redirection URL.
2495
2496 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2497
2498         * recur.c (descend_redirect_p): New function.
2499         (retrieve_tree): Make sure redirections are not blindly followed.
2500
2501 2001-11-04  Alan Eldridge  <alane@geeksrus.net>
2502
2503         * config.h.in: added HAVE_RANDOM.
2504
2505         * options.h: added random_wait to struct options.
2506
2507         * main.c (print_help [HAVE_RANDOM], main): added arg parsing, help
2508         for --random-wait.
2509
2510         * retr.c (sleep_between_retrievals) [HAVE_RANDOM]: added
2511         implementation of random wait times.
2512
2513         * init.c (commands): added "randomwait" keyword.
2514
2515 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2516
2517         * recur.c (descend_url_p): Be more conservative with blacklisting
2518         URLs.
2519         (convert_all_links): Print how many files have been converted, and
2520         how long it took.
2521
2522         * progress.c (create_image): Place the number of downloaded bytes
2523         right after the progress bar.
2524
2525         * utils.c (suffix): Return a pointer into the string.
2526
2527 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2528
2529         * url.c (convert_links): Handle CO_NULLIFY_BASE.
2530
2531         * recur.c (retrieve_tree): Ignore download-ignorable children.
2532         (convert_all_links): Specify CO_NULLIFY_BASE when link_base_p.
2533
2534         * html-url.c (handle_link): Return the newly created urlpos.
2535         (collect_tags_mapper): When dealing with BASE, store the base
2536         reference and mark it as download-ignorable.
2537
2538 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2539
2540         * url.c (convert_links): Attempt to quote '?' as "%3F" when
2541         linking to local files.  Given up on the attempt, as it breaks
2542         local browsing.
2543
2544 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2545
2546         * main.c (private_initialize): Removed.
2547         (main): Don't call private_initialize.
2548
2549         * http.c: Call lookup_host.
2550
2551         * host.c (host_init): Removed.
2552         (add_host_to_cache): Initialize host_name_address_map here, on
2553         demand.
2554         (ngethostbyname): Commented out.
2555
2556         * connect.c (make_connection): Remove dead code; use lookup_host.
2557
2558         * host.c (store_hostaddress): Renamed to lookup_host and reversed
2559         the args.
2560         Removed host_address_name_map and host_slave_master_map.
2561
2562 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2563
2564         * progress.c (dot_create): Align the "[ skipping ... ]" string
2565         with the dots.
2566
2567         * retr.c (rate): Split into two functions: calc_rate and
2568         retr_rate.
2569
2570         * progress.c (create_image): Draw a dummy progress bar even when
2571         total size is unknown.
2572         (display_image): Place the text cursor at the end of the "image".
2573
2574 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2575
2576         * url.c (reencode_string): Use unsigned char, not char --
2577         otherwise the hex digits come out wrong for 8-bit chars such as
2578         nbsp.
2579         (lowercase_str): New function.
2580         (url_parse): Canonicalize u->url if needed.
2581         (get_urls_file): Parse each URL, and return only the valid ones.
2582         (free_urlpos): Call url_free.
2583         (mkstruct): Add :port if the port is non-standard.
2584         (mkstruct): Append the query string to the file name, if any.
2585         (urlpath_length): Use strpbrk_or_eos.
2586         (uri_merge_1): Handle the cases where LINK is an empty string,
2587         where LINK consists only of query, and where LINK consists only of
2588         fragment.
2589         (convert_links): Count and report both kinds of conversion.
2590         (downloaded_file): Use a hash table, not a list.
2591         (downloaded_files_free): Free the hash table.
2592
2593         * retr.c (retrieve_from_file): Ditto.
2594
2595         * main.c (main): Call either retrieve_url or retrieve_tree
2596         for each URL, not both.
2597
2598         * retr.c (register_all_redirections): New function.
2599         (register_redirections_mapper): Ditto.
2600         (retrieve_url): Register the redirections.
2601         (retrieve_url): Make the string "Error parsing proxy ..." 
2602         translatable.
2603
2604         * res.c (add_path): Strip leading slash from robots.txt paths so
2605         that the path representations are "compatible".
2606         (free_specs): Free each individual path, too.
2607         (res_cleanup): New function.
2608         (cleanup_hash_table_mapper): Ditto.
2609
2610         * recur.c (url_queue_new): New function.
2611         (url_queue_delete): Ditto.
2612         (url_enqueue): Ditto.
2613         (url_dequeue): Ditto.
2614         (retrieve_tree): New function, replacement for recursive_retrieve.
2615         (descend_url_p): New function.
2616         (register_redirection): New function.
2617
2618         * progress.c (create_image): Cosmetic changes.
2619
2620         * init.c (cleanup): Do all those complex cleanups only if
2621         DEBUG_MALLOC is defined.
2622
2623         * main.c: Removed --simple-check and the corresponding
2624         simple_host_check in init.c.
2625
2626         * html-url.c (handle_link): Parse the URL here, and propagate the
2627         parsed URL to the caller, who would otherwise have to parse it
2628         again.
2629
2630         * host.c (xstrdup_lower): Moved to utils.c.
2631         (realhost): Removed.
2632         (same_host): Ditto.
2633
2634 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2635
2636         * utils.c (path_simplify): Preserver the (non-)existence of
2637         leading slash.  Return non-zero if changes were made.
2638
2639 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2640
2641         * progress.c (bar_update): Don't modify bp->total_length if it is
2642         zero.
2643
2644 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2645
2646         * retr.c (retrieve_url): When the redirection URL doesn't parse,
2647         print the correct error message rather than "UNKNOWN".
2648
2649 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2650
2651         * progress.c (bar_finish): If the timer didn't record any time
2652         since the download beginning, fake 1ms.
2653
2654 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2655
2656         * recur.c (recursive_retrieve): Fix typo.
2657
2658 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
2659
2660         * progress.c (create_image): Don't translate "%ld ".
2661
2662 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
2663
2664         * progress.c (bar_set_params): Allow the user to force the use of
2665         the bar.
2666
2667 2001-11-23  Lemble Gregory  <gregory.lemble@st.com>
2668
2669         * gen_sslfunc.c (ssl_init_prng): New function; seed the SSL RNG.
2670
2671 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
2672
2673         * progress.c: Renamed dp_* functions to dot_* for greater clarity
2674         and consistency with bar_*.
2675         (print_download_speed): Get rid of the unneeded '@' character.
2676         (create_image): Fix download rate geometry.
2677
2678         * progress.c (print_elapsed): Remove spurious space.
2679         (print_elapsed): Renamed to print_download_speed, since that's
2680         what it does.
2681
2682 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
2683
2684         * progress.c (bar_update): If the downloaded amount becomes larger
2685         than the expected amount, adjust the expected amount accordingly.
2686
2687 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
2688
2689         * utils.c (determine_screen_width): New function.
2690
2691         * main.c (main): New option `--progress=TYPE'.
2692         (main): Implement compatibility with the old option `--dot-style'.
2693
2694         * init.c: Removed cmd_spec_dotstyle -- that logic is now in
2695         dp_set_params.
2696         (cmd_spec_progress): New function.
2697
2698         * retr.c (get_contents): Use the progress_* functions instead of
2699         the old show_progress().
2700         (show_progress): Removed.
2701         (rate): Print "xxxx.xx K/s" instead of "KB/s".  Ditto for MB/s,
2702         etc.
2703
2704         * progress.c (set_progress_implementation): New function.
2705         (valid_progress_implementation_p): Ditto.
2706         (progress_create): Ditto.
2707         (progress_update): Ditto.
2708         (progress_finish): Ditto.
2709         (dp_create): Ditto.
2710         (dp_update): Ditto.
2711         (dp_finish): Ditto.
2712         (dp_set_params): Ditto.
2713         (print_elapsed): Ditto.
2714
2715 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
2716
2717         * retr.c (show_progress): Use it.
2718
2719         * log.c (log_set_flush): New function.
2720
2721 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
2722
2723         * utils.c (path_simplify): Don't remove trailing slashes.
2724
2725         * ftp.c (ftp_get_listing): Use it.
2726
2727         * utils.c (file_merge): New function.
2728
2729         * url.c (opt_url): Removed.
2730
2731         * recur.c (recursive_retrieve): Inline "opt_url" logic.
2732
2733         * main.c (main): Use xfree(), not free().
2734
2735         * url.c (rewrite_url_maybe): Renamed to rewrite_shorthand_url.
2736
2737         * ftp.c (ccon): Move `ccon' typedef here, since it's only used
2738         internally.
2739
2740         * config.h.in: Include a stub for HAVE_STRPBRK.
2741
2742         * cmpt.c (strpbrk): Include a replacement for systems without
2743         strpbrk().
2744
2745         * ftp.c: Use url_set_dir and url_set_file when modifying the URL.
2746
2747         * url.c (url_set_dir): New function.
2748         (url_set_file): Ditto.
2749
2750         * ftp-basic.c (ftp_process_type): Process FTP type here; the URL
2751         parser makes the URL "params" available, so we can do that in this
2752         function.
2753
2754         * retr.c: Ditto.
2755
2756         * ftp.c: Ditto; pass the local file information in `ccon'.
2757
2758         * http.c: Get rid of the ugly kludge that had URL being replaced
2759         with the proxy URL when proxy retrieval was requested.  Use a
2760         separate parameter to http_loop and gethttp for the proxy URL.
2761
2762         * http.c: Changed to reflect the fact that local file, proxy, and
2763         referer information are no longer stored in struct url.  The local
2764         file information is passed in `struct hstat' now.
2765
2766         * url.c: Reworked URL parsing to be more regular.  Reencode the
2767         URL using reencode_string.
2768         Removed non-URL-related information from struct url.  This
2769         includes fields `proxy', `local', and `referer'.
2770
2771 2001-11-22  Jochen Hein  <jochen@jochen.org>
2772
2773         * main.c (main): Split the copyright notice for easier
2774         translation.
2775
2776 2001-08-21  Dave Turner <dct25@hermes.cam.ac.uk>
2777
2778         * ftp-basic.c (ftp_size): New function to send non-standard SIZE
2779           command to server to request file size.
2780         * ftp.h (ftp_size): Export it.
2781         * ftp.c (getftp): Use new ftp_size function if restoring
2782           transfer of a file with unknown size.
2783
2784 2001-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2785
2786         * url.c (parseurl): Don't depend on the now-obsolete TYPE.
2787
2788 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2789
2790         * url.c (getproxy): Handle URL shorthands.
2791
2792 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2793
2794         * main.c: Remove --wait / --waitretry backwards compatibility
2795         code.
2796         
2797 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2798
2799         * main.c (main): Use it.
2800
2801         * url.c (rewrite_url_maybe): New function.
2802
2803 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2804
2805         * url.c: Clean up handling of URL schemes.
2806
2807 2001-05-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2808
2809         * url.c: Get rid of `protostrings'.
2810         (skip_proto): Don't use protostrings.
2811         (has_proto): Ditto.
2812
2813 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2814
2815         * Makefile.in: Conditionally compile getopt.o.
2816
2817 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2818
2819         * md5.h: Renamed to gnu-md5.h.
2820
2821         * md5.c: Renamed to gnu-md5.c.
2822
2823         * http.c: Ditto.
2824
2825         * ftp-opie.c: Use the new macros.
2826
2827         * sysdep.h: Define md5-related macros.
2828
2829         * config.h.in: Define HAVE_SOLARIS_MD5 or HAVE_BUILTIN_MD5
2830         depending on which md5 implementation is used.
2831
2832 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2833
2834         * res.c (res_register_specs): Initialize OLD and HP_OLD to appease
2835         the compiler.
2836
2837 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2838
2839         * http.c (gethttp): Print the whole response line when printing
2840         headers is requested.
2841
2842 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2843
2844         * res.c: New file.  Implement all RES-related code here.
2845
2846 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2847
2848         * version.c: Wget 1.7.1 is released.
2849
2850 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
2851
2852         * headers.c (header_extract_number): Ignore trailing whitespace.
2853
2854 2001-08-24  Ian Abbott  <abbotti@mev.co.uk>
2855
2856         * html-url.c (collect_tags_mapper): Fix bug converting links
2857         with -k option for tags with multiple link attributes by
2858         handling links in the order they appear.
2859
2860 2001-08-15  Ian Abbott  <abbotti@mev.co.uk>
2861
2862         * ftp.c (ftp_loop_internal): Avoid a potential buffer overflow in
2863           the call to the 'rate' function by moving it past the error
2864           checking for the 'getftp' function return value.
2865
2866 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
2867
2868         * html-parse.c (advance_declaration): Use 0x22 instead of '"' or
2869         '\"'.  Different compilers' assert macros are broken in different
2870         ways.
2871
2872 2001-09-29  Christian Fraenkel  <c.fraenkel@gmx.net>
2873
2874         * http.c (gethttp): print debug output for errors occuring during
2875         the ssl handshake.
2876
2877 2001-11-16  Chris Seawood  <cls@seawood.org>
2878
2879         * init.c: Ditto.
2880
2881         * host.c: Ditto.
2882
2883         * connect.c: Ditto.
2884
2885         * sysdep.h: Support compilation under BEOS.
2886
2887 2001-06-08  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
2888
2889         * url.c (url_equal): Fix a memory leak when parseurl returns an
2890         error on the second URL. Also, since url_equal is not used at the
2891         moment, do not compile it.
2892
2893         * url.h: Ditto for the prototype of url_equal.
2894
2895 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
2896
2897         * html-parse.c (map_html_tags): Support XML-style empty tags.
2898
2899 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2900
2901         * wget.h (DO_REALLOC_FROM_ALLOCA): Check for do_realloc_newsize in
2902         loop condition because we're no longer setting SIZEVAR here.
2903
2904 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2905
2906         * wget.h (DO_REALLOC_FROM_ALLOCA): Set SIZEVAR after the memcpy()
2907         call because it needs the old value.
2908
2909 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2910
2911         * cookies.c (ATTR_NAME_CHAR): Allow almost any character to be in
2912         an attribute name.
2913
2914 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2915
2916         * url.c (url_filename): Make sure that slashes that sneak in to
2917         u->file via query string get protected.
2918         (file_name_protect_query_string): New function.
2919
2920 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2921
2922         * recur.c (recursive_retrieve): Also check undesirable_urls with
2923         canonicalized URL.
2924
2925 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2926
2927         * http.c (gethttp): Search `.netrc' with real host, not the proxy
2928         one.
2929
2930 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2931
2932         * sysdep.h (MAP_FAILED): Provide MAP_FAILED for systems that don't
2933         define it.
2934
2935 2001-06-09  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2936
2937         * ftp.h: Provide correct prototype for ftp_parse_ls().
2938
2939 2001-06-04  Hrvoje Niksic  <hniksic@arsdigita.com>
2940
2941         * version.c: Wget 1.7 is released.
2942
2943 2001-06-03  Karl Eichwalder  <ke@suse.de>
2944
2945         * ftp-ls.c (ftp_parse_ls): Fix typo.
2946
2947 2001-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2948
2949         * all: Update copyright information.
2950
2951 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2952
2953         * http.c (gethttp): Indicate that the continued download failed
2954         for *this* file.
2955
2956 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2957
2958         * version.c: Wget 1.7-pre1 is released.
2959
2960 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2961
2962         * version.c: Updated version to 1.7-pre1.
2963
2964 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2965
2966         * gen_sslfunc.c: Don't include <sys/time.h> directly.
2967
2968 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2969
2970         * http.c (gethttp): Use real URL data for cookies, not the proxy
2971         stuff.
2972
2973 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2974
2975         * main.c (print_help): Document `--no-http-keep-alive'.
2976
2977         * utils.c (numdigit): Handle negative numbers *correctly*.
2978
2979         * hash.c (make_nocase_string_hash_table): Use term "nocase" rather
2980         than the confusing "unsigned".
2981
2982         * utils.c (string_set_contains): Renamed from string_set_exists.
2983
2984         * hash.c (hash_table_contains): Renamed from hash_table_exists.
2985
2986         * cookies.c: Move case-insensitive hash tables to hash.c.
2987
2988 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2989
2990         * http.c (gethttp): Before concluding that the file is already
2991         fully retrieved, make sure that the file existed and `Range' was
2992         actually requested.
2993
2994 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2995
2996         * cookies.c (eliminate_dups): New function.
2997         (build_cookies_request): Use it.
2998         (build_cookies_request): Set chain_store_size after reallocating
2999         all_chains.
3000         (check_domain_match): Annotated for easier future debugging.
3001         (store_cookie): In the debug message, print whether the cookie is
3002         permanent.
3003
3004 2001-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3005
3006         * http.c (http_loop): Reset no_truncate before deciding whether to
3007         set it.
3008         (gethttp): Further clarify "-c conflicts with existing file" error
3009         message, based on input from Herold Heiko.
3010
3011 2001-05-07  Hrvoje Niksic  <hniksic@arsdigita.com>
3012
3013         * http.c (http_loop): If restval is set, set no_truncate to 1
3014         unconditionally.
3015
3016 2001-05-02  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3017
3018         * ftp-ls.c (ftp_parse_winnt_ls): Assure months are being correctly
3019         converted. Pointed out by <Stefan.Weil@de.heidelberg.com>.
3020         (ftp_parse_vms_ls): Ditto.
3021
3022 2001-04-30  Hrvoje Niksic  <hniksic@arsdigita.com>
3023
3024         * init.c (cmd_address): Zero SIN before using it; apparently
3025         needed on *BSD.
3026
3027 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3028
3029         * ftp.c (ftp_loop_internal): Don't set NO_TRUNCATE if the file is
3030         empty.
3031
3032 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3033
3034         * main.c (main): Make `--cookies' respect its argument.
3035
3036 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
3037
3038         * main.c (main): Removed undocumented option `--email-address'.
3039
3040         * netrc.c: Use the latest read_whole_line.
3041
3042         * init.c (defaults): Set opt.ftp_pass to "-wget@".
3043
3044         * mswindows.c (pwd_cuserid): Ditto.
3045
3046         * utils.c (pwd_cuserid): Removed.
3047
3048         * host.c (ftp_getaddress): Removed.
3049
3050 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
3051
3052         (http_loop): Allocate space for filename_plus_orig_suffix with
3053         alloca; this is more efficient and removes the need to free it
3054         before each and every return.
3055
3056 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
3057
3058         * http.c (gethttp): Return RETRUNNEEDED when the retrieval is
3059         unneeded because the file is already there and fully downloaded,
3060         and -c is specified.
3061         (http_loop): Handle RETRUNNEEDED.
3062
3063         * wget.h (uerr_t): New value RETRUNNEEDED.
3064
3065         * http.c (http_loop): Set no_truncate for files that both exist
3066         and are non-empty.
3067         (gethttp): Consider the download finished when restval >= contlen,
3068         not only when restval==contlen.
3069         (gethttp): Handle redirection before giving up due to -c.
3070         (gethttp): Clarify error message which explains that -c will not
3071         truncate the file.
3072         (gethttp): When returning CONTNOTSUPPORTED, don't forget to free
3073         the stuff that needs freeing and release the socket.
3074
3075 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3076
3077         * main.c (print_help): Wget booleans accept "off", not "no".
3078
3079 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3080
3081         * http.c (http_loop): If allow_cache is zero, always disable
3082         caching, not only when retrieving through proxy.
3083
3084         * init.c: Ditto.
3085
3086         * options.h (struct options): Rename proxy_cache to allow_cache.
3087
3088 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3089
3090         * http.c (mktime_from_utc): Improve documentation.
3091         (http_atotm): Put format strings into a separate array.
3092
3093 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3094
3095         * safe-ctype.h: Instead of throwing #error when isalpha is
3096         defined, redefine it to something that will throw a compile-time
3097         error if actually *used*.  Do the same for the rest of the
3098         standard C macros.
3099
3100 2001-04-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3101
3102         * url.c (getproxy): Ignore empty proxy vars.
3103
3104 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3105
3106         * http.c (http_loop): Would load cookies every time.
3107
3108         * cookies.c (load_cookies): Handle cookies whose values contain
3109         embedded spaces.
3110
3111 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3112
3113         * utils.c: Define each DIGITS_* in one line.
3114
3115 2001-04-25  Roger L. Beeman  <beeman@cisco.com>
3116
3117         * http.c (http_atotm): Initialize t.tm_isdst to 0.
3118         (mktime_from_utc): Prevent mktime() from having discontinuities at
3119         DST transition points.
3120
3121 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3122
3123         * html-url.c (get_urls_html): Fix documentation.
3124
3125 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3126
3127         * url.c (UNSAFE_CHAR): Reimplement using a static table.
3128         (url_init): Removed.
3129         (init_unsafe_char_table): Removed.
3130
3131 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3132
3133         * snprintf.c (dopr): Replace ISDIGIT with '0' <= ch && ch <= '9'.
3134
3135 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3136
3137         * utils.c: Document timer functions.
3138
3139         * retr.c (rate): Use it.
3140         (rate): Print in GB/s if transfer rate exceeds 1 GB/s.
3141
3142         * utils.c (wtimer_granularity): New function.
3143
3144 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3145
3146         * retr.c (show_progress): Ditto.
3147
3148         * ftp.c (getftp): Ditto.
3149
3150         * http.c (gethttp): Use new timer functions.
3151
3152         * utils.c (wtimer_allocate): New function.
3153         (wtimer_new): Ditto.
3154         (wtimer_delete): Ditto.
3155         (wtimer_reset): Ditto.
3156         (wtimer_elapsed): Ditto.
3157
3158 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3159
3160         * utils.c (long_to_string): New, faster version.  Favors smaller
3161         numbers; much of the calculation is now done at compile-time.
3162
3163 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3164
3165         * utils.c (numdigit): Handle negative numbers.
3166
3167 2001-04-23  Hrvoje Niksic  <hniksic@arsdigita.com>
3168
3169         * retr.c (show_progress): Print the download rate even when the
3170         percentages are not available.
3171
3172 2001-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
3173
3174         * ftp.c (getftp): Adjust expected_bytes if the length is
3175         authoritative.
3176
3177 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3178
3179         * url.c: Don't declare `construct'.
3180
3181         * hash.c (grow_hash_table): Speed up rehashing; inline storing of
3182         mappings to new locations.
3183         (hash_table_new): Make resize_threshold a field in the hash table,
3184         so we don't have to recalculate it in each hash_table_put.
3185         (grow_hash_table): Update resize_threshold.
3186         (MAX): Remove unused macro.
3187         (prime_size): Made static.
3188
3189 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3190
3191         * retr.c (retrieve_url): Call uri_merge, not url_concat.
3192
3193         * html-url.c (collect_tags_mapper): Call uri_merge, not
3194         url_concat.
3195
3196         * url.c (mkstruct): Use encode_string instead of xstrdup followed
3197         by URL_CLEANSE.
3198         (path_simplify_with_kludge): Deleted.
3199         (contains_unsafe): Deleted.
3200         (construct): Renamed to uri_merge_1.
3201         (url_concat): Renamed to uri_merge.
3202
3203 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3204
3205         * url.c (str_url): Use encode_string instead of the unnecessary
3206         CLEANDUP.
3207         (encode_string_maybe): New function, returns input string if no
3208         encoding is needed.
3209         (encode_string): Call encode_string_maybe to do the dirty work,
3210         xstrdup if no work needed.
3211
3212 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3213
3214         * wget.h (XDIGIT_TO_xchar): Define here.
3215
3216         * url.c (decode_string): Use new name.
3217         (encode_string): Ditto.
3218
3219         * http.c (XDIGIT_TO_xchar): Rename HEXD2asc to XDIGIT_TO_xchar.
3220         (dump_hash): Use new name.
3221
3222         * wget.h: Rename ASC2HEXD and HEXD2ASC to XCHAR_TO_XDIGIT and
3223         XDIGIT_TO_XCHAR respectively.
3224
3225 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3226
3227         * init.c: Include cookies.h.
3228
3229         * cookies.h: Declare cookies_cleanup.
3230
3231         * cookies.c (check_domain_match): Remove unused variable.
3232         (save_cookies): Remove extraneous argument from debug statement.
3233
3234         * host.c (same_host): Don't call skip_url.
3235
3236         * url.c (skip_url): Removed.  Removed its calls from various
3237         functions in url.c.
3238
3239 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3240
3241         * cookies.c (unsigned_string_hash): Use the new code in
3242         string_hash as reference.
3243
3244         * hash.c (hash_table_map): Allow deletion and change of the
3245         element processed by MAPFUN.
3246         (string_hash): Use the function from glib.
3247
3248 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3249
3250         * config.h.in: Include #undef stub.
3251
3252         * hash.c (hash_table_remove): Rewrite to actually clear deleted
3253         entries instead of just marking them as deleted.
3254
3255 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3256
3257         * hash.h: Declare hash_table_get_pair and hash_table_count.
3258
3259 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3260
3261         * cookies.c: Declare http_atotm.
3262
3263 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3264
3265         * ftp-ls.c (ftp_parse_unix_ls): Use octal constants for
3266         permissions.  A compiler that doesn't accept octal constants is
3267         seriously broken and shouldn't be used -- octal constants were
3268         present in K&R C!
3269
3270 2001-01-20  Karl Eichwalder  <ke@suse.de>
3271
3272         * Makefile.in: Provide and use DESTDIR according to the Coding
3273         Standards.
3274
3275 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3276
3277         * ftp-ls.c (ftp_parse_vms_ls): Make seconds optional in time
3278         specification.
3279
3280 2001-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3281
3282         * url.c (parseurl): Don't strip trailing slash when u->dir is "/"
3283         because that strips the *leading* slash, thus forcing relative
3284         FTP retrieval.
3285
3286 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3287
3288         * ftp.c (getftp): Convert initial FTP directory from VMS to UNIX
3289         notation for VMS servers. 
3290         (ftp_retrieve_dirs): Do not prepend '/' to f->name when
3291         odir is an empty string.
3292
3293 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3294
3295         * ftp-ls.c (ftp_parse_winnt_ls): Made the fix for AM/PM more
3296         effective. Suggested by Edward J. Sabol.
3297
3298 2001-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3299
3300         * cookies.c (build_cookies_request): Use and sort cookies from all
3301         matching domains.
3302         (build_cookies_request): Check for duplicates before generating
3303         the `Cookies' header.
3304
3305         * main.c (main): Don't load cookies here.
3306         (main): Make loadcookies and savecookies call the correct command.
3307
3308         * http.c (http_loop): Load cookies on-demand.
3309
3310 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3311
3312         * http.c (gethttp): Fix indentation of SSL ifdef.
3313
3314 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3315
3316         * ftp.c (ftp_retrieve_dirs): Don't forcibly prepend "/" to u->dir;
3317         that hack is no longer necessary.
3318         (getftp): Prepend initial directory to *non*-absolute u->dir's.
3319
3320 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3321
3322         * init.c (cmd_file): New function.
3323         (enable_tilde_expansion): New variable.
3324         (run_wgetrc): Use it.
3325         (cmd_file): Use it.
3326
3327 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3328
3329         * init.c: Include cookie-related options.
3330
3331         * main.c (main): Include cookie-specific options.
3332         (main): Load cookies before download is finished.
3333         (main): Save cookies when done.
3334
3335         * http.c (gethttp): Process the `Set-Cookie' header.
3336         (gethttp): Include cookies in the response.
3337
3338         * cookies.c: New file.
3339
3340 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3341
3342         * utils.c (datetime_str): New function.
3343
3344 2001-04-08  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3345
3346         * ftp-ls.c (ftp_parse_winnt_ls): The AM/PM change did assume
3347         12:01PM == 00:01, which was obviously wrong. Taken care of this
3348         anomaly.
3349
3350         * ChangeLog: Removed an excess conflict marker. Reformatted the
3351         entry by Philipp Thomas from 2001-03-09.
3352
3353         * ftp-ls.c (ftp_parse_winnt_ls): Ensure that adjusted PM hours lay
3354         between 0 and 23. Elminate unused variable `sec'.
3355
3356 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3357
3358         * hash.c (hash_table_count): New function.
3359
3360 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3361
3362         * utils.c (read_file): Cast MAP_FAILED to char *.  Enforced by
3363         Digital Unix cc.
3364
3365 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3366
3367         * config.h.in: Oops, do the namespace tweaks only on systems we
3368         know about.
3369
3370 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3371
3372         * hash.c: Include <string.h>.
3373
3374 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3375
3376         * config.h.in: Define "compilation environment" options that work
3377         under Linux and Solaris.  To be reviewed on other OS'es.
3378
3379 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3380
3381         * http.c (gethttp): Prepend literal newline with `\n\'.
3382
3383 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3384
3385         * sysdep.h: Don't define VERY_LONG_FORMAT.
3386
3387         * utils.c (very_long_to_string): New function.
3388         (legible_very_long): Use it; don't use VERY_LONG_FORMAT.
3389
3390 2001-04-04  Christian Fraenkel  <christian.fraenkel@gmx.net>
3391
3392         * url.c (parse_uname): Would run past the end of the string if the
3393         username was present, but the URL did not contain a slash, e.g.
3394         http://foo:bar@myhost.
3395
3396 2001-04-03  KOJIMA Hajime  <kjm@rins.ryukoku.ac.jp>
3397
3398         * http.c (http_atotm): Use %A instead of %a to match full
3399         weekday.  (On most systems there is no difference.)
3400
3401 2001-04-03  Paul Bludov  <paul@ozero.net>
3402
3403         * mswindows.c (sleep): Use SleepEx() instead of Sleep().
3404         (ws_changetitle): Use alloca() instead of malloc() to avoid memory
3405         leak.
3406         (ws_mypath): Use GetModuleFileName instead of argv[0].
3407         (ws_startup): Use data.wVersion for comparison.
3408
3409 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3410
3411         * http.c (http_loop): Ditto.
3412
3413         * ftp.c (ftp_loop_internal): Made the check whether to continue
3414         retrieval `-O'-friendly.
3415
3416 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3417
3418         * netrc.c (parse_netrc): Don't trim the line endings explicitly;
3419         they will be handled as whitespace.
3420         (parse_netrc): Correctly handle lines that end with whitespace.
3421
3422 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3423
3424         * retr.c (retrieve_url): New variable global_download_count used
3425         to identify first retrieval.
3426
3427         * ftp.c (getftp): Ditto.
3428
3429         * http.c (gethttp): Rewind opt.dfp only on first retrieval.
3430
3431 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3432
3433         * init.c (cmd_address): Heap-allocate the address that gets stored
3434         to CLOSURE.  Old code would simply assign an address on the stack.
3435
3436 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
3437
3438         * ftp.c (ftp_get_listing): Propagate error status.
3439         (ftp_retrieve_glob): Use it.
3440         (ftp_loop): Ditto.
3441
3442 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
3443
3444         * main.c (main): Add -C to the string that is the third arg to
3445         getopt_long().
3446
3447 2001-04-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3448
3449         * ftp.c (getftp): Don't start the download from scratch if `-c'
3450         was specified, but the file is already fully downloaded.
3451
3452         * http.c (gethttp): Don't truncate a pre-existing file if `-c' was
3453         specified and the server doesn't support continued download.
3454         (gethttp): Don't start the download from scratch if `-c' was
3455         specified, but the file is already fully downloaded.
3456
3457 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
3458
3459         (recursive_retrieve): Don't clear the hash tables at this point at
3460         all; it interferes with the normal operation of register_download.
3461
3462 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
3463
3464         * recur.c (recursive_retrieve): Clear the hash tables only when
3465         they are defined.
3466
3467 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
3468
3469         * http.c (gethttp): Make sure the socket is closed with
3470         CLOSE_INVALIDATE before we have drained the body.
3471
3472 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
3473
3474         * retr.c (retrieve_url): Call register_download() for downloaded
3475         files and register_html() for downloaded HTML files.
3476
3477         * recur.c (register_download): New function; register here that a
3478         file has been downloaded, rather than in recursive_retrieve().
3479         (register_html): New function; enqueue the location of HTML files
3480         here rather than in recursive_retrieve().
3481
3482 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
3483
3484         * main.c (print_help): Use multiple fputs instead of a single ugly
3485         printf().
3486         (main): Consistently assign numbers >128 to options without a
3487         corresponding character.
3488
3489 2001-03-09  Philipp Thomas  <pthomas@suse.de>
3490
3491         * safe-ctype.h: New file. Locale independent ctype.h replacement
3492         taken from libiberty.
3493
3494         * safe-ctype.c: New file. Tables for above.
3495
3496         * Makefile.in: Add safe-ctype$o to OBJS.  Add dependencies for
3497         safe-ctype$o.
3498
3499         * cmpt.c: Remove include of ctype.h. Use ISSPACE instead of
3500         isspace.
3501
3502         * ftp-basic.c: Don't include ctype.h.
3503
3504         * ftp-ls.c: Likewise.
3505
3506         * ftp.c: Likewise.
3507
3508         * headers.c: Likewise.
3509
3510         * host.c: Likewise.
3511
3512         * html-parse.c: Likewise.
3513
3514         * html-url.c: Likewise.
3515
3516         * http.c: Likewise.
3517
3518         * init.c: Likewise.
3519
3520         * main.c: Likewise. Set LC_CTYPE along with LC_MESSAGES.
3521
3522         * netrc.c: Likewise.
3523
3524         * recur.c: Likewise.
3525
3526         * retr.c: Likewise.
3527
3528         * snprintf.c: Replace ctype.h with safe-ctype.h. Use ISDIGIT
3529         instead of isdigit.
3530
3531         * sysdep.h: Remove defines of ctype macros as they aren't needed
3532         for safe-ctype-h.
3533
3534         * url.c: Don't include ctype.h.
3535
3536         * utils.c: Likewise.
3537
3538         * wget.h: Include safe-ctype.h.
3539
3540 2001-03-27  Dan Harkless  <wget@harkless.org>
3541
3542         * Makefile.in: Moved top_builddir out of "User configuration
3543         section" of top Makefile and analogous spot in this one.
3544
3545 2001-03-17  Dan Harkless  <wget@harkless.org>
3546
3547         * Makefile.in: Include @SSL_INCLUDES@ substition in INCLUDES.
3548         Define top_builddir.  Link wget with libtool so the user doesn't
3549         have to supply a bunch of custom environment variables to 
3550         correctly link with the OpenSSL shared libraries.
3551
3552 2001-03-06  Hack Kampbjorn  <hack@hackdata.com>
3553
3554         * http.c (gethttp): skip :port in host header if it is the
3555         DEFAULT_HTTPS_PORT when using SSL.
3556
3557         * url.c: move the #define of DEFAULT_HTTP_PORT, DEFAULT_FTP_PORT
3558         and DEFAULT_HTTPS_PORT to the header file so it can be use in the
3559         rest of the code. 
3560         * url.h: Ditto
3561
3562 2001-03-01  Jonas Jensen  <bones@huleboer.dk>
3563
3564         * retr.c (show_progress): Correctly calculate the number of bytes
3565         in the first line of the download that have been actually
3566         downloaded in this run.
3567
3568 2001-02-23  Dan Harkless  <wget@harkless.org>
3569
3570         * main.c (print_help): --help documentation for -N said it would
3571         re-download files if they had the _same_ timestamp on server.
3572         (print_help): -nr belongs in "FTP options" section of --help
3573         output, not "Recursive retrieval" section.  Alphabetized FTP
3574         options by long option name.
3575
3576 2001-02-16  Dan Harkless  <wget@harkless.org>
3577
3578         * init.c (commands): Hack Kampbjørn <hack@hackdata.com> discovered
3579         that "httpsproxy" had been inserted into commands[] out of
3580         alphabetical order, causing "BUG: unknown command `httpuser'".
3581
3582 2001-02-13  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3583
3584         * ftp-ls.c (ftp_parse_ls): Added support of ST_MACOS (Unix-like
3585         listing without correct permissons).
3586
3587         * ftp.h (stype): Added ST_MACOS to identify the NetPresenz MacOS
3588         FTP server. 
3589
3590         * ftp.c (ftp_retrieve_list): New mirroring logic: A remote file
3591         shall be donwloaded only when it's newer than the local copy or
3592         when it has the same timeestamp but its size is different. ST_VMS
3593         and ST_MACOS as special cases that lie about file size. 
3594
3595         * ftp-ls.c (ftp_parse_ls): Support for ST_MACOS.
3596
3597         * Makefile.in: Removed dependency on ftpparse library due to unclear
3598         copyright issues and absence of any feedback to our queries. 
3599
3600         * ftp-ls.c: Removed dependency on ftpparse library due to unclear
3601         copyright issues and absence of any feedback to our queries.   
3602         (ftp_parse_ls): Added a warning message when remote server system
3603         does not seem to be suported by wget. 
3604         (ftp_parse_vms_ls): New function for parsing VMS ftp
3605         server listing output.
3606         (clean_line): New function responsible for removing
3607         end-of-line characters from FTP listing texts.
3608
3609         * ftp.c (getftp): Global variables pwd and host_type are now
3610         member of the ccon structure under names ccon.id and ccon.rs. 
3611
3612         * ftp.h (struct ccon): Added formed global variables from ftp.c,
3613         enum stype rs (remote system identification) and char *id (initial
3614         working directory), as suggested by Hrvoje.
3615
3616         * url.c (parse_uname): Added support for passwords containing '@'
3617         characters.
3618         (skip_uname): Ditto.
3619
3620 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3621
3622         * ftp.c (ftp_loop): Reset con.
3623
3624 2001-01-06  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3625
3626         * url.c (parse_uname): Added support for passwords containing '@'
3627         characters.
3628         (skip_uname): Ditto.
3629
3630 2001-02-11  Hack Kampbjørn  <hack@hackdata.com>
3631
3632         * url.c (parseurl): Debug-print u->ftp_type.
3633
3634 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3635
3636         * ftp.c (ftp_loop_internal): Disable padding.
3637         (getftp): Ditto.
3638
3639         * http.c (http_loop): Disable padding.
3640
3641         * retr.c (show_progress): Use it to enable padding.
3642
3643         * retr.c (rate): Optional parameter PAD for padding the rate.
3644
3645 2001-02-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3646
3647         * retr.c (show_progress): Make sure that the last output line
3648         includes progress.
3649
3650 2001-02-10  Jonas Jensen  <bones@huleboer.dk>
3651
3652         * retr.c (show_progress): Print the download rate along with the
3653         percentages.
3654         Along with Anders Thorsby <anders@thorsby.dk>.
3655
3656 2001-02-10  Tim Mooney  <mooney@dogbert.cc.ndsu.NoDak.edu>
3657
3658         * ftp.h: Rename enums `command' to `wget_ftp_command' and
3659         `fstatus' to `wget_ftp_status' because old names clash with Tru64
3660         net/if.h.
3661
3662 2001-02-08  Christian Fraenkel <christian.fraenkel@gmx.net>
3663
3664         * gen_sslfunc.c: verify_callback is now static
3665
3666         * gen_sslfunc.c (init_ssl): load certificate if specified
3667
3668         * gen_sslfunc.c (ssl_printerr): new function
3669
3670         * init.c: added new --sslcertfile and --sslcertkey switches
3671
3672         * main.c: ditto
3673
3674         * options.h: ditto
3675
3676         * http.c (gethttp): abort when init_ssl fails
3677
3678 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
3679
3680         * mswindows.h: Include <malloc.h>; it's needed for alloca().
3681
3682 2001-01-10  Dan Harkless  <wget@harkless.org>
3683
3684         * url.c (str_url): Clarified this function's comment header after
3685         Hrvoje answered my question on the list as to when hide != 1.
3686         Also Hrvoje pointed out I need to use xstrdup() on the string literal.
3687
3688 2001-01-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3689
3690         * connect.c (bindport): Declare addrlen as int.  Diagnosed by
3691         Drazen Kacar <dave@arsdigita.com>.
3692         (conaddr): Ditto.
3693
3694 2001-01-09  Dan Harkless  <wget@harkless.org>
3695
3696         * html-url.c: A bunch of fixup of `--page-requisites'-related
3697         comments to reflect Hrvoje's changes to my code when transplanting
3698         it into this new file, to fix spelling mistakes, to clarify, etc.
3699
3700         * url.c (write_backup_file): Clarified a comment.
3701         (str_url): Henrik van Ginhoven pointed out on the list that we
3702         shouldn't give away the number of characters in the password by
3703         replacing each character with a 'x'.  Use "<password>" instead.
3704
3705         * ftp.c (ftp_retrieve_dirs): The bug where recursion into FTP
3706         directories didn't work if logging in put you in a directory other
3707         than "/" is fixed now.  Removed the comment here warning of the bug.
3708
3709         * main.c (print_help): --continue's description was misleading.
3710         We don't "restart", we "resume".  Also, better to say
3711         "partially-downloaded file" rather than just "existing file".
3712
3713 2001-01-06  Dan Harkless  <wget@harkless.org>
3714
3715         * ChangeLog: The '[Not in 1.6 branch.]'s were decided not to be
3716         the best way to go about my aim.  Removed them in favor of:
3717
3718         * ChangeLog-branches/1.6_branch.ChangeLog: New file.
3719
3720 2001-01-04  Hrvoje Niksic  <hniksic@arsdigita.com>
3721
3722         * url.c (replace_attr): New function, to be used by both
3723         TO_COMPLETE and TO_RELATIVE case in convert_links.
3724         (find_fragment): New function for finding URL fragments.
3725         (replace_attr): Better handle the case where the original string
3726         is not quoted.  Use find_fragment.
3727         (convert_links): Use replace_attr().
3728
3729 2000-12-31  Dan Harkless  <wget@harkless.org>
3730
3731         * ChangeLog: Since this flat file doesn't have multiple branches,
3732         looking at the dates would make you think that things went into
3733         1.6 that actually just went into the 1.7-dev branch.  Added "[Not
3734         in 1.6 branch.]" where appropriate to clarify.
3735         
3736 2000-12-30  Dan Harkless  <wget@harkless.org>
3737
3738         * ftp.c, http.c:  Applied Hack Kampbjørn <hack@hackdata.com>'s
3739         patch to deal with h_errno not being defined in netdb.h under Cygwin.
3740
3741 2000-12-18  Csaba Raduly  <csaba.raduly@sophos.com>
3742
3743         * sysdep.h: Include <malloc.h> and <io.h> under Watcom.
3744
3745 2000-12-17  Igor Khristophorov  <igor@atdot.org>
3746
3747         * http.c (check_end): Fix test for '+' or '-'.
3748
3749 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
3750
3751         * url.c (parseurl): Rename inner loop var from i to ind to avoid
3752         clash with the function top-level-declared variable i.
3753         (str_url): Likewise, rename inner-loop i to j.
3754
3755         * recur.c (parse_robots): Don't declare LEN at top of function.
3756         (robots_match): Renamed parameter FORBIDDEN to avoid hiding of
3757         global variable.
3758
3759         * main.c (main): Change erroneous use of bitwise and to logical.
3760
3761         * init.c (cmd_address): Don't heap-allocate `sin'; it can be on
3762         the stack because it will be copied to closure.
3763
3764         Thanks to Csaba Raduly's run of PC-LINT over the sources.
3765
3766 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
3767
3768         * http.c (basic_authentication_encode): Use xmalloc(), not
3769         malloc().  Thanks to Csaba Raduly's run of PC-LINT over the
3770         sources.
3771
3772 2000-12-17  Csaba Raduly  <csaba.raduly@sophos.com>
3773
3774         * sysdep.h: Test for __EMX__ rather than for EMXOS2 for OS/2
3775         compilation.
3776
3777 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
3778
3779         * mswindows.c: Include <errno.h>.
3780
3781         * gen_sslfunc.c: Include <errno.h>.
3782
3783         * ftp-basic.c: Don't attempt to declare errno or h_errno because
3784         they're not used.
3785
3786         * main.c: Include <errno.h> because errno is used.
3787
3788         * ftp.c: Ditto.
3789
3790         * http.c: Include <netdb.h> for h_errno.
3791
3792 2000-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3793
3794         * html-parse.c (advance_declaration): MSVC assert() chokes on
3795         '\"'.  Use '"' instead.
3796
3797 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3798
3799         * utils.c (xfree_real): Removed.
3800         (xfree_debug): Just call free().
3801
3802         * wget.h (xfree): Make it an alias for free.
3803
3804 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3805
3806         * http.c (http_loop): Furthermore, touch output_document only if
3807         it is known to be an existing regular file.
3808
3809 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3810
3811         * ftp.c (ftp_retrieve_list): Ditto.
3812
3813         * http.c (http_loop): Touch output_document if that is used for
3814         output.
3815
3816 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3817
3818         * http.c: Include gen_sslfunc.h after including Wget's headers.
3819         (persistent_available_p): Needed coma before `int ssl'.
3820
3821 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3822
3823         * ftp.c (ftp_loop_internal): Ditto.
3824
3825         * http.c (http_loop): Use it.
3826
3827         * retr.c (sleep_between_retrievals): New function that handles the
3828         logic of opt.wait and opt.waitretry.
3829
3830 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3831
3832         * rbuf.h: Implement only a single version of RBUF_READCHAR, using
3833         rbuf_read_bufferful when the buffer is depleted.
3834
3835         * rbuf.c (rbuf_read_bufferful): New function.
3836
3837 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3838
3839         * gen_sslfunc.h: Use ansi2knr style function declarations.
3840
3841         * gen_sslfunc.c: Reformat according to the GNU coding standards.
3842         More should be done.
3843
3844         * http.c (persistent_available_p): Place the cheap SSL test nearer
3845         the top of the function.
3846         (CLOSE_FINISH, CLOSE_INVALIDATE): Define only one version of each.
3847
3848 2000-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
3849
3850         * url.c (init_unsafe_char_table): Reinstate space as an unsafe
3851         char.
3852
3853 2000-12-03  Christian Fraenkel <christian.fraenkel@gmx.net>
3854
3855         * Makefile.in: added gen_sslfunc object
3856         * config.h.in: added HAVE_SSL define
3857         * connect.c: changed select_fd from static int to int
3858         * connect.h: ditto
3859         * gen_sslfunc.h: New file
3860         * gen_sslfunc.c: ditto
3861         * http.c: added HTTPS fuctionality
3862         * retrc.c: ditto
3863         * url.c: ditto
3864         * init.c: added opt.httpsproxy
3865         * options.h: ditto
3866         * rbuf.h: added alternate rbuf struct
3867         * wget.h: added CONSSLERR
3868         * rbuf.c: ditto
3869
3870         * http.c: Added HTTPS fuctionality.
3871
3872         * retrc.c: Ditto.
3873
3874         * url.c: Ditto.
3875
3876         * init.c: Added opt.httpsproxy.
3877
3878         * options.h: Ditto.
3879
3880         * rbuf.h: Added alternate rbuf struct.
3881
3882         * wget.h: Added CONSSLERR.
3883
3884         * rbuf.c: Ditto.
3885
3886 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3887
3888         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
3889         "ignore_perms" to ignore file and directory permissions for
3890         Windows NT FTP server listings.
3891         (ftp_parse_winnt_ls): New function.
3892         (ftp_parse_ls): Parses UNIX and Windows NT listings
3893         separately. Simple heuristics for distinguishing between UNIX and
3894         MS-DOS-like FTP listing provided by Windows NT FTP service.
3895
3896 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3897
3898         * ftpparse.c, ftpparse.h: New files.
3899
3900         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
3901         only. Use ftp_parse_nonunix_ls otherwise.
3902         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
3903         exotic FTP servers.
3904
3905         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
3906         FTP servers.
3907
3908         * ftp.c: New static wariables host_type, pwd, and pwd_len. 
3909         (getftp): Support for VMS. Support for FTP servers that do not
3910         place you in the root directory after login.
3911         (ftp_retrieve_list): VMS is silent about the real file size, issue
3912         a more appropriate message.
3913         (ftp_get_listing): Pass host_type to ftp_parse_ls.
3914
3915         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
3916
3917 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3918
3919         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
3920         "ignore_perms" to ignore file and directory permissions for
3921         Windows NT FTP server listings.
3922         (ftp_parse_winnt_ls): New function.
3923         (ftp_parse_ls): Parses UNIX and Windows NT listings
3924         separately. Simple heuristics for distinguishing between UNIX
3925         and MS-DOS-like FTP listing provided by Windows NT FTP service.
3926
3927 2000-11-29  John Summerfield  <summer@OS2.ami.com.au>
3928
3929         * netrc.c (parse_netrc): Get rid of line ending.
3930
3931 2000-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3932
3933         * ftp.c (ftp_retrieve_list): Undo typo "fix" until resolution by
3934         Dan.
3935
3936 2000-11-24  Karl Eichwalder  <ke@suse.de>
3937
3938         * main.c (print_help): Untabify.
3939
3940 2000-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
3941
3942         * utils.c (xrealloc_debug): Do the unregister/register thing only
3943         if the pointer has actually changed.
3944         (xmalloc_real): Declare `static' in DEBUG_MALLOC builds.
3945         (xfree_real): Ditto.
3946         (xrealloc_real): Ditto.
3947         (xstrdup_real): Ditto.
3948
3949 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
3950
3951         * ftp.c (getftp): ftp_getaddress() returns a malloc'ed copy of the
3952         string; no need to strdup() it.
3953         (getftp): Make pwd_len a local variable.
3954         (ftp_loop): Free PWD before returning.
3955
3956         * init.c (cleanup): Free opt.ftp_pass only if it's non-NULL.
3957
3958 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
3959
3960         * all: Use xfree() instead of free.
3961
3962         * utils.c (xfree): New function.
3963
3964 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
3965
3966         * url.c (convert_links): HTML-quote the converted string.
3967
3968         * utils.c (html_quote_string): Move here from ftp-ls.c
3969         (html_quote_string): Make non-static; declare in utils.h.
3970         (html_quote_string): Convert SP to &#32;.
3971
3972 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
3973
3974         * ftp.c (getftp): Reformat Jan's code according to GNU coding
3975         standards; remove (debugging?) printf's; use '\0' for the ASCII
3976         zero character.  Use alloca() instead of malloc() for
3977         inter-function temporary allocations.
3978
3979 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3980
3981         * ftpparse.c, ftpparse.h: New files.
3982
3983         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
3984         only. Use ftp_parse_nonunix_ls otherwise.
3985         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
3986         exotic FTP servers.
3987
3988         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
3989         FTP servers.
3990
3991         * ftp.c: New static wariables host_type, pwd, and pwd_len. 
3992         (getftp): Support for VMS. Support for FTP servers that do not
3993         place you in the root directory after login.
3994         (ftp_retrieve_list): VMS is silent about the real file size, issue
3995         a more appropriate message.
3996         (ftp_get_listing): Pass host_type to ftp_parse_ls.
3997
3998         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
3999
4000 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
4001
4002         * hash.c (hash_table_put): Don't overwrite deleted mappings.
4003
4004 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
4005
4006         * hash.c (find_mapping): New function.
4007         (hash_table_get): Use it.
4008         (hash_table_get_pair): Ditto.
4009         (hash_table_exists): Ditto.
4010         (hash_table_remove): Ditto.
4011         (hash_table_remove): Really delete the entry if the mapping
4012         following LOCATION is empty.
4013
4014         * utils.c (string_set_add): Check whether the element has existed
4015         before.
4016
4017         * hash.c (hash_table_get_pair): New function.
4018
4019 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4020
4021         * http.c (http_process_type): Ignore trailing whitespace; use
4022         strdupdelim().
4023
4024         * recur.c (recursive_retrieve): Use the new `convert' field.
4025         (convert_all_links): Ditto.
4026         (convert_all_links): Don't respect meta_disallow_follow.
4027
4028         * html-url.c (handle_link): Fill out link_relative_p and
4029         link_complete_p.
4030
4031         * url.h (struct _urlpos): Make elements more readable.
4032
4033         * recur.c (recursive_retrieve): Call slist_prepend instead of
4034         slist_append.
4035         (convert_all_links): Call slist_nreverse before iterating through
4036         urls_html.
4037
4038         * utils.c (slist_prepend): New function.
4039         (slist_nreverse): Ditto.
4040
4041 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4042
4043         * http.c (check_end): Constify.
4044
4045 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4046
4047         * http.c (http_loop): If username and password are known, try the
4048         `Basic' authentication scheme by default.
4049
4050         * connect.h: Declare test_socket_open.
4051
4052 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4053
4054         * version.c: Bump version from 1.5.3+dev to 1.7-dev.
4055
4056 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4057
4058         * http.c (gethttp): Don't use the return value of sprintf().
4059         (gethttp): Inhibit keep-alive if opt.http_keep_alive is 0.
4060
4061 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4062
4063         * recur.c (recursive_retrieve): Print the "so we don't load"
4064         debugging message only if we really don't load.
4065
4066         * http.c (gethttp): Inhibit keep-alive if proxy is being used.
4067         (gethttp): Don't request keep-alive if keep-alive is inhibited.
4068
4069 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4070
4071         * http.c (gethttp): Make the HTTP persistent connections more
4072         robust.
4073
4074 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4075
4076         * retr.c (get_contents): If use_expected, make sure that the
4077         appropriate amount of data is being read.
4078
4079         * http.c (gethttp): Check for both `Keep-Alive: ...' and
4080         `Connection: Keep-Alive'.
4081
4082         * wget.h (DEBUGP): Call debug_logprintf only if opt.debug is
4083         turned on.
4084
4085 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4086
4087         * http.c (connection_available_p): Use it.
4088
4089         * connect.c (test_socket_open): New function.
4090
4091         * http.c (gethttp): Support persistent connections.  Based on the
4092         ideas, and partly on code, by Sam Horrocks <sam@daemoninc.com>.
4093         (register_persistent): New function.
4094         (connection_available_p): Ditto.
4095         (invalidate_connection): Ditto.
4096
4097 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4098
4099         * url.c (convert_links): Handle UREL2ABS case.
4100
4101         * recur.c (recursive_retrieve): Instead of the list
4102         urls_downloaded, use hash tables dl_file_url_map and
4103         dl_url_file_map.
4104         (convert_all_links): Use them to retrieve data.
4105
4106         * host.c (clean_hosts): Free the hash tables.
4107
4108         * main.c (private_initialize): Call host_init().
4109
4110         * host.c (store_hostaddress): Use a saner, hash table-based data
4111         model.
4112         (realhost): Ditto.
4113         (host_init): Initialize the hash tables.
4114
4115 2000-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
4116
4117         * utils.c (slist_append): Eviscerate NOSORT.  Hash tables are now
4118         used for what the sorted slists used to be used for.
4119         (slist_contains): Don't rely on the list being sorted.
4120         (slist_append): Simplify the code.
4121
4122         * recur.c (recursive_cleanup): Use free_string_set.
4123
4124         * utils.c (string_set_add, string_set_exists, string_set_free):
4125         New functions for easier freeing of hash tables whose keys are
4126         strdup'ed strings.
4127
4128         * recur.c (recursive_retrieve): Use the hash table functions for
4129         storing undesirable URLs.
4130
4131         * hash.c: New file.
4132
4133 2000-11-17  Hrvoje Niksic  <hniksic@arsdigita.com>
4134
4135         * main.c (private_initialize): Call url_init.
4136         (main): Call private_initialize.
4137
4138         * url.c (unsafe_char_table): New table.
4139         (UNSAFE_CHAR): Use it.
4140         (init_unsafe_char_table): New function.
4141         (url_init): New function; call init_unsafe_char_table.
4142
4143 2000-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
4144
4145         * mswindows.h: Define snprintf and vsnprintf to _snprintf and
4146         _vsnprintf respectively.
4147
4148 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
4149
4150         * config.h.in: Do the _XOPEN_SOURCE and _SVID_SOURCE things only
4151         on Linux.
4152
4153 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
4154
4155         * html-url.c (handle_link): Handle HTML fragment identifiers.
4156
4157         * recur.c (recursive_retrieve): If norobot info is respected and
4158         the file is specified not to be followed by robots, respect that.
4159
4160         * html-url.c (collect_tags_mapper): Handle <meta name=robots
4161         content=X>.  For us the important cases are where X is NONE or
4162         where X contains NOFOLLOW.
4163         (get_urls_html): Propagate that information to the caller.
4164
4165 2000-11-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4166
4167         * url.c (convert_links): Unlink the file we might be reading from
4168         before writing to it.
4169         (convert_links): Use alloca instead of malloc for
4170         filename_plus_orig_suffix.
4171
4172 2000-11-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4173
4174         * host.c (realhost): Add HOST to the list with quality==0 only if
4175         it wasn't already there.
4176         Based on analysis by Lu Guohan <feng@public.bjnet.edu.cn>.
4177
4178 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4179
4180         * url.c (get_urls_file): Ditto.
4181         (convert_links): Ditto.
4182
4183         * html-url.c (get_urls_html): Use read_file() instead of
4184         load_file().
4185
4186         * utils.c (read_file): New function, instead of the old
4187         load_file().
4188         (read_file_free): Ditto.
4189
4190         * url.c (findurl): Search only for the supported protocols.
4191         (convert_links): Use fwrite() when writing out a region of
4192         characters.
4193
4194 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4195
4196         * ftp-ls.c: Move html_quote_string and ftp_index here.
4197
4198         * url.c: Remove get_urls_html, since that's now in html-url.c.
4199
4200         * html-url.c: New file.
4201
4202         * html-parse.c: New file.
4203
4204 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4205
4206         * init.c (run_wgetrc): Don't bother killing off '\r' since
4207         pars_line() skips whitespace at end of line anyway.
4208         (parse_line): Oops, it didn't.  Now it does.
4209
4210         * recur.c (parse_robots): Ditto here.
4211
4212         * ftp-ls.c (ftp_parse_unix_ls): Kill off the newline character
4213         manually because read_whole_line no longer does.
4214
4215         * utils.c (read_whole_line): Rewrite to: a) use less memory
4216         (reallocates to needed size after work), b) work faster -->
4217         fgets() instead of getc, c) be more correct --> doesn't kill the
4218         newline character at the end of line.
4219
4220 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4221
4222         * init.c (comind): Initialize MAX to array size - 1.
4223
4224 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
4225
4226         * url.c (construct): Changed last_slash[-1] to *(last_slash - 1).
4227         Suggested by Edward J. Sabol.
4228
4229 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
4230
4231         * url.c (construct): Handle the case where host name is not
4232         followed by a slash.
4233
4234 2000-11-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4235
4236         * init.c: commands[] need to be sorted!  ("base" wasn't.)
4237
4238 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
4239
4240         * wget.h (DO_REALLOC_FROM_ALLOCA): Use braces to disambiguate
4241         `if'.
4242
4243 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
4244
4245         * url.c (construct): Insert unneeded initialization for the
4246         compiler to shut up.
4247
4248         * config.h.in: Define _XOPEN_SOURCE to 500 to get the prototype
4249         for strptime() (*duh*).  Define _SVID_SOURCE to get S_IFLNK which
4250         otherwise gets lost when you define _XOPEN_SOURCE.
4251
4252         * utils.c (touch): Include the file name in the error message.
4253         From Debian.
4254
4255 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
4256
4257         * log.c (logvprintf): Use vsnprintf() in all cases.  If necessary,
4258         resize the buffer to fit the formated message.  That way, messages
4259         of arbitrary size may be printed.
4260         (logvprintf): Use saved_append() to optionally log the last
4261         several lines of output.
4262         (logputs): Ditto.
4263         (log_close): Adapt to new data structures.
4264         (log_dump): Ditto.
4265         (redirect_output): Print messages to stderr, not to stdout.
4266
4267         * log.c (saved_append_1): New function.  Replaces the old logging
4268         system ("log all output until 10M characters") with a new, much
4269         more reasonable one ("log last screenful of text").
4270         (saved_append): New function; call saved_append_1.
4271         (free_log_line): New function.
4272
4273 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
4274
4275         * url.c (construct): Fix comment.
4276         (find_last_char): Document.
4277
4278 2000-11-04  Hrvoje Niksic  <hniksic@arsdigita.com>
4279
4280         * snprintf.c: New file.
4281
4282 2000-11-03  Hrvoje Niksic  <hniksic@arsdigita.com>
4283
4284         * wget.h: If HAVE_STDARG_H is not defined, don't declare argument
4285         types to logprintf() and debug_logprintf().
4286
4287 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4288
4289         * ftp.c (ftp_loop_internal): Hide the password from the URL when
4290         printing non-verbose.  Problem spotted by Dariusz Mlynarczyk
4291         <darekm@bydg.lomac.com.pl>.
4292
4293 2000-11-02  Junio Hamano  <junio@twinsun.com>
4294
4295         * ftp-basic.c (ftp_login): Make comparison case-insensitive.
4296
4297 2000-11-02  Tyler Riddle  <triddle@liquidmarket.com>
4298
4299         * http.c (known_authentication_scheme_p): Recognize NTML
4300         authentication.
4301         (create_authorization_line): Treat NTML the same as `Basic'.
4302
4303 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4304
4305         * retr.c (retrieve_url): Free url before returning.
4306         (retrieve_url): Free mynewloc before returning.
4307         Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
4308
4309 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4310
4311         * url.c (parseurl): Remove possible reading past the end of
4312         sup_protos[].  Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
4313
4314 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4315
4316         * main.c (main): In case of opt.downloaded overflowing, print
4317         <overflow> instead of a totally bogus random value.
4318
4319         * retr.c (retrieve_from_file): Ditto.
4320
4321         * recur.c (recursive_retrieve): Ditto.
4322
4323         * main.c (main): Ditto.
4324
4325         * http.c (http_loop): Ditto.
4326
4327         * ftp.c (ftp_loop_internal): Use downloaded_increase() instead of
4328         `+=', and downloaded_exceeds_quota() instead of the simple-minded
4329         check.
4330         (ftp_retrieve_list): Ditto.
4331         (ftp_retrieve_dirs): Ditto.
4332         (ftp_retrieve_glob): Ditto.
4333
4334         * retr.c (downloaded_increase): New function.  Notice overflows of
4335         opt.downloaded.
4336         (downloaded_exceeds_quota): Make sure that opt.downloaded is not
4337         used if it overflowed.
4338
4339         * options.h (struct options): New member downloaded_overflow.
4340
4341 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4342
4343         * wget.h (enum): Remove extra space after last enumeration.
4344
4345 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4346
4347         * main.c (main): Use legible_very_long() for printing
4348         opt.downloaded.
4349
4350         * utils.c (legible_1): New function that operates on strings and
4351         does the brunt of legible()'s work.
4352         (legible): Use legible_1().
4353         (legible_very_long): New function; dump the argument with
4354         sprintf(), and call legible_1().
4355
4356         * options.h (struct options): Use VERY_LONG_TYPE for
4357         opt.downloaded.
4358
4359         * sysdep.h (VERY_LONG_TYPE): Define it to have a 64-bit or greater
4360         type.
4361
4362         * config.h.in: Make sure that SIZEOF_LONG and SIZEOF_LONG_LONG get
4363         defined.  Define HAVE_LONG_LONG if long long is available.
4364
4365 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4366
4367         * utils.c (long_to_string): Update with a later, better version.
4368
4369 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4370
4371         * url.c (path_simplify_with_kludge): New function.
4372         (path_simplify_with_kludge): Disable it.  Instead...
4373         (parse_dir): ...make sure that at this point the right thing is
4374         done, i.e. that "query" part of the URL (?...) is always assigned
4375         to the file, never to the directory portion of the path.
4376
4377 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4378
4379         * retr.c (retrieve_url): Detect redirection cycles.
4380
4381 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4382
4383         * url.c (get_urls_html): Decode HTML entities using
4384         html_decode_entities.
4385
4386         * html.c (htmlfindurl): Don't count the `#' in numeric entities
4387         (&#NNN;) as an HTML fragemnt.
4388         (html_decode_entities): New function.
4389
4390 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4391
4392         * html.c (htmlfindurl): Fix recognition of # HTML fragments.
4393
4394 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4395
4396         * url.c (construct): Rewritten for clarity.  Avoids the
4397         unnecessary copying and stack-allocation the old version
4398         performed.
4399
4400 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
4401
4402         * ftp.c (getftp): Ditto.
4403
4404         * http.c (gethttp): Rewind the stream when retrying from scratch.
4405
4406 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
4407
4408         * retr.c (retrieve_url): Use url_concat() to handle relative
4409         redirections instead of /ad hoc/ code.
4410
4411         * url.c (url_concat): New function encapsulating weird
4412         construct().
4413         (urllen_http_hack): New function.
4414         (construct): When constructing new URLs, recognize that `?' does
4415         not form part of the file name in HTTP.
4416
4417 2000-10-13  Adrian Aichner  <adrian@xemacs.org>
4418
4419         * retr.c: Add msec timing support for WINDOWS.
4420         * retr.c (reset_timer): GetSystemTime() on WINDOWS.
4421         * retr.c (elapsed_time): Calculate delta time to msec on WINDOWS.
4422
4423 2000-10-27  Dan Harkless  <wget@harkless.org>
4424
4425         * retr.c (retrieve_url): Manually applied T. Bharath
4426         <TBharath@responsenetworks.com>'s patch to get wget to grok
4427         illegal relative URL redirects.  Reformatted and re-commented it.
4428
4429 2000-10-23  Dan Harkless  <wget@harkless.org>
4430
4431         * connect.c (make_connection and bindport): Manually applied Rob
4432         Mayoff <mayoff@dqd.com>'s 1.5.3 patch to add --bind-address,
4433         changing coding style to GNU's.
4434
4435         * ftp.c (ftp_loop_internal): --delete-after wasn't implemented for
4436         files downloaded via FTP.  Per a comment, .listing files were not
4437         counted towards number of bytes and files downloaded because they're 
4438         deleted anyway.  Well, they aren't under -nr, so count them then.
4439
4440         * init.c: Manually applied Rob Mayoff's 1.5.3 patch to add
4441         --bind-address, alphabetizing, changing coding style to GNU's,
4442         commenting, and renaming cmd_ip_address() to cmd_address() to
4443         imply hostnames also okay.
4444                 
4445         * main.c (main): --delete-after didn't delete the root of the
4446         tree.  Ignore --convert-links if --delete-after was specified.
4447         Manually applied Rob Mayoff's 1.5.3 patch to add --bind-address,
4448         fixing duplicate use of added-since-1.5.3 case value.
4449         (print_help): Clarified that --delete-after deletes local files.
4450         Rob forgot to add a line for his new --bind-address option.
4451                 
4452         * options.h (struct options): Manually applied Rob Mayoff's patch
4453         to add --bind-address (bind_address structure member).
4454                 
4455         * recur.c (recursive_retrieve): Improved comment; added DEBUGP().
4456         Ignore --convert-links if --delete-after was specified.
4457                 
4458         * retr.c (retrieve_from_file): Just added a DEBUGP().
4459                 
4460 2000-10-19  Dan Harkless  <wget@harkless.org>
4461
4462         * ftp.c (ftp_loop_internal): downloaded_file() enumerators changed.
4463         (getftp): Applied Piotr Sulecki <Piotr.Sulecki@ios.krakow.pl>'s
4464         patch to work around FTP servers that incorrectly respond to the
4465         "REST" command with the remaining size rather than the total file size.
4466                 
4467         * http.c (gethttp): Improved a comment and added code to tack on
4468         ".html" to text/html files without that extension when -E specified.
4469         (http_loop): Use new downloaded_file() enumerators and deal with
4470         the case of gethttp() called xrealloc() on u->local.
4471
4472         * init.c (commands): Added new "htmlextension" command.
4473         Also renamed John Daily's cmd_quad() to the more descriptive
4474         cmd_lockable_boolean(), alpha-sorted the CMD_DECLARE()s and
4475         removed duplicate cmd_boolean() declaration.
4476
4477         * main.c (print_help): Added my new -E / --html-extension option.
4478         (main): Undocumented --email-address option previously used -E synonym.
4479         Stole it away for the much more deserving --html-extension's use.
4480
4481         * options.h (struct options): Added html_extension field.
4482
4483         * url.c (convert_links): URL X that we saved as X.html locally due
4484         to -E needs to be backed up as X.orig, not X.html.orig.  Added comments.
4485         (downloaded_file): Now remembers if we added .html extension to a file.
4486
4487         * url.h (downloaded_file_t): Added extra enumerators to support above.
4488         (downloaded_file): Now takes and returns a downloaded_file_t.
4489
4490         * wget.h (unnamed "dt" enum): Added ADDED_HTML_EXTENSION enumerator.
4491         
4492 2000-10-09  Dan Harkless  <wget@harkless.org>
4493
4494         * html.c (htmlfindurl): Added unneeded initialization to quiet warning.
4495                 
4496         * main.c (print_help): Clarified what --retr-symlinks does.
4497         
4498 2000-09-15  John Daily  <jdaily@cyberdude.com>
4499
4500         * init.c: Add support for "always" and "never" values to allow
4501         .wgetrc to override commandline (useful e.g. with .pm files
4502         calling `wget --passive-ftp' when your firewall doesn't allow that).
4503
4504         * ftp.c (getftp): passive_ftp is first option to support always/never.
4505
4506 2000-08-30  Dan Harkless  <wget@harkless.org>
4507
4508         * ftp.c (ftp_retrieve_list): Use new INFINITE_RECURSION #define.
4509         
4510         * html.c: htmlfindurl() now takes final `dash_p_leaf_HTML' parameter.
4511         Wrapped some > 80-column lines.  When -p is specified and we're at a 
4512         leaf node, do not traverse <A>, <AREA>, or <LINK> tags other than 
4513         <LINK REL="stylesheet">.
4514         
4515         * html.h (htmlfindurl): Now takes final `dash_p_leaf_HTML' parameter.
4516         
4517         * init.c: Added new -p / --page-requisites / page_requisites option.
4518
4519         * main.c (print_help): Clarified that -l inf and -l 0 both allow
4520         infinite recursion.  Changed the unhelpful --mirrior description
4521         to simply give the options it's equivalent to.  Added new -p option.
4522         (main): Added some comments; handle new -p / --page-requisites.
4523         
4524         * options.h (struct options): Added new page_requisites field.
4525
4526         * recur.c: Changed "URL-s" to "URLs" and "HTML-s" to "HTMLs".
4527         Calculate and pass down new `dash_p_leaf_HTML' parameter to
4528         get_urls_html().  Use new INFINITE_RECURSION #define.
4529
4530         * retr.c: Changed "URL-s" to "URLs".  get_urls_html() now takes
4531         final `dash_p_leaf_HTML' parameter.
4532
4533         * url.c: get_urls_html() and htmlfindurl() now take final
4534         `dash_p_leaf_HTML' parameter.
4535
4536         * url.h (get_urls_html): Now takes final `dash_p_leaf_HTML' parameter.
4537
4538         * wget.h: Added some comments and new INFINITE_RECURSION #define.
4539         
4540 2000-08-23  Dan Harkless  <wget@harkless.org>
4541
4542         * main.c (print_help): -B / --base was not mentioned.
4543
4544 2000-08-22  Dan Harkless  <wget@harkless.org>
4545
4546         * main.c (print_help): Modified -nc description to mention that it
4547         also prevents the creation of multiple versions of the same file
4548         with ".<number>" suffixes.
4549
4550 2000-07-14  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4551
4552         * retr.c (retrieve_url): Consistently strdup opt.referer when
4553         setting u->referer.
4554
4555 2000-06-09  Dan Harkless  <wget@harkless.org>
4556
4557         * main.c (print_help): --help output for --waitretry was over 80 cols.
4558
4559 2000-06-09  Hrvoje Niksic  <hniksic@iskon.hr>
4560
4561         * url.c (encode_string): Fix comment.
4562         Suggested by Herold Heiko <Heiko.Herold@previnet.it>.
4563
4564 2000-06-01  Const Kaplinsky  <const@ce.cctpu.edu.ru>
4565
4566         * ftp.c (ftp_retrieve_list): Change permissions only on plain
4567         files.
4568
4569 2000-06-01  Hrvoje Niksic  <hniksic@iskon.hr>
4570
4571         * url.c (str_url): Print the port number only if it's different
4572         from the default port number for that protocol.
4573
4574 2000-05-22  Dan Harkless  <wget@harkless.org>
4575
4576         * main.c (print_help): Added --help line for Damir Dzeko
4577         <ddzeko@zesoi.fer.hr>'s until-now-undocumented --referer option.
4578         Removed comments that --referer and --waitretry were undocumented.
4579         Changed "`.wgetrc' command" to "`.wgetrc'-style command" on --help
4580         line for --execute.
4581
4582 2000-05-18  Hrvoje Niksic  <hniksic@iskon.hr>
4583
4584         * ftp.c (getftp): Ditto.
4585
4586         * http.c (gethttp): Check for return value of fclose/fflush.
4587
4588 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
4589
4590         * host.c (store_hostaddress): Instead of shifting ADDR, start
4591         copying from the correct address.
4592
4593 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
4594
4595         * http.c (gethttp): Don't free REQUEST -- it was allocated with
4596         alloca().
4597         Pointed out by Gisle Vanem <gvanem@eunet.no>.
4598
4599 2000-04-04  Dan Harkless  <wget@harkless.org>
4600
4601         * host.c (store_hostaddress): R. K. Owen's patch introduces a
4602         "left shift count >= width of type" warning on 32-bit
4603         architectures.  Got rid of it by tricking the compiler w/ a variable.
4604         
4605         * url.c (UNSAFE_CHAR): The macro didn't include all the illegal
4606         characters per RFC1738, namely everything above '~'.  It also
4607         generated a warning on OSes where char =~ unsigned char.  Fixed.
4608         
4609 1998-10-17  Hrvoje Niksic  <hniksic@srce.hr>
4610
4611         * http.c (http_process_type): Removed needless strdup(), a memory
4612         leak.
4613
4614 1998-09-25  Hrvoje Niksic  <hniksic@srce.hr>
4615
4616         * html.c (htmlfindurl): Set PH to the first occurrence of `#'.
4617
4618 1998-09-25  Simon Munton  <simonm@m4data.co.uk>
4619
4620         * init.c (wgetrc_file_name): Don't free HOME under Windows.
4621
4622 1998-12-01  "R. K. Owen"  <rkowen@Nersc.GOV>
4623
4624         * host.c (store_hostaddress): Fix for big endian 64-bit machines.
4625
4626 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
4627
4628         * url.c (UNSAFE_CHAR): New macro.
4629         (contains_unsafe): Use it.
4630         (encode_string): Ditto.
4631
4632 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
4633
4634         * main.c (i18n_initialize): Use LC_MESSAGES only if available.
4635
4636 2000-03-31  Hrvoje Niksic  <hniksic@srce.hr>
4637
4638         * Use TOUPPER/TOLOWER.
4639
4640 1998-12-22  Alexander V. Lukyanov  <lav@yars.free.net>
4641
4642         * ftp-opie.c (btoe): Zero-terminate OSTORE.
4643
4644 2000-03-21  Hrvoje Niksic  <hniksic@iskon.hr>
4645
4646         * wget.h (DO_REALLOC_FROM_ALLOCA): Ditto.
4647
4648         * sysdep.h (ISALNUM): New macro.
4649         (TOLOWER): Ditto.
4650         (TOUPPER): Ditto.
4651
4652 2000-03-10  Dan Harkless  <wget@harkless.org>
4653
4654         * html.c (idmatch): Implemented checking of my new --follow-tags
4655         and --ignore-tags options.
4656         
4657         * init.c (commands): Added comment reminding people adding new
4658         entries doing allocation to add corresponding freeing in cleanup().
4659         (commands): Added new followtags and ignoretags commands.
4660         (cleanup): Free storage for new followtags and ignoretags.
4661         
4662         * main.c: Use of "comma-separated list" was random -- normalized
4663         it.  Did some alphabetization.  Added comments pointing out
4664         "Options without arguments" and "Options accepting an argument"
4665         sections of long_options[].  Added new options --follow-tags and
4666         -G / --ignore-tags.  Added comment that Damir's --referer is
4667         currently undocumented.  Added comment that Heiko's --waitretry is
4668         partially undocumented (mentioned in --help but not in
4669         wget.texi).  Moved improperly sorted 24, 129, and 'G' cases.
4670         
4671         * options.h (struct options): Added new fields follow_tags and
4672         ignore_tags. 
4673         
4674         * wget.h: Added "#define EQ 0" so we can say "strcmp(a, b) == EQ".
4675         
4676 2000-03-02  Dan Harkless  <wget@harkless.org>
4677
4678         * ftp.c (ftp_loop_internal): Heiko introduced "suggest explicit
4679         braces to avoid ambiguous `else'" warnings.  Eliminated them.
4680         
4681         * http.c (gethttp): Dan Berger's query string patch is totally
4682         bogus.  If you have two different URLs, gen_page.cgi?page1 and
4683         get_page.cgi?page2, they'll both be saved as get_page.cgi and the
4684         second will overwrite the first.  Also, parameters to implicit
4685         CGIs, like "http://www.host.com/db/?2000-03-02" cause the URLs to
4686         be printed with trailing garbage characters, and could seg fault.
4687         Backing out the patch, which Dan B. informed me by email was just
4688         a kludge to download StarOffice from Sun made necessary due to
4689         wget's unconditional escaping of certain characters (room for an
4690         option there?).
4691         (http_loop): Heiko introduced "suggest explicit braces to avoid
4692         ambiguous `else'" warnings.  Eliminated them.
4693         
4694         * main.c: Heiko's --wait / --waitretry backwards compatibility
4695         code looks to have been totally untested -- automatic variable
4696         'wr' was used without being initialized, and a long int was passed
4697         into setval()'s char* val parameter.
4698         
4699         * recur.c (parse_robots): Applied Edward J. Sabol
4700         <sabol@alderaan.gsfc.nasa.gov>'s patch for Guan Yang's reported
4701         problem with "User-agent:<space>*<space>" lines in robots.txt.
4702         
4703         * url.c (parseurl, str_url): Removing Dan Berger's code (see
4704         http.c above for explanation).
4705         
4706 1999-08-25  Heiko Herold  <Heiko.Herold@previnet.it>
4707
4708         * ftp.c: Respect new option waitretry.
4709
4710 2000-01-30  Damir Dzeko  <ddzeko@zesoi.fer.hr>
4711
4712         * http.c (gethttp): Send custom Referer, if required.
4713
4714 1999-09-24  Charles G Waldman  <cgw@fnal.gov>
4715
4716         * netrc.c (parse_netrc): Allow passwords to contain spaces.
4717
4718         * netrc.c (parse_netrc): New function.
4719
4720 1999-09-17  Dan Berger  <dberger@ix.netcom.com>
4721
4722         * http.c (gethttp): Send it.
4723
4724         * url.c (parseurl): Detect query string in HTTP URL-s.
4725         (str_url): Print it.
4726
4727 2000-03-02  HIROSE Masaaki  <hirose31@t3.rim.or.jp>
4728
4729         * html.c (html_allow): Add <link href=...> and <script src=...>.
4730
4731 1999-05-02  andrew deryabin  <djsf@softhome.net>
4732
4733         * http.c (gethttp): Specify port in `Host' header only if it's
4734         different from 80.
4735
4736 1998-11-03  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
4737
4738         * recur.c (recursive_retrieve): If a finite maximum depth is
4739         specified, and we're are already at that depth, don't download the
4740         HTML file for parsing.
4741
4742 2000-03-01  Dan Harkless  <wget@harkless.org>
4743
4744         * ftp.c (ftp_loop_internal): Call new downloaded_file() function,
4745         even though we don't do conversion on HTML files retrieved via
4746         FTP, so _current_ usage of downloaded_file() makes this call unneeded. 
4747         (ftp_retrieve_list): Added a comment saying where we need to
4748         stat() a .orig file if FTP'd HTML file conversion is ever implemented.
4749         (ftp_retrieve_list): "Local file '%s' is more recent," is sometimes
4750         a lie -- reworded as "Server file no newer than local file '%s' --".
4751         
4752         * http.c (http_loop): Fixed a typo and clarified a comment.
4753         (http_loop): When -K and -N are specified together, compare size
4754         and timestamp of server file X against local file X.orig (if
4755         extant) rather than converted local file X.
4756         (http_loop): "Local file '%s' is more recent," is sometimes a lie
4757         -- reworded as "Server file no newer than local file '%s' --".
4758         (http_loop): Call new downloaded_file() function to prevent
4759         wrongful overwriting of .orig file when -N is specified.
4760         
4761         * url.c (convert_links): When -K specified, only rename X to
4762         X.orig if downloaded_file() returns TRUE.  Otherwise when we skip
4763         file X due to -N, we clobber an X.orig from a previous invocation.
4764         (convert_links): Call the failsafe xstrdup(), not the real strdup().
4765         (convert_links): Added a note asking anyone who understands how
4766         multiple URLs can correspond to a single file to comment it.
4767         (downloaded_file): Added this new function.
4768         
4769         * url.h (downloaded_file): Added prototype for this new function
4770         as well as its downloaded_file_t enum type.
4771
4772         * wget.h (boolean): Added this new typedef and TRUE and FALSE #defines.
4773
4774 2000-02-29  Dan Harkless  <wget@harkless.org>
4775
4776         * version.c: Upped version to developer-only "1.5.3+dev".
4777
4778 2000-02-18  Dan Harkless  <wget@harkless.org>
4779
4780         * init.c (backup_converted): Added this new option.
4781
4782         * main.c (-K / --backup-converted): Added this new option.
4783
4784         * options.h (backup_converted): Added this new option.
4785
4786         * url.c (convert_links): When backup_converted is specified, save
4787         file X as X.orig before converting.
4788
4789         * url.h (urlpos): Fixed typo -- said "Rekative" instead of "Relative".
4790
4791 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
4792
4793         * version.c: Wget 1.5.3 is released.
4794
4795 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
4796
4797         * host.c (ftp_getaddress): Don't warn when reverse-lookup of local 
4798         address doesn't yield FQDN.
4799
4800 1998-09-21  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
4801
4802         * cmpt.c (strerror): Fix declaration of sys_errlist.
4803
4804 1998-09-11  Hrvoje Niksic  <hniksic@srce.hr>
4805
4806         * main.c (main): Don't use an array subscript as the first
4807         argument to STRDUP_ALLOCA.
4808         From Kaveh R. Ghazi.
4809
4810 1998-09-11  Szakacsits Szabolcs  <szaka@sienet.hu>
4811
4812         * html.c (htmlfindurl): Download table background.
4813
4814 1998-09-11  Hans Grobler  <grobh@conde.ee.sun.ac.za>
4815
4816         * init.c (parse_line): Would free *com before allocating it.
4817         (parse_line): Would free com instead of *com.
4818
4819 1998-09-10  Howard Gayle  <howard@fjst.com>
4820
4821         * url.c (get_urls_html): Would drop the last character of the
4822         link.
4823
4824 1998-09-10  Hrvoje Niksic  <hniksic@srce.hr>
4825
4826         * http.c (http_loop): Don't print status code if quiet.
4827
4828 1998-09-10  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
4829
4830         * log.c: Use <stdarg.h> only when __STDC__.
4831
4832 1998-09-10  Adam D. Moss  <adam@foxbox.org>
4833
4834         * html.c (htmlfindurl): Download <layer src=...>.
4835
4836 1998-09-10  Howard Gayle  <howard@fjst.com>
4837
4838         * ftp.c (ftp_retrieve_list): Don't update the time stamp of a file 
4839         not retrieved.
4840
4841 1998-06-27  Hrvoje Niksic  <hniksic@srce.hr>
4842
4843         * utils.c: Include <libc.h> on NeXT.
4844
4845 1998-06-26  Heinz Salzmann  <heinz.salzmann@intermetall.de>
4846
4847         * url.c (get_urls_html): Fix calculation of URL position.
4848
4849 1998-06-23  Hrvoje Niksic  <hniksic@srce.hr>
4850
4851         * version.c: Wget 1.5.2 is released.
4852
4853 1998-06-23  Dave Love  <d.love@dl.ac.uk>
4854
4855         * ftp.c, init.c, netrc.c: Include errno.h.
4856
4857         * http.c: Include errno.h and time header.
4858
4859         * Makefile.in (exext): Define.
4860         (install.bin, uninstall.bin): Use it.
4861
4862 1998-06-21  Hrvoje Niksic  <hniksic@srce.hr>
4863
4864         * http.c (http_loop): Don't attempt to compare local and remote
4865         sizes if the remote size is unknown.
4866
4867 1998-06-16  Hrvoje Niksic  <hniksic@srce.hr>
4868
4869         * url.c (get_urls_html): Use malloc() instead of alloca in the
4870         loop.
4871
4872 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
4873
4874         * version.c: Wget 1.5.2-b4 is released.
4875
4876 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
4877
4878         * url.c (get_urls_html): Ignore spaces before and after the URI.
4879
4880 1998-06-08  Wanderlei Antonio Cavassin  <cavassin@conectiva.com.br>
4881
4882         * ftp.c (getftp): Translate `done'.
4883
4884 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
4885
4886         * version.c: Wget 1.5.2-b3 is released.
4887
4888 1998-06-06  Alexander Kourakos  <awk@bnt.com>
4889
4890         * init.c (cleanup): Close dfp, don't free it.
4891
4892 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
4893
4894         * utils.c (make_directory): Twiddle.
4895
4896         * config.h.in: Added template for access().
4897
4898 1998-06-05  Mathieu Guillaume  <mat@cythere.com>
4899
4900         * html.c (htmlfindurl): Download <input src=...>
4901
4902 1998-06-03  Hrvoje Niksic  <hniksic@srce.hr>
4903
4904         * utils.c (file_exists_p): Use access() with two arguments.
4905
4906 1998-05-27  Martin Kraemer  <Martin.Kraemer@mch.sni.de>
4907
4908         * netrc.c (parse_netrc): Correct logic.
4909
4910 1998-05-27  Hrvoje Niksic  <hniksic@srce.hr>
4911
4912         * ftp.c (getftp): Added `break'; suggested by Lin Zhe Min
4913         <ljm@ljm.wownet.net>.
4914
4915 1998-05-24  Hrvoje Niksic  <hniksic@srce.hr>
4916
4917         * version.c: Wget 1.5.2-b2 is released.
4918
4919 1998-05-18  Juan Jose Rodriguez  <jcnsoft@jal1.telmex.net.mx>
4920
4921         * mswindows.h: Don't translate mkdir to _mkdir under Borland.
4922
4923 1998-05-17  Hrvoje Niksic  <hniksic@srce.hr>
4924
4925         * retr.c (elapsed_time): Return correct value when
4926         HAVE_GETTIMEOFDAY is undefined.
4927
4928 1998-05-13  Hrvoje Niksic  <hniksic@srce.hr>
4929
4930         * version.c: Wget 1.5.2-b1 is released.
4931
4932 1998-05-08  Hrvoje Niksic  <hniksic@srce.hr>
4933
4934         * getopt.c (_getopt_internal): Use exec_name instead of argv[0].
4935         (_getopt_internal): Don't translate `#if 0'-ed strings.
4936
4937 1998-05-06  Douglas E. Wegscheid  <wegscd@whirlpool.com>
4938
4939         * mswindows.c (ws_handler): Use fork_to_background().
4940
4941 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
4942
4943         * version.c: Wget 1.5.1 is released.
4944
4945 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
4946
4947         * http.c (parse_http_status_line): Avoid `minor' and `major'
4948         names.
4949
4950 1998-05-02  Hrvoje Niksic  <hniksic@srce.hr>
4951
4952         * utils.c (mkdirhier): Renamed to make_directory.
4953
4954 1998-05-01  Hrvoje Niksic  <hniksic@srce.hr>
4955
4956         * mswindows.c (fork_to_background): Define under Windows.
4957
4958         * utils.c (fork_to_background): New function.
4959
4960         * html.c (htmlfindurl): Removed rerdundant casts.
4961
4962 1998-05-01  Douglas E. Wegscheid  <wegscd@whirlpool.com>
4963
4964         * mswindows.c (ws_mypath): Cache the path.
4965
4966 1998-04-30  Douglas E. Wegscheid  <wegscd@whirlpool.com>
4967
4968         * ftp.h: Prefix enum ftype members with FT_.
4969
4970         * ftp-ls.c, ftp.c, html.h: Adjust accordingly.
4971
4972         * mswindows.h: Use stat under Borland, _stat under MSVC.
4973
4974 1998-04-28  Hrvoje Niksic  <hniksic@srce.hr>
4975
4976         * http.c (known_authentication_scheme_p): New function.
4977         (gethttp): Handle authorization more correctly.
4978
4979         * ftp-basic.h: Removed.
4980
4981         * cmpt.h: Removed.
4982
4983         * utils.c: Include <unistd.h> before <pwd.h>; needed under SunOS
4984         with gcc 2.8.
4985         (numdigit): Use `while' loop.
4986
4987         * http.c (create_authorization_line): Detect authentication
4988         schemes case-insensitively.
4989
4990         * http.c (extract_header_attr): Use strdupdelim().
4991         (digest_authentication_encode): Move declaration of local
4992         variables to smaller scope.
4993         (digest_authentication_encode): Reset REALM, OPAQUE and NONCE.
4994         (create_authorization_line): Detect authentication schemes
4995         case-insensitively.
4996
4997         * utils.c (touch): Constify.
4998
4999         * http.c (gethttp): Report a nicer error when no data is received.
5000
5001         * rbuf.h (RBUF_READCHAR): Ditto.
5002
5003         * ftp-basic.c (ftp_response): Use sizeof.
5004
5005 1998-04-27  Hrvoje Niksic  <hniksic@srce.hr>
5006
5007         * retr.c (print_percentage): EXPECTED is long, not int.
5008         (print_percentage): Use floating-point arithmetic to avoid
5009         overflow with large files' sizes multiplied with 100.
5010
5011 1998-04-27  Gregor Hoffleit  <flight@mathi.uni-heidelberg.de>
5012
5013         * config.h.in: Added pid_t stub.
5014
5015         * sysdep.h (S_ISREG): Moved here from mswindows.h (NeXT doesn't
5016         define it).
5017
5018 1998-04-20  Hrvoje Niksic  <hniksic@srce.hr>
5019
5020         * version.c: Wget 1.5.0 is released.
5021
5022 1998-04-18  Hrvoje Niksic  <hniksic@srce.hr>
5023
5024         * url.c (str_url): Ditto.
5025
5026         * ftp-basic.c (ftp_rest): Use new name.
5027
5028         * utils.c (long_to_string): Renamed from prnum().
5029
5030 1998-04-16  Hrvoje Niksic  <hniksic@srce.hr>
5031
5032         * version.c: Wget 1.5-b17 is released.
5033
5034 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
5035
5036         * headers.c (header_get): New argument FLAGS.
5037
5038         * http.c (gethttp): If request is malformed, bail out of the
5039         header loop.
5040         (gethttp): Check for empty header *after* the status line checks.
5041         (gethttp): Disallow continuations for status line.
5042
5043 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
5044
5045         * version.c: Wget 1.5-b16 is released.
5046
5047 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
5048
5049         * init.c (commands): Renamed `always_rest' to `continue'.
5050
5051 1998-04-05  Hrvoje Niksic  <hniksic@srce.hr>
5052
5053         * all: Use it.
5054
5055         * log.c (logputs): New argument.
5056         (logvprintf): Ditto.
5057         (logprintf): Ditto.
5058
5059 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
5060
5061         * http.c (http_atotm): Update comment.
5062
5063         * main.c (i18n_initialize): Set LC_MESSAGES, not LC_ALL.
5064
5065         * wget.h: Renamed ENABLED_NLS to HAVE_NLS.
5066
5067         * main.c (i18n_initialize): New function.
5068         (main): Use it.
5069
5070         * log.c: Include <unistd.h>.
5071
5072         * retr.c (show_progress): Cast alloca to char *.
5073
5074 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
5075
5076         * version.c: Wget 1.5-b15 is released.
5077
5078 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
5079
5080         * utils.h: Declare file_non_directory_p().
5081
5082 1998-04-03  Hrvoje Niksic  <hniksic@srce.hr>
5083
5084         * main.c (main): It's `tries', not `numtries' now.
5085
5086 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
5087
5088         * init.c (getperms): Removed.
5089
5090 1998-04-01  Tim Charron  <tcharron@interlog.com>
5091
5092         * log.c (logvprintf): Don't use ARGS twice.
5093
5094 1998-04-01  John  <john@futuresguide.com>
5095
5096         * mswindows.c: Cleaned up.
5097
5098 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
5099
5100         * version.c: Wget 1.5-b14 is released.
5101
5102 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
5103
5104         * ftp-opie.c (STRLEN4): New macro.
5105         (btoe): Use it.
5106
5107 1998-04-01  Junio Hamano  <junio@twinsun.com>
5108
5109         * http.c: Document all the Digest functions.
5110
5111 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
5112
5113         * utils.c (file_non_directory_p): Renamed from isfile().
5114
5115         * mswindows.h (S_ISREG): New macro, suggested by Tim Adam.
5116
5117 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
5118
5119         * utils.c (mkdirhier): Use 0777 instead of opt.dirmode.
5120
5121         * init.c (cmd_spec_dotstyle): Use 48 dots per line for binary
5122         style.
5123         (cmd_permissions): Removed.
5124
5125         * config.h.in: Add template for WORDS_BIGENDIAN.
5126
5127 1998-03-31  Junio Hamano  <junio@twinsun.com>
5128
5129         * http.c (HEXD2asc): New macro.
5130         (dump_hash): Use it.
5131
5132 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
5133
5134         * version.c: Wget 1.5-b13 is released.
5135
5136 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
5137
5138         * main.c (main): Don't try to use `com'.
5139
5140 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
5141
5142         * init.c (cmd_permissions): New function.
5143
5144 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
5145
5146         * version.c: Wget 1.5-b12 is released.
5147
5148 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
5149
5150         * init.c (commands): Renamed `numtries' to `tries'.
5151         (cmd_spec_debug): Removed.
5152         (home_dir): Under Windows, return `C:\' if HOME is undefined.
5153
5154 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
5155
5156         * config.h.in: Define _XOPEN_SOURCE.
5157
5158         * init.c (check_user_specified_header): New function.
5159         (cmd_spec_header): Use it.
5160         (cmd_spec_useragent): New function.
5161
5162 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
5163
5164         * version.c: Wget 1.5-b11 is released.
5165
5166 1998-03-28  Hrvoje Niksic  <hniksic@srce.hr>
5167
5168         * wget.h: Include <libintl.h> only if NLS is enabled.
5169
5170 1998-03-26  Hrvoje Niksic  <hniksic@srce.hr>
5171
5172         * options.h (struct options): Made `wait' a long.
5173         (struct options): Ditto for `timeout'.
5174
5175 1998-03-19  Hrvoje Niksic  <hniksic@srce.hr>
5176
5177         * utils.c (exists): Renamed to file_exists_p.
5178         (file_exists_p): Use access() if available.
5179
5180 1998-03-17  Hrvoje Niksic  <hniksic@srce.hr>
5181
5182         * utils.c (memfatal): Set save_log_p to 0 to avoid potential
5183         infloop.
5184
5185         * log.c: do_logging -> save_log_p.
5186
5187         * config.h.in: Added template for HAVE_VSNPRINTF.
5188
5189 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
5190
5191         * init.c: Ditto.
5192
5193         * http.c: Protect declaration against non-ANSI compiler.
5194
5195         * log.c (logvprintf): Use vsnprintf() if available.
5196
5197         * getopt.c (main): Don't translate test stuff.
5198
5199 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
5200
5201         * version.c: Wget 1.5-b10 is released.
5202
5203 1998-03-11  Hrvoje Niksic  <hniksic@srce.hr>
5204
5205         * ftp.c (getftp): Don't translate "CWD %s".
5206
5207         * wget.h (GCC_FORMAT_ATTR): Renamed from FORMAT_ATTR.
5208
5209 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
5210
5211         * ftp-opie.c (btoe): Use memcpy() instead of strncat().
5212
5213         * log.c (logputs): New function.
5214         (logvprintf): Renamed from vlogmsg; use logputs().
5215
5216         * retr.c (show_progress): Print `[100%]' when the retrieval is
5217         finished.
5218
5219         * init.c (run_wgetrc): Use FILE, not PATH.
5220         (wgetrc_file_name): Ditto.
5221
5222 1998-03-07  Tim Adam  <tma@osa.com.au>
5223
5224         * recur.c (parse_robots): Correctly reset `entries' on empty
5225         disallow.
5226
5227 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
5228
5229         * init.c (cmd_spec_debug): Use cmd_boolean().
5230
5231 1998-02-23  Hrvoje Niksic  <hniksic@srce.hr>
5232
5233         * http.c (gethttp): Create proxy-authorization correctly.
5234
5235 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
5236
5237         * md5.c: Ditto.
5238
5239         * getopt.c: Use ANSI function definitions.
5240
5241         * ftp-opie.c: New file.
5242
5243         * options.h: Don't redefine EXTERN.
5244
5245         * init.c: Sort it correctly.
5246
5247 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
5248
5249         * version.c: Wget 1.5-b9 is released.
5250
5251 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
5252
5253         * recur.c (recursive_retrieve): Reset `first_time'.
5254
5255         * ftp.c (getftp): Added `default' clause to switches of uerr_t.
5256
5257         * rbuf.c (rbuf_peek): Simplified.
5258         (rbuf_flush): Use MINVAL.
5259
5260         * wget.h (MINVAL): Moved from url.h.
5261
5262         * rbuf.h (RBUF_FD): New macro.
5263
5264         * url.c (add_url): Add to the head of the list.
5265
5266         * ftp.c (ftp_retrieve_list): Set the permissions to downloaded
5267         file.
5268         (getftp): Set the default permissions to 0600.
5269
5270 1998-02-21  Hrvoje Niksic  <hniksic@srce.hr>
5271
5272         * url.c (get_urls_html): Ditto.
5273         (convert_links): Ditto.
5274
5275         * recur.c (parse_robots): Ditto.
5276
5277         * html.c (ftp_index): Ditto.
5278
5279         * ftp-ls.c (ftp_parse_unix_ls): Open file as binary.
5280
5281         * init.c (defaults): Initialize `opt' to zero via memset.
5282
5283         * http.c (digest_authentication_encode): goto considered harmful.
5284
5285 1998-02-19  Hrvoje Niksic  <hniksic@srce.hr>
5286
5287         * ftp.c (delelement): Simplify and fix leak.
5288
5289 1998-02-18  Hrvoje Niksic  <hniksic@srce.hr>
5290
5291         * http.c (dump_hash): Use HEXD2ASC instead of home-grown stuff.
5292
5293         * url.h (HEXD2ASC): Removed warning.
5294
5295         * init.c (comind): Use binary search.
5296         (commands): Reorganized.
5297         (setval): Ditto.
5298         (cmd_boolean): New function.
5299         (cmd_number): Ditto.
5300         (cmd_number_inf): Ditto.
5301         (cmd_string): Ditto.
5302         (cmd_vector): Ditto.
5303         (cmd_directory_vector): Ditto.
5304         (cmd_bytes): Ditto.
5305         (cmd_time): Ditto.
5306         (cmd_spec_debug): Ditto.
5307         (cmd_spec_dirmode): Ditto.
5308         (cmd_spec_dirstruct): Ditto.
5309         (cmd_spec_dotstyle): Ditto.
5310         (cmd_spec_header): Ditto.
5311         (cmd_spec_htmlify): Ditto.
5312         (cmd_spec_mirror): Ditto.
5313         (cmd_spec_outputdocument): Ditto.
5314         (cmd_spec_recursive): Ditto.
5315         (settime): Merged with cmd_time().
5316         (setbytes): Merged with cmd_bytes().
5317         (setonoff): Merged with cmd_boolean().
5318         (onoff): Ditto.
5319
5320 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
5321
5322         * Makefile.in (distclean): Remove `config.h'.
5323
5324 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
5325
5326         * version.c: Wget 1.5-b8 is released.
5327
5328 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
5329
5330         * http.c (digest_authentication_encode): New function.
5331         (create_authorization_line): Use it.
5332         (dump_hash): New function.
5333         (digest_authentication_encode): Use it.
5334
5335         * fnmatch.c: Renamed from `mtch.c'.
5336
5337 1998-02-15  Karl Eichwalder  <ke@suse.de>
5338
5339         * main.c (main): Tag "Written by..." string as translatable.
5340
5341 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
5342
5343         * wget.h (FREE_MAYBE): New macro.
5344
5345         * http.c (create_authorization_line): Don't use ANSI C string
5346         concatenation feature.
5347         (basic_authentication_encode): Use alloca() for temporary
5348         variables.
5349
5350         * recur.h: Ditto.
5351
5352         * http.c: Ditto.
5353
5354         * headers.h: Ditto.
5355
5356         * ftp-basic.c: Protect declaration against non-ANSI compiler.
5357
5358         * http.c (create_authorization_line): Cast `unsigned char *' to
5359         `char *' for sprintf, to shut up the noisy Digital Unix cc.
5360
5361 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
5362
5363         * version.c: Wget 1.5-b7 is released.
5364
5365 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
5366
5367         * cmpt.c (strstr): Synched with glibc-2.0.6.
5368
5369         * ftp-basic.c (calculate_skey_response): Ditto.
5370         (calculate_skey_response): Use alloca().
5371
5372         * http.c (create_authorization_line): Work with FSF's version of
5373         md5.c.
5374
5375         * md5.c: New file, from GNU libc.
5376
5377 1998-02-14  Hrvoje Niksic  <hniksic@srce.hr>
5378
5379         * url.h (URL_CLEANSE): Name the temporary variable more carefully.
5380
5381 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
5382
5383         * http.c (basic_authentication_encode): New function, instead of
5384         the macro.
5385
5386 1998-02-13  Junio Hamano  <junio@twinsun.com>
5387
5388         * http.c: Add HTTP-DA support.
5389         * ftp-basic.c: Add Opie/S-key support.
5390         * config.h.in, Makefile.in: Add HTTP-DA and Opie/S-key support.
5391         * md5.c, md5.h: New files.
5392
5393 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
5394
5395         * http.c (http_process_range): Renamed from hprocrange().
5396         (http_process_range): Parse the whole header.
5397
5398         * headers.c: New file.
5399         (header_process): New function.
5400         (header_get): Renamed from fetch_next_header.
5401
5402         * all: Include utils.h only where necessary.
5403
5404         * wget.h: Declare xmalloc(), xrealloc() and xstrdup() here.
5405
5406         * wget.h: Add provisions for dmalloc.
5407
5408 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
5409
5410         * version.c: Wget 1.5-b6 is released.
5411
5412 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
5413
5414         * ftp.c (ftp_loop): Determine `filename' more precisely.
5415
5416         * init.c (setval): Don't set `opt.quiet' if output-document is
5417         `-'.
5418
5419         * log.c (log_init): Print to STDERR instead of STDOUT.
5420         (vlogmsg): Use STDERR by default.
5421         (logflush): Ditto.
5422
5423 1998-02-11  Simon Josefsson  <jas@pdc.kth.se>
5424
5425         * host.c: Use addr_in again.
5426
5427 1998-02-08  Karl Eichwalder  <karl@suse.de>
5428
5429         * http.c (gethttp): Fixed typo.
5430
5431 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
5432
5433         * version.c: Wget 1.5-b5 is released.
5434
5435 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
5436
5437         * retr.c (show_progress): Use it.
5438
5439         * log.c (logflush): New function.
5440
5441         * wget.h: Utilize __attribute__ if on gcc.
5442
5443 1998-02-07  Hrvoje Niksic  <hniksic@srce.hr>
5444
5445         * http.c (base64_encode_line): New argument LENGTH.
5446         (BASIC_AUTHENTICATION_ENCODE): Use it.
5447         (BASIC_AUTHENTICATION_ENCODE): Take length of HEADER into account.
5448
5449         * main.c (main): Fixed fprintf() format mismatch.
5450
5451 1998-02-06  Hrvoje Niksic  <hniksic@srce.hr>
5452
5453         * version.c: Wget 1.5-b4 is released.
5454
5455 1998-02-03  Simon Josefsson  <jas@pdc.kth.se>
5456
5457         * host.c: use sockaddr_in instead of addr_in.
5458
5459 1998-02-04  Hrvoje Niksic  <hniksic@srce.hr>
5460
5461         * init.c (cleanup): Use it.
5462
5463         * recur.c (recursive_cleanup): New function.
5464
5465         * retr.c (retrieve_from_file): Ditto.
5466
5467         * main.c (main): Use it.
5468
5469         * recur.c (recursive_reset): New function.
5470
5471         * retr.c (retrieve_from_file): Ditto.
5472
5473         * main.c (main): Simplify call to recursive_retrieve().
5474
5475         * recur.c (recursive_retrieve): Removed FLAGS argument.
5476
5477         * http.c (gethttp): Changed call to iwrite().
5478
5479 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
5480
5481         * url.c (get_urls_html): Ditto.
5482         (free_urlpos): Ditto.
5483         (mkstruct): Ditto.
5484         (construct): Ditto.
5485
5486         * retr.c (retrieve_url): Move declaration of local variables to
5487         smaller scope.
5488
5489         * url.c (urlproto): Use it.
5490         (parseurl): Ditto.
5491         (str_url): Ditto.
5492         (get_urls_html): Ditto.
5493
5494         * utils.h (ARRAY_SIZE): New macro.
5495
5496         * url.c (proto): Moved from url.h.
5497
5498         * url.h (URL_CLEANSE): Reformatted.
5499         (USE_PROXY_P): Renamed from USE_PROXY.
5500
5501         * ftp-basic.c: Adjust to the new interface of iwrite().
5502
5503         * ftp-basic.c (ftp_port): Use alloca().
5504
5505 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
5506
5507         * version.c: Wget 1.5-b3 is released.
5508
5509         * host.c (ftp_getaddress): Don't print to stderr directly.
5510
5511         * init.c (setbytes): Support `g' for gigabytes.
5512         (cmdtype): New specification CTIME.
5513         (setval): Use it with settime().
5514         (commands): Use it for WAIT and TIMEOUT.
5515
5516 1998-02-02  Hrvoje Niksic  <hniksic@srce.hr>
5517
5518         * http.c (BASIC_AUTHENTICATION_ENCODE): New macro.
5519         (gethttp): Use it.
5520
5521         * utils.c (unique_name_1): Moved from url.c.
5522         (unique_name): Ditto.
5523
5524         * url.c (url_filename): Ditto.
5525
5526         * log.c (redirect_output): Changed call to unique_name().
5527
5528         * url.c (unique_name_1): Renamed from unique_name().
5529         (unique_name): Changed interface.
5530
5531         * init.c (enum cmdid): Moved from init.h.
5532         (cmdtype): Ditto.
5533         (struct cmd): Ditto.
5534
5535         * main.c (main): Use it.
5536         (main): Moved `--backups' to not have a short option.
5537
5538         * options.h (struct options): New member BACKGROUND.
5539
5540         * main.c (print_help): Rearranged.
5541         (main): New long options for -n* short options: --no-directories,
5542         --no-host-directories, --non-verbose, --no-host-lookup and
5543         --dont-remove-listing.
5544
5545 1998-02-01  Hrvoje Niksic  <hniksic@srce.hr>
5546
5547         * main.c (main): Use log_close().
5548
5549         * log.c: New variable LOGFP.
5550         (vlogmsg): Use it.
5551         (redirect_output): Don't open /dev/null; set LOGFP to stdin
5552         instead.
5553         (log_close): New function.
5554
5555         * options.h (struct options): Removed LFILE.
5556
5557         * log.c (log_enable): Removed.
5558
5559         * main.c (main): Use it.
5560
5561         * log.c (log_init): New function.
5562
5563         * url.c (get_urls_html): Removed needless assignment to BASE.
5564
5565         * host.c (add_hlist): Don't set CMP needlessly.
5566
5567         * utils.c (match_backwards): Ditto.
5568         (in_acclist): Ditto.
5569
5570         * url.c (findurl): Ditto.
5571
5572         * netrc.c (parse_netrc): Ditto.
5573
5574         * log.c (log_dump): Ditto.
5575
5576         * html.c (html_quote_string): Ditto.
5577
5578         * ftp-basic.c (ftp_request): Made static.
5579
5580         * connect.c: Made global variables static.
5581
5582         * url.c (construct): Ditto.
5583
5584         * init.c (init_path): Avoid assignment inside `if'-condition.
5585
5586         * ftp.c: Don't include in.h or winsock.h.
5587
5588         * ftp.c (ftp_loop): Use SZ.
5589
5590         * connect.c (bindport): Cast &addrlen to int *.
5591         (conaddr): Ditto.
5592
5593         * init.c (initialize): Don't use SYSTEM_WGETRC unconditionally.
5594
5595 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
5596
5597         * ftp.c (getftp): Initialize opt.ftp_pass here.
5598         (ftp_retrieve_dirs): Use alloca().
5599
5600         * init.c (defaults): Don't initialize opt.ftp_pass.
5601
5602         * sysdep.h (S_ISLNK): Declare for OS/2; ditto for lstat.
5603         From Ivan F. Martinez <ivanfm@ecodigit.com.br>.
5604
5605 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
5606
5607         * recur.c (parse_robots): Check for comments more correctly.
5608
5609         * host.c (ftp_getaddress): Use STRDUP_ALLOCA.
5610         (ftp_getaddress): Add diagnostics when reverse-lookup yields only
5611         hostname.
5612
5613 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
5614
5615         * version.c: Wget 1.5-b2 is released.
5616
5617         * netrc.c (NETRC_FILE_NAME): Moved from netrc.h.
5618
5619         * utils.c (proclist): Pass FNM_PATHNAME to fnmatch().
5620
5621         * ftp-basic.c (ftp_pasv): Avoid unnecessary casting to unsigned
5622         char.
5623
5624         * log.c: Don't attempt to hide arguments from ansi2knr.
5625
5626         * cmpt.c: Synched strptime() and mktime() with glibc-2.0.6.
5627
5628         * ansi2knr.c: Use a later version, from fileutils-3.16l alpha.
5629
5630         * ftp.c (getftp): Ditto.
5631
5632         * http.c (gethttp): Use it.
5633
5634         * retr.c (get_contents): New argument EXPECTED; pass it to
5635         show_progress().
5636         (show_progress): New argument EXPECTED; use it to display
5637         percentages.
5638
5639         * init.c (setval): Ditto.
5640
5641         * http.c (gethttp): Ditto.
5642         (http_loop): Ditto.
5643
5644         * ftp.c (getftp): Ditto.
5645         (ftp_loop_internal): Ditto.
5646
5647         * ftp-ls.c (ftp_parse_unix_ls): Use abort() instead of assert(0).
5648
5649         * sysdep.h (CLOSE): Simplify; use DEBUGP.
5650
5651         * netrc.c (search_netrc): Use alloca().
5652
5653         * init.c (defaults): Initialize no_flush.
5654
5655         * log.c (vlogmsg): Don't flush if no_flush.
5656
5657         * options.h (struct options): New variable no_flush.
5658
5659         * main.c (main): Don't play games with buffering.
5660
5661         * log.c (vlogmsg): Flush the output after every message.
5662
5663 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
5664
5665         * init.c (parse_line): Ditto.
5666
5667         * url.c (get_urls_html): Ditto.
5668
5669         * main.c (main): Don't cast to unsigned char.
5670
5671         * init.c (run_wgetrc): Don't cast to unsigned char.
5672         (parse_line): Accept char instead of unsigned char.
5673
5674         * html.c (htmlfindurl): Use char instead of unsigned char.
5675
5676         * all: Use them.
5677
5678         * sysdep.h: Add wrappers to ctype macros to make them
5679         eight-bit-clean:
5680
5681 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
5682
5683         * html.c (htmlfindurl): Download <img lowsrc=...>
5684
5685         * main.c (main): Ignore SIGPIPE.
5686
5687         * connect.c (select_fd): New argument WRITEP.
5688         (iwrite): Call select_fd().
5689
5690 1997-02-27  Fila Kolodny <fila@ibi.com>
5691
5692         * ftp.c (ftp_retrieve_list): If retrieving symlink and the proper
5693         one already exists, just skip it.
5694
5695 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
5696
5697         * http.c (gethttp): Cosmetic changes.
5698
5699         * http.c (check_end): Allow `+D...' instead of `GMT'.
5700         From Fabrizio Pollastri <pollastri@cstv.to.cnr.it>.
5701
5702         * url.c (process_ftp_type): New function.
5703         (parseurl): Use it.
5704
5705         * connect.c (iwrite): Allow writing in a few chunks.
5706         (bindport): Made SRV static, so addr can point to it.
5707         (select_fd): Removed HPUX kludge.
5708
5709         * host.c (free_hlist): Incorporated into clean_hosts().
5710
5711 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
5712
5713         * host.c (hlist): Made static.
5714         (search_address): Cosmetic change.
5715
5716 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
5717
5718         * version.c: Wget v1.5-b1 is released.
5719
5720         * http.c (hgetlen): Use sizeof() to get the header length.
5721         (hgetrange): Ditto.
5722         (hgettype): Ditto.
5723         (hgetlocation): Ditto.
5724         (hgetmodified): Ditto.
5725         (haccepts_none): Ditto.
5726
5727         * main.c (main): Updated `--version' and `--help' output, as per
5728         Francois Pinard's suggestions.
5729
5730         * main.c: Include locale.h; call setlocale(), bindtextdomain() and 
5731         textdomain().
5732
5733         * config.h.in: Define stubs for I18N3.
5734
5735         * wget.h: Include libintl.h.
5736
5737 1998-01-28  Hrvoje Niksic  <hniksic@srce.hr>
5738
5739         * url.c (mkstruct): Check for opt.cut_dirs.
5740         (mkstruct): alloca()-te more, xmalloc() less.
5741
5742         * utils.c (load_file): Check for ferror().
5743
5744         * url.c (get_urls_file): Close only the files we opened.
5745         (get_urls_html): Ditto.
5746         (count_slashes): New function.
5747
5748         * http.h: Removed.
5749
5750         * http.c (gethttp): Respect username and password provided by
5751         proxy URL.
5752         (base64_encode_line): Write into an existing buffer instead of
5753         malloc-ing a new one.
5754         (struct http_stat): Moved from http.h
5755
5756         * retr.c (retrieve_url): Free SUF.
5757
5758         * all: Removed lots of unnecessary .h dependencies.
5759
5760         * html.c (global_state): Made static.
5761
5762         * utils.h (ALLOCA_ARRAY): New macro.
5763
5764         * main.c (main): New option `--cut-dirs'.
5765
5766         * url.c (construct): Use alloca() for T.
5767
5768         * utils.c (mkdirhier): Use STRDUP_ALLOCA.
5769
5770         * host.c (_host_t): Moved from host.h.
5771         (struct host): Renamed from _host_t.
5772         (store_hostaddress): Use STRDUP_ALLOCA for INET_S.
5773         (realhost): Ditto.
5774
5775         * host.h: Don't include url.h.
5776
5777         * ftp.c (LIST_FILENAME): Moved from ftp.h.
5778
5779         * init.c (DEFAULT_FTP_ACCT): Moved from ftp.h.
5780
5781         * main.c (main): Enable log if the output goes to a TTY.
5782
5783         * connect.h: Removed unused constant `BACKLOG'.
5784
5785         * config.h.in: Check for isatty().
5786
5787         * Makefile.in (LINK): Use CFLAGS when linking.
5788
5789 1998-01-27  Hrvoje Niksic  <hniksic@srce.hr>
5790
5791         * mswindows.c (ws_hangup): Use redirect_output().
5792
5793         * main.c (redirect_output_signal): New function; use
5794         redirect_output().
5795
5796         * log.c (redirect_output): New function, based on hangup(), which
5797         is deleted.
5798
5799         * log.c (vlogmsg): New function.
5800
5801         * wget.h (DEBUGP): Use debug_logmsg().
5802
5803         * main.c (hangup): Use it.
5804
5805         * log.c (log_dump): New function.
5806
5807         * utils.h (DO_REALLOC): Use `long' for various sizes.
5808
5809         * http.c (hskip_lws): Use `while', for clarity.
5810         (HTTP_DYNAMIC_LINE_BUFFER): New constant.
5811         (fetch_next_header): Use it instead of DYNAMIC_LINE_BUFFER.
5812
5813         * ftp-basic.c (FTP_DYNAMIC_LINE_BUFFER): New constant.
5814         (ftp_response): Use it instead of DYNAMIC_LINE_BUFFER.
5815
5816         * utils.c (DYNAMIC_LINE_BUFFER): Moved from utils.c.
5817         (LEGIBLE_SEPARATOR): Ditto.
5818         (FILE_BUFFER_SIZE): Ditto.
5819
5820         * retr.c (BUFFER_SIZE): Moved from retr.h.
5821
5822         * log.c: New file.
5823         (logmsg): Moved from utils.c.
5824         (debug_logmsg): New function.
5825
5826         * mswindows.h: Include it here.
5827
5828         * init.c: Ditto.
5829
5830         * utils.c: Don't include <windows.h>.
5831
5832 1998-01-25  Hrvoje Niksic  <hniksic@srce.hr>
5833
5834         * host.c (ftp_getaddress): Ditto.
5835
5836         * main.c (main): Use it.
5837
5838         * utils.h (STRDUP_ALLOCA): New macro.
5839
5840         * init.c: Prepend `wget: ' to error messages printed on stderr.
5841
5842         * utils.c (mkdirhier): Renamed from mymkdir.
5843         (touch): Renamed from my_touch.
5844         (pwd_cuserid): Renamed from my_cuserid().
5845
5846 1998-01-24  Andy Eskilsson  <andy.eskilsson@telelogic.se>
5847
5848         * utils.c (accdir): Process wildcards.
5849         (proclist): New function.
5850         (accdir): Use it to avoid code repetition.
5851
5852 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
5853
5854         * recur.c (parse_robots): Respect opt.useragent; use alloca().
5855
5856         * http.c (gethttp): Construct useragent accordingly.
5857
5858         * version.c: Changed version string to numbers-only.
5859
5860         * main.c (print_help): List all the options.
5861
5862         * mswindows.c (windows_main_junk): Initialize argv0 here.
5863
5864 1998-01-24  Karl Heuer  <kwzh@gnu.org>
5865
5866         * netrc.c (search_netrc): Initialize `l' only after processing
5867         netrc.
5868
5869         * main.c (main): Don't trap SIGHUP if it's being ignored.
5870
5871 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
5872
5873         * all: Use logmsg().
5874
5875         * utils.c (time_str): Moved from retr.c.
5876         (logmsg): New function.
5877         (logmsg_noflush): Ditto.
5878
5879         * rbuf.c: New file, moved buf_* functions here.
5880
5881         * ftp.c (ftp_expected_bytes): Moved from ftp-basic.c.
5882
5883         * ftp-basic.c (ftp_rest): Use prnum().
5884
5885         * ftp-basic.c: Ditto.
5886
5887         * ftp.c: Use the new reading functions and macros.
5888
5889         * retr.c (buf_initialize): New function.
5890         (buf_initialized_p): Ditto.
5891         (buf_uninitialize): Ditto.
5892         (buf_fd): Ditto.
5893
5894         * http.c (fetch_next_header): Use the BUF_READCHAR macro for
5895         efficiency.
5896         (gethttp): Use alloca() where appropriate.
5897
5898         * retr.c (buf_readchar): Use it.
5899         (buf_peek): Use rstreams.
5900
5901         * retr.h (BUF_READCHAR): New macro.
5902
5903         * init.c (home_dir): Rewritten for clarity.
5904         (init_path): Ditto.
5905
5906         * mswindows.c (ws_backgnd): Made static.
5907         (read_registry): Ditto.
5908         (ws_cleanup): Ditto.
5909         (ws_handler): Ditto.
5910
5911 1998-01-23  Hrvoje Niksic  <hniksic@srce.hr>
5912
5913         * alloca.c: New file.
5914
5915         * Makefile.in (ALLOCA): Define.
5916
5917         * mswindows.c (ws_help): Constify.
5918         (ws_help): Use alloca.
5919
5920         * mswindows.c: Reformat.
5921
5922         * all: Added _(...) annotations for I18N snarfing and translation.
5923
5924         * host.c (ftp_getaddress): Nuke SYSINFO.
5925         (ftp_getaddress): Don't use getdomainname().
5926         (ftp_getaddress): Use uname(), where available.
5927
5928         * http.c (gethttp): Protect a stray fprintf().
5929
5930         * init.c (settime): New function.
5931         (setval): Treat WAIT specially, allowing suffixes like `m' for
5932         minutes, etc.
5933
5934 1998-01-21  Hrvoje Niksic  <hniksic@srce.hr>
5935
5936         * url.c (get_urls_html): Use alloca() for TEMP.
5937
5938 1998-01-21  Jordan Mendelson  <jordy@wserv.com>
5939
5940         * url.c (rotate_backups): New function.
5941
5942         * http.c (gethttp): Ditto.
5943
5944         * ftp.c (getftp): Rotate backups.
5945
5946 1997-12-18  Hrvoje Niksic  <hniksic@srce.hr>
5947
5948         * all: Renamed nmalloc(), nrealloc() and nstrdup() to xmalloc(),
5949         xrealloc() and xstrdup().  Use the new functions.
5950
5951         * url.c (decode_string): Made static.
5952         (has_proto): Ditto.
5953         (parse_dir): Ditto.
5954         (parse_uname): Ditto.
5955         (mkstruct): Ditto.
5956         (construct): Ditto.
5957         (construct_relative): Ditto.
5958
5959         * retr.c (show_progress): Made static.
5960
5961         * recur.c (robots_url): Made static.
5962         (retrieve_robots): Ditto.
5963         (parse_robots): Ditto.
5964         (robots_match): Ditto.
5965
5966         * main.h: Removed.
5967
5968         * main.c (printhelp): Made static.
5969         (hangup): Ditto.
5970
5971         * init.c (comind): Made static.
5972         (defaults): Ditto.
5973         (init_path): Ditto.
5974         (run_wgetrc): Ditto.
5975         (onoff): Ditto.
5976         (setonoff): Ditto.
5977         (setnum): Ditto.
5978         (myatoi): Ditto.
5979         (getperms): Ditto.
5980         (setbytes): Ditto.
5981
5982         * http.c (fetch_next_header): Made static.
5983         (hparsestatline): Ditto.
5984         (hskip_lws): Ditto.
5985         (hgetlen): Ditto.
5986         (hgetrange): Ditto.
5987         (hgettype): Ditto.
5988         (hgetlocation): Ditto.
5989         (hgetmodified): Ditto.
5990         (haccepts_none): Ditto.
5991         (gethttp): Ditto.
5992         (base64_encode_line): Ditto.
5993         (mktime_from_utc): Ditto.
5994         (http_atotm): Ditto.
5995
5996         * html.c (idmatch): Made static.
5997
5998         * host.c (search_host): Made static.
5999         (search_address): Ditto.
6000         (free_hlist): Ditto.
6001
6002         * ftp.c (getftp): Made static.
6003         (ftp_loop_internal): Ditto.
6004         (ftp_get_listing): Ditto.
6005         (ftp_retrieve_list): Ditto.
6006         (ftp_retrieve_dirs): Ditto.
6007         (ftp_retrieve_glob): Ditto.
6008         (freefileinfo): Ditto.
6009         (delelement): Ditto.
6010
6011         * ftp-ls.c (symperms): Made static.
6012         (ftp_parse_unix_ls): Ditto.
6013
6014         * connect.c (select_fd): Made static.
6015
6016         * utils.c (xmalloc): Renamed from nmalloc.
6017         (xrealloc): Renamed from nrealloc.
6018         (xstrdup): Renamed from nstrdup.
6019
6020         * getopt.c (exchange): Use alloca.
6021
6022         * mswindows.c (mycuserid): Use strncpy.
6023
6024         * New files mswindows.c, mswindows.h, sysdep.h.  winjunk.c,
6025         systhings.h, windecl.h and winjunk.h removed.
6026
6027         * mswindows.c (sleep): New function.
6028
6029         * utils.c: Include <windows.h> under Windows.
6030
6031 1997-06-12  Darko Budor  <dbudor@zesoi.fer.hr>
6032
6033         * url.h (URL_UNSAFE): Change default under Windows.
6034
6035         * retr.c (retrieve_from_file): Respect opt.delete_after.
6036
6037         * main.c (main): Call ws_help on Windows.
6038
6039         * winjunk.c (windows_main_junk): New function.
6040
6041         * main.c (main): Junk-process argv[0].
6042
6043         * http.c (mktime_from_utc): Return -1 if mktime failed.
6044
6045         * http.c (http_loop): Ditto.
6046
6047         * ftp.c (ftp_loop_internal): Change title on Windows when using a
6048         new URL.
6049
6050         * winjunk.c (getdomainname): Lots of functions.
6051
6052 1997-06-12  Hrvoje Niksic  <hniksic@srce.hr>
6053
6054         * cmpt.c (strptime_internal): Handle years more correctly for
6055         `%y'.
6056
6057 1997-06-09  Mike Thomas <mthomas@reality.ctron.com>
6058
6059         * http.c (gethttp): Allocate enough space for
6060         `Proxy-Authorization' header.
6061
6062 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
6063
6064         * version.c: Wget/1.4.5 is released.
6065
6066 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
6067
6068         * retr.c (get_contents): Check return value of fwrite more
6069         carefully.
6070
6071 1997-03-30  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
6072
6073         * cmpt.c (strptime_internal) [case 'Y']: Always subtract 1900 from
6074         year, regardless of century.
6075
6076 1997-03-30  Hrvoje Niksic  <hniksic@srce.hr>
6077
6078         * utils.c (isfile): Use `lstat' instead of `stat'.
6079
6080 1997-03-29  Hrvoje Niksic  <hniksic@srce.hr>
6081
6082         * utils.c (numdigit): Use explicit test.
6083
6084 1997-03-21  Hrvoje Niksic  <hniksic@srce.hr>
6085
6086         * http.c (http_loop): Always use `url_filename' to get u->local.
6087
6088 1997-03-20  Hrvoje Niksic  <hniksic@srce.hr>
6089
6090         * url.c: Recognize https.
6091
6092 1997-03-13  Hrvoje Niksic  <hniksic@srce.hr>
6093
6094         * recur.c (recursive_retrieve): Lowercase just the host name.
6095
6096 1997-03-09  Hrvoje Niksic  <hniksic@srce.hr>
6097
6098         * url.c (get_urls_file): Use the correct test.
6099         (get_urls_html): Ditto.
6100
6101 1997-03-07  Hrvoje Niksic  <hniksic@srce.hr>
6102
6103         * connect.c: Reverted addrlen to int.
6104
6105         * init.c (parse_line): Check for -1 instead of NONE.
6106
6107         * version.c: Changed version to 1.4.5.
6108
6109 1997-02-17  Hrvoje Niksic  <hniksic@srce.hr>
6110
6111         * init.c: New option netrc.
6112         (initialize): Don't parse .netrc.
6113
6114         * cmpt.c (recursive): Return rp.
6115         (strptime_internal): Match the long strings first, the abbreviated
6116         second.
6117
6118 1997-02-16  Hrvoje Niksic  <hniksic@srce.hr>
6119
6120         * http.c (check_end): New function.
6121         (http_atotm): Use it.
6122  
6123 1997-02-13  gilles Cedoc  <gilles@cedocar.fr>
6124
6125         * http.c (gethttp): Use them.
6126
6127         * init.c: New options proxy_user and proxy_passwd.
6128
6129 1997-02-14  Hrvoje Niksic  <hniksic@srce.hr>
6130
6131         * ftp.c (ftp_retrieve_list): Create links even if not relative.
6132
6133 1997-02-10  Hrvoje Niksic  <hniksic@srce.hr>
6134
6135         * recur.c (recursive_retrieve): Lowercase the host name, if the
6136         URL is not "optimized".
6137
6138         * host.c (realhost): Return l->hostname, even if it matches with
6139         host.
6140
6141 1997-02-10  Marin Purgar  <pmc@asgard.hr>
6142
6143         * connect.c: Make addrlen size_t instead of int.
6144         (conaddr): Ditto.
6145
6146 1997-02-09  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
6147
6148         * systhings.h: Define S_ISLNK on NeXT too.
6149
6150 1997-02-09  Hrvoje Niksic  <hniksic@srce.hr>
6151
6152         * version.c: Released 1.4.3.
6153
6154         * url.c: Futher update to list of protostrings.
6155         (skip_proto): Skip `//' correctly for FTP and HTTP.
6156
6157         * url.c (get_urls_html): Handle bogus `http:' things a little
6158         different.
6159
6160         * main.c (main): Removed `follow-ftp' from `f'.
6161         (main): Dumped the `prefix-files' and `file-prefix' options and
6162         features; old and bogus.
6163         (main): Exit on failed setval() in `-e'.
6164
6165         * http.c (fetch_next_header): Use it to detect header continuation
6166         correctly.
6167
6168         * retr.c (buf_peek): New function.
6169
6170 1997-02-08  Hrvoje Niksic  <hniksic@srce.hr>
6171
6172         * wget.h: Include time.h and stuff.
6173
6174 1997-02-08  Roger Beeman  <beeman@cisco.com>
6175
6176         * ftp.c: Include <time.h>
6177
6178 1997-02-07  Hrvoje Niksic  <hniksic@srce.hr>
6179
6180         * url.c (findurl): Would read over buffer limits.
6181
6182 1997-02-06  Hrvoje Niksic  <hniksic@srce.hr>
6183
6184         * ftp-ls.c (ftp_parse_unix_ls): Allow spaces in file names.
6185
6186 1997-02-05  Hrvoje Niksic  <hniksic@srce.hr>
6187
6188         * http.c (http_atotm): Initialize tm.is_dst.
6189
6190 1997-02-02  Hrvoje Niksic  <hniksic@srce.hr>
6191
6192         * http.c (gethttp): Don't print the number of retrieved headers.
6193
6194         * main.c (main): New option `--no-clobber', alias for `-nc'.
6195
6196         * url.c: Recognize `https://'.
6197
6198 1997-02-01  Hrvoje Niksic  <hniksic@srce.hr>
6199
6200         * host.c (herrmsg): Don't use h_errno.
6201
6202 1997-01-30  Hrvoje Niksic  <hniksic@srce.hr>
6203
6204         * host.c (accept_domain): Use it.
6205
6206         * main.c (main): New option `--exclude-domains'.
6207
6208         * retr.c (retrieve_url): Use it.
6209         (retrieve_url): Bail out when an URL is redirecting to itself.
6210
6211         * url.c (url_equal): New function.
6212
6213 1997-01-29  Hrvoje Niksic  <hniksic@srce.hr>
6214
6215         * connect.c: Include arpa/inet.h instead of arpa/nameser.h.
6216
6217         * http.c (mk_utc_time): New function.
6218         (http_atotm): Use it; handle time zones correctly.
6219
6220 1997-01-28  Hrvoje Niksic  <hniksic@srce.hr>
6221
6222         * http.c: Ditto.
6223
6224         * ftp-basic.c: Use it instead of WRITE.
6225
6226         * connect.c (iwrite): New function.
6227
6228 1997-01-27  Hrvoje Niksic  <hniksic@srce.hr>
6229
6230         * cmpt.c (mktime): New function.
6231
6232         * netrc.c: Include <sys/types.h>.
6233
6234         * main.c (main): Wouldn't recognize --spider.
6235
6236         * retr.c (rate): Use `B', `KB' and `MB'.
6237         (reset_timer,elapsed_time): Moved from utils.c.
6238
6239         * ftp.c (ftp_retrieve_list): Ditto.
6240
6241         * http.c (http_loop): Don't touch the file if opt.dfp.
6242
6243 1997-01-24  Hrvoje Niksic  <hniksic@srce.hr>
6244
6245         * cmpt.c: New file.
6246
6247         * ftp.c (ftp_retrieve_glob): New argument semantics.
6248         (ftp_retrieve_dirs): Use it.
6249         (ftp_loop): Ditto.
6250
6251         * html.c (htmlfindurl): Recognize `'' as the quote char.
6252
6253 1997-01-23  Hrvoje Niksic  <hniksic@srce.hr>
6254
6255         * ftp.c (ftp_loop_internal): Use it.
6256
6257         * utils.c (remove_link): New function.
6258
6259 1997-01-22  Hrvoje Niksic  <hniksic@srce.hr>
6260
6261         * retr.c (retrieve_url): Require STRICT redirection URL.
6262
6263         * url.c (parseurl): New argument STRICT.
6264
6265         * http.c (hparsestatline): Be a little-bit less strict about
6266         status line format.
6267
6268 1997-01-21  Hrvoje Niksic  <hniksic@srce.hr>
6269
6270         * http.c (gethttp): Use it.
6271
6272         * main.c (main): Don't use '<digit>' as options.
6273
6274         * init.c: New option ignore_length.
6275
6276         * http.c (gethttp): Ditto.
6277         (http_loop): Check for redirection without Location:.
6278         (gethttp): Don't print Length unless RETROKF.
6279
6280         * ftp.c (getftp): Use it.
6281
6282         * url.c (mkalldirs): New function.
6283
6284         * utils.c (mymkdir): Don't check for existing non-directory.
6285
6286         * url.c (mkstruct): Don't create the directory.
6287
6288 1997-01-20  Hrvoje Niksic  <hniksic@srce.hr>
6289
6290         * init.c (setval): Removed NO_RECURSION checks.
6291
6292 1997-01-19  Hrvoje Niksic  <hniksic@srce.hr>
6293
6294         * version.c: "Released" 1.4.3-pre2.
6295
6296         * recur.c (recursive_retrieve): Bypass host checking only if URL
6297         is ftp AND parent URL is not ftp.
6298
6299         * ftp-basic.c (ftp_request): Print out Turtle Power.
6300
6301         * ftp.c (ftp_loop): Call ftp_retrieve_glob with 0 if there's no
6302         wildcard.
6303         (ftp_retrieve_glob): Call ftp_loop_internal even on empty list, if
6304         not glob.
6305
6306         * http.c (gethttp): Be a little bit smarter about status codes.
6307
6308         * recur.c (recursive_retrieve): Always reset opt.recursive when
6309         dealing with FTP.
6310
6311 1997-01-18  Hrvoje Niksic  <hniksic@srce.hr>
6312
6313         * retr.c (retrieve_url): New variable location_changed; use it for
6314         tests instead of mynewloc.
6315         (retrieve_url): Allow heuristic adding of html.
6316
6317         * url.c (url_filename): Don't use the `%' in Windows file names.
6318
6319         * http.c (http_loop): Always time-stamp the local file.
6320
6321         * http.c (http_loop): Ditto.
6322
6323         * ftp.c (ftp_retrieve_list): Use it.
6324
6325         * utils.c (my_touch): New function.
6326
6327         * ftp.c (ftp_retrieve_list): Use #ifdef HAVE_STRUCT_UTIMBUF
6328         instead of #ifndef NeXT.
6329
6330         * utils.c (strptime): New version, by Ulrich Drepper.
6331
6332 1997-01-17  Hrvoje Niksic  <hniksic@srce.hr>
6333
6334         * http.c (haccepts_none): Renamed from `haccepts_bytes'.
6335         (gethttp): If haccepts_none(), disable ACCEPTRANGES.
6336         (http_loop): Would remove ACCEPTRANGES.
6337
6338         * ftp.c (getftp): Call ftp_list with NULL.
6339
6340 1997-01-15  Hrvoje Niksic  <hniksic@srce.hr>
6341
6342         * html.c (ftp_index): Don't print minutes and seconds if we don't
6343         know them; beautify the output.
6344
6345         * ftp.c (getftp): Don't close the socket on FTPNSFOD.
6346
6347 1997-01-14  Hrvoje Niksic  <hniksic@srce.hr>
6348
6349         * utils.c (strptime): New function.
6350         (strptime): Don't use get_alt_number.
6351         (strptime): Don't use locale.
6352         (match_string): Made it a function.
6353
6354 1997-01-12  Hrvoje Niksic  <hniksic@srce.hr>
6355
6356         * http.c (http_atotm): New function.
6357         (http_loop): Use it.
6358
6359         * atotm.c: Removed from the distribution.
6360
6361         * http.c (base64_encode_line): Rewrite.
6362
6363 1997-01-09  Hrvoje Niksic  <hniksic@srce.hr>
6364
6365         * ftp.c (getftp): Use ftp_expected_bytes; print size.
6366
6367         * ftp-basic.c (ftp_response): Use ftp_last_respline.
6368         (ftp_expected_bytes): New function.
6369
6370         * ftp.c (getftp): Print the unauthoritative file length.
6371
6372         * ftp-ls.c: Renamed from ftp-unix.c.
6373         (ftp_parse_ls): Moved from ftp.c.
6374         (ftp_parse_unix_ls): Recognize seconds in time spec.
6375         (ftp_parse_unix_ls): Recognize year-less dates of the previous
6376         year.
6377
6378 1997-01-08  Hrvoje Niksic  <hniksic@srce.hr>
6379
6380         * ftp-basic.c: Don't declare errno if #defined.
6381
6382         * host.c (ftp_getaddress): Check for sysinfo legally.
6383
6384 1997-01-08  Darko Budor  <dbudor@diana.zems.fer.hr>
6385
6386         * connect.c (iread): Use READ.
6387
6388 1996-12-23  Hrvoje Niksic  <hniksic@srce.hr>
6389
6390         * url.c: Recognize finger, rlogin, tn3270, mid and cid as valid
6391         schemes.
6392
6393 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
6394
6395         * host.c (ftp_getaddress): Allow `.' in hostname.
6396
6397 1996-12-26  Darko Budor <dbudor@zems.fer.hr>
6398
6399         * wget.h: READ and WRITE macros for use instead of read and write
6400         on sockets, grep READ *.c, grep WRITE *.c
6401
6402         * wsstartup.c: new file - startup for winsock
6403
6404         * wsstartup.h: new file
6405
6406         * win32decl.h: new file - fixup for <errno.h> and winsock trouble
6407
6408         * configure.bat: Configure utility for MSVC
6409
6410         * src/Makefile.ms,config.h.ms: new files for use with MSVC 4.x
6411
6412 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
6413
6414         * version.c: Released 1.4.3-pre.
6415
6416         * utils.c (prnum): Accept long.
6417         (legible): Use prnum().
6418
6419         * connect.c (make_connection): Accept port as short.
6420         (bindport): Ditto.
6421
6422         * http.c (gethttp): Use search_netrc.
6423
6424 1996-12-21  Hrvoje Niksic  <hniksic@srce.hr>
6425
6426         * ftp.c (getftp): Use search_netrc.
6427
6428         * netrc.c (free_netrc): New function.
6429
6430         * init.c (home_dir): New function.
6431
6432         * url.c (convert_links): Allow REL2ABS changes.
6433
6434 1996-12-21  Gordon Matzigkeit  <gord@gnu.ai.mit.edu>
6435
6436         * netrc.c: New file.
6437         (parse_netrc, maybe_add_to_list): New functions.
6438
6439 1996-12-17  Hrvoje Niksic  <hniksic@srce.hr>
6440
6441         * retr.c (retrieve_url): Reset opt.recursion before calling
6442         ftp_loop if it is reached through newloc.
6443
6444         * init.c (run_wgetrc): Print the wgetrc path too, when reporting
6445         error; don't use "Syntax error", since we don't know if it is
6446         really a syntax error.
6447
6448 1996-12-16  Hrvoje Niksic  <hniksic@srce.hr>
6449
6450         * utils.c (acceptable): Extract the filename part of the path.
6451
6452         * recur.c (recursive_retrieve): Call acceptable() with the right
6453         argument; would bug out on wildcards.
6454
6455         * init.c (parse_line): Likewise.
6456
6457         * html.c (htmlfindurl): Cast to char * when calling stuff.
6458
6459 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
6460
6461         * ftp.c (getftp): Use ftp_pasv.
6462
6463         * ftp-basic.c (ftp_request): Accept NULL value.
6464         (ftp_pasv): New function.
6465
6466         * options.h (struct options): Add passive FTP option.
6467
6468 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
6469
6470         * url.c (parseurl): Debug output.
6471
6472         * utils.c (path_simplify): New one, adapted from bash's
6473         canonicalize_pathname().
6474
6475 1996-12-14  Hrvoje Niksic  <hniksic@srce.hr>
6476
6477         * ftp.c (getftp): Don't discard the buffer.
6478
6479         * retr.c (get_contents): New parameter nobuf.
6480
6481 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
6482
6483         * html.c (htmlfindurl): Recognize <meta contents="d; URL=...".
6484
6485         * init.c (setval): Strip the trailing slashes on CVECDIR.
6486
6487 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
6488
6489         * init.c: Make excludes and includes under CVECDIR instead of
6490         CVEC.
6491
6492 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
6493
6494         * url.c (get_urls_html): Skip "http:".
6495
6496 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
6497
6498         * utils.c (strcasecmp): From glibc.
6499         (strncasecmp): Also.
6500         (strstr): Also.
6501
6502         * url.c: Added javascript: to the list of URLs prefixes.
6503
6504 1996-12-12  Shawn McHorse  <riffraff@txdirect.net>
6505
6506         * recur.c (retrieve_robots): Print the warning message only if
6507         verbose.
6508
6509 1996-12-12  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
6510
6511         * ftp.c (ftp_retrieve_list): Use NeXT old utime interface.
6512
6513 1996-12-12  Hrvoje Niksic  <hniksic@srce.hr>
6514
6515         * systhings.h: New file.
6516
6517         * ../configure.in: Check for utime.h
6518
6519         * ftp.c: Check whether we have unistd.h.
6520
6521 1996-11-27  Hrvoje Niksic  <hniksic@srce.hr>
6522
6523         * recur.c (recursive_retrieve): Send the canonical URL as referer.
6524         (recursive_retrieve): Call get_urls_html with the canonical URL.
6525
6526 1996-12-13  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
6527
6528         * (configure.in, config.h.in, src/Makefile.in, src/*.[ch]): Add
6529         ansi2knr support for compilers which don't support ANSI style
6530         function prototypes and signatures.
6531
6532         * (aclocal.m4, src/ansi2knr.c, src/ansi2knr.1): New files.
6533
6534 1996-11-26  Hrvoje Niksic  <hniksic@srce.hr>
6535
6536         * url.c: Use it; Recognize paths ending with "." and ".." as
6537         directories.
6538         (url_filename): Append .n whenever file exists and could be a
6539         directory.
6540
6541         * url.h (ISDDOT): New macro.
6542
6543         * init.c (parse_line): Use unsigned char.
6544
6545         * url.c (get_urls_html): Cast to unsigned char * when calling
6546         htmlfindurl.
6547
6548         * html.c (htmlfindurl): Use unsigned char.
6549
6550         * version.c: Changed version to 1.4.3.
6551
6552 1996-11-25  Hrvoje Niksic  <hniksic@srce.hr>
6553
6554         * version.c: Released 1.4.2.
6555
6556         * ftp.c (getftp): Simplified assertion.
6557         (ftp_loop_internal): Remove symlink before downloading.
6558         (ftp_retrieve_list): Unlink the symlink name before attempting to
6559         create a symlink!
6560
6561         * options.h (struct options): Renamed print_server_response to
6562         server_response.
6563
6564         * ftp.c (rel_constr): Removed.
6565         (ftp_retrieve_list): Don't use it.
6566         (ftp_retrieve_list): Use opt.retr_symlinks.
6567
6568 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
6569
6570         * main.c (main): New option retr_symlinks.
6571
6572         * url.c (convert_links): Print verbose message.
6573
6574 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
6575
6576         * http.c (http_loop): Reset newloc in the beginning of function;
6577         would cause FMR in retrieve_url.
6578
6579 1996-11-23  Hrvoje Niksic  <hniksic@srce.hr>
6580
6581         * recur.c (convert_all_links): Find the URL of each HTML document,
6582         and feed it to get_urls_html; would bug out.
6583         (convert_all_links): Check for l2 instead of dl; removed dl.
6584
6585         * url.c (convert_links): Don't refer to freed newname.
6586
6587         * recur.c (recursive_retrieve): Add this_url to urls_downloaded.
6588
6589         * main.c (main): Print the OS_TYPE in the debug output, too.
6590
6591         * recur.c (recursive_retrieve): Check for opt.delete_after.
6592
6593         * main.c (main): New option delete-after.
6594
6595         * init.c (setval): Cleaned up.
6596
6597 1996-11-21  Hrvoje Niksic  <hniksic@srce.hr>
6598
6599         * Makefile.in (wget): Make `wget' the default target.
6600
6601         * ftp.c (ftp_loop_internal): Move noclobber checking out of the
6602         loop.
6603         (ftp_retrieve_list): Warn about non-matching sizes.
6604
6605         * http.c (http_loop): Made -nc non-dependent on opt.recursive.
6606
6607         * init.c (setnum): Renamed from setnuminf; New argument flags.
6608         (setval): Use it.
6609
6610         * main.c (main): Sorted the options.
6611         (main): New option --wait.
6612
6613 1996-11-21  Shawn McHorse  <riffraff@txdirect.net>
6614
6615         * html.c (htmlfindurl): Reset s->in_quote after getting out of
6616         quotes.
6617
6618 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
6619
6620         * version.c: Changed version to 1.4.2.
6621
6622 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
6623
6624         * version.c: Released 1.4.1.
6625
6626         * html.c (html_quote_string): New function.
6627         (ftp_index): Use it.
6628         (htmlfindurl): A more gentle ending debug message.
6629
6630         * ftp.c (ftp_loop): Check for opt.htmlify.
6631
6632         * init.c: New command htmlify.
6633
6634         * ftp.c (getftp): Nicer error messages, with `'-encapsulated
6635         strings.
6636         (ftp_loop): Print size of index.html.
6637
6638         * init.c (setval): Implement "styles".
6639
6640         * main.c (main): New option dotstyle.
6641
6642 1996-11-19  Hrvoje Niksic  <hniksic@srce.hr>
6643
6644         * ftp.c (getftp): Close the master socket in case of errors, after
6645         bindport().
6646
6647         * connect.c (bindport): Initialize msock to -1.
6648
6649         * ftp.c (getftp): Initialize dtsock to -1.
6650
6651         * connect.c (closeport): Don't close sock if sock == -1.
6652
6653 1996-11-18  Hrvoje Niksic  <hniksic@srce.hr>
6654
6655         * init.c (setnuminf): Nuked default value -- just leave unchanged.
6656         (setval): Don't send default values.
6657         (defaults): Use DEFAULT_TIMEOUT -- aaargh.
6658
6659         * options.h (struct options): Use long for dot_bytes.
6660
6661         * init.c (setquota): Renamed to setbytes.
6662         (setval): Use setbytes on DOTBYTES.
6663
6664 1996-11-17  Hrvoje Niksic  <hniksic@srce.hr>
6665
6666         * ftp.c (getftp): Initialize con->dltime.
6667
6668         * recur.c (recursive_retrieve): Use same_host instead of
6669         try_robots; simply load robots_txt whenever the host is changed.
6670         (recursive_retrieve): Free forbidden before calling parse_robots.
6671
6672 1996-11-16  Hrvoje Niksic  <hniksic@srce.hr>
6673
6674         * retr.c (show_progress): Use them.
6675
6676         * options.h (struct options): New options dot_bytes, dots_on_line
6677         and dot_spacing.
6678
6679 1996-11-16  Mark Boyns  <boyns@sdsu.edu>
6680
6681         * recur.c (recursive_retrieve): Retrieve directories regardless of
6682         acc/rej rules; check for empty u->file.
6683
6684 1996-11-14  Hrvoje Niksic  <hniksic@srce.hr>
6685
6686         * init.c (setval): Use it.
6687
6688         * utils.c (merge_vecs): New function.
6689
6690         * init.c (setval): Reset the list-type functions when encountering
6691         "".
6692
6693 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
6694
6695         * recur.c (recursive_retrieve): Use base_url instead of this_url
6696         for no_parent.
6697
6698 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
6699
6700         * html.c (htmlfindurl): Reset s->in_quote after exiting the quote.
6701
6702 1996-11-13  Hrvoje Niksic  <hniksic@srce.hr>
6703
6704         * utils.c (sepstring): Rewrote; don't use strtok.
6705
6706         * recur.c (recursive_retrieve): Enter assorted this_url to slist
6707         when running the first time.
6708         (retrieve_robots): Warn to ignore errors when robots are loaded.
6709
6710         * utils.c (load_file): Moved from url.c.
6711
6712         * http.c: Made static variables const too in h* functions.
6713
6714         * main.c (main): Renamed --continue-ftp to --continue.
6715
6716         * recur.c (recursive_retrieve): Use it.
6717
6718         * utils.c (frontcmp): New function.
6719
6720         * url.c (accdir): New function.
6721
6722         * html.c (htmlfindurl): Recognize <area href=...>.
6723
6724         * ftp.c (ftp_retrieve_dirs): Implemented opt.includes.
6725
6726         * init.c (setval): Free the existing opt.excludes and
6727         opt.includes, if available.
6728
6729         * main.c (main): New option -I.
6730
6731 1996-11-12  Hrvoje Niksic  <hniksic@srce.hr>
6732
6733         * ftp.c (ftp_retrieve_glob): Do not weed out directories.
6734
6735         * version.c: Changed version to 1.4.1.
6736
6737 1996-11-11  Hrvoje Niksic  <hniksic@srce.hr>
6738
6739         * version.c: Released 1.4.0.
6740
6741 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
6742
6743         * main.c (main): Free com and val after parse_line.
6744         (printhelp): Reorder the listing.
6745
6746         * http.c: More robust header parsing.
6747
6748         * http.c: Allow any number of spaces, or no spaces, precede ':'.
6749         (hskip_lws): New function.
6750         (haccepts_bytes): New function.
6751         (gethttp): Use it.
6752
6753         * init.c (setval): Check header sanity.
6754         (setval): Allow resetting of headers.
6755
6756 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
6757
6758         * http.c (http_loop): Don't use has_wildcards.
6759
6760         * http.c (gethttp): Free all_headers -- would leak.
6761
6762         * recur.c (recursive_retrieve): Initialize depth to 1 instead of
6763         0 -- this fixes a long-standing bug in -rl.
6764
6765 1996-11-09  Hrvoje Niksic  <hniksic@srce.hr>
6766
6767         * ftp.c: Use -1 as "impossible" value for con->fd.
6768
6769         * url.h (URL_SEPARATOR): Don't treat `*' and `+' as separators.
6770
6771         * init.c (parse_line): Use isalpha.
6772
6773         * ftp-unix.c: Use HAVE_UNISTD_H.
6774
6775         * mtch.c (has_wildcards): Don't match \.
6776
6777         * http.c (http_loop): Warn on HTTP wildcard usage.
6778
6779 1996-11-08  Hrvoje Niksic  <hniksic@srce.hr>
6780
6781         * url.c (url_filename): Do not create numbered suffixes if
6782         opt.noclobber -- would bug out on -nc.
6783
6784 1996-11-07  Hrvoje Niksic  <hniksic@srce.hr>
6785
6786         * recur.c (parse_robots): Don't chuck out the commands without
6787         arguments (`Disallow:<empty>' didn't work).
6788         (parse_robots): Compare versions lowercase.
6789         (parse_robots): Match on base_version, not version_string!
6790         (parse_robots): Handle comments properly.
6791         (parse_robots): Match versions in a sane way.
6792
6793         * init.c: Print nicer error messages.
6794
6795         * version.c: Changed version to 1.4.0.
6796
6797 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
6798
6799         * version.c: Released 1.4.0-test2.
6800
6801         * init.c (run_wgetrc): Close fp.
6802
6803         * ftp.c (ftp_retrieve_dirs): Allocate the correct length for
6804         u->dir.
6805
6806 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
6807
6808         * init.c (setquota): Allow inf as quota specification.
6809
6810 1996-11-05  Hrvoje Niksic  <hniksic@srce.hr>
6811
6812         * ftp.c (ftp_retrieve_dirs): Return QUOTEXC if quota exceeded.
6813         (ftp_retrieve_glob): Return QUOTEXC on quota exceeded.
6814
6815         * main.c (main): Check for quota by comparison with downloaded
6816         stuff, not from status.
6817
6818         * connect.c (select_fd): Should compile on HPUX without warnings now.
6819
6820         * ftp.c (ftp_get_listing): Check whether ftp_loop_internal
6821         returned RETROK.
6822
6823 1996-11-04  Hrvoje Niksic  <hniksic@srce.hr>
6824
6825         * ftp.c (ftp_retrieve_glob): Print the pattern nicely.
6826         (getftp): Return FTPRETRINT on control connection error.
6827
6828         * html.c (htmlfindurl): Recognize <embed src=...> and
6829         <bgsound src=...>.
6830         (ftp_index): Handle username and password correctly.
6831
6832         * main.c (main): Made `-np' a synonim for --no-parent.
6833
6834 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
6835
6836         * ftp.c (ftp_loop): Check for opt.ftp_glob too before calling
6837         ftp_retrieve_glob.
6838
6839         * version.c: Changed version to 1.4.0-test2.
6840
6841 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
6842
6843         * version.c: Released 1.4.0-test1.
6844
6845         * url.c (str_url): Don't use sprintf when creating %2F-prefixed
6846         directory.
6847         (convert_links): Removed definition of make_backup.
6848
6849         * http.h: Removed definition of MAX_ERROR_LENGTH.
6850
6851         * host.c (ftp_getaddress): Check for "(none)" domains.
6852
6853         * ftp.c (ftp_retrieve_dirs): Docfix.
6854
6855         * http.c (gethttp): Use ou->referer instead of u->referer.
6856
6857         * retr.c (retrieve_url): Reset u to avoid freeing pointers twice;
6858         this was known to cause coredumps on Linux.
6859
6860         * html.c (ftp_index): Cast the argument to local_time to time_t *.
6861
6862 1996-11-01  Hrvoje Niksic  <hniksic@srce.hr>
6863
6864         * connect.c (select_fd): Use exceptfds -- once and for all.
6865
6866         * retr.c (retrieve_from_file): Free filename after
6867         recursive_retrieve.
6868         (retrieve_from_file): Send RFIRST_TIME to recursive_retrieve on
6869         first-time retrieval.
6870         (retrieve_from_file): Return uerr_t; new argument, count.
6871         (retrieve_from_file): Break on QUOTEXC.
6872
6873         * init.c (setquota): Fixed a bug that caused rejection of
6874         non-postfixed values..
6875
6876 1996-10-30  Hrvoje Niksic  <hniksic@srce.hr>
6877
6878         * version.c: Changed name to wget.
6879
6880         * connect.c (iread): Smarter use of select.
6881         (select_fd): Set errno on timeout.  If not timeout, return 1
6882         instead of 0.
6883
6884 1996-10-29  Hrvoje Niksic  <hniksic@srce.hr>
6885
6886         * ftp.c (ftp_loop_internal): Don't use con->cmd before
6887         establishing it.
6888
6889 1996-10-26  Hrvoje Niksic  <hniksic@srce.hr>
6890
6891         * http.c (gethttp): Send correct referer when using proxy.
6892         (gethttp): Use struct urlinfo ou to access the relevant data; send
6893         correct authorization in all cases.
6894
6895         * host.c (same_host): Use skip_uname to skip username and
6896         password.
6897
6898         * url.c (skip_uname): New function.
6899         (parseurl): Use it.
6900
6901         * host.c (same_host): Do not assume HTTP -- same_host should now
6902         be totally foolproof.
6903
6904         * url.c (skip_proto): New function.
6905         (parse_uname): Use it.
6906
6907         * http.c (gethttp): Create local user and passwd from what is
6908         given.
6909
6910         * url.c (parseurl): Check for HTTP username and password too.
6911
6912 1996-10-25  Hrvoje Niksic  <hniksic@srce.hr>
6913
6914         * config.h.in: Removed #define gethostbyname R...
6915
6916 1996-10-22  Hrvoje Niksic  <hniksic@srce.hr>
6917
6918         * version.c: Changed version to 1.4.0-test1.
6919
6920 1996-10-21  Hrvoje Niksic  <hniksic@srce.hr>
6921
6922         * version.c: "Released" 1.4b29.
6923
6924         * recur.c (recursive_retrieve): Check for no_parent.
6925
6926         * init.c (setval): Option update.
6927
6928         * main.c (main): New option no-parent.
6929
6930         * options.h (struct options): New variable no_parent.
6931
6932         * recur.c (recursive_retrieve): Only files are checked for
6933         opt.accepts and opt.rejects.
6934         (recursive_retrieve): Check directories for opt.excludes.
6935         (recursive_retrieve): Make the dir absolute when checking
6936         opt.excludes.
6937
6938         * html.c (htmlfindurl): Recognize <applet code=...> and <script
6939         src=...>
6940
6941 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
6942
6943         * ftp.c (getftp): Do not line-break assert entries at all.
6944         (ftp_retrieve_dirs): docfix.
6945
6946         * connect.c (select_fd): Use fd + 1 as nfds.
6947
6948         * version.c: Changed version to 1.4b29.
6949
6950 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
6951
6952         * version.c: "Released" 1.4b28.
6953
6954         * ftp.c (ftp_loop_internal): Check whether f->size == len and
6955         don't continue the loop if it is.
6956         (ftp_get_listing): Remove list_filename on unsuccesful loop.
6957
6958 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
6959
6960         * ftp.c (ftp_loop_internal): Use strcpy to initialize tmp.
6961         (getftp): Do not use multiline assert.
6962
6963         * http.c (hparsestatline): Use mjr and mnr instead of major and
6964         minor, which don't compile on Ultrix.
6965         (http_loop): Use strcpy() to initialize tmp.
6966
6967         * all: Geturl -> Fetch
6968
6969 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
6970
6971         * recur.c (parse_robots): Fixed an off-by-one bug when looking for
6972         ':'.
6973
6974         * html.c (htmlfindurl): Fixed several possible off-by-one bugs by
6975         moving `bufsize &&' to the beginning of each check in for-loops.
6976
6977         * recur.c (parse_robots): Close fp on exit.
6978
6979         * url.c (mymkdir): Check for each directory before creating.
6980
6981 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
6982
6983         * version.c: Changed version to 1.4b28.
6984
6985 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
6986
6987         * version.c: "Released" 1.4b27.
6988
6989         * init.c (parse_line): Use isspace.
6990         (parse_line): Free *com on all errors.
6991
6992         * ftp.c (ftp_loop): Change FTPOK to RETROK before exiting.
6993         (delelement): Use next instead of f->next and prev instead of
6994         f->prev.
6995         (delelement): Free the members of the deleted element.
6996
6997         * http.c (http_loop): Do not return RETROK on code != 20x.
6998
6999         * init.c (cleanup): Free opt.user_header.
7000         (cleanup): Free opt.domains.
7001
7002         * url.c (freelists): Moved to cleanup().
7003
7004         * http.c (hparsestatline): Docfix.
7005
7006         * main.c (main): Return with error status on unsuccesful
7007         retrieval.
7008
7009         * init.c (setval): Do not remove listing when mirroring.
7010
7011         * url.c (url_filename): Use opt.fileprefix.
7012
7013         * ftp.c (ftp_get_listing): Use url_filename to get filename for
7014         .listing.
7015
7016         * main.c (main): New option: -rn.
7017
7018 1996-10-15  Hrvoje Niksic  <hniksic@srce.hr>
7019
7020         * Makefile.in (RM): Added RM = rm -f.
7021
7022         * host.c (clean_hosts): New function.
7023         (free_hlist): Just free the list, no reset.
7024
7025         * version.c: Changed version to 1.4b27.
7026
7027 1996-10-13  Hrvoje Niksic  <hniksic@srce.hr>
7028
7029         * version.c: "Released" 1.4b26.
7030
7031         * retr.c (retrieve_from_file): If call get_urls_html with
7032         opt.spider to make it silent in spider mode.
7033
7034         * url.c (str_url): Use CLEANDUP instead of URL_CLEANSE.
7035
7036         * url.h (CLEANDUP): New macro.
7037
7038         * http.c (gethttp): Fixed a bug that freed location only when it
7039         was NULL.
7040
7041         * retr.c (retrieve_url): Free url if it will not be stored,
7042         i.e. newloc is NULL.
7043
7044         * html.c (htmlfindurl): Handle exiting from quotes correctly; the
7045         old version would bug out on <a href="x#a"href="y">.
7046
7047         * html.h (state_t): New member in_quote.
7048
7049         * html.c (htmlfindurl): Free s->attr at the beginning of
7050         attr-loop.
7051
7052         * recur.c (recursive_retrieve): Recognize RCLEANUP.
7053         (tried_robots): Make hosts a global variable.
7054         (recursive_retrieve): Free constr after URL host optimization.
7055         (tried_robots): Free urlinfo before exiting.
7056
7057         * utils.c (free_slist): New function.
7058
7059         * recur.c (recursive_retrieve): Use flags to add cleanup
7060         possibility.
7061
7062         * main.c (main): Free filename after recursive_retrieve.
7063
7064         * http.c (gethttp): Store successful responses too.
7065
7066 1996-10-12  Hrvoje Niksic  <hniksic@srce.hr>
7067
7068         * all: Constified the whole source.  This required some minor
7069         changes in many functions in url.c, possibly introducing bugs -- I
7070         hope not.
7071
7072         * ftp-basic.c: Removed last_respline.
7073
7074         * http.c (gethttp): Free type.
7075
7076         * host.c (same_host): Free real1 and real2.
7077
7078         * main.c (main): New option --spider.
7079
7080         * retr.c (get_contents): Don't reset errno.
7081
7082         * main.c (main): Sorted the options.
7083
7084         * connect.c (iread): Set errno to ETIMEDOUT only if it was left
7085         uninitialized by select().
7086
7087         * http.c (http_loop): Print the time when the connection is
7088         closed.
7089         (gethttp): Debug-print the HTTP request.
7090
7091 1996-10-11  Hrvoje Niksic  <hniksic@srce.hr>
7092
7093         * connect.c (iread): Do not try reading after timeout.
7094
7095         * main.c (main): Would bug out on -T.
7096
7097         * connect.c (select_fd): Do not use exceptfds.
7098         (iread): Set ETIMEDOUT on select_fd <= 0.
7099
7100         * version.c: Changed version to 1.4b26.
7101
7102 1996-10-10  Hrvoje Niksic  <hniksic@srce.hr>
7103
7104         * version.c: "Released" 1.4b25.
7105
7106         * ftp-unix.c (ftp_parse_unix_ls): Ignore lines without file name
7107         or link name.
7108
7109         * http.c (gethttp): Add errcode to struct hstat.
7110         (http_loop): Use it.
7111
7112         * url.c (no_proxy_match): Simplify using char** for no_proxy.
7113
7114         * options.h (struct options): Make opt.no_proxy a vector.
7115
7116         * utils.c (sepstring): Use !*s instead of !strlen(s).
7117
7118         * init.c (setval): Set opt.maxreclevel to 0 on --mirror.
7119         (getperms): Use ISODIGIT instead of isdigit.
7120
7121         * ftp.c (getftp): Print time.
7122
7123         * main.c (main): Use legible output of downloaded quantity.
7124
7125         * ftp.c (getftp): Use elapsed_time().
7126         (ftp_loop_internal): Use rate().
7127
7128         * http.c (http_loop): Add download ratio output; Use rate().
7129
7130         * utils.c (rate): New function.
7131
7132 1996-10-09  Hrvoje Niksic  <hniksic@srce.hr>
7133
7134         * http.c (http_loop): Use timer.
7135
7136         * ftp.c: Split to ftp-basic.c and ftp.c
7137
7138         * utils.c (reset_timer): New function.
7139         (elapsed_time): New function.
7140
7141         * retr.c (show_progress): Make bytes_in_line and offs long; should
7142         work on 16-bit machines.
7143
7144 1996-10-08  Hrvoje Niksic  <hniksic@srce.hr>
7145
7146         * url.c (in_acclist): New argument backward.
7147
7148         * ftp.c (ftp_retrieve_glob): Use acceptable() to determine whether
7149         a file should be retrieved according to suffix.
7150         (ftp_get_listing): Check the return value of unlink; Do not call
7151         ftp_retrieve_dirs if depth reached maxreclevel.
7152         (ftp_retrieve_dirs): Check whether the directory is in
7153         exclude-list.
7154
7155         * main.c (main): Print the version number at the beginning of
7156         DEBUG output.
7157         (main): Use strrchr when creating exec_name.
7158
7159         * ftp.c (ftp_retrieve_glob): Do not close control connection.
7160
7161         * version.c: Changed version to 1.4b25.
7162
7163 1996-10-07  Hrvoje Niksic  <hniksic@srce.hr>
7164
7165         * version.c: "Released" 1.4b24.
7166
7167         * Makefile.in: Rewrite.
7168
7169         * ftp.c (ftp_loop_internal): Likewise.
7170
7171         * retr.c (time_str): Check for failed time().
7172
7173         * html.c (htmlfindurl): Recognize <fig src> and <overlay src> from
7174         HTML3.0.
7175
7176         * retr.c (time_str): Return time_t *.
7177
7178         * connect.c (bindport): Close msock on unsuccesful bind.
7179         (bindport): The same for getsockname and listen.
7180
7181         * retr.c (retrieve_url): Allow any number of retries on
7182         proxy.
7183
7184         * http.c (gethttp): Do not treat errno == 0 as timeout.
7185         (http_loop): Likewise.
7186         (http_loop): Cosmetic changes.
7187
7188         * connect.c (iread): Set errno to ETIMEDOUT in case of timeout.
7189
7190         * retr.c (get_contents): Reset errno.
7191
7192         * ftp.c (getftp): Minor fixes.
7193
7194 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
7195
7196         * http.c: Do not use backups.
7197
7198         * geturl.1 (WARNING): Warn that man-page could be obsolete.
7199
7200         * getopt.c (getopt_long): Moved to getopt.c
7201
7202         * geturl.texi: Enhanced.
7203
7204         * main.c (main): Use it.
7205
7206         * recur.c (convert_all_links): New function.
7207
7208         * utils.c (add_slist): New argument flags.
7209
7210         * recur.c (recursive_retrieve): Update a list of downloaded URLs.
7211         (parse_robots): Do not chuck out empty value fields.
7212         (parse_robots): Make yourself welcome on empty Disallow.
7213
7214         * version.c: Changed version to 1.4b24.
7215
7216 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
7217
7218         * version.c: "Released" 1.4b23.
7219
7220         * ftp.c (ftp_loop_internal): Get the time after getftp.
7221
7222         * Makefile.in (install.info): New target.
7223         (install): Use it.
7224
7225         * http.c (http_loop): Fix output when doing -O.
7226
7227 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
7228
7229         * geturl.texi: New file.
7230
7231         * main.c (main): Do not print the warnings and download summary if
7232         opt.quiet is set.
7233
7234         * version.c: Changed version to 1.4b23.
7235
7236 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
7237
7238         * "Released" 1.4b22.
7239
7240         * atotm.c (atotm): Use True and False instead of TRUE and FALSE,
7241         to avoid redefinition warnings.
7242
7243         * host.c (store_hostaddress): Use memcpy() to copy the address
7244         returned by inet_addr.
7245
7246         * version.c: Changed version to 1.4b22.
7247
7248 1996-10-04  Hrvoje Niksic  <hniksic@srce.hr>
7249
7250         * version.c: "Released" 1.4b21.
7251
7252         * ftp-unix.c (ftp_parse_ls): Renamed to ftp_parse_unix_ls.
7253
7254         * ftp.c (ftp_port): Use conaddr.
7255         (getftp): Print the file length.
7256         (ftp_retrieve_list): Check the stamps of plain files only.
7257
7258         * connect.c (closeport): Do not call shutdown().
7259         (conaddr): New function.
7260
7261         * html.c (ftp_index): Made it dfp-aware.
7262
7263         * init.c (cleanup): New name of freemem. Close opt.dfp.
7264
7265         * ftp.c (getftp): Use opt.dfp if it is set.
7266
7267         * ftp-unix.c (ftp_parse_ls): Recognize time in h:mm format.
7268
7269         * ftp.c (ftp_retrieve_dirs): Fixed a bug that caused incorrect
7270         CWDs to be sent with recursive FTP retrievals.
7271
7272 1996-10-03  Hrvoje Niksic  <hniksic@srce.hr>
7273
7274         * recur.c (parse_robots): Made it more compliant with "official"
7275         specifications.
7276
7277         * http.c: New function.
7278
7279         * ftp-unix.c (ftp_parse_ls): Added better debug output.
7280
7281         * ftp.c (getftp): Print out the LIST in case of
7282         opt.print_server_response.
7283
7284         * version.c: Changed version to 1.4b21.
7285
7286 1996-10-01  Hrvoje Niksic  <hniksic@srce.hr>
7287
7288         * version.c: "Released" 1.4b20.
7289
7290         * README: Update.
7291
7292         * http.c (gethttp): Preset lengths of various headers instead of
7293         calculating them dynamically.
7294         (gethttp): Check for 206 partial contents.
7295
7296 1996-09-30  Hrvoje Niksic  <hniksic@srce.hr>
7297
7298         * configure.in: Set SYSTEM_GETURLRC to $libdir/geturlrc
7299
7300         * http.c (gethttp): Send the port number in the Host: header.
7301
7302 1996-09-29  Hrvoje Niksic  <hniksic@srce.hr>
7303
7304         * http.c (gethttp): Send host: header.
7305         (gethttp): Add the possibility of user-defined headers.
7306         (gethttp): Move decision about pragma: no-cache to http_loop,
7307         where it belongs.
7308         (gethttp): Pass a struct instead of enormous argument list.
7309         (http_loop): Use a new, fancier display format.
7310         (ftp_loop): Likewise.
7311
7312         * main.c: (hangup): Turn off buffering of the new log file.
7313
7314         * install-sh: Likewise.
7315
7316         * config.sub: Replace with the one in autoconf-2.10
7317
7318         * geturl.1: Update.
7319
7320         * init.c: New options httpuser and httppasswd.
7321
7322         * http.c: (base64_encode_line): New function.
7323         (gethttp): Send authentication.
7324
7325         * connect.c (make_connection): Use store_hostaddress.
7326
7327 1996-09-28  Hrvoje Niksic  <hniksic@srce.hr>
7328
7329         * host.c (store_hostaddress): New function.
7330
7331         * NEWS: Update.
7332
7333         * http.c (hgetrange): New function.
7334         (gethttp): Use ranges.
7335
7336         * utils.c (numdigit): Accept long instead of int.
7337
7338         * http.c (http_loop): Add restart capabilities.
7339
7340         * ftp.c (ftp_retrieve_glob): Fixed a bug that could cause matchres
7341         being used uninitialized.
7342         (ftp_retrieve_list): Similar fix.
7343
7344         * host.c (add_hlist): Fixed a bug that could cause cmp being used
7345         uninitialized.
7346
7347         * url.c (construct_relative): New function.
7348
7349         * recur.c (recursive_retrieve): Use it.
7350
7351         * retr.c (convert_links): New function.
7352
7353 1996-09-27  Hrvoje Niksic  <hniksic@srce.hr>
7354
7355         * url.c (free_urlpos): New function.
7356
7357         * recur.c (recursive_retrieve): Adapt.
7358
7359         * url.c (get_urls_html): Return a linked list instead of a vector.
7360
7361         * url.c (get_urls_file): Return a linked list instead of a vector.
7362
7363         * geturl.1: Update.
7364
7365         * http.c (gethttp): Implement it.
7366
7367         * init.c (setval): New option: SAVEHEADERS
7368
7369         * ftp.c (ftp_loop_internal): Do not set restval if listing is to
7370         be retrieved. Lack of this test caused bugs when the connection
7371         was lost during listing.
7372
7373         * retr.c (retrieve_url): Fixed a bug that caused
7374         coredumps. *newloc is now reset by default.
7375         (retrieve_url): Lift the twenty-tries limit on proxies.
7376
7377         * version.c: Changed version to 1.4b20.
7378
7379 1996-09-20  Hrvoje Niksic  <hniksic@srce.hr>
7380
7381         * version.c: "Released" 1.4b19.
7382
7383 1996-09-19  Hrvoje Niksic  <hniksic@srce.hr>
7384
7385         * ftp.c (ftp_loop_internal): Renamed from ftp_1fl_loop.
7386         (getftp): Changed prototype to accept ccon *.
7387
7388 1996-09-17  Hrvoje Niksic  <hniksic@srce.hr>
7389
7390         * ftp.c (ftp_retrieve_list): Fixed a bug that caused setting
7391         incorrect values to files pointed to by symbolic links.
7392         (ftp_1fl_loop): Do not count listings among the downloaded URL-s.
7393
7394 1996-09-16  Hrvoje Niksic  <hniksic@srce.hr>
7395
7396         * url.c (mkstruct): Do not prepend "./" in front of a pathname.
7397
7398         * main.c (main): New option: --user-agent.
7399
7400         * geturl.1: Ditto.
7401
7402         * init.h: Ditto.
7403
7404         * init.c (setval): Ditto.
7405
7406         * main.c (main): Rename "server-headers" to "server-response".
7407
7408         * ftp-unix.c (ftp_parse_ls): Check for asterisks at the end of
7409         executables in 'ls -F' listings.
7410
7411 1996-09-15  Hrvoje Niksic  <hniksic@srce.hr>
7412
7413         * url.c (parseurl): Remove realloc() and sprintf().
7414         (str_url): Get rid of sprintf().
7415
7416         * recur.c (recursive_retrieve): Enable FTP recursion through proxy
7417         servers.
7418
7419         * url.h (URL_CLEANSE): Made it else-resistant.
7420         (USE_PROXY): New macro.
7421
7422 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
7423
7424         * NEWS: Update.
7425
7426         * version.c: Changed version to 1.4b19.
7427
7428 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
7429
7430         * version.c: "Released" 1.4b18.
7431
7432         * url.c: Made it reallocate space exponentially.
7433
7434 1996-09-14  Drazen Kacar  <dave@fly.cc.fer.hr>
7435
7436         * html.c (htmlfindurl): Added <frame src> and <iframe src> among
7437         the list of stuff to fetch.
7438
7439 1996-09-13  Hrvoje Niksic  <hniksic@srce.hr>
7440
7441         * url.c (get_urls_html): Fixed a bug that caused SIGSEGV's with
7442         -Fi.
7443
7444         * html.c (htmlfindurl): Rewrite.
7445
7446         * http.c (gethttp): Use opt.proxy_cache.
7447
7448         * main.c (main): Added --cache option.
7449
7450         * ftp.c (ftp_response): Print server response if opt.print_server
7451         response is set.
7452         (getftp): Print newlines after each request if the server response
7453         is to be printed.
7454         (ftp_response): Copy the last response line to last_respline.
7455
7456         * http.c (gethttp): Add Pragma: nocache for retried
7457         proxy-retrievals.
7458
7459         * ftp.c (getftp): Use it.
7460
7461         * retr.c (buf_discard): New function.
7462
7463         * ftp.c (ftp_response): Use buf_readchar().
7464         (getftp): Flush the control connection buffer before calling
7465         get_contents().
7466
7467         * retr.c (buf_readchar): New function.
7468         (buf_flush): New function.
7469         (get_contents): Use buf_readchar() instead of read(x, x, 1).
7470         (get_contents): Use buf_flush.
7471
7472 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
7473
7474         * ftp.c: Incorporate changes to ftp_response.
7475
7476         * ftp.c (ftp_response): Allocate the server response dynamically,
7477         as in read_whole_line and fetch_next_header.
7478
7479         * utils.c (read_whole_line): Fixed a bug that prevented reading
7480         the last line if it is not \n-terminated. Also fixed a possible
7481         memory overflow.
7482
7483         * http.c (fetch_next_header): Return malloc-ed string as large as
7484         needed.
7485         (gethttp): Use new fetch_next_header.
7486
7487 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
7488
7489         * http.c (hgetlen): Compute the header length the first time only.
7490         (hgettype): Ditto.
7491         (hgetlocation): Ditto.
7492         (hgetmodified): Ditto.
7493
7494 1996-09-11  Hrvoje Niksic  <hniksic@srce.hr>
7495
7496         * sample.geturlrc: Update.
7497
7498 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
7499
7500         * http.c (http_loop): Ditto.
7501
7502         * ftp.c (getftp): Open the output file as binary.
7503
7504         * version.c: Changed version to 1.4b18.
7505
7506 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
7507
7508         * version.c: "Released" 1.4b17.
7509
7510         * ftp-unix.c (ftp_parse_ls): If unable to open file, return NULL
7511         instead of failed assertion.
7512
7513 1996-09-09  Hrvoje Niksic  <hniksic@srce.hr>
7514
7515         * ftp.c (ftp_get_listing): Add a numbered suffix to LIST_FILENAME
7516         if a file of that name already exists.
7517
7518 1996-09-05  Hrvoje Niksic  <hniksic@srce.hr>
7519
7520         * ftp.c (ftp_1fl_loop): Handler FTPPORTERR and FOPENERR correctly.
7521
7522         * config.h.in: Define gethostbyname as Rgethostbyname when using
7523         Socks.
7524
7525         * configure.in: Check for -lresolv if using Socks.
7526
7527         * version.c: Changed version to 1.4b17.
7528
7529 1996-07-15  Hrvoje Niksic  <hniksic@srce.hr>
7530
7531         * version.c: "Released" 1.4b16.
7532
7533         * http.c (gethttp): More intelligent check for first line of HTTP
7534         response.
7535         (gethttp): Would bug out on time-stamping.
7536
7537         * version.c: Changed version to 1.4b16.
7538
7539 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
7540
7541         * version.c: Released 1.4b15.
7542
7543         * http.c (http_loop): Print \n after the loop entry, not before.
7544
7545         * url.c (url_filename): Use ISDOT.
7546
7547         * url.h (ISDOT): New macro.
7548
7549         * recur.c (recursive_retrieve): Change only opt.recursive for
7550         following FTP.
7551
7552 1996-07-11  Antonio Rosella <antonio.rosella@agip.it>
7553
7554         * socks/geturl.cgi: Fixed version No.
7555
7556         * socks/download-netscape.html: Ditto.
7557
7558         * socks/download.html: Changed socks.html to download.html.
7559
7560 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
7561
7562         * url.c (url_filename): Check for opt.dirstruct instead for
7563         opt.recursive && opt.dirstruct.
7564
7565         * init.c (defaults): Ditto.
7566         (defaults): Reset dirstruct by default.
7567         (setval): Set opt.dirstruct whenever setting recursive.
7568
7569         * init.h: Removed FORCEDIRHIER.
7570
7571         * INSTALL: Added -L to socks-description.
7572
7573         * version.c: Changed version to 1.4b15.
7574
7575 1996-07-10  Hrvoje Niksic  <hniksic@srce.hr>
7576
7577         * version.c: "Released" 1.4b14.
7578
7579         * geturl.1: Update AUTHOR to include Rosella as contributor.
7580
7581         * NEWS: Update.
7582
7583         * socks/geturl.cgi: Simplified command creation, nuked <blink>.
7584
7585         * socks/geturl.cgi: Wrap nutscape extensions within if $netscape.
7586         (cal_time): Fix == to eq.
7587
7588         * socks/geturl.cgi: GPL-ized with permission of A. Rosella.
7589
7590         * geturl.1 (hostname): Moved URL CONVENTIONS to the beginning.
7591
7592         * Makefile.in: Use @VERSION@.
7593
7594         * configure.in: Check version from version.c.
7595
7596         * socks/geturl.cgi: Changed /pub/bin/perl to /usr/bin/perl.
7597
7598         * socks/download.html: Created from download-netscape.html, made
7599         HTML-2.0 compliant.
7600
7601         * recur.c (recursive_retrieve): Set opt.force_dir_hier when
7602         following FTP links from recursions.
7603
7604 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
7605
7606         * url.c (mymkdir): Fixed a bug that prevented mymkdir() to create
7607         absolute directories correctly.
7608
7609         * version.c: Changed version to 1.4b14.
7610
7611 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
7612
7613         * version.c: "Released" 1.4b13.
7614
7615         * url.c (make_backup): New function.
7616
7617         * http.c (http_loop): Make a backup copy of the local file (using
7618         rename(2)) before opening it.
7619
7620         * main.c (main): Added --backups.
7621
7622         * host.c (ftp_getaddress): Bail out on failed mycuserid().
7623         (ftp_getaddress): Check for leading dot on MY_DOMAIN.
7624         (ftp_getaddress): Check for empty, null or (null) domain.
7625
7626         * url.c (get_urls_html): If this_url is NULL, the base must have a
7627         protocol.
7628         (parseurl): Use has_proto.
7629
7630         * retr.c (retrieve_url): Warn when proxy is used with more than 20
7631         retries.
7632
7633         * url.c (mkstruct): Create the directory (calling mymkdir()) only
7634         if it is not already there.
7635         (has_proto): New function.
7636         (get_urls_html): Eliminate the remaining call to findurl -- use
7637         has_proto.
7638
7639         * geturl.1: Ditto.
7640
7641         * main.c: Change -X to -x.
7642
7643         * url.c (url_filename): Simplify creation of filename if
7644         prefix_files is set.
7645         (url_filename): Simplify everything. And I do mean *everything*.
7646         (mkstruct): Add dir_prefix before hostname.
7647         (path_simplify): Fixed a bug that caused writing outside the path
7648         string in case of "." and ".." path strings.
7649
7650 1996-07-06  Hrvoje Niksic  <hniksic@srce.hr>
7651
7652         * init.c: Added --mirror.
7653
7654         * main.c (main): Added -X to force saving of directory hierarchy.
7655
7656         * ftp.c (ftp_retrieve_list): Added recursion depth counter.
7657         (ftp_retrieve_list): Check whether quota is exceeded.
7658
7659         * url.c (get_urls_html): Skip leading blanks for absolute URIs.
7660
7661         * http.c (gethttp): Use referer if present.
7662
7663         * recur.c (recursive_retrieve): Set u->referer before calling
7664         retrieve_url.
7665
7666         * url.c (newurl): Use memset to nullify the struct members.
7667         (freeurl): Free the referer field too.
7668
7669         * url.h: Added referer to urlinfo.
7670
7671         * geturl.1: Updated the manual to document some of the new features.
7672
7673         * utils.c (numdigit): Moved from url.c.
7674
7675         * README: Rewritten.
7676
7677         * config.h.in: Add the support for socks.
7678
7679         * configure.in: Add the support for socks.
7680
7681         * url.c (url_filename): If the dir_prefix is ".", work with just
7682         the file name.
7683         (url_filename): Do not look for .n extensions if timestamping if
7684         turned on.
7685
7686         * retr.c (show_progress): Skip the over-abundant restval data, and
7687         print the rest of it with ',' instead of '.'.
7688
7689 1996-07-05  Hrvoje Niksic  <hniksic@srce.hr>
7690
7691         * retr.c (show_progress): Changed second arg. to long (as it
7692         should be).
7693         (show_progress): Moved to retr.c.
7694         (get_contents): Moved to retr.c.
7695
7696         * version.c: Change version to 1.4b13.
7697
7698 1996-07-05  Hrvoje Lacko <hlacko@fly.cc.fer.hr>
7699
7700         * url.c (in_acclist): Would return after the first suffix.
7701
7702 1996-07-04  Hrvoje Niksic  <hniksic@srce.hr>
7703
7704         * version.c: "Released" 1.4b12.
7705
7706         * url.c (path_simplify): More kludgifications.
7707         (get_urls_html): Use new parameters for htmlfindurl.
7708
7709         * html.c: Removed memorizing "parser states", since the new
7710         organization does not require them.
7711
7712         * init.c (run_geturlrc): Use read_whole_line.
7713
7714         * ftp-unix.c (ftp_parse_ls): Use read_whole_line.
7715
7716         * recur.c (parse_robots): Use read_whole_line.
7717
7718         * utils.c (read_whole_line): New function.
7719
7720         * recur.c (tried_robots): Use add_slist/in_slist, *much* cleaner.
7721
7722         * host.c (ngethostbyname): Call inet_addr just once. Yet to be
7723         tested on OSF and Ultrix.
7724         (add_hlist): New function.
7725         (free_hlist): New function.
7726         (search_host): New function.
7727         (search_address): New function.
7728         (realhost): Use search_host, search_address and add_hlist.
7729         (same_host): Replaced realloc() with strdupdelim(), made
7730         case-insensitive, fixed a memory leak.
7731
7732         * html.c (ftp_index): Fixed tm_min and tm_sec to be tm_hour and
7733         tm_min, like intended.
7734
7735         * version.c: Change user agent information to
7736         Geturl/version.
7737
7738 1996-07-03  Hrvoje Niksic  <hniksic@srce.hr>
7739
7740         * utils.c: Renamed nmalloc.c to utils.c, .h likewise.
7741
7742         * url.c (acceptable): Always accept directories.
7743
7744         * ftp-unix.c (ftp_parse_ls): Support brain-damaged "ls -F"-loving
7745         servers by stripping trailing @ from symlinks and trailing / from
7746         directories.
7747
7748         * ftp.c (ftp_loop): Debugged the "enhanced" heuristics. :-)
7749
7750         * url.c (skip_url): Use toupper instead of UCASE.
7751
7752         * host.c (sufmatch): Made it case-insensitive.
7753
7754         * url.c (match_backwards_or_pattern): Fixed i == -1 to j == -1.
7755         (match_backwards): New function, instead of
7756         match_backwards_or_pattern.
7757
7758         * recur.c (recursive_retrieve): Increased performance by
7759         introducing inl, which reduces number of calls to in_slist to only
7760         one.
7761
7762         * ftp.c (ftp_loop): Enhanced the heuristics that decides which
7763         routine to use.
7764
7765         * main.c (printhelp): Removed the warranty stuff.
7766
7767 1996-07-02  Hrvoje Niksic  <hniksic@srce.hr>
7768
7769         * url.c (add_slist): Simplify.
7770         (match_backwards_or_pattern): New function.
7771         (in_acclist): Use match_backwards_or_pattern.
7772         (matches): Remove.
7773
7774 1996-06-30  Hrvoje Niksic  <hniksic@srce.hr>
7775
7776         * ftp.c (ftp_loop): Call ftp_index on empty file names, if not
7777         recursive.
7778
7779         * html.c (ftp_index): Fixed to work. Beautified the output.
7780
7781         * ftp.c (ftp_retrieve_glob): Another argument to control whether
7782         globbing is to be used.
7783         (ftp_retrieve_list): Compare the time-stamps of local and remote
7784         files to determine whether to download.
7785
7786 1996-06-29  Hrvoje Niksic  <hniksic@srce.hr>
7787
7788         * ftp.c (rel_constr): New function.
7789
7790         * retr.c (retrieve_from_file): Check for text/html before
7791         retrieving recursively.
7792
7793         * main.c (main): Check whether the file is HTML before going into
7794         recursive HTML retrieving.
7795
7796         * ftp.c (ftp_retrieve_list): Manage directories.
7797         (ftp_retrieve_glob): Pass all the file-types to ftp_retrieve_list.
7798         (ftp_1fl_loop): Fixed a bug that caused con->com to be incorrectly
7799         initialized, causing bugchecks in getftp to fail.
7800
7801         * configure.in: Check for symlink.
7802
7803         * ftp.c (ftp_retrieve_list): Added support for symlinks.
7804
7805         * version.c: "Released" 1.4b10.
7806
7807         * atotm.c (atotm): Redeclared as time_t.
7808
7809         * init.c: New variable "timestamping".
7810
7811         * main.c (main): New option 'N'.
7812
7813         * http.c (hgetlocation): Case-insensitive match.
7814         (hgetmodified): New function.
7815         (http_loop): Implement time-stamping.
7816
7817 1996-06-28  Hrvoje Niksic  <hniksic@srce.hr>
7818
7819         * version.c: Changed version to 1.4b10
7820
7821         * atotm.c: New file, from phttpd.
7822
7823         * options.h (struct options): New parameter timestamping.
7824
7825         * version.c: 1.4b9 "released".
7826
7827         * recur.c (recursive_retrieve): Used linked list (ulist) for
7828         faster storing of URLs.
7829
7830         * url.c (get_urls_html): Removed the old kludge with comparing the
7831         outputs of htmlfindurl and findurl.
7832         (get_urls_html): Added better protocol support here.
7833         (create_hash): Removed, as well as add_hash and in_hash.
7834         (addslist): New function.
7835         (in_slist): ditto
7836
7837         * version.c: Released 1.4b8, changed version to b9.
7838
7839 1996-06-27  Hrvoje Niksic  <hniksic@srce.hr>
7840
7841         * ftp.c (freefileinfo): New function.
7842         (delelement): New function.
7843
7844         * everywhere: GPL!
7845
7846         * ftp.c (ftp_loop): Use ccon.
7847         (ftp_retrieve_glob): Likewise.
7848
7849         * ftp.h: Define ccon, to define status of control connection.
7850
7851         * ftp.c (ftp_get_listing): New function.
7852         (ftp_retrieve_more): New function.
7853         (ftp_retrieve_glob): New function.
7854
7855 1996-06-25  Hrvoje Niksic  <hniksic@srce.hr>
7856
7857         * configure.in: Removed the search for cuserid().
7858
7859         * init.c (getmode): Renamed to getperms.
7860
7861 1996-06-24  Hrvoje Niksic  <hniksic@srce.hr>
7862
7863         * version.c: New version.
7864
7865         * main.c (hangup): New function, that handles hangup. Hangup
7866         signal now causes geturl to stop writing on stdout, and to write
7867         to a log file.
7868
7869         * ftp.c (getftp): "Released" 1.4b7.
7870
7871         * html.c (htmlfindurl): Ignore everything inside <head>...</head>.
7872         (ftp_index): Use fileinfo/urlinfo.
7873
7874         * ftp-unix.c (ftp_parse_ls): New function.
7875         (symperms): New function.
7876
7877         * ftp.c (ftp_1fl_loop): New function, to handle 1-file loops.
7878
7879         * retr.c (retrieve_url): Added FTP support.
7880
7881 1996-06-23  Hrvoje Niksic  <hniksic@srce.hr>
7882
7883         * geturl.h: Removed NOTFTP2HTML enum.
7884         Added DO_LOGIN, DO_CWD and DO_LIST. LIST_ONLY is obsolete.
7885
7886         * ftp.c (getftp): Resynched with urlinfo.
7887         (getftp): Removed HMTL-ization of index.html from getftp.
7888
7889         * version.c: 1.4b6 "released".
7890
7891         * options.h (options): New struct, to keep options in.
7892
7893         * http.c (http_loop,gethttp): Synched with proxy.
7894
7895         * retr.c (retrieve_url): Implemented proxy retrieval.
7896
7897         * main.c (main): Use retrieve_from_file.
7898
7899 1996-06-22  Hrvoje Niksic  <hniksic@srce.hr>
7900
7901         * retr.c (retrieve_from_file): New function.
7902
7903         * url.c (parseurl): Modified to return URLOK if all OK. Protocol
7904         can be found in u->proto.
7905
7906         * ftp.c (ftp_response): Fixed to accept multi-line responses as
7907         per RFC 959.
7908
7909         * recr.c (recursive_retrieve): Take newloc from retrieve_url.
7910
7911         * url.c (mymkdir): Removed the file of the same name, if one
7912         exists.
7913         (isfile): New function.
7914         (mkstruct): Fixed the '/' glitches.
7915         (path_simplify): Hacked to treat something/.. correctly.
7916
7917 1996-06-21  Hrvoje Niksic  <hniksic@srce.hr>
7918
7919         * http.c (gethttp): Close the socket after error in headers.
7920         (http_loop): HEOF no longer a fatal header.
7921
7922         * loop.c (retrieve_url): When dt is NULL, do not modify it. This
7923         simplifies the syntax of calling retrieve_url.
7924
7925         * recr.c (recursive_retrieve): Modified to use get_urls_html.
7926
7927         * url.c (get_urls_file): New function.
7928         (get_urls_html): New function.
7929
7930         * recr.c (recursive_retrieve): Patched up to conform to the
7931         standards.
7932
7933         * http.c (gethttp): Synched with the rest...
7934         (gethttp): Treat only CONREFUSED specially, with connection
7935         errors.
7936
7937         * init.c,geturl.1,http.c (http_loop): Removed kill_error.
7938
7939 1996-06-20  Hrvoje Niksic  <hniksic@srce.hr>
7940
7941         * http.c (http_loop): New function.
7942
7943         * loop.c: Removed *lots* of stuff from retrieve_url.
7944
7945         * url.c (parseurl): Changed to work with urlinfo. Integrated
7946         username finding and path parsing.
7947         (newurl): New function.
7948         (freeurl): New function.
7949         (mkstruct): Removed the old bogosities, made it urlinfo-compliant.
7950         (url_filename): Likewise.
7951         (path_simplify): Accept relative paths too.
7952         (opt_url): Made urlinfo-compliant, removed bogosities.
7953         (path_simplify): Expanded to accept relative paths.
7954         (str_url): A replacement for hide_url
7955         (decode_string): Fixed a bug that caused malfunctioning when
7956         encountering an illegal %.. combination.
7957         (opt_url): Removed the argument. Dot-optimizations are now default.
7958
7959         * nmalloc.c (strdupdelim): New function.
7960
7961         * url.h: Added the urlinfo structure
7962
7963 1996-06-19  Hrvoje Niksic  <hniksic@srce.hr>
7964
7965         * url.c (hide_url): Thrown out the protocol assertion. Do not
7966         change the URL if the protocol if not recognized.
7967         (findurl): Put continue instead of break.
7968
7969 1996-06-18  Hrvoje Niksic  <hniksic@srce.hr>
7970
7971         * sample.geturlrc: Changed the defaults to be commented out and
7972         harmless (previous defaults caused pains if copied to
7973         ~/.geturlrc).
7974
7975         * http.c (gethttp): Print the HTTP request in debug mode.
7976
7977         * connect.c (iread): Added EINTR check loop to select-ing
7978         too. EINTR is now correctly handled with select().
7979
7980         * TODO: new file
7981
7982 1996-05-07  Hrvoje Niksic  <hniksic@srce.hr>
7983
7984         * host.c (same_host): Made the function a little bit more
7985         intelligent regarding diversified URL syntaxes.
7986
7987         * url.c (skip_url): Spaces are now skipped after URL:
7988
7989         * Released 1.3.1 with the patch to prevent crashing when sending
7990         NULL to robot* functions and the patch to compile "out of the box"
7991         on AIX.
7992
7993         * recr.c (recursive_retrieve): Added checking whether this_url is
7994         NULL when calling the robot functions.
7995
7996         * ChangeLog: New file.