]> sjero.net Git - wget/blob - src/ChangeLog
[svn] Warn the user when using weak random seed.
[wget] / src / ChangeLog
1 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
2
3         * gen_sslfunc.c (ssl_init_prng): Warn the user when using a weak
4         random seed.
5
6 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
7
8         * host.c (address_list_contains): Renamed address_list_find to
9         address_list_contains because its result is boolean.
10
11 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
12
13         * connect.c (select_fd): Return 1 if select is not available.
14
15 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
16
17         * connect.c (connect_to_host): Don't reference address list after
18         releasing it.
19
20 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
21
22         * main.c (print_help): Fix alignment of FTP options output.
23
24 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
25
26         * host.c (lookup_host): Check for the ability to create IPv6
27         sockets here.
28
29         * init.c (defaults): Don't auto-set --inet4-only on IPv6-less
30         systems.
31
32 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
33
34         * main.c (print_help): Fix typo in `-O' help message.  Fix docs of
35         -Y/--proxy.  Fix docs of `--cookies' and `--glob'.  Improve docs
36         of --convert-links.  Fix docs of SSL options.
37
38 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
39
40         * ftp-basic.c: Don't include <arpa/inet.h> and others because
41         they're no longer needed.
42
43 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
44
45         * main.c (main): Don't allow setting of both opt.ipv4_only and
46         opt.ipv6_only.
47
48         * init.c (defaults): Mark opt.ipv4_only specially when set
49         automatically.
50
51 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
52
53         * host.c (lookup_host): Use AI_ADDRCONFIG only if the family is
54         unspecified.  This ensures that specifying `--no-inet4' on systems
55         where IPv6 resolves, but doesn't work behaves the same regardless
56         of the availability of AI_ADDRCONFIG.
57
58 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
59
60         * host.c: Don't refer to the now-removed function
61         forget_host_lookup in the documentation of lookup_host.
62
63 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
64
65         * http.c (persistent_available_p): Correctly specify the endpoint
66         argument to socket_ip_address.
67         (gethttp): When printing the "reusing connection to..." message,
68         specify the host name of the reused connection, not the current
69         host name.  That makes more sense because it provides a useful
70         piece of information -- we know to which host we're supposed to
71         connect anyway!
72
73 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
74
75         * init.c: Make sure the options are in alphabetic order!
76
77         * host.c (lookup_host): Merge lookup_host_passive and lookup_host
78         after all -- having both would result in some code duplication.
79         (lookup_host): Set hints.ai_family to AF_INET if ipv4_only is
80         requested.  Likewise, set it to AF_INET6 for ipv6_only.  Specify
81         AI_ADDRCONFIG where available.
82         (lookup_host): New flag LH_REFRESH that specifies that a cached
83         entry for HOST should be refreshed.
84         (cache_query): New function.
85         (cache_store): Ditto.
86         (cache_remove): Ditto.
87         (forget_host_lookup): No longer necessary, replaced with static
88         function cache_remove.
89
90 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
91
92         * main.c: Enable -4 and -6 only if IPv6 is enabled.
93
94 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
95
96         * connect.c (register_transport): Renamed from register_extended.
97         Explain the intended usage.
98
99 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
100
101         * url.c (uri_merge): Merging "foo" and "bar" should result in
102         "bar", not in "foo/bar".
103         (path_simplify): Don't remove empty path elements; don't
104         special-case leading slash.
105         (path_simplify): Don't swallow ".."'s at the beginning of string.
106         E.g. simplify "foo/../../bar" as "../bar", not as "bar".
107         (append_uri_pathel): Defang ".." path element upon encountering
108         it.
109
110 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
111
112         * http.c (persistent_available_p): Don't attempt to talk to two
113         different SSL sites over the same secure connection.
114
115 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
116
117         * http.c (gethttp): Ditto.
118
119         * ftp.c (getftp): Use retryable_socket_connect_error instead of
120         CONNECT_ERROR.
121
122         * wget.h (CONNECT_ERROR): Removed.
123
124         * connect.c (retryable_socket_connect_error): New function instead
125         of unsupported_socket_family_error.
126
127 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
128
129         * wget.h (CONNECT_ERROR): Use it.
130
131         * connect.c (unsupported_socket_family_error): New function.
132
133 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
134
135         * connect.c (bind_local): Renamed bindport to bind_local; return
136         the socket directly.  Updated callers.
137         (accept_connection): Renamed acceptport to accept_connection;
138         return the created socket directly.  Updated callers.
139
140 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
141
142         * init.c (defaults): Turn on opt.ipv4_only if we're compiling with
143         IPv6, and AI_ADDRINFO is not available, and AF_INET6 sockets can't
144         be created.
145
146 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
147
148         * host.c (lookup_host): Document the fact that the addresses are
149         returned in order.
150
151 2003-11-12  Hrvoje Niksic  <hniksic@xemacs.org>
152
153         * utils.c: Use limits.h only where available.
154
155         * hash.c: Use INVALID_PTR and INVALID_PTR_BYTE.  Include limits.h.
156
157 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
158
159         * main.c: Added options --inet4-only and --inet6-only.
160
161 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
162
163         * host.c (host_errstr): Use the more standard message "Unknown
164         host".
165
166 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
167
168         * connect.c (connect_to_host): Use that flag to decide whether to
169         re-resolve the host name.
170
171         * host.c (struct address_list): Added a flag that maintains
172         whether the connection worked at some point.
173
174 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
175
176         * host.c (lookup_host): Special-case the numeric addresses only in
177         the non-IPv6 case.
178
179 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
180
181         * connect.c (resolve_bind_address): Call lookup_host_passive.
182         Make sure that opt.bind_address is resolved only once.
183
184         * host.c (lookup_host_passive): New function, handles "passive"
185         lookups.
186         (lookup_host): Remove the passive flags.  Remove the
187         family-related flags -- use ip_default_family instead.
188
189 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
190
191         * html-url.c: Get URLs from <object data="...">.
192
193 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
194
195         * main.c (option_data): Specify the command to use for --mirror.
196
197 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
198
199         * cookies.c (cookie_handle_set_cookie): Specify exact match for
200         unspecified domains.
201
202 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
203
204         * main.c (main): Removed one-letter options `-C', `-g', `-G', and
205         `-s'.
206
207 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
208
209         * main.c (main): Add --dont-remove-listing for backward
210         compatibility with previous versions.
211         (print_help): Fix typo, spotted by Dennis Smit.
212
213 2003-11-08  Gisle Vanem  <giva@bgnett.no>
214
215         * ftp-basic.c: Support Windows-2000 ftp servers. Win-2000 *is*
216         Win-NT 5.0 so calling it ST_WINNT is okay I guess.
217
218 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
219
220         * progress.c (update_speed_ring): Clear the speed ring when the
221         download stalls.
222
223         * retr.c (get_contents): Specify 0.95s read timeout, so that the
224         progress gauge can be updated even when data arrives very slowly
225         or stalls.
226
227 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
228
229         * utils.c (wtimer_allocate): Bless the use of wtimer_read on a
230         timer that has merely been allocated because get_contents() does
231         that.
232         (wtimer_update): Abort if the timer is not initialized.
233
234 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
235
236         * retr.c (get_contents): Pass the timer to limit_bandwidth().
237
238         * utils.c (wtimer_update): New function instead of wget_elapsed;
239         just update the timer, but don't return anything.
240         (wtimer_read): Read and return the last known value of the timer.
241
242 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
243
244         * http.c (persistent_available_p): Instead of matching all the
245         addresses of HOST and last host, determine the peer's IP address
246         with socket_ip_address and see if that address is one of those
247         HOST resolves to.
248
249         * host.c (address_list_match_all): Removed.
250         (address_list_find): New function, finds an IP address in the
251         address list.
252
253         * ftp.c (ftp_do_pasv): Get the peer's address here, and pass it to
254         ftp_epsv so it doesn't need to call getpeername.
255
256         * ftp-basic.c (ftp_port): Use socket_ip_address instead of
257         getpeername.
258         (ftp_lprt): Ditto.
259
260         * connect.c (socket_ip_address): Replaces conaddr, generalized to
261         either get peer's or local address.
262         (sockaddr_get_data): Made local to this file.
263
264 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
265
266         * hash.c (HASH_POSITION): Explicitly accept the hash function.
267         (grow_hash_table): Extract ht->hash_function outside the loop.
268         (hash_table_remove): Ditto.
269         (hash_table_clear): Fill entries with 0xff to clear them.
270         (hash_table_remove): Mark entries as deleted with the correct
271         marker.
272
273 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
274
275         * http.c (persistent_available_p): No reason for the host lookup
276         to be silent -- it's a lookup like any other.
277
278 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
279
280         * connect.c (register_extended): Check that fd >= 0.
281
282 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
283
284         * connect.c (LAZY_RETRIEVE_INFO): Set LAST_INFO.
285
286 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
287
288         * hash.c (NON_EMPTY): Use the all-bit-set value as the marker that
289         the field is empty.  This allows NULL pointer and 0 value to be
290         used as keys, which is necessary for the connect.c code to work
291         when fd==0.
292         (hash_table_new): Fill mappings with 0xff.
293         (grow_hash_table): Ditto.
294
295 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
296
297         * url.c (url_parse): Allow empty ports.
298
299 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
300
301         * main.c (print_help): Break the help string into multiple chunks.
302         (cmdline_option): New option handler OPT_FUNCALL.  Generalized
303         HANDLE_CMD to generic DATA.
304         (option_data): Use the new OPT_FUNCALL feature.
305
306 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
307
308         * log.h: Declare log_init, log_close, and
309         log_request_redirect_output here.
310
311 2003-11-05  Dennis Smit  <ds@nerds-incorporated.org>
312
313         * main.c: (main): added --preserve-permissions option.
314
315         * ftp.c (ftp_retrieve_list): added support for
316         --preserve-permissions option.
317
318         * init.c: added support for --preserve-permission option.
319
320         * option.h: added support for --preserve-permission option.
321
322 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
323
324         * main.c (init_switches): New function.  Convert option_data to
325         long_options and short_options, which can be fed to getopt_long.
326         (main): Execute command-line options by consulting option_data.
327
328 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
329
330         * gen_sslfunc.c (ssl_read): Implement a more correct check for
331         EINTR.
332         (ssl_write): Ditto.
333         (init_ssl): Use a global SSL context.
334
335 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
336
337         * connect.c (xclose): Free INFO even if it doesn't provide a
338         closer.
339
340 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
341
342         * connect.c: Updated all callers of
343         iread/ssl_iread/iwrite/ssl_iwrite to use xread and xwrite instead.
344
345         * rbuf.h (struct rbuf): Removed the SSL member because SSL is
346         handled automatically by xread.
347
348         * hash.c (ptrhash): Made private.
349         (ptrcmp): Ditto.
350         (inthash): Removed.
351
352         * connect.c (select_fd): Don't set errno, leave it to the caller.
353
354         * gen_sslfunc.c (connect_ssl): Use register_extended to register
355         SSL callbacks for communication with SSL-enabled endpoints.
356         (ssl_read): New function.
357         (ssl_write): Ditto.
358         (ssl_poll): Ditto.
359         (ssl_close): Ditto.
360
361         * connect.c (register_extended): New function -- register
362         callbacks for basic socket operations.
363         (xread): Ditto.
364         (xwrite): Ditto.
365         (xclose): Ditto.
366         (sock_read): New function, default implementation for reading.
367         (sock_write): Ditto for writing.
368         (sock_poll): Ditto for polling.
369         (sock_close): Ditto for closing.
370
371 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
372
373         * connect.c (bindport): Fix compilation under pre-C99 compilers.
374
375 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
376
377         * connect.c (connect_to_ip): More compact error checking.
378         (bindport): Don't treat failed setsockopt as a fatal error.
379
380 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
381
382         * connect.c (resolve_bind_address): Use a more accurate error
383         message -- we're not binding to ANY, we're disabling bind
384         altogether.
385
386 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
387
388         * cookies.c (save_cookies_mapper): Respect the setting of
389         keep-session-cookies.
390         (cookie_jar_load): Import session cookies.
391         Based on code submitted by Nicolas Schodet.
392
393         * utils.c (datetime_str): Use information in TM when it's
394         non-NULL.
395
396         * main.c (main): New option `--keep-session-cookies'.
397
398 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
399
400         * Makefile.in (realclean): Delete config.h.in.
401
402 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
403
404         * config-post.h: New file, included from now autogenerated
405         config.h.in.
406
407 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
408
409         * progress.c (progress_handle_sigwinch): Don't call
410         determine_screen_width() from the signal handler.  Instead, just
411         set a volatile variable.
412         (bar_create): Check whether SIGWINCH was received.
413         (bar_update): Ditto.
414
415         * sysdep.h: Define SYSTEM_FNMATCH only if HAVE_FNMATCH_H is true.
416
417 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
418
419         * utils.c (xsleep): New function.  Uses nanosleep where available,
420         resuming sleeps interrupted by signals.  Updated callers of sleep
421         and usleep to use xsleep.
422
423 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
424
425         * ftp-basic.c (ftp_login): Remove shadowing (and bogus)
426         declaration of SEED.
427
428 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
429
430         * log.c (logvprintf): Documented better.  Renamed to
431         log_vprintf_internal to avoid confusion with the public API
432         functions logprintf and logputs.
433
434 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
435
436         * wget.h (N_): Don't parenthesize argument.
437
438 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
439
440         * host.h (ADDRESS_IPV4_DATA): Don't take the address of in.s_addr
441         because that doesn't work on machines that define it as bitfield.
442
443 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
444
445         * connect.c (select_fd): Generalize the third argument into WAIT,
446         so that the caller can request waiting for both read and write.
447         Updated callers.
448
449 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
450
451         * html-url.c (cleanup_html_url): Destroy the hash tables, don't
452         just call free on them.
453         (init_interesting): Use hash_table_put instead of string_set_add
454         because we don't need the strdup that the latter function
455         performs.
456
457         * init.c (cleanup): Don't pass NULL to cookie_jar_delete.
458
459         * xmalloc.c (xfree_real): Abort when passed a NULL pointer.
460         (xfree_debug): Print at the file and line of the offending call to
461         free.
462
463 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
464
465         * wget.h: Retired the `boolean' type.  Moved the DEFAULT_LOGFILE
466         define to log.h.  Moved the INFINITE_RECURSION define to recur.h.
467
468         * xmalloc.h: Renamed FREE_MAYBE to xfree_null and moved the
469         definition from wget.h to xmalloc.h.
470
471 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
472
473         * html-parse.c (decode_entity): New function; split the decoding
474         of entities here.
475         (convert_and_copy): Use it to decode entities.
476         (decode_entity): Handle the &apos entity.
477         (decode_entity): Don't decode Latin 1 numeric entities.  Don't
478         decode &#0.
479
480 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
481
482         * ftp-opie.c (calculate_skey_response): Use uint32_t instead of
483         `unsigned long' for the cheksum array.  Document the function.
484
485 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
486
487         * connect.c (acceptport): Don't call select_fd when timeout is not
488         requested.
489
490 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
491
492         * host.c: Removed the ip_default_family global variable.
493
494         * host.c (lookup_host): Document the function.  Fixed declaration
495         of VEC.
496
497 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
498
499         * various: Use new macros xnew, xnew0, xnew_array, and xnew0_array
500         in various places.
501
502 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
503
504         * wget.h: Move declarations of malloc and logging code to
505         xmalloc.h and log.h respectively to unclutter this file.
506         (STRDUP_ALLOCA): Made it side-effect free.
507
508         * xmalloc.h: New files.  Define macros xnew, xnew0, xnew_array,
509         and xnew0_array.
510
511         * xmalloc.c: New file.  Move the xmalloc routines here.
512
513 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
514
515         * connect.c (sockaddr_set_data): Remove the broken code that
516         checked for NULL address.
517
518 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
519
520         * host.c (address_list_from_single): Removed.
521         (address_list_from_ipv4_addresses): Renamed from
522         address_list_from_vector.
523
524 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
525
526         * sysdep.h (CLOSE): Don't call close on file descriptors less than
527         0, i.e. on uncreated sockets.
528
529         * connect.c (resolve_bind_address): Work on struct sockaddr
530         directly.
531         (connect_to_host): Replacement for connect_to_many.  Resolve HOST
532         and connect to any of its addresses.  If we can't connect and the
533         host name lookup was cached, try to resolve it again.  This should
534         fix problems with hosts behind dynamic DNS.  Updated all callers.
535         (connect_to_ip): Replacement for connect_to_one.  Removed SILENT;
536         added the argument PRINT instead.  Updated all callers.
537         (set_connection_host_name): Removed.
538
539         * host.c (address_list_address_at): New function instead of
540         address_list_copy_one. It returns a pointer to ip_address *, so
541         it's not necessary to copy the data.
542         (address_list_cached_p): New function.
543         (forget_host_lookup): Ditto.
544
545         * connect.c: Got rid of the MSOCK global variable.  Made bindport
546         return the local socket it creates.  Added a new argument to
547         acceptport, the socket to call accept on.  Updated callers.
548         (closeport): Removed.
549
550         * connect.c: Moved the sockaddr code from host.c to this file,
551         because most of that stuff is used for connecting, and has nothing
552         to do with host names anyway.
553         (sockaddr_set_data, sockaddr_get_data): New functions, replace the
554         old sockaddr_set_address, sockaddr_set_port, sockaddr_get_address,
555         and sockaddr_get_port.
556
557 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
558
559         * sysdep.h: Use `S >= 8' rather than `S == 8' when looking for
560         large integers.
561
562 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
563
564         * url.c (append_uri_pathel): New argument ESCAPED_P that says
565         whether [B, E) is to be treated as URL-escaped or not.  If
566         ESCAPED_P is false, don't unescape the region.
567         (url_file_name): u->file is not URL-escaped.
568
569 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
570
571         * retr.c (retrieve_from_file): Use retrieve_tree for
572         page-requisites.
573
574         * main.c (main): Don't define opt.recursive when -p is used.
575         Instead, make sure that recursion is used for HTTP in that case.
576
577 2003-10-29  Hrvoje Niksic  <hniksic@xemacs.org>
578
579         * host.h: Defined accessors for elements of ip_address.  Updated
580         all callers.
581         (address_list_match_all): Use memcmp in the non-IPv6 case.
582
583         * wget.h (CONNECT_ERROR): Don't retry connecting if connect()
584         returned EAFNOSUPPORT.
585
586 2003-10-27  Mauro Tortonesi <mauro@deepspace6.net>
587
588         * connect.h: changed bindport prototype and added the related
589         BIND_ON_IPV4_ONLY and BIND_ON_IPV6_ONLY flags.
590
591         * connect.c: changed bindport and resolve_bind_address to allow
592         protocol-version specific DNS resolution. modified conaddr,
593         acceptport and connect_to_one to make use of struct
594         sockaddr_storage and of the new ip_address structure.
595
596         * ftp-basic.c: added LPRT/LPSV (RFC1639) support, refactored
597         PORT/PASV (RFC959) and EPRT/EPSV (RFC2428) support code.
598
599         * ftp.c: added the ftp_do_port and ftp_do_pasv functions to
600         handle FTP over IPv6.
601
602         * ftp.h: changed prototype of ftp_epsv and added prototypes for
603         ftp_lpsv, ftp_lprt and ftp_eprt.
604
605         * host.c: renamed the
606         wget_sockaddr_set_address and wget_sockaddr_get_addr, and
607         wget_sockaddr_{s,g}et_port couples to sockaddr_{s,g}et_address and
608         sockaddr_{g,s}et_port respectively.  changed
609         address_list_match_all, address_list_from_addrinfo sockaddr_len,
610         pretty_print_address, lookup_host, sockaddr_{s,g}et_address and
611         sockaddr_{g,s}et_port to make use of struct sockaddr_storage and
612         of the new ip_address structure.  removed map_ipv4_to_ip and
613         map_ip_to_ipv4.
614
615         * host.h: redefined structure ip_address and removed structure
616         wget_sockaddr.
617
618 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
619
620         * sysdep.h: Include inttypes.h where available.
621
622         * host.c: Switch from u_int32_t to uint32_t.
623
624 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
625
626         * netrc.c (parse_netrc): Reset the QUOTE flag after the closing
627         quote.
628
629 2003-10-25  Hrvoje Niksic  <hniksic@xemacs.org>
630
631         * url.c (is_valid_ipv6_address): Reformat to GNU coding style.
632         Use enums for NS_IN* constants.  Use ISXDIGIT.
633
634         * convert.c (construct_relative): Document better how the function
635         works.
636
637 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
638
639         * config.h.in: Deploy preprocessor magic to avoid Ultrix's
640         <netdb.h> include <bitypes.h> which defines its own u_int32_t.
641         Reported by Bernhard Simon.
642
643 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
644
645         * version.c: Bump version.
646
647 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
648
649         * url.c: Ditto.
650
651         * html-parse.c (advance_declaration): Don't use trailing comma in
652         enum because older compilers don't support it.
653
654         * utils.c: Don't redefine HAVE_SIGSETJMP.
655
656 2003-10-16  Hrvoje Niksic  <hniksic@xemacs.org>
657
658         * convert.c (construct_relative): Don't handle absolute files
659         specially -- for example, -P/tmp/foo shouldn't imply that
660         converted files must refer to "/tmp/foo/..."!
661
662 2003-10-15  Hrvoje Niksic  <hniksic@xemacs.org>
663
664         * http.c: Consider status 307 a valid redirect.
665
666 2003-10-15  Philip Stadermann  <philip.stadermann@credativ.de>
667
668         * ftp.c (ftp_retrieve_glob): Correctly loop through the list whose
669         elements might have been deleted.
670
671 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
672
673         * html-url.c (tag_handle_meta): Set the Refresh link to expect
674         HTML.
675         (append_one_url): Renamed to append_url.
676
677 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
678
679         * sysdep.h: Only define u_int32_t.
680
681 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
682
683         * utils.c (large_int_to_string): Use snprintf() to print the
684         number.  This will work even on systems where libc doesn't
685         understand %lld, but the compiler does, because it will use our
686         snprintf replacement.
687
688         * init.c (parse_bytes_helper): New function.
689         (cmd_bytes): Use it to parse bytes, but cast the result to long.
690         (cmd_bytes_large): Ditto, but store the result to LARGE_INT.  Used
691         for --quota so that --quota=10G works even on machines without
692         long long.
693
694         * options.h (struct options): Declare quota as LARGE_INT.
695
696         * retr.c (downloaded_exceeds_quota): Removed.
697         (downloaded_increase): Ditto.
698         (total_downloaded_bytes): New variable, replaces opt.downloaded,
699         which was the wrong place for it anyway.  Updated callers of
700         downloaded_exceeds_quota and downloaded_increase to check this
701         variable directly.
702
703         * sysdep.h: Get rid of VERY_LONG_TYPE.  Use LARGE_INT for the same
704         purpose, defined as `long', `long long' or `double', depending on
705         size of long and whether long long is available.
706
707 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
708
709         * sysdep.h: Also check size of short for int32_t.
710
711 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
712
713         * host.c (lookup_host): Use u_int32_t to store the result of
714         inet_addr().  That removes the need for offset fiddling, caring
715         about endian-ness, etc.
716
717         * sysdep.h: Define int32_t and u_int32_t if not available.
718
719 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
720
721         * ftp-basic.c (ftp_epsv): Use socklen_t * as the third argument to
722         getpeername.
723
724         * config.h.in: Define socklen_t stub.
725
726         * host.c (sockaddr_len): Return socklen_t.
727
728         * connect.c (conaddr): Use socklen_t as the third argument to
729         accept, getsockname, and connect.
730
731 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
732
733         * recur.c (retrieve_tree): Don't descend into documents that are
734         not expected to contain HTML, regardless of their content-type.
735
736         * html-url.c (tag_url_attributes): Record which attributes are
737         supposed to yield HTML links that can be followed.
738         (tag_find_urls): Propagate that information to the caller through
739         struct urlpos.
740
741 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
742
743         * hash.c (find_mapping): Return the next available mapping when
744         the key is not found, not NULL.
745         (hash_table_put): Use find_mapping to find the storage for the new
746         data.
747         (hash_table_put): Grow the table before exceeding maximum
748         fullness, not afterwards.
749
750 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
751
752         * hash.c (hash_table_new): Slightly change the meaning of the
753         first parameter.  Instead of being the minimum initial size, it is
754         now the minimum number of items that the hash table can take
755         without needing to resize.
756
757 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
758
759         * html-url.c (init_interesting): Initialize interesting_tags and
760         interesting_attributes as hash tables.  This simplifies the code
761         immensely because hash tables handle allocation and remove
762         duplicates automatically.
763         (find_tag): Removed.
764         (collect_tags_mapper): Instead of calling find_tag, simply get the
765         entry from interesting_tags hash table, which is both simpler and
766         faster.
767
768 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
769
770         * hash.c (hash_table_get): Declare hash-table argument as const.
771         (find_mapping): Ditto.
772         (hash_table_get_pair): Ditto.
773         (hash_table_contains): Ditto.
774         (hash_table_count): Ditto.
775
776 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
777
778         * html-url.c (get_urls_html): Parse the appropriate flags to
779         html-parse.c.
780
781         * html-parse.c (map_html_tags): Accept FLAGS from the caller
782         instead of examining OPT.
783
784 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
785
786         * html-url.c (find_tag): Switch to binary search.
787
788 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
789
790         * main.c (print_help): Fix typo; stured -> stored.
791
792 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
793
794         * getopt.c: Add definitions of getopt_long and getopt_long_only.
795
796 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
797
798         * config.h.in: Renamed DEBUG to ENABLE_DEBUG.  ENABLE_DEBUG is, I
799         think, a better name, because it implies that debugging output is
800         merely possible, not "on by default", as might be construed from
801         just DEBUG.
802
803 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
804
805         * ftp.c (has_insecure_name_p): Define it here.
806
807         * utils.c (has_wildcards_p): Define it here.
808
809         * sysdep.h: Declare fnmatch-related macros here, if not using
810         system fnmatch().  Update .c files to not declare fnmatch.h
811         directly.
812
813         * cmpt.c (fnmatch): Moved here.  Use it only under non-GNU libc.
814
815 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
816
817         * getopt.c: Newer version, imported from Free libit.
818
819 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
820
821         * cookies.c (struct cookie): Remove unused backpointer to cookie
822         jar.
823
824 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
825
826         * cmpt.c (memmove): Comment out, since it's no longer used.
827
828         * cookies.c (cookie_jar_generate_cookie_header): Allocate room for
829         chains in one pass.
830         (find_chains_of_host): Assume that the caller has allocated DEST
831         to be sufficiently large to take all the data.
832         (eliminate_dups): Run through the array and eliminate dups on the
833         fly instead of using memmove.
834         (cookie_jar_process_set_cookie): Free cookie->domain before
835         re-setting it.
836
837 2003-10-05  Gisle Vanem  <giva@bgnett.no>
838
839         * mswindows.c (set_sleep_mode): Fix type of
840         _SetThreadExecutionState.
841
842 2003-10-05  Hrvoje Niksic  <hniksic@xemacs.org>
843
844         * utils.c (file_size): Return -1 if fopen() returns NULL.  Prior
845         to this patch, wget --post-file=nosuchfile dumped core.
846
847 2003-10-04  Gisle Vanem  <giva@bgnett.no>
848
849         * mswindows.c (run_with_timeout): Use WaitForSingleObject to wait
850         for thread termination.
851
852 2003-10-04  Hrvoje Niksic  <hniksic@xemacs.org>
853
854         * log.c: Use `...' in function definitions; ansi2knr will convert
855         them to va_dcl.  This allowed removal of the ugly VA_START_1 and
856         VA_START_2 macros.
857
858 2003-10-03  Gisle Vanem  <giva@bgnett.no>
859
860         * connect.c: And don't include them here.
861
862         * mswindows.h: Include winsock headers here.
863
864 2003-10-03  Hrvoje Niksic  <hniksic@xemacs.org>
865
866         * html-parse.c (convert_and_copy): Move variable declarations
867         before statements.
868
869 2003-10-02  Gisle Vanem  <giva@bgnett.no>
870         
871         * mswindows.c (run_with_timeout): For Windows: Run the 'fun' in a
872         thread via a helper function. Continually query the thread's
873         exit-code until finished or timed out.
874
875 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
876
877         * wget.h (XMALLOC_ARRAY): Removed.
878         (ALLOCA_ARRAY): Ditto.
879
880         * html-parse.c: Renamed alloca_p to resized.
881         (GROW_ARRAY): Renamed DO_REALLOC_FROM_ALLOCA to GROW_ARRAY and
882         returned it to html-parse.c, since nothing else was using it.
883
884 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
885
886         * retr.c (retrieve_url): Initialize DUMMY storage for DT.  Caught
887         by valgrind.
888
889 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
890
891         * html-parse.c (convert_and_copy): Handle numeric entities in
892         hexadecimal, &#xHH.
893         (convert_and_copy): Copy the contents directly to the pool without
894         a stack-allocated intermediary.
895
896 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
897
898         * utils.c (alarm_set): New function; use either setitimer or alarm
899         to set up the alarm.
900         (alarm_cancel): New function; cancel the alarm set up by
901         alarm_set.
902         (run_with_timeout): Use them.
903
904 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
905
906         * url.c (url_parse): Don't leak memory when a reencoded URL turns
907         out to be invalid.
908
909         * url.c (parse_errors): Mark error messages for translation.
910         (url_error): Translate error messages returned to the caller.
911
912 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
913
914         * ftp.c (ftp_loop_internal): Initialize TMRATE to NULL to shut up
915         the compiler.
916
917 2003-09-26  Gisle Vanem  <giva@bgnett.no>
918
919         * src/mswindows.c: Added ws_percenttitle() showing progress in the
920         window titlebar. Called from retr.c. Secured ws_mypath().
921
922         * windows/config.h.ms: alloca() prototype not needed.  Removed
923         "#undef ENABLE_NLS"; should be in Makefile IMHO. Moved
924         WGET_USE_STDARG from mswindows.h to config.ms.h because of #ifdef
925         in log.c. (MSVC's vararg.h and stdarg.h are incompatible).
926
927 2003-09-29  Aaron Hawley <Aaron.Hawley@uvm.edu>
928
929         * ftp.c (getftp): --spider option should now work with FTP
930         downloads.
931         (ftp_loop_internal): quiet reports and calculations of downloads
932         when --spider option set, nor try deleting when --delete-after
933         also set.
934         (ftp_loop): --spider will skip HTML-ification of .listing file.
935
936 2003-09-26  Gisle Vanem  <giva@bgnett.no>
937
938         * mswindows.c (read_registry): Removed.
939         (set_sleep_mode): New function.
940         (windows_main_junk): Call it.
941
942 2003-09-26  Gisle Vanem  <giva@bgnett.no>
943
944         * mswindows.c (read_registry): Fix invocation of registry
945         functions.
946
947         * mswindows.c (read_registry): Condition definitions of sleep and
948         usleep with not HAVE_SLEEP and HAVE_USLEEP respectively.  Define
949         HAVE_SLEEP and HAVE_USLEEP under __DMC__.
950
951 2003-09-24  Hrvoje Niksic  <hniksic@xemacs.org>
952
953         * url.c (url_escape_1): Revert unintentional change to lowercase
954         xdigit escapes.
955         (url_escape_dir): Document that this function depends on the
956         output of url_escape_1.
957
958 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
959
960         * progress.c (create_image): Print the current ETA if we're done
961         with the download.
962         (create_image): Change '-' display char to '+' in the progress bar.
963
964         * Makefile.in (clean): Remove .libs.
965
966 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
967
968         * cookies.c (struct cookie): New flag domain_exact.
969         (update_cookie_field): Skip leading dot in domain.
970         (find_matching_chains): Match numeric addresses exactly; don't
971         needlessly copy HOST to the stack.
972         (matching_cookie): Added argument HOST.  If cookie->domain_exact
973         is set, check that HOST is equal to cookie->domain.
974         (cookie_jar_load): Only use TAB as delimiter.  Document the
975         meaning of DOMAIN-FLAG.  Skip leading dot in domain.
976         (cookie_jar_load): Don't ignore DOMAIN-FLAG -- instead, set
977         domain_exact to true if DOMAIN-FLAG is false.
978         (save_cookies_mapper): If domain_exact is false, prepend the
979         domain with dot, like Mozilla does.
980
981 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
982
983         * progress.c (create_image): Print the initial part of the
984         download with '-' characters, analogous to how dot progress prints
985         the initial part with ','.
986
987         * hash.c (ptrhash): New function.
988         (ptrcmp): Ditto.
989         (hash_table_new): Default to identity hash table.
990
991 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
992
993         * safe-ctype.h (_sch_test): The cast of BIT to unsigned char was
994         broken -- _sch_istable bitmasks are 16-bit, not 8-bit!  Cast BIT
995         to unsigned short instead.
996
997 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
998
999         * url.c (path_simplify): Instead of calls to memmove, handle "./"
1000         and "../" by advancing pointers.
1001
1002 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
1003
1004         * retr.c (getproxy): Moved from url.c.
1005
1006         * convert.c: Split off link conversion from url.c into separate
1007         file.  Also included the book-keeping stuff from recur.c.
1008
1009 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
1010
1011         * init.c: Improved documentation of functions.
1012         (cmd_boolean): Attempt to make code that tries to avoid calling
1013         strcmp for "speed" a bit more readable.
1014
1015         * init.c (simple_atof): Report error on encountering non-digit,
1016         non-"." character.
1017         (simple_atoi): Replacement for myatoi(), calling interface
1018         compatible with simple_atof.  Updated myatoi's callers.
1019
1020 2003-09-21  Bertrand Demiddelaer  <bert@b3rt.org>
1021
1022         * url.c (path_simplify): Would read two bytes past the end of the
1023         string in the "./" case.
1024
1025 2003-09-21  Matthew J. Mellon  <mellon@tymenet.com>
1026
1027         * http.c (gethttp): Recognize content-type "application/xhtml+xml"
1028         as what Wget considers "text/html".
1029
1030 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
1031
1032         * connect.c (connect_with_timeout): Made timeout type double.
1033
1034         * options.h (struct options): New members read_timeout,
1035         dns_timeout, and connect_timeout.
1036         Use them.
1037
1038 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
1039
1040         * init.c (simple_atof): New function.
1041         (cmd_time): Use it.
1042         (cmd_bytes): Accept things like "1.5k" and such.  Use simple_atof
1043         to parse decimals.
1044
1045         * retr.c (limit_bandwidth): Adjust each sleep by the error of the
1046         previous one.
1047
1048 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
1049
1050         * main.c (main): Use setoptval() for setting the options.  Use
1051         run_command for `-e'.
1052
1053         * init.c (parse_line): Rewritten to return COMIND right away.
1054         Changed linkage to static.
1055         (run_wgetrc): Use the available comind when calling setval, so it
1056         doesn't have to be computed twice.
1057         (setval_internal): New function, runs the command's action without
1058         any error checking.
1059         (setoptval): New function, does what setval used to do, but exits
1060         in case of error.
1061         (run_command): New function.
1062
1063 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
1064
1065         * connect.c (select_fd): Change MAXTIME's type to double.  Handle
1066         its decimal part.
1067
1068         * retr.c (sleep_between_retrievals): In the random-wait case, use
1069         random_float() to wait between 0 and 2*opt.wait seconds.
1070
1071         * utils.c (run_with_timeout): Accept `double' timeouts.  Correctly
1072         handle timeout values in (0, 1) range.
1073         (random_float): New function.
1074
1075         * options.h (struct options): Change the types of wait, waitretry,
1076         and timeout to double.
1077
1078         * init.c (cmd_time): Accept floating point time.
1079
1080 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
1081
1082         * retr.c (get_contents): Cosmetic fixes.
1083
1084 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
1085
1086         * url.c (uri_merge): Get rid of uri_merge_1.
1087         (uri_merge): Merge "foo//", "bar" as "foo//bar", not "foo///bar",
1088         i.e. don't add an extra slash merely because BASE ends with two
1089         slashes.
1090         (parse_credentials): Renamed from parse_uname.  Rewrittern in
1091         standard [beg, end) calling style.
1092         (url_skip_credentials): Renamed from url_skip_uname.  Made static.
1093         (url_skip_credentials): Include # and ; as terminators.  Old code
1094         would mistakenly consider "http://foo.com#hniksic@iskon.hr" to
1095         contain a username.
1096         (url_skip_scheme): Removed because it was unused.
1097         (url_has_scheme): Require "scheme" to be at least one char long.
1098
1099 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
1100
1101         * url.c (url_file_name): Expect NULL dir_prefix.
1102
1103         * init.c (cmd_file): Use a macro to prevent multiple #ifdef
1104         WINDOWS.
1105         (defaults): Set dir_prefix to NULL by default.
1106
1107 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
1108
1109         * safe-ctype.h (_sch_test): Cast BIT to unsigned char, like latest
1110         gcc does.
1111
1112 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
1113
1114         * wget.h (BOUNDED_TO_ALLOCA): Evaluate PLACE only once.
1115         (ARRAY_SIZE): Renamed to countof.  All callers updated.
1116
1117 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
1118
1119         * main.c (main): New option --strict-comments.
1120
1121         * html-parse.c (find_comment_end): New function: simple BM search
1122         for "-->".
1123         (map_html_tags): Use it if looking at a comment and not in strict
1124         comments mode.
1125
1126 2003-09-17  Aurelien Marchand  <artaxerxes@users.sf.net>
1127
1128         * ftp.h: Added OS400 system in enum
1129         * ftp-basic.c: recognize OS400 systems
1130         * ftp.c: don't prepend the CWD if talking to OS400, since it
1131         breaks the change in library
1132
1133 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
1134
1135         * retr.c (get_contents): Pass the correct argument to ssl_iread.
1136
1137 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
1138
1139         * safe-ctype.h: Don't #define ctype.h macros to errors because
1140         that loses when someone #include's ctype.h after safe-ctype.h.
1141
1142 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
1143
1144         * url.c: Undef U, W, C after use.
1145
1146 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
1147
1148         * init.c (cmd_spec_restrict_file_names): Allow the OS setting to
1149         be augmented by ",nocontrol" which means don't escape the control
1150         characters, but otherwise keep OS settings.
1151
1152         * url.c (file_unsafe_char): Deleted.
1153         (append_uri_pathel): Query filechr_table directly.
1154         (filechr_table): Separated Unix, Windows, and control-unsafe
1155         characters.
1156
1157 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
1158
1159         * url.c (url_escape_1): New function.
1160         (url_escape): Use it.
1161         (sync_path): Handle pathological cases where u->file and u->dir
1162         contain really strange characters.
1163         (ENCODE): Deleted.
1164         (REENCODE): Deleted.
1165
1166 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
1167
1168         * url.c (url_file_name): Don't reallocate FNAME if the file
1169         doesn't exist, as is usually the case.
1170
1171         * utils.c (unique_name): New flag allow_passthrough.
1172
1173 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
1174
1175         * utils.c (wtimer_sys_diff): Convert the time difference to signed
1176         __int64, then to double.  This works around MS VC++ 6 which can't
1177         convert unsigned __int64 to double directly.
1178
1179 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
1180
1181         * Makefile.in (clean): Also remove the core.<number> files
1182         produced by recent Linux systems.
1183
1184 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
1185
1186         * http.c (post_file): Don't pad the file if it's not large
1187         enough.  Bail out instead.
1188
1189 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
1190
1191         * retr.c (get_contents): Reduce the buffer size to the amount of
1192         data that may pass through for one second.  This prevents long
1193         sleeps when limiting bandwidth.
1194
1195         * connect.c (connect_to_one): Reduce the socket's RCVBUF when
1196         bandwidth limitation to small values is requested.
1197
1198 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
1199
1200         * progress.c (update_speed_ring): Moved the speed ring update to a
1201         separate function and documented it better.
1202
1203         * progress.c: Use `double' for most timers to support granularity
1204         smaller than 1ms.
1205
1206 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
1207
1208         * wget.h (XDIGIT_TO_XCHAR): Implement as index into a literal
1209         string.
1210         (XDIGIT_TO_xchar): Ditto.
1211
1212 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
1213
1214         * utils.c: Change the type of timer-related functions from long to
1215         double, for better precision.  On machines supporting gettimeofday
1216         the timers now work with granularity of less than one millisecond.
1217
1218 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
1219
1220         * cookies.c (parse_set_cookies): Fixed the parser to handle more
1221         edge conditions.
1222         (test_cookies): New function, contains a test suite for
1223         parse_set_cookies.
1224
1225 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
1226
1227         * url.c (strpbrk_or_eos): Implement as a macro under Gcc.
1228
1229 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
1230
1231         * cookies.c (parse_set_cookies): Allow trailing space in
1232         set-cookies header.  Also, allow any amount of whitespace, not
1233         only one character.  Allow empty set-cookies header without
1234         spewing an error.
1235
1236 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
1237
1238         * url.c (append_uri_pathel): Use opt.restrict_file_names when
1239         calling file_unsafe_char.
1240
1241         * init.c: New command restrict_file_names.
1242
1243         * main.c (main): New option --restrict-file-names[=windows,unix].
1244
1245         * url.c (url_file_name): Renamed from url_filename.
1246         (url_file_name): Add directory and hostdir prefix here, not in
1247         mkstruct.
1248         (append_dir_structure): New function, does part of the work that
1249         used to be in mkstruct.  Iterates over path elements in u->path,
1250         calling append_uri_pathel on each one to append it to the file
1251         name.
1252         (append_uri_pathel): URL-unescape a path element and reencode it
1253         with a different set of rules, more appropriate for handling of
1254         files.
1255         (file_unsafe_char): New function, uses a lookup table to decide
1256         whether a character should be escaped for use in file name.
1257         (append_string): New utility function.
1258         (append_char): Ditto.
1259         (file_unsafe_char): New argument restrict_for_windows, decide
1260         whether Windows file names should be escaped in run-time.
1261
1262         * connect.c: Include <stdlib.h> to get prototype for abort().
1263
1264 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
1265
1266         * utils.c (wtimer_sys_set): Extracted the code that sets the
1267         current time here.
1268         (wtimer_reset): Call it.
1269         (wtimer_sys_diff): Extracted the code that calculates the
1270         difference between two system times here.
1271         (wtimer_elapsed): Call it.
1272         (wtimer_elapsed): Don't return a value smaller than the previous
1273         one, which could previously happen when system time is set back.
1274         Instead, reset start time to current time and note the elapsed
1275         offset for future calculations.  The returned times are now
1276         guaranteed to be monotonically nondecreasing.
1277
1278 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
1279
1280         * host.c (lookup_host): Print the result of the DNS lookup.
1281
1282 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
1283
1284         * init.c (cmd_boolean): Accept yes/no along with on/off.
1285         (cmd_lockable_boolean): Ditto.
1286
1287 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
1288
1289         * init.c: New command dns_cache.
1290
1291         * main.c (main): New option --dns-cache[=off].
1292
1293 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
1294
1295         * config.h.in: Initialize HAVE_GETADDRINFO and ENABLE_IPV6.
1296
1297         * all: Use #ifdef ENABLE_IPV6 instead of the older INET6.  Use
1298         HAVE_GETADDRINFO for getaddrinfo-related stuff.
1299
1300 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
1301
1302         * url.c (url_parse): Return an error if the URL contains a [...]
1303         IPv6 numeric address and we don't support IPv6.
1304
1305 2003-09-05  Hrvoje Niksic  <hniksic@xemacs.org>
1306
1307         * url.c (is_valid_ipv6_address): Modified to not require
1308         zero-terminated strings.
1309         (is_valid_ipv4_address): Ditto.
1310
1311 2003-09-05  Mauro Tortonesi <mauro@deepspace6.net>
1312
1313         src/url.c: added RFC 2732 compliance for URL parsing. The
1314         functions is_*_address valid are a modified version of
1315         glibc 2.3.2 inet_pton's code.
1316
1317 2003-09-03  Ahmon Dancy  <dancy@dancysoft.com>
1318
1319         * main.c init.c options.h: Added --retry-connrefused option so
1320         that Connection Refused failures are treated as non-fatal (when
1321         trying to retrieve from busy servers).
1322
1323         * wget.h: New CONNECT_ERROR macro for encapsulating this
1324         modification.
1325
1326         * ftp.c http.c : Use CONNECT_ERROR macro in places where
1327         ECONNREFUSED was checked.
1328
1329 2003-01-11  Ian Abbott  <abbotti@mev.co.uk>
1330
1331         * ftp.c (ftp_retrieve_glob): Reject insecure filenames as determined
1332         by calling new function has_insecure_name_p.  This is based on a
1333         patch by Red Hat.
1334
1335         * fnmatch.c (has_insecure_name_p): New function: returns non-zero
1336         if filename starts with `/' or contains `../' and is therefore
1337         considered insecure.
1338
1339         * fnmatch.h: Declare has_insecure_name_p().
1340
1341 2002-08-03  Hrvoje Niksic  <hniksic@xemacs.org>
1342
1343         * init.c (cmd_file): Allocate RESULT correctly.
1344
1345 2002-07-24  Hrvoje Niksic  <hniksic@xemacs.org>
1346
1347         * recur.c (retrieve_tree): Check whether downloaded_html_set is
1348         non-NULL before using it.
1349
1350 2002-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1351
1352         * html-parse.c (NAME_CHAR_P): Allow almost any character here.
1353
1354 2002-05-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1355
1356         * progress.c (bar_set_params): Fall back to dot progress if the
1357         terminal type is "emacs".
1358
1359 2002-05-20  Hrvoje Niksic  <hniksic@arsdigita.com>
1360
1361         * log.c: Don't #undef WGET_USE_STDARG.
1362
1363 2002-05-16  Hrvoje Niksic  <hniksic@arsdigita.com>
1364
1365         * hash.c (prime_size): Store the offset of the prime number in the
1366         prime table.  When searching, start with the given offset.
1367         (hash_table_new): Pass the pointer to ht->prime_offset to
1368         prime_size.
1369         (grow_hash_table): Ditto.
1370         (prime_size): Make 13 the first prime to make empty hash tables
1371         slightly smaller.
1372
1373 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
1374
1375         * recur.c (download_child_p): Minor optimization to avoid an
1376         unnecessary additional call to schemes_are_similar_p function.
1377
1378 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
1379
1380         * url.c (schemes_are_similar_p): New function to test enumerated
1381         scheme codes for similarity.
1382
1383         * url.h: Declare it.
1384
1385         * recur.c (download_child_p): Use it to compare schemes.  This
1386         also fixes a bug that allows hosts to be spanned (without the
1387         -H option) when the parent scheme is https and the child's is
1388         http or vice versa.
1389
1390 2002-05-14  Bill Richardson  <bill@riverstonenet.com>
1391
1392         * ftp.c (getftp): Don't ftruncate stdout.
1393
1394         * http.c (gethttp): Don't ftruncate stdout.
1395
1396 2002-05-09  Ian Abbott  <abbotti@mev.co.uk>
1397
1398         * cmpt.c (strptime_internal): Synched with glibc-2.1.3.
1399         (get_number): Ditto.
1400         (get_alt_number): Ditto.
1401         (__isleap): New function-like macro used by strptime.
1402         (day_of_the_week): New function used by strptime.
1403         (day_of_the_year): Ditto.
1404         (__mon_yday): Now shared by mktime and strptime implementations.
1405
1406 2002-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
1407
1408         * cookies.c (check_domain_match): Use match_tail in case
1409         insensitive mode.
1410
1411         * utils.c (match_tail): Allow the caller to specify case
1412         insensitive mode.
1413
1414         * cookies.c (store_cookie): When expiry_time is 0, print it as
1415         undefined, not indefinite.
1416
1417 2002-05-07  Ian Abbott  <abbotti@mev.co.uk>
1418
1419         * cookies.c (cookie_jar_process_set_cookie): Do not store
1420         discarded cookie.
1421
1422 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
1423
1424         * cookies.c (check_domain_match): Allow cookies to be set for
1425         subdomains of unknown top-level domains under some circumstances.
1426
1427 2002-04-21  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
1428
1429         * gen_ssl.c:
1430         - allow checking of server cert
1431         - allow defining client cert type
1432         - allow limit of ssl protocol
1433         - check more return values
1434         - added debug message on break
1435
1436 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
1437
1438         * recur.c (download_child_p): Revert order of items in check
1439         number 6 for clarity.
1440
1441 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
1442
1443         * init.c: Ditto.
1444
1445         * main.c: Ditto.
1446
1447         * http.c: Use the new interface.
1448
1449         * cookies.c: Provide an OO-style "cookie jar" interface to enable
1450         separate cookie jars.
1451
1452         * http.c (http_atotm): Declare argument as const.
1453
1454 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
1455
1456         * cookies.c (cookie_new): Default to PORT_ANY.
1457         (find_cookie_chain_exact): Only search by DOMAIN.
1458         (find_matching_cookie): Also check that PORT matches.
1459         (store_cookie): Only match the domain.
1460         (set_cookie_header_cb): When a cookie "fakes" a domain, assume it
1461         is valid for that host rather than discarding it completely.
1462         (find_matching_chains): Don't search by PORT.
1463         (matching_cookie): Also match PORT.
1464         (load_cookies): Set the port if specified, otherwise leave it as
1465         ANY.
1466         (save_cookies_mapper): Save the port if specified, otherwise leave
1467         it empty.
1468
1469 2002-04-19  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
1470
1471         * init.c: The option `egdfile' was not in sort order.
1472
1473 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
1474
1475         * ftp.c (getftp): Treat directories that begin with <letter>: as
1476         absolute.
1477         (getftp): Strip trailing slashes from con->id before merging it
1478         with TARGET.
1479
1480 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
1481
1482         * http.c (gethttp): If Content-Type is not given, assume
1483         text/html.
1484
1485 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
1486
1487         * recur.c (download_child_p): Don't ignore rejection of HTML
1488         documents that are themselves leaves of recursion.
1489
1490 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
1491
1492         Makefile.in: Updated several dependencies for object files to take
1493         account of nested include files.
1494
1495 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
1496
1497         Makefile.in: The target `connect$o' (connect.o) now depends on
1498         `utils.h'
1499
1500 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
1501
1502         * host.c (SET_H_ERRNO): New function-like macro to set `h_errno'.
1503         (gethostbyname_with_timeout): Use it.
1504
1505         * utils.c: Don't define `SETJMP()', `run_with_timeout_env' or
1506         `abort_run_with_timeout()' when `USE_SIGNAL_TIMEOUT' is undefined.
1507
1508 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
1509
1510         * host.c (getaddrinfo_with_timeout): New function.
1511         (gethostbyname_with_timeout): Ditto.
1512         (lookup_host): Use them.
1513
1514 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1515
1516         * utils.c (number_to_string): Handle the case when n < -INT_MAX.
1517
1518 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1519
1520         * init.c (comind): Use a marginally faster implementation of
1521         binary search.  To quote Martin Buchholz, "a nanosecond saved is a
1522         nanosecond earned."
1523
1524 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1525
1526         * main.c (print_help): Document `--post-data' and `--post-file'.
1527
1528 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1529
1530         * http.c (gethttp): Ditto.
1531
1532         * retr.c (retrieve_url): Initialize variables to appease the
1533         compiler.
1534
1535         * gen_sslfunc.c (ssl_iread): Don't handle EINTR when calling
1536         select_fd.
1537         (ssl_iwrite): Ditto.
1538
1539         * connect.c (select_fd): Rewrite to handle EINTR.  Set errno to
1540         ETIMEDOUT in case of timeout.
1541         (iread): No need to handle EINTR when calling select_fd.
1542         (iwrite): Ditto.
1543
1544 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1545
1546         * retr.c (retrieve_url): Make sure that POST is not honored for
1547         redirections.
1548
1549         * http.c (gethttp): Send the POST data when requested.
1550         (post_file): New function.
1551         (gethttp): Use it.
1552
1553         * main.c (main): Ditto.
1554
1555         * init.c: Add new options.
1556
1557         * options.h (struct options): New options post_data and
1558         post_file_name.
1559
1560 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1561
1562         * connect.c (connect_with_timeout): Firing SIGALRM can result in
1563         connect() exiting with EINTR.  Treat EINTR the same as ETIMEDOUT.
1564
1565 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1566
1567         * connect.c (connect_with_timeout): Use it.
1568
1569         * utils.c (run_with_timeout): New function.
1570
1571 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1572
1573         * url.c (getproxy): Accept a struct url argument.  This obviates
1574         the need for USE_PROXY_P.
1575
1576         * retr.c (retrieve_url): Allow proxy to be a non-FTP URL.
1577
1578         * ftp.c (getftp): Recognize FWTK-style proxy.
1579
1580 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1581
1582         * config.h.in: Only define _VA_LIST when compiled with gcc.
1583
1584 2002-04012  Ian Abbott  <abbotti@mev.co.uk>
1585
1586         * http.c (http_loop): Compensate for MS Windows two-second
1587         granularity of file modification time when comparing timestamps.
1588
1589         * ftp.c (ftp_retrieve_list): Ditto.
1590
1591 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
1592
1593         * utils.c (has_html_suffix_p): New function to test filename for
1594         common html extensions.
1595
1596         * utils.h: Declare it.
1597
1598         * http.c (http_loop): Use it instead of previous test.
1599
1600         * retr.c (retrieve_url): Ditto.
1601
1602         * recur.c (download_child_p): Ditto.
1603
1604 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1605
1606         * config.h.in: Define _VA_LIST on Solaris to prevent stdio.h from
1607         declaring va_list.
1608         From Kevin Rodgers <kevinr@ihs.com>.
1609
1610 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
1611
1612         * Makefile.in: Specify libtool mode explicitly when linking.
1613
1614 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1615
1616         * connect.c (connect_with_timeout): New function.
1617         (connect_to_one): Use it.
1618
1619         * config.h.in: Add stubs for HAVE_SIGSETJMP, HAVE_SIGBLOCK, and
1620         HAVE_SETJMP_H.
1621
1622 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
1623
1624         * log.c: Set WGET_USE_STDARG if __STDC__ is defined and stdarg.h
1625         is present.
1626
1627 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
1628
1629         * progress.c (bar_create): If INITIAL is larger than TOTAL, fix
1630         TOTAL.
1631         (bar_finish): Likewise.
1632
1633 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
1634
1635         * html-url.c (tag_handle_form): New function.  Pick up form
1636         actions and mark them for conversion only.
1637
1638 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
1639
1640         * progress.c (struct progress_implementation): Use PARAMS when
1641         declaring the parameters of *create, *update, *finish, and
1642         *set_params.
1643
1644         * netrc.c: Ditto.
1645
1646         * http.c: Reformat some function definitions so that ansi2knr can
1647         read them.
1648
1649         * hash.c (struct hash_table): Use the PARAMS macro around
1650         parameters in the declaration of hash_function and test_function.
1651         (prime_size): Spell 2580823717UL and 3355070839UL as (unsigned
1652         long)0x99d43ea5 and (unsigned long)0xc7fa5177 respectively, so
1653         that pre-ANSI compilers can read them.
1654         (find_mapping): Use PARAMS when declaring EQUALS.
1655         (hash_table_put): Ditto.
1656
1657         * ftp.h: Wrap the parameters of ftp_index declaration in PARAMS.
1658
1659         * cookies.c (cookie_new): Use (unsigned long)0 instead of 0UL,
1660         which was unsupported by pre-ANSI compilers.
1661
1662         From Nelson H. F. Beebe <beebe@math.utah.edu>, for the most part.
1663
1664 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
1665
1666         * url.c (url_filename): Use compose_file_name regardless of
1667         whether opt.dirstruct is set.
1668         (mkstruct): Don't handle the query and the reencoding of DIR; that
1669         is done in compose_file_name.
1670
1671 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
1672
1673         * wget.h: Ditto for extern char *exec_name.
1674
1675         * options.h: Don't guard against OPTIONS_DEFINED_HERE -- it is
1676         perfectly legal to follow an `extern' with a non-`extern' ones,
1677         provided the types match.
1678
1679         * main.c: Don't define OPTIONS_DEFINED_HERE.
1680
1681 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
1682
1683         * progress.c (create_image): Revert to calculating ETA based on
1684         average download speed.
1685         (create_image): Don't print ETA until the download has been active
1686         for at least 3 seconds.
1687         (create_image): When ETA is not available, don't print anything.
1688         The previous version would print --:--.
1689
1690 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
1691
1692         * progress.c (bar_update): Keep updating a subinterval until it
1693         reaches or exceeds a watermark.  That way the measurement will be
1694         guaranteed to span a configurable minimum of time.  The current
1695         default is 3s in 30 100ms intervals.
1696
1697 2002-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
1698
1699         * progress.c (bar_update): Maintain an array of the time it took
1700         to perform previous 30 network reads.
1701         (create_image): Calculate the download speed and ETA based on the
1702         last 30 reads, not the entire download.
1703         (create_image): Make sure that the ETA is not changed more than
1704         once per second.
1705
1706 2002-04-09  Ian Abbott  <abbotti@mev.co.uk>
1707
1708         * mswindows.c (borland_utime): New function conditionally defined
1709         when `HACK_BCC_UTIME_BUG' is defined.  A reimplementation of
1710         `utime()' as Borland's `utime()' function is broken on Windows 9x
1711         systems.  (Original patch by Chin-yuan Kuo <sr1111111@yahoo.com.tw>.)
1712
1713 2002-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
1714
1715         * ftp.c (ftp_loop): Propagate the result of ftp_retrieve_glob.
1716
1717 2002-03-26  Ian Abbott  <abbotti@mev.co.uk>
1718
1719         * Makefile.in: Updated several dependencies for object files.
1720
1721 2002-03-20  Ian Abbott  <abbotti@mev.co.uk>
1722
1723         * mswindows.c: Include "utils.h".
1724
1725 2002-03-18  Ian Abbott  <abbotti@mev.co.uk>
1726
1727         * host.h: Don't include netdb.h on windows.
1728
1729 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1730
1731         * recur.c (retrieve_tree): Handle the case when start_url doesn't
1732         parse.
1733
1734 2002-02-19  Andreas Damm  <andreas-sourceforge@radab.org>
1735
1736         * wget.h (DO_REALLOC_FROM_ALLOCA): Multiply with sizeof(type) when
1737         calling xmalloc and memcpy.
1738
1739 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1740
1741         * host.h: Include Unix-specific includes #ifndef WINDOWS.
1742         Patch originally provided by Christian Lackas.
1743
1744 2002-02-11  Christian Lackas  <delta@lackas.net>
1745
1746         * recur.c: recurive downloading for https fixed.
1747
1748 2002-02-19  Alan Eldridge  <alane@geeksrus.net>
1749
1750         * host.h: Also include <netinet/in.h> and <sys/socket.h>.
1751
1752         * ftp-basic.c: Also include <netinet/in.h>.
1753
1754 2002-02-05  Ian Abbott  <abbotti@mev.co.uk>
1755
1756         * http.c (gethttp): when -c used, mark already fully retrieved
1757         file as successfully retrieved.
1758
1759 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1760
1761         * url.c (url_parse): Don't treat '?' as query string separator
1762         when parsing FTP URLs.
1763
1764 2002-02-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1765
1766         * html-url.c (tag_handle_meta): Don't crash on <meta
1767         http-equiv=refresh> where content is missing.
1768
1769 2002-01-31  Herold Heiko  <Heiko.Herold@previnet.it>
1770
1771         * ftp-basic.c, host.c: don't include sys/socket.h, arpa/inet.h,
1772         netdb.h on windows.
1773
1774 2002-01-30  Hrvoje Niksic  <hniksic@arsdigita.com>
1775
1776         * retr.c (retrieve_url): Remove redirection cycle detection.  This
1777         is because some sites legitimately redirect the user back to the
1778         same location, e.g. after an authorization check performed by
1779         another page.  MAX_REDIRECTIONS is still used to prevent infinite
1780         redirection loops.
1781
1782 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1783
1784         * http.c (gethttp): Wrap host name in square brackets if it
1785         contains a colon.
1786
1787 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1788
1789         * url.c (url_parse): Allow all hex digits, not only decimal ones,
1790         to form an IP address.
1791
1792 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1793
1794         * url.c (urlchr_table): Make square braces reserved, so we can
1795         parse http://[::1]/.
1796         (url_parse): Handle host in braces.
1797         (url_string): If url->host contains colons, wrap it in braces.
1798
1799 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1800
1801         * connect.c (resolve_bind_address): New function.
1802         (connect_to_one): Use it.
1803         (bindport): Ditto.
1804
1805         * init.c: Don't resolve bind-address here.
1806
1807         * host.c (wget_sockaddr_set_address): Would bug out with ADDR == NULL.
1808
1809 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1810
1811         * host.c (lookup_host): Use sizeof(ip4_address) to calculate the
1812         offset.
1813         (address_list_new): Use map_ipv4_to_ip.
1814         (wget_sockaddr_set_address): Convert ADDR to IPv4 before using it
1815         in IPv4 context.
1816
1817 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1818
1819         * source: Integrated IPv6 support.
1820         Written by Thomas Lussnig <thomas.lussnig@bewegungsmelder.de>.
1821
1822 2002-01-15  Ian Abbott  <abbotti@mev.co.uk>
1823
1824         * init.c (cmd_file): Change `\' to `/' for Windows (yes, really!)
1825         (cmd_directory): New function. Like cmd_file(), but strips
1826         trailing directory separators.
1827         (commands): Change action for "dirprefix" from `cmd_file' to
1828         `cmd_directory'.
1829
1830         * utils.c (make_directory): Allow intermediate `mkdir' calls to
1831         fail, as not all path components that do not exist should be
1832         directory components, especially under Windows.
1833
1834 2002-01-17  Hrvoje Niksic  <hniksic@arsdigita.com>
1835
1836         * netrc.c (parse_netrc): Skip leading whitespace before testing
1837         whether the line is empty.  Empty lines still contain the line
1838         terminator.
1839
1840 2002-01-15  Hrvoje Niksic  <hniksic@arsdigita.com>
1841
1842         * gen_sslfunc.c (ssl_iread): Call select on the file descriptor
1843         only if no data is pending in SSL buffers.
1844         From tony@bluetail.com.
1845
1846 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1847
1848         * headers.c (header_get): Strip trailing whitespace from the
1849         header.
1850
1851 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1852
1853         * url.c (parse_uname): URL-decode *USER and *PASSWD.
1854
1855 2002-01-07  Ian Abbott <abbotti@mev.co.uk>
1856
1857         * url.c (uri_merge_1): Deal with "net path" relative URL (one that
1858         starts with "//").
1859
1860 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1861
1862         * http.c (gethttp): Invalidate SOCK if get_contents encountered an
1863         error.
1864
1865 2001-12-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1866
1867         * version.c: Wget 1.8.1 is released.
1868
1869 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1870
1871         * version.c: Wget 1.8.1-pre3 is released.
1872
1873 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1874
1875         * recur.c (retrieve_tree): Enqueue the canonical representation of
1876         start_url, so that the test against dl_url_file_map works.
1877
1878 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1879
1880         * log.c (logputs): Check for requested verbosity before printing
1881         anything.
1882
1883 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1884
1885         * html-url.c (tag_handle_link): Treat the "shortcut icon" link as
1886         inline.
1887
1888 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1889
1890         * recur.c (retrieve_tree): Make a copy of file obtained from
1891         dl_url_file_map because the code calls xfree(file) later.
1892
1893 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1894
1895         * recur.c (register_html): Maintain a hash table of HTML files
1896         along with the list.  Disallow duplicates.
1897         (retrieve_tree): Use downloaded_html_set to check whether the file
1898         found in dl_url_file_map is an HTML file, and descend into it if
1899         so.
1900         (convert_all_links): Don't guard against duplicates in
1901         downloaded_html_list, since they are no longer possible.
1902
1903 2001-12-18  Ian Abbott  <abbotti@mev.co.uk>
1904
1905         * recur.c (retrieve_tree): Pass on referring URL when retrieving
1906         recursed URL.
1907
1908 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
1909
1910         * version.c: Wget 1.8.1-pre2 is released.
1911
1912 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
1913
1914         * retr.c (sleep_between_retrievals): Simplify indentation.
1915
1916 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
1917
1918         * gen_sslfunc.c (ssl_init_prng): Use random_number to get a byte
1919         of "randomness" at a time.
1920         (ssl_init_prng): Don't seed the PRNG; random_number will do that.
1921
1922         * retr.c (sleep_between_retrievals): Use it.  Make sure that the
1923         random amount averages in opt.wait.
1924         (sleep_between_retrievals): Don't seed the PRNG; random_number
1925         will do that.
1926
1927         * utils.c (random_number): New function.
1928
1929 2001-12-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1930
1931         * url.c (path_simplify): Move here from utils.c, and make static.
1932
1933 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1934
1935         * init.c (wgetrc_file_name): Print correct message when loading
1936         getenv("WGETRC") fails.
1937
1938 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1939
1940         * recur.c (register_download): Don't abort when one URL references
1941         two different files.
1942
1943 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1944
1945         * http.c (gethttp): Check for conn->scheme, not u->scheme, before
1946         calling ssl_iwrite.
1947
1948 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1949
1950         * version.c: Wget 1.8.1-pre1 is released.
1951
1952 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1953
1954         * res.c (matches): Fix broken URL in the docstring.
1955
1956 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1957
1958         * html-url.c (tag_url_attributes): Mark <embed href=...> as
1959         external.
1960
1961 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1962
1963         * url.c (get_urls_file): Cosmetic changes.
1964
1965 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1966
1967         * html-url.c (append_one_url): Resurrect warning when unable to
1968         resolve a relative link.
1969
1970 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1971
1972         * html-url.c (collect_tags_mapper): Break into several functions.
1973         (tag_url_attributes): Collect <embed href=...>.
1974
1975 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
1976
1977         * host.c: New type ipv4_address.  Use it consistently instead of
1978         `unsigned char[4]' and `unsigned char *'.
1979         (pretty_print_address): Accept a `const void *', to require even
1980         less casting.
1981
1982 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
1983
1984         * ftp-ls.c (ftp_parse_vms_ls): Fix obvious memory leaks.
1985
1986 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
1987
1988         * main.c (main): Initialize progress after fork_to_background, so
1989         that it knows when to use dots.
1990
1991         * mswindows.c (ws_hangup): Call log_request_redirect_output.
1992
1993         * utils.c (fork_to_background): Print the PID of the child
1994         process.
1995
1996         * log.c (log_request_redirect_output): Set a flag that output
1997         redirection has been requested.  Doing anything else in a signal
1998         handler is unsafe.
1999         (check_redirect_output): New function: check whether redirection
2000         has been requested and, if so, call redirect_output().
2001         (logputs): Call check_redirect_output.
2002         (logprintf): Ditto.
2003         (debug_logprintf): Ditto.
2004         (redirect_output): Print clearer messages.
2005
2006         * main.c (redirect_output_signal): Don't call
2007         redirect_output_signal directly.  Instead, call
2008         log_request_redirect_output.
2009
2010         * utils.c (memfatal): Ditto.
2011
2012         * progress.c (display_image): Use it.
2013
2014         * log.c (log_set_save_context): New function: allow the caller to
2015         turn off saving log context lines.
2016
2017 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2018
2019         * host.c (address_list_set_faulty): Uncomment a sanity check.
2020
2021 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2022
2023         * utils.c (long_to_string): Return a pointer after where the
2024         number ends.
2025         (long_to_string): Rename to number_to_string.
2026
2027 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2028
2029         * utils.c (path_simplify): Correctly handle the unlikely case that
2030         b starts out as path + 1.
2031
2032 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2033
2034         * utils.c (path_simplify): Rewrite, with better comments, and
2035         without the use of strcpy to move overlapping blocks.
2036
2037 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2038
2039         * init.c (cmd_spec_progress): Resurrect.  Check whether VAL is a
2040         valid progress type before setting it.
2041
2042 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2043
2044         * main.c (main): Remove stray debugging message.
2045
2046 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2047
2048         * progress.c (create_image): Fix ETA padding when hours are prined.
2049
2050 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2051
2052         * version.c: Wget 1.8 is released.
2053
2054 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2055
2056         * url.c (reencode_string): Declare static.
2057
2058         * res.c (registered_specs): Declare static.
2059
2060         * progress.c (current_impl_locked): Declare static.
2061
2062         * log.c (flush_log_p): Declare static.
2063         (needs_flushing): Ditto.
2064
2065         * http.c (digest_authentication_encode): Declare static.
2066
2067         * html-url.c (init_interesting): Declare static.
2068
2069         * host.c (host_name_addresses_map): Declare static.
2070
2071         * cookies.c (find_matching_chains): Declare static.
2072
2073         * ftp-ls.c (ftp_parse_vms_ls): Warn about the memory leak
2074         indicated by lint.
2075
2076         * utils.c (path_simplify): Remove unused variable STUB_CHAR.
2077
2078         * host.c (address_list_set_faulty): Document that INDEX is
2079         currently unused.
2080
2081         * url.c (rewrite_shorthand_url): Remove unused variable PATH.
2082
2083 2001-12-08  Hrvoje Niksic  <hniksic@arsdigita.com>
2084
2085         * version.c: Wget 1.8-pre2 is released.
2086
2087 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2088
2089         * progress.c (progress_handle_sigwinch): Set up the signal again.
2090
2091         * utils.c: Include <sys/termios.h>, where Solaris defines
2092         TIOCGWINSZ.
2093
2094         * progress.c (bar_create): Don't use the last column on the screen.
2095         (create_image): Pad ETA to constant size.  Pad SIZE to nine digits
2096         only until it exceeded them.
2097
2098 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2099
2100         * version.c: Wget 1.8-pre1 is released.
2101
2102 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2103
2104         * progress.c (progress_create): Make sure that, when the output is
2105         redirected, the progress implementation gets changed to the
2106         fallback one.
2107         (bar_set_params): Set current_impl_locked to 1 when "force" is
2108         specified.
2109         (progress_create): Don't change the progress implementation if
2110         current_impl_locked is non-zero.
2111
2112         * main.c (redirect_output_signal): Call
2113         progress_schedule_redirect.
2114
2115         * progress.c (progress_schedule_redirect): New function.
2116
2117 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2118
2119         * log.c (logvprintf): Restructure to allow being called multiple
2120         times.
2121         (logprintf): Call logvprintf in a loop.
2122         (debug_logprintf): Ditto.
2123
2124 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2125
2126         * gen_sslfunc.c (ssl_init_prng): Allow the user to disable EGD by
2127         setting egd_file it to empty string.
2128
2129         * main.c (main): Change the option name from --sslegdsock to
2130         --egd-file.
2131
2132 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2133
2134         * gen_sslfunc.c (ssl_init_prng): Make the printed message
2135         translatable.
2136
2137 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2138
2139         * url.c (scheme_disable): New function.
2140
2141         * main.c (main): Call ssl_init_prng from here rather than from
2142         init_ssl, so that it has a chance to disable support for https
2143         before a URL has been resolved.
2144
2145         * gen_sslfunc.c (ssl_init_prng): Seed with rand() if all else
2146         failed.
2147         (ssl_init_prng): Disable support for https if seeding the PRNG
2148         fails.
2149
2150 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2151
2152         * utils.c (read_whole_line): Handle lines beginning with \0.
2153
2154 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
2155
2156         * recur.c (convert_all_links): Guard against duplicates in
2157         downloaded_html_files.
2158         (register_download): Don't invalidate similar-looking URLs.
2159         (match_except_index): New function.
2160
2161 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
2162
2163         * utils.c (path_simplify): Document with test cases.
2164
2165 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
2166
2167         * gen_sslfunc.c: Ditto.
2168
2169         * rbuf.c: Include <string.h>.
2170
2171 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
2172
2173         * recur.c (retrieve_tree): Check whether the URL was already
2174         downloaded before downloading it again.
2175         (descend_child_p): Renamed to download_child_p.
2176         (register_download): When one URL is downloaded to a file already
2177         "owned" by another URL, delete all references that map any URL to
2178         that file.
2179         (register_delete_file): New function.
2180         (retrieve_tree): Use it after deleting a file.
2181
2182         * url.c (url_parse): Re-canonicalize the URL also if the path is
2183         empty, so that e.g. "http://www.server.com" ->
2184         "http://www.server.com/".
2185         (lowercase_str): Use ISUPPER instead of !ISLOWER.
2186
2187         * retr.c (retrieve_url): Use the canonical URL form when calling
2188         register_download().
2189
2190 2001-12-04  Ian Abbott <abbotti@mev.co.uk>
2191
2192         * snprintf.c (dopr): Use `unsigned int' as the second argument to
2193         va_arg when casting to `unsigned short' is intended.
2194
2195 2001-12-04  Herold Heiko  <Heiko.Herold@previnet.it>
2196
2197         * gen_sslfunc.c: on windows provide ssl crypto random 
2198           initialization through RAND_screen(); could possibly
2199           be not enough for strong ssl communication (see the 
2200           relevant manual page from the openssl package).
2201
2202 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
2203
2204         * url.c (local_quote_string): Reenable quoting of question marks,
2205         but only when `--html-extension' is used.
2206
2207 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
2208
2209         * version.c: Wget 1.8-beta3 is released.
2210
2211 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
2212
2213         * snprintf.c (dopr): Cast the result of va_arg to short int and
2214         short unsigned int where these types are expected to be used.
2215
2216 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
2217
2218         * snprintf.c (dopr): Replace `short int' and `unsigned short int'
2219         with `int' when using it as the second argument to `va_arg'.
2220
2221 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
2222
2223         * host.c (address_list_new_one): New function.
2224         (lookup_host): Use it.
2225
2226 2001-12-03  Andre Majorel  <amajorel@teaser.fr>
2227
2228         * host.c (lookup_host): Don't initialize TMPSTORE directly because
2229         it's not legal C.
2230
2231 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
2232
2233         * ftp-basic.c (ftp_port): Don't return HOSTERR if we fail getting
2234         the socket data.
2235
2236         * ftp.c: Ditto.
2237
2238         * http.c: No need to declare h_errno.
2239
2240         * host.c: Declare h_errno.
2241
2242 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
2243
2244         * utils.c (file_merge): If BASE doesn't contain a slash, just
2245         return a copy of FILE.
2246
2247 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
2248
2249         * version.c: Wget 1.8-beta2 is released.
2250
2251 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2252
2253         * ftp.c (getftp): When PWD fails, assume "/".
2254
2255         * ftp-basic.c (ftp_syst): Fix indentation.
2256
2257 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2258
2259         * url.c (get_urls_file): If opt.base_href is specified, merge each
2260         URL with the base.
2261
2262 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2263
2264         * main.c (print_help): Don't document the removed `-nh'.
2265
2266 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2267
2268         * url.c (url_full_path): Document better.
2269
2270         * http.c (gethttp): Use the full path when creating digest
2271         authorization.
2272
2273 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2274
2275         * cookies.c (path_matches): Return 0 if PREFIX doesn't begin with
2276         '/'.
2277
2278 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2279
2280         * cookies.c (path_matches): FULL_PATH doesn't begin with '/', but
2281         PREFIX does.
2282
2283 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2284
2285         * cookies.c (check_domain_match): Reimplement to match Netscape's
2286         "preliminary specification" for cookies.
2287
2288 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2289
2290         * url.c (replace_attr_refresh_hack): New function.
2291         (convert_links): Call replace_attr_refresh_hack for Refresh
2292         links.  It will add the "TMOUT; URL=" junk before the link.
2293
2294         * html-url.c (collect_tags_mapper): Set ID to the ID of the
2295         "content" attribute, not "http-equiv".
2296         (collect_tags_mapper): Don't use OFFSET to hack the raw_* values;
2297         instead, store the information that this entry belongs to a
2298         "refresh" link.
2299
2300 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2301
2302         * version.c: Wget 1.8-beta1 is released.
2303
2304 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2305
2306         * recur.c (retrieve_tree): Allow -p retrievals to exceed maximum
2307         depth by more than one.
2308
2309 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
2310
2311         * retr.c (retrieve_url): Don't allow more than 20 redirections.
2312
2313 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
2314
2315         * recur.c (retrieve_tree): Skip the non-inline entries when
2316         enqueuing the children of a leaf HTML node in -p mode.
2317         (descend_url_p): Ignore opt.no_parent when in -p mode and UPOS is
2318         "inline".
2319
2320         * html-url.c (get_urls_html): Don't accept dash_p_leaf_HTML.
2321         (collect_tags_mapper): When an entry is "inline", mark it as such.
2322
2323         * recur.c (descend_url_p): Fix test when checking for
2324         acceptance/rejection rules.
2325
2326 2001-10-31 Daniel BODEA <dali@dali-designs.com>
2327
2328         * netrc.c (search_netrc): When slack_default is 0, still look for
2329         an account with matching password, just not the "default account".
2330         HTTP Authorization using .netrc should now work as expected.
2331
2332 2001-11-30  T. Bharath  <TBharath@responsenetworks.com>
2333
2334         * http.c (persistent_available_p): Call SHUTDOWN_SSL if
2335         test_socket_open fails.
2336
2337 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
2338
2339         * progress.c (display_image): Just print one CR to reset the
2340         cursor position.
2341
2342 2001-11-30  Christian Fraenkel  <c.fraenkel@gmx.net>
2343
2344         * init.c: New command `ssl_egd_sock'.
2345
2346         * main.c (main): New option `--sslegdsock'.
2347
2348         * gen_sslfunc.c (ssl_init_prng): Seed the RNG using EGD.
2349
2350 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
2351
2352         * cmpt.c (memmove): Include a simple memmove implementation.
2353
2354 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
2355
2356         * headers: Guard against header files being included twice.
2357
2358 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
2359
2360         * gen-md5.c: Use unsigned char * as the buffer argument to
2361         gen_md5_update.
2362
2363 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
2364
2365         * connect.h: Declare select_fd.
2366
2367 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
2368
2369         * recur.c (descend_url_p): When resolving no_parent, compare with
2370         start_url, not parent url.  Otherwise link from /a/b/ to /a/c/
2371         wouldn't be followed, although the download started from /a/.
2372
2373 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
2374
2375         * config.h.ms, mswindows.h: defined HAVE_ISATTY, use _isatty for
2376         MS VC; somebody with Borland compiler please check and provide
2377         patch if possible;
2378
2379         * cmpt.c: provided a usleep emulation.
2380
2381 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
2382
2383         * host.c (address_list_new): Initialize al->faulty.
2384
2385 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
2386
2387         * http.c (http_process_range): Accept the broken output of
2388         "JavaWebServer/1.1.1".
2389
2390 2001-11-28  Hrvoje Niksic  <hniksic@arsdigita.com>
2391
2392         * progress.c (dot_set_params): If PARAMS is unspecified, use
2393         dot_style, if available.
2394
2395         * init.c: Ditto.
2396
2397         * main.c (main): Resurect --dot-style.
2398
2399         * progress.c (dot_finish): Print the quantity if we're left at the
2400         beginning of a row.
2401
2402 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2403
2404         * cmpt.c (random): Removed.
2405
2406         * retr.c (sleep_between_retrievals): Use the more portable rand()
2407         instead of random().
2408
2409 2001-11-27  Ian Abbott <abbotti@mev.co.uk>
2410
2411         * retr.c (retrieve_from_file): Initialize `new_file' to NULL to
2412         prevent seg fault.
2413
2414 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2415
2416         * connect.c (connect_to_many): Use address_list_set_faulty to
2417         prevent the faulty address from being reused.
2418
2419         * host.c (address_list_set_faulty): New function.
2420         (address_list_get_bounds): New function, instead of
2421         address_list_count.
2422
2423 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2424
2425         * url.c (convert_links): Don't translate %d-%d.
2426
2427         * main.c (print_help): Remove stray HAVE_RANDOM code.
2428
2429 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2430
2431         * ftp.c (getftp): Improve output after sending PASV.  Don't
2432         attempt to "look up" the IP address we already know; call
2433         connect_to_one directly.
2434
2435 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2436
2437         * progress.c: Change the default progress implementation to "bar".
2438
2439 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2440
2441         * progress.c (bar_create): Print two newlines.
2442
2443 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2444
2445         * cmpt.c (random): New function, a simple-minded replacement for
2446         random() on systems that don't have it.
2447
2448 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2449
2450         * config.h.in: Put a HAVE_USLEEP stub.
2451
2452         * cmpt.c (usleep): Replacement implementation of usleep using
2453         select.
2454
2455         * init.c: New option init_rate.
2456
2457         * main.c (main): New option --limit-rate.
2458
2459         * retr.c (limit_bandwidth): New function.
2460         (get_contents): Call it to limit the bandwidth used when
2461         downloading.
2462
2463         * progress.c (dot_update): Would print the wrong download speed on
2464         rows other than the first one when the download was continued.
2465         (dot_finish): Ditto.
2466
2467 2001-11-26  Ian Abbott <abbotti@mev.co.uk>
2468
2469         * http.c (gethttp): fix undeclared variable 'err' when compiled
2470         with HAVE_SSL.
2471
2472 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2473
2474         * progress.c: Don't allocate new timers; use the timing data
2475         propagated from the caller.
2476
2477         * retr.c (get_contents): Allocate and use a timer.
2478
2479 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2480
2481         * http.c (last_host_ip): Made into an address_list.
2482         (invalidate_persistent): Release pc_last_host_ip.
2483         (register_persistent): Use lookup_host.
2484         (persistent_available_p): Check for equality of hosts using
2485         address_list_match_all.  Call address_list_release.
2486         (http_cleanup): New function.
2487
2488         * ftp.c (getftp): Use lookup_host and connect_to_many.
2489
2490         * http.c (gethttp): Use lookup_host and connect_to_many.
2491
2492         * connect.c (make_connection): Removed.
2493         (connect_to_one): New function.
2494         (connect_to_many): Ditto.
2495         (set_connection_host_name): Ditto.
2496
2497         * host.c (lookup_host): New function; new return type.
2498         (address_list_new): New function.
2499         (address_list_count): Ditto.
2500         (address_list_copy_one): Ditto.
2501         (address_list_delete): Ditto.
2502         (address_list_release): Ditto.
2503         (pretty_print_address): Ditto.
2504
2505 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2506
2507         * recur.c (retrieve_tree): In case of followed redirection,
2508         blacklist the pre-redirection URL.
2509
2510 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2511
2512         * recur.c (descend_redirect_p): New function.
2513         (retrieve_tree): Make sure redirections are not blindly followed.
2514
2515 2001-11-04  Alan Eldridge  <alane@geeksrus.net>
2516
2517         * config.h.in: added HAVE_RANDOM.
2518
2519         * options.h: added random_wait to struct options.
2520
2521         * main.c (print_help [HAVE_RANDOM], main): added arg parsing, help
2522         for --random-wait.
2523
2524         * retr.c (sleep_between_retrievals) [HAVE_RANDOM]: added
2525         implementation of random wait times.
2526
2527         * init.c (commands): added "randomwait" keyword.
2528
2529 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2530
2531         * recur.c (descend_url_p): Be more conservative with blacklisting
2532         URLs.
2533         (convert_all_links): Print how many files have been converted, and
2534         how long it took.
2535
2536         * progress.c (create_image): Place the number of downloaded bytes
2537         right after the progress bar.
2538
2539         * utils.c (suffix): Return a pointer into the string.
2540
2541 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2542
2543         * url.c (convert_links): Handle CO_NULLIFY_BASE.
2544
2545         * recur.c (retrieve_tree): Ignore download-ignorable children.
2546         (convert_all_links): Specify CO_NULLIFY_BASE when link_base_p.
2547
2548         * html-url.c (handle_link): Return the newly created urlpos.
2549         (collect_tags_mapper): When dealing with BASE, store the base
2550         reference and mark it as download-ignorable.
2551
2552 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2553
2554         * url.c (convert_links): Attempt to quote '?' as "%3F" when
2555         linking to local files.  Given up on the attempt, as it breaks
2556         local browsing.
2557
2558 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2559
2560         * main.c (private_initialize): Removed.
2561         (main): Don't call private_initialize.
2562
2563         * http.c: Call lookup_host.
2564
2565         * host.c (host_init): Removed.
2566         (add_host_to_cache): Initialize host_name_address_map here, on
2567         demand.
2568         (ngethostbyname): Commented out.
2569
2570         * connect.c (make_connection): Remove dead code; use lookup_host.
2571
2572         * host.c (store_hostaddress): Renamed to lookup_host and reversed
2573         the args.
2574         Removed host_address_name_map and host_slave_master_map.
2575
2576 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2577
2578         * progress.c (dot_create): Align the "[ skipping ... ]" string
2579         with the dots.
2580
2581         * retr.c (rate): Split into two functions: calc_rate and
2582         retr_rate.
2583
2584         * progress.c (create_image): Draw a dummy progress bar even when
2585         total size is unknown.
2586         (display_image): Place the text cursor at the end of the "image".
2587
2588 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2589
2590         * url.c (reencode_string): Use unsigned char, not char --
2591         otherwise the hex digits come out wrong for 8-bit chars such as
2592         nbsp.
2593         (lowercase_str): New function.
2594         (url_parse): Canonicalize u->url if needed.
2595         (get_urls_file): Parse each URL, and return only the valid ones.
2596         (free_urlpos): Call url_free.
2597         (mkstruct): Add :port if the port is non-standard.
2598         (mkstruct): Append the query string to the file name, if any.
2599         (urlpath_length): Use strpbrk_or_eos.
2600         (uri_merge_1): Handle the cases where LINK is an empty string,
2601         where LINK consists only of query, and where LINK consists only of
2602         fragment.
2603         (convert_links): Count and report both kinds of conversion.
2604         (downloaded_file): Use a hash table, not a list.
2605         (downloaded_files_free): Free the hash table.
2606
2607         * retr.c (retrieve_from_file): Ditto.
2608
2609         * main.c (main): Call either retrieve_url or retrieve_tree
2610         for each URL, not both.
2611
2612         * retr.c (register_all_redirections): New function.
2613         (register_redirections_mapper): Ditto.
2614         (retrieve_url): Register the redirections.
2615         (retrieve_url): Make the string "Error parsing proxy ..." 
2616         translatable.
2617
2618         * res.c (add_path): Strip leading slash from robots.txt paths so
2619         that the path representations are "compatible".
2620         (free_specs): Free each individual path, too.
2621         (res_cleanup): New function.
2622         (cleanup_hash_table_mapper): Ditto.
2623
2624         * recur.c (url_queue_new): New function.
2625         (url_queue_delete): Ditto.
2626         (url_enqueue): Ditto.
2627         (url_dequeue): Ditto.
2628         (retrieve_tree): New function, replacement for recursive_retrieve.
2629         (descend_url_p): New function.
2630         (register_redirection): New function.
2631
2632         * progress.c (create_image): Cosmetic changes.
2633
2634         * init.c (cleanup): Do all those complex cleanups only if
2635         DEBUG_MALLOC is defined.
2636
2637         * main.c: Removed --simple-check and the corresponding
2638         simple_host_check in init.c.
2639
2640         * html-url.c (handle_link): Parse the URL here, and propagate the
2641         parsed URL to the caller, who would otherwise have to parse it
2642         again.
2643
2644         * host.c (xstrdup_lower): Moved to utils.c.
2645         (realhost): Removed.
2646         (same_host): Ditto.
2647
2648 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2649
2650         * utils.c (path_simplify): Preserver the (non-)existence of
2651         leading slash.  Return non-zero if changes were made.
2652
2653 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2654
2655         * progress.c (bar_update): Don't modify bp->total_length if it is
2656         zero.
2657
2658 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2659
2660         * retr.c (retrieve_url): When the redirection URL doesn't parse,
2661         print the correct error message rather than "UNKNOWN".
2662
2663 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2664
2665         * progress.c (bar_finish): If the timer didn't record any time
2666         since the download beginning, fake 1ms.
2667
2668 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2669
2670         * recur.c (recursive_retrieve): Fix typo.
2671
2672 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
2673
2674         * progress.c (create_image): Don't translate "%ld ".
2675
2676 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
2677
2678         * progress.c (bar_set_params): Allow the user to force the use of
2679         the bar.
2680
2681 2001-11-23  Lemble Gregory  <gregory.lemble@st.com>
2682
2683         * gen_sslfunc.c (ssl_init_prng): New function; seed the SSL RNG.
2684
2685 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
2686
2687         * progress.c: Renamed dp_* functions to dot_* for greater clarity
2688         and consistency with bar_*.
2689         (print_download_speed): Get rid of the unneeded '@' character.
2690         (create_image): Fix download rate geometry.
2691
2692         * progress.c (print_elapsed): Remove spurious space.
2693         (print_elapsed): Renamed to print_download_speed, since that's
2694         what it does.
2695
2696 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
2697
2698         * progress.c (bar_update): If the downloaded amount becomes larger
2699         than the expected amount, adjust the expected amount accordingly.
2700
2701 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
2702
2703         * utils.c (determine_screen_width): New function.
2704
2705         * main.c (main): New option `--progress=TYPE'.
2706         (main): Implement compatibility with the old option `--dot-style'.
2707
2708         * init.c: Removed cmd_spec_dotstyle -- that logic is now in
2709         dp_set_params.
2710         (cmd_spec_progress): New function.
2711
2712         * retr.c (get_contents): Use the progress_* functions instead of
2713         the old show_progress().
2714         (show_progress): Removed.
2715         (rate): Print "xxxx.xx K/s" instead of "KB/s".  Ditto for MB/s,
2716         etc.
2717
2718         * progress.c (set_progress_implementation): New function.
2719         (valid_progress_implementation_p): Ditto.
2720         (progress_create): Ditto.
2721         (progress_update): Ditto.
2722         (progress_finish): Ditto.
2723         (dp_create): Ditto.
2724         (dp_update): Ditto.
2725         (dp_finish): Ditto.
2726         (dp_set_params): Ditto.
2727         (print_elapsed): Ditto.
2728
2729 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
2730
2731         * retr.c (show_progress): Use it.
2732
2733         * log.c (log_set_flush): New function.
2734
2735 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
2736
2737         * utils.c (path_simplify): Don't remove trailing slashes.
2738
2739         * ftp.c (ftp_get_listing): Use it.
2740
2741         * utils.c (file_merge): New function.
2742
2743         * url.c (opt_url): Removed.
2744
2745         * recur.c (recursive_retrieve): Inline "opt_url" logic.
2746
2747         * main.c (main): Use xfree(), not free().
2748
2749         * url.c (rewrite_url_maybe): Renamed to rewrite_shorthand_url.
2750
2751         * ftp.c (ccon): Move `ccon' typedef here, since it's only used
2752         internally.
2753
2754         * config.h.in: Include a stub for HAVE_STRPBRK.
2755
2756         * cmpt.c (strpbrk): Include a replacement for systems without
2757         strpbrk().
2758
2759         * ftp.c: Use url_set_dir and url_set_file when modifying the URL.
2760
2761         * url.c (url_set_dir): New function.
2762         (url_set_file): Ditto.
2763
2764         * ftp-basic.c (ftp_process_type): Process FTP type here; the URL
2765         parser makes the URL "params" available, so we can do that in this
2766         function.
2767
2768         * retr.c: Ditto.
2769
2770         * ftp.c: Ditto; pass the local file information in `ccon'.
2771
2772         * http.c: Get rid of the ugly kludge that had URL being replaced
2773         with the proxy URL when proxy retrieval was requested.  Use a
2774         separate parameter to http_loop and gethttp for the proxy URL.
2775
2776         * http.c: Changed to reflect the fact that local file, proxy, and
2777         referer information are no longer stored in struct url.  The local
2778         file information is passed in `struct hstat' now.
2779
2780         * url.c: Reworked URL parsing to be more regular.  Reencode the
2781         URL using reencode_string.
2782         Removed non-URL-related information from struct url.  This
2783         includes fields `proxy', `local', and `referer'.
2784
2785 2001-11-22  Jochen Hein  <jochen@jochen.org>
2786
2787         * main.c (main): Split the copyright notice for easier
2788         translation.
2789
2790 2001-08-21  Dave Turner <dct25@hermes.cam.ac.uk>
2791
2792         * ftp-basic.c (ftp_size): New function to send non-standard SIZE
2793           command to server to request file size.
2794         * ftp.h (ftp_size): Export it.
2795         * ftp.c (getftp): Use new ftp_size function if restoring
2796           transfer of a file with unknown size.
2797
2798 2001-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2799
2800         * url.c (parseurl): Don't depend on the now-obsolete TYPE.
2801
2802 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2803
2804         * url.c (getproxy): Handle URL shorthands.
2805
2806 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2807
2808         * main.c: Remove --wait / --waitretry backwards compatibility
2809         code.
2810         
2811 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2812
2813         * main.c (main): Use it.
2814
2815         * url.c (rewrite_url_maybe): New function.
2816
2817 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2818
2819         * url.c: Clean up handling of URL schemes.
2820
2821 2001-05-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2822
2823         * url.c: Get rid of `protostrings'.
2824         (skip_proto): Don't use protostrings.
2825         (has_proto): Ditto.
2826
2827 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2828
2829         * Makefile.in: Conditionally compile getopt.o.
2830
2831 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2832
2833         * md5.h: Renamed to gnu-md5.h.
2834
2835         * md5.c: Renamed to gnu-md5.c.
2836
2837         * http.c: Ditto.
2838
2839         * ftp-opie.c: Use the new macros.
2840
2841         * sysdep.h: Define md5-related macros.
2842
2843         * config.h.in: Define HAVE_SOLARIS_MD5 or HAVE_BUILTIN_MD5
2844         depending on which md5 implementation is used.
2845
2846 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2847
2848         * res.c (res_register_specs): Initialize OLD and HP_OLD to appease
2849         the compiler.
2850
2851 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2852
2853         * http.c (gethttp): Print the whole response line when printing
2854         headers is requested.
2855
2856 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2857
2858         * res.c: New file.  Implement all RES-related code here.
2859
2860 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2861
2862         * version.c: Wget 1.7.1 is released.
2863
2864 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
2865
2866         * headers.c (header_extract_number): Ignore trailing whitespace.
2867
2868 2001-08-24  Ian Abbott  <abbotti@mev.co.uk>
2869
2870         * html-url.c (collect_tags_mapper): Fix bug converting links
2871         with -k option for tags with multiple link attributes by
2872         handling links in the order they appear.
2873
2874 2001-08-15  Ian Abbott  <abbotti@mev.co.uk>
2875
2876         * ftp.c (ftp_loop_internal): Avoid a potential buffer overflow in
2877           the call to the 'rate' function by moving it past the error
2878           checking for the 'getftp' function return value.
2879
2880 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
2881
2882         * html-parse.c (advance_declaration): Use 0x22 instead of '"' or
2883         '\"'.  Different compilers' assert macros are broken in different
2884         ways.
2885
2886 2001-09-29  Christian Fraenkel  <c.fraenkel@gmx.net>
2887
2888         * http.c (gethttp): print debug output for errors occuring during
2889         the ssl handshake.
2890
2891 2001-11-16  Chris Seawood  <cls@seawood.org>
2892
2893         * init.c: Ditto.
2894
2895         * host.c: Ditto.
2896
2897         * connect.c: Ditto.
2898
2899         * sysdep.h: Support compilation under BEOS.
2900
2901 2001-06-08  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
2902
2903         * url.c (url_equal): Fix a memory leak when parseurl returns an
2904         error on the second URL. Also, since url_equal is not used at the
2905         moment, do not compile it.
2906
2907         * url.h: Ditto for the prototype of url_equal.
2908
2909 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
2910
2911         * html-parse.c (map_html_tags): Support XML-style empty tags.
2912
2913 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2914
2915         * wget.h (DO_REALLOC_FROM_ALLOCA): Check for do_realloc_newsize in
2916         loop condition because we're no longer setting SIZEVAR here.
2917
2918 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2919
2920         * wget.h (DO_REALLOC_FROM_ALLOCA): Set SIZEVAR after the memcpy()
2921         call because it needs the old value.
2922
2923 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2924
2925         * cookies.c (ATTR_NAME_CHAR): Allow almost any character to be in
2926         an attribute name.
2927
2928 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2929
2930         * url.c (url_filename): Make sure that slashes that sneak in to
2931         u->file via query string get protected.
2932         (file_name_protect_query_string): New function.
2933
2934 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2935
2936         * recur.c (recursive_retrieve): Also check undesirable_urls with
2937         canonicalized URL.
2938
2939 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2940
2941         * http.c (gethttp): Search `.netrc' with real host, not the proxy
2942         one.
2943
2944 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2945
2946         * sysdep.h (MAP_FAILED): Provide MAP_FAILED for systems that don't
2947         define it.
2948
2949 2001-06-09  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2950
2951         * ftp.h: Provide correct prototype for ftp_parse_ls().
2952
2953 2001-06-04  Hrvoje Niksic  <hniksic@arsdigita.com>
2954
2955         * version.c: Wget 1.7 is released.
2956
2957 2001-06-03  Karl Eichwalder  <ke@suse.de>
2958
2959         * ftp-ls.c (ftp_parse_ls): Fix typo.
2960
2961 2001-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2962
2963         * all: Update copyright information.
2964
2965 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2966
2967         * http.c (gethttp): Indicate that the continued download failed
2968         for *this* file.
2969
2970 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2971
2972         * version.c: Wget 1.7-pre1 is released.
2973
2974 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2975
2976         * version.c: Updated version to 1.7-pre1.
2977
2978 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2979
2980         * gen_sslfunc.c: Don't include <sys/time.h> directly.
2981
2982 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2983
2984         * http.c (gethttp): Use real URL data for cookies, not the proxy
2985         stuff.
2986
2987 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2988
2989         * main.c (print_help): Document `--no-http-keep-alive'.
2990
2991         * utils.c (numdigit): Handle negative numbers *correctly*.
2992
2993         * hash.c (make_nocase_string_hash_table): Use term "nocase" rather
2994         than the confusing "unsigned".
2995
2996         * utils.c (string_set_contains): Renamed from string_set_exists.
2997
2998         * hash.c (hash_table_contains): Renamed from hash_table_exists.
2999
3000         * cookies.c: Move case-insensitive hash tables to hash.c.
3001
3002 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3003
3004         * http.c (gethttp): Before concluding that the file is already
3005         fully retrieved, make sure that the file existed and `Range' was
3006         actually requested.
3007
3008 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3009
3010         * cookies.c (eliminate_dups): New function.
3011         (build_cookies_request): Use it.
3012         (build_cookies_request): Set chain_store_size after reallocating
3013         all_chains.
3014         (check_domain_match): Annotated for easier future debugging.
3015         (store_cookie): In the debug message, print whether the cookie is
3016         permanent.
3017
3018 2001-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3019
3020         * http.c (http_loop): Reset no_truncate before deciding whether to
3021         set it.
3022         (gethttp): Further clarify "-c conflicts with existing file" error
3023         message, based on input from Herold Heiko.
3024
3025 2001-05-07  Hrvoje Niksic  <hniksic@arsdigita.com>
3026
3027         * http.c (http_loop): If restval is set, set no_truncate to 1
3028         unconditionally.
3029
3030 2001-05-02  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3031
3032         * ftp-ls.c (ftp_parse_winnt_ls): Assure months are being correctly
3033         converted. Pointed out by <Stefan.Weil@de.heidelberg.com>.
3034         (ftp_parse_vms_ls): Ditto.
3035
3036 2001-04-30  Hrvoje Niksic  <hniksic@arsdigita.com>
3037
3038         * init.c (cmd_address): Zero SIN before using it; apparently
3039         needed on *BSD.
3040
3041 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3042
3043         * ftp.c (ftp_loop_internal): Don't set NO_TRUNCATE if the file is
3044         empty.
3045
3046 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3047
3048         * main.c (main): Make `--cookies' respect its argument.
3049
3050 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
3051
3052         * main.c (main): Removed undocumented option `--email-address'.
3053
3054         * netrc.c: Use the latest read_whole_line.
3055
3056         * init.c (defaults): Set opt.ftp_pass to "-wget@".
3057
3058         * mswindows.c (pwd_cuserid): Ditto.
3059
3060         * utils.c (pwd_cuserid): Removed.
3061
3062         * host.c (ftp_getaddress): Removed.
3063
3064 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
3065
3066         (http_loop): Allocate space for filename_plus_orig_suffix with
3067         alloca; this is more efficient and removes the need to free it
3068         before each and every return.
3069
3070 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
3071
3072         * http.c (gethttp): Return RETRUNNEEDED when the retrieval is
3073         unneeded because the file is already there and fully downloaded,
3074         and -c is specified.
3075         (http_loop): Handle RETRUNNEEDED.
3076
3077         * wget.h (uerr_t): New value RETRUNNEEDED.
3078
3079         * http.c (http_loop): Set no_truncate for files that both exist
3080         and are non-empty.
3081         (gethttp): Consider the download finished when restval >= contlen,
3082         not only when restval==contlen.
3083         (gethttp): Handle redirection before giving up due to -c.
3084         (gethttp): Clarify error message which explains that -c will not
3085         truncate the file.
3086         (gethttp): When returning CONTNOTSUPPORTED, don't forget to free
3087         the stuff that needs freeing and release the socket.
3088
3089 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3090
3091         * main.c (print_help): Wget booleans accept "off", not "no".
3092
3093 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3094
3095         * http.c (http_loop): If allow_cache is zero, always disable
3096         caching, not only when retrieving through proxy.
3097
3098         * init.c: Ditto.
3099
3100         * options.h (struct options): Rename proxy_cache to allow_cache.
3101
3102 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3103
3104         * http.c (mktime_from_utc): Improve documentation.
3105         (http_atotm): Put format strings into a separate array.
3106
3107 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3108
3109         * safe-ctype.h: Instead of throwing #error when isalpha is
3110         defined, redefine it to something that will throw a compile-time
3111         error if actually *used*.  Do the same for the rest of the
3112         standard C macros.
3113
3114 2001-04-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3115
3116         * url.c (getproxy): Ignore empty proxy vars.
3117
3118 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3119
3120         * http.c (http_loop): Would load cookies every time.
3121
3122         * cookies.c (load_cookies): Handle cookies whose values contain
3123         embedded spaces.
3124
3125 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3126
3127         * utils.c: Define each DIGITS_* in one line.
3128
3129 2001-04-25  Roger L. Beeman  <beeman@cisco.com>
3130
3131         * http.c (http_atotm): Initialize t.tm_isdst to 0.
3132         (mktime_from_utc): Prevent mktime() from having discontinuities at
3133         DST transition points.
3134
3135 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3136
3137         * html-url.c (get_urls_html): Fix documentation.
3138
3139 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3140
3141         * url.c (UNSAFE_CHAR): Reimplement using a static table.
3142         (url_init): Removed.
3143         (init_unsafe_char_table): Removed.
3144
3145 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3146
3147         * snprintf.c (dopr): Replace ISDIGIT with '0' <= ch && ch <= '9'.
3148
3149 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3150
3151         * utils.c: Document timer functions.
3152
3153         * retr.c (rate): Use it.
3154         (rate): Print in GB/s if transfer rate exceeds 1 GB/s.
3155
3156         * utils.c (wtimer_granularity): New function.
3157
3158 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3159
3160         * retr.c (show_progress): Ditto.
3161
3162         * ftp.c (getftp): Ditto.
3163
3164         * http.c (gethttp): Use new timer functions.
3165
3166         * utils.c (wtimer_allocate): New function.
3167         (wtimer_new): Ditto.
3168         (wtimer_delete): Ditto.
3169         (wtimer_reset): Ditto.
3170         (wtimer_elapsed): Ditto.
3171
3172 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3173
3174         * utils.c (long_to_string): New, faster version.  Favors smaller
3175         numbers; much of the calculation is now done at compile-time.
3176
3177 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3178
3179         * utils.c (numdigit): Handle negative numbers.
3180
3181 2001-04-23  Hrvoje Niksic  <hniksic@arsdigita.com>
3182
3183         * retr.c (show_progress): Print the download rate even when the
3184         percentages are not available.
3185
3186 2001-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
3187
3188         * ftp.c (getftp): Adjust expected_bytes if the length is
3189         authoritative.
3190
3191 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3192
3193         * url.c: Don't declare `construct'.
3194
3195         * hash.c (grow_hash_table): Speed up rehashing; inline storing of
3196         mappings to new locations.
3197         (hash_table_new): Make resize_threshold a field in the hash table,
3198         so we don't have to recalculate it in each hash_table_put.
3199         (grow_hash_table): Update resize_threshold.
3200         (MAX): Remove unused macro.
3201         (prime_size): Made static.
3202
3203 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3204
3205         * retr.c (retrieve_url): Call uri_merge, not url_concat.
3206
3207         * html-url.c (collect_tags_mapper): Call uri_merge, not
3208         url_concat.
3209
3210         * url.c (mkstruct): Use encode_string instead of xstrdup followed
3211         by URL_CLEANSE.
3212         (path_simplify_with_kludge): Deleted.
3213         (contains_unsafe): Deleted.
3214         (construct): Renamed to uri_merge_1.
3215         (url_concat): Renamed to uri_merge.
3216
3217 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3218
3219         * url.c (str_url): Use encode_string instead of the unnecessary
3220         CLEANDUP.
3221         (encode_string_maybe): New function, returns input string if no
3222         encoding is needed.
3223         (encode_string): Call encode_string_maybe to do the dirty work,
3224         xstrdup if no work needed.
3225
3226 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3227
3228         * wget.h (XDIGIT_TO_xchar): Define here.
3229
3230         * url.c (decode_string): Use new name.
3231         (encode_string): Ditto.
3232
3233         * http.c (XDIGIT_TO_xchar): Rename HEXD2asc to XDIGIT_TO_xchar.
3234         (dump_hash): Use new name.
3235
3236         * wget.h: Rename ASC2HEXD and HEXD2ASC to XCHAR_TO_XDIGIT and
3237         XDIGIT_TO_XCHAR respectively.
3238
3239 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3240
3241         * init.c: Include cookies.h.
3242
3243         * cookies.h: Declare cookies_cleanup.
3244
3245         * cookies.c (check_domain_match): Remove unused variable.
3246         (save_cookies): Remove extraneous argument from debug statement.
3247
3248         * host.c (same_host): Don't call skip_url.
3249
3250         * url.c (skip_url): Removed.  Removed its calls from various
3251         functions in url.c.
3252
3253 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3254
3255         * cookies.c (unsigned_string_hash): Use the new code in
3256         string_hash as reference.
3257
3258         * hash.c (hash_table_map): Allow deletion and change of the
3259         element processed by MAPFUN.
3260         (string_hash): Use the function from glib.
3261
3262 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3263
3264         * config.h.in: Include #undef stub.
3265
3266         * hash.c (hash_table_remove): Rewrite to actually clear deleted
3267         entries instead of just marking them as deleted.
3268
3269 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3270
3271         * hash.h: Declare hash_table_get_pair and hash_table_count.
3272
3273 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3274
3275         * cookies.c: Declare http_atotm.
3276
3277 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3278
3279         * ftp-ls.c (ftp_parse_unix_ls): Use octal constants for
3280         permissions.  A compiler that doesn't accept octal constants is
3281         seriously broken and shouldn't be used -- octal constants were
3282         present in K&R C!
3283
3284 2001-01-20  Karl Eichwalder  <ke@suse.de>
3285
3286         * Makefile.in: Provide and use DESTDIR according to the Coding
3287         Standards.
3288
3289 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3290
3291         * ftp-ls.c (ftp_parse_vms_ls): Make seconds optional in time
3292         specification.
3293
3294 2001-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3295
3296         * url.c (parseurl): Don't strip trailing slash when u->dir is "/"
3297         because that strips the *leading* slash, thus forcing relative
3298         FTP retrieval.
3299
3300 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3301
3302         * ftp.c (getftp): Convert initial FTP directory from VMS to UNIX
3303         notation for VMS servers. 
3304         (ftp_retrieve_dirs): Do not prepend '/' to f->name when
3305         odir is an empty string.
3306
3307 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3308
3309         * ftp-ls.c (ftp_parse_winnt_ls): Made the fix for AM/PM more
3310         effective. Suggested by Edward J. Sabol.
3311
3312 2001-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3313
3314         * cookies.c (build_cookies_request): Use and sort cookies from all
3315         matching domains.
3316         (build_cookies_request): Check for duplicates before generating
3317         the `Cookies' header.
3318
3319         * main.c (main): Don't load cookies here.
3320         (main): Make loadcookies and savecookies call the correct command.
3321
3322         * http.c (http_loop): Load cookies on-demand.
3323
3324 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3325
3326         * http.c (gethttp): Fix indentation of SSL ifdef.
3327
3328 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3329
3330         * ftp.c (ftp_retrieve_dirs): Don't forcibly prepend "/" to u->dir;
3331         that hack is no longer necessary.
3332         (getftp): Prepend initial directory to *non*-absolute u->dir's.
3333
3334 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3335
3336         * init.c (cmd_file): New function.
3337         (enable_tilde_expansion): New variable.
3338         (run_wgetrc): Use it.
3339         (cmd_file): Use it.
3340
3341 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3342
3343         * init.c: Include cookie-related options.
3344
3345         * main.c (main): Include cookie-specific options.
3346         (main): Load cookies before download is finished.
3347         (main): Save cookies when done.
3348
3349         * http.c (gethttp): Process the `Set-Cookie' header.
3350         (gethttp): Include cookies in the response.
3351
3352         * cookies.c: New file.
3353
3354 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3355
3356         * utils.c (datetime_str): New function.
3357
3358 2001-04-08  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3359
3360         * ftp-ls.c (ftp_parse_winnt_ls): The AM/PM change did assume
3361         12:01PM == 00:01, which was obviously wrong. Taken care of this
3362         anomaly.
3363
3364         * ChangeLog: Removed an excess conflict marker. Reformatted the
3365         entry by Philipp Thomas from 2001-03-09.
3366
3367         * ftp-ls.c (ftp_parse_winnt_ls): Ensure that adjusted PM hours lay
3368         between 0 and 23. Elminate unused variable `sec'.
3369
3370 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3371
3372         * hash.c (hash_table_count): New function.
3373
3374 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3375
3376         * utils.c (read_file): Cast MAP_FAILED to char *.  Enforced by
3377         Digital Unix cc.
3378
3379 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3380
3381         * config.h.in: Oops, do the namespace tweaks only on systems we
3382         know about.
3383
3384 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3385
3386         * hash.c: Include <string.h>.
3387
3388 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3389
3390         * config.h.in: Define "compilation environment" options that work
3391         under Linux and Solaris.  To be reviewed on other OS'es.
3392
3393 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3394
3395         * http.c (gethttp): Prepend literal newline with `\n\'.
3396
3397 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3398
3399         * sysdep.h: Don't define VERY_LONG_FORMAT.
3400
3401         * utils.c (very_long_to_string): New function.
3402         (legible_very_long): Use it; don't use VERY_LONG_FORMAT.
3403
3404 2001-04-04  Christian Fraenkel  <christian.fraenkel@gmx.net>
3405
3406         * url.c (parse_uname): Would run past the end of the string if the
3407         username was present, but the URL did not contain a slash, e.g.
3408         http://foo:bar@myhost.
3409
3410 2001-04-03  KOJIMA Hajime  <kjm@rins.ryukoku.ac.jp>
3411
3412         * http.c (http_atotm): Use %A instead of %a to match full
3413         weekday.  (On most systems there is no difference.)
3414
3415 2001-04-03  Paul Bludov  <paul@ozero.net>
3416
3417         * mswindows.c (sleep): Use SleepEx() instead of Sleep().
3418         (ws_changetitle): Use alloca() instead of malloc() to avoid memory
3419         leak.
3420         (ws_mypath): Use GetModuleFileName instead of argv[0].
3421         (ws_startup): Use data.wVersion for comparison.
3422
3423 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3424
3425         * http.c (http_loop): Ditto.
3426
3427         * ftp.c (ftp_loop_internal): Made the check whether to continue
3428         retrieval `-O'-friendly.
3429
3430 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3431
3432         * netrc.c (parse_netrc): Don't trim the line endings explicitly;
3433         they will be handled as whitespace.
3434         (parse_netrc): Correctly handle lines that end with whitespace.
3435
3436 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3437
3438         * retr.c (retrieve_url): New variable global_download_count used
3439         to identify first retrieval.
3440
3441         * ftp.c (getftp): Ditto.
3442
3443         * http.c (gethttp): Rewind opt.dfp only on first retrieval.
3444
3445 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3446
3447         * init.c (cmd_address): Heap-allocate the address that gets stored
3448         to CLOSURE.  Old code would simply assign an address on the stack.
3449
3450 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
3451
3452         * ftp.c (ftp_get_listing): Propagate error status.
3453         (ftp_retrieve_glob): Use it.
3454         (ftp_loop): Ditto.
3455
3456 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
3457
3458         * main.c (main): Add -C to the string that is the third arg to
3459         getopt_long().
3460
3461 2001-04-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3462
3463         * ftp.c (getftp): Don't start the download from scratch if `-c'
3464         was specified, but the file is already fully downloaded.
3465
3466         * http.c (gethttp): Don't truncate a pre-existing file if `-c' was
3467         specified and the server doesn't support continued download.
3468         (gethttp): Don't start the download from scratch if `-c' was
3469         specified, but the file is already fully downloaded.
3470
3471 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
3472
3473         (recursive_retrieve): Don't clear the hash tables at this point at
3474         all; it interferes with the normal operation of register_download.
3475
3476 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
3477
3478         * recur.c (recursive_retrieve): Clear the hash tables only when
3479         they are defined.
3480
3481 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
3482
3483         * http.c (gethttp): Make sure the socket is closed with
3484         CLOSE_INVALIDATE before we have drained the body.
3485
3486 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
3487
3488         * retr.c (retrieve_url): Call register_download() for downloaded
3489         files and register_html() for downloaded HTML files.
3490
3491         * recur.c (register_download): New function; register here that a
3492         file has been downloaded, rather than in recursive_retrieve().
3493         (register_html): New function; enqueue the location of HTML files
3494         here rather than in recursive_retrieve().
3495
3496 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
3497
3498         * main.c (print_help): Use multiple fputs instead of a single ugly
3499         printf().
3500         (main): Consistently assign numbers >128 to options without a
3501         corresponding character.
3502
3503 2001-03-09  Philipp Thomas  <pthomas@suse.de>
3504
3505         * safe-ctype.h: New file. Locale independent ctype.h replacement
3506         taken from libiberty.
3507
3508         * safe-ctype.c: New file. Tables for above.
3509
3510         * Makefile.in: Add safe-ctype$o to OBJS.  Add dependencies for
3511         safe-ctype$o.
3512
3513         * cmpt.c: Remove include of ctype.h. Use ISSPACE instead of
3514         isspace.
3515
3516         * ftp-basic.c: Don't include ctype.h.
3517
3518         * ftp-ls.c: Likewise.
3519
3520         * ftp.c: Likewise.
3521
3522         * headers.c: Likewise.
3523
3524         * host.c: Likewise.
3525
3526         * html-parse.c: Likewise.
3527
3528         * html-url.c: Likewise.
3529
3530         * http.c: Likewise.
3531
3532         * init.c: Likewise.
3533
3534         * main.c: Likewise. Set LC_CTYPE along with LC_MESSAGES.
3535
3536         * netrc.c: Likewise.
3537
3538         * recur.c: Likewise.
3539
3540         * retr.c: Likewise.
3541
3542         * snprintf.c: Replace ctype.h with safe-ctype.h. Use ISDIGIT
3543         instead of isdigit.
3544
3545         * sysdep.h: Remove defines of ctype macros as they aren't needed
3546         for safe-ctype-h.
3547
3548         * url.c: Don't include ctype.h.
3549
3550         * utils.c: Likewise.
3551
3552         * wget.h: Include safe-ctype.h.
3553
3554 2001-03-27  Dan Harkless  <wget@harkless.org>
3555
3556         * Makefile.in: Moved top_builddir out of "User configuration
3557         section" of top Makefile and analogous spot in this one.
3558
3559 2001-03-17  Dan Harkless  <wget@harkless.org>
3560
3561         * Makefile.in: Include @SSL_INCLUDES@ substition in INCLUDES.
3562         Define top_builddir.  Link wget with libtool so the user doesn't
3563         have to supply a bunch of custom environment variables to 
3564         correctly link with the OpenSSL shared libraries.
3565
3566 2001-03-06  Hack Kampbjorn  <hack@hackdata.com>
3567
3568         * http.c (gethttp): skip :port in host header if it is the
3569         DEFAULT_HTTPS_PORT when using SSL.
3570
3571         * url.c: move the #define of DEFAULT_HTTP_PORT, DEFAULT_FTP_PORT
3572         and DEFAULT_HTTPS_PORT to the header file so it can be use in the
3573         rest of the code. 
3574         * url.h: Ditto
3575
3576 2001-03-01  Jonas Jensen  <bones@huleboer.dk>
3577
3578         * retr.c (show_progress): Correctly calculate the number of bytes
3579         in the first line of the download that have been actually
3580         downloaded in this run.
3581
3582 2001-02-23  Dan Harkless  <wget@harkless.org>
3583
3584         * main.c (print_help): --help documentation for -N said it would
3585         re-download files if they had the _same_ timestamp on server.
3586         (print_help): -nr belongs in "FTP options" section of --help
3587         output, not "Recursive retrieval" section.  Alphabetized FTP
3588         options by long option name.
3589
3590 2001-02-16  Dan Harkless  <wget@harkless.org>
3591
3592         * init.c (commands): Hack Kampbjørn <hack@hackdata.com> discovered
3593         that "httpsproxy" had been inserted into commands[] out of
3594         alphabetical order, causing "BUG: unknown command `httpuser'".
3595
3596 2001-02-13  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3597
3598         * ftp-ls.c (ftp_parse_ls): Added support of ST_MACOS (Unix-like
3599         listing without correct permissons).
3600
3601         * ftp.h (stype): Added ST_MACOS to identify the NetPresenz MacOS
3602         FTP server. 
3603
3604         * ftp.c (ftp_retrieve_list): New mirroring logic: A remote file
3605         shall be donwloaded only when it's newer than the local copy or
3606         when it has the same timeestamp but its size is different. ST_VMS
3607         and ST_MACOS as special cases that lie about file size. 
3608
3609         * ftp-ls.c (ftp_parse_ls): Support for ST_MACOS.
3610
3611         * Makefile.in: Removed dependency on ftpparse library due to unclear
3612         copyright issues and absence of any feedback to our queries. 
3613
3614         * ftp-ls.c: Removed dependency on ftpparse library due to unclear
3615         copyright issues and absence of any feedback to our queries.   
3616         (ftp_parse_ls): Added a warning message when remote server system
3617         does not seem to be suported by wget. 
3618         (ftp_parse_vms_ls): New function for parsing VMS ftp
3619         server listing output.
3620         (clean_line): New function responsible for removing
3621         end-of-line characters from FTP listing texts.
3622
3623         * ftp.c (getftp): Global variables pwd and host_type are now
3624         member of the ccon structure under names ccon.id and ccon.rs. 
3625
3626         * ftp.h (struct ccon): Added formed global variables from ftp.c,
3627         enum stype rs (remote system identification) and char *id (initial
3628         working directory), as suggested by Hrvoje.
3629
3630         * url.c (parse_uname): Added support for passwords containing '@'
3631         characters.
3632         (skip_uname): Ditto.
3633
3634 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3635
3636         * ftp.c (ftp_loop): Reset con.
3637
3638 2001-01-06  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3639
3640         * url.c (parse_uname): Added support for passwords containing '@'
3641         characters.
3642         (skip_uname): Ditto.
3643
3644 2001-02-11  Hack Kampbjørn  <hack@hackdata.com>
3645
3646         * url.c (parseurl): Debug-print u->ftp_type.
3647
3648 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3649
3650         * ftp.c (ftp_loop_internal): Disable padding.
3651         (getftp): Ditto.
3652
3653         * http.c (http_loop): Disable padding.
3654
3655         * retr.c (show_progress): Use it to enable padding.
3656
3657         * retr.c (rate): Optional parameter PAD for padding the rate.
3658
3659 2001-02-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3660
3661         * retr.c (show_progress): Make sure that the last output line
3662         includes progress.
3663
3664 2001-02-10  Jonas Jensen  <bones@huleboer.dk>
3665
3666         * retr.c (show_progress): Print the download rate along with the
3667         percentages.
3668         Along with Anders Thorsby <anders@thorsby.dk>.
3669
3670 2001-02-10  Tim Mooney  <mooney@dogbert.cc.ndsu.NoDak.edu>
3671
3672         * ftp.h: Rename enums `command' to `wget_ftp_command' and
3673         `fstatus' to `wget_ftp_status' because old names clash with Tru64
3674         net/if.h.
3675
3676 2001-02-08  Christian Fraenkel <christian.fraenkel@gmx.net>
3677
3678         * gen_sslfunc.c: verify_callback is now static
3679
3680         * gen_sslfunc.c (init_ssl): load certificate if specified
3681
3682         * gen_sslfunc.c (ssl_printerr): new function
3683
3684         * init.c: added new --sslcertfile and --sslcertkey switches
3685
3686         * main.c: ditto
3687
3688         * options.h: ditto
3689
3690         * http.c (gethttp): abort when init_ssl fails
3691
3692 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
3693
3694         * mswindows.h: Include <malloc.h>; it's needed for alloca().
3695
3696 2001-01-10  Dan Harkless  <wget@harkless.org>
3697
3698         * url.c (str_url): Clarified this function's comment header after
3699         Hrvoje answered my question on the list as to when hide != 1.
3700         Also Hrvoje pointed out I need to use xstrdup() on the string literal.
3701
3702 2001-01-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3703
3704         * connect.c (bindport): Declare addrlen as int.  Diagnosed by
3705         Drazen Kacar <dave@arsdigita.com>.
3706         (conaddr): Ditto.
3707
3708 2001-01-09  Dan Harkless  <wget@harkless.org>
3709
3710         * html-url.c: A bunch of fixup of `--page-requisites'-related
3711         comments to reflect Hrvoje's changes to my code when transplanting
3712         it into this new file, to fix spelling mistakes, to clarify, etc.
3713
3714         * url.c (write_backup_file): Clarified a comment.
3715         (str_url): Henrik van Ginhoven pointed out on the list that we
3716         shouldn't give away the number of characters in the password by
3717         replacing each character with a 'x'.  Use "<password>" instead.
3718
3719         * ftp.c (ftp_retrieve_dirs): The bug where recursion into FTP
3720         directories didn't work if logging in put you in a directory other
3721         than "/" is fixed now.  Removed the comment here warning of the bug.
3722
3723         * main.c (print_help): --continue's description was misleading.
3724         We don't "restart", we "resume".  Also, better to say
3725         "partially-downloaded file" rather than just "existing file".
3726
3727 2001-01-06  Dan Harkless  <wget@harkless.org>
3728
3729         * ChangeLog: The '[Not in 1.6 branch.]'s were decided not to be
3730         the best way to go about my aim.  Removed them in favor of:
3731
3732         * ChangeLog-branches/1.6_branch.ChangeLog: New file.
3733
3734 2001-01-04  Hrvoje Niksic  <hniksic@arsdigita.com>
3735
3736         * url.c (replace_attr): New function, to be used by both
3737         TO_COMPLETE and TO_RELATIVE case in convert_links.
3738         (find_fragment): New function for finding URL fragments.
3739         (replace_attr): Better handle the case where the original string
3740         is not quoted.  Use find_fragment.
3741         (convert_links): Use replace_attr().
3742
3743 2000-12-31  Dan Harkless  <wget@harkless.org>
3744
3745         * ChangeLog: Since this flat file doesn't have multiple branches,
3746         looking at the dates would make you think that things went into
3747         1.6 that actually just went into the 1.7-dev branch.  Added "[Not
3748         in 1.6 branch.]" where appropriate to clarify.
3749         
3750 2000-12-30  Dan Harkless  <wget@harkless.org>
3751
3752         * ftp.c, http.c:  Applied Hack Kampbjørn <hack@hackdata.com>'s
3753         patch to deal with h_errno not being defined in netdb.h under Cygwin.
3754
3755 2000-12-18  Csaba Raduly  <csaba.raduly@sophos.com>
3756
3757         * sysdep.h: Include <malloc.h> and <io.h> under Watcom.
3758
3759 2000-12-17  Igor Khristophorov  <igor@atdot.org>
3760
3761         * http.c (check_end): Fix test for '+' or '-'.
3762
3763 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
3764
3765         * url.c (parseurl): Rename inner loop var from i to ind to avoid
3766         clash with the function top-level-declared variable i.
3767         (str_url): Likewise, rename inner-loop i to j.
3768
3769         * recur.c (parse_robots): Don't declare LEN at top of function.
3770         (robots_match): Renamed parameter FORBIDDEN to avoid hiding of
3771         global variable.
3772
3773         * main.c (main): Change erroneous use of bitwise and to logical.
3774
3775         * init.c (cmd_address): Don't heap-allocate `sin'; it can be on
3776         the stack because it will be copied to closure.
3777
3778         Thanks to Csaba Raduly's run of PC-LINT over the sources.
3779
3780 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
3781
3782         * http.c (basic_authentication_encode): Use xmalloc(), not
3783         malloc().  Thanks to Csaba Raduly's run of PC-LINT over the
3784         sources.
3785
3786 2000-12-17  Csaba Raduly  <csaba.raduly@sophos.com>
3787
3788         * sysdep.h: Test for __EMX__ rather than for EMXOS2 for OS/2
3789         compilation.
3790
3791 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
3792
3793         * mswindows.c: Include <errno.h>.
3794
3795         * gen_sslfunc.c: Include <errno.h>.
3796
3797         * ftp-basic.c: Don't attempt to declare errno or h_errno because
3798         they're not used.
3799
3800         * main.c: Include <errno.h> because errno is used.
3801
3802         * ftp.c: Ditto.
3803
3804         * http.c: Include <netdb.h> for h_errno.
3805
3806 2000-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3807
3808         * html-parse.c (advance_declaration): MSVC assert() chokes on
3809         '\"'.  Use '"' instead.
3810
3811 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3812
3813         * utils.c (xfree_real): Removed.
3814         (xfree_debug): Just call free().
3815
3816         * wget.h (xfree): Make it an alias for free.
3817
3818 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3819
3820         * http.c (http_loop): Furthermore, touch output_document only if
3821         it is known to be an existing regular file.
3822
3823 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3824
3825         * ftp.c (ftp_retrieve_list): Ditto.
3826
3827         * http.c (http_loop): Touch output_document if that is used for
3828         output.
3829
3830 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3831
3832         * http.c: Include gen_sslfunc.h after including Wget's headers.
3833         (persistent_available_p): Needed coma before `int ssl'.
3834
3835 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3836
3837         * ftp.c (ftp_loop_internal): Ditto.
3838
3839         * http.c (http_loop): Use it.
3840
3841         * retr.c (sleep_between_retrievals): New function that handles the
3842         logic of opt.wait and opt.waitretry.
3843
3844 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3845
3846         * rbuf.h: Implement only a single version of RBUF_READCHAR, using
3847         rbuf_read_bufferful when the buffer is depleted.
3848
3849         * rbuf.c (rbuf_read_bufferful): New function.
3850
3851 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3852
3853         * gen_sslfunc.h: Use ansi2knr style function declarations.
3854
3855         * gen_sslfunc.c: Reformat according to the GNU coding standards.
3856         More should be done.
3857
3858         * http.c (persistent_available_p): Place the cheap SSL test nearer
3859         the top of the function.
3860         (CLOSE_FINISH, CLOSE_INVALIDATE): Define only one version of each.
3861
3862 2000-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
3863
3864         * url.c (init_unsafe_char_table): Reinstate space as an unsafe
3865         char.
3866
3867 2000-12-03  Christian Fraenkel <christian.fraenkel@gmx.net>
3868
3869         * Makefile.in: added gen_sslfunc object
3870         * config.h.in: added HAVE_SSL define
3871         * connect.c: changed select_fd from static int to int
3872         * connect.h: ditto
3873         * gen_sslfunc.h: New file
3874         * gen_sslfunc.c: ditto
3875         * http.c: added HTTPS fuctionality
3876         * retrc.c: ditto
3877         * url.c: ditto
3878         * init.c: added opt.httpsproxy
3879         * options.h: ditto
3880         * rbuf.h: added alternate rbuf struct
3881         * wget.h: added CONSSLERR
3882         * rbuf.c: ditto
3883
3884         * http.c: Added HTTPS fuctionality.
3885
3886         * retrc.c: Ditto.
3887
3888         * url.c: Ditto.
3889
3890         * init.c: Added opt.httpsproxy.
3891
3892         * options.h: Ditto.
3893
3894         * rbuf.h: Added alternate rbuf struct.
3895
3896         * wget.h: Added CONSSLERR.
3897
3898         * rbuf.c: Ditto.
3899
3900 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3901
3902         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
3903         "ignore_perms" to ignore file and directory permissions for
3904         Windows NT FTP server listings.
3905         (ftp_parse_winnt_ls): New function.
3906         (ftp_parse_ls): Parses UNIX and Windows NT listings
3907         separately. Simple heuristics for distinguishing between UNIX and
3908         MS-DOS-like FTP listing provided by Windows NT FTP service.
3909
3910 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3911
3912         * ftpparse.c, ftpparse.h: New files.
3913
3914         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
3915         only. Use ftp_parse_nonunix_ls otherwise.
3916         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
3917         exotic FTP servers.
3918
3919         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
3920         FTP servers.
3921
3922         * ftp.c: New static wariables host_type, pwd, and pwd_len. 
3923         (getftp): Support for VMS. Support for FTP servers that do not
3924         place you in the root directory after login.
3925         (ftp_retrieve_list): VMS is silent about the real file size, issue
3926         a more appropriate message.
3927         (ftp_get_listing): Pass host_type to ftp_parse_ls.
3928
3929         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
3930
3931 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3932
3933         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
3934         "ignore_perms" to ignore file and directory permissions for
3935         Windows NT FTP server listings.
3936         (ftp_parse_winnt_ls): New function.
3937         (ftp_parse_ls): Parses UNIX and Windows NT listings
3938         separately. Simple heuristics for distinguishing between UNIX
3939         and MS-DOS-like FTP listing provided by Windows NT FTP service.
3940
3941 2000-11-29  John Summerfield  <summer@OS2.ami.com.au>
3942
3943         * netrc.c (parse_netrc): Get rid of line ending.
3944
3945 2000-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3946
3947         * ftp.c (ftp_retrieve_list): Undo typo "fix" until resolution by
3948         Dan.
3949
3950 2000-11-24  Karl Eichwalder  <ke@suse.de>
3951
3952         * main.c (print_help): Untabify.
3953
3954 2000-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
3955
3956         * utils.c (xrealloc_debug): Do the unregister/register thing only
3957         if the pointer has actually changed.
3958         (xmalloc_real): Declare `static' in DEBUG_MALLOC builds.
3959         (xfree_real): Ditto.
3960         (xrealloc_real): Ditto.
3961         (xstrdup_real): Ditto.
3962
3963 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
3964
3965         * ftp.c (getftp): ftp_getaddress() returns a malloc'ed copy of the
3966         string; no need to strdup() it.
3967         (getftp): Make pwd_len a local variable.
3968         (ftp_loop): Free PWD before returning.
3969
3970         * init.c (cleanup): Free opt.ftp_pass only if it's non-NULL.
3971
3972 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
3973
3974         * all: Use xfree() instead of free.
3975
3976         * utils.c (xfree): New function.
3977
3978 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
3979
3980         * url.c (convert_links): HTML-quote the converted string.
3981
3982         * utils.c (html_quote_string): Move here from ftp-ls.c
3983         (html_quote_string): Make non-static; declare in utils.h.
3984         (html_quote_string): Convert SP to &#32;.
3985
3986 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
3987
3988         * ftp.c (getftp): Reformat Jan's code according to GNU coding
3989         standards; remove (debugging?) printf's; use '\0' for the ASCII
3990         zero character.  Use alloca() instead of malloc() for
3991         inter-function temporary allocations.
3992
3993 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3994
3995         * ftpparse.c, ftpparse.h: New files.
3996
3997         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
3998         only. Use ftp_parse_nonunix_ls otherwise.
3999         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
4000         exotic FTP servers.
4001
4002         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
4003         FTP servers.
4004
4005         * ftp.c: New static wariables host_type, pwd, and pwd_len. 
4006         (getftp): Support for VMS. Support for FTP servers that do not
4007         place you in the root directory after login.
4008         (ftp_retrieve_list): VMS is silent about the real file size, issue
4009         a more appropriate message.
4010         (ftp_get_listing): Pass host_type to ftp_parse_ls.
4011
4012         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
4013
4014 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
4015
4016         * hash.c (hash_table_put): Don't overwrite deleted mappings.
4017
4018 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
4019
4020         * hash.c (find_mapping): New function.
4021         (hash_table_get): Use it.
4022         (hash_table_get_pair): Ditto.
4023         (hash_table_exists): Ditto.
4024         (hash_table_remove): Ditto.
4025         (hash_table_remove): Really delete the entry if the mapping
4026         following LOCATION is empty.
4027
4028         * utils.c (string_set_add): Check whether the element has existed
4029         before.
4030
4031         * hash.c (hash_table_get_pair): New function.
4032
4033 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4034
4035         * http.c (http_process_type): Ignore trailing whitespace; use
4036         strdupdelim().
4037
4038         * recur.c (recursive_retrieve): Use the new `convert' field.
4039         (convert_all_links): Ditto.
4040         (convert_all_links): Don't respect meta_disallow_follow.
4041
4042         * html-url.c (handle_link): Fill out link_relative_p and
4043         link_complete_p.
4044
4045         * url.h (struct _urlpos): Make elements more readable.
4046
4047         * recur.c (recursive_retrieve): Call slist_prepend instead of
4048         slist_append.
4049         (convert_all_links): Call slist_nreverse before iterating through
4050         urls_html.
4051
4052         * utils.c (slist_prepend): New function.
4053         (slist_nreverse): Ditto.
4054
4055 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4056
4057         * http.c (check_end): Constify.
4058
4059 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4060
4061         * http.c (http_loop): If username and password are known, try the
4062         `Basic' authentication scheme by default.
4063
4064         * connect.h: Declare test_socket_open.
4065
4066 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4067
4068         * version.c: Bump version from 1.5.3+dev to 1.7-dev.
4069
4070 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4071
4072         * http.c (gethttp): Don't use the return value of sprintf().
4073         (gethttp): Inhibit keep-alive if opt.http_keep_alive is 0.
4074
4075 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4076
4077         * recur.c (recursive_retrieve): Print the "so we don't load"
4078         debugging message only if we really don't load.
4079
4080         * http.c (gethttp): Inhibit keep-alive if proxy is being used.
4081         (gethttp): Don't request keep-alive if keep-alive is inhibited.
4082
4083 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4084
4085         * http.c (gethttp): Make the HTTP persistent connections more
4086         robust.
4087
4088 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4089
4090         * retr.c (get_contents): If use_expected, make sure that the
4091         appropriate amount of data is being read.
4092
4093         * http.c (gethttp): Check for both `Keep-Alive: ...' and
4094         `Connection: Keep-Alive'.
4095
4096         * wget.h (DEBUGP): Call debug_logprintf only if opt.debug is
4097         turned on.
4098
4099 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4100
4101         * http.c (connection_available_p): Use it.
4102
4103         * connect.c (test_socket_open): New function.
4104
4105         * http.c (gethttp): Support persistent connections.  Based on the
4106         ideas, and partly on code, by Sam Horrocks <sam@daemoninc.com>.
4107         (register_persistent): New function.
4108         (connection_available_p): Ditto.
4109         (invalidate_connection): Ditto.
4110
4111 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4112
4113         * url.c (convert_links): Handle UREL2ABS case.
4114
4115         * recur.c (recursive_retrieve): Instead of the list
4116         urls_downloaded, use hash tables dl_file_url_map and
4117         dl_url_file_map.
4118         (convert_all_links): Use them to retrieve data.
4119
4120         * host.c (clean_hosts): Free the hash tables.
4121
4122         * main.c (private_initialize): Call host_init().
4123
4124         * host.c (store_hostaddress): Use a saner, hash table-based data
4125         model.
4126         (realhost): Ditto.
4127         (host_init): Initialize the hash tables.
4128
4129 2000-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
4130
4131         * utils.c (slist_append): Eviscerate NOSORT.  Hash tables are now
4132         used for what the sorted slists used to be used for.
4133         (slist_contains): Don't rely on the list being sorted.
4134         (slist_append): Simplify the code.
4135
4136         * recur.c (recursive_cleanup): Use free_string_set.
4137
4138         * utils.c (string_set_add, string_set_exists, string_set_free):
4139         New functions for easier freeing of hash tables whose keys are
4140         strdup'ed strings.
4141
4142         * recur.c (recursive_retrieve): Use the hash table functions for
4143         storing undesirable URLs.
4144
4145         * hash.c: New file.
4146
4147 2000-11-17  Hrvoje Niksic  <hniksic@arsdigita.com>
4148
4149         * main.c (private_initialize): Call url_init.
4150         (main): Call private_initialize.
4151
4152         * url.c (unsafe_char_table): New table.
4153         (UNSAFE_CHAR): Use it.
4154         (init_unsafe_char_table): New function.
4155         (url_init): New function; call init_unsafe_char_table.
4156
4157 2000-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
4158
4159         * mswindows.h: Define snprintf and vsnprintf to _snprintf and
4160         _vsnprintf respectively.
4161
4162 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
4163
4164         * config.h.in: Do the _XOPEN_SOURCE and _SVID_SOURCE things only
4165         on Linux.
4166
4167 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
4168
4169         * html-url.c (handle_link): Handle HTML fragment identifiers.
4170
4171         * recur.c (recursive_retrieve): If norobot info is respected and
4172         the file is specified not to be followed by robots, respect that.
4173
4174         * html-url.c (collect_tags_mapper): Handle <meta name=robots
4175         content=X>.  For us the important cases are where X is NONE or
4176         where X contains NOFOLLOW.
4177         (get_urls_html): Propagate that information to the caller.
4178
4179 2000-11-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4180
4181         * url.c (convert_links): Unlink the file we might be reading from
4182         before writing to it.
4183         (convert_links): Use alloca instead of malloc for
4184         filename_plus_orig_suffix.
4185
4186 2000-11-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4187
4188         * host.c (realhost): Add HOST to the list with quality==0 only if
4189         it wasn't already there.
4190         Based on analysis by Lu Guohan <feng@public.bjnet.edu.cn>.
4191
4192 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4193
4194         * url.c (get_urls_file): Ditto.
4195         (convert_links): Ditto.
4196
4197         * html-url.c (get_urls_html): Use read_file() instead of
4198         load_file().
4199
4200         * utils.c (read_file): New function, instead of the old
4201         load_file().
4202         (read_file_free): Ditto.
4203
4204         * url.c (findurl): Search only for the supported protocols.
4205         (convert_links): Use fwrite() when writing out a region of
4206         characters.
4207
4208 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4209
4210         * ftp-ls.c: Move html_quote_string and ftp_index here.
4211
4212         * url.c: Remove get_urls_html, since that's now in html-url.c.
4213
4214         * html-url.c: New file.
4215
4216         * html-parse.c: New file.
4217
4218 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4219
4220         * init.c (run_wgetrc): Don't bother killing off '\r' since
4221         pars_line() skips whitespace at end of line anyway.
4222         (parse_line): Oops, it didn't.  Now it does.
4223
4224         * recur.c (parse_robots): Ditto here.
4225
4226         * ftp-ls.c (ftp_parse_unix_ls): Kill off the newline character
4227         manually because read_whole_line no longer does.
4228
4229         * utils.c (read_whole_line): Rewrite to: a) use less memory
4230         (reallocates to needed size after work), b) work faster -->
4231         fgets() instead of getc, c) be more correct --> doesn't kill the
4232         newline character at the end of line.
4233
4234 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4235
4236         * init.c (comind): Initialize MAX to array size - 1.
4237
4238 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
4239
4240         * url.c (construct): Changed last_slash[-1] to *(last_slash - 1).
4241         Suggested by Edward J. Sabol.
4242
4243 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
4244
4245         * url.c (construct): Handle the case where host name is not
4246         followed by a slash.
4247
4248 2000-11-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4249
4250         * init.c: commands[] need to be sorted!  ("base" wasn't.)
4251
4252 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
4253
4254         * wget.h (DO_REALLOC_FROM_ALLOCA): Use braces to disambiguate
4255         `if'.
4256
4257 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
4258
4259         * url.c (construct): Insert unneeded initialization for the
4260         compiler to shut up.
4261
4262         * config.h.in: Define _XOPEN_SOURCE to 500 to get the prototype
4263         for strptime() (*duh*).  Define _SVID_SOURCE to get S_IFLNK which
4264         otherwise gets lost when you define _XOPEN_SOURCE.
4265
4266         * utils.c (touch): Include the file name in the error message.
4267         From Debian.
4268
4269 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
4270
4271         * log.c (logvprintf): Use vsnprintf() in all cases.  If necessary,
4272         resize the buffer to fit the formated message.  That way, messages
4273         of arbitrary size may be printed.
4274         (logvprintf): Use saved_append() to optionally log the last
4275         several lines of output.
4276         (logputs): Ditto.
4277         (log_close): Adapt to new data structures.
4278         (log_dump): Ditto.
4279         (redirect_output): Print messages to stderr, not to stdout.
4280
4281         * log.c (saved_append_1): New function.  Replaces the old logging
4282         system ("log all output until 10M characters") with a new, much
4283         more reasonable one ("log last screenful of text").
4284         (saved_append): New function; call saved_append_1.
4285         (free_log_line): New function.
4286
4287 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
4288
4289         * url.c (construct): Fix comment.
4290         (find_last_char): Document.
4291
4292 2000-11-04  Hrvoje Niksic  <hniksic@arsdigita.com>
4293
4294         * snprintf.c: New file.
4295
4296 2000-11-03  Hrvoje Niksic  <hniksic@arsdigita.com>
4297
4298         * wget.h: If HAVE_STDARG_H is not defined, don't declare argument
4299         types to logprintf() and debug_logprintf().
4300
4301 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4302
4303         * ftp.c (ftp_loop_internal): Hide the password from the URL when
4304         printing non-verbose.  Problem spotted by Dariusz Mlynarczyk
4305         <darekm@bydg.lomac.com.pl>.
4306
4307 2000-11-02  Junio Hamano  <junio@twinsun.com>
4308
4309         * ftp-basic.c (ftp_login): Make comparison case-insensitive.
4310
4311 2000-11-02  Tyler Riddle  <triddle@liquidmarket.com>
4312
4313         * http.c (known_authentication_scheme_p): Recognize NTML
4314         authentication.
4315         (create_authorization_line): Treat NTML the same as `Basic'.
4316
4317 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4318
4319         * retr.c (retrieve_url): Free url before returning.
4320         (retrieve_url): Free mynewloc before returning.
4321         Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
4322
4323 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4324
4325         * url.c (parseurl): Remove possible reading past the end of
4326         sup_protos[].  Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
4327
4328 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4329
4330         * main.c (main): In case of opt.downloaded overflowing, print
4331         <overflow> instead of a totally bogus random value.
4332
4333         * retr.c (retrieve_from_file): Ditto.
4334
4335         * recur.c (recursive_retrieve): Ditto.
4336
4337         * main.c (main): Ditto.
4338
4339         * http.c (http_loop): Ditto.
4340
4341         * ftp.c (ftp_loop_internal): Use downloaded_increase() instead of
4342         `+=', and downloaded_exceeds_quota() instead of the simple-minded
4343         check.
4344         (ftp_retrieve_list): Ditto.
4345         (ftp_retrieve_dirs): Ditto.
4346         (ftp_retrieve_glob): Ditto.
4347
4348         * retr.c (downloaded_increase): New function.  Notice overflows of
4349         opt.downloaded.
4350         (downloaded_exceeds_quota): Make sure that opt.downloaded is not
4351         used if it overflowed.
4352
4353         * options.h (struct options): New member downloaded_overflow.
4354
4355 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4356
4357         * wget.h (enum): Remove extra space after last enumeration.
4358
4359 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4360
4361         * main.c (main): Use legible_very_long() for printing
4362         opt.downloaded.
4363
4364         * utils.c (legible_1): New function that operates on strings and
4365         does the brunt of legible()'s work.
4366         (legible): Use legible_1().
4367         (legible_very_long): New function; dump the argument with
4368         sprintf(), and call legible_1().
4369
4370         * options.h (struct options): Use VERY_LONG_TYPE for
4371         opt.downloaded.
4372
4373         * sysdep.h (VERY_LONG_TYPE): Define it to have a 64-bit or greater
4374         type.
4375
4376         * config.h.in: Make sure that SIZEOF_LONG and SIZEOF_LONG_LONG get
4377         defined.  Define HAVE_LONG_LONG if long long is available.
4378
4379 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4380
4381         * utils.c (long_to_string): Update with a later, better version.
4382
4383 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4384
4385         * url.c (path_simplify_with_kludge): New function.
4386         (path_simplify_with_kludge): Disable it.  Instead...
4387         (parse_dir): ...make sure that at this point the right thing is
4388         done, i.e. that "query" part of the URL (?...) is always assigned
4389         to the file, never to the directory portion of the path.
4390
4391 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4392
4393         * retr.c (retrieve_url): Detect redirection cycles.
4394
4395 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4396
4397         * url.c (get_urls_html): Decode HTML entities using
4398         html_decode_entities.
4399
4400         * html.c (htmlfindurl): Don't count the `#' in numeric entities
4401         (&#NNN;) as an HTML fragemnt.
4402         (html_decode_entities): New function.
4403
4404 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4405
4406         * html.c (htmlfindurl): Fix recognition of # HTML fragments.
4407
4408 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4409
4410         * url.c (construct): Rewritten for clarity.  Avoids the
4411         unnecessary copying and stack-allocation the old version
4412         performed.
4413
4414 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
4415
4416         * ftp.c (getftp): Ditto.
4417
4418         * http.c (gethttp): Rewind the stream when retrying from scratch.
4419
4420 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
4421
4422         * retr.c (retrieve_url): Use url_concat() to handle relative
4423         redirections instead of /ad hoc/ code.
4424
4425         * url.c (url_concat): New function encapsulating weird
4426         construct().
4427         (urllen_http_hack): New function.
4428         (construct): When constructing new URLs, recognize that `?' does
4429         not form part of the file name in HTTP.
4430
4431 2000-10-13  Adrian Aichner  <adrian@xemacs.org>
4432
4433         * retr.c: Add msec timing support for WINDOWS.
4434         * retr.c (reset_timer): GetSystemTime() on WINDOWS.
4435         * retr.c (elapsed_time): Calculate delta time to msec on WINDOWS.
4436
4437 2000-10-27  Dan Harkless  <wget@harkless.org>
4438
4439         * retr.c (retrieve_url): Manually applied T. Bharath
4440         <TBharath@responsenetworks.com>'s patch to get wget to grok
4441         illegal relative URL redirects.  Reformatted and re-commented it.
4442
4443 2000-10-23  Dan Harkless  <wget@harkless.org>
4444
4445         * connect.c (make_connection and bindport): Manually applied Rob
4446         Mayoff <mayoff@dqd.com>'s 1.5.3 patch to add --bind-address,
4447         changing coding style to GNU's.
4448
4449         * ftp.c (ftp_loop_internal): --delete-after wasn't implemented for
4450         files downloaded via FTP.  Per a comment, .listing files were not
4451         counted towards number of bytes and files downloaded because they're 
4452         deleted anyway.  Well, they aren't under -nr, so count them then.
4453
4454         * init.c: Manually applied Rob Mayoff's 1.5.3 patch to add
4455         --bind-address, alphabetizing, changing coding style to GNU's,
4456         commenting, and renaming cmd_ip_address() to cmd_address() to
4457         imply hostnames also okay.
4458                 
4459         * main.c (main): --delete-after didn't delete the root of the
4460         tree.  Ignore --convert-links if --delete-after was specified.
4461         Manually applied Rob Mayoff's 1.5.3 patch to add --bind-address,
4462         fixing duplicate use of added-since-1.5.3 case value.
4463         (print_help): Clarified that --delete-after deletes local files.
4464         Rob forgot to add a line for his new --bind-address option.
4465                 
4466         * options.h (struct options): Manually applied Rob Mayoff's patch
4467         to add --bind-address (bind_address structure member).
4468                 
4469         * recur.c (recursive_retrieve): Improved comment; added DEBUGP().
4470         Ignore --convert-links if --delete-after was specified.
4471                 
4472         * retr.c (retrieve_from_file): Just added a DEBUGP().
4473                 
4474 2000-10-19  Dan Harkless  <wget@harkless.org>
4475
4476         * ftp.c (ftp_loop_internal): downloaded_file() enumerators changed.
4477         (getftp): Applied Piotr Sulecki <Piotr.Sulecki@ios.krakow.pl>'s
4478         patch to work around FTP servers that incorrectly respond to the
4479         "REST" command with the remaining size rather than the total file size.
4480                 
4481         * http.c (gethttp): Improved a comment and added code to tack on
4482         ".html" to text/html files without that extension when -E specified.
4483         (http_loop): Use new downloaded_file() enumerators and deal with
4484         the case of gethttp() called xrealloc() on u->local.
4485
4486         * init.c (commands): Added new "htmlextension" command.
4487         Also renamed John Daily's cmd_quad() to the more descriptive
4488         cmd_lockable_boolean(), alpha-sorted the CMD_DECLARE()s and
4489         removed duplicate cmd_boolean() declaration.
4490
4491         * main.c (print_help): Added my new -E / --html-extension option.
4492         (main): Undocumented --email-address option previously used -E synonym.
4493         Stole it away for the much more deserving --html-extension's use.
4494
4495         * options.h (struct options): Added html_extension field.
4496
4497         * url.c (convert_links): URL X that we saved as X.html locally due
4498         to -E needs to be backed up as X.orig, not X.html.orig.  Added comments.
4499         (downloaded_file): Now remembers if we added .html extension to a file.
4500
4501         * url.h (downloaded_file_t): Added extra enumerators to support above.
4502         (downloaded_file): Now takes and returns a downloaded_file_t.
4503
4504         * wget.h (unnamed "dt" enum): Added ADDED_HTML_EXTENSION enumerator.
4505         
4506 2000-10-09  Dan Harkless  <wget@harkless.org>
4507
4508         * html.c (htmlfindurl): Added unneeded initialization to quiet warning.
4509                 
4510         * main.c (print_help): Clarified what --retr-symlinks does.
4511         
4512 2000-09-15  John Daily  <jdaily@cyberdude.com>
4513
4514         * init.c: Add support for "always" and "never" values to allow
4515         .wgetrc to override commandline (useful e.g. with .pm files
4516         calling `wget --passive-ftp' when your firewall doesn't allow that).
4517
4518         * ftp.c (getftp): passive_ftp is first option to support always/never.
4519
4520 2000-08-30  Dan Harkless  <wget@harkless.org>
4521
4522         * ftp.c (ftp_retrieve_list): Use new INFINITE_RECURSION #define.
4523         
4524         * html.c: htmlfindurl() now takes final `dash_p_leaf_HTML' parameter.
4525         Wrapped some > 80-column lines.  When -p is specified and we're at a 
4526         leaf node, do not traverse <A>, <AREA>, or <LINK> tags other than 
4527         <LINK REL="stylesheet">.
4528         
4529         * html.h (htmlfindurl): Now takes final `dash_p_leaf_HTML' parameter.
4530         
4531         * init.c: Added new -p / --page-requisites / page_requisites option.
4532
4533         * main.c (print_help): Clarified that -l inf and -l 0 both allow
4534         infinite recursion.  Changed the unhelpful --mirrior description
4535         to simply give the options it's equivalent to.  Added new -p option.
4536         (main): Added some comments; handle new -p / --page-requisites.
4537         
4538         * options.h (struct options): Added new page_requisites field.
4539
4540         * recur.c: Changed "URL-s" to "URLs" and "HTML-s" to "HTMLs".
4541         Calculate and pass down new `dash_p_leaf_HTML' parameter to
4542         get_urls_html().  Use new INFINITE_RECURSION #define.
4543
4544         * retr.c: Changed "URL-s" to "URLs".  get_urls_html() now takes
4545         final `dash_p_leaf_HTML' parameter.
4546
4547         * url.c: get_urls_html() and htmlfindurl() now take final
4548         `dash_p_leaf_HTML' parameter.
4549
4550         * url.h (get_urls_html): Now takes final `dash_p_leaf_HTML' parameter.
4551
4552         * wget.h: Added some comments and new INFINITE_RECURSION #define.
4553         
4554 2000-08-23  Dan Harkless  <wget@harkless.org>
4555
4556         * main.c (print_help): -B / --base was not mentioned.
4557
4558 2000-08-22  Dan Harkless  <wget@harkless.org>
4559
4560         * main.c (print_help): Modified -nc description to mention that it
4561         also prevents the creation of multiple versions of the same file
4562         with ".<number>" suffixes.
4563
4564 2000-07-14  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4565
4566         * retr.c (retrieve_url): Consistently strdup opt.referer when
4567         setting u->referer.
4568
4569 2000-06-09  Dan Harkless  <wget@harkless.org>
4570
4571         * main.c (print_help): --help output for --waitretry was over 80 cols.
4572
4573 2000-06-09  Hrvoje Niksic  <hniksic@iskon.hr>
4574
4575         * url.c (encode_string): Fix comment.
4576         Suggested by Herold Heiko <Heiko.Herold@previnet.it>.
4577
4578 2000-06-01  Const Kaplinsky  <const@ce.cctpu.edu.ru>
4579
4580         * ftp.c (ftp_retrieve_list): Change permissions only on plain
4581         files.
4582
4583 2000-06-01  Hrvoje Niksic  <hniksic@iskon.hr>
4584
4585         * url.c (str_url): Print the port number only if it's different
4586         from the default port number for that protocol.
4587
4588 2000-05-22  Dan Harkless  <wget@harkless.org>
4589
4590         * main.c (print_help): Added --help line for Damir Dzeko
4591         <ddzeko@zesoi.fer.hr>'s until-now-undocumented --referer option.
4592         Removed comments that --referer and --waitretry were undocumented.
4593         Changed "`.wgetrc' command" to "`.wgetrc'-style command" on --help
4594         line for --execute.
4595
4596 2000-05-18  Hrvoje Niksic  <hniksic@iskon.hr>
4597
4598         * ftp.c (getftp): Ditto.
4599
4600         * http.c (gethttp): Check for return value of fclose/fflush.
4601
4602 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
4603
4604         * host.c (store_hostaddress): Instead of shifting ADDR, start
4605         copying from the correct address.
4606
4607 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
4608
4609         * http.c (gethttp): Don't free REQUEST -- it was allocated with
4610         alloca().
4611         Pointed out by Gisle Vanem <gvanem@eunet.no>.
4612
4613 2000-04-04  Dan Harkless  <wget@harkless.org>
4614
4615         * host.c (store_hostaddress): R. K. Owen's patch introduces a
4616         "left shift count >= width of type" warning on 32-bit
4617         architectures.  Got rid of it by tricking the compiler w/ a variable.
4618         
4619         * url.c (UNSAFE_CHAR): The macro didn't include all the illegal
4620         characters per RFC1738, namely everything above '~'.  It also
4621         generated a warning on OSes where char =~ unsigned char.  Fixed.
4622         
4623 1998-10-17  Hrvoje Niksic  <hniksic@srce.hr>
4624
4625         * http.c (http_process_type): Removed needless strdup(), a memory
4626         leak.
4627
4628 1998-09-25  Hrvoje Niksic  <hniksic@srce.hr>
4629
4630         * html.c (htmlfindurl): Set PH to the first occurrence of `#'.
4631
4632 1998-09-25  Simon Munton  <simonm@m4data.co.uk>
4633
4634         * init.c (wgetrc_file_name): Don't free HOME under Windows.
4635
4636 1998-12-01  "R. K. Owen"  <rkowen@Nersc.GOV>
4637
4638         * host.c (store_hostaddress): Fix for big endian 64-bit machines.
4639
4640 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
4641
4642         * url.c (UNSAFE_CHAR): New macro.
4643         (contains_unsafe): Use it.
4644         (encode_string): Ditto.
4645
4646 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
4647
4648         * main.c (i18n_initialize): Use LC_MESSAGES only if available.
4649
4650 2000-03-31  Hrvoje Niksic  <hniksic@srce.hr>
4651
4652         * Use TOUPPER/TOLOWER.
4653
4654 1998-12-22  Alexander V. Lukyanov  <lav@yars.free.net>
4655
4656         * ftp-opie.c (btoe): Zero-terminate OSTORE.
4657
4658 2000-03-21  Hrvoje Niksic  <hniksic@iskon.hr>
4659
4660         * wget.h (DO_REALLOC_FROM_ALLOCA): Ditto.
4661
4662         * sysdep.h (ISALNUM): New macro.
4663         (TOLOWER): Ditto.
4664         (TOUPPER): Ditto.
4665
4666 2000-03-10  Dan Harkless  <wget@harkless.org>
4667
4668         * html.c (idmatch): Implemented checking of my new --follow-tags
4669         and --ignore-tags options.
4670         
4671         * init.c (commands): Added comment reminding people adding new
4672         entries doing allocation to add corresponding freeing in cleanup().
4673         (commands): Added new followtags and ignoretags commands.
4674         (cleanup): Free storage for new followtags and ignoretags.
4675         
4676         * main.c: Use of "comma-separated list" was random -- normalized
4677         it.  Did some alphabetization.  Added comments pointing out
4678         "Options without arguments" and "Options accepting an argument"
4679         sections of long_options[].  Added new options --follow-tags and
4680         -G / --ignore-tags.  Added comment that Damir's --referer is
4681         currently undocumented.  Added comment that Heiko's --waitretry is
4682         partially undocumented (mentioned in --help but not in
4683         wget.texi).  Moved improperly sorted 24, 129, and 'G' cases.
4684         
4685         * options.h (struct options): Added new fields follow_tags and
4686         ignore_tags. 
4687         
4688         * wget.h: Added "#define EQ 0" so we can say "strcmp(a, b) == EQ".
4689         
4690 2000-03-02  Dan Harkless  <wget@harkless.org>
4691
4692         * ftp.c (ftp_loop_internal): Heiko introduced "suggest explicit
4693         braces to avoid ambiguous `else'" warnings.  Eliminated them.
4694         
4695         * http.c (gethttp): Dan Berger's query string patch is totally
4696         bogus.  If you have two different URLs, gen_page.cgi?page1 and
4697         get_page.cgi?page2, they'll both be saved as get_page.cgi and the
4698         second will overwrite the first.  Also, parameters to implicit
4699         CGIs, like "http://www.host.com/db/?2000-03-02" cause the URLs to
4700         be printed with trailing garbage characters, and could seg fault.
4701         Backing out the patch, which Dan B. informed me by email was just
4702         a kludge to download StarOffice from Sun made necessary due to
4703         wget's unconditional escaping of certain characters (room for an
4704         option there?).
4705         (http_loop): Heiko introduced "suggest explicit braces to avoid
4706         ambiguous `else'" warnings.  Eliminated them.
4707         
4708         * main.c: Heiko's --wait / --waitretry backwards compatibility
4709         code looks to have been totally untested -- automatic variable
4710         'wr' was used without being initialized, and a long int was passed
4711         into setval()'s char* val parameter.
4712         
4713         * recur.c (parse_robots): Applied Edward J. Sabol
4714         <sabol@alderaan.gsfc.nasa.gov>'s patch for Guan Yang's reported
4715         problem with "User-agent:<space>*<space>" lines in robots.txt.
4716         
4717         * url.c (parseurl, str_url): Removing Dan Berger's code (see
4718         http.c above for explanation).
4719         
4720 1999-08-25  Heiko Herold  <Heiko.Herold@previnet.it>
4721
4722         * ftp.c: Respect new option waitretry.
4723
4724 2000-01-30  Damir Dzeko  <ddzeko@zesoi.fer.hr>
4725
4726         * http.c (gethttp): Send custom Referer, if required.
4727
4728 1999-09-24  Charles G Waldman  <cgw@fnal.gov>
4729
4730         * netrc.c (parse_netrc): Allow passwords to contain spaces.
4731
4732         * netrc.c (parse_netrc): New function.
4733
4734 1999-09-17  Dan Berger  <dberger@ix.netcom.com>
4735
4736         * http.c (gethttp): Send it.
4737
4738         * url.c (parseurl): Detect query string in HTTP URL-s.
4739         (str_url): Print it.
4740
4741 2000-03-02  HIROSE Masaaki  <hirose31@t3.rim.or.jp>
4742
4743         * html.c (html_allow): Add <link href=...> and <script src=...>.
4744
4745 1999-05-02  andrew deryabin  <djsf@softhome.net>
4746
4747         * http.c (gethttp): Specify port in `Host' header only if it's
4748         different from 80.
4749
4750 1998-11-03  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
4751
4752         * recur.c (recursive_retrieve): If a finite maximum depth is
4753         specified, and we're are already at that depth, don't download the
4754         HTML file for parsing.
4755
4756 2000-03-01  Dan Harkless  <wget@harkless.org>
4757
4758         * ftp.c (ftp_loop_internal): Call new downloaded_file() function,
4759         even though we don't do conversion on HTML files retrieved via
4760         FTP, so _current_ usage of downloaded_file() makes this call unneeded. 
4761         (ftp_retrieve_list): Added a comment saying where we need to
4762         stat() a .orig file if FTP'd HTML file conversion is ever implemented.
4763         (ftp_retrieve_list): "Local file '%s' is more recent," is sometimes
4764         a lie -- reworded as "Server file no newer than local file '%s' --".
4765         
4766         * http.c (http_loop): Fixed a typo and clarified a comment.
4767         (http_loop): When -K and -N are specified together, compare size
4768         and timestamp of server file X against local file X.orig (if
4769         extant) rather than converted local file X.
4770         (http_loop): "Local file '%s' is more recent," is sometimes a lie
4771         -- reworded as "Server file no newer than local file '%s' --".
4772         (http_loop): Call new downloaded_file() function to prevent
4773         wrongful overwriting of .orig file when -N is specified.
4774         
4775         * url.c (convert_links): When -K specified, only rename X to
4776         X.orig if downloaded_file() returns TRUE.  Otherwise when we skip
4777         file X due to -N, we clobber an X.orig from a previous invocation.
4778         (convert_links): Call the failsafe xstrdup(), not the real strdup().
4779         (convert_links): Added a note asking anyone who understands how
4780         multiple URLs can correspond to a single file to comment it.
4781         (downloaded_file): Added this new function.
4782         
4783         * url.h (downloaded_file): Added prototype for this new function
4784         as well as its downloaded_file_t enum type.
4785
4786         * wget.h (boolean): Added this new typedef and TRUE and FALSE #defines.
4787
4788 2000-02-29  Dan Harkless  <wget@harkless.org>
4789
4790         * version.c: Upped version to developer-only "1.5.3+dev".
4791
4792 2000-02-18  Dan Harkless  <wget@harkless.org>
4793
4794         * init.c (backup_converted): Added this new option.
4795
4796         * main.c (-K / --backup-converted): Added this new option.
4797
4798         * options.h (backup_converted): Added this new option.
4799
4800         * url.c (convert_links): When backup_converted is specified, save
4801         file X as X.orig before converting.
4802
4803         * url.h (urlpos): Fixed typo -- said "Rekative" instead of "Relative".
4804
4805 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
4806
4807         * version.c: Wget 1.5.3 is released.
4808
4809 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
4810
4811         * host.c (ftp_getaddress): Don't warn when reverse-lookup of local 
4812         address doesn't yield FQDN.
4813
4814 1998-09-21  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
4815
4816         * cmpt.c (strerror): Fix declaration of sys_errlist.
4817
4818 1998-09-11  Hrvoje Niksic  <hniksic@srce.hr>
4819
4820         * main.c (main): Don't use an array subscript as the first
4821         argument to STRDUP_ALLOCA.
4822         From Kaveh R. Ghazi.
4823
4824 1998-09-11  Szakacsits Szabolcs  <szaka@sienet.hu>
4825
4826         * html.c (htmlfindurl): Download table background.
4827
4828 1998-09-11  Hans Grobler  <grobh@conde.ee.sun.ac.za>
4829
4830         * init.c (parse_line): Would free *com before allocating it.
4831         (parse_line): Would free com instead of *com.
4832
4833 1998-09-10  Howard Gayle  <howard@fjst.com>
4834
4835         * url.c (get_urls_html): Would drop the last character of the
4836         link.
4837
4838 1998-09-10  Hrvoje Niksic  <hniksic@srce.hr>
4839
4840         * http.c (http_loop): Don't print status code if quiet.
4841
4842 1998-09-10  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
4843
4844         * log.c: Use <stdarg.h> only when __STDC__.
4845
4846 1998-09-10  Adam D. Moss  <adam@foxbox.org>
4847
4848         * html.c (htmlfindurl): Download <layer src=...>.
4849
4850 1998-09-10  Howard Gayle  <howard@fjst.com>
4851
4852         * ftp.c (ftp_retrieve_list): Don't update the time stamp of a file 
4853         not retrieved.
4854
4855 1998-06-27  Hrvoje Niksic  <hniksic@srce.hr>
4856
4857         * utils.c: Include <libc.h> on NeXT.
4858
4859 1998-06-26  Heinz Salzmann  <heinz.salzmann@intermetall.de>
4860
4861         * url.c (get_urls_html): Fix calculation of URL position.
4862
4863 1998-06-23  Hrvoje Niksic  <hniksic@srce.hr>
4864
4865         * version.c: Wget 1.5.2 is released.
4866
4867 1998-06-23  Dave Love  <d.love@dl.ac.uk>
4868
4869         * ftp.c, init.c, netrc.c: Include errno.h.
4870
4871         * http.c: Include errno.h and time header.
4872
4873         * Makefile.in (exext): Define.
4874         (install.bin, uninstall.bin): Use it.
4875
4876 1998-06-21  Hrvoje Niksic  <hniksic@srce.hr>
4877
4878         * http.c (http_loop): Don't attempt to compare local and remote
4879         sizes if the remote size is unknown.
4880
4881 1998-06-16  Hrvoje Niksic  <hniksic@srce.hr>
4882
4883         * url.c (get_urls_html): Use malloc() instead of alloca in the
4884         loop.
4885
4886 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
4887
4888         * version.c: Wget 1.5.2-b4 is released.
4889
4890 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
4891
4892         * url.c (get_urls_html): Ignore spaces before and after the URI.
4893
4894 1998-06-08  Wanderlei Antonio Cavassin  <cavassin@conectiva.com.br>
4895
4896         * ftp.c (getftp): Translate `done'.
4897
4898 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
4899
4900         * version.c: Wget 1.5.2-b3 is released.
4901
4902 1998-06-06  Alexander Kourakos  <awk@bnt.com>
4903
4904         * init.c (cleanup): Close dfp, don't free it.
4905
4906 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
4907
4908         * utils.c (make_directory): Twiddle.
4909
4910         * config.h.in: Added template for access().
4911
4912 1998-06-05  Mathieu Guillaume  <mat@cythere.com>
4913
4914         * html.c (htmlfindurl): Download <input src=...>
4915
4916 1998-06-03  Hrvoje Niksic  <hniksic@srce.hr>
4917
4918         * utils.c (file_exists_p): Use access() with two arguments.
4919
4920 1998-05-27  Martin Kraemer  <Martin.Kraemer@mch.sni.de>
4921
4922         * netrc.c (parse_netrc): Correct logic.
4923
4924 1998-05-27  Hrvoje Niksic  <hniksic@srce.hr>
4925
4926         * ftp.c (getftp): Added `break'; suggested by Lin Zhe Min
4927         <ljm@ljm.wownet.net>.
4928
4929 1998-05-24  Hrvoje Niksic  <hniksic@srce.hr>
4930
4931         * version.c: Wget 1.5.2-b2 is released.
4932
4933 1998-05-18  Juan Jose Rodriguez  <jcnsoft@jal1.telmex.net.mx>
4934
4935         * mswindows.h: Don't translate mkdir to _mkdir under Borland.
4936
4937 1998-05-17  Hrvoje Niksic  <hniksic@srce.hr>
4938
4939         * retr.c (elapsed_time): Return correct value when
4940         HAVE_GETTIMEOFDAY is undefined.
4941
4942 1998-05-13  Hrvoje Niksic  <hniksic@srce.hr>
4943
4944         * version.c: Wget 1.5.2-b1 is released.
4945
4946 1998-05-08  Hrvoje Niksic  <hniksic@srce.hr>
4947
4948         * getopt.c (_getopt_internal): Use exec_name instead of argv[0].
4949         (_getopt_internal): Don't translate `#if 0'-ed strings.
4950
4951 1998-05-06  Douglas E. Wegscheid  <wegscd@whirlpool.com>
4952
4953         * mswindows.c (ws_handler): Use fork_to_background().
4954
4955 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
4956
4957         * version.c: Wget 1.5.1 is released.
4958
4959 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
4960
4961         * http.c (parse_http_status_line): Avoid `minor' and `major'
4962         names.
4963
4964 1998-05-02  Hrvoje Niksic  <hniksic@srce.hr>
4965
4966         * utils.c (mkdirhier): Renamed to make_directory.
4967
4968 1998-05-01  Hrvoje Niksic  <hniksic@srce.hr>
4969
4970         * mswindows.c (fork_to_background): Define under Windows.
4971
4972         * utils.c (fork_to_background): New function.
4973
4974         * html.c (htmlfindurl): Removed rerdundant casts.
4975
4976 1998-05-01  Douglas E. Wegscheid  <wegscd@whirlpool.com>
4977
4978         * mswindows.c (ws_mypath): Cache the path.
4979
4980 1998-04-30  Douglas E. Wegscheid  <wegscd@whirlpool.com>
4981
4982         * ftp.h: Prefix enum ftype members with FT_.
4983
4984         * ftp-ls.c, ftp.c, html.h: Adjust accordingly.
4985
4986         * mswindows.h: Use stat under Borland, _stat under MSVC.
4987
4988 1998-04-28  Hrvoje Niksic  <hniksic@srce.hr>
4989
4990         * http.c (known_authentication_scheme_p): New function.
4991         (gethttp): Handle authorization more correctly.
4992
4993         * ftp-basic.h: Removed.
4994
4995         * cmpt.h: Removed.
4996
4997         * utils.c: Include <unistd.h> before <pwd.h>; needed under SunOS
4998         with gcc 2.8.
4999         (numdigit): Use `while' loop.
5000
5001         * http.c (create_authorization_line): Detect authentication
5002         schemes case-insensitively.
5003
5004         * http.c (extract_header_attr): Use strdupdelim().
5005         (digest_authentication_encode): Move declaration of local
5006         variables to smaller scope.
5007         (digest_authentication_encode): Reset REALM, OPAQUE and NONCE.
5008         (create_authorization_line): Detect authentication schemes
5009         case-insensitively.
5010
5011         * utils.c (touch): Constify.
5012
5013         * http.c (gethttp): Report a nicer error when no data is received.
5014
5015         * rbuf.h (RBUF_READCHAR): Ditto.
5016
5017         * ftp-basic.c (ftp_response): Use sizeof.
5018
5019 1998-04-27  Hrvoje Niksic  <hniksic@srce.hr>
5020
5021         * retr.c (print_percentage): EXPECTED is long, not int.
5022         (print_percentage): Use floating-point arithmetic to avoid
5023         overflow with large files' sizes multiplied with 100.
5024
5025 1998-04-27  Gregor Hoffleit  <flight@mathi.uni-heidelberg.de>
5026
5027         * config.h.in: Added pid_t stub.
5028
5029         * sysdep.h (S_ISREG): Moved here from mswindows.h (NeXT doesn't
5030         define it).
5031
5032 1998-04-20  Hrvoje Niksic  <hniksic@srce.hr>
5033
5034         * version.c: Wget 1.5.0 is released.
5035
5036 1998-04-18  Hrvoje Niksic  <hniksic@srce.hr>
5037
5038         * url.c (str_url): Ditto.
5039
5040         * ftp-basic.c (ftp_rest): Use new name.
5041
5042         * utils.c (long_to_string): Renamed from prnum().
5043
5044 1998-04-16  Hrvoje Niksic  <hniksic@srce.hr>
5045
5046         * version.c: Wget 1.5-b17 is released.
5047
5048 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
5049
5050         * headers.c (header_get): New argument FLAGS.
5051
5052         * http.c (gethttp): If request is malformed, bail out of the
5053         header loop.
5054         (gethttp): Check for empty header *after* the status line checks.
5055         (gethttp): Disallow continuations for status line.
5056
5057 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
5058
5059         * version.c: Wget 1.5-b16 is released.
5060
5061 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
5062
5063         * init.c (commands): Renamed `always_rest' to `continue'.
5064
5065 1998-04-05  Hrvoje Niksic  <hniksic@srce.hr>
5066
5067         * all: Use it.
5068
5069         * log.c (logputs): New argument.
5070         (logvprintf): Ditto.
5071         (logprintf): Ditto.
5072
5073 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
5074
5075         * http.c (http_atotm): Update comment.
5076
5077         * main.c (i18n_initialize): Set LC_MESSAGES, not LC_ALL.
5078
5079         * wget.h: Renamed ENABLED_NLS to HAVE_NLS.
5080
5081         * main.c (i18n_initialize): New function.
5082         (main): Use it.
5083
5084         * log.c: Include <unistd.h>.
5085
5086         * retr.c (show_progress): Cast alloca to char *.
5087
5088 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
5089
5090         * version.c: Wget 1.5-b15 is released.
5091
5092 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
5093
5094         * utils.h: Declare file_non_directory_p().
5095
5096 1998-04-03  Hrvoje Niksic  <hniksic@srce.hr>
5097
5098         * main.c (main): It's `tries', not `numtries' now.
5099
5100 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
5101
5102         * init.c (getperms): Removed.
5103
5104 1998-04-01  Tim Charron  <tcharron@interlog.com>
5105
5106         * log.c (logvprintf): Don't use ARGS twice.
5107
5108 1998-04-01  John  <john@futuresguide.com>
5109
5110         * mswindows.c: Cleaned up.
5111
5112 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
5113
5114         * version.c: Wget 1.5-b14 is released.
5115
5116 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
5117
5118         * ftp-opie.c (STRLEN4): New macro.
5119         (btoe): Use it.
5120
5121 1998-04-01  Junio Hamano  <junio@twinsun.com>
5122
5123         * http.c: Document all the Digest functions.
5124
5125 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
5126
5127         * utils.c (file_non_directory_p): Renamed from isfile().
5128
5129         * mswindows.h (S_ISREG): New macro, suggested by Tim Adam.
5130
5131 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
5132
5133         * utils.c (mkdirhier): Use 0777 instead of opt.dirmode.
5134
5135         * init.c (cmd_spec_dotstyle): Use 48 dots per line for binary
5136         style.
5137         (cmd_permissions): Removed.
5138
5139         * config.h.in: Add template for WORDS_BIGENDIAN.
5140
5141 1998-03-31  Junio Hamano  <junio@twinsun.com>
5142
5143         * http.c (HEXD2asc): New macro.
5144         (dump_hash): Use it.
5145
5146 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
5147
5148         * version.c: Wget 1.5-b13 is released.
5149
5150 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
5151
5152         * main.c (main): Don't try to use `com'.
5153
5154 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
5155
5156         * init.c (cmd_permissions): New function.
5157
5158 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
5159
5160         * version.c: Wget 1.5-b12 is released.
5161
5162 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
5163
5164         * init.c (commands): Renamed `numtries' to `tries'.
5165         (cmd_spec_debug): Removed.
5166         (home_dir): Under Windows, return `C:\' if HOME is undefined.
5167
5168 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
5169
5170         * config.h.in: Define _XOPEN_SOURCE.
5171
5172         * init.c (check_user_specified_header): New function.
5173         (cmd_spec_header): Use it.
5174         (cmd_spec_useragent): New function.
5175
5176 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
5177
5178         * version.c: Wget 1.5-b11 is released.
5179
5180 1998-03-28  Hrvoje Niksic  <hniksic@srce.hr>
5181
5182         * wget.h: Include <libintl.h> only if NLS is enabled.
5183
5184 1998-03-26  Hrvoje Niksic  <hniksic@srce.hr>
5185
5186         * options.h (struct options): Made `wait' a long.
5187         (struct options): Ditto for `timeout'.
5188
5189 1998-03-19  Hrvoje Niksic  <hniksic@srce.hr>
5190
5191         * utils.c (exists): Renamed to file_exists_p.
5192         (file_exists_p): Use access() if available.
5193
5194 1998-03-17  Hrvoje Niksic  <hniksic@srce.hr>
5195
5196         * utils.c (memfatal): Set save_log_p to 0 to avoid potential
5197         infloop.
5198
5199         * log.c: do_logging -> save_log_p.
5200
5201         * config.h.in: Added template for HAVE_VSNPRINTF.
5202
5203 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
5204
5205         * init.c: Ditto.
5206
5207         * http.c: Protect declaration against non-ANSI compiler.
5208
5209         * log.c (logvprintf): Use vsnprintf() if available.
5210
5211         * getopt.c (main): Don't translate test stuff.
5212
5213 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
5214
5215         * version.c: Wget 1.5-b10 is released.
5216
5217 1998-03-11  Hrvoje Niksic  <hniksic@srce.hr>
5218
5219         * ftp.c (getftp): Don't translate "CWD %s".
5220
5221         * wget.h (GCC_FORMAT_ATTR): Renamed from FORMAT_ATTR.
5222
5223 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
5224
5225         * ftp-opie.c (btoe): Use memcpy() instead of strncat().
5226
5227         * log.c (logputs): New function.
5228         (logvprintf): Renamed from vlogmsg; use logputs().
5229
5230         * retr.c (show_progress): Print `[100%]' when the retrieval is
5231         finished.
5232
5233         * init.c (run_wgetrc): Use FILE, not PATH.
5234         (wgetrc_file_name): Ditto.
5235
5236 1998-03-07  Tim Adam  <tma@osa.com.au>
5237
5238         * recur.c (parse_robots): Correctly reset `entries' on empty
5239         disallow.
5240
5241 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
5242
5243         * init.c (cmd_spec_debug): Use cmd_boolean().
5244
5245 1998-02-23  Hrvoje Niksic  <hniksic@srce.hr>
5246
5247         * http.c (gethttp): Create proxy-authorization correctly.
5248
5249 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
5250
5251         * md5.c: Ditto.
5252
5253         * getopt.c: Use ANSI function definitions.
5254
5255         * ftp-opie.c: New file.
5256
5257         * options.h: Don't redefine EXTERN.
5258
5259         * init.c: Sort it correctly.
5260
5261 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
5262
5263         * version.c: Wget 1.5-b9 is released.
5264
5265 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
5266
5267         * recur.c (recursive_retrieve): Reset `first_time'.
5268
5269         * ftp.c (getftp): Added `default' clause to switches of uerr_t.
5270
5271         * rbuf.c (rbuf_peek): Simplified.
5272         (rbuf_flush): Use MINVAL.
5273
5274         * wget.h (MINVAL): Moved from url.h.
5275
5276         * rbuf.h (RBUF_FD): New macro.
5277
5278         * url.c (add_url): Add to the head of the list.
5279
5280         * ftp.c (ftp_retrieve_list): Set the permissions to downloaded
5281         file.
5282         (getftp): Set the default permissions to 0600.
5283
5284 1998-02-21  Hrvoje Niksic  <hniksic@srce.hr>
5285
5286         * url.c (get_urls_html): Ditto.
5287         (convert_links): Ditto.
5288
5289         * recur.c (parse_robots): Ditto.
5290
5291         * html.c (ftp_index): Ditto.
5292
5293         * ftp-ls.c (ftp_parse_unix_ls): Open file as binary.
5294
5295         * init.c (defaults): Initialize `opt' to zero via memset.
5296
5297         * http.c (digest_authentication_encode): goto considered harmful.
5298
5299 1998-02-19  Hrvoje Niksic  <hniksic@srce.hr>
5300
5301         * ftp.c (delelement): Simplify and fix leak.
5302
5303 1998-02-18  Hrvoje Niksic  <hniksic@srce.hr>
5304
5305         * http.c (dump_hash): Use HEXD2ASC instead of home-grown stuff.
5306
5307         * url.h (HEXD2ASC): Removed warning.
5308
5309         * init.c (comind): Use binary search.
5310         (commands): Reorganized.
5311         (setval): Ditto.
5312         (cmd_boolean): New function.
5313         (cmd_number): Ditto.
5314         (cmd_number_inf): Ditto.
5315         (cmd_string): Ditto.
5316         (cmd_vector): Ditto.
5317         (cmd_directory_vector): Ditto.
5318         (cmd_bytes): Ditto.
5319         (cmd_time): Ditto.
5320         (cmd_spec_debug): Ditto.
5321         (cmd_spec_dirmode): Ditto.
5322         (cmd_spec_dirstruct): Ditto.
5323         (cmd_spec_dotstyle): Ditto.
5324         (cmd_spec_header): Ditto.
5325         (cmd_spec_htmlify): Ditto.
5326         (cmd_spec_mirror): Ditto.
5327         (cmd_spec_outputdocument): Ditto.
5328         (cmd_spec_recursive): Ditto.
5329         (settime): Merged with cmd_time().
5330         (setbytes): Merged with cmd_bytes().
5331         (setonoff): Merged with cmd_boolean().
5332         (onoff): Ditto.
5333
5334 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
5335
5336         * Makefile.in (distclean): Remove `config.h'.
5337
5338 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
5339
5340         * version.c: Wget 1.5-b8 is released.
5341
5342 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
5343
5344         * http.c (digest_authentication_encode): New function.
5345         (create_authorization_line): Use it.
5346         (dump_hash): New function.
5347         (digest_authentication_encode): Use it.
5348
5349         * fnmatch.c: Renamed from `mtch.c'.
5350
5351 1998-02-15  Karl Eichwalder  <ke@suse.de>
5352
5353         * main.c (main): Tag "Written by..." string as translatable.
5354
5355 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
5356
5357         * wget.h (FREE_MAYBE): New macro.
5358
5359         * http.c (create_authorization_line): Don't use ANSI C string
5360         concatenation feature.
5361         (basic_authentication_encode): Use alloca() for temporary
5362         variables.
5363
5364         * recur.h: Ditto.
5365
5366         * http.c: Ditto.
5367
5368         * headers.h: Ditto.
5369
5370         * ftp-basic.c: Protect declaration against non-ANSI compiler.
5371
5372         * http.c (create_authorization_line): Cast `unsigned char *' to
5373         `char *' for sprintf, to shut up the noisy Digital Unix cc.
5374
5375 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
5376
5377         * version.c: Wget 1.5-b7 is released.
5378
5379 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
5380
5381         * cmpt.c (strstr): Synched with glibc-2.0.6.
5382
5383         * ftp-basic.c (calculate_skey_response): Ditto.
5384         (calculate_skey_response): Use alloca().
5385
5386         * http.c (create_authorization_line): Work with FSF's version of
5387         md5.c.
5388
5389         * md5.c: New file, from GNU libc.
5390
5391 1998-02-14  Hrvoje Niksic  <hniksic@srce.hr>
5392
5393         * url.h (URL_CLEANSE): Name the temporary variable more carefully.
5394
5395 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
5396
5397         * http.c (basic_authentication_encode): New function, instead of
5398         the macro.
5399
5400 1998-02-13  Junio Hamano  <junio@twinsun.com>
5401
5402         * http.c: Add HTTP-DA support.
5403         * ftp-basic.c: Add Opie/S-key support.
5404         * config.h.in, Makefile.in: Add HTTP-DA and Opie/S-key support.
5405         * md5.c, md5.h: New files.
5406
5407 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
5408
5409         * http.c (http_process_range): Renamed from hprocrange().
5410         (http_process_range): Parse the whole header.
5411
5412         * headers.c: New file.
5413         (header_process): New function.
5414         (header_get): Renamed from fetch_next_header.
5415
5416         * all: Include utils.h only where necessary.
5417
5418         * wget.h: Declare xmalloc(), xrealloc() and xstrdup() here.
5419
5420         * wget.h: Add provisions for dmalloc.
5421
5422 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
5423
5424         * version.c: Wget 1.5-b6 is released.
5425
5426 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
5427
5428         * ftp.c (ftp_loop): Determine `filename' more precisely.
5429
5430         * init.c (setval): Don't set `opt.quiet' if output-document is
5431         `-'.
5432
5433         * log.c (log_init): Print to STDERR instead of STDOUT.
5434         (vlogmsg): Use STDERR by default.
5435         (logflush): Ditto.
5436
5437 1998-02-11  Simon Josefsson  <jas@pdc.kth.se>
5438
5439         * host.c: Use addr_in again.
5440
5441 1998-02-08  Karl Eichwalder  <karl@suse.de>
5442
5443         * http.c (gethttp): Fixed typo.
5444
5445 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
5446
5447         * version.c: Wget 1.5-b5 is released.
5448
5449 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
5450
5451         * retr.c (show_progress): Use it.
5452
5453         * log.c (logflush): New function.
5454
5455         * wget.h: Utilize __attribute__ if on gcc.
5456
5457 1998-02-07  Hrvoje Niksic  <hniksic@srce.hr>
5458
5459         * http.c (base64_encode_line): New argument LENGTH.
5460         (BASIC_AUTHENTICATION_ENCODE): Use it.
5461         (BASIC_AUTHENTICATION_ENCODE): Take length of HEADER into account.
5462
5463         * main.c (main): Fixed fprintf() format mismatch.
5464
5465 1998-02-06  Hrvoje Niksic  <hniksic@srce.hr>
5466
5467         * version.c: Wget 1.5-b4 is released.
5468
5469 1998-02-03  Simon Josefsson  <jas@pdc.kth.se>
5470
5471         * host.c: use sockaddr_in instead of addr_in.
5472
5473 1998-02-04  Hrvoje Niksic  <hniksic@srce.hr>
5474
5475         * init.c (cleanup): Use it.
5476
5477         * recur.c (recursive_cleanup): New function.
5478
5479         * retr.c (retrieve_from_file): Ditto.
5480
5481         * main.c (main): Use it.
5482
5483         * recur.c (recursive_reset): New function.
5484
5485         * retr.c (retrieve_from_file): Ditto.
5486
5487         * main.c (main): Simplify call to recursive_retrieve().
5488
5489         * recur.c (recursive_retrieve): Removed FLAGS argument.
5490
5491         * http.c (gethttp): Changed call to iwrite().
5492
5493 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
5494
5495         * url.c (get_urls_html): Ditto.
5496         (free_urlpos): Ditto.
5497         (mkstruct): Ditto.
5498         (construct): Ditto.
5499
5500         * retr.c (retrieve_url): Move declaration of local variables to
5501         smaller scope.
5502
5503         * url.c (urlproto): Use it.
5504         (parseurl): Ditto.
5505         (str_url): Ditto.
5506         (get_urls_html): Ditto.
5507
5508         * utils.h (ARRAY_SIZE): New macro.
5509
5510         * url.c (proto): Moved from url.h.
5511
5512         * url.h (URL_CLEANSE): Reformatted.
5513         (USE_PROXY_P): Renamed from USE_PROXY.
5514
5515         * ftp-basic.c: Adjust to the new interface of iwrite().
5516
5517         * ftp-basic.c (ftp_port): Use alloca().
5518
5519 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
5520
5521         * version.c: Wget 1.5-b3 is released.
5522
5523         * host.c (ftp_getaddress): Don't print to stderr directly.
5524
5525         * init.c (setbytes): Support `g' for gigabytes.
5526         (cmdtype): New specification CTIME.
5527         (setval): Use it with settime().
5528         (commands): Use it for WAIT and TIMEOUT.
5529
5530 1998-02-02  Hrvoje Niksic  <hniksic@srce.hr>
5531
5532         * http.c (BASIC_AUTHENTICATION_ENCODE): New macro.
5533         (gethttp): Use it.
5534
5535         * utils.c (unique_name_1): Moved from url.c.
5536         (unique_name): Ditto.
5537
5538         * url.c (url_filename): Ditto.
5539
5540         * log.c (redirect_output): Changed call to unique_name().
5541
5542         * url.c (unique_name_1): Renamed from unique_name().
5543         (unique_name): Changed interface.
5544
5545         * init.c (enum cmdid): Moved from init.h.
5546         (cmdtype): Ditto.
5547         (struct cmd): Ditto.
5548
5549         * main.c (main): Use it.
5550         (main): Moved `--backups' to not have a short option.
5551
5552         * options.h (struct options): New member BACKGROUND.
5553
5554         * main.c (print_help): Rearranged.
5555         (main): New long options for -n* short options: --no-directories,
5556         --no-host-directories, --non-verbose, --no-host-lookup and
5557         --dont-remove-listing.
5558
5559 1998-02-01  Hrvoje Niksic  <hniksic@srce.hr>
5560
5561         * main.c (main): Use log_close().
5562
5563         * log.c: New variable LOGFP.
5564         (vlogmsg): Use it.
5565         (redirect_output): Don't open /dev/null; set LOGFP to stdin
5566         instead.
5567         (log_close): New function.
5568
5569         * options.h (struct options): Removed LFILE.
5570
5571         * log.c (log_enable): Removed.
5572
5573         * main.c (main): Use it.
5574
5575         * log.c (log_init): New function.
5576
5577         * url.c (get_urls_html): Removed needless assignment to BASE.
5578
5579         * host.c (add_hlist): Don't set CMP needlessly.
5580
5581         * utils.c (match_backwards): Ditto.
5582         (in_acclist): Ditto.
5583
5584         * url.c (findurl): Ditto.
5585
5586         * netrc.c (parse_netrc): Ditto.
5587
5588         * log.c (log_dump): Ditto.
5589
5590         * html.c (html_quote_string): Ditto.
5591
5592         * ftp-basic.c (ftp_request): Made static.
5593
5594         * connect.c: Made global variables static.
5595
5596         * url.c (construct): Ditto.
5597
5598         * init.c (init_path): Avoid assignment inside `if'-condition.
5599
5600         * ftp.c: Don't include in.h or winsock.h.
5601
5602         * ftp.c (ftp_loop): Use SZ.
5603
5604         * connect.c (bindport): Cast &addrlen to int *.
5605         (conaddr): Ditto.
5606
5607         * init.c (initialize): Don't use SYSTEM_WGETRC unconditionally.
5608
5609 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
5610
5611         * ftp.c (getftp): Initialize opt.ftp_pass here.
5612         (ftp_retrieve_dirs): Use alloca().
5613
5614         * init.c (defaults): Don't initialize opt.ftp_pass.
5615
5616         * sysdep.h (S_ISLNK): Declare for OS/2; ditto for lstat.
5617         From Ivan F. Martinez <ivanfm@ecodigit.com.br>.
5618
5619 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
5620
5621         * recur.c (parse_robots): Check for comments more correctly.
5622
5623         * host.c (ftp_getaddress): Use STRDUP_ALLOCA.
5624         (ftp_getaddress): Add diagnostics when reverse-lookup yields only
5625         hostname.
5626
5627 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
5628
5629         * version.c: Wget 1.5-b2 is released.
5630
5631         * netrc.c (NETRC_FILE_NAME): Moved from netrc.h.
5632
5633         * utils.c (proclist): Pass FNM_PATHNAME to fnmatch().
5634
5635         * ftp-basic.c (ftp_pasv): Avoid unnecessary casting to unsigned
5636         char.
5637
5638         * log.c: Don't attempt to hide arguments from ansi2knr.
5639
5640         * cmpt.c: Synched strptime() and mktime() with glibc-2.0.6.
5641
5642         * ansi2knr.c: Use a later version, from fileutils-3.16l alpha.
5643
5644         * ftp.c (getftp): Ditto.
5645
5646         * http.c (gethttp): Use it.
5647
5648         * retr.c (get_contents): New argument EXPECTED; pass it to
5649         show_progress().
5650         (show_progress): New argument EXPECTED; use it to display
5651         percentages.
5652
5653         * init.c (setval): Ditto.
5654
5655         * http.c (gethttp): Ditto.
5656         (http_loop): Ditto.
5657
5658         * ftp.c (getftp): Ditto.
5659         (ftp_loop_internal): Ditto.
5660
5661         * ftp-ls.c (ftp_parse_unix_ls): Use abort() instead of assert(0).
5662
5663         * sysdep.h (CLOSE): Simplify; use DEBUGP.
5664
5665         * netrc.c (search_netrc): Use alloca().
5666
5667         * init.c (defaults): Initialize no_flush.
5668
5669         * log.c (vlogmsg): Don't flush if no_flush.
5670
5671         * options.h (struct options): New variable no_flush.
5672
5673         * main.c (main): Don't play games with buffering.
5674
5675         * log.c (vlogmsg): Flush the output after every message.
5676
5677 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
5678
5679         * init.c (parse_line): Ditto.
5680
5681         * url.c (get_urls_html): Ditto.
5682
5683         * main.c (main): Don't cast to unsigned char.
5684
5685         * init.c (run_wgetrc): Don't cast to unsigned char.
5686         (parse_line): Accept char instead of unsigned char.
5687
5688         * html.c (htmlfindurl): Use char instead of unsigned char.
5689
5690         * all: Use them.
5691
5692         * sysdep.h: Add wrappers to ctype macros to make them
5693         eight-bit-clean:
5694
5695 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
5696
5697         * html.c (htmlfindurl): Download <img lowsrc=...>
5698
5699         * main.c (main): Ignore SIGPIPE.
5700
5701         * connect.c (select_fd): New argument WRITEP.
5702         (iwrite): Call select_fd().
5703
5704 1997-02-27  Fila Kolodny <fila@ibi.com>
5705
5706         * ftp.c (ftp_retrieve_list): If retrieving symlink and the proper
5707         one already exists, just skip it.
5708
5709 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
5710
5711         * http.c (gethttp): Cosmetic changes.
5712
5713         * http.c (check_end): Allow `+D...' instead of `GMT'.
5714         From Fabrizio Pollastri <pollastri@cstv.to.cnr.it>.
5715
5716         * url.c (process_ftp_type): New function.
5717         (parseurl): Use it.
5718
5719         * connect.c (iwrite): Allow writing in a few chunks.
5720         (bindport): Made SRV static, so addr can point to it.
5721         (select_fd): Removed HPUX kludge.
5722
5723         * host.c (free_hlist): Incorporated into clean_hosts().
5724
5725 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
5726
5727         * host.c (hlist): Made static.
5728         (search_address): Cosmetic change.
5729
5730 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
5731
5732         * version.c: Wget v1.5-b1 is released.
5733
5734         * http.c (hgetlen): Use sizeof() to get the header length.
5735         (hgetrange): Ditto.
5736         (hgettype): Ditto.
5737         (hgetlocation): Ditto.
5738         (hgetmodified): Ditto.
5739         (haccepts_none): Ditto.
5740
5741         * main.c (main): Updated `--version' and `--help' output, as per
5742         Francois Pinard's suggestions.
5743
5744         * main.c: Include locale.h; call setlocale(), bindtextdomain() and 
5745         textdomain().
5746
5747         * config.h.in: Define stubs for I18N3.
5748
5749         * wget.h: Include libintl.h.
5750
5751 1998-01-28  Hrvoje Niksic  <hniksic@srce.hr>
5752
5753         * url.c (mkstruct): Check for opt.cut_dirs.
5754         (mkstruct): alloca()-te more, xmalloc() less.
5755
5756         * utils.c (load_file): Check for ferror().
5757
5758         * url.c (get_urls_file): Close only the files we opened.
5759         (get_urls_html): Ditto.
5760         (count_slashes): New function.
5761
5762         * http.h: Removed.
5763
5764         * http.c (gethttp): Respect username and password provided by
5765         proxy URL.
5766         (base64_encode_line): Write into an existing buffer instead of
5767         malloc-ing a new one.
5768         (struct http_stat): Moved from http.h
5769
5770         * retr.c (retrieve_url): Free SUF.
5771
5772         * all: Removed lots of unnecessary .h dependencies.
5773
5774         * html.c (global_state): Made static.
5775
5776         * utils.h (ALLOCA_ARRAY): New macro.
5777
5778         * main.c (main): New option `--cut-dirs'.
5779
5780         * url.c (construct): Use alloca() for T.
5781
5782         * utils.c (mkdirhier): Use STRDUP_ALLOCA.
5783
5784         * host.c (_host_t): Moved from host.h.
5785         (struct host): Renamed from _host_t.
5786         (store_hostaddress): Use STRDUP_ALLOCA for INET_S.
5787         (realhost): Ditto.
5788
5789         * host.h: Don't include url.h.
5790
5791         * ftp.c (LIST_FILENAME): Moved from ftp.h.
5792
5793         * init.c (DEFAULT_FTP_ACCT): Moved from ftp.h.
5794
5795         * main.c (main): Enable log if the output goes to a TTY.
5796
5797         * connect.h: Removed unused constant `BACKLOG'.
5798
5799         * config.h.in: Check for isatty().
5800
5801         * Makefile.in (LINK): Use CFLAGS when linking.
5802
5803 1998-01-27  Hrvoje Niksic  <hniksic@srce.hr>
5804
5805         * mswindows.c (ws_hangup): Use redirect_output().
5806
5807         * main.c (redirect_output_signal): New function; use
5808         redirect_output().
5809
5810         * log.c (redirect_output): New function, based on hangup(), which
5811         is deleted.
5812
5813         * log.c (vlogmsg): New function.
5814
5815         * wget.h (DEBUGP): Use debug_logmsg().
5816
5817         * main.c (hangup): Use it.
5818
5819         * log.c (log_dump): New function.
5820
5821         * utils.h (DO_REALLOC): Use `long' for various sizes.
5822
5823         * http.c (hskip_lws): Use `while', for clarity.
5824         (HTTP_DYNAMIC_LINE_BUFFER): New constant.
5825         (fetch_next_header): Use it instead of DYNAMIC_LINE_BUFFER.
5826
5827         * ftp-basic.c (FTP_DYNAMIC_LINE_BUFFER): New constant.
5828         (ftp_response): Use it instead of DYNAMIC_LINE_BUFFER.
5829
5830         * utils.c (DYNAMIC_LINE_BUFFER): Moved from utils.c.
5831         (LEGIBLE_SEPARATOR): Ditto.
5832         (FILE_BUFFER_SIZE): Ditto.
5833
5834         * retr.c (BUFFER_SIZE): Moved from retr.h.
5835
5836         * log.c: New file.
5837         (logmsg): Moved from utils.c.
5838         (debug_logmsg): New function.
5839
5840         * mswindows.h: Include it here.
5841
5842         * init.c: Ditto.
5843
5844         * utils.c: Don't include <windows.h>.
5845
5846 1998-01-25  Hrvoje Niksic  <hniksic@srce.hr>
5847
5848         * host.c (ftp_getaddress): Ditto.
5849
5850         * main.c (main): Use it.
5851
5852         * utils.h (STRDUP_ALLOCA): New macro.
5853
5854         * init.c: Prepend `wget: ' to error messages printed on stderr.
5855
5856         * utils.c (mkdirhier): Renamed from mymkdir.
5857         (touch): Renamed from my_touch.
5858         (pwd_cuserid): Renamed from my_cuserid().
5859
5860 1998-01-24  Andy Eskilsson  <andy.eskilsson@telelogic.se>
5861
5862         * utils.c (accdir): Process wildcards.
5863         (proclist): New function.
5864         (accdir): Use it to avoid code repetition.
5865
5866 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
5867
5868         * recur.c (parse_robots): Respect opt.useragent; use alloca().
5869
5870         * http.c (gethttp): Construct useragent accordingly.
5871
5872         * version.c: Changed version string to numbers-only.
5873
5874         * main.c (print_help): List all the options.
5875
5876         * mswindows.c (windows_main_junk): Initialize argv0 here.
5877
5878 1998-01-24  Karl Heuer  <kwzh@gnu.org>
5879
5880         * netrc.c (search_netrc): Initialize `l' only after processing
5881         netrc.
5882
5883         * main.c (main): Don't trap SIGHUP if it's being ignored.
5884
5885 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
5886
5887         * all: Use logmsg().
5888
5889         * utils.c (time_str): Moved from retr.c.
5890         (logmsg): New function.
5891         (logmsg_noflush): Ditto.
5892
5893         * rbuf.c: New file, moved buf_* functions here.
5894
5895         * ftp.c (ftp_expected_bytes): Moved from ftp-basic.c.
5896
5897         * ftp-basic.c (ftp_rest): Use prnum().
5898
5899         * ftp-basic.c: Ditto.
5900
5901         * ftp.c: Use the new reading functions and macros.
5902
5903         * retr.c (buf_initialize): New function.
5904         (buf_initialized_p): Ditto.
5905         (buf_uninitialize): Ditto.
5906         (buf_fd): Ditto.
5907
5908         * http.c (fetch_next_header): Use the BUF_READCHAR macro for
5909         efficiency.
5910         (gethttp): Use alloca() where appropriate.
5911
5912         * retr.c (buf_readchar): Use it.
5913         (buf_peek): Use rstreams.
5914
5915         * retr.h (BUF_READCHAR): New macro.
5916
5917         * init.c (home_dir): Rewritten for clarity.
5918         (init_path): Ditto.
5919
5920         * mswindows.c (ws_backgnd): Made static.
5921         (read_registry): Ditto.
5922         (ws_cleanup): Ditto.
5923         (ws_handler): Ditto.
5924
5925 1998-01-23  Hrvoje Niksic  <hniksic@srce.hr>
5926
5927         * alloca.c: New file.
5928
5929         * Makefile.in (ALLOCA): Define.
5930
5931         * mswindows.c (ws_help): Constify.
5932         (ws_help): Use alloca.
5933
5934         * mswindows.c: Reformat.
5935
5936         * all: Added _(...) annotations for I18N snarfing and translation.
5937
5938         * host.c (ftp_getaddress): Nuke SYSINFO.
5939         (ftp_getaddress): Don't use getdomainname().
5940         (ftp_getaddress): Use uname(), where available.
5941
5942         * http.c (gethttp): Protect a stray fprintf().
5943
5944         * init.c (settime): New function.
5945         (setval): Treat WAIT specially, allowing suffixes like `m' for
5946         minutes, etc.
5947
5948 1998-01-21  Hrvoje Niksic  <hniksic@srce.hr>
5949
5950         * url.c (get_urls_html): Use alloca() for TEMP.
5951
5952 1998-01-21  Jordan Mendelson  <jordy@wserv.com>
5953
5954         * url.c (rotate_backups): New function.
5955
5956         * http.c (gethttp): Ditto.
5957
5958         * ftp.c (getftp): Rotate backups.
5959
5960 1997-12-18  Hrvoje Niksic  <hniksic@srce.hr>
5961
5962         * all: Renamed nmalloc(), nrealloc() and nstrdup() to xmalloc(),
5963         xrealloc() and xstrdup().  Use the new functions.
5964
5965         * url.c (decode_string): Made static.
5966         (has_proto): Ditto.
5967         (parse_dir): Ditto.
5968         (parse_uname): Ditto.
5969         (mkstruct): Ditto.
5970         (construct): Ditto.
5971         (construct_relative): Ditto.
5972
5973         * retr.c (show_progress): Made static.
5974
5975         * recur.c (robots_url): Made static.
5976         (retrieve_robots): Ditto.
5977         (parse_robots): Ditto.
5978         (robots_match): Ditto.
5979
5980         * main.h: Removed.
5981
5982         * main.c (printhelp): Made static.
5983         (hangup): Ditto.
5984
5985         * init.c (comind): Made static.
5986         (defaults): Ditto.
5987         (init_path): Ditto.
5988         (run_wgetrc): Ditto.
5989         (onoff): Ditto.
5990         (setonoff): Ditto.
5991         (setnum): Ditto.
5992         (myatoi): Ditto.
5993         (getperms): Ditto.
5994         (setbytes): Ditto.
5995
5996         * http.c (fetch_next_header): Made static.
5997         (hparsestatline): Ditto.
5998         (hskip_lws): Ditto.
5999         (hgetlen): Ditto.
6000         (hgetrange): Ditto.
6001         (hgettype): Ditto.
6002         (hgetlocation): Ditto.
6003         (hgetmodified): Ditto.
6004         (haccepts_none): Ditto.
6005         (gethttp): Ditto.
6006         (base64_encode_line): Ditto.
6007         (mktime_from_utc): Ditto.
6008         (http_atotm): Ditto.
6009
6010         * html.c (idmatch): Made static.
6011
6012         * host.c (search_host): Made static.
6013         (search_address): Ditto.
6014         (free_hlist): Ditto.
6015
6016         * ftp.c (getftp): Made static.
6017         (ftp_loop_internal): Ditto.
6018         (ftp_get_listing): Ditto.
6019         (ftp_retrieve_list): Ditto.
6020         (ftp_retrieve_dirs): Ditto.
6021         (ftp_retrieve_glob): Ditto.
6022         (freefileinfo): Ditto.
6023         (delelement): Ditto.
6024
6025         * ftp-ls.c (symperms): Made static.
6026         (ftp_parse_unix_ls): Ditto.
6027
6028         * connect.c (select_fd): Made static.
6029
6030         * utils.c (xmalloc): Renamed from nmalloc.
6031         (xrealloc): Renamed from nrealloc.
6032         (xstrdup): Renamed from nstrdup.
6033
6034         * getopt.c (exchange): Use alloca.
6035
6036         * mswindows.c (mycuserid): Use strncpy.
6037
6038         * New files mswindows.c, mswindows.h, sysdep.h.  winjunk.c,
6039         systhings.h, windecl.h and winjunk.h removed.
6040
6041         * mswindows.c (sleep): New function.
6042
6043         * utils.c: Include <windows.h> under Windows.
6044
6045 1997-06-12  Darko Budor  <dbudor@zesoi.fer.hr>
6046
6047         * url.h (URL_UNSAFE): Change default under Windows.
6048
6049         * retr.c (retrieve_from_file): Respect opt.delete_after.
6050
6051         * main.c (main): Call ws_help on Windows.
6052
6053         * winjunk.c (windows_main_junk): New function.
6054
6055         * main.c (main): Junk-process argv[0].
6056
6057         * http.c (mktime_from_utc): Return -1 if mktime failed.
6058
6059         * http.c (http_loop): Ditto.
6060
6061         * ftp.c (ftp_loop_internal): Change title on Windows when using a
6062         new URL.
6063
6064         * winjunk.c (getdomainname): Lots of functions.
6065
6066 1997-06-12  Hrvoje Niksic  <hniksic@srce.hr>
6067
6068         * cmpt.c (strptime_internal): Handle years more correctly for
6069         `%y'.
6070
6071 1997-06-09  Mike Thomas <mthomas@reality.ctron.com>
6072
6073         * http.c (gethttp): Allocate enough space for
6074         `Proxy-Authorization' header.
6075
6076 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
6077
6078         * version.c: Wget/1.4.5 is released.
6079
6080 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
6081
6082         * retr.c (get_contents): Check return value of fwrite more
6083         carefully.
6084
6085 1997-03-30  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
6086
6087         * cmpt.c (strptime_internal) [case 'Y']: Always subtract 1900 from
6088         year, regardless of century.
6089
6090 1997-03-30  Hrvoje Niksic  <hniksic@srce.hr>
6091
6092         * utils.c (isfile): Use `lstat' instead of `stat'.
6093
6094 1997-03-29  Hrvoje Niksic  <hniksic@srce.hr>
6095
6096         * utils.c (numdigit): Use explicit test.
6097
6098 1997-03-21  Hrvoje Niksic  <hniksic@srce.hr>
6099
6100         * http.c (http_loop): Always use `url_filename' to get u->local.
6101
6102 1997-03-20  Hrvoje Niksic  <hniksic@srce.hr>
6103
6104         * url.c: Recognize https.
6105
6106 1997-03-13  Hrvoje Niksic  <hniksic@srce.hr>
6107
6108         * recur.c (recursive_retrieve): Lowercase just the host name.
6109
6110 1997-03-09  Hrvoje Niksic  <hniksic@srce.hr>
6111
6112         * url.c (get_urls_file): Use the correct test.
6113         (get_urls_html): Ditto.
6114
6115 1997-03-07  Hrvoje Niksic  <hniksic@srce.hr>
6116
6117         * connect.c: Reverted addrlen to int.
6118
6119         * init.c (parse_line): Check for -1 instead of NONE.
6120
6121         * version.c: Changed version to 1.4.5.
6122
6123 1997-02-17  Hrvoje Niksic  <hniksic@srce.hr>
6124
6125         * init.c: New option netrc.
6126         (initialize): Don't parse .netrc.
6127
6128         * cmpt.c (recursive): Return rp.
6129         (strptime_internal): Match the long strings first, the abbreviated
6130         second.
6131
6132 1997-02-16  Hrvoje Niksic  <hniksic@srce.hr>
6133
6134         * http.c (check_end): New function.
6135         (http_atotm): Use it.
6136  
6137 1997-02-13  gilles Cedoc  <gilles@cedocar.fr>
6138
6139         * http.c (gethttp): Use them.
6140
6141         * init.c: New options proxy_user and proxy_passwd.
6142
6143 1997-02-14  Hrvoje Niksic  <hniksic@srce.hr>
6144
6145         * ftp.c (ftp_retrieve_list): Create links even if not relative.
6146
6147 1997-02-10  Hrvoje Niksic  <hniksic@srce.hr>
6148
6149         * recur.c (recursive_retrieve): Lowercase the host name, if the
6150         URL is not "optimized".
6151
6152         * host.c (realhost): Return l->hostname, even if it matches with
6153         host.
6154
6155 1997-02-10  Marin Purgar  <pmc@asgard.hr>
6156
6157         * connect.c: Make addrlen size_t instead of int.
6158         (conaddr): Ditto.
6159
6160 1997-02-09  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
6161
6162         * systhings.h: Define S_ISLNK on NeXT too.
6163
6164 1997-02-09  Hrvoje Niksic  <hniksic@srce.hr>
6165
6166         * version.c: Released 1.4.3.
6167
6168         * url.c: Futher update to list of protostrings.
6169         (skip_proto): Skip `//' correctly for FTP and HTTP.
6170
6171         * url.c (get_urls_html): Handle bogus `http:' things a little
6172         different.
6173
6174         * main.c (main): Removed `follow-ftp' from `f'.
6175         (main): Dumped the `prefix-files' and `file-prefix' options and
6176         features; old and bogus.
6177         (main): Exit on failed setval() in `-e'.
6178
6179         * http.c (fetch_next_header): Use it to detect header continuation
6180         correctly.
6181
6182         * retr.c (buf_peek): New function.
6183
6184 1997-02-08  Hrvoje Niksic  <hniksic@srce.hr>
6185
6186         * wget.h: Include time.h and stuff.
6187
6188 1997-02-08  Roger Beeman  <beeman@cisco.com>
6189
6190         * ftp.c: Include <time.h>
6191
6192 1997-02-07  Hrvoje Niksic  <hniksic@srce.hr>
6193
6194         * url.c (findurl): Would read over buffer limits.
6195
6196 1997-02-06  Hrvoje Niksic  <hniksic@srce.hr>
6197
6198         * ftp-ls.c (ftp_parse_unix_ls): Allow spaces in file names.
6199
6200 1997-02-05  Hrvoje Niksic  <hniksic@srce.hr>
6201
6202         * http.c (http_atotm): Initialize tm.is_dst.
6203
6204 1997-02-02  Hrvoje Niksic  <hniksic@srce.hr>
6205
6206         * http.c (gethttp): Don't print the number of retrieved headers.
6207
6208         * main.c (main): New option `--no-clobber', alias for `-nc'.
6209
6210         * url.c: Recognize `https://'.
6211
6212 1997-02-01  Hrvoje Niksic  <hniksic@srce.hr>
6213
6214         * host.c (herrmsg): Don't use h_errno.
6215
6216 1997-01-30  Hrvoje Niksic  <hniksic@srce.hr>
6217
6218         * host.c (accept_domain): Use it.
6219
6220         * main.c (main): New option `--exclude-domains'.
6221
6222         * retr.c (retrieve_url): Use it.
6223         (retrieve_url): Bail out when an URL is redirecting to itself.
6224
6225         * url.c (url_equal): New function.
6226
6227 1997-01-29  Hrvoje Niksic  <hniksic@srce.hr>
6228
6229         * connect.c: Include arpa/inet.h instead of arpa/nameser.h.
6230
6231         * http.c (mk_utc_time): New function.
6232         (http_atotm): Use it; handle time zones correctly.
6233
6234 1997-01-28  Hrvoje Niksic  <hniksic@srce.hr>
6235
6236         * http.c: Ditto.
6237
6238         * ftp-basic.c: Use it instead of WRITE.
6239
6240         * connect.c (iwrite): New function.
6241
6242 1997-01-27  Hrvoje Niksic  <hniksic@srce.hr>
6243
6244         * cmpt.c (mktime): New function.
6245
6246         * netrc.c: Include <sys/types.h>.
6247
6248         * main.c (main): Wouldn't recognize --spider.
6249
6250         * retr.c (rate): Use `B', `KB' and `MB'.
6251         (reset_timer,elapsed_time): Moved from utils.c.
6252
6253         * ftp.c (ftp_retrieve_list): Ditto.
6254
6255         * http.c (http_loop): Don't touch the file if opt.dfp.
6256
6257 1997-01-24  Hrvoje Niksic  <hniksic@srce.hr>
6258
6259         * cmpt.c: New file.
6260
6261         * ftp.c (ftp_retrieve_glob): New argument semantics.
6262         (ftp_retrieve_dirs): Use it.
6263         (ftp_loop): Ditto.
6264
6265         * html.c (htmlfindurl): Recognize `'' as the quote char.
6266
6267 1997-01-23  Hrvoje Niksic  <hniksic@srce.hr>
6268
6269         * ftp.c (ftp_loop_internal): Use it.
6270
6271         * utils.c (remove_link): New function.
6272
6273 1997-01-22  Hrvoje Niksic  <hniksic@srce.hr>
6274
6275         * retr.c (retrieve_url): Require STRICT redirection URL.
6276
6277         * url.c (parseurl): New argument STRICT.
6278
6279         * http.c (hparsestatline): Be a little-bit less strict about
6280         status line format.
6281
6282 1997-01-21  Hrvoje Niksic  <hniksic@srce.hr>
6283
6284         * http.c (gethttp): Use it.
6285
6286         * main.c (main): Don't use '<digit>' as options.
6287
6288         * init.c: New option ignore_length.
6289
6290         * http.c (gethttp): Ditto.
6291         (http_loop): Check for redirection without Location:.
6292         (gethttp): Don't print Length unless RETROKF.
6293
6294         * ftp.c (getftp): Use it.
6295
6296         * url.c (mkalldirs): New function.
6297
6298         * utils.c (mymkdir): Don't check for existing non-directory.
6299
6300         * url.c (mkstruct): Don't create the directory.
6301
6302 1997-01-20  Hrvoje Niksic  <hniksic@srce.hr>
6303
6304         * init.c (setval): Removed NO_RECURSION checks.
6305
6306 1997-01-19  Hrvoje Niksic  <hniksic@srce.hr>
6307
6308         * version.c: "Released" 1.4.3-pre2.
6309
6310         * recur.c (recursive_retrieve): Bypass host checking only if URL
6311         is ftp AND parent URL is not ftp.
6312
6313         * ftp-basic.c (ftp_request): Print out Turtle Power.
6314
6315         * ftp.c (ftp_loop): Call ftp_retrieve_glob with 0 if there's no
6316         wildcard.
6317         (ftp_retrieve_glob): Call ftp_loop_internal even on empty list, if
6318         not glob.
6319
6320         * http.c (gethttp): Be a little bit smarter about status codes.
6321
6322         * recur.c (recursive_retrieve): Always reset opt.recursive when
6323         dealing with FTP.
6324
6325 1997-01-18  Hrvoje Niksic  <hniksic@srce.hr>
6326
6327         * retr.c (retrieve_url): New variable location_changed; use it for
6328         tests instead of mynewloc.
6329         (retrieve_url): Allow heuristic adding of html.
6330
6331         * url.c (url_filename): Don't use the `%' in Windows file names.
6332
6333         * http.c (http_loop): Always time-stamp the local file.
6334
6335         * http.c (http_loop): Ditto.
6336
6337         * ftp.c (ftp_retrieve_list): Use it.
6338
6339         * utils.c (my_touch): New function.
6340
6341         * ftp.c (ftp_retrieve_list): Use #ifdef HAVE_STRUCT_UTIMBUF
6342         instead of #ifndef NeXT.
6343
6344         * utils.c (strptime): New version, by Ulrich Drepper.
6345
6346 1997-01-17  Hrvoje Niksic  <hniksic@srce.hr>
6347
6348         * http.c (haccepts_none): Renamed from `haccepts_bytes'.
6349         (gethttp): If haccepts_none(), disable ACCEPTRANGES.
6350         (http_loop): Would remove ACCEPTRANGES.
6351
6352         * ftp.c (getftp): Call ftp_list with NULL.
6353
6354 1997-01-15  Hrvoje Niksic  <hniksic@srce.hr>
6355
6356         * html.c (ftp_index): Don't print minutes and seconds if we don't
6357         know them; beautify the output.
6358
6359         * ftp.c (getftp): Don't close the socket on FTPNSFOD.
6360
6361 1997-01-14  Hrvoje Niksic  <hniksic@srce.hr>
6362
6363         * utils.c (strptime): New function.
6364         (strptime): Don't use get_alt_number.
6365         (strptime): Don't use locale.
6366         (match_string): Made it a function.
6367
6368 1997-01-12  Hrvoje Niksic  <hniksic@srce.hr>
6369
6370         * http.c (http_atotm): New function.
6371         (http_loop): Use it.
6372
6373         * atotm.c: Removed from the distribution.
6374
6375         * http.c (base64_encode_line): Rewrite.
6376
6377 1997-01-09  Hrvoje Niksic  <hniksic@srce.hr>
6378
6379         * ftp.c (getftp): Use ftp_expected_bytes; print size.
6380
6381         * ftp-basic.c (ftp_response): Use ftp_last_respline.
6382         (ftp_expected_bytes): New function.
6383
6384         * ftp.c (getftp): Print the unauthoritative file length.
6385
6386         * ftp-ls.c: Renamed from ftp-unix.c.
6387         (ftp_parse_ls): Moved from ftp.c.
6388         (ftp_parse_unix_ls): Recognize seconds in time spec.
6389         (ftp_parse_unix_ls): Recognize year-less dates of the previous
6390         year.
6391
6392 1997-01-08  Hrvoje Niksic  <hniksic@srce.hr>
6393
6394         * ftp-basic.c: Don't declare errno if #defined.
6395
6396         * host.c (ftp_getaddress): Check for sysinfo legally.
6397
6398 1997-01-08  Darko Budor  <dbudor@diana.zems.fer.hr>
6399
6400         * connect.c (iread): Use READ.
6401
6402 1996-12-23  Hrvoje Niksic  <hniksic@srce.hr>
6403
6404         * url.c: Recognize finger, rlogin, tn3270, mid and cid as valid
6405         schemes.
6406
6407 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
6408
6409         * host.c (ftp_getaddress): Allow `.' in hostname.
6410
6411 1996-12-26  Darko Budor <dbudor@zems.fer.hr>
6412
6413         * wget.h: READ and WRITE macros for use instead of read and write
6414         on sockets, grep READ *.c, grep WRITE *.c
6415
6416         * wsstartup.c: new file - startup for winsock
6417
6418         * wsstartup.h: new file
6419
6420         * win32decl.h: new file - fixup for <errno.h> and winsock trouble
6421
6422         * configure.bat: Configure utility for MSVC
6423
6424         * src/Makefile.ms,config.h.ms: new files for use with MSVC 4.x
6425
6426 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
6427
6428         * version.c: Released 1.4.3-pre.
6429
6430         * utils.c (prnum): Accept long.
6431         (legible): Use prnum().
6432
6433         * connect.c (make_connection): Accept port as short.
6434         (bindport): Ditto.
6435
6436         * http.c (gethttp): Use search_netrc.
6437
6438 1996-12-21  Hrvoje Niksic  <hniksic@srce.hr>
6439
6440         * ftp.c (getftp): Use search_netrc.
6441
6442         * netrc.c (free_netrc): New function.
6443
6444         * init.c (home_dir): New function.
6445
6446         * url.c (convert_links): Allow REL2ABS changes.
6447
6448 1996-12-21  Gordon Matzigkeit  <gord@gnu.ai.mit.edu>
6449
6450         * netrc.c: New file.
6451         (parse_netrc, maybe_add_to_list): New functions.
6452
6453 1996-12-17  Hrvoje Niksic  <hniksic@srce.hr>
6454
6455         * retr.c (retrieve_url): Reset opt.recursion before calling
6456         ftp_loop if it is reached through newloc.
6457
6458         * init.c (run_wgetrc): Print the wgetrc path too, when reporting
6459         error; don't use "Syntax error", since we don't know if it is
6460         really a syntax error.
6461
6462 1996-12-16  Hrvoje Niksic  <hniksic@srce.hr>
6463
6464         * utils.c (acceptable): Extract the filename part of the path.
6465
6466         * recur.c (recursive_retrieve): Call acceptable() with the right
6467         argument; would bug out on wildcards.
6468
6469         * init.c (parse_line): Likewise.
6470
6471         * html.c (htmlfindurl): Cast to char * when calling stuff.
6472
6473 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
6474
6475         * ftp.c (getftp): Use ftp_pasv.
6476
6477         * ftp-basic.c (ftp_request): Accept NULL value.
6478         (ftp_pasv): New function.
6479
6480         * options.h (struct options): Add passive FTP option.
6481
6482 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
6483
6484         * url.c (parseurl): Debug output.
6485
6486         * utils.c (path_simplify): New one, adapted from bash's
6487         canonicalize_pathname().
6488
6489 1996-12-14  Hrvoje Niksic  <hniksic@srce.hr>
6490
6491         * ftp.c (getftp): Don't discard the buffer.
6492
6493         * retr.c (get_contents): New parameter nobuf.
6494
6495 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
6496
6497         * html.c (htmlfindurl): Recognize <meta contents="d; URL=...".
6498
6499         * init.c (setval): Strip the trailing slashes on CVECDIR.
6500
6501 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
6502
6503         * init.c: Make excludes and includes under CVECDIR instead of
6504         CVEC.
6505
6506 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
6507
6508         * url.c (get_urls_html): Skip "http:".
6509
6510 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
6511
6512         * utils.c (strcasecmp): From glibc.
6513         (strncasecmp): Also.
6514         (strstr): Also.
6515
6516         * url.c: Added javascript: to the list of URLs prefixes.
6517
6518 1996-12-12  Shawn McHorse  <riffraff@txdirect.net>
6519
6520         * recur.c (retrieve_robots): Print the warning message only if
6521         verbose.
6522
6523 1996-12-12  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
6524
6525         * ftp.c (ftp_retrieve_list): Use NeXT old utime interface.
6526
6527 1996-12-12  Hrvoje Niksic  <hniksic@srce.hr>
6528
6529         * systhings.h: New file.
6530
6531         * ../configure.in: Check for utime.h
6532
6533         * ftp.c: Check whether we have unistd.h.
6534
6535 1996-11-27  Hrvoje Niksic  <hniksic@srce.hr>
6536
6537         * recur.c (recursive_retrieve): Send the canonical URL as referer.
6538         (recursive_retrieve): Call get_urls_html with the canonical URL.
6539
6540 1996-12-13  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
6541
6542         * (configure.in, config.h.in, src/Makefile.in, src/*.[ch]): Add
6543         ansi2knr support for compilers which don't support ANSI style
6544         function prototypes and signatures.
6545
6546         * (aclocal.m4, src/ansi2knr.c, src/ansi2knr.1): New files.
6547
6548 1996-11-26  Hrvoje Niksic  <hniksic@srce.hr>
6549
6550         * url.c: Use it; Recognize paths ending with "." and ".." as
6551         directories.
6552         (url_filename): Append .n whenever file exists and could be a
6553         directory.
6554
6555         * url.h (ISDDOT): New macro.
6556
6557         * init.c (parse_line): Use unsigned char.
6558
6559         * url.c (get_urls_html): Cast to unsigned char * when calling
6560         htmlfindurl.
6561
6562         * html.c (htmlfindurl): Use unsigned char.
6563
6564         * version.c: Changed version to 1.4.3.
6565
6566 1996-11-25  Hrvoje Niksic  <hniksic@srce.hr>
6567
6568         * version.c: Released 1.4.2.
6569
6570         * ftp.c (getftp): Simplified assertion.
6571         (ftp_loop_internal): Remove symlink before downloading.
6572         (ftp_retrieve_list): Unlink the symlink name before attempting to
6573         create a symlink!
6574
6575         * options.h (struct options): Renamed print_server_response to
6576         server_response.
6577
6578         * ftp.c (rel_constr): Removed.
6579         (ftp_retrieve_list): Don't use it.
6580         (ftp_retrieve_list): Use opt.retr_symlinks.
6581
6582 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
6583
6584         * main.c (main): New option retr_symlinks.
6585
6586         * url.c (convert_links): Print verbose message.
6587
6588 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
6589
6590         * http.c (http_loop): Reset newloc in the beginning of function;
6591         would cause FMR in retrieve_url.
6592
6593 1996-11-23  Hrvoje Niksic  <hniksic@srce.hr>
6594
6595         * recur.c (convert_all_links): Find the URL of each HTML document,
6596         and feed it to get_urls_html; would bug out.
6597         (convert_all_links): Check for l2 instead of dl; removed dl.
6598
6599         * url.c (convert_links): Don't refer to freed newname.
6600
6601         * recur.c (recursive_retrieve): Add this_url to urls_downloaded.
6602
6603         * main.c (main): Print the OS_TYPE in the debug output, too.
6604
6605         * recur.c (recursive_retrieve): Check for opt.delete_after.
6606
6607         * main.c (main): New option delete-after.
6608
6609         * init.c (setval): Cleaned up.
6610
6611 1996-11-21  Hrvoje Niksic  <hniksic@srce.hr>
6612
6613         * Makefile.in (wget): Make `wget' the default target.
6614
6615         * ftp.c (ftp_loop_internal): Move noclobber checking out of the
6616         loop.
6617         (ftp_retrieve_list): Warn about non-matching sizes.
6618
6619         * http.c (http_loop): Made -nc non-dependent on opt.recursive.
6620
6621         * init.c (setnum): Renamed from setnuminf; New argument flags.
6622         (setval): Use it.
6623
6624         * main.c (main): Sorted the options.
6625         (main): New option --wait.
6626
6627 1996-11-21  Shawn McHorse  <riffraff@txdirect.net>
6628
6629         * html.c (htmlfindurl): Reset s->in_quote after getting out of
6630         quotes.
6631
6632 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
6633
6634         * version.c: Changed version to 1.4.2.
6635
6636 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
6637
6638         * version.c: Released 1.4.1.
6639
6640         * html.c (html_quote_string): New function.
6641         (ftp_index): Use it.
6642         (htmlfindurl): A more gentle ending debug message.
6643
6644         * ftp.c (ftp_loop): Check for opt.htmlify.
6645
6646         * init.c: New command htmlify.
6647
6648         * ftp.c (getftp): Nicer error messages, with `'-encapsulated
6649         strings.
6650         (ftp_loop): Print size of index.html.
6651
6652         * init.c (setval): Implement "styles".
6653
6654         * main.c (main): New option dotstyle.
6655
6656 1996-11-19  Hrvoje Niksic  <hniksic@srce.hr>
6657
6658         * ftp.c (getftp): Close the master socket in case of errors, after
6659         bindport().
6660
6661         * connect.c (bindport): Initialize msock to -1.
6662
6663         * ftp.c (getftp): Initialize dtsock to -1.
6664
6665         * connect.c (closeport): Don't close sock if sock == -1.
6666
6667 1996-11-18  Hrvoje Niksic  <hniksic@srce.hr>
6668
6669         * init.c (setnuminf): Nuked default value -- just leave unchanged.
6670         (setval): Don't send default values.
6671         (defaults): Use DEFAULT_TIMEOUT -- aaargh.
6672
6673         * options.h (struct options): Use long for dot_bytes.
6674
6675         * init.c (setquota): Renamed to setbytes.
6676         (setval): Use setbytes on DOTBYTES.
6677
6678 1996-11-17  Hrvoje Niksic  <hniksic@srce.hr>
6679
6680         * ftp.c (getftp): Initialize con->dltime.
6681
6682         * recur.c (recursive_retrieve): Use same_host instead of
6683         try_robots; simply load robots_txt whenever the host is changed.
6684         (recursive_retrieve): Free forbidden before calling parse_robots.
6685
6686 1996-11-16  Hrvoje Niksic  <hniksic@srce.hr>
6687
6688         * retr.c (show_progress): Use them.
6689
6690         * options.h (struct options): New options dot_bytes, dots_on_line
6691         and dot_spacing.
6692
6693 1996-11-16  Mark Boyns  <boyns@sdsu.edu>
6694
6695         * recur.c (recursive_retrieve): Retrieve directories regardless of
6696         acc/rej rules; check for empty u->file.
6697
6698 1996-11-14  Hrvoje Niksic  <hniksic@srce.hr>
6699
6700         * init.c (setval): Use it.
6701
6702         * utils.c (merge_vecs): New function.
6703
6704         * init.c (setval): Reset the list-type functions when encountering
6705         "".
6706
6707 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
6708
6709         * recur.c (recursive_retrieve): Use base_url instead of this_url
6710         for no_parent.
6711
6712 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
6713
6714         * html.c (htmlfindurl): Reset s->in_quote after exiting the quote.
6715
6716 1996-11-13  Hrvoje Niksic  <hniksic@srce.hr>
6717
6718         * utils.c (sepstring): Rewrote; don't use strtok.
6719
6720         * recur.c (recursive_retrieve): Enter assorted this_url to slist
6721         when running the first time.
6722         (retrieve_robots): Warn to ignore errors when robots are loaded.
6723
6724         * utils.c (load_file): Moved from url.c.
6725
6726         * http.c: Made static variables const too in h* functions.
6727
6728         * main.c (main): Renamed --continue-ftp to --continue.
6729
6730         * recur.c (recursive_retrieve): Use it.
6731
6732         * utils.c (frontcmp): New function.
6733
6734         * url.c (accdir): New function.
6735
6736         * html.c (htmlfindurl): Recognize <area href=...>.
6737
6738         * ftp.c (ftp_retrieve_dirs): Implemented opt.includes.
6739
6740         * init.c (setval): Free the existing opt.excludes and
6741         opt.includes, if available.
6742
6743         * main.c (main): New option -I.
6744
6745 1996-11-12  Hrvoje Niksic  <hniksic@srce.hr>
6746
6747         * ftp.c (ftp_retrieve_glob): Do not weed out directories.
6748
6749         * version.c: Changed version to 1.4.1.
6750
6751 1996-11-11  Hrvoje Niksic  <hniksic@srce.hr>
6752
6753         * version.c: Released 1.4.0.
6754
6755 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
6756
6757         * main.c (main): Free com and val after parse_line.
6758         (printhelp): Reorder the listing.
6759
6760         * http.c: More robust header parsing.
6761
6762         * http.c: Allow any number of spaces, or no spaces, precede ':'.
6763         (hskip_lws): New function.
6764         (haccepts_bytes): New function.
6765         (gethttp): Use it.
6766
6767         * init.c (setval): Check header sanity.
6768         (setval): Allow resetting of headers.
6769
6770 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
6771
6772         * http.c (http_loop): Don't use has_wildcards.
6773
6774         * http.c (gethttp): Free all_headers -- would leak.
6775
6776         * recur.c (recursive_retrieve): Initialize depth to 1 instead of
6777         0 -- this fixes a long-standing bug in -rl.
6778
6779 1996-11-09  Hrvoje Niksic  <hniksic@srce.hr>
6780
6781         * ftp.c: Use -1 as "impossible" value for con->fd.
6782
6783         * url.h (URL_SEPARATOR): Don't treat `*' and `+' as separators.
6784
6785         * init.c (parse_line): Use isalpha.
6786
6787         * ftp-unix.c: Use HAVE_UNISTD_H.
6788
6789         * mtch.c (has_wildcards): Don't match \.
6790
6791         * http.c (http_loop): Warn on HTTP wildcard usage.
6792
6793 1996-11-08  Hrvoje Niksic  <hniksic@srce.hr>
6794
6795         * url.c (url_filename): Do not create numbered suffixes if
6796         opt.noclobber -- would bug out on -nc.
6797
6798 1996-11-07  Hrvoje Niksic  <hniksic@srce.hr>
6799
6800         * recur.c (parse_robots): Don't chuck out the commands without
6801         arguments (`Disallow:<empty>' didn't work).
6802         (parse_robots): Compare versions lowercase.
6803         (parse_robots): Match on base_version, not version_string!
6804         (parse_robots): Handle comments properly.
6805         (parse_robots): Match versions in a sane way.
6806
6807         * init.c: Print nicer error messages.
6808
6809         * version.c: Changed version to 1.4.0.
6810
6811 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
6812
6813         * version.c: Released 1.4.0-test2.
6814
6815         * init.c (run_wgetrc): Close fp.
6816
6817         * ftp.c (ftp_retrieve_dirs): Allocate the correct length for
6818         u->dir.
6819
6820 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
6821
6822         * init.c (setquota): Allow inf as quota specification.
6823
6824 1996-11-05  Hrvoje Niksic  <hniksic@srce.hr>
6825
6826         * ftp.c (ftp_retrieve_dirs): Return QUOTEXC if quota exceeded.
6827         (ftp_retrieve_glob): Return QUOTEXC on quota exceeded.
6828
6829         * main.c (main): Check for quota by comparison with downloaded
6830         stuff, not from status.
6831
6832         * connect.c (select_fd): Should compile on HPUX without warnings now.
6833
6834         * ftp.c (ftp_get_listing): Check whether ftp_loop_internal
6835         returned RETROK.
6836
6837 1996-11-04  Hrvoje Niksic  <hniksic@srce.hr>
6838
6839         * ftp.c (ftp_retrieve_glob): Print the pattern nicely.
6840         (getftp): Return FTPRETRINT on control connection error.
6841
6842         * html.c (htmlfindurl): Recognize <embed src=...> and
6843         <bgsound src=...>.
6844         (ftp_index): Handle username and password correctly.
6845
6846         * main.c (main): Made `-np' a synonim for --no-parent.
6847
6848 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
6849
6850         * ftp.c (ftp_loop): Check for opt.ftp_glob too before calling
6851         ftp_retrieve_glob.
6852
6853         * version.c: Changed version to 1.4.0-test2.
6854
6855 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
6856
6857         * version.c: Released 1.4.0-test1.
6858
6859         * url.c (str_url): Don't use sprintf when creating %2F-prefixed
6860         directory.
6861         (convert_links): Removed definition of make_backup.
6862
6863         * http.h: Removed definition of MAX_ERROR_LENGTH.
6864
6865         * host.c (ftp_getaddress): Check for "(none)" domains.
6866
6867         * ftp.c (ftp_retrieve_dirs): Docfix.
6868
6869         * http.c (gethttp): Use ou->referer instead of u->referer.
6870
6871         * retr.c (retrieve_url): Reset u to avoid freeing pointers twice;
6872         this was known to cause coredumps on Linux.
6873
6874         * html.c (ftp_index): Cast the argument to local_time to time_t *.
6875
6876 1996-11-01  Hrvoje Niksic  <hniksic@srce.hr>
6877
6878         * connect.c (select_fd): Use exceptfds -- once and for all.
6879
6880         * retr.c (retrieve_from_file): Free filename after
6881         recursive_retrieve.
6882         (retrieve_from_file): Send RFIRST_TIME to recursive_retrieve on
6883         first-time retrieval.
6884         (retrieve_from_file): Return uerr_t; new argument, count.
6885         (retrieve_from_file): Break on QUOTEXC.
6886
6887         * init.c (setquota): Fixed a bug that caused rejection of
6888         non-postfixed values..
6889
6890 1996-10-30  Hrvoje Niksic  <hniksic@srce.hr>
6891
6892         * version.c: Changed name to wget.
6893
6894         * connect.c (iread): Smarter use of select.
6895         (select_fd): Set errno on timeout.  If not timeout, return 1
6896         instead of 0.
6897
6898 1996-10-29  Hrvoje Niksic  <hniksic@srce.hr>
6899
6900         * ftp.c (ftp_loop_internal): Don't use con->cmd before
6901         establishing it.
6902
6903 1996-10-26  Hrvoje Niksic  <hniksic@srce.hr>
6904
6905         * http.c (gethttp): Send correct referer when using proxy.
6906         (gethttp): Use struct urlinfo ou to access the relevant data; send
6907         correct authorization in all cases.
6908
6909         * host.c (same_host): Use skip_uname to skip username and
6910         password.
6911
6912         * url.c (skip_uname): New function.
6913         (parseurl): Use it.
6914
6915         * host.c (same_host): Do not assume HTTP -- same_host should now
6916         be totally foolproof.
6917
6918         * url.c (skip_proto): New function.
6919         (parse_uname): Use it.
6920
6921         * http.c (gethttp): Create local user and passwd from what is
6922         given.
6923
6924         * url.c (parseurl): Check for HTTP username and password too.
6925
6926 1996-10-25  Hrvoje Niksic  <hniksic@srce.hr>
6927
6928         * config.h.in: Removed #define gethostbyname R...
6929
6930 1996-10-22  Hrvoje Niksic  <hniksic@srce.hr>
6931
6932         * version.c: Changed version to 1.4.0-test1.
6933
6934 1996-10-21  Hrvoje Niksic  <hniksic@srce.hr>
6935
6936         * version.c: "Released" 1.4b29.
6937
6938         * recur.c (recursive_retrieve): Check for no_parent.
6939
6940         * init.c (setval): Option update.
6941
6942         * main.c (main): New option no-parent.
6943
6944         * options.h (struct options): New variable no_parent.
6945
6946         * recur.c (recursive_retrieve): Only files are checked for
6947         opt.accepts and opt.rejects.
6948         (recursive_retrieve): Check directories for opt.excludes.
6949         (recursive_retrieve): Make the dir absolute when checking
6950         opt.excludes.
6951
6952         * html.c (htmlfindurl): Recognize <applet code=...> and <script
6953         src=...>
6954
6955 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
6956
6957         * ftp.c (getftp): Do not line-break assert entries at all.
6958         (ftp_retrieve_dirs): docfix.
6959
6960         * connect.c (select_fd): Use fd + 1 as nfds.
6961
6962         * version.c: Changed version to 1.4b29.
6963
6964 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
6965
6966         * version.c: "Released" 1.4b28.
6967
6968         * ftp.c (ftp_loop_internal): Check whether f->size == len and
6969         don't continue the loop if it is.
6970         (ftp_get_listing): Remove list_filename on unsuccesful loop.
6971
6972 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
6973
6974         * ftp.c (ftp_loop_internal): Use strcpy to initialize tmp.
6975         (getftp): Do not use multiline assert.
6976
6977         * http.c (hparsestatline): Use mjr and mnr instead of major and
6978         minor, which don't compile on Ultrix.
6979         (http_loop): Use strcpy() to initialize tmp.
6980
6981         * all: Geturl -> Fetch
6982
6983 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
6984
6985         * recur.c (parse_robots): Fixed an off-by-one bug when looking for
6986         ':'.
6987
6988         * html.c (htmlfindurl): Fixed several possible off-by-one bugs by
6989         moving `bufsize &&' to the beginning of each check in for-loops.
6990
6991         * recur.c (parse_robots): Close fp on exit.
6992
6993         * url.c (mymkdir): Check for each directory before creating.
6994
6995 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
6996
6997         * version.c: Changed version to 1.4b28.
6998
6999 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
7000
7001         * version.c: "Released" 1.4b27.
7002
7003         * init.c (parse_line): Use isspace.
7004         (parse_line): Free *com on all errors.
7005
7006         * ftp.c (ftp_loop): Change FTPOK to RETROK before exiting.
7007         (delelement): Use next instead of f->next and prev instead of
7008         f->prev.
7009         (delelement): Free the members of the deleted element.
7010
7011         * http.c (http_loop): Do not return RETROK on code != 20x.
7012
7013         * init.c (cleanup): Free opt.user_header.
7014         (cleanup): Free opt.domains.
7015
7016         * url.c (freelists): Moved to cleanup().
7017
7018         * http.c (hparsestatline): Docfix.
7019
7020         * main.c (main): Return with error status on unsuccesful
7021         retrieval.
7022
7023         * init.c (setval): Do not remove listing when mirroring.
7024
7025         * url.c (url_filename): Use opt.fileprefix.
7026
7027         * ftp.c (ftp_get_listing): Use url_filename to get filename for
7028         .listing.
7029
7030         * main.c (main): New option: -rn.
7031
7032 1996-10-15  Hrvoje Niksic  <hniksic@srce.hr>
7033
7034         * Makefile.in (RM): Added RM = rm -f.
7035
7036         * host.c (clean_hosts): New function.
7037         (free_hlist): Just free the list, no reset.
7038
7039         * version.c: Changed version to 1.4b27.
7040
7041 1996-10-13  Hrvoje Niksic  <hniksic@srce.hr>
7042
7043         * version.c: "Released" 1.4b26.
7044
7045         * retr.c (retrieve_from_file): If call get_urls_html with
7046         opt.spider to make it silent in spider mode.
7047
7048         * url.c (str_url): Use CLEANDUP instead of URL_CLEANSE.
7049
7050         * url.h (CLEANDUP): New macro.
7051
7052         * http.c (gethttp): Fixed a bug that freed location only when it
7053         was NULL.
7054
7055         * retr.c (retrieve_url): Free url if it will not be stored,
7056         i.e. newloc is NULL.
7057
7058         * html.c (htmlfindurl): Handle exiting from quotes correctly; the
7059         old version would bug out on <a href="x#a"href="y">.
7060
7061         * html.h (state_t): New member in_quote.
7062
7063         * html.c (htmlfindurl): Free s->attr at the beginning of
7064         attr-loop.
7065
7066         * recur.c (recursive_retrieve): Recognize RCLEANUP.
7067         (tried_robots): Make hosts a global variable.
7068         (recursive_retrieve): Free constr after URL host optimization.
7069         (tried_robots): Free urlinfo before exiting.
7070
7071         * utils.c (free_slist): New function.
7072
7073         * recur.c (recursive_retrieve): Use flags to add cleanup
7074         possibility.
7075
7076         * main.c (main): Free filename after recursive_retrieve.
7077
7078         * http.c (gethttp): Store successful responses too.
7079
7080 1996-10-12  Hrvoje Niksic  <hniksic@srce.hr>
7081
7082         * all: Constified the whole source.  This required some minor
7083         changes in many functions in url.c, possibly introducing bugs -- I
7084         hope not.
7085
7086         * ftp-basic.c: Removed last_respline.
7087
7088         * http.c (gethttp): Free type.
7089
7090         * host.c (same_host): Free real1 and real2.
7091
7092         * main.c (main): New option --spider.
7093
7094         * retr.c (get_contents): Don't reset errno.
7095
7096         * main.c (main): Sorted the options.
7097
7098         * connect.c (iread): Set errno to ETIMEDOUT only if it was left
7099         uninitialized by select().
7100
7101         * http.c (http_loop): Print the time when the connection is
7102         closed.
7103         (gethttp): Debug-print the HTTP request.
7104
7105 1996-10-11  Hrvoje Niksic  <hniksic@srce.hr>
7106
7107         * connect.c (iread): Do not try reading after timeout.
7108
7109         * main.c (main): Would bug out on -T.
7110
7111         * connect.c (select_fd): Do not use exceptfds.
7112         (iread): Set ETIMEDOUT on select_fd <= 0.
7113
7114         * version.c: Changed version to 1.4b26.
7115
7116 1996-10-10  Hrvoje Niksic  <hniksic@srce.hr>
7117
7118         * version.c: "Released" 1.4b25.
7119
7120         * ftp-unix.c (ftp_parse_unix_ls): Ignore lines without file name
7121         or link name.
7122
7123         * http.c (gethttp): Add errcode to struct hstat.
7124         (http_loop): Use it.
7125
7126         * url.c (no_proxy_match): Simplify using char** for no_proxy.
7127
7128         * options.h (struct options): Make opt.no_proxy a vector.
7129
7130         * utils.c (sepstring): Use !*s instead of !strlen(s).
7131
7132         * init.c (setval): Set opt.maxreclevel to 0 on --mirror.
7133         (getperms): Use ISODIGIT instead of isdigit.
7134
7135         * ftp.c (getftp): Print time.
7136
7137         * main.c (main): Use legible output of downloaded quantity.
7138
7139         * ftp.c (getftp): Use elapsed_time().
7140         (ftp_loop_internal): Use rate().
7141
7142         * http.c (http_loop): Add download ratio output; Use rate().
7143
7144         * utils.c (rate): New function.
7145
7146 1996-10-09  Hrvoje Niksic  <hniksic@srce.hr>
7147
7148         * http.c (http_loop): Use timer.
7149
7150         * ftp.c: Split to ftp-basic.c and ftp.c
7151
7152         * utils.c (reset_timer): New function.
7153         (elapsed_time): New function.
7154
7155         * retr.c (show_progress): Make bytes_in_line and offs long; should
7156         work on 16-bit machines.
7157
7158 1996-10-08  Hrvoje Niksic  <hniksic@srce.hr>
7159
7160         * url.c (in_acclist): New argument backward.
7161
7162         * ftp.c (ftp_retrieve_glob): Use acceptable() to determine whether
7163         a file should be retrieved according to suffix.
7164         (ftp_get_listing): Check the return value of unlink; Do not call
7165         ftp_retrieve_dirs if depth reached maxreclevel.
7166         (ftp_retrieve_dirs): Check whether the directory is in
7167         exclude-list.
7168
7169         * main.c (main): Print the version number at the beginning of
7170         DEBUG output.
7171         (main): Use strrchr when creating exec_name.
7172
7173         * ftp.c (ftp_retrieve_glob): Do not close control connection.
7174
7175         * version.c: Changed version to 1.4b25.
7176
7177 1996-10-07  Hrvoje Niksic  <hniksic@srce.hr>
7178
7179         * version.c: "Released" 1.4b24.
7180
7181         * Makefile.in: Rewrite.
7182
7183         * ftp.c (ftp_loop_internal): Likewise.
7184
7185         * retr.c (time_str): Check for failed time().
7186
7187         * html.c (htmlfindurl): Recognize <fig src> and <overlay src> from
7188         HTML3.0.
7189
7190         * retr.c (time_str): Return time_t *.
7191
7192         * connect.c (bindport): Close msock on unsuccesful bind.
7193         (bindport): The same for getsockname and listen.
7194
7195         * retr.c (retrieve_url): Allow any number of retries on
7196         proxy.
7197
7198         * http.c (gethttp): Do not treat errno == 0 as timeout.
7199         (http_loop): Likewise.
7200         (http_loop): Cosmetic changes.
7201
7202         * connect.c (iread): Set errno to ETIMEDOUT in case of timeout.
7203
7204         * retr.c (get_contents): Reset errno.
7205
7206         * ftp.c (getftp): Minor fixes.
7207
7208 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
7209
7210         * http.c: Do not use backups.
7211
7212         * geturl.1 (WARNING): Warn that man-page could be obsolete.
7213
7214         * getopt.c (getopt_long): Moved to getopt.c
7215
7216         * geturl.texi: Enhanced.
7217
7218         * main.c (main): Use it.
7219
7220         * recur.c (convert_all_links): New function.
7221
7222         * utils.c (add_slist): New argument flags.
7223
7224         * recur.c (recursive_retrieve): Update a list of downloaded URLs.
7225         (parse_robots): Do not chuck out empty value fields.
7226         (parse_robots): Make yourself welcome on empty Disallow.
7227
7228         * version.c: Changed version to 1.4b24.
7229
7230 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
7231
7232         * version.c: "Released" 1.4b23.
7233
7234         * ftp.c (ftp_loop_internal): Get the time after getftp.
7235
7236         * Makefile.in (install.info): New target.
7237         (install): Use it.
7238
7239         * http.c (http_loop): Fix output when doing -O.
7240
7241 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
7242
7243         * geturl.texi: New file.
7244
7245         * main.c (main): Do not print the warnings and download summary if
7246         opt.quiet is set.
7247
7248         * version.c: Changed version to 1.4b23.
7249
7250 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
7251
7252         * "Released" 1.4b22.
7253
7254         * atotm.c (atotm): Use True and False instead of TRUE and FALSE,
7255         to avoid redefinition warnings.
7256
7257         * host.c (store_hostaddress): Use memcpy() to copy the address
7258         returned by inet_addr.
7259
7260         * version.c: Changed version to 1.4b22.
7261
7262 1996-10-04  Hrvoje Niksic  <hniksic@srce.hr>
7263
7264         * version.c: "Released" 1.4b21.
7265
7266         * ftp-unix.c (ftp_parse_ls): Renamed to ftp_parse_unix_ls.
7267
7268         * ftp.c (ftp_port): Use conaddr.
7269         (getftp): Print the file length.
7270         (ftp_retrieve_list): Check the stamps of plain files only.
7271
7272         * connect.c (closeport): Do not call shutdown().
7273         (conaddr): New function.
7274
7275         * html.c (ftp_index): Made it dfp-aware.
7276
7277         * init.c (cleanup): New name of freemem. Close opt.dfp.
7278
7279         * ftp.c (getftp): Use opt.dfp if it is set.
7280
7281         * ftp-unix.c (ftp_parse_ls): Recognize time in h:mm format.
7282
7283         * ftp.c (ftp_retrieve_dirs): Fixed a bug that caused incorrect
7284         CWDs to be sent with recursive FTP retrievals.
7285
7286 1996-10-03  Hrvoje Niksic  <hniksic@srce.hr>
7287
7288         * recur.c (parse_robots): Made it more compliant with "official"
7289         specifications.
7290
7291         * http.c: New function.
7292
7293         * ftp-unix.c (ftp_parse_ls): Added better debug output.
7294
7295         * ftp.c (getftp): Print out the LIST in case of
7296         opt.print_server_response.
7297
7298         * version.c: Changed version to 1.4b21.
7299
7300 1996-10-01  Hrvoje Niksic  <hniksic@srce.hr>
7301
7302         * version.c: "Released" 1.4b20.
7303
7304         * README: Update.
7305
7306         * http.c (gethttp): Preset lengths of various headers instead of
7307         calculating them dynamically.
7308         (gethttp): Check for 206 partial contents.
7309
7310 1996-09-30  Hrvoje Niksic  <hniksic@srce.hr>
7311
7312         * configure.in: Set SYSTEM_GETURLRC to $libdir/geturlrc
7313
7314         * http.c (gethttp): Send the port number in the Host: header.
7315
7316 1996-09-29  Hrvoje Niksic  <hniksic@srce.hr>
7317
7318         * http.c (gethttp): Send host: header.
7319         (gethttp): Add the possibility of user-defined headers.
7320         (gethttp): Move decision about pragma: no-cache to http_loop,
7321         where it belongs.
7322         (gethttp): Pass a struct instead of enormous argument list.
7323         (http_loop): Use a new, fancier display format.
7324         (ftp_loop): Likewise.
7325
7326         * main.c: (hangup): Turn off buffering of the new log file.
7327
7328         * install-sh: Likewise.
7329
7330         * config.sub: Replace with the one in autoconf-2.10
7331
7332         * geturl.1: Update.
7333
7334         * init.c: New options httpuser and httppasswd.
7335
7336         * http.c: (base64_encode_line): New function.
7337         (gethttp): Send authentication.
7338
7339         * connect.c (make_connection): Use store_hostaddress.
7340
7341 1996-09-28  Hrvoje Niksic  <hniksic@srce.hr>
7342
7343         * host.c (store_hostaddress): New function.
7344
7345         * NEWS: Update.
7346
7347         * http.c (hgetrange): New function.
7348         (gethttp): Use ranges.
7349
7350         * utils.c (numdigit): Accept long instead of int.
7351
7352         * http.c (http_loop): Add restart capabilities.
7353
7354         * ftp.c (ftp_retrieve_glob): Fixed a bug that could cause matchres
7355         being used uninitialized.
7356         (ftp_retrieve_list): Similar fix.
7357
7358         * host.c (add_hlist): Fixed a bug that could cause cmp being used
7359         uninitialized.
7360
7361         * url.c (construct_relative): New function.
7362
7363         * recur.c (recursive_retrieve): Use it.
7364
7365         * retr.c (convert_links): New function.
7366
7367 1996-09-27  Hrvoje Niksic  <hniksic@srce.hr>
7368
7369         * url.c (free_urlpos): New function.
7370
7371         * recur.c (recursive_retrieve): Adapt.
7372
7373         * url.c (get_urls_html): Return a linked list instead of a vector.
7374
7375         * url.c (get_urls_file): Return a linked list instead of a vector.
7376
7377         * geturl.1: Update.
7378
7379         * http.c (gethttp): Implement it.
7380
7381         * init.c (setval): New option: SAVEHEADERS
7382
7383         * ftp.c (ftp_loop_internal): Do not set restval if listing is to
7384         be retrieved. Lack of this test caused bugs when the connection
7385         was lost during listing.
7386
7387         * retr.c (retrieve_url): Fixed a bug that caused
7388         coredumps. *newloc is now reset by default.
7389         (retrieve_url): Lift the twenty-tries limit on proxies.
7390
7391         * version.c: Changed version to 1.4b20.
7392
7393 1996-09-20  Hrvoje Niksic  <hniksic@srce.hr>
7394
7395         * version.c: "Released" 1.4b19.
7396
7397 1996-09-19  Hrvoje Niksic  <hniksic@srce.hr>
7398
7399         * ftp.c (ftp_loop_internal): Renamed from ftp_1fl_loop.
7400         (getftp): Changed prototype to accept ccon *.
7401
7402 1996-09-17  Hrvoje Niksic  <hniksic@srce.hr>
7403
7404         * ftp.c (ftp_retrieve_list): Fixed a bug that caused setting
7405         incorrect values to files pointed to by symbolic links.
7406         (ftp_1fl_loop): Do not count listings among the downloaded URL-s.
7407
7408 1996-09-16  Hrvoje Niksic  <hniksic@srce.hr>
7409
7410         * url.c (mkstruct): Do not prepend "./" in front of a pathname.
7411
7412         * main.c (main): New option: --user-agent.
7413
7414         * geturl.1: Ditto.
7415
7416         * init.h: Ditto.
7417
7418         * init.c (setval): Ditto.
7419
7420         * main.c (main): Rename "server-headers" to "server-response".
7421
7422         * ftp-unix.c (ftp_parse_ls): Check for asterisks at the end of
7423         executables in 'ls -F' listings.
7424
7425 1996-09-15  Hrvoje Niksic  <hniksic@srce.hr>
7426
7427         * url.c (parseurl): Remove realloc() and sprintf().
7428         (str_url): Get rid of sprintf().
7429
7430         * recur.c (recursive_retrieve): Enable FTP recursion through proxy
7431         servers.
7432
7433         * url.h (URL_CLEANSE): Made it else-resistant.
7434         (USE_PROXY): New macro.
7435
7436 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
7437
7438         * NEWS: Update.
7439
7440         * version.c: Changed version to 1.4b19.
7441
7442 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
7443
7444         * version.c: "Released" 1.4b18.
7445
7446         * url.c: Made it reallocate space exponentially.
7447
7448 1996-09-14  Drazen Kacar  <dave@fly.cc.fer.hr>
7449
7450         * html.c (htmlfindurl): Added <frame src> and <iframe src> among
7451         the list of stuff to fetch.
7452
7453 1996-09-13  Hrvoje Niksic  <hniksic@srce.hr>
7454
7455         * url.c (get_urls_html): Fixed a bug that caused SIGSEGV's with
7456         -Fi.
7457
7458         * html.c (htmlfindurl): Rewrite.
7459
7460         * http.c (gethttp): Use opt.proxy_cache.
7461
7462         * main.c (main): Added --cache option.
7463
7464         * ftp.c (ftp_response): Print server response if opt.print_server
7465         response is set.
7466         (getftp): Print newlines after each request if the server response
7467         is to be printed.
7468         (ftp_response): Copy the last response line to last_respline.
7469
7470         * http.c (gethttp): Add Pragma: nocache for retried
7471         proxy-retrievals.
7472
7473         * ftp.c (getftp): Use it.
7474
7475         * retr.c (buf_discard): New function.
7476
7477         * ftp.c (ftp_response): Use buf_readchar().
7478         (getftp): Flush the control connection buffer before calling
7479         get_contents().
7480
7481         * retr.c (buf_readchar): New function.
7482         (buf_flush): New function.
7483         (get_contents): Use buf_readchar() instead of read(x, x, 1).
7484         (get_contents): Use buf_flush.
7485
7486 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
7487
7488         * ftp.c: Incorporate changes to ftp_response.
7489
7490         * ftp.c (ftp_response): Allocate the server response dynamically,
7491         as in read_whole_line and fetch_next_header.
7492
7493         * utils.c (read_whole_line): Fixed a bug that prevented reading
7494         the last line if it is not \n-terminated. Also fixed a possible
7495         memory overflow.
7496
7497         * http.c (fetch_next_header): Return malloc-ed string as large as
7498         needed.
7499         (gethttp): Use new fetch_next_header.
7500
7501 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
7502
7503         * http.c (hgetlen): Compute the header length the first time only.
7504         (hgettype): Ditto.
7505         (hgetlocation): Ditto.
7506         (hgetmodified): Ditto.
7507
7508 1996-09-11  Hrvoje Niksic  <hniksic@srce.hr>
7509
7510         * sample.geturlrc: Update.
7511
7512 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
7513
7514         * http.c (http_loop): Ditto.
7515
7516         * ftp.c (getftp): Open the output file as binary.
7517
7518         * version.c: Changed version to 1.4b18.
7519
7520 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
7521
7522         * version.c: "Released" 1.4b17.
7523
7524         * ftp-unix.c (ftp_parse_ls): If unable to open file, return NULL
7525         instead of failed assertion.
7526
7527 1996-09-09  Hrvoje Niksic  <hniksic@srce.hr>
7528
7529         * ftp.c (ftp_get_listing): Add a numbered suffix to LIST_FILENAME
7530         if a file of that name already exists.
7531
7532 1996-09-05  Hrvoje Niksic  <hniksic@srce.hr>
7533
7534         * ftp.c (ftp_1fl_loop): Handler FTPPORTERR and FOPENERR correctly.
7535
7536         * config.h.in: Define gethostbyname as Rgethostbyname when using
7537         Socks.
7538
7539         * configure.in: Check for -lresolv if using Socks.
7540
7541         * version.c: Changed version to 1.4b17.
7542
7543 1996-07-15  Hrvoje Niksic  <hniksic@srce.hr>
7544
7545         * version.c: "Released" 1.4b16.
7546
7547         * http.c (gethttp): More intelligent check for first line of HTTP
7548         response.
7549         (gethttp): Would bug out on time-stamping.
7550
7551         * version.c: Changed version to 1.4b16.
7552
7553 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
7554
7555         * version.c: Released 1.4b15.
7556
7557         * http.c (http_loop): Print \n after the loop entry, not before.
7558
7559         * url.c (url_filename): Use ISDOT.
7560
7561         * url.h (ISDOT): New macro.
7562
7563         * recur.c (recursive_retrieve): Change only opt.recursive for
7564         following FTP.
7565
7566 1996-07-11  Antonio Rosella <antonio.rosella@agip.it>
7567
7568         * socks/geturl.cgi: Fixed version No.
7569
7570         * socks/download-netscape.html: Ditto.
7571
7572         * socks/download.html: Changed socks.html to download.html.
7573
7574 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
7575
7576         * url.c (url_filename): Check for opt.dirstruct instead for
7577         opt.recursive && opt.dirstruct.
7578
7579         * init.c (defaults): Ditto.
7580         (defaults): Reset dirstruct by default.
7581         (setval): Set opt.dirstruct whenever setting recursive.
7582
7583         * init.h: Removed FORCEDIRHIER.
7584
7585         * INSTALL: Added -L to socks-description.
7586
7587         * version.c: Changed version to 1.4b15.
7588
7589 1996-07-10  Hrvoje Niksic  <hniksic@srce.hr>
7590
7591         * version.c: "Released" 1.4b14.
7592
7593         * geturl.1: Update AUTHOR to include Rosella as contributor.
7594
7595         * NEWS: Update.
7596
7597         * socks/geturl.cgi: Simplified command creation, nuked <blink>.
7598
7599         * socks/geturl.cgi: Wrap nutscape extensions within if $netscape.
7600         (cal_time): Fix == to eq.
7601
7602         * socks/geturl.cgi: GPL-ized with permission of A. Rosella.
7603
7604         * geturl.1 (hostname): Moved URL CONVENTIONS to the beginning.
7605
7606         * Makefile.in: Use @VERSION@.
7607
7608         * configure.in: Check version from version.c.
7609
7610         * socks/geturl.cgi: Changed /pub/bin/perl to /usr/bin/perl.
7611
7612         * socks/download.html: Created from download-netscape.html, made
7613         HTML-2.0 compliant.
7614
7615         * recur.c (recursive_retrieve): Set opt.force_dir_hier when
7616         following FTP links from recursions.
7617
7618 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
7619
7620         * url.c (mymkdir): Fixed a bug that prevented mymkdir() to create
7621         absolute directories correctly.
7622
7623         * version.c: Changed version to 1.4b14.
7624
7625 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
7626
7627         * version.c: "Released" 1.4b13.
7628
7629         * url.c (make_backup): New function.
7630
7631         * http.c (http_loop): Make a backup copy of the local file (using
7632         rename(2)) before opening it.
7633
7634         * main.c (main): Added --backups.
7635
7636         * host.c (ftp_getaddress): Bail out on failed mycuserid().
7637         (ftp_getaddress): Check for leading dot on MY_DOMAIN.
7638         (ftp_getaddress): Check for empty, null or (null) domain.
7639
7640         * url.c (get_urls_html): If this_url is NULL, the base must have a
7641         protocol.
7642         (parseurl): Use has_proto.
7643
7644         * retr.c (retrieve_url): Warn when proxy is used with more than 20
7645         retries.
7646
7647         * url.c (mkstruct): Create the directory (calling mymkdir()) only
7648         if it is not already there.
7649         (has_proto): New function.
7650         (get_urls_html): Eliminate the remaining call to findurl -- use
7651         has_proto.
7652
7653         * geturl.1: Ditto.
7654
7655         * main.c: Change -X to -x.
7656
7657         * url.c (url_filename): Simplify creation of filename if
7658         prefix_files is set.
7659         (url_filename): Simplify everything. And I do mean *everything*.
7660         (mkstruct): Add dir_prefix before hostname.
7661         (path_simplify): Fixed a bug that caused writing outside the path
7662         string in case of "." and ".." path strings.
7663
7664 1996-07-06  Hrvoje Niksic  <hniksic@srce.hr>
7665
7666         * init.c: Added --mirror.
7667
7668         * main.c (main): Added -X to force saving of directory hierarchy.
7669
7670         * ftp.c (ftp_retrieve_list): Added recursion depth counter.
7671         (ftp_retrieve_list): Check whether quota is exceeded.
7672
7673         * url.c (get_urls_html): Skip leading blanks for absolute URIs.
7674
7675         * http.c (gethttp): Use referer if present.
7676
7677         * recur.c (recursive_retrieve): Set u->referer before calling
7678         retrieve_url.
7679
7680         * url.c (newurl): Use memset to nullify the struct members.
7681         (freeurl): Free the referer field too.
7682
7683         * url.h: Added referer to urlinfo.
7684
7685         * geturl.1: Updated the manual to document some of the new features.
7686
7687         * utils.c (numdigit): Moved from url.c.
7688
7689         * README: Rewritten.
7690
7691         * config.h.in: Add the support for socks.
7692
7693         * configure.in: Add the support for socks.
7694
7695         * url.c (url_filename): If the dir_prefix is ".", work with just
7696         the file name.
7697         (url_filename): Do not look for .n extensions if timestamping if
7698         turned on.
7699
7700         * retr.c (show_progress): Skip the over-abundant restval data, and
7701         print the rest of it with ',' instead of '.'.
7702
7703 1996-07-05  Hrvoje Niksic  <hniksic@srce.hr>
7704
7705         * retr.c (show_progress): Changed second arg. to long (as it
7706         should be).
7707         (show_progress): Moved to retr.c.
7708         (get_contents): Moved to retr.c.
7709
7710         * version.c: Change version to 1.4b13.
7711
7712 1996-07-05  Hrvoje Lacko <hlacko@fly.cc.fer.hr>
7713
7714         * url.c (in_acclist): Would return after the first suffix.
7715
7716 1996-07-04  Hrvoje Niksic  <hniksic@srce.hr>
7717
7718         * version.c: "Released" 1.4b12.
7719
7720         * url.c (path_simplify): More kludgifications.
7721         (get_urls_html): Use new parameters for htmlfindurl.
7722
7723         * html.c: Removed memorizing "parser states", since the new
7724         organization does not require them.
7725
7726         * init.c (run_geturlrc): Use read_whole_line.
7727
7728         * ftp-unix.c (ftp_parse_ls): Use read_whole_line.
7729
7730         * recur.c (parse_robots): Use read_whole_line.
7731
7732         * utils.c (read_whole_line): New function.
7733
7734         * recur.c (tried_robots): Use add_slist/in_slist, *much* cleaner.
7735
7736         * host.c (ngethostbyname): Call inet_addr just once. Yet to be
7737         tested on OSF and Ultrix.
7738         (add_hlist): New function.
7739         (free_hlist): New function.
7740         (search_host): New function.
7741         (search_address): New function.
7742         (realhost): Use search_host, search_address and add_hlist.
7743         (same_host): Replaced realloc() with strdupdelim(), made
7744         case-insensitive, fixed a memory leak.
7745
7746         * html.c (ftp_index): Fixed tm_min and tm_sec to be tm_hour and
7747         tm_min, like intended.
7748
7749         * version.c: Change user agent information to
7750         Geturl/version.
7751
7752 1996-07-03  Hrvoje Niksic  <hniksic@srce.hr>
7753
7754         * utils.c: Renamed nmalloc.c to utils.c, .h likewise.
7755
7756         * url.c (acceptable): Always accept directories.
7757
7758         * ftp-unix.c (ftp_parse_ls): Support brain-damaged "ls -F"-loving
7759         servers by stripping trailing @ from symlinks and trailing / from
7760         directories.
7761
7762         * ftp.c (ftp_loop): Debugged the "enhanced" heuristics. :-)
7763
7764         * url.c (skip_url): Use toupper instead of UCASE.
7765
7766         * host.c (sufmatch): Made it case-insensitive.
7767
7768         * url.c (match_backwards_or_pattern): Fixed i == -1 to j == -1.
7769         (match_backwards): New function, instead of
7770         match_backwards_or_pattern.
7771
7772         * recur.c (recursive_retrieve): Increased performance by
7773         introducing inl, which reduces number of calls to in_slist to only
7774         one.
7775
7776         * ftp.c (ftp_loop): Enhanced the heuristics that decides which
7777         routine to use.
7778
7779         * main.c (printhelp): Removed the warranty stuff.
7780
7781 1996-07-02  Hrvoje Niksic  <hniksic@srce.hr>
7782
7783         * url.c (add_slist): Simplify.
7784         (match_backwards_or_pattern): New function.
7785         (in_acclist): Use match_backwards_or_pattern.
7786         (matches): Remove.
7787
7788 1996-06-30  Hrvoje Niksic  <hniksic@srce.hr>
7789
7790         * ftp.c (ftp_loop): Call ftp_index on empty file names, if not
7791         recursive.
7792
7793         * html.c (ftp_index): Fixed to work. Beautified the output.
7794
7795         * ftp.c (ftp_retrieve_glob): Another argument to control whether
7796         globbing is to be used.
7797         (ftp_retrieve_list): Compare the time-stamps of local and remote
7798         files to determine whether to download.
7799
7800 1996-06-29  Hrvoje Niksic  <hniksic@srce.hr>
7801
7802         * ftp.c (rel_constr): New function.
7803
7804         * retr.c (retrieve_from_file): Check for text/html before
7805         retrieving recursively.
7806
7807         * main.c (main): Check whether the file is HTML before going into
7808         recursive HTML retrieving.
7809
7810         * ftp.c (ftp_retrieve_list): Manage directories.
7811         (ftp_retrieve_glob): Pass all the file-types to ftp_retrieve_list.
7812         (ftp_1fl_loop): Fixed a bug that caused con->com to be incorrectly
7813         initialized, causing bugchecks in getftp to fail.
7814
7815         * configure.in: Check for symlink.
7816
7817         * ftp.c (ftp_retrieve_list): Added support for symlinks.
7818
7819         * version.c: "Released" 1.4b10.
7820
7821         * atotm.c (atotm): Redeclared as time_t.
7822
7823         * init.c: New variable "timestamping".
7824
7825         * main.c (main): New option 'N'.
7826
7827         * http.c (hgetlocation): Case-insensitive match.
7828         (hgetmodified): New function.
7829         (http_loop): Implement time-stamping.
7830
7831 1996-06-28  Hrvoje Niksic  <hniksic@srce.hr>
7832
7833         * version.c: Changed version to 1.4b10
7834
7835         * atotm.c: New file, from phttpd.
7836
7837         * options.h (struct options): New parameter timestamping.
7838
7839         * version.c: 1.4b9 "released".
7840
7841         * recur.c (recursive_retrieve): Used linked list (ulist) for
7842         faster storing of URLs.
7843
7844         * url.c (get_urls_html): Removed the old kludge with comparing the
7845         outputs of htmlfindurl and findurl.
7846         (get_urls_html): Added better protocol support here.
7847         (create_hash): Removed, as well as add_hash and in_hash.
7848         (addslist): New function.
7849         (in_slist): ditto
7850
7851         * version.c: Released 1.4b8, changed version to b9.
7852
7853 1996-06-27  Hrvoje Niksic  <hniksic@srce.hr>
7854
7855         * ftp.c (freefileinfo): New function.
7856         (delelement): New function.
7857
7858         * everywhere: GPL!
7859
7860         * ftp.c (ftp_loop): Use ccon.
7861         (ftp_retrieve_glob): Likewise.
7862
7863         * ftp.h: Define ccon, to define status of control connection.
7864
7865         * ftp.c (ftp_get_listing): New function.
7866         (ftp_retrieve_more): New function.
7867         (ftp_retrieve_glob): New function.
7868
7869 1996-06-25  Hrvoje Niksic  <hniksic@srce.hr>
7870
7871         * configure.in: Removed the search for cuserid().
7872
7873         * init.c (getmode): Renamed to getperms.
7874
7875 1996-06-24  Hrvoje Niksic  <hniksic@srce.hr>
7876
7877         * version.c: New version.
7878
7879         * main.c (hangup): New function, that handles hangup. Hangup
7880         signal now causes geturl to stop writing on stdout, and to write
7881         to a log file.
7882
7883         * ftp.c (getftp): "Released" 1.4b7.
7884
7885         * html.c (htmlfindurl): Ignore everything inside <head>...</head>.
7886         (ftp_index): Use fileinfo/urlinfo.
7887
7888         * ftp-unix.c (ftp_parse_ls): New function.
7889         (symperms): New function.
7890
7891         * ftp.c (ftp_1fl_loop): New function, to handle 1-file loops.
7892
7893         * retr.c (retrieve_url): Added FTP support.
7894
7895 1996-06-23  Hrvoje Niksic  <hniksic@srce.hr>
7896
7897         * geturl.h: Removed NOTFTP2HTML enum.
7898         Added DO_LOGIN, DO_CWD and DO_LIST. LIST_ONLY is obsolete.
7899
7900         * ftp.c (getftp): Resynched with urlinfo.
7901         (getftp): Removed HMTL-ization of index.html from getftp.
7902
7903         * version.c: 1.4b6 "released".
7904
7905         * options.h (options): New struct, to keep options in.
7906
7907         * http.c (http_loop,gethttp): Synched with proxy.
7908
7909         * retr.c (retrieve_url): Implemented proxy retrieval.
7910
7911         * main.c (main): Use retrieve_from_file.
7912
7913 1996-06-22  Hrvoje Niksic  <hniksic@srce.hr>
7914
7915         * retr.c (retrieve_from_file): New function.
7916
7917         * url.c (parseurl): Modified to return URLOK if all OK. Protocol
7918         can be found in u->proto.
7919
7920         * ftp.c (ftp_response): Fixed to accept multi-line responses as
7921         per RFC 959.
7922
7923         * recr.c (recursive_retrieve): Take newloc from retrieve_url.
7924
7925         * url.c (mymkdir): Removed the file of the same name, if one
7926         exists.
7927         (isfile): New function.
7928         (mkstruct): Fixed the '/' glitches.
7929         (path_simplify): Hacked to treat something/.. correctly.
7930
7931 1996-06-21  Hrvoje Niksic  <hniksic@srce.hr>
7932
7933         * http.c (gethttp): Close the socket after error in headers.
7934         (http_loop): HEOF no longer a fatal header.
7935
7936         * loop.c (retrieve_url): When dt is NULL, do not modify it. This
7937         simplifies the syntax of calling retrieve_url.
7938
7939         * recr.c (recursive_retrieve): Modified to use get_urls_html.
7940
7941         * url.c (get_urls_file): New function.
7942         (get_urls_html): New function.
7943
7944         * recr.c (recursive_retrieve): Patched up to conform to the
7945         standards.
7946
7947         * http.c (gethttp): Synched with the rest...
7948         (gethttp): Treat only CONREFUSED specially, with connection
7949         errors.
7950
7951         * init.c,geturl.1,http.c (http_loop): Removed kill_error.
7952
7953 1996-06-20  Hrvoje Niksic  <hniksic@srce.hr>
7954
7955         * http.c (http_loop): New function.
7956
7957         * loop.c: Removed *lots* of stuff from retrieve_url.
7958
7959         * url.c (parseurl): Changed to work with urlinfo. Integrated
7960         username finding and path parsing.
7961         (newurl): New function.
7962         (freeurl): New function.
7963         (mkstruct): Removed the old bogosities, made it urlinfo-compliant.
7964         (url_filename): Likewise.
7965         (path_simplify): Accept relative paths too.
7966         (opt_url): Made urlinfo-compliant, removed bogosities.
7967         (path_simplify): Expanded to accept relative paths.
7968         (str_url): A replacement for hide_url
7969         (decode_string): Fixed a bug that caused malfunctioning when
7970         encountering an illegal %.. combination.
7971         (opt_url): Removed the argument. Dot-optimizations are now default.
7972
7973         * nmalloc.c (strdupdelim): New function.
7974
7975         * url.h: Added the urlinfo structure
7976
7977 1996-06-19  Hrvoje Niksic  <hniksic@srce.hr>
7978
7979         * url.c (hide_url): Thrown out the protocol assertion. Do not
7980         change the URL if the protocol if not recognized.
7981         (findurl): Put continue instead of break.
7982
7983 1996-06-18  Hrvoje Niksic  <hniksic@srce.hr>
7984
7985         * sample.geturlrc: Changed the defaults to be commented out and
7986         harmless (previous defaults caused pains if copied to
7987         ~/.geturlrc).
7988
7989         * http.c (gethttp): Print the HTTP request in debug mode.
7990
7991         * connect.c (iread): Added EINTR check loop to select-ing
7992         too. EINTR is now correctly handled with select().
7993
7994         * TODO: new file
7995
7996 1996-05-07  Hrvoje Niksic  <hniksic@srce.hr>
7997
7998         * host.c (same_host): Made the function a little bit more
7999         intelligent regarding diversified URL syntaxes.
8000
8001         * url.c (skip_url): Spaces are now skipped after URL:
8002
8003         * Released 1.3.1 with the patch to prevent crashing when sending
8004         NULL to robot* functions and the patch to compile "out of the box"
8005         on AIX.
8006
8007         * recr.c (recursive_retrieve): Added checking whether this_url is
8008         NULL when calling the robot functions.
8009
8010         * ChangeLog: New file.