]> sjero.net Git - wget/blob - src/ChangeLog
[svn] Declare the pointers to literal strings as `const'.
[wget] / src / ChangeLog
1 2003-12-14  Hrvoje Niksic  <hniksic@xemacs.org>
2
3         * url.c (url_file_name): Ditto.
4         (parse_errors): Ditto.
5
6         * retr.c (retr_rate): Ditto.
7
8         * progress.c (create_image): Ditto.
9
10         * netrc.c (parse_netrc): Ditto.
11
12         * main.c (struct cmdline_option): Ditto.
13         (redirect_output_signal): Ditto.
14
15         * init.c (commands): Ditto.
16
17         * ftp-ls.c (ftp_index): Ditto.
18
19         * cookies.c (check_domain_match): Declare the pointer to a literal
20         string as `const'.
21
22 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
23
24         * retr.c (fd_read_body): Pass total size to progress_create, not
25         the remaining amount.
26
27 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
28
29         * retr.c (fd_read_body): Don't fiddle with "interactive timeout"
30         if read timeout is unset.
31
32 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
33
34         * connect.c (bind_local): Don't set the IPV6_V6ONLY option on the
35         socket.
36
37 2003-12-06  Hrvoje Niksic  <hniksic@xemacs.org>
38
39         * url.c (url_file_name): Respect the setting of
40         opt.protocol_directories.
41
42         * main.c (main): Only check for ret=='?' when longindex is unset.
43         (option_data): New option --protocol-directories.
44
45 2003-12-06  Hrvoje Niksic  <hniksic@xemacs.org>
46
47         * ftp.c (getftp): Ditto.
48
49         * http.c (gethttp): Correctly calculate bandwidth as total data
50         read divided with download time.
51
52         * retr.c (fd_read_body): Separate the return values for data
53         written and read.
54
55 2003-12-05  Hrvoje Niksic  <hniksic@xemacs.org>
56
57         * http.c (H_REDIRECTED): Respect the HTTP/1.1 "303 See Other"
58         response code.
59         Suggested by Dan Razzell.
60
61 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
62
63         * retr.c (fd_read_body): Report the amount of data *written* as
64         amount_read.  This is not entirely logical, but that's what the
65         callers expect, and it's not easy to change.
66
67         * ftp.c (ftp_loop_internal): Ditto.
68
69         * http.c (http_loop): Be smarter about assigning restval; if we're
70         in the nth pass of a download, simply use the information we have
71         about how much data has been retrieved as restval.
72
73         * ftp.c (getftp): Ditto for FTP "REST" command.
74
75         * http.c (gethttp): When the server doesn't respect range, skip
76         the first RESTVAL bytes of the read body.  Never truncate the
77         output file.
78
79         * retr.c (fd_read_body): Support skipping initial STARTPOS octets.
80
81 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
82
83         * http.c (skip_short_body): Renamed skip_body to skip_short_body;
84         don't bother calling fd_read_body.
85
86 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
87
88         * retr.c (fd_read_body): Sanitize arguments and document them
89         better.  Make sure the timer is created and updated only if
90         necessary.  Updated callers.
91
92 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
93
94         * http.c (skip_body): New function.
95         (gethttp): Use it to skip the body of the responses we don't care
96         to download.  That allows us to reuse the connection.
97         (gethttp): Trust that the HEAD requests will not generate body
98         data.
99
100         * retr.c (fd_read_body): Don't write to OUT if it's NULL.
101
102 2003-11-29  Hrvoje Niksic  <hniksic@xemacs.org>
103
104         * http.c (gethttp): Initialize SSL only the first time when SSL
105         URL is downloaded.
106
107 2003-11-29  Hrvoje Niksic  <hniksic@xemacs.org>
108
109         * cookies.c (cookie_header): Only generate the contents of the
110         header, not the leading "Cookie: " or the trailing "\r\n".
111
112         * http.c (gethttp): When adding headers specified with `--header',
113         allow them to override the headers generated by Wget.
114
115         * init.c (cmd_spec_header): Made opt.user_headers a vector.
116
117         * http.c (request_new): New function.  Returns a request structure
118         which can be modified in various ways, most notably by adding HTTP
119         headers to the request.
120         (request_set_header): New function for adding the header to the
121         request.  If the header is already available, it gets replaced.
122         (request_send): Construct and send the request.
123         (gethttp): Use the request_* functions to generate the request.
124
125 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
126
127         * http.c (gethttp): Don't include the Proxy-Authorization header
128         in the request tunneled through proxy.
129
130 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
131
132         * http.c (gethttp): Use the CONNECT handle to establish SSL
133         passthrough through non-SSL proxies.
134
135 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
136
137         * init.c: Don't #include netinet/Winsock stuff.
138
139 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
140
141         * http.c: Deleted the old functions header_process,
142         header_extract_number, header_exists, header_strdup,
143         http_process_range, http_process_none, http_process_type, and
144         http_process_connection.
145
146         * http.c (response_new): New function.
147         (response_header_bounds): Ditto.
148         (response_header_copy): Ditto.
149         (response_header_strdup): Ditto.
150         (response_status): Ditto.
151         (gethttp): Use the new response_* functions to parse the response.
152         Support HTTP/0.9 responses.
153
154 2003-11-27  Hrvoje Niksic  <hniksic@xemacs.org>
155
156         * progress.c (create_image): Don't calculate ETA if nothing has
157         been downloaded yet, because it causes division by zero.
158
159 2003-11-27  Hrvoje Niksic  <hniksic@xemacs.org>
160
161         * connect.c (bind_local): Rename sa_len to addrlen because IRIX
162         headers define sa_len as a macro.
163
164 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
165
166         * html-parse.c (convert_and_copy): Remove embedded newlines when
167         AP_TRIM_BLANKS is specified.
168
169 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
170
171         * ftp.c: Set con->csock to -1 where rbuf_uninitialize was
172         previously used.
173
174 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
175
176         * Makefile.in (http$o): Added the trailing backslash that was
177         missing.
178
179 2003-11-21  Hrvoje Niksic  <hniksic@xemacs.org>
180
181         * headers.c: Removed.  The file is no longer relevant, now that no
182         special handling of headers is done by the rbuf code.  Moved
183         portions to http.c.
184
185 2003-11-21  Hrvoje Niksic  <hniksic@xemacs.org>
186
187         * rbuf.c: Removed.
188
189         * ftp-basic.c (ftp_response): Use fd_read_line.  No longer use
190         struct rbuf.  Updated all callers.
191
192         * http.c (gethttp): Use fd_read_head to read all the headers in
193         one go.
194         (next_header): New function.
195
196         * retr.c (fd_read_line): New function: reads a line from FD,
197         leaving the rest of the data unread.
198         (fd_read_head): New function.
199
200         * connect.c (fd_peek): New function, implements peeking.
201         (poll_internal): New function.
202         (fd_read): Use it.
203         (fd_write): Ditto.
204         (fd_peek): Ditto.
205         (fd_register_transport): Allow registering a "peeker" callback.
206
207 2003-11-20  Hrvoje Niksic  <hniksic@xemacs.org>
208
209         * connect.c: Renamed xread/xwrite/xclose to
210         fd_read/fd_write/fd_close.  The "x" prefix is not appropriate
211         because the semantics have diverged from read/write/close too
212         significantly.  Updated all callers.
213
214 2003-11-20  Hrvoje Niksic  <hniksic@xemacs.org>
215
216         * connect.c (sock_write): It's not necessary to initialize RES.
217
218 2003-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
219
220         * main.c (main): Don't reference opt.ipv4_only and opt.ipv6_only
221         if IPv6 is disabled.
222
223 2003-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
224
225         * connect.c (socket_has_inet6): Only compile it if IPv6 is enabled
226         and AI_ADDRCONFIG is missing.
227
228 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
229
230         * gen_sslfunc.c (ssl_init_prng): Warn the user when using a weak
231         random seed.
232
233 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
234
235         * host.c (address_list_contains): Renamed address_list_find to
236         address_list_contains because its result is boolean.
237
238 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
239
240         * connect.c (select_fd): Return 1 if select is not available.
241
242 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
243
244         * connect.c (connect_to_host): Don't reference address list after
245         releasing it.
246
247 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
248
249         * main.c (print_help): Fix alignment of FTP options output.
250
251 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
252
253         * host.c (lookup_host): Check for the ability to create IPv6
254         sockets here.
255
256         * init.c (defaults): Don't auto-set --inet4-only on IPv6-less
257         systems.
258
259 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
260
261         * main.c (print_help): Fix typo in `-O' help message.  Fix docs of
262         -Y/--proxy.  Fix docs of `--cookies' and `--glob'.  Improve docs
263         of --convert-links.  Fix docs of SSL options.
264
265 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
266
267         * ftp-basic.c: Don't include <arpa/inet.h> and others because
268         they're no longer needed.
269
270 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
271
272         * main.c (main): Don't allow setting of both opt.ipv4_only and
273         opt.ipv6_only.
274
275         * init.c (defaults): Mark opt.ipv4_only specially when set
276         automatically.
277
278 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
279
280         * host.c (lookup_host): Use AI_ADDRCONFIG only if the family is
281         unspecified.  This ensures that specifying `--no-inet4' on systems
282         where IPv6 resolves, but doesn't work behaves the same regardless
283         of the availability of AI_ADDRCONFIG.
284
285 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
286
287         * host.c: Don't refer to the now-removed function
288         forget_host_lookup in the documentation of lookup_host.
289
290 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
291
292         * http.c (persistent_available_p): Correctly specify the endpoint
293         argument to socket_ip_address.
294         (gethttp): When printing the "reusing connection to..." message,
295         specify the host name of the reused connection, not the current
296         host name.  That makes more sense because it provides a useful
297         piece of information -- we know to which host we're supposed to
298         connect anyway!
299
300 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
301
302         * init.c: Make sure the options are in alphabetic order!
303
304         * host.c (lookup_host): Merge lookup_host_passive and lookup_host
305         after all -- having both would result in some code duplication.
306         (lookup_host): Set hints.ai_family to AF_INET if ipv4_only is
307         requested.  Likewise, set it to AF_INET6 for ipv6_only.  Specify
308         AI_ADDRCONFIG where available.
309         (lookup_host): New flag LH_REFRESH that specifies that a cached
310         entry for HOST should be refreshed.
311         (cache_query): New function.
312         (cache_store): Ditto.
313         (cache_remove): Ditto.
314         (forget_host_lookup): No longer necessary, replaced with static
315         function cache_remove.
316
317 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
318
319         * main.c: Enable -4 and -6 only if IPv6 is enabled.
320
321 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
322
323         * connect.c (register_transport): Renamed from register_extended.
324         Explain the intended usage.
325
326 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
327
328         * url.c (uri_merge): Merging "foo" and "bar" should result in
329         "bar", not in "foo/bar".
330         (path_simplify): Don't remove empty path elements; don't
331         special-case leading slash.
332         (path_simplify): Don't swallow ".."'s at the beginning of string.
333         E.g. simplify "foo/../../bar" as "../bar", not as "bar".
334         (append_uri_pathel): Defang ".." path element upon encountering
335         it.
336
337 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
338
339         * http.c (persistent_available_p): Don't attempt to talk to two
340         different SSL sites over the same secure connection.
341
342 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
343
344         * http.c (gethttp): Ditto.
345
346         * ftp.c (getftp): Use retryable_socket_connect_error instead of
347         CONNECT_ERROR.
348
349         * wget.h (CONNECT_ERROR): Removed.
350
351         * connect.c (retryable_socket_connect_error): New function instead
352         of unsupported_socket_family_error.
353
354 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
355
356         * wget.h (CONNECT_ERROR): Use it.
357
358         * connect.c (unsupported_socket_family_error): New function.
359
360 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
361
362         * connect.c (bind_local): Renamed bindport to bind_local; return
363         the socket directly.  Updated callers.
364         (accept_connection): Renamed acceptport to accept_connection;
365         return the created socket directly.  Updated callers.
366
367 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
368
369         * init.c (defaults): Turn on opt.ipv4_only if we're compiling with
370         IPv6, and AI_ADDRINFO is not available, and AF_INET6 sockets can't
371         be created.
372
373 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
374
375         * host.c (lookup_host): Document the fact that the addresses are
376         returned in order.
377
378 2003-11-12  Hrvoje Niksic  <hniksic@xemacs.org>
379
380         * utils.c: Use limits.h only where available.
381
382         * hash.c: Use INVALID_PTR and INVALID_PTR_BYTE.  Include limits.h.
383
384 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
385
386         * main.c: Added options --inet4-only and --inet6-only.
387
388 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
389
390         * host.c (host_errstr): Use the more standard message "Unknown
391         host".
392
393 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
394
395         * connect.c (connect_to_host): Use that flag to decide whether to
396         re-resolve the host name.
397
398         * host.c (struct address_list): Added a flag that maintains
399         whether the connection worked at some point.
400
401 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
402
403         * host.c (lookup_host): Special-case the numeric addresses only in
404         the non-IPv6 case.
405
406 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
407
408         * connect.c (resolve_bind_address): Call lookup_host_passive.
409         Make sure that opt.bind_address is resolved only once.
410
411         * host.c (lookup_host_passive): New function, handles "passive"
412         lookups.
413         (lookup_host): Remove the passive flags.  Remove the
414         family-related flags -- use ip_default_family instead.
415
416 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
417
418         * html-url.c: Get URLs from <object data="...">.
419
420 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
421
422         * main.c (option_data): Specify the command to use for --mirror.
423
424 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
425
426         * cookies.c (cookie_handle_set_cookie): Specify exact match for
427         unspecified domains.
428
429 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
430
431         * main.c (main): Removed one-letter options `-C', `-g', `-G', and
432         `-s'.
433
434 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
435
436         * main.c (main): Add --dont-remove-listing for backward
437         compatibility with previous versions.
438         (print_help): Fix typo, spotted by Dennis Smit.
439
440 2003-11-08  Gisle Vanem  <giva@bgnett.no>
441
442         * ftp-basic.c: Support Windows-2000 ftp servers. Win-2000 *is*
443         Win-NT 5.0 so calling it ST_WINNT is okay I guess.
444
445 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
446
447         * progress.c (update_speed_ring): Clear the speed ring when the
448         download stalls.
449
450         * retr.c (get_contents): Specify 0.95s read timeout, so that the
451         progress gauge can be updated even when data arrives very slowly
452         or stalls.
453
454 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
455
456         * utils.c (wtimer_allocate): Bless the use of wtimer_read on a
457         timer that has merely been allocated because get_contents() does
458         that.
459         (wtimer_update): Abort if the timer is not initialized.
460
461 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
462
463         * retr.c (get_contents): Pass the timer to limit_bandwidth().
464
465         * utils.c (wtimer_update): New function instead of wget_elapsed;
466         just update the timer, but don't return anything.
467         (wtimer_read): Read and return the last known value of the timer.
468
469 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
470
471         * http.c (persistent_available_p): Instead of matching all the
472         addresses of HOST and last host, determine the peer's IP address
473         with socket_ip_address and see if that address is one of those
474         HOST resolves to.
475
476         * host.c (address_list_match_all): Removed.
477         (address_list_find): New function, finds an IP address in the
478         address list.
479
480         * ftp.c (ftp_do_pasv): Get the peer's address here, and pass it to
481         ftp_epsv so it doesn't need to call getpeername.
482
483         * ftp-basic.c (ftp_port): Use socket_ip_address instead of
484         getpeername.
485         (ftp_lprt): Ditto.
486
487         * connect.c (socket_ip_address): Replaces conaddr, generalized to
488         either get peer's or local address.
489         (sockaddr_get_data): Made local to this file.
490
491 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
492
493         * hash.c (HASH_POSITION): Explicitly accept the hash function.
494         (grow_hash_table): Extract ht->hash_function outside the loop.
495         (hash_table_remove): Ditto.
496         (hash_table_clear): Fill entries with 0xff to clear them.
497         (hash_table_remove): Mark entries as deleted with the correct
498         marker.
499
500 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
501
502         * http.c (persistent_available_p): No reason for the host lookup
503         to be silent -- it's a lookup like any other.
504
505 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
506
507         * connect.c (register_extended): Check that fd >= 0.
508
509 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
510
511         * connect.c (LAZY_RETRIEVE_INFO): Set LAST_INFO.
512
513 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
514
515         * hash.c (NON_EMPTY): Use the all-bit-set value as the marker that
516         the field is empty.  This allows NULL pointer and 0 value to be
517         used as keys, which is necessary for the connect.c code to work
518         when fd==0.
519         (hash_table_new): Fill mappings with 0xff.
520         (grow_hash_table): Ditto.
521
522 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
523
524         * url.c (url_parse): Allow empty ports.
525
526 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
527
528         * main.c (print_help): Break the help string into multiple chunks.
529         (cmdline_option): New option handler OPT_FUNCALL.  Generalized
530         HANDLE_CMD to generic DATA.
531         (option_data): Use the new OPT_FUNCALL feature.
532
533 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
534
535         * log.h: Declare log_init, log_close, and
536         log_request_redirect_output here.
537
538 2003-11-05  Dennis Smit  <ds@nerds-incorporated.org>
539
540         * main.c: (main): added --preserve-permissions option.
541
542         * ftp.c (ftp_retrieve_list): added support for
543         --preserve-permissions option.
544
545         * init.c: added support for --preserve-permission option.
546
547         * option.h: added support for --preserve-permission option.
548
549 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
550
551         * main.c (init_switches): New function.  Convert option_data to
552         long_options and short_options, which can be fed to getopt_long.
553         (main): Execute command-line options by consulting option_data.
554
555 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
556
557         * gen_sslfunc.c (ssl_read): Implement a more correct check for
558         EINTR.
559         (ssl_write): Ditto.
560         (init_ssl): Use a global SSL context.
561
562 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
563
564         * connect.c (xclose): Free INFO even if it doesn't provide a
565         closer.
566
567 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
568
569         * connect.c: Updated all callers of
570         iread/ssl_iread/iwrite/ssl_iwrite to use xread and xwrite instead.
571
572         * rbuf.h (struct rbuf): Removed the SSL member because SSL is
573         handled automatically by xread.
574
575         * hash.c (ptrhash): Made private.
576         (ptrcmp): Ditto.
577         (inthash): Removed.
578
579         * connect.c (select_fd): Don't set errno, leave it to the caller.
580
581         * gen_sslfunc.c (connect_ssl): Use register_extended to register
582         SSL callbacks for communication with SSL-enabled endpoints.
583         (ssl_read): New function.
584         (ssl_write): Ditto.
585         (ssl_poll): Ditto.
586         (ssl_close): Ditto.
587
588         * connect.c (register_extended): New function -- register
589         callbacks for basic socket operations.
590         (xread): Ditto.
591         (xwrite): Ditto.
592         (xclose): Ditto.
593         (sock_read): New function, default implementation for reading.
594         (sock_write): Ditto for writing.
595         (sock_poll): Ditto for polling.
596         (sock_close): Ditto for closing.
597
598 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
599
600         * connect.c (bindport): Fix compilation under pre-C99 compilers.
601
602 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
603
604         * connect.c (connect_to_ip): More compact error checking.
605         (bindport): Don't treat failed setsockopt as a fatal error.
606
607 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
608
609         * connect.c (resolve_bind_address): Use a more accurate error
610         message -- we're not binding to ANY, we're disabling bind
611         altogether.
612
613 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
614
615         * cookies.c (save_cookies_mapper): Respect the setting of
616         keep-session-cookies.
617         (cookie_jar_load): Import session cookies.
618         Based on code submitted by Nicolas Schodet.
619
620         * utils.c (datetime_str): Use information in TM when it's
621         non-NULL.
622
623         * main.c (main): New option `--keep-session-cookies'.
624
625 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
626
627         * Makefile.in (realclean): Delete config.h.in.
628
629 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
630
631         * config-post.h: New file, included from now autogenerated
632         config.h.in.
633
634 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
635
636         * progress.c (progress_handle_sigwinch): Don't call
637         determine_screen_width() from the signal handler.  Instead, just
638         set a volatile variable.
639         (bar_create): Check whether SIGWINCH was received.
640         (bar_update): Ditto.
641
642         * sysdep.h: Define SYSTEM_FNMATCH only if HAVE_FNMATCH_H is true.
643
644 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
645
646         * utils.c (xsleep): New function.  Uses nanosleep where available,
647         resuming sleeps interrupted by signals.  Updated callers of sleep
648         and usleep to use xsleep.
649
650 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
651
652         * ftp-basic.c (ftp_login): Remove shadowing (and bogus)
653         declaration of SEED.
654
655 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
656
657         * log.c (logvprintf): Documented better.  Renamed to
658         log_vprintf_internal to avoid confusion with the public API
659         functions logprintf and logputs.
660
661 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
662
663         * wget.h (N_): Don't parenthesize argument.
664
665 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
666
667         * host.h (ADDRESS_IPV4_DATA): Don't take the address of in.s_addr
668         because that doesn't work on machines that define it as bitfield.
669
670 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
671
672         * connect.c (select_fd): Generalize the third argument into WAIT,
673         so that the caller can request waiting for both read and write.
674         Updated callers.
675
676 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
677
678         * html-url.c (cleanup_html_url): Destroy the hash tables, don't
679         just call free on them.
680         (init_interesting): Use hash_table_put instead of string_set_add
681         because we don't need the strdup that the latter function
682         performs.
683
684         * init.c (cleanup): Don't pass NULL to cookie_jar_delete.
685
686         * xmalloc.c (xfree_real): Abort when passed a NULL pointer.
687         (xfree_debug): Print at the file and line of the offending call to
688         free.
689
690 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
691
692         * wget.h: Retired the `boolean' type.  Moved the DEFAULT_LOGFILE
693         define to log.h.  Moved the INFINITE_RECURSION define to recur.h.
694
695         * xmalloc.h: Renamed FREE_MAYBE to xfree_null and moved the
696         definition from wget.h to xmalloc.h.
697
698 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
699
700         * html-parse.c (decode_entity): New function; split the decoding
701         of entities here.
702         (convert_and_copy): Use it to decode entities.
703         (decode_entity): Handle the &apos entity.
704         (decode_entity): Don't decode Latin 1 numeric entities.  Don't
705         decode &#0.
706
707 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
708
709         * ftp-opie.c (calculate_skey_response): Use uint32_t instead of
710         `unsigned long' for the cheksum array.  Document the function.
711
712 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
713
714         * connect.c (acceptport): Don't call select_fd when timeout is not
715         requested.
716
717 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
718
719         * host.c: Removed the ip_default_family global variable.
720
721         * host.c (lookup_host): Document the function.  Fixed declaration
722         of VEC.
723
724 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
725
726         * various: Use new macros xnew, xnew0, xnew_array, and xnew0_array
727         in various places.
728
729 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
730
731         * wget.h: Move declarations of malloc and logging code to
732         xmalloc.h and log.h respectively to unclutter this file.
733         (STRDUP_ALLOCA): Made it side-effect free.
734
735         * xmalloc.h: New files.  Define macros xnew, xnew0, xnew_array,
736         and xnew0_array.
737
738         * xmalloc.c: New file.  Move the xmalloc routines here.
739
740 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
741
742         * connect.c (sockaddr_set_data): Remove the broken code that
743         checked for NULL address.
744
745 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
746
747         * host.c (address_list_from_single): Removed.
748         (address_list_from_ipv4_addresses): Renamed from
749         address_list_from_vector.
750
751 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
752
753         * sysdep.h (CLOSE): Don't call close on file descriptors less than
754         0, i.e. on uncreated sockets.
755
756         * connect.c (resolve_bind_address): Work on struct sockaddr
757         directly.
758         (connect_to_host): Replacement for connect_to_many.  Resolve HOST
759         and connect to any of its addresses.  If we can't connect and the
760         host name lookup was cached, try to resolve it again.  This should
761         fix problems with hosts behind dynamic DNS.  Updated all callers.
762         (connect_to_ip): Replacement for connect_to_one.  Removed SILENT;
763         added the argument PRINT instead.  Updated all callers.
764         (set_connection_host_name): Removed.
765
766         * host.c (address_list_address_at): New function instead of
767         address_list_copy_one. It returns a pointer to ip_address *, so
768         it's not necessary to copy the data.
769         (address_list_cached_p): New function.
770         (forget_host_lookup): Ditto.
771
772         * connect.c: Got rid of the MSOCK global variable.  Made bindport
773         return the local socket it creates.  Added a new argument to
774         acceptport, the socket to call accept on.  Updated callers.
775         (closeport): Removed.
776
777         * connect.c: Moved the sockaddr code from host.c to this file,
778         because most of that stuff is used for connecting, and has nothing
779         to do with host names anyway.
780         (sockaddr_set_data, sockaddr_get_data): New functions, replace the
781         old sockaddr_set_address, sockaddr_set_port, sockaddr_get_address,
782         and sockaddr_get_port.
783
784 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
785
786         * sysdep.h: Use `S >= 8' rather than `S == 8' when looking for
787         large integers.
788
789 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
790
791         * url.c (append_uri_pathel): New argument ESCAPED_P that says
792         whether [B, E) is to be treated as URL-escaped or not.  If
793         ESCAPED_P is false, don't unescape the region.
794         (url_file_name): u->file is not URL-escaped.
795
796 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
797
798         * retr.c (retrieve_from_file): Use retrieve_tree for
799         page-requisites.
800
801         * main.c (main): Don't define opt.recursive when -p is used.
802         Instead, make sure that recursion is used for HTTP in that case.
803
804 2003-10-29  Hrvoje Niksic  <hniksic@xemacs.org>
805
806         * host.h: Defined accessors for elements of ip_address.  Updated
807         all callers.
808         (address_list_match_all): Use memcmp in the non-IPv6 case.
809
810         * wget.h (CONNECT_ERROR): Don't retry connecting if connect()
811         returned EAFNOSUPPORT.
812
813 2003-10-27  Mauro Tortonesi <mauro@deepspace6.net>
814
815         * connect.h: changed bindport prototype and added the related
816         BIND_ON_IPV4_ONLY and BIND_ON_IPV6_ONLY flags.
817
818         * connect.c: changed bindport and resolve_bind_address to allow
819         protocol-version specific DNS resolution. modified conaddr,
820         acceptport and connect_to_one to make use of struct
821         sockaddr_storage and of the new ip_address structure.
822
823         * ftp-basic.c: added LPRT/LPSV (RFC1639) support, refactored
824         PORT/PASV (RFC959) and EPRT/EPSV (RFC2428) support code.
825
826         * ftp.c: added the ftp_do_port and ftp_do_pasv functions to
827         handle FTP over IPv6.
828
829         * ftp.h: changed prototype of ftp_epsv and added prototypes for
830         ftp_lpsv, ftp_lprt and ftp_eprt.
831
832         * host.c: renamed the
833         wget_sockaddr_set_address and wget_sockaddr_get_addr, and
834         wget_sockaddr_{s,g}et_port couples to sockaddr_{s,g}et_address and
835         sockaddr_{g,s}et_port respectively.  changed
836         address_list_match_all, address_list_from_addrinfo sockaddr_len,
837         pretty_print_address, lookup_host, sockaddr_{s,g}et_address and
838         sockaddr_{g,s}et_port to make use of struct sockaddr_storage and
839         of the new ip_address structure.  removed map_ipv4_to_ip and
840         map_ip_to_ipv4.
841
842         * host.h: redefined structure ip_address and removed structure
843         wget_sockaddr.
844
845 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
846
847         * sysdep.h: Include inttypes.h where available.
848
849         * host.c: Switch from u_int32_t to uint32_t.
850
851 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
852
853         * netrc.c (parse_netrc): Reset the QUOTE flag after the closing
854         quote.
855
856 2003-10-25  Hrvoje Niksic  <hniksic@xemacs.org>
857
858         * url.c (is_valid_ipv6_address): Reformat to GNU coding style.
859         Use enums for NS_IN* constants.  Use ISXDIGIT.
860
861         * convert.c (construct_relative): Document better how the function
862         works.
863
864 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
865
866         * config.h.in: Deploy preprocessor magic to avoid Ultrix's
867         <netdb.h> include <bitypes.h> which defines its own u_int32_t.
868         Reported by Bernhard Simon.
869
870 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
871
872         * version.c: Bump version.
873
874 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
875
876         * url.c: Ditto.
877
878         * html-parse.c (advance_declaration): Don't use trailing comma in
879         enum because older compilers don't support it.
880
881         * utils.c: Don't redefine HAVE_SIGSETJMP.
882
883 2003-10-16  Hrvoje Niksic  <hniksic@xemacs.org>
884
885         * convert.c (construct_relative): Don't handle absolute files
886         specially -- for example, -P/tmp/foo shouldn't imply that
887         converted files must refer to "/tmp/foo/..."!
888
889 2003-10-15  Hrvoje Niksic  <hniksic@xemacs.org>
890
891         * http.c: Consider status 307 a valid redirect.
892
893 2003-10-15  Philip Stadermann  <philip.stadermann@credativ.de>
894
895         * ftp.c (ftp_retrieve_glob): Correctly loop through the list whose
896         elements might have been deleted.
897
898 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
899
900         * html-url.c (tag_handle_meta): Set the Refresh link to expect
901         HTML.
902         (append_one_url): Renamed to append_url.
903
904 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
905
906         * sysdep.h: Only define u_int32_t.
907
908 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
909
910         * utils.c (large_int_to_string): Use snprintf() to print the
911         number.  This will work even on systems where libc doesn't
912         understand %lld, but the compiler does, because it will use our
913         snprintf replacement.
914
915         * init.c (parse_bytes_helper): New function.
916         (cmd_bytes): Use it to parse bytes, but cast the result to long.
917         (cmd_bytes_large): Ditto, but store the result to LARGE_INT.  Used
918         for --quota so that --quota=10G works even on machines without
919         long long.
920
921         * options.h (struct options): Declare quota as LARGE_INT.
922
923         * retr.c (downloaded_exceeds_quota): Removed.
924         (downloaded_increase): Ditto.
925         (total_downloaded_bytes): New variable, replaces opt.downloaded,
926         which was the wrong place for it anyway.  Updated callers of
927         downloaded_exceeds_quota and downloaded_increase to check this
928         variable directly.
929
930         * sysdep.h: Get rid of VERY_LONG_TYPE.  Use LARGE_INT for the same
931         purpose, defined as `long', `long long' or `double', depending on
932         size of long and whether long long is available.
933
934 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
935
936         * sysdep.h: Also check size of short for int32_t.
937
938 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
939
940         * host.c (lookup_host): Use u_int32_t to store the result of
941         inet_addr().  That removes the need for offset fiddling, caring
942         about endian-ness, etc.
943
944         * sysdep.h: Define int32_t and u_int32_t if not available.
945
946 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
947
948         * ftp-basic.c (ftp_epsv): Use socklen_t * as the third argument to
949         getpeername.
950
951         * config.h.in: Define socklen_t stub.
952
953         * host.c (sockaddr_len): Return socklen_t.
954
955         * connect.c (conaddr): Use socklen_t as the third argument to
956         accept, getsockname, and connect.
957
958 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
959
960         * recur.c (retrieve_tree): Don't descend into documents that are
961         not expected to contain HTML, regardless of their content-type.
962
963         * html-url.c (tag_url_attributes): Record which attributes are
964         supposed to yield HTML links that can be followed.
965         (tag_find_urls): Propagate that information to the caller through
966         struct urlpos.
967
968 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
969
970         * hash.c (find_mapping): Return the next available mapping when
971         the key is not found, not NULL.
972         (hash_table_put): Use find_mapping to find the storage for the new
973         data.
974         (hash_table_put): Grow the table before exceeding maximum
975         fullness, not afterwards.
976
977 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
978
979         * hash.c (hash_table_new): Slightly change the meaning of the
980         first parameter.  Instead of being the minimum initial size, it is
981         now the minimum number of items that the hash table can take
982         without needing to resize.
983
984 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
985
986         * html-url.c (init_interesting): Initialize interesting_tags and
987         interesting_attributes as hash tables.  This simplifies the code
988         immensely because hash tables handle allocation and remove
989         duplicates automatically.
990         (find_tag): Removed.
991         (collect_tags_mapper): Instead of calling find_tag, simply get the
992         entry from interesting_tags hash table, which is both simpler and
993         faster.
994
995 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
996
997         * hash.c (hash_table_get): Declare hash-table argument as const.
998         (find_mapping): Ditto.
999         (hash_table_get_pair): Ditto.
1000         (hash_table_contains): Ditto.
1001         (hash_table_count): Ditto.
1002
1003 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1004
1005         * html-url.c (get_urls_html): Parse the appropriate flags to
1006         html-parse.c.
1007
1008         * html-parse.c (map_html_tags): Accept FLAGS from the caller
1009         instead of examining OPT.
1010
1011 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1012
1013         * html-url.c (find_tag): Switch to binary search.
1014
1015 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1016
1017         * main.c (print_help): Fix typo; stured -> stored.
1018
1019 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1020
1021         * getopt.c: Add definitions of getopt_long and getopt_long_only.
1022
1023 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1024
1025         * config.h.in: Renamed DEBUG to ENABLE_DEBUG.  ENABLE_DEBUG is, I
1026         think, a better name, because it implies that debugging output is
1027         merely possible, not "on by default", as might be construed from
1028         just DEBUG.
1029
1030 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1031
1032         * ftp.c (has_insecure_name_p): Define it here.
1033
1034         * utils.c (has_wildcards_p): Define it here.
1035
1036         * sysdep.h: Declare fnmatch-related macros here, if not using
1037         system fnmatch().  Update .c files to not declare fnmatch.h
1038         directly.
1039
1040         * cmpt.c (fnmatch): Moved here.  Use it only under non-GNU libc.
1041
1042 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1043
1044         * getopt.c: Newer version, imported from Free libit.
1045
1046 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
1047
1048         * cookies.c (struct cookie): Remove unused backpointer to cookie
1049         jar.
1050
1051 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
1052
1053         * cmpt.c (memmove): Comment out, since it's no longer used.
1054
1055         * cookies.c (cookie_jar_generate_cookie_header): Allocate room for
1056         chains in one pass.
1057         (find_chains_of_host): Assume that the caller has allocated DEST
1058         to be sufficiently large to take all the data.
1059         (eliminate_dups): Run through the array and eliminate dups on the
1060         fly instead of using memmove.
1061         (cookie_jar_process_set_cookie): Free cookie->domain before
1062         re-setting it.
1063
1064 2003-10-05  Gisle Vanem  <giva@bgnett.no>
1065
1066         * mswindows.c (set_sleep_mode): Fix type of
1067         _SetThreadExecutionState.
1068
1069 2003-10-05  Hrvoje Niksic  <hniksic@xemacs.org>
1070
1071         * utils.c (file_size): Return -1 if fopen() returns NULL.  Prior
1072         to this patch, wget --post-file=nosuchfile dumped core.
1073
1074 2003-10-04  Gisle Vanem  <giva@bgnett.no>
1075
1076         * mswindows.c (run_with_timeout): Use WaitForSingleObject to wait
1077         for thread termination.
1078
1079 2003-10-04  Hrvoje Niksic  <hniksic@xemacs.org>
1080
1081         * log.c: Use `...' in function definitions; ansi2knr will convert
1082         them to va_dcl.  This allowed removal of the ugly VA_START_1 and
1083         VA_START_2 macros.
1084
1085 2003-10-03  Gisle Vanem  <giva@bgnett.no>
1086
1087         * connect.c: And don't include them here.
1088
1089         * mswindows.h: Include winsock headers here.
1090
1091 2003-10-03  Hrvoje Niksic  <hniksic@xemacs.org>
1092
1093         * html-parse.c (convert_and_copy): Move variable declarations
1094         before statements.
1095
1096 2003-10-02  Gisle Vanem  <giva@bgnett.no>
1097         
1098         * mswindows.c (run_with_timeout): For Windows: Run the 'fun' in a
1099         thread via a helper function. Continually query the thread's
1100         exit-code until finished or timed out.
1101
1102 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
1103
1104         * wget.h (XMALLOC_ARRAY): Removed.
1105         (ALLOCA_ARRAY): Ditto.
1106
1107         * html-parse.c: Renamed alloca_p to resized.
1108         (GROW_ARRAY): Renamed DO_REALLOC_FROM_ALLOCA to GROW_ARRAY and
1109         returned it to html-parse.c, since nothing else was using it.
1110
1111 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
1112
1113         * retr.c (retrieve_url): Initialize DUMMY storage for DT.  Caught
1114         by valgrind.
1115
1116 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
1117
1118         * html-parse.c (convert_and_copy): Handle numeric entities in
1119         hexadecimal, &#xHH.
1120         (convert_and_copy): Copy the contents directly to the pool without
1121         a stack-allocated intermediary.
1122
1123 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
1124
1125         * utils.c (alarm_set): New function; use either setitimer or alarm
1126         to set up the alarm.
1127         (alarm_cancel): New function; cancel the alarm set up by
1128         alarm_set.
1129         (run_with_timeout): Use them.
1130
1131 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
1132
1133         * url.c (url_parse): Don't leak memory when a reencoded URL turns
1134         out to be invalid.
1135
1136         * url.c (parse_errors): Mark error messages for translation.
1137         (url_error): Translate error messages returned to the caller.
1138
1139 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
1140
1141         * ftp.c (ftp_loop_internal): Initialize TMRATE to NULL to shut up
1142         the compiler.
1143
1144 2003-09-26  Gisle Vanem  <giva@bgnett.no>
1145
1146         * src/mswindows.c: Added ws_percenttitle() showing progress in the
1147         window titlebar. Called from retr.c. Secured ws_mypath().
1148
1149         * windows/config.h.ms: alloca() prototype not needed.  Removed
1150         "#undef ENABLE_NLS"; should be in Makefile IMHO. Moved
1151         WGET_USE_STDARG from mswindows.h to config.ms.h because of #ifdef
1152         in log.c. (MSVC's vararg.h and stdarg.h are incompatible).
1153
1154 2003-09-29  Aaron Hawley <Aaron.Hawley@uvm.edu>
1155
1156         * ftp.c (getftp): --spider option should now work with FTP
1157         downloads.
1158         (ftp_loop_internal): quiet reports and calculations of downloads
1159         when --spider option set, nor try deleting when --delete-after
1160         also set.
1161         (ftp_loop): --spider will skip HTML-ification of .listing file.
1162
1163 2003-09-26  Gisle Vanem  <giva@bgnett.no>
1164
1165         * mswindows.c (read_registry): Removed.
1166         (set_sleep_mode): New function.
1167         (windows_main_junk): Call it.
1168
1169 2003-09-26  Gisle Vanem  <giva@bgnett.no>
1170
1171         * mswindows.c (read_registry): Fix invocation of registry
1172         functions.
1173
1174         * mswindows.c (read_registry): Condition definitions of sleep and
1175         usleep with not HAVE_SLEEP and HAVE_USLEEP respectively.  Define
1176         HAVE_SLEEP and HAVE_USLEEP under __DMC__.
1177
1178 2003-09-24  Hrvoje Niksic  <hniksic@xemacs.org>
1179
1180         * url.c (url_escape_1): Revert unintentional change to lowercase
1181         xdigit escapes.
1182         (url_escape_dir): Document that this function depends on the
1183         output of url_escape_1.
1184
1185 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
1186
1187         * progress.c (create_image): Print the current ETA if we're done
1188         with the download.
1189         (create_image): Change '-' display char to '+' in the progress bar.
1190
1191         * Makefile.in (clean): Remove .libs.
1192
1193 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
1194
1195         * cookies.c (struct cookie): New flag domain_exact.
1196         (update_cookie_field): Skip leading dot in domain.
1197         (find_matching_chains): Match numeric addresses exactly; don't
1198         needlessly copy HOST to the stack.
1199         (matching_cookie): Added argument HOST.  If cookie->domain_exact
1200         is set, check that HOST is equal to cookie->domain.
1201         (cookie_jar_load): Only use TAB as delimiter.  Document the
1202         meaning of DOMAIN-FLAG.  Skip leading dot in domain.
1203         (cookie_jar_load): Don't ignore DOMAIN-FLAG -- instead, set
1204         domain_exact to true if DOMAIN-FLAG is false.
1205         (save_cookies_mapper): If domain_exact is false, prepend the
1206         domain with dot, like Mozilla does.
1207
1208 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
1209
1210         * progress.c (create_image): Print the initial part of the
1211         download with '-' characters, analogous to how dot progress prints
1212         the initial part with ','.
1213
1214         * hash.c (ptrhash): New function.
1215         (ptrcmp): Ditto.
1216         (hash_table_new): Default to identity hash table.
1217
1218 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
1219
1220         * safe-ctype.h (_sch_test): The cast of BIT to unsigned char was
1221         broken -- _sch_istable bitmasks are 16-bit, not 8-bit!  Cast BIT
1222         to unsigned short instead.
1223
1224 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
1225
1226         * url.c (path_simplify): Instead of calls to memmove, handle "./"
1227         and "../" by advancing pointers.
1228
1229 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
1230
1231         * retr.c (getproxy): Moved from url.c.
1232
1233         * convert.c: Split off link conversion from url.c into separate
1234         file.  Also included the book-keeping stuff from recur.c.
1235
1236 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
1237
1238         * init.c: Improved documentation of functions.
1239         (cmd_boolean): Attempt to make code that tries to avoid calling
1240         strcmp for "speed" a bit more readable.
1241
1242         * init.c (simple_atof): Report error on encountering non-digit,
1243         non-"." character.
1244         (simple_atoi): Replacement for myatoi(), calling interface
1245         compatible with simple_atof.  Updated myatoi's callers.
1246
1247 2003-09-21  Bertrand Demiddelaer  <bert@b3rt.org>
1248
1249         * url.c (path_simplify): Would read two bytes past the end of the
1250         string in the "./" case.
1251
1252 2003-09-21  Matthew J. Mellon  <mellon@tymenet.com>
1253
1254         * http.c (gethttp): Recognize content-type "application/xhtml+xml"
1255         as what Wget considers "text/html".
1256
1257 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
1258
1259         * connect.c (connect_with_timeout): Made timeout type double.
1260
1261         * options.h (struct options): New members read_timeout,
1262         dns_timeout, and connect_timeout.
1263         Use them.
1264
1265 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
1266
1267         * init.c (simple_atof): New function.
1268         (cmd_time): Use it.
1269         (cmd_bytes): Accept things like "1.5k" and such.  Use simple_atof
1270         to parse decimals.
1271
1272         * retr.c (limit_bandwidth): Adjust each sleep by the error of the
1273         previous one.
1274
1275 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
1276
1277         * main.c (main): Use setoptval() for setting the options.  Use
1278         run_command for `-e'.
1279
1280         * init.c (parse_line): Rewritten to return COMIND right away.
1281         Changed linkage to static.
1282         (run_wgetrc): Use the available comind when calling setval, so it
1283         doesn't have to be computed twice.
1284         (setval_internal): New function, runs the command's action without
1285         any error checking.
1286         (setoptval): New function, does what setval used to do, but exits
1287         in case of error.
1288         (run_command): New function.
1289
1290 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
1291
1292         * connect.c (select_fd): Change MAXTIME's type to double.  Handle
1293         its decimal part.
1294
1295         * retr.c (sleep_between_retrievals): In the random-wait case, use
1296         random_float() to wait between 0 and 2*opt.wait seconds.
1297
1298         * utils.c (run_with_timeout): Accept `double' timeouts.  Correctly
1299         handle timeout values in (0, 1) range.
1300         (random_float): New function.
1301
1302         * options.h (struct options): Change the types of wait, waitretry,
1303         and timeout to double.
1304
1305         * init.c (cmd_time): Accept floating point time.
1306
1307 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
1308
1309         * retr.c (get_contents): Cosmetic fixes.
1310
1311 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
1312
1313         * url.c (uri_merge): Get rid of uri_merge_1.
1314         (uri_merge): Merge "foo//", "bar" as "foo//bar", not "foo///bar",
1315         i.e. don't add an extra slash merely because BASE ends with two
1316         slashes.
1317         (parse_credentials): Renamed from parse_uname.  Rewrittern in
1318         standard [beg, end) calling style.
1319         (url_skip_credentials): Renamed from url_skip_uname.  Made static.
1320         (url_skip_credentials): Include # and ; as terminators.  Old code
1321         would mistakenly consider "http://foo.com#hniksic@iskon.hr" to
1322         contain a username.
1323         (url_skip_scheme): Removed because it was unused.
1324         (url_has_scheme): Require "scheme" to be at least one char long.
1325
1326 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
1327
1328         * url.c (url_file_name): Expect NULL dir_prefix.
1329
1330         * init.c (cmd_file): Use a macro to prevent multiple #ifdef
1331         WINDOWS.
1332         (defaults): Set dir_prefix to NULL by default.
1333
1334 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
1335
1336         * safe-ctype.h (_sch_test): Cast BIT to unsigned char, like latest
1337         gcc does.
1338
1339 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
1340
1341         * wget.h (BOUNDED_TO_ALLOCA): Evaluate PLACE only once.
1342         (ARRAY_SIZE): Renamed to countof.  All callers updated.
1343
1344 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
1345
1346         * main.c (main): New option --strict-comments.
1347
1348         * html-parse.c (find_comment_end): New function: simple BM search
1349         for "-->".
1350         (map_html_tags): Use it if looking at a comment and not in strict
1351         comments mode.
1352
1353 2003-09-17  Aurelien Marchand  <artaxerxes@users.sf.net>
1354
1355         * ftp.h: Added OS400 system in enum
1356         * ftp-basic.c: recognize OS400 systems
1357         * ftp.c: don't prepend the CWD if talking to OS400, since it
1358         breaks the change in library
1359
1360 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
1361
1362         * retr.c (get_contents): Pass the correct argument to ssl_iread.
1363
1364 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
1365
1366         * safe-ctype.h: Don't #define ctype.h macros to errors because
1367         that loses when someone #include's ctype.h after safe-ctype.h.
1368
1369 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
1370
1371         * url.c: Undef U, W, C after use.
1372
1373 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
1374
1375         * init.c (cmd_spec_restrict_file_names): Allow the OS setting to
1376         be augmented by ",nocontrol" which means don't escape the control
1377         characters, but otherwise keep OS settings.
1378
1379         * url.c (file_unsafe_char): Deleted.
1380         (append_uri_pathel): Query filechr_table directly.
1381         (filechr_table): Separated Unix, Windows, and control-unsafe
1382         characters.
1383
1384 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
1385
1386         * url.c (url_escape_1): New function.
1387         (url_escape): Use it.
1388         (sync_path): Handle pathological cases where u->file and u->dir
1389         contain really strange characters.
1390         (ENCODE): Deleted.
1391         (REENCODE): Deleted.
1392
1393 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
1394
1395         * url.c (url_file_name): Don't reallocate FNAME if the file
1396         doesn't exist, as is usually the case.
1397
1398         * utils.c (unique_name): New flag allow_passthrough.
1399
1400 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
1401
1402         * utils.c (wtimer_sys_diff): Convert the time difference to signed
1403         __int64, then to double.  This works around MS VC++ 6 which can't
1404         convert unsigned __int64 to double directly.
1405
1406 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
1407
1408         * Makefile.in (clean): Also remove the core.<number> files
1409         produced by recent Linux systems.
1410
1411 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
1412
1413         * http.c (post_file): Don't pad the file if it's not large
1414         enough.  Bail out instead.
1415
1416 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
1417
1418         * retr.c (get_contents): Reduce the buffer size to the amount of
1419         data that may pass through for one second.  This prevents long
1420         sleeps when limiting bandwidth.
1421
1422         * connect.c (connect_to_one): Reduce the socket's RCVBUF when
1423         bandwidth limitation to small values is requested.
1424
1425 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
1426
1427         * progress.c (update_speed_ring): Moved the speed ring update to a
1428         separate function and documented it better.
1429
1430         * progress.c: Use `double' for most timers to support granularity
1431         smaller than 1ms.
1432
1433 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
1434
1435         * wget.h (XDIGIT_TO_XCHAR): Implement as index into a literal
1436         string.
1437         (XDIGIT_TO_xchar): Ditto.
1438
1439 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
1440
1441         * utils.c: Change the type of timer-related functions from long to
1442         double, for better precision.  On machines supporting gettimeofday
1443         the timers now work with granularity of less than one millisecond.
1444
1445 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
1446
1447         * cookies.c (parse_set_cookies): Fixed the parser to handle more
1448         edge conditions.
1449         (test_cookies): New function, contains a test suite for
1450         parse_set_cookies.
1451
1452 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
1453
1454         * url.c (strpbrk_or_eos): Implement as a macro under Gcc.
1455
1456 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
1457
1458         * cookies.c (parse_set_cookies): Allow trailing space in
1459         set-cookies header.  Also, allow any amount of whitespace, not
1460         only one character.  Allow empty set-cookies header without
1461         spewing an error.
1462
1463 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
1464
1465         * url.c (append_uri_pathel): Use opt.restrict_file_names when
1466         calling file_unsafe_char.
1467
1468         * init.c: New command restrict_file_names.
1469
1470         * main.c (main): New option --restrict-file-names[=windows,unix].
1471
1472         * url.c (url_file_name): Renamed from url_filename.
1473         (url_file_name): Add directory and hostdir prefix here, not in
1474         mkstruct.
1475         (append_dir_structure): New function, does part of the work that
1476         used to be in mkstruct.  Iterates over path elements in u->path,
1477         calling append_uri_pathel on each one to append it to the file
1478         name.
1479         (append_uri_pathel): URL-unescape a path element and reencode it
1480         with a different set of rules, more appropriate for handling of
1481         files.
1482         (file_unsafe_char): New function, uses a lookup table to decide
1483         whether a character should be escaped for use in file name.
1484         (append_string): New utility function.
1485         (append_char): Ditto.
1486         (file_unsafe_char): New argument restrict_for_windows, decide
1487         whether Windows file names should be escaped in run-time.
1488
1489         * connect.c: Include <stdlib.h> to get prototype for abort().
1490
1491 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
1492
1493         * utils.c (wtimer_sys_set): Extracted the code that sets the
1494         current time here.
1495         (wtimer_reset): Call it.
1496         (wtimer_sys_diff): Extracted the code that calculates the
1497         difference between two system times here.
1498         (wtimer_elapsed): Call it.
1499         (wtimer_elapsed): Don't return a value smaller than the previous
1500         one, which could previously happen when system time is set back.
1501         Instead, reset start time to current time and note the elapsed
1502         offset for future calculations.  The returned times are now
1503         guaranteed to be monotonically nondecreasing.
1504
1505 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
1506
1507         * host.c (lookup_host): Print the result of the DNS lookup.
1508
1509 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
1510
1511         * init.c (cmd_boolean): Accept yes/no along with on/off.
1512         (cmd_lockable_boolean): Ditto.
1513
1514 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
1515
1516         * init.c: New command dns_cache.
1517
1518         * main.c (main): New option --dns-cache[=off].
1519
1520 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
1521
1522         * config.h.in: Initialize HAVE_GETADDRINFO and ENABLE_IPV6.
1523
1524         * all: Use #ifdef ENABLE_IPV6 instead of the older INET6.  Use
1525         HAVE_GETADDRINFO for getaddrinfo-related stuff.
1526
1527 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
1528
1529         * url.c (url_parse): Return an error if the URL contains a [...]
1530         IPv6 numeric address and we don't support IPv6.
1531
1532 2003-09-05  Hrvoje Niksic  <hniksic@xemacs.org>
1533
1534         * url.c (is_valid_ipv6_address): Modified to not require
1535         zero-terminated strings.
1536         (is_valid_ipv4_address): Ditto.
1537
1538 2003-09-05  Mauro Tortonesi <mauro@deepspace6.net>
1539
1540         src/url.c: added RFC 2732 compliance for URL parsing. The
1541         functions is_*_address valid are a modified version of
1542         glibc 2.3.2 inet_pton's code.
1543
1544 2003-09-03  Ahmon Dancy  <dancy@dancysoft.com>
1545
1546         * main.c init.c options.h: Added --retry-connrefused option so
1547         that Connection Refused failures are treated as non-fatal (when
1548         trying to retrieve from busy servers).
1549
1550         * wget.h: New CONNECT_ERROR macro for encapsulating this
1551         modification.
1552
1553         * ftp.c http.c : Use CONNECT_ERROR macro in places where
1554         ECONNREFUSED was checked.
1555
1556 2003-01-11  Ian Abbott  <abbotti@mev.co.uk>
1557
1558         * ftp.c (ftp_retrieve_glob): Reject insecure filenames as determined
1559         by calling new function has_insecure_name_p.  This is based on a
1560         patch by Red Hat.
1561
1562         * fnmatch.c (has_insecure_name_p): New function: returns non-zero
1563         if filename starts with `/' or contains `../' and is therefore
1564         considered insecure.
1565
1566         * fnmatch.h: Declare has_insecure_name_p().
1567
1568 2002-08-03  Hrvoje Niksic  <hniksic@xemacs.org>
1569
1570         * init.c (cmd_file): Allocate RESULT correctly.
1571
1572 2002-07-24  Hrvoje Niksic  <hniksic@xemacs.org>
1573
1574         * recur.c (retrieve_tree): Check whether downloaded_html_set is
1575         non-NULL before using it.
1576
1577 2002-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1578
1579         * html-parse.c (NAME_CHAR_P): Allow almost any character here.
1580
1581 2002-05-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1582
1583         * progress.c (bar_set_params): Fall back to dot progress if the
1584         terminal type is "emacs".
1585
1586 2002-05-20  Hrvoje Niksic  <hniksic@arsdigita.com>
1587
1588         * log.c: Don't #undef WGET_USE_STDARG.
1589
1590 2002-05-16  Hrvoje Niksic  <hniksic@arsdigita.com>
1591
1592         * hash.c (prime_size): Store the offset of the prime number in the
1593         prime table.  When searching, start with the given offset.
1594         (hash_table_new): Pass the pointer to ht->prime_offset to
1595         prime_size.
1596         (grow_hash_table): Ditto.
1597         (prime_size): Make 13 the first prime to make empty hash tables
1598         slightly smaller.
1599
1600 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
1601
1602         * recur.c (download_child_p): Minor optimization to avoid an
1603         unnecessary additional call to schemes_are_similar_p function.
1604
1605 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
1606
1607         * url.c (schemes_are_similar_p): New function to test enumerated
1608         scheme codes for similarity.
1609
1610         * url.h: Declare it.
1611
1612         * recur.c (download_child_p): Use it to compare schemes.  This
1613         also fixes a bug that allows hosts to be spanned (without the
1614         -H option) when the parent scheme is https and the child's is
1615         http or vice versa.
1616
1617 2002-05-14  Bill Richardson  <bill@riverstonenet.com>
1618
1619         * ftp.c (getftp): Don't ftruncate stdout.
1620
1621         * http.c (gethttp): Don't ftruncate stdout.
1622
1623 2002-05-09  Ian Abbott  <abbotti@mev.co.uk>
1624
1625         * cmpt.c (strptime_internal): Synched with glibc-2.1.3.
1626         (get_number): Ditto.
1627         (get_alt_number): Ditto.
1628         (__isleap): New function-like macro used by strptime.
1629         (day_of_the_week): New function used by strptime.
1630         (day_of_the_year): Ditto.
1631         (__mon_yday): Now shared by mktime and strptime implementations.
1632
1633 2002-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
1634
1635         * cookies.c (check_domain_match): Use match_tail in case
1636         insensitive mode.
1637
1638         * utils.c (match_tail): Allow the caller to specify case
1639         insensitive mode.
1640
1641         * cookies.c (store_cookie): When expiry_time is 0, print it as
1642         undefined, not indefinite.
1643
1644 2002-05-07  Ian Abbott  <abbotti@mev.co.uk>
1645
1646         * cookies.c (cookie_jar_process_set_cookie): Do not store
1647         discarded cookie.
1648
1649 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
1650
1651         * cookies.c (check_domain_match): Allow cookies to be set for
1652         subdomains of unknown top-level domains under some circumstances.
1653
1654 2002-04-21  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
1655
1656         * gen_ssl.c:
1657         - allow checking of server cert
1658         - allow defining client cert type
1659         - allow limit of ssl protocol
1660         - check more return values
1661         - added debug message on break
1662
1663 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
1664
1665         * recur.c (download_child_p): Revert order of items in check
1666         number 6 for clarity.
1667
1668 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
1669
1670         * init.c: Ditto.
1671
1672         * main.c: Ditto.
1673
1674         * http.c: Use the new interface.
1675
1676         * cookies.c: Provide an OO-style "cookie jar" interface to enable
1677         separate cookie jars.
1678
1679         * http.c (http_atotm): Declare argument as const.
1680
1681 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
1682
1683         * cookies.c (cookie_new): Default to PORT_ANY.
1684         (find_cookie_chain_exact): Only search by DOMAIN.
1685         (find_matching_cookie): Also check that PORT matches.
1686         (store_cookie): Only match the domain.
1687         (set_cookie_header_cb): When a cookie "fakes" a domain, assume it
1688         is valid for that host rather than discarding it completely.
1689         (find_matching_chains): Don't search by PORT.
1690         (matching_cookie): Also match PORT.
1691         (load_cookies): Set the port if specified, otherwise leave it as
1692         ANY.
1693         (save_cookies_mapper): Save the port if specified, otherwise leave
1694         it empty.
1695
1696 2002-04-19  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
1697
1698         * init.c: The option `egdfile' was not in sort order.
1699
1700 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
1701
1702         * ftp.c (getftp): Treat directories that begin with <letter>: as
1703         absolute.
1704         (getftp): Strip trailing slashes from con->id before merging it
1705         with TARGET.
1706
1707 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
1708
1709         * http.c (gethttp): If Content-Type is not given, assume
1710         text/html.
1711
1712 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
1713
1714         * recur.c (download_child_p): Don't ignore rejection of HTML
1715         documents that are themselves leaves of recursion.
1716
1717 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
1718
1719         Makefile.in: Updated several dependencies for object files to take
1720         account of nested include files.
1721
1722 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
1723
1724         Makefile.in: The target `connect$o' (connect.o) now depends on
1725         `utils.h'
1726
1727 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
1728
1729         * host.c (SET_H_ERRNO): New function-like macro to set `h_errno'.
1730         (gethostbyname_with_timeout): Use it.
1731
1732         * utils.c: Don't define `SETJMP()', `run_with_timeout_env' or
1733         `abort_run_with_timeout()' when `USE_SIGNAL_TIMEOUT' is undefined.
1734
1735 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
1736
1737         * host.c (getaddrinfo_with_timeout): New function.
1738         (gethostbyname_with_timeout): Ditto.
1739         (lookup_host): Use them.
1740
1741 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1742
1743         * utils.c (number_to_string): Handle the case when n < -INT_MAX.
1744
1745 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1746
1747         * init.c (comind): Use a marginally faster implementation of
1748         binary search.  To quote Martin Buchholz, "a nanosecond saved is a
1749         nanosecond earned."
1750
1751 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1752
1753         * main.c (print_help): Document `--post-data' and `--post-file'.
1754
1755 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1756
1757         * http.c (gethttp): Ditto.
1758
1759         * retr.c (retrieve_url): Initialize variables to appease the
1760         compiler.
1761
1762         * gen_sslfunc.c (ssl_iread): Don't handle EINTR when calling
1763         select_fd.
1764         (ssl_iwrite): Ditto.
1765
1766         * connect.c (select_fd): Rewrite to handle EINTR.  Set errno to
1767         ETIMEDOUT in case of timeout.
1768         (iread): No need to handle EINTR when calling select_fd.
1769         (iwrite): Ditto.
1770
1771 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1772
1773         * retr.c (retrieve_url): Make sure that POST is not honored for
1774         redirections.
1775
1776         * http.c (gethttp): Send the POST data when requested.
1777         (post_file): New function.
1778         (gethttp): Use it.
1779
1780         * main.c (main): Ditto.
1781
1782         * init.c: Add new options.
1783
1784         * options.h (struct options): New options post_data and
1785         post_file_name.
1786
1787 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1788
1789         * connect.c (connect_with_timeout): Firing SIGALRM can result in
1790         connect() exiting with EINTR.  Treat EINTR the same as ETIMEDOUT.
1791
1792 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1793
1794         * connect.c (connect_with_timeout): Use it.
1795
1796         * utils.c (run_with_timeout): New function.
1797
1798 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1799
1800         * url.c (getproxy): Accept a struct url argument.  This obviates
1801         the need for USE_PROXY_P.
1802
1803         * retr.c (retrieve_url): Allow proxy to be a non-FTP URL.
1804
1805         * ftp.c (getftp): Recognize FWTK-style proxy.
1806
1807 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1808
1809         * config.h.in: Only define _VA_LIST when compiled with gcc.
1810
1811 2002-04012  Ian Abbott  <abbotti@mev.co.uk>
1812
1813         * http.c (http_loop): Compensate for MS Windows two-second
1814         granularity of file modification time when comparing timestamps.
1815
1816         * ftp.c (ftp_retrieve_list): Ditto.
1817
1818 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
1819
1820         * utils.c (has_html_suffix_p): New function to test filename for
1821         common html extensions.
1822
1823         * utils.h: Declare it.
1824
1825         * http.c (http_loop): Use it instead of previous test.
1826
1827         * retr.c (retrieve_url): Ditto.
1828
1829         * recur.c (download_child_p): Ditto.
1830
1831 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1832
1833         * config.h.in: Define _VA_LIST on Solaris to prevent stdio.h from
1834         declaring va_list.
1835         From Kevin Rodgers <kevinr@ihs.com>.
1836
1837 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
1838
1839         * Makefile.in: Specify libtool mode explicitly when linking.
1840
1841 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1842
1843         * connect.c (connect_with_timeout): New function.
1844         (connect_to_one): Use it.
1845
1846         * config.h.in: Add stubs for HAVE_SIGSETJMP, HAVE_SIGBLOCK, and
1847         HAVE_SETJMP_H.
1848
1849 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
1850
1851         * log.c: Set WGET_USE_STDARG if __STDC__ is defined and stdarg.h
1852         is present.
1853
1854 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
1855
1856         * progress.c (bar_create): If INITIAL is larger than TOTAL, fix
1857         TOTAL.
1858         (bar_finish): Likewise.
1859
1860 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
1861
1862         * html-url.c (tag_handle_form): New function.  Pick up form
1863         actions and mark them for conversion only.
1864
1865 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
1866
1867         * progress.c (struct progress_implementation): Use PARAMS when
1868         declaring the parameters of *create, *update, *finish, and
1869         *set_params.
1870
1871         * netrc.c: Ditto.
1872
1873         * http.c: Reformat some function definitions so that ansi2knr can
1874         read them.
1875
1876         * hash.c (struct hash_table): Use the PARAMS macro around
1877         parameters in the declaration of hash_function and test_function.
1878         (prime_size): Spell 2580823717UL and 3355070839UL as (unsigned
1879         long)0x99d43ea5 and (unsigned long)0xc7fa5177 respectively, so
1880         that pre-ANSI compilers can read them.
1881         (find_mapping): Use PARAMS when declaring EQUALS.
1882         (hash_table_put): Ditto.
1883
1884         * ftp.h: Wrap the parameters of ftp_index declaration in PARAMS.
1885
1886         * cookies.c (cookie_new): Use (unsigned long)0 instead of 0UL,
1887         which was unsupported by pre-ANSI compilers.
1888
1889         From Nelson H. F. Beebe <beebe@math.utah.edu>, for the most part.
1890
1891 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
1892
1893         * url.c (url_filename): Use compose_file_name regardless of
1894         whether opt.dirstruct is set.
1895         (mkstruct): Don't handle the query and the reencoding of DIR; that
1896         is done in compose_file_name.
1897
1898 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
1899
1900         * wget.h: Ditto for extern char *exec_name.
1901
1902         * options.h: Don't guard against OPTIONS_DEFINED_HERE -- it is
1903         perfectly legal to follow an `extern' with a non-`extern' ones,
1904         provided the types match.
1905
1906         * main.c: Don't define OPTIONS_DEFINED_HERE.
1907
1908 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
1909
1910         * progress.c (create_image): Revert to calculating ETA based on
1911         average download speed.
1912         (create_image): Don't print ETA until the download has been active
1913         for at least 3 seconds.
1914         (create_image): When ETA is not available, don't print anything.
1915         The previous version would print --:--.
1916
1917 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
1918
1919         * progress.c (bar_update): Keep updating a subinterval until it
1920         reaches or exceeds a watermark.  That way the measurement will be
1921         guaranteed to span a configurable minimum of time.  The current
1922         default is 3s in 30 100ms intervals.
1923
1924 2002-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
1925
1926         * progress.c (bar_update): Maintain an array of the time it took
1927         to perform previous 30 network reads.
1928         (create_image): Calculate the download speed and ETA based on the
1929         last 30 reads, not the entire download.
1930         (create_image): Make sure that the ETA is not changed more than
1931         once per second.
1932
1933 2002-04-09  Ian Abbott  <abbotti@mev.co.uk>
1934
1935         * mswindows.c (borland_utime): New function conditionally defined
1936         when `HACK_BCC_UTIME_BUG' is defined.  A reimplementation of
1937         `utime()' as Borland's `utime()' function is broken on Windows 9x
1938         systems.  (Original patch by Chin-yuan Kuo <sr1111111@yahoo.com.tw>.)
1939
1940 2002-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
1941
1942         * ftp.c (ftp_loop): Propagate the result of ftp_retrieve_glob.
1943
1944 2002-03-26  Ian Abbott  <abbotti@mev.co.uk>
1945
1946         * Makefile.in: Updated several dependencies for object files.
1947
1948 2002-03-20  Ian Abbott  <abbotti@mev.co.uk>
1949
1950         * mswindows.c: Include "utils.h".
1951
1952 2002-03-18  Ian Abbott  <abbotti@mev.co.uk>
1953
1954         * host.h: Don't include netdb.h on windows.
1955
1956 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1957
1958         * recur.c (retrieve_tree): Handle the case when start_url doesn't
1959         parse.
1960
1961 2002-02-19  Andreas Damm  <andreas-sourceforge@radab.org>
1962
1963         * wget.h (DO_REALLOC_FROM_ALLOCA): Multiply with sizeof(type) when
1964         calling xmalloc and memcpy.
1965
1966 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1967
1968         * host.h: Include Unix-specific includes #ifndef WINDOWS.
1969         Patch originally provided by Christian Lackas.
1970
1971 2002-02-11  Christian Lackas  <delta@lackas.net>
1972
1973         * recur.c: recurive downloading for https fixed.
1974
1975 2002-02-19  Alan Eldridge  <alane@geeksrus.net>
1976
1977         * host.h: Also include <netinet/in.h> and <sys/socket.h>.
1978
1979         * ftp-basic.c: Also include <netinet/in.h>.
1980
1981 2002-02-05  Ian Abbott  <abbotti@mev.co.uk>
1982
1983         * http.c (gethttp): when -c used, mark already fully retrieved
1984         file as successfully retrieved.
1985
1986 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1987
1988         * url.c (url_parse): Don't treat '?' as query string separator
1989         when parsing FTP URLs.
1990
1991 2002-02-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1992
1993         * html-url.c (tag_handle_meta): Don't crash on <meta
1994         http-equiv=refresh> where content is missing.
1995
1996 2002-01-31  Herold Heiko  <Heiko.Herold@previnet.it>
1997
1998         * ftp-basic.c, host.c: don't include sys/socket.h, arpa/inet.h,
1999         netdb.h on windows.
2000
2001 2002-01-30  Hrvoje Niksic  <hniksic@arsdigita.com>
2002
2003         * retr.c (retrieve_url): Remove redirection cycle detection.  This
2004         is because some sites legitimately redirect the user back to the
2005         same location, e.g. after an authorization check performed by
2006         another page.  MAX_REDIRECTIONS is still used to prevent infinite
2007         redirection loops.
2008
2009 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2010
2011         * http.c (gethttp): Wrap host name in square brackets if it
2012         contains a colon.
2013
2014 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2015
2016         * url.c (url_parse): Allow all hex digits, not only decimal ones,
2017         to form an IP address.
2018
2019 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2020
2021         * url.c (urlchr_table): Make square braces reserved, so we can
2022         parse http://[::1]/.
2023         (url_parse): Handle host in braces.
2024         (url_string): If url->host contains colons, wrap it in braces.
2025
2026 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2027
2028         * connect.c (resolve_bind_address): New function.
2029         (connect_to_one): Use it.
2030         (bindport): Ditto.
2031
2032         * init.c: Don't resolve bind-address here.
2033
2034         * host.c (wget_sockaddr_set_address): Would bug out with ADDR == NULL.
2035
2036 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2037
2038         * host.c (lookup_host): Use sizeof(ip4_address) to calculate the
2039         offset.
2040         (address_list_new): Use map_ipv4_to_ip.
2041         (wget_sockaddr_set_address): Convert ADDR to IPv4 before using it
2042         in IPv4 context.
2043
2044 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2045
2046         * source: Integrated IPv6 support.
2047         Written by Thomas Lussnig <thomas.lussnig@bewegungsmelder.de>.
2048
2049 2002-01-15  Ian Abbott  <abbotti@mev.co.uk>
2050
2051         * init.c (cmd_file): Change `\' to `/' for Windows (yes, really!)
2052         (cmd_directory): New function. Like cmd_file(), but strips
2053         trailing directory separators.
2054         (commands): Change action for "dirprefix" from `cmd_file' to
2055         `cmd_directory'.
2056
2057         * utils.c (make_directory): Allow intermediate `mkdir' calls to
2058         fail, as not all path components that do not exist should be
2059         directory components, especially under Windows.
2060
2061 2002-01-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2062
2063         * netrc.c (parse_netrc): Skip leading whitespace before testing
2064         whether the line is empty.  Empty lines still contain the line
2065         terminator.
2066
2067 2002-01-15  Hrvoje Niksic  <hniksic@arsdigita.com>
2068
2069         * gen_sslfunc.c (ssl_iread): Call select on the file descriptor
2070         only if no data is pending in SSL buffers.
2071         From tony@bluetail.com.
2072
2073 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2074
2075         * headers.c (header_get): Strip trailing whitespace from the
2076         header.
2077
2078 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2079
2080         * url.c (parse_uname): URL-decode *USER and *PASSWD.
2081
2082 2002-01-07  Ian Abbott <abbotti@mev.co.uk>
2083
2084         * url.c (uri_merge_1): Deal with "net path" relative URL (one that
2085         starts with "//").
2086
2087 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2088
2089         * http.c (gethttp): Invalidate SOCK if get_contents encountered an
2090         error.
2091
2092 2001-12-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2093
2094         * version.c: Wget 1.8.1 is released.
2095
2096 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2097
2098         * version.c: Wget 1.8.1-pre3 is released.
2099
2100 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2101
2102         * recur.c (retrieve_tree): Enqueue the canonical representation of
2103         start_url, so that the test against dl_url_file_map works.
2104
2105 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2106
2107         * log.c (logputs): Check for requested verbosity before printing
2108         anything.
2109
2110 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2111
2112         * html-url.c (tag_handle_link): Treat the "shortcut icon" link as
2113         inline.
2114
2115 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2116
2117         * recur.c (retrieve_tree): Make a copy of file obtained from
2118         dl_url_file_map because the code calls xfree(file) later.
2119
2120 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2121
2122         * recur.c (register_html): Maintain a hash table of HTML files
2123         along with the list.  Disallow duplicates.
2124         (retrieve_tree): Use downloaded_html_set to check whether the file
2125         found in dl_url_file_map is an HTML file, and descend into it if
2126         so.
2127         (convert_all_links): Don't guard against duplicates in
2128         downloaded_html_list, since they are no longer possible.
2129
2130 2001-12-18  Ian Abbott  <abbotti@mev.co.uk>
2131
2132         * recur.c (retrieve_tree): Pass on referring URL when retrieving
2133         recursed URL.
2134
2135 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2136
2137         * version.c: Wget 1.8.1-pre2 is released.
2138
2139 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2140
2141         * retr.c (sleep_between_retrievals): Simplify indentation.
2142
2143 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2144
2145         * gen_sslfunc.c (ssl_init_prng): Use random_number to get a byte
2146         of "randomness" at a time.
2147         (ssl_init_prng): Don't seed the PRNG; random_number will do that.
2148
2149         * retr.c (sleep_between_retrievals): Use it.  Make sure that the
2150         random amount averages in opt.wait.
2151         (sleep_between_retrievals): Don't seed the PRNG; random_number
2152         will do that.
2153
2154         * utils.c (random_number): New function.
2155
2156 2001-12-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2157
2158         * url.c (path_simplify): Move here from utils.c, and make static.
2159
2160 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2161
2162         * init.c (wgetrc_file_name): Print correct message when loading
2163         getenv("WGETRC") fails.
2164
2165 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2166
2167         * recur.c (register_download): Don't abort when one URL references
2168         two different files.
2169
2170 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2171
2172         * http.c (gethttp): Check for conn->scheme, not u->scheme, before
2173         calling ssl_iwrite.
2174
2175 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2176
2177         * version.c: Wget 1.8.1-pre1 is released.
2178
2179 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2180
2181         * res.c (matches): Fix broken URL in the docstring.
2182
2183 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2184
2185         * html-url.c (tag_url_attributes): Mark <embed href=...> as
2186         external.
2187
2188 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2189
2190         * url.c (get_urls_file): Cosmetic changes.
2191
2192 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2193
2194         * html-url.c (append_one_url): Resurrect warning when unable to
2195         resolve a relative link.
2196
2197 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2198
2199         * html-url.c (collect_tags_mapper): Break into several functions.
2200         (tag_url_attributes): Collect <embed href=...>.
2201
2202 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2203
2204         * host.c: New type ipv4_address.  Use it consistently instead of
2205         `unsigned char[4]' and `unsigned char *'.
2206         (pretty_print_address): Accept a `const void *', to require even
2207         less casting.
2208
2209 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2210
2211         * ftp-ls.c (ftp_parse_vms_ls): Fix obvious memory leaks.
2212
2213 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2214
2215         * main.c (main): Initialize progress after fork_to_background, so
2216         that it knows when to use dots.
2217
2218         * mswindows.c (ws_hangup): Call log_request_redirect_output.
2219
2220         * utils.c (fork_to_background): Print the PID of the child
2221         process.
2222
2223         * log.c (log_request_redirect_output): Set a flag that output
2224         redirection has been requested.  Doing anything else in a signal
2225         handler is unsafe.
2226         (check_redirect_output): New function: check whether redirection
2227         has been requested and, if so, call redirect_output().
2228         (logputs): Call check_redirect_output.
2229         (logprintf): Ditto.
2230         (debug_logprintf): Ditto.
2231         (redirect_output): Print clearer messages.
2232
2233         * main.c (redirect_output_signal): Don't call
2234         redirect_output_signal directly.  Instead, call
2235         log_request_redirect_output.
2236
2237         * utils.c (memfatal): Ditto.
2238
2239         * progress.c (display_image): Use it.
2240
2241         * log.c (log_set_save_context): New function: allow the caller to
2242         turn off saving log context lines.
2243
2244 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2245
2246         * host.c (address_list_set_faulty): Uncomment a sanity check.
2247
2248 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2249
2250         * utils.c (long_to_string): Return a pointer after where the
2251         number ends.
2252         (long_to_string): Rename to number_to_string.
2253
2254 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2255
2256         * utils.c (path_simplify): Correctly handle the unlikely case that
2257         b starts out as path + 1.
2258
2259 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2260
2261         * utils.c (path_simplify): Rewrite, with better comments, and
2262         without the use of strcpy to move overlapping blocks.
2263
2264 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2265
2266         * init.c (cmd_spec_progress): Resurrect.  Check whether VAL is a
2267         valid progress type before setting it.
2268
2269 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2270
2271         * main.c (main): Remove stray debugging message.
2272
2273 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2274
2275         * progress.c (create_image): Fix ETA padding when hours are prined.
2276
2277 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2278
2279         * version.c: Wget 1.8 is released.
2280
2281 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2282
2283         * url.c (reencode_string): Declare static.
2284
2285         * res.c (registered_specs): Declare static.
2286
2287         * progress.c (current_impl_locked): Declare static.
2288
2289         * log.c (flush_log_p): Declare static.
2290         (needs_flushing): Ditto.
2291
2292         * http.c (digest_authentication_encode): Declare static.
2293
2294         * html-url.c (init_interesting): Declare static.
2295
2296         * host.c (host_name_addresses_map): Declare static.
2297
2298         * cookies.c (find_matching_chains): Declare static.
2299
2300         * ftp-ls.c (ftp_parse_vms_ls): Warn about the memory leak
2301         indicated by lint.
2302
2303         * utils.c (path_simplify): Remove unused variable STUB_CHAR.
2304
2305         * host.c (address_list_set_faulty): Document that INDEX is
2306         currently unused.
2307
2308         * url.c (rewrite_shorthand_url): Remove unused variable PATH.
2309
2310 2001-12-08  Hrvoje Niksic  <hniksic@arsdigita.com>
2311
2312         * version.c: Wget 1.8-pre2 is released.
2313
2314 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2315
2316         * progress.c (progress_handle_sigwinch): Set up the signal again.
2317
2318         * utils.c: Include <sys/termios.h>, where Solaris defines
2319         TIOCGWINSZ.
2320
2321         * progress.c (bar_create): Don't use the last column on the screen.
2322         (create_image): Pad ETA to constant size.  Pad SIZE to nine digits
2323         only until it exceeded them.
2324
2325 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2326
2327         * version.c: Wget 1.8-pre1 is released.
2328
2329 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2330
2331         * progress.c (progress_create): Make sure that, when the output is
2332         redirected, the progress implementation gets changed to the
2333         fallback one.
2334         (bar_set_params): Set current_impl_locked to 1 when "force" is
2335         specified.
2336         (progress_create): Don't change the progress implementation if
2337         current_impl_locked is non-zero.
2338
2339         * main.c (redirect_output_signal): Call
2340         progress_schedule_redirect.
2341
2342         * progress.c (progress_schedule_redirect): New function.
2343
2344 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2345
2346         * log.c (logvprintf): Restructure to allow being called multiple
2347         times.
2348         (logprintf): Call logvprintf in a loop.
2349         (debug_logprintf): Ditto.
2350
2351 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2352
2353         * gen_sslfunc.c (ssl_init_prng): Allow the user to disable EGD by
2354         setting egd_file it to empty string.
2355
2356         * main.c (main): Change the option name from --sslegdsock to
2357         --egd-file.
2358
2359 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2360
2361         * gen_sslfunc.c (ssl_init_prng): Make the printed message
2362         translatable.
2363
2364 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2365
2366         * url.c (scheme_disable): New function.
2367
2368         * main.c (main): Call ssl_init_prng from here rather than from
2369         init_ssl, so that it has a chance to disable support for https
2370         before a URL has been resolved.
2371
2372         * gen_sslfunc.c (ssl_init_prng): Seed with rand() if all else
2373         failed.
2374         (ssl_init_prng): Disable support for https if seeding the PRNG
2375         fails.
2376
2377 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2378
2379         * utils.c (read_whole_line): Handle lines beginning with \0.
2380
2381 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
2382
2383         * recur.c (convert_all_links): Guard against duplicates in
2384         downloaded_html_files.
2385         (register_download): Don't invalidate similar-looking URLs.
2386         (match_except_index): New function.
2387
2388 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
2389
2390         * utils.c (path_simplify): Document with test cases.
2391
2392 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
2393
2394         * gen_sslfunc.c: Ditto.
2395
2396         * rbuf.c: Include <string.h>.
2397
2398 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
2399
2400         * recur.c (retrieve_tree): Check whether the URL was already
2401         downloaded before downloading it again.
2402         (descend_child_p): Renamed to download_child_p.
2403         (register_download): When one URL is downloaded to a file already
2404         "owned" by another URL, delete all references that map any URL to
2405         that file.
2406         (register_delete_file): New function.
2407         (retrieve_tree): Use it after deleting a file.
2408
2409         * url.c (url_parse): Re-canonicalize the URL also if the path is
2410         empty, so that e.g. "http://www.server.com" ->
2411         "http://www.server.com/".
2412         (lowercase_str): Use ISUPPER instead of !ISLOWER.
2413
2414         * retr.c (retrieve_url): Use the canonical URL form when calling
2415         register_download().
2416
2417 2001-12-04  Ian Abbott <abbotti@mev.co.uk>
2418
2419         * snprintf.c (dopr): Use `unsigned int' as the second argument to
2420         va_arg when casting to `unsigned short' is intended.
2421
2422 2001-12-04  Herold Heiko  <Heiko.Herold@previnet.it>
2423
2424         * gen_sslfunc.c: on windows provide ssl crypto random 
2425           initialization through RAND_screen(); could possibly
2426           be not enough for strong ssl communication (see the 
2427           relevant manual page from the openssl package).
2428
2429 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
2430
2431         * url.c (local_quote_string): Reenable quoting of question marks,
2432         but only when `--html-extension' is used.
2433
2434 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
2435
2436         * version.c: Wget 1.8-beta3 is released.
2437
2438 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
2439
2440         * snprintf.c (dopr): Cast the result of va_arg to short int and
2441         short unsigned int where these types are expected to be used.
2442
2443 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
2444
2445         * snprintf.c (dopr): Replace `short int' and `unsigned short int'
2446         with `int' when using it as the second argument to `va_arg'.
2447
2448 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
2449
2450         * host.c (address_list_new_one): New function.
2451         (lookup_host): Use it.
2452
2453 2001-12-03  Andre Majorel  <amajorel@teaser.fr>
2454
2455         * host.c (lookup_host): Don't initialize TMPSTORE directly because
2456         it's not legal C.
2457
2458 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
2459
2460         * ftp-basic.c (ftp_port): Don't return HOSTERR if we fail getting
2461         the socket data.
2462
2463         * ftp.c: Ditto.
2464
2465         * http.c: No need to declare h_errno.
2466
2467         * host.c: Declare h_errno.
2468
2469 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
2470
2471         * utils.c (file_merge): If BASE doesn't contain a slash, just
2472         return a copy of FILE.
2473
2474 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
2475
2476         * version.c: Wget 1.8-beta2 is released.
2477
2478 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2479
2480         * ftp.c (getftp): When PWD fails, assume "/".
2481
2482         * ftp-basic.c (ftp_syst): Fix indentation.
2483
2484 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2485
2486         * url.c (get_urls_file): If opt.base_href is specified, merge each
2487         URL with the base.
2488
2489 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2490
2491         * main.c (print_help): Don't document the removed `-nh'.
2492
2493 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2494
2495         * url.c (url_full_path): Document better.
2496
2497         * http.c (gethttp): Use the full path when creating digest
2498         authorization.
2499
2500 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2501
2502         * cookies.c (path_matches): Return 0 if PREFIX doesn't begin with
2503         '/'.
2504
2505 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2506
2507         * cookies.c (path_matches): FULL_PATH doesn't begin with '/', but
2508         PREFIX does.
2509
2510 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2511
2512         * cookies.c (check_domain_match): Reimplement to match Netscape's
2513         "preliminary specification" for cookies.
2514
2515 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2516
2517         * url.c (replace_attr_refresh_hack): New function.
2518         (convert_links): Call replace_attr_refresh_hack for Refresh
2519         links.  It will add the "TMOUT; URL=" junk before the link.
2520
2521         * html-url.c (collect_tags_mapper): Set ID to the ID of the
2522         "content" attribute, not "http-equiv".
2523         (collect_tags_mapper): Don't use OFFSET to hack the raw_* values;
2524         instead, store the information that this entry belongs to a
2525         "refresh" link.
2526
2527 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2528
2529         * version.c: Wget 1.8-beta1 is released.
2530
2531 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2532
2533         * recur.c (retrieve_tree): Allow -p retrievals to exceed maximum
2534         depth by more than one.
2535
2536 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
2537
2538         * retr.c (retrieve_url): Don't allow more than 20 redirections.
2539
2540 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
2541
2542         * recur.c (retrieve_tree): Skip the non-inline entries when
2543         enqueuing the children of a leaf HTML node in -p mode.
2544         (descend_url_p): Ignore opt.no_parent when in -p mode and UPOS is
2545         "inline".
2546
2547         * html-url.c (get_urls_html): Don't accept dash_p_leaf_HTML.
2548         (collect_tags_mapper): When an entry is "inline", mark it as such.
2549
2550         * recur.c (descend_url_p): Fix test when checking for
2551         acceptance/rejection rules.
2552
2553 2001-10-31 Daniel BODEA <dali@dali-designs.com>
2554
2555         * netrc.c (search_netrc): When slack_default is 0, still look for
2556         an account with matching password, just not the "default account".
2557         HTTP Authorization using .netrc should now work as expected.
2558
2559 2001-11-30  T. Bharath  <TBharath@responsenetworks.com>
2560
2561         * http.c (persistent_available_p): Call SHUTDOWN_SSL if
2562         test_socket_open fails.
2563
2564 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
2565
2566         * progress.c (display_image): Just print one CR to reset the
2567         cursor position.
2568
2569 2001-11-30  Christian Fraenkel  <c.fraenkel@gmx.net>
2570
2571         * init.c: New command `ssl_egd_sock'.
2572
2573         * main.c (main): New option `--sslegdsock'.
2574
2575         * gen_sslfunc.c (ssl_init_prng): Seed the RNG using EGD.
2576
2577 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
2578
2579         * cmpt.c (memmove): Include a simple memmove implementation.
2580
2581 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
2582
2583         * headers: Guard against header files being included twice.
2584
2585 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
2586
2587         * gen-md5.c: Use unsigned char * as the buffer argument to
2588         gen_md5_update.
2589
2590 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
2591
2592         * connect.h: Declare select_fd.
2593
2594 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
2595
2596         * recur.c (descend_url_p): When resolving no_parent, compare with
2597         start_url, not parent url.  Otherwise link from /a/b/ to /a/c/
2598         wouldn't be followed, although the download started from /a/.
2599
2600 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
2601
2602         * config.h.ms, mswindows.h: defined HAVE_ISATTY, use _isatty for
2603         MS VC; somebody with Borland compiler please check and provide
2604         patch if possible;
2605
2606         * cmpt.c: provided a usleep emulation.
2607
2608 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
2609
2610         * host.c (address_list_new): Initialize al->faulty.
2611
2612 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
2613
2614         * http.c (http_process_range): Accept the broken output of
2615         "JavaWebServer/1.1.1".
2616
2617 2001-11-28  Hrvoje Niksic  <hniksic@arsdigita.com>
2618
2619         * progress.c (dot_set_params): If PARAMS is unspecified, use
2620         dot_style, if available.
2621
2622         * init.c: Ditto.
2623
2624         * main.c (main): Resurect --dot-style.
2625
2626         * progress.c (dot_finish): Print the quantity if we're left at the
2627         beginning of a row.
2628
2629 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2630
2631         * cmpt.c (random): Removed.
2632
2633         * retr.c (sleep_between_retrievals): Use the more portable rand()
2634         instead of random().
2635
2636 2001-11-27  Ian Abbott <abbotti@mev.co.uk>
2637
2638         * retr.c (retrieve_from_file): Initialize `new_file' to NULL to
2639         prevent seg fault.
2640
2641 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2642
2643         * connect.c (connect_to_many): Use address_list_set_faulty to
2644         prevent the faulty address from being reused.
2645
2646         * host.c (address_list_set_faulty): New function.
2647         (address_list_get_bounds): New function, instead of
2648         address_list_count.
2649
2650 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2651
2652         * url.c (convert_links): Don't translate %d-%d.
2653
2654         * main.c (print_help): Remove stray HAVE_RANDOM code.
2655
2656 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2657
2658         * ftp.c (getftp): Improve output after sending PASV.  Don't
2659         attempt to "look up" the IP address we already know; call
2660         connect_to_one directly.
2661
2662 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2663
2664         * progress.c: Change the default progress implementation to "bar".
2665
2666 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2667
2668         * progress.c (bar_create): Print two newlines.
2669
2670 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2671
2672         * cmpt.c (random): New function, a simple-minded replacement for
2673         random() on systems that don't have it.
2674
2675 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2676
2677         * config.h.in: Put a HAVE_USLEEP stub.
2678
2679         * cmpt.c (usleep): Replacement implementation of usleep using
2680         select.
2681
2682         * init.c: New option init_rate.
2683
2684         * main.c (main): New option --limit-rate.
2685
2686         * retr.c (limit_bandwidth): New function.
2687         (get_contents): Call it to limit the bandwidth used when
2688         downloading.
2689
2690         * progress.c (dot_update): Would print the wrong download speed on
2691         rows other than the first one when the download was continued.
2692         (dot_finish): Ditto.
2693
2694 2001-11-26  Ian Abbott <abbotti@mev.co.uk>
2695
2696         * http.c (gethttp): fix undeclared variable 'err' when compiled
2697         with HAVE_SSL.
2698
2699 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2700
2701         * progress.c: Don't allocate new timers; use the timing data
2702         propagated from the caller.
2703
2704         * retr.c (get_contents): Allocate and use a timer.
2705
2706 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2707
2708         * http.c (last_host_ip): Made into an address_list.
2709         (invalidate_persistent): Release pc_last_host_ip.
2710         (register_persistent): Use lookup_host.
2711         (persistent_available_p): Check for equality of hosts using
2712         address_list_match_all.  Call address_list_release.
2713         (http_cleanup): New function.
2714
2715         * ftp.c (getftp): Use lookup_host and connect_to_many.
2716
2717         * http.c (gethttp): Use lookup_host and connect_to_many.
2718
2719         * connect.c (make_connection): Removed.
2720         (connect_to_one): New function.
2721         (connect_to_many): Ditto.
2722         (set_connection_host_name): Ditto.
2723
2724         * host.c (lookup_host): New function; new return type.
2725         (address_list_new): New function.
2726         (address_list_count): Ditto.
2727         (address_list_copy_one): Ditto.
2728         (address_list_delete): Ditto.
2729         (address_list_release): Ditto.
2730         (pretty_print_address): Ditto.
2731
2732 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2733
2734         * recur.c (retrieve_tree): In case of followed redirection,
2735         blacklist the pre-redirection URL.
2736
2737 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2738
2739         * recur.c (descend_redirect_p): New function.
2740         (retrieve_tree): Make sure redirections are not blindly followed.
2741
2742 2001-11-04  Alan Eldridge  <alane@geeksrus.net>
2743
2744         * config.h.in: added HAVE_RANDOM.
2745
2746         * options.h: added random_wait to struct options.
2747
2748         * main.c (print_help [HAVE_RANDOM], main): added arg parsing, help
2749         for --random-wait.
2750
2751         * retr.c (sleep_between_retrievals) [HAVE_RANDOM]: added
2752         implementation of random wait times.
2753
2754         * init.c (commands): added "randomwait" keyword.
2755
2756 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2757
2758         * recur.c (descend_url_p): Be more conservative with blacklisting
2759         URLs.
2760         (convert_all_links): Print how many files have been converted, and
2761         how long it took.
2762
2763         * progress.c (create_image): Place the number of downloaded bytes
2764         right after the progress bar.
2765
2766         * utils.c (suffix): Return a pointer into the string.
2767
2768 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2769
2770         * url.c (convert_links): Handle CO_NULLIFY_BASE.
2771
2772         * recur.c (retrieve_tree): Ignore download-ignorable children.
2773         (convert_all_links): Specify CO_NULLIFY_BASE when link_base_p.
2774
2775         * html-url.c (handle_link): Return the newly created urlpos.
2776         (collect_tags_mapper): When dealing with BASE, store the base
2777         reference and mark it as download-ignorable.
2778
2779 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2780
2781         * url.c (convert_links): Attempt to quote '?' as "%3F" when
2782         linking to local files.  Given up on the attempt, as it breaks
2783         local browsing.
2784
2785 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2786
2787         * main.c (private_initialize): Removed.
2788         (main): Don't call private_initialize.
2789
2790         * http.c: Call lookup_host.
2791
2792         * host.c (host_init): Removed.
2793         (add_host_to_cache): Initialize host_name_address_map here, on
2794         demand.
2795         (ngethostbyname): Commented out.
2796
2797         * connect.c (make_connection): Remove dead code; use lookup_host.
2798
2799         * host.c (store_hostaddress): Renamed to lookup_host and reversed
2800         the args.
2801         Removed host_address_name_map and host_slave_master_map.
2802
2803 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2804
2805         * progress.c (dot_create): Align the "[ skipping ... ]" string
2806         with the dots.
2807
2808         * retr.c (rate): Split into two functions: calc_rate and
2809         retr_rate.
2810
2811         * progress.c (create_image): Draw a dummy progress bar even when
2812         total size is unknown.
2813         (display_image): Place the text cursor at the end of the "image".
2814
2815 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2816
2817         * url.c (reencode_string): Use unsigned char, not char --
2818         otherwise the hex digits come out wrong for 8-bit chars such as
2819         nbsp.
2820         (lowercase_str): New function.
2821         (url_parse): Canonicalize u->url if needed.
2822         (get_urls_file): Parse each URL, and return only the valid ones.
2823         (free_urlpos): Call url_free.
2824         (mkstruct): Add :port if the port is non-standard.
2825         (mkstruct): Append the query string to the file name, if any.
2826         (urlpath_length): Use strpbrk_or_eos.
2827         (uri_merge_1): Handle the cases where LINK is an empty string,
2828         where LINK consists only of query, and where LINK consists only of
2829         fragment.
2830         (convert_links): Count and report both kinds of conversion.
2831         (downloaded_file): Use a hash table, not a list.
2832         (downloaded_files_free): Free the hash table.
2833
2834         * retr.c (retrieve_from_file): Ditto.
2835
2836         * main.c (main): Call either retrieve_url or retrieve_tree
2837         for each URL, not both.
2838
2839         * retr.c (register_all_redirections): New function.
2840         (register_redirections_mapper): Ditto.
2841         (retrieve_url): Register the redirections.
2842         (retrieve_url): Make the string "Error parsing proxy ..." 
2843         translatable.
2844
2845         * res.c (add_path): Strip leading slash from robots.txt paths so
2846         that the path representations are "compatible".
2847         (free_specs): Free each individual path, too.
2848         (res_cleanup): New function.
2849         (cleanup_hash_table_mapper): Ditto.
2850
2851         * recur.c (url_queue_new): New function.
2852         (url_queue_delete): Ditto.
2853         (url_enqueue): Ditto.
2854         (url_dequeue): Ditto.
2855         (retrieve_tree): New function, replacement for recursive_retrieve.
2856         (descend_url_p): New function.
2857         (register_redirection): New function.
2858
2859         * progress.c (create_image): Cosmetic changes.
2860
2861         * init.c (cleanup): Do all those complex cleanups only if
2862         DEBUG_MALLOC is defined.
2863
2864         * main.c: Removed --simple-check and the corresponding
2865         simple_host_check in init.c.
2866
2867         * html-url.c (handle_link): Parse the URL here, and propagate the
2868         parsed URL to the caller, who would otherwise have to parse it
2869         again.
2870
2871         * host.c (xstrdup_lower): Moved to utils.c.
2872         (realhost): Removed.
2873         (same_host): Ditto.
2874
2875 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2876
2877         * utils.c (path_simplify): Preserver the (non-)existence of
2878         leading slash.  Return non-zero if changes were made.
2879
2880 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2881
2882         * progress.c (bar_update): Don't modify bp->total_length if it is
2883         zero.
2884
2885 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2886
2887         * retr.c (retrieve_url): When the redirection URL doesn't parse,
2888         print the correct error message rather than "UNKNOWN".
2889
2890 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2891
2892         * progress.c (bar_finish): If the timer didn't record any time
2893         since the download beginning, fake 1ms.
2894
2895 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2896
2897         * recur.c (recursive_retrieve): Fix typo.
2898
2899 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
2900
2901         * progress.c (create_image): Don't translate "%ld ".
2902
2903 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
2904
2905         * progress.c (bar_set_params): Allow the user to force the use of
2906         the bar.
2907
2908 2001-11-23  Lemble Gregory  <gregory.lemble@st.com>
2909
2910         * gen_sslfunc.c (ssl_init_prng): New function; seed the SSL RNG.
2911
2912 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
2913
2914         * progress.c: Renamed dp_* functions to dot_* for greater clarity
2915         and consistency with bar_*.
2916         (print_download_speed): Get rid of the unneeded '@' character.
2917         (create_image): Fix download rate geometry.
2918
2919         * progress.c (print_elapsed): Remove spurious space.
2920         (print_elapsed): Renamed to print_download_speed, since that's
2921         what it does.
2922
2923 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
2924
2925         * progress.c (bar_update): If the downloaded amount becomes larger
2926         than the expected amount, adjust the expected amount accordingly.
2927
2928 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
2929
2930         * utils.c (determine_screen_width): New function.
2931
2932         * main.c (main): New option `--progress=TYPE'.
2933         (main): Implement compatibility with the old option `--dot-style'.
2934
2935         * init.c: Removed cmd_spec_dotstyle -- that logic is now in
2936         dp_set_params.
2937         (cmd_spec_progress): New function.
2938
2939         * retr.c (get_contents): Use the progress_* functions instead of
2940         the old show_progress().
2941         (show_progress): Removed.
2942         (rate): Print "xxxx.xx K/s" instead of "KB/s".  Ditto for MB/s,
2943         etc.
2944
2945         * progress.c (set_progress_implementation): New function.
2946         (valid_progress_implementation_p): Ditto.
2947         (progress_create): Ditto.
2948         (progress_update): Ditto.
2949         (progress_finish): Ditto.
2950         (dp_create): Ditto.
2951         (dp_update): Ditto.
2952         (dp_finish): Ditto.
2953         (dp_set_params): Ditto.
2954         (print_elapsed): Ditto.
2955
2956 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
2957
2958         * retr.c (show_progress): Use it.
2959
2960         * log.c (log_set_flush): New function.
2961
2962 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
2963
2964         * utils.c (path_simplify): Don't remove trailing slashes.
2965
2966         * ftp.c (ftp_get_listing): Use it.
2967
2968         * utils.c (file_merge): New function.
2969
2970         * url.c (opt_url): Removed.
2971
2972         * recur.c (recursive_retrieve): Inline "opt_url" logic.
2973
2974         * main.c (main): Use xfree(), not free().
2975
2976         * url.c (rewrite_url_maybe): Renamed to rewrite_shorthand_url.
2977
2978         * ftp.c (ccon): Move `ccon' typedef here, since it's only used
2979         internally.
2980
2981         * config.h.in: Include a stub for HAVE_STRPBRK.
2982
2983         * cmpt.c (strpbrk): Include a replacement for systems without
2984         strpbrk().
2985
2986         * ftp.c: Use url_set_dir and url_set_file when modifying the URL.
2987
2988         * url.c (url_set_dir): New function.
2989         (url_set_file): Ditto.
2990
2991         * ftp-basic.c (ftp_process_type): Process FTP type here; the URL
2992         parser makes the URL "params" available, so we can do that in this
2993         function.
2994
2995         * retr.c: Ditto.
2996
2997         * ftp.c: Ditto; pass the local file information in `ccon'.
2998
2999         * http.c: Get rid of the ugly kludge that had URL being replaced
3000         with the proxy URL when proxy retrieval was requested.  Use a
3001         separate parameter to http_loop and gethttp for the proxy URL.
3002
3003         * http.c: Changed to reflect the fact that local file, proxy, and
3004         referer information are no longer stored in struct url.  The local
3005         file information is passed in `struct hstat' now.
3006
3007         * url.c: Reworked URL parsing to be more regular.  Reencode the
3008         URL using reencode_string.
3009         Removed non-URL-related information from struct url.  This
3010         includes fields `proxy', `local', and `referer'.
3011
3012 2001-11-22  Jochen Hein  <jochen@jochen.org>
3013
3014         * main.c (main): Split the copyright notice for easier
3015         translation.
3016
3017 2001-08-21  Dave Turner <dct25@hermes.cam.ac.uk>
3018
3019         * ftp-basic.c (ftp_size): New function to send non-standard SIZE
3020           command to server to request file size.
3021         * ftp.h (ftp_size): Export it.
3022         * ftp.c (getftp): Use new ftp_size function if restoring
3023           transfer of a file with unknown size.
3024
3025 2001-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
3026
3027         * url.c (parseurl): Don't depend on the now-obsolete TYPE.
3028
3029 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3030
3031         * url.c (getproxy): Handle URL shorthands.
3032
3033 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3034
3035         * main.c: Remove --wait / --waitretry backwards compatibility
3036         code.
3037         
3038 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3039
3040         * main.c (main): Use it.
3041
3042         * url.c (rewrite_url_maybe): New function.
3043
3044 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3045
3046         * url.c: Clean up handling of URL schemes.
3047
3048 2001-05-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3049
3050         * url.c: Get rid of `protostrings'.
3051         (skip_proto): Don't use protostrings.
3052         (has_proto): Ditto.
3053
3054 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3055
3056         * Makefile.in: Conditionally compile getopt.o.
3057
3058 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3059
3060         * md5.h: Renamed to gnu-md5.h.
3061
3062         * md5.c: Renamed to gnu-md5.c.
3063
3064         * http.c: Ditto.
3065
3066         * ftp-opie.c: Use the new macros.
3067
3068         * sysdep.h: Define md5-related macros.
3069
3070         * config.h.in: Define HAVE_SOLARIS_MD5 or HAVE_BUILTIN_MD5
3071         depending on which md5 implementation is used.
3072
3073 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3074
3075         * res.c (res_register_specs): Initialize OLD and HP_OLD to appease
3076         the compiler.
3077
3078 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3079
3080         * http.c (gethttp): Print the whole response line when printing
3081         headers is requested.
3082
3083 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3084
3085         * res.c: New file.  Implement all RES-related code here.
3086
3087 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3088
3089         * version.c: Wget 1.7.1 is released.
3090
3091 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
3092
3093         * headers.c (header_extract_number): Ignore trailing whitespace.
3094
3095 2001-08-24  Ian Abbott  <abbotti@mev.co.uk>
3096
3097         * html-url.c (collect_tags_mapper): Fix bug converting links
3098         with -k option for tags with multiple link attributes by
3099         handling links in the order they appear.
3100
3101 2001-08-15  Ian Abbott  <abbotti@mev.co.uk>
3102
3103         * ftp.c (ftp_loop_internal): Avoid a potential buffer overflow in
3104           the call to the 'rate' function by moving it past the error
3105           checking for the 'getftp' function return value.
3106
3107 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
3108
3109         * html-parse.c (advance_declaration): Use 0x22 instead of '"' or
3110         '\"'.  Different compilers' assert macros are broken in different
3111         ways.
3112
3113 2001-09-29  Christian Fraenkel  <c.fraenkel@gmx.net>
3114
3115         * http.c (gethttp): print debug output for errors occuring during
3116         the ssl handshake.
3117
3118 2001-11-16  Chris Seawood  <cls@seawood.org>
3119
3120         * init.c: Ditto.
3121
3122         * host.c: Ditto.
3123
3124         * connect.c: Ditto.
3125
3126         * sysdep.h: Support compilation under BEOS.
3127
3128 2001-06-08  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
3129
3130         * url.c (url_equal): Fix a memory leak when parseurl returns an
3131         error on the second URL. Also, since url_equal is not used at the
3132         moment, do not compile it.
3133
3134         * url.h: Ditto for the prototype of url_equal.
3135
3136 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
3137
3138         * html-parse.c (map_html_tags): Support XML-style empty tags.
3139
3140 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3141
3142         * wget.h (DO_REALLOC_FROM_ALLOCA): Check for do_realloc_newsize in
3143         loop condition because we're no longer setting SIZEVAR here.
3144
3145 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3146
3147         * wget.h (DO_REALLOC_FROM_ALLOCA): Set SIZEVAR after the memcpy()
3148         call because it needs the old value.
3149
3150 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3151
3152         * cookies.c (ATTR_NAME_CHAR): Allow almost any character to be in
3153         an attribute name.
3154
3155 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3156
3157         * url.c (url_filename): Make sure that slashes that sneak in to
3158         u->file via query string get protected.
3159         (file_name_protect_query_string): New function.
3160
3161 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3162
3163         * recur.c (recursive_retrieve): Also check undesirable_urls with
3164         canonicalized URL.
3165
3166 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3167
3168         * http.c (gethttp): Search `.netrc' with real host, not the proxy
3169         one.
3170
3171 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3172
3173         * sysdep.h (MAP_FAILED): Provide MAP_FAILED for systems that don't
3174         define it.
3175
3176 2001-06-09  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3177
3178         * ftp.h: Provide correct prototype for ftp_parse_ls().
3179
3180 2001-06-04  Hrvoje Niksic  <hniksic@arsdigita.com>
3181
3182         * version.c: Wget 1.7 is released.
3183
3184 2001-06-03  Karl Eichwalder  <ke@suse.de>
3185
3186         * ftp-ls.c (ftp_parse_ls): Fix typo.
3187
3188 2001-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3189
3190         * all: Update copyright information.
3191
3192 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3193
3194         * http.c (gethttp): Indicate that the continued download failed
3195         for *this* file.
3196
3197 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3198
3199         * version.c: Wget 1.7-pre1 is released.
3200
3201 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3202
3203         * version.c: Updated version to 1.7-pre1.
3204
3205 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3206
3207         * gen_sslfunc.c: Don't include <sys/time.h> directly.
3208
3209 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3210
3211         * http.c (gethttp): Use real URL data for cookies, not the proxy
3212         stuff.
3213
3214 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3215
3216         * main.c (print_help): Document `--no-http-keep-alive'.
3217
3218         * utils.c (numdigit): Handle negative numbers *correctly*.
3219
3220         * hash.c (make_nocase_string_hash_table): Use term "nocase" rather
3221         than the confusing "unsigned".
3222
3223         * utils.c (string_set_contains): Renamed from string_set_exists.
3224
3225         * hash.c (hash_table_contains): Renamed from hash_table_exists.
3226
3227         * cookies.c: Move case-insensitive hash tables to hash.c.
3228
3229 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3230
3231         * http.c (gethttp): Before concluding that the file is already
3232         fully retrieved, make sure that the file existed and `Range' was
3233         actually requested.
3234
3235 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3236
3237         * cookies.c (eliminate_dups): New function.
3238         (build_cookies_request): Use it.
3239         (build_cookies_request): Set chain_store_size after reallocating
3240         all_chains.
3241         (check_domain_match): Annotated for easier future debugging.
3242         (store_cookie): In the debug message, print whether the cookie is
3243         permanent.
3244
3245 2001-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3246
3247         * http.c (http_loop): Reset no_truncate before deciding whether to
3248         set it.
3249         (gethttp): Further clarify "-c conflicts with existing file" error
3250         message, based on input from Herold Heiko.
3251
3252 2001-05-07  Hrvoje Niksic  <hniksic@arsdigita.com>
3253
3254         * http.c (http_loop): If restval is set, set no_truncate to 1
3255         unconditionally.
3256
3257 2001-05-02  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3258
3259         * ftp-ls.c (ftp_parse_winnt_ls): Assure months are being correctly
3260         converted. Pointed out by <Stefan.Weil@de.heidelberg.com>.
3261         (ftp_parse_vms_ls): Ditto.
3262
3263 2001-04-30  Hrvoje Niksic  <hniksic@arsdigita.com>
3264
3265         * init.c (cmd_address): Zero SIN before using it; apparently
3266         needed on *BSD.
3267
3268 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3269
3270         * ftp.c (ftp_loop_internal): Don't set NO_TRUNCATE if the file is
3271         empty.
3272
3273 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3274
3275         * main.c (main): Make `--cookies' respect its argument.
3276
3277 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
3278
3279         * main.c (main): Removed undocumented option `--email-address'.
3280
3281         * netrc.c: Use the latest read_whole_line.
3282
3283         * init.c (defaults): Set opt.ftp_pass to "-wget@".
3284
3285         * mswindows.c (pwd_cuserid): Ditto.
3286
3287         * utils.c (pwd_cuserid): Removed.
3288
3289         * host.c (ftp_getaddress): Removed.
3290
3291 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
3292
3293         (http_loop): Allocate space for filename_plus_orig_suffix with
3294         alloca; this is more efficient and removes the need to free it
3295         before each and every return.
3296
3297 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
3298
3299         * http.c (gethttp): Return RETRUNNEEDED when the retrieval is
3300         unneeded because the file is already there and fully downloaded,
3301         and -c is specified.
3302         (http_loop): Handle RETRUNNEEDED.
3303
3304         * wget.h (uerr_t): New value RETRUNNEEDED.
3305
3306         * http.c (http_loop): Set no_truncate for files that both exist
3307         and are non-empty.
3308         (gethttp): Consider the download finished when restval >= contlen,
3309         not only when restval==contlen.
3310         (gethttp): Handle redirection before giving up due to -c.
3311         (gethttp): Clarify error message which explains that -c will not
3312         truncate the file.
3313         (gethttp): When returning CONTNOTSUPPORTED, don't forget to free
3314         the stuff that needs freeing and release the socket.
3315
3316 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3317
3318         * main.c (print_help): Wget booleans accept "off", not "no".
3319
3320 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3321
3322         * http.c (http_loop): If allow_cache is zero, always disable
3323         caching, not only when retrieving through proxy.
3324
3325         * init.c: Ditto.
3326
3327         * options.h (struct options): Rename proxy_cache to allow_cache.
3328
3329 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3330
3331         * http.c (mktime_from_utc): Improve documentation.
3332         (http_atotm): Put format strings into a separate array.
3333
3334 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3335
3336         * safe-ctype.h: Instead of throwing #error when isalpha is
3337         defined, redefine it to something that will throw a compile-time
3338         error if actually *used*.  Do the same for the rest of the
3339         standard C macros.
3340
3341 2001-04-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3342
3343         * url.c (getproxy): Ignore empty proxy vars.
3344
3345 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3346
3347         * http.c (http_loop): Would load cookies every time.
3348
3349         * cookies.c (load_cookies): Handle cookies whose values contain
3350         embedded spaces.
3351
3352 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3353
3354         * utils.c: Define each DIGITS_* in one line.
3355
3356 2001-04-25  Roger L. Beeman  <beeman@cisco.com>
3357
3358         * http.c (http_atotm): Initialize t.tm_isdst to 0.
3359         (mktime_from_utc): Prevent mktime() from having discontinuities at
3360         DST transition points.
3361
3362 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3363
3364         * html-url.c (get_urls_html): Fix documentation.
3365
3366 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3367
3368         * url.c (UNSAFE_CHAR): Reimplement using a static table.
3369         (url_init): Removed.
3370         (init_unsafe_char_table): Removed.
3371
3372 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3373
3374         * snprintf.c (dopr): Replace ISDIGIT with '0' <= ch && ch <= '9'.
3375
3376 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3377
3378         * utils.c: Document timer functions.
3379
3380         * retr.c (rate): Use it.
3381         (rate): Print in GB/s if transfer rate exceeds 1 GB/s.
3382
3383         * utils.c (wtimer_granularity): New function.
3384
3385 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3386
3387         * retr.c (show_progress): Ditto.
3388
3389         * ftp.c (getftp): Ditto.
3390
3391         * http.c (gethttp): Use new timer functions.
3392
3393         * utils.c (wtimer_allocate): New function.
3394         (wtimer_new): Ditto.
3395         (wtimer_delete): Ditto.
3396         (wtimer_reset): Ditto.
3397         (wtimer_elapsed): Ditto.
3398
3399 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3400
3401         * utils.c (long_to_string): New, faster version.  Favors smaller
3402         numbers; much of the calculation is now done at compile-time.
3403
3404 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3405
3406         * utils.c (numdigit): Handle negative numbers.
3407
3408 2001-04-23  Hrvoje Niksic  <hniksic@arsdigita.com>
3409
3410         * retr.c (show_progress): Print the download rate even when the
3411         percentages are not available.
3412
3413 2001-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
3414
3415         * ftp.c (getftp): Adjust expected_bytes if the length is
3416         authoritative.
3417
3418 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3419
3420         * url.c: Don't declare `construct'.
3421
3422         * hash.c (grow_hash_table): Speed up rehashing; inline storing of
3423         mappings to new locations.
3424         (hash_table_new): Make resize_threshold a field in the hash table,
3425         so we don't have to recalculate it in each hash_table_put.
3426         (grow_hash_table): Update resize_threshold.
3427         (MAX): Remove unused macro.
3428         (prime_size): Made static.
3429
3430 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3431
3432         * retr.c (retrieve_url): Call uri_merge, not url_concat.
3433
3434         * html-url.c (collect_tags_mapper): Call uri_merge, not
3435         url_concat.
3436
3437         * url.c (mkstruct): Use encode_string instead of xstrdup followed
3438         by URL_CLEANSE.
3439         (path_simplify_with_kludge): Deleted.
3440         (contains_unsafe): Deleted.
3441         (construct): Renamed to uri_merge_1.
3442         (url_concat): Renamed to uri_merge.
3443
3444 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3445
3446         * url.c (str_url): Use encode_string instead of the unnecessary
3447         CLEANDUP.
3448         (encode_string_maybe): New function, returns input string if no
3449         encoding is needed.
3450         (encode_string): Call encode_string_maybe to do the dirty work,
3451         xstrdup if no work needed.
3452
3453 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3454
3455         * wget.h (XDIGIT_TO_xchar): Define here.
3456
3457         * url.c (decode_string): Use new name.
3458         (encode_string): Ditto.
3459
3460         * http.c (XDIGIT_TO_xchar): Rename HEXD2asc to XDIGIT_TO_xchar.
3461         (dump_hash): Use new name.
3462
3463         * wget.h: Rename ASC2HEXD and HEXD2ASC to XCHAR_TO_XDIGIT and
3464         XDIGIT_TO_XCHAR respectively.
3465
3466 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3467
3468         * init.c: Include cookies.h.
3469
3470         * cookies.h: Declare cookies_cleanup.
3471
3472         * cookies.c (check_domain_match): Remove unused variable.
3473         (save_cookies): Remove extraneous argument from debug statement.
3474
3475         * host.c (same_host): Don't call skip_url.
3476
3477         * url.c (skip_url): Removed.  Removed its calls from various
3478         functions in url.c.
3479
3480 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3481
3482         * cookies.c (unsigned_string_hash): Use the new code in
3483         string_hash as reference.
3484
3485         * hash.c (hash_table_map): Allow deletion and change of the
3486         element processed by MAPFUN.
3487         (string_hash): Use the function from glib.
3488
3489 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3490
3491         * config.h.in: Include #undef stub.
3492
3493         * hash.c (hash_table_remove): Rewrite to actually clear deleted
3494         entries instead of just marking them as deleted.
3495
3496 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3497
3498         * hash.h: Declare hash_table_get_pair and hash_table_count.
3499
3500 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3501
3502         * cookies.c: Declare http_atotm.
3503
3504 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3505
3506         * ftp-ls.c (ftp_parse_unix_ls): Use octal constants for
3507         permissions.  A compiler that doesn't accept octal constants is
3508         seriously broken and shouldn't be used -- octal constants were
3509         present in K&R C!
3510
3511 2001-01-20  Karl Eichwalder  <ke@suse.de>
3512
3513         * Makefile.in: Provide and use DESTDIR according to the Coding
3514         Standards.
3515
3516 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3517
3518         * ftp-ls.c (ftp_parse_vms_ls): Make seconds optional in time
3519         specification.
3520
3521 2001-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3522
3523         * url.c (parseurl): Don't strip trailing slash when u->dir is "/"
3524         because that strips the *leading* slash, thus forcing relative
3525         FTP retrieval.
3526
3527 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3528
3529         * ftp.c (getftp): Convert initial FTP directory from VMS to UNIX
3530         notation for VMS servers. 
3531         (ftp_retrieve_dirs): Do not prepend '/' to f->name when
3532         odir is an empty string.
3533
3534 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3535
3536         * ftp-ls.c (ftp_parse_winnt_ls): Made the fix for AM/PM more
3537         effective. Suggested by Edward J. Sabol.
3538
3539 2001-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3540
3541         * cookies.c (build_cookies_request): Use and sort cookies from all
3542         matching domains.
3543         (build_cookies_request): Check for duplicates before generating
3544         the `Cookies' header.
3545
3546         * main.c (main): Don't load cookies here.
3547         (main): Make loadcookies and savecookies call the correct command.
3548
3549         * http.c (http_loop): Load cookies on-demand.
3550
3551 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3552
3553         * http.c (gethttp): Fix indentation of SSL ifdef.
3554
3555 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3556
3557         * ftp.c (ftp_retrieve_dirs): Don't forcibly prepend "/" to u->dir;
3558         that hack is no longer necessary.
3559         (getftp): Prepend initial directory to *non*-absolute u->dir's.
3560
3561 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3562
3563         * init.c (cmd_file): New function.
3564         (enable_tilde_expansion): New variable.
3565         (run_wgetrc): Use it.
3566         (cmd_file): Use it.
3567
3568 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3569
3570         * init.c: Include cookie-related options.
3571
3572         * main.c (main): Include cookie-specific options.
3573         (main): Load cookies before download is finished.
3574         (main): Save cookies when done.
3575
3576         * http.c (gethttp): Process the `Set-Cookie' header.
3577         (gethttp): Include cookies in the response.
3578
3579         * cookies.c: New file.
3580
3581 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3582
3583         * utils.c (datetime_str): New function.
3584
3585 2001-04-08  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3586
3587         * ftp-ls.c (ftp_parse_winnt_ls): The AM/PM change did assume
3588         12:01PM == 00:01, which was obviously wrong. Taken care of this
3589         anomaly.
3590
3591         * ChangeLog: Removed an excess conflict marker. Reformatted the
3592         entry by Philipp Thomas from 2001-03-09.
3593
3594         * ftp-ls.c (ftp_parse_winnt_ls): Ensure that adjusted PM hours lay
3595         between 0 and 23. Elminate unused variable `sec'.
3596
3597 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3598
3599         * hash.c (hash_table_count): New function.
3600
3601 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3602
3603         * utils.c (read_file): Cast MAP_FAILED to char *.  Enforced by
3604         Digital Unix cc.
3605
3606 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3607
3608         * config.h.in: Oops, do the namespace tweaks only on systems we
3609         know about.
3610
3611 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3612
3613         * hash.c: Include <string.h>.
3614
3615 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3616
3617         * config.h.in: Define "compilation environment" options that work
3618         under Linux and Solaris.  To be reviewed on other OS'es.
3619
3620 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3621
3622         * http.c (gethttp): Prepend literal newline with `\n\'.
3623
3624 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3625
3626         * sysdep.h: Don't define VERY_LONG_FORMAT.
3627
3628         * utils.c (very_long_to_string): New function.
3629         (legible_very_long): Use it; don't use VERY_LONG_FORMAT.
3630
3631 2001-04-04  Christian Fraenkel  <christian.fraenkel@gmx.net>
3632
3633         * url.c (parse_uname): Would run past the end of the string if the
3634         username was present, but the URL did not contain a slash, e.g.
3635         http://foo:bar@myhost.
3636
3637 2001-04-03  KOJIMA Hajime  <kjm@rins.ryukoku.ac.jp>
3638
3639         * http.c (http_atotm): Use %A instead of %a to match full
3640         weekday.  (On most systems there is no difference.)
3641
3642 2001-04-03  Paul Bludov  <paul@ozero.net>
3643
3644         * mswindows.c (sleep): Use SleepEx() instead of Sleep().
3645         (ws_changetitle): Use alloca() instead of malloc() to avoid memory
3646         leak.
3647         (ws_mypath): Use GetModuleFileName instead of argv[0].
3648         (ws_startup): Use data.wVersion for comparison.
3649
3650 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3651
3652         * http.c (http_loop): Ditto.
3653
3654         * ftp.c (ftp_loop_internal): Made the check whether to continue
3655         retrieval `-O'-friendly.
3656
3657 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3658
3659         * netrc.c (parse_netrc): Don't trim the line endings explicitly;
3660         they will be handled as whitespace.
3661         (parse_netrc): Correctly handle lines that end with whitespace.
3662
3663 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3664
3665         * retr.c (retrieve_url): New variable global_download_count used
3666         to identify first retrieval.
3667
3668         * ftp.c (getftp): Ditto.
3669
3670         * http.c (gethttp): Rewind opt.dfp only on first retrieval.
3671
3672 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3673
3674         * init.c (cmd_address): Heap-allocate the address that gets stored
3675         to CLOSURE.  Old code would simply assign an address on the stack.
3676
3677 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
3678
3679         * ftp.c (ftp_get_listing): Propagate error status.
3680         (ftp_retrieve_glob): Use it.
3681         (ftp_loop): Ditto.
3682
3683 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
3684
3685         * main.c (main): Add -C to the string that is the third arg to
3686         getopt_long().
3687
3688 2001-04-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3689
3690         * ftp.c (getftp): Don't start the download from scratch if `-c'
3691         was specified, but the file is already fully downloaded.
3692
3693         * http.c (gethttp): Don't truncate a pre-existing file if `-c' was
3694         specified and the server doesn't support continued download.
3695         (gethttp): Don't start the download from scratch if `-c' was
3696         specified, but the file is already fully downloaded.
3697
3698 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
3699
3700         (recursive_retrieve): Don't clear the hash tables at this point at
3701         all; it interferes with the normal operation of register_download.
3702
3703 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
3704
3705         * recur.c (recursive_retrieve): Clear the hash tables only when
3706         they are defined.
3707
3708 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
3709
3710         * http.c (gethttp): Make sure the socket is closed with
3711         CLOSE_INVALIDATE before we have drained the body.
3712
3713 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
3714
3715         * retr.c (retrieve_url): Call register_download() for downloaded
3716         files and register_html() for downloaded HTML files.
3717
3718         * recur.c (register_download): New function; register here that a
3719         file has been downloaded, rather than in recursive_retrieve().
3720         (register_html): New function; enqueue the location of HTML files
3721         here rather than in recursive_retrieve().
3722
3723 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
3724
3725         * main.c (print_help): Use multiple fputs instead of a single ugly
3726         printf().
3727         (main): Consistently assign numbers >128 to options without a
3728         corresponding character.
3729
3730 2001-03-09  Philipp Thomas  <pthomas@suse.de>
3731
3732         * safe-ctype.h: New file. Locale independent ctype.h replacement
3733         taken from libiberty.
3734
3735         * safe-ctype.c: New file. Tables for above.
3736
3737         * Makefile.in: Add safe-ctype$o to OBJS.  Add dependencies for
3738         safe-ctype$o.
3739
3740         * cmpt.c: Remove include of ctype.h. Use ISSPACE instead of
3741         isspace.
3742
3743         * ftp-basic.c: Don't include ctype.h.
3744
3745         * ftp-ls.c: Likewise.
3746
3747         * ftp.c: Likewise.
3748
3749         * headers.c: Likewise.
3750
3751         * host.c: Likewise.
3752
3753         * html-parse.c: Likewise.
3754
3755         * html-url.c: Likewise.
3756
3757         * http.c: Likewise.
3758
3759         * init.c: Likewise.
3760
3761         * main.c: Likewise. Set LC_CTYPE along with LC_MESSAGES.
3762
3763         * netrc.c: Likewise.
3764
3765         * recur.c: Likewise.
3766
3767         * retr.c: Likewise.
3768
3769         * snprintf.c: Replace ctype.h with safe-ctype.h. Use ISDIGIT
3770         instead of isdigit.
3771
3772         * sysdep.h: Remove defines of ctype macros as they aren't needed
3773         for safe-ctype-h.
3774
3775         * url.c: Don't include ctype.h.
3776
3777         * utils.c: Likewise.
3778
3779         * wget.h: Include safe-ctype.h.
3780
3781 2001-03-27  Dan Harkless  <wget@harkless.org>
3782
3783         * Makefile.in: Moved top_builddir out of "User configuration
3784         section" of top Makefile and analogous spot in this one.
3785
3786 2001-03-17  Dan Harkless  <wget@harkless.org>
3787
3788         * Makefile.in: Include @SSL_INCLUDES@ substition in INCLUDES.
3789         Define top_builddir.  Link wget with libtool so the user doesn't
3790         have to supply a bunch of custom environment variables to 
3791         correctly link with the OpenSSL shared libraries.
3792
3793 2001-03-06  Hack Kampbjorn  <hack@hackdata.com>
3794
3795         * http.c (gethttp): skip :port in host header if it is the
3796         DEFAULT_HTTPS_PORT when using SSL.
3797
3798         * url.c: move the #define of DEFAULT_HTTP_PORT, DEFAULT_FTP_PORT
3799         and DEFAULT_HTTPS_PORT to the header file so it can be use in the
3800         rest of the code. 
3801         * url.h: Ditto
3802
3803 2001-03-01  Jonas Jensen  <bones@huleboer.dk>
3804
3805         * retr.c (show_progress): Correctly calculate the number of bytes
3806         in the first line of the download that have been actually
3807         downloaded in this run.
3808
3809 2001-02-23  Dan Harkless  <wget@harkless.org>
3810
3811         * main.c (print_help): --help documentation for -N said it would
3812         re-download files if they had the _same_ timestamp on server.
3813         (print_help): -nr belongs in "FTP options" section of --help
3814         output, not "Recursive retrieval" section.  Alphabetized FTP
3815         options by long option name.
3816
3817 2001-02-16  Dan Harkless  <wget@harkless.org>
3818
3819         * init.c (commands): Hack Kampbjørn <hack@hackdata.com> discovered
3820         that "httpsproxy" had been inserted into commands[] out of
3821         alphabetical order, causing "BUG: unknown command `httpuser'".
3822
3823 2001-02-13  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3824
3825         * ftp-ls.c (ftp_parse_ls): Added support of ST_MACOS (Unix-like
3826         listing without correct permissons).
3827
3828         * ftp.h (stype): Added ST_MACOS to identify the NetPresenz MacOS
3829         FTP server. 
3830
3831         * ftp.c (ftp_retrieve_list): New mirroring logic: A remote file
3832         shall be donwloaded only when it's newer than the local copy or
3833         when it has the same timeestamp but its size is different. ST_VMS
3834         and ST_MACOS as special cases that lie about file size. 
3835
3836         * ftp-ls.c (ftp_parse_ls): Support for ST_MACOS.
3837
3838         * Makefile.in: Removed dependency on ftpparse library due to unclear
3839         copyright issues and absence of any feedback to our queries. 
3840
3841         * ftp-ls.c: Removed dependency on ftpparse library due to unclear
3842         copyright issues and absence of any feedback to our queries.   
3843         (ftp_parse_ls): Added a warning message when remote server system
3844         does not seem to be suported by wget. 
3845         (ftp_parse_vms_ls): New function for parsing VMS ftp
3846         server listing output.
3847         (clean_line): New function responsible for removing
3848         end-of-line characters from FTP listing texts.
3849
3850         * ftp.c (getftp): Global variables pwd and host_type are now
3851         member of the ccon structure under names ccon.id and ccon.rs. 
3852
3853         * ftp.h (struct ccon): Added formed global variables from ftp.c,
3854         enum stype rs (remote system identification) and char *id (initial
3855         working directory), as suggested by Hrvoje.
3856
3857         * url.c (parse_uname): Added support for passwords containing '@'
3858         characters.
3859         (skip_uname): Ditto.
3860
3861 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3862
3863         * ftp.c (ftp_loop): Reset con.
3864
3865 2001-01-06  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3866
3867         * url.c (parse_uname): Added support for passwords containing '@'
3868         characters.
3869         (skip_uname): Ditto.
3870
3871 2001-02-11  Hack Kampbjørn  <hack@hackdata.com>
3872
3873         * url.c (parseurl): Debug-print u->ftp_type.
3874
3875 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3876
3877         * ftp.c (ftp_loop_internal): Disable padding.
3878         (getftp): Ditto.
3879
3880         * http.c (http_loop): Disable padding.
3881
3882         * retr.c (show_progress): Use it to enable padding.
3883
3884         * retr.c (rate): Optional parameter PAD for padding the rate.
3885
3886 2001-02-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3887
3888         * retr.c (show_progress): Make sure that the last output line
3889         includes progress.
3890
3891 2001-02-10  Jonas Jensen  <bones@huleboer.dk>
3892
3893         * retr.c (show_progress): Print the download rate along with the
3894         percentages.
3895         Along with Anders Thorsby <anders@thorsby.dk>.
3896
3897 2001-02-10  Tim Mooney  <mooney@dogbert.cc.ndsu.NoDak.edu>
3898
3899         * ftp.h: Rename enums `command' to `wget_ftp_command' and
3900         `fstatus' to `wget_ftp_status' because old names clash with Tru64
3901         net/if.h.
3902
3903 2001-02-08  Christian Fraenkel <christian.fraenkel@gmx.net>
3904
3905         * gen_sslfunc.c: verify_callback is now static
3906
3907         * gen_sslfunc.c (init_ssl): load certificate if specified
3908
3909         * gen_sslfunc.c (ssl_printerr): new function
3910
3911         * init.c: added new --sslcertfile and --sslcertkey switches
3912
3913         * main.c: ditto
3914
3915         * options.h: ditto
3916
3917         * http.c (gethttp): abort when init_ssl fails
3918
3919 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
3920
3921         * mswindows.h: Include <malloc.h>; it's needed for alloca().
3922
3923 2001-01-10  Dan Harkless  <wget@harkless.org>
3924
3925         * url.c (str_url): Clarified this function's comment header after
3926         Hrvoje answered my question on the list as to when hide != 1.
3927         Also Hrvoje pointed out I need to use xstrdup() on the string literal.
3928
3929 2001-01-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3930
3931         * connect.c (bindport): Declare addrlen as int.  Diagnosed by
3932         Drazen Kacar <dave@arsdigita.com>.
3933         (conaddr): Ditto.
3934
3935 2001-01-09  Dan Harkless  <wget@harkless.org>
3936
3937         * html-url.c: A bunch of fixup of `--page-requisites'-related
3938         comments to reflect Hrvoje's changes to my code when transplanting
3939         it into this new file, to fix spelling mistakes, to clarify, etc.
3940
3941         * url.c (write_backup_file): Clarified a comment.
3942         (str_url): Henrik van Ginhoven pointed out on the list that we
3943         shouldn't give away the number of characters in the password by
3944         replacing each character with a 'x'.  Use "<password>" instead.
3945
3946         * ftp.c (ftp_retrieve_dirs): The bug where recursion into FTP
3947         directories didn't work if logging in put you in a directory other
3948         than "/" is fixed now.  Removed the comment here warning of the bug.
3949
3950         * main.c (print_help): --continue's description was misleading.
3951         We don't "restart", we "resume".  Also, better to say
3952         "partially-downloaded file" rather than just "existing file".
3953
3954 2001-01-06  Dan Harkless  <wget@harkless.org>
3955
3956         * ChangeLog: The '[Not in 1.6 branch.]'s were decided not to be
3957         the best way to go about my aim.  Removed them in favor of:
3958
3959         * ChangeLog-branches/1.6_branch.ChangeLog: New file.
3960
3961 2001-01-04  Hrvoje Niksic  <hniksic@arsdigita.com>
3962
3963         * url.c (replace_attr): New function, to be used by both
3964         TO_COMPLETE and TO_RELATIVE case in convert_links.
3965         (find_fragment): New function for finding URL fragments.
3966         (replace_attr): Better handle the case where the original string
3967         is not quoted.  Use find_fragment.
3968         (convert_links): Use replace_attr().
3969
3970 2000-12-31  Dan Harkless  <wget@harkless.org>
3971
3972         * ChangeLog: Since this flat file doesn't have multiple branches,
3973         looking at the dates would make you think that things went into
3974         1.6 that actually just went into the 1.7-dev branch.  Added "[Not
3975         in 1.6 branch.]" where appropriate to clarify.
3976         
3977 2000-12-30  Dan Harkless  <wget@harkless.org>
3978
3979         * ftp.c, http.c:  Applied Hack Kampbjørn <hack@hackdata.com>'s
3980         patch to deal with h_errno not being defined in netdb.h under Cygwin.
3981
3982 2000-12-18  Csaba Raduly  <csaba.raduly@sophos.com>
3983
3984         * sysdep.h: Include <malloc.h> and <io.h> under Watcom.
3985
3986 2000-12-17  Igor Khristophorov  <igor@atdot.org>
3987
3988         * http.c (check_end): Fix test for '+' or '-'.
3989
3990 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
3991
3992         * url.c (parseurl): Rename inner loop var from i to ind to avoid
3993         clash with the function top-level-declared variable i.
3994         (str_url): Likewise, rename inner-loop i to j.
3995
3996         * recur.c (parse_robots): Don't declare LEN at top of function.
3997         (robots_match): Renamed parameter FORBIDDEN to avoid hiding of
3998         global variable.
3999
4000         * main.c (main): Change erroneous use of bitwise and to logical.
4001
4002         * init.c (cmd_address): Don't heap-allocate `sin'; it can be on
4003         the stack because it will be copied to closure.
4004
4005         Thanks to Csaba Raduly's run of PC-LINT over the sources.
4006
4007 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
4008
4009         * http.c (basic_authentication_encode): Use xmalloc(), not
4010         malloc().  Thanks to Csaba Raduly's run of PC-LINT over the
4011         sources.
4012
4013 2000-12-17  Csaba Raduly  <csaba.raduly@sophos.com>
4014
4015         * sysdep.h: Test for __EMX__ rather than for EMXOS2 for OS/2
4016         compilation.
4017
4018 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
4019
4020         * mswindows.c: Include <errno.h>.
4021
4022         * gen_sslfunc.c: Include <errno.h>.
4023
4024         * ftp-basic.c: Don't attempt to declare errno or h_errno because
4025         they're not used.
4026
4027         * main.c: Include <errno.h> because errno is used.
4028
4029         * ftp.c: Ditto.
4030
4031         * http.c: Include <netdb.h> for h_errno.
4032
4033 2000-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4034
4035         * html-parse.c (advance_declaration): MSVC assert() chokes on
4036         '\"'.  Use '"' instead.
4037
4038 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4039
4040         * utils.c (xfree_real): Removed.
4041         (xfree_debug): Just call free().
4042
4043         * wget.h (xfree): Make it an alias for free.
4044
4045 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4046
4047         * http.c (http_loop): Furthermore, touch output_document only if
4048         it is known to be an existing regular file.
4049
4050 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4051
4052         * ftp.c (ftp_retrieve_list): Ditto.
4053
4054         * http.c (http_loop): Touch output_document if that is used for
4055         output.
4056
4057 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4058
4059         * http.c: Include gen_sslfunc.h after including Wget's headers.
4060         (persistent_available_p): Needed coma before `int ssl'.
4061
4062 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4063
4064         * ftp.c (ftp_loop_internal): Ditto.
4065
4066         * http.c (http_loop): Use it.
4067
4068         * retr.c (sleep_between_retrievals): New function that handles the
4069         logic of opt.wait and opt.waitretry.
4070
4071 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4072
4073         * rbuf.h: Implement only a single version of RBUF_READCHAR, using
4074         rbuf_read_bufferful when the buffer is depleted.
4075
4076         * rbuf.c (rbuf_read_bufferful): New function.
4077
4078 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4079
4080         * gen_sslfunc.h: Use ansi2knr style function declarations.
4081
4082         * gen_sslfunc.c: Reformat according to the GNU coding standards.
4083         More should be done.
4084
4085         * http.c (persistent_available_p): Place the cheap SSL test nearer
4086         the top of the function.
4087         (CLOSE_FINISH, CLOSE_INVALIDATE): Define only one version of each.
4088
4089 2000-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
4090
4091         * url.c (init_unsafe_char_table): Reinstate space as an unsafe
4092         char.
4093
4094 2000-12-03  Christian Fraenkel <christian.fraenkel@gmx.net>
4095
4096         * Makefile.in: added gen_sslfunc object
4097         * config.h.in: added HAVE_SSL define
4098         * connect.c: changed select_fd from static int to int
4099         * connect.h: ditto
4100         * gen_sslfunc.h: New file
4101         * gen_sslfunc.c: ditto
4102         * http.c: added HTTPS fuctionality
4103         * retrc.c: ditto
4104         * url.c: ditto
4105         * init.c: added opt.httpsproxy
4106         * options.h: ditto
4107         * rbuf.h: added alternate rbuf struct
4108         * wget.h: added CONSSLERR
4109         * rbuf.c: ditto
4110
4111         * http.c: Added HTTPS fuctionality.
4112
4113         * retrc.c: Ditto.
4114
4115         * url.c: Ditto.
4116
4117         * init.c: Added opt.httpsproxy.
4118
4119         * options.h: Ditto.
4120
4121         * rbuf.h: Added alternate rbuf struct.
4122
4123         * wget.h: Added CONSSLERR.
4124
4125         * rbuf.c: Ditto.
4126
4127 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4128
4129         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
4130         "ignore_perms" to ignore file and directory permissions for
4131         Windows NT FTP server listings.
4132         (ftp_parse_winnt_ls): New function.
4133         (ftp_parse_ls): Parses UNIX and Windows NT listings
4134         separately. Simple heuristics for distinguishing between UNIX and
4135         MS-DOS-like FTP listing provided by Windows NT FTP service.
4136
4137 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4138
4139         * ftpparse.c, ftpparse.h: New files.
4140
4141         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
4142         only. Use ftp_parse_nonunix_ls otherwise.
4143         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
4144         exotic FTP servers.
4145
4146         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
4147         FTP servers.
4148
4149         * ftp.c: New static wariables host_type, pwd, and pwd_len. 
4150         (getftp): Support for VMS. Support for FTP servers that do not
4151         place you in the root directory after login.
4152         (ftp_retrieve_list): VMS is silent about the real file size, issue
4153         a more appropriate message.
4154         (ftp_get_listing): Pass host_type to ftp_parse_ls.
4155
4156         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
4157
4158 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4159
4160         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
4161         "ignore_perms" to ignore file and directory permissions for
4162         Windows NT FTP server listings.
4163         (ftp_parse_winnt_ls): New function.
4164         (ftp_parse_ls): Parses UNIX and Windows NT listings
4165         separately. Simple heuristics for distinguishing between UNIX
4166         and MS-DOS-like FTP listing provided by Windows NT FTP service.
4167
4168 2000-11-29  John Summerfield  <summer@OS2.ami.com.au>
4169
4170         * netrc.c (parse_netrc): Get rid of line ending.
4171
4172 2000-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4173
4174         * ftp.c (ftp_retrieve_list): Undo typo "fix" until resolution by
4175         Dan.
4176
4177 2000-11-24  Karl Eichwalder  <ke@suse.de>
4178
4179         * main.c (print_help): Untabify.
4180
4181 2000-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
4182
4183         * utils.c (xrealloc_debug): Do the unregister/register thing only
4184         if the pointer has actually changed.
4185         (xmalloc_real): Declare `static' in DEBUG_MALLOC builds.
4186         (xfree_real): Ditto.
4187         (xrealloc_real): Ditto.
4188         (xstrdup_real): Ditto.
4189
4190 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
4191
4192         * ftp.c (getftp): ftp_getaddress() returns a malloc'ed copy of the
4193         string; no need to strdup() it.
4194         (getftp): Make pwd_len a local variable.
4195         (ftp_loop): Free PWD before returning.
4196
4197         * init.c (cleanup): Free opt.ftp_pass only if it's non-NULL.
4198
4199 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
4200
4201         * all: Use xfree() instead of free.
4202
4203         * utils.c (xfree): New function.
4204
4205 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
4206
4207         * url.c (convert_links): HTML-quote the converted string.
4208
4209         * utils.c (html_quote_string): Move here from ftp-ls.c
4210         (html_quote_string): Make non-static; declare in utils.h.
4211         (html_quote_string): Convert SP to &#32;.
4212
4213 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
4214
4215         * ftp.c (getftp): Reformat Jan's code according to GNU coding
4216         standards; remove (debugging?) printf's; use '\0' for the ASCII
4217         zero character.  Use alloca() instead of malloc() for
4218         inter-function temporary allocations.
4219
4220 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4221
4222         * ftpparse.c, ftpparse.h: New files.
4223
4224         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
4225         only. Use ftp_parse_nonunix_ls otherwise.
4226         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
4227         exotic FTP servers.
4228
4229         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
4230         FTP servers.
4231
4232         * ftp.c: New static wariables host_type, pwd, and pwd_len. 
4233         (getftp): Support for VMS. Support for FTP servers that do not
4234         place you in the root directory after login.
4235         (ftp_retrieve_list): VMS is silent about the real file size, issue
4236         a more appropriate message.
4237         (ftp_get_listing): Pass host_type to ftp_parse_ls.
4238
4239         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
4240
4241 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
4242
4243         * hash.c (hash_table_put): Don't overwrite deleted mappings.
4244
4245 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
4246
4247         * hash.c (find_mapping): New function.
4248         (hash_table_get): Use it.
4249         (hash_table_get_pair): Ditto.
4250         (hash_table_exists): Ditto.
4251         (hash_table_remove): Ditto.
4252         (hash_table_remove): Really delete the entry if the mapping
4253         following LOCATION is empty.
4254
4255         * utils.c (string_set_add): Check whether the element has existed
4256         before.
4257
4258         * hash.c (hash_table_get_pair): New function.
4259
4260 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4261
4262         * http.c (http_process_type): Ignore trailing whitespace; use
4263         strdupdelim().
4264
4265         * recur.c (recursive_retrieve): Use the new `convert' field.
4266         (convert_all_links): Ditto.
4267         (convert_all_links): Don't respect meta_disallow_follow.
4268
4269         * html-url.c (handle_link): Fill out link_relative_p and
4270         link_complete_p.
4271
4272         * url.h (struct _urlpos): Make elements more readable.
4273
4274         * recur.c (recursive_retrieve): Call slist_prepend instead of
4275         slist_append.
4276         (convert_all_links): Call slist_nreverse before iterating through
4277         urls_html.
4278
4279         * utils.c (slist_prepend): New function.
4280         (slist_nreverse): Ditto.
4281
4282 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4283
4284         * http.c (check_end): Constify.
4285
4286 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4287
4288         * http.c (http_loop): If username and password are known, try the
4289         `Basic' authentication scheme by default.
4290
4291         * connect.h: Declare test_socket_open.
4292
4293 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4294
4295         * version.c: Bump version from 1.5.3+dev to 1.7-dev.
4296
4297 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4298
4299         * http.c (gethttp): Don't use the return value of sprintf().
4300         (gethttp): Inhibit keep-alive if opt.http_keep_alive is 0.
4301
4302 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4303
4304         * recur.c (recursive_retrieve): Print the "so we don't load"
4305         debugging message only if we really don't load.
4306
4307         * http.c (gethttp): Inhibit keep-alive if proxy is being used.
4308         (gethttp): Don't request keep-alive if keep-alive is inhibited.
4309
4310 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4311
4312         * http.c (gethttp): Make the HTTP persistent connections more
4313         robust.
4314
4315 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4316
4317         * retr.c (get_contents): If use_expected, make sure that the
4318         appropriate amount of data is being read.
4319
4320         * http.c (gethttp): Check for both `Keep-Alive: ...' and
4321         `Connection: Keep-Alive'.
4322
4323         * wget.h (DEBUGP): Call debug_logprintf only if opt.debug is
4324         turned on.
4325
4326 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4327
4328         * http.c (connection_available_p): Use it.
4329
4330         * connect.c (test_socket_open): New function.
4331
4332         * http.c (gethttp): Support persistent connections.  Based on the
4333         ideas, and partly on code, by Sam Horrocks <sam@daemoninc.com>.
4334         (register_persistent): New function.
4335         (connection_available_p): Ditto.
4336         (invalidate_connection): Ditto.
4337
4338 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4339
4340         * url.c (convert_links): Handle UREL2ABS case.
4341
4342         * recur.c (recursive_retrieve): Instead of the list
4343         urls_downloaded, use hash tables dl_file_url_map and
4344         dl_url_file_map.
4345         (convert_all_links): Use them to retrieve data.
4346
4347         * host.c (clean_hosts): Free the hash tables.
4348
4349         * main.c (private_initialize): Call host_init().
4350
4351         * host.c (store_hostaddress): Use a saner, hash table-based data
4352         model.
4353         (realhost): Ditto.
4354         (host_init): Initialize the hash tables.
4355
4356 2000-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
4357
4358         * utils.c (slist_append): Eviscerate NOSORT.  Hash tables are now
4359         used for what the sorted slists used to be used for.
4360         (slist_contains): Don't rely on the list being sorted.
4361         (slist_append): Simplify the code.
4362
4363         * recur.c (recursive_cleanup): Use free_string_set.
4364
4365         * utils.c (string_set_add, string_set_exists, string_set_free):
4366         New functions for easier freeing of hash tables whose keys are
4367         strdup'ed strings.
4368
4369         * recur.c (recursive_retrieve): Use the hash table functions for
4370         storing undesirable URLs.
4371
4372         * hash.c: New file.
4373
4374 2000-11-17  Hrvoje Niksic  <hniksic@arsdigita.com>
4375
4376         * main.c (private_initialize): Call url_init.
4377         (main): Call private_initialize.
4378
4379         * url.c (unsafe_char_table): New table.
4380         (UNSAFE_CHAR): Use it.
4381         (init_unsafe_char_table): New function.
4382         (url_init): New function; call init_unsafe_char_table.
4383
4384 2000-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
4385
4386         * mswindows.h: Define snprintf and vsnprintf to _snprintf and
4387         _vsnprintf respectively.
4388
4389 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
4390
4391         * config.h.in: Do the _XOPEN_SOURCE and _SVID_SOURCE things only
4392         on Linux.
4393
4394 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
4395
4396         * html-url.c (handle_link): Handle HTML fragment identifiers.
4397
4398         * recur.c (recursive_retrieve): If norobot info is respected and
4399         the file is specified not to be followed by robots, respect that.
4400
4401         * html-url.c (collect_tags_mapper): Handle <meta name=robots
4402         content=X>.  For us the important cases are where X is NONE or
4403         where X contains NOFOLLOW.
4404         (get_urls_html): Propagate that information to the caller.
4405
4406 2000-11-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4407
4408         * url.c (convert_links): Unlink the file we might be reading from
4409         before writing to it.
4410         (convert_links): Use alloca instead of malloc for
4411         filename_plus_orig_suffix.
4412
4413 2000-11-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4414
4415         * host.c (realhost): Add HOST to the list with quality==0 only if
4416         it wasn't already there.
4417         Based on analysis by Lu Guohan <feng@public.bjnet.edu.cn>.
4418
4419 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4420
4421         * url.c (get_urls_file): Ditto.
4422         (convert_links): Ditto.
4423
4424         * html-url.c (get_urls_html): Use read_file() instead of
4425         load_file().
4426
4427         * utils.c (read_file): New function, instead of the old
4428         load_file().
4429         (read_file_free): Ditto.
4430
4431         * url.c (findurl): Search only for the supported protocols.
4432         (convert_links): Use fwrite() when writing out a region of
4433         characters.
4434
4435 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4436
4437         * ftp-ls.c: Move html_quote_string and ftp_index here.
4438
4439         * url.c: Remove get_urls_html, since that's now in html-url.c.
4440
4441         * html-url.c: New file.
4442
4443         * html-parse.c: New file.
4444
4445 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4446
4447         * init.c (run_wgetrc): Don't bother killing off '\r' since
4448         pars_line() skips whitespace at end of line anyway.
4449         (parse_line): Oops, it didn't.  Now it does.
4450
4451         * recur.c (parse_robots): Ditto here.
4452
4453         * ftp-ls.c (ftp_parse_unix_ls): Kill off the newline character
4454         manually because read_whole_line no longer does.
4455
4456         * utils.c (read_whole_line): Rewrite to: a) use less memory
4457         (reallocates to needed size after work), b) work faster -->
4458         fgets() instead of getc, c) be more correct --> doesn't kill the
4459         newline character at the end of line.
4460
4461 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4462
4463         * init.c (comind): Initialize MAX to array size - 1.
4464
4465 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
4466
4467         * url.c (construct): Changed last_slash[-1] to *(last_slash - 1).
4468         Suggested by Edward J. Sabol.
4469
4470 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
4471
4472         * url.c (construct): Handle the case where host name is not
4473         followed by a slash.
4474
4475 2000-11-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4476
4477         * init.c: commands[] need to be sorted!  ("base" wasn't.)
4478
4479 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
4480
4481         * wget.h (DO_REALLOC_FROM_ALLOCA): Use braces to disambiguate
4482         `if'.
4483
4484 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
4485
4486         * url.c (construct): Insert unneeded initialization for the
4487         compiler to shut up.
4488
4489         * config.h.in: Define _XOPEN_SOURCE to 500 to get the prototype
4490         for strptime() (*duh*).  Define _SVID_SOURCE to get S_IFLNK which
4491         otherwise gets lost when you define _XOPEN_SOURCE.
4492
4493         * utils.c (touch): Include the file name in the error message.
4494         From Debian.
4495
4496 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
4497
4498         * log.c (logvprintf): Use vsnprintf() in all cases.  If necessary,
4499         resize the buffer to fit the formated message.  That way, messages
4500         of arbitrary size may be printed.
4501         (logvprintf): Use saved_append() to optionally log the last
4502         several lines of output.
4503         (logputs): Ditto.
4504         (log_close): Adapt to new data structures.
4505         (log_dump): Ditto.
4506         (redirect_output): Print messages to stderr, not to stdout.
4507
4508         * log.c (saved_append_1): New function.  Replaces the old logging
4509         system ("log all output until 10M characters") with a new, much
4510         more reasonable one ("log last screenful of text").
4511         (saved_append): New function; call saved_append_1.
4512         (free_log_line): New function.
4513
4514 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
4515
4516         * url.c (construct): Fix comment.
4517         (find_last_char): Document.
4518
4519 2000-11-04  Hrvoje Niksic  <hniksic@arsdigita.com>
4520
4521         * snprintf.c: New file.
4522
4523 2000-11-03  Hrvoje Niksic  <hniksic@arsdigita.com>
4524
4525         * wget.h: If HAVE_STDARG_H is not defined, don't declare argument
4526         types to logprintf() and debug_logprintf().
4527
4528 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4529
4530         * ftp.c (ftp_loop_internal): Hide the password from the URL when
4531         printing non-verbose.  Problem spotted by Dariusz Mlynarczyk
4532         <darekm@bydg.lomac.com.pl>.
4533
4534 2000-11-02  Junio Hamano  <junio@twinsun.com>
4535
4536         * ftp-basic.c (ftp_login): Make comparison case-insensitive.
4537
4538 2000-11-02  Tyler Riddle  <triddle@liquidmarket.com>
4539
4540         * http.c (known_authentication_scheme_p): Recognize NTML
4541         authentication.
4542         (create_authorization_line): Treat NTML the same as `Basic'.
4543
4544 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4545
4546         * retr.c (retrieve_url): Free url before returning.
4547         (retrieve_url): Free mynewloc before returning.
4548         Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
4549
4550 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4551
4552         * url.c (parseurl): Remove possible reading past the end of
4553         sup_protos[].  Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
4554
4555 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4556
4557         * main.c (main): In case of opt.downloaded overflowing, print
4558         <overflow> instead of a totally bogus random value.
4559
4560         * retr.c (retrieve_from_file): Ditto.
4561
4562         * recur.c (recursive_retrieve): Ditto.
4563
4564         * main.c (main): Ditto.
4565
4566         * http.c (http_loop): Ditto.
4567
4568         * ftp.c (ftp_loop_internal): Use downloaded_increase() instead of
4569         `+=', and downloaded_exceeds_quota() instead of the simple-minded
4570         check.
4571         (ftp_retrieve_list): Ditto.
4572         (ftp_retrieve_dirs): Ditto.
4573         (ftp_retrieve_glob): Ditto.
4574
4575         * retr.c (downloaded_increase): New function.  Notice overflows of
4576         opt.downloaded.
4577         (downloaded_exceeds_quota): Make sure that opt.downloaded is not
4578         used if it overflowed.
4579
4580         * options.h (struct options): New member downloaded_overflow.
4581
4582 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4583
4584         * wget.h (enum): Remove extra space after last enumeration.
4585
4586 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4587
4588         * main.c (main): Use legible_very_long() for printing
4589         opt.downloaded.
4590
4591         * utils.c (legible_1): New function that operates on strings and
4592         does the brunt of legible()'s work.
4593         (legible): Use legible_1().
4594         (legible_very_long): New function; dump the argument with
4595         sprintf(), and call legible_1().
4596
4597         * options.h (struct options): Use VERY_LONG_TYPE for
4598         opt.downloaded.
4599
4600         * sysdep.h (VERY_LONG_TYPE): Define it to have a 64-bit or greater
4601         type.
4602
4603         * config.h.in: Make sure that SIZEOF_LONG and SIZEOF_LONG_LONG get
4604         defined.  Define HAVE_LONG_LONG if long long is available.
4605
4606 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4607
4608         * utils.c (long_to_string): Update with a later, better version.
4609
4610 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4611
4612         * url.c (path_simplify_with_kludge): New function.
4613         (path_simplify_with_kludge): Disable it.  Instead...
4614         (parse_dir): ...make sure that at this point the right thing is
4615         done, i.e. that "query" part of the URL (?...) is always assigned
4616         to the file, never to the directory portion of the path.
4617
4618 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4619
4620         * retr.c (retrieve_url): Detect redirection cycles.
4621
4622 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4623
4624         * url.c (get_urls_html): Decode HTML entities using
4625         html_decode_entities.
4626
4627         * html.c (htmlfindurl): Don't count the `#' in numeric entities
4628         (&#NNN;) as an HTML fragemnt.
4629         (html_decode_entities): New function.
4630
4631 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4632
4633         * html.c (htmlfindurl): Fix recognition of # HTML fragments.
4634
4635 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4636
4637         * url.c (construct): Rewritten for clarity.  Avoids the
4638         unnecessary copying and stack-allocation the old version
4639         performed.
4640
4641 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
4642
4643         * ftp.c (getftp): Ditto.
4644
4645         * http.c (gethttp): Rewind the stream when retrying from scratch.
4646
4647 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
4648
4649         * retr.c (retrieve_url): Use url_concat() to handle relative
4650         redirections instead of /ad hoc/ code.
4651
4652         * url.c (url_concat): New function encapsulating weird
4653         construct().
4654         (urllen_http_hack): New function.
4655         (construct): When constructing new URLs, recognize that `?' does
4656         not form part of the file name in HTTP.
4657
4658 2000-10-13  Adrian Aichner  <adrian@xemacs.org>
4659
4660         * retr.c: Add msec timing support for WINDOWS.
4661         * retr.c (reset_timer): GetSystemTime() on WINDOWS.
4662         * retr.c (elapsed_time): Calculate delta time to msec on WINDOWS.
4663
4664 2000-10-27  Dan Harkless  <wget@harkless.org>
4665
4666         * retr.c (retrieve_url): Manually applied T. Bharath
4667         <TBharath@responsenetworks.com>'s patch to get wget to grok
4668         illegal relative URL redirects.  Reformatted and re-commented it.
4669
4670 2000-10-23  Dan Harkless  <wget@harkless.org>
4671
4672         * connect.c (make_connection and bindport): Manually applied Rob
4673         Mayoff <mayoff@dqd.com>'s 1.5.3 patch to add --bind-address,
4674         changing coding style to GNU's.
4675
4676         * ftp.c (ftp_loop_internal): --delete-after wasn't implemented for
4677         files downloaded via FTP.  Per a comment, .listing files were not
4678         counted towards number of bytes and files downloaded because they're 
4679         deleted anyway.  Well, they aren't under -nr, so count them then.
4680
4681         * init.c: Manually applied Rob Mayoff's 1.5.3 patch to add
4682         --bind-address, alphabetizing, changing coding style to GNU's,
4683         commenting, and renaming cmd_ip_address() to cmd_address() to
4684         imply hostnames also okay.
4685                 
4686         * main.c (main): --delete-after didn't delete the root of the
4687         tree.  Ignore --convert-links if --delete-after was specified.
4688         Manually applied Rob Mayoff's 1.5.3 patch to add --bind-address,
4689         fixing duplicate use of added-since-1.5.3 case value.
4690         (print_help): Clarified that --delete-after deletes local files.
4691         Rob forgot to add a line for his new --bind-address option.
4692                 
4693         * options.h (struct options): Manually applied Rob Mayoff's patch
4694         to add --bind-address (bind_address structure member).
4695                 
4696         * recur.c (recursive_retrieve): Improved comment; added DEBUGP().
4697         Ignore --convert-links if --delete-after was specified.
4698                 
4699         * retr.c (retrieve_from_file): Just added a DEBUGP().
4700                 
4701 2000-10-19  Dan Harkless  <wget@harkless.org>
4702
4703         * ftp.c (ftp_loop_internal): downloaded_file() enumerators changed.
4704         (getftp): Applied Piotr Sulecki <Piotr.Sulecki@ios.krakow.pl>'s
4705         patch to work around FTP servers that incorrectly respond to the
4706         "REST" command with the remaining size rather than the total file size.
4707                 
4708         * http.c (gethttp): Improved a comment and added code to tack on
4709         ".html" to text/html files without that extension when -E specified.
4710         (http_loop): Use new downloaded_file() enumerators and deal with
4711         the case of gethttp() called xrealloc() on u->local.
4712
4713         * init.c (commands): Added new "htmlextension" command.
4714         Also renamed John Daily's cmd_quad() to the more descriptive
4715         cmd_lockable_boolean(), alpha-sorted the CMD_DECLARE()s and
4716         removed duplicate cmd_boolean() declaration.
4717
4718         * main.c (print_help): Added my new -E / --html-extension option.
4719         (main): Undocumented --email-address option previously used -E synonym.
4720         Stole it away for the much more deserving --html-extension's use.
4721
4722         * options.h (struct options): Added html_extension field.
4723
4724         * url.c (convert_links): URL X that we saved as X.html locally due
4725         to -E needs to be backed up as X.orig, not X.html.orig.  Added comments.
4726         (downloaded_file): Now remembers if we added .html extension to a file.
4727
4728         * url.h (downloaded_file_t): Added extra enumerators to support above.
4729         (downloaded_file): Now takes and returns a downloaded_file_t.
4730
4731         * wget.h (unnamed "dt" enum): Added ADDED_HTML_EXTENSION enumerator.
4732         
4733 2000-10-09  Dan Harkless  <wget@harkless.org>
4734
4735         * html.c (htmlfindurl): Added unneeded initialization to quiet warning.
4736                 
4737         * main.c (print_help): Clarified what --retr-symlinks does.
4738         
4739 2000-09-15  John Daily  <jdaily@cyberdude.com>
4740
4741         * init.c: Add support for "always" and "never" values to allow
4742         .wgetrc to override commandline (useful e.g. with .pm files
4743         calling `wget --passive-ftp' when your firewall doesn't allow that).
4744
4745         * ftp.c (getftp): passive_ftp is first option to support always/never.
4746
4747 2000-08-30  Dan Harkless  <wget@harkless.org>
4748
4749         * ftp.c (ftp_retrieve_list): Use new INFINITE_RECURSION #define.
4750         
4751         * html.c: htmlfindurl() now takes final `dash_p_leaf_HTML' parameter.
4752         Wrapped some > 80-column lines.  When -p is specified and we're at a 
4753         leaf node, do not traverse <A>, <AREA>, or <LINK> tags other than 
4754         <LINK REL="stylesheet">.
4755         
4756         * html.h (htmlfindurl): Now takes final `dash_p_leaf_HTML' parameter.
4757         
4758         * init.c: Added new -p / --page-requisites / page_requisites option.
4759
4760         * main.c (print_help): Clarified that -l inf and -l 0 both allow
4761         infinite recursion.  Changed the unhelpful --mirrior description
4762         to simply give the options it's equivalent to.  Added new -p option.
4763         (main): Added some comments; handle new -p / --page-requisites.
4764         
4765         * options.h (struct options): Added new page_requisites field.
4766
4767         * recur.c: Changed "URL-s" to "URLs" and "HTML-s" to "HTMLs".
4768         Calculate and pass down new `dash_p_leaf_HTML' parameter to
4769         get_urls_html().  Use new INFINITE_RECURSION #define.
4770
4771         * retr.c: Changed "URL-s" to "URLs".  get_urls_html() now takes
4772         final `dash_p_leaf_HTML' parameter.
4773
4774         * url.c: get_urls_html() and htmlfindurl() now take final
4775         `dash_p_leaf_HTML' parameter.
4776
4777         * url.h (get_urls_html): Now takes final `dash_p_leaf_HTML' parameter.
4778
4779         * wget.h: Added some comments and new INFINITE_RECURSION #define.
4780         
4781 2000-08-23  Dan Harkless  <wget@harkless.org>
4782
4783         * main.c (print_help): -B / --base was not mentioned.
4784
4785 2000-08-22  Dan Harkless  <wget@harkless.org>
4786
4787         * main.c (print_help): Modified -nc description to mention that it
4788         also prevents the creation of multiple versions of the same file
4789         with ".<number>" suffixes.
4790
4791 2000-07-14  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4792
4793         * retr.c (retrieve_url): Consistently strdup opt.referer when
4794         setting u->referer.
4795
4796 2000-06-09  Dan Harkless  <wget@harkless.org>
4797
4798         * main.c (print_help): --help output for --waitretry was over 80 cols.
4799
4800 2000-06-09  Hrvoje Niksic  <hniksic@iskon.hr>
4801
4802         * url.c (encode_string): Fix comment.
4803         Suggested by Herold Heiko <Heiko.Herold@previnet.it>.
4804
4805 2000-06-01  Const Kaplinsky  <const@ce.cctpu.edu.ru>
4806
4807         * ftp.c (ftp_retrieve_list): Change permissions only on plain
4808         files.
4809
4810 2000-06-01  Hrvoje Niksic  <hniksic@iskon.hr>
4811
4812         * url.c (str_url): Print the port number only if it's different
4813         from the default port number for that protocol.
4814
4815 2000-05-22  Dan Harkless  <wget@harkless.org>
4816
4817         * main.c (print_help): Added --help line for Damir Dzeko
4818         <ddzeko@zesoi.fer.hr>'s until-now-undocumented --referer option.
4819         Removed comments that --referer and --waitretry were undocumented.
4820         Changed "`.wgetrc' command" to "`.wgetrc'-style command" on --help
4821         line for --execute.
4822
4823 2000-05-18  Hrvoje Niksic  <hniksic@iskon.hr>
4824
4825         * ftp.c (getftp): Ditto.
4826
4827         * http.c (gethttp): Check for return value of fclose/fflush.
4828
4829 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
4830
4831         * host.c (store_hostaddress): Instead of shifting ADDR, start
4832         copying from the correct address.
4833
4834 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
4835
4836         * http.c (gethttp): Don't free REQUEST -- it was allocated with
4837         alloca().
4838         Pointed out by Gisle Vanem <gvanem@eunet.no>.
4839
4840 2000-04-04  Dan Harkless  <wget@harkless.org>
4841
4842         * host.c (store_hostaddress): R. K. Owen's patch introduces a
4843         "left shift count >= width of type" warning on 32-bit
4844         architectures.  Got rid of it by tricking the compiler w/ a variable.
4845         
4846         * url.c (UNSAFE_CHAR): The macro didn't include all the illegal
4847         characters per RFC1738, namely everything above '~'.  It also
4848         generated a warning on OSes where char =~ unsigned char.  Fixed.
4849         
4850 1998-10-17  Hrvoje Niksic  <hniksic@srce.hr>
4851
4852         * http.c (http_process_type): Removed needless strdup(), a memory
4853         leak.
4854
4855 1998-09-25  Hrvoje Niksic  <hniksic@srce.hr>
4856
4857         * html.c (htmlfindurl): Set PH to the first occurrence of `#'.
4858
4859 1998-09-25  Simon Munton  <simonm@m4data.co.uk>
4860
4861         * init.c (wgetrc_file_name): Don't free HOME under Windows.
4862
4863 1998-12-01  "R. K. Owen"  <rkowen@Nersc.GOV>
4864
4865         * host.c (store_hostaddress): Fix for big endian 64-bit machines.
4866
4867 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
4868
4869         * url.c (UNSAFE_CHAR): New macro.
4870         (contains_unsafe): Use it.
4871         (encode_string): Ditto.
4872
4873 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
4874
4875         * main.c (i18n_initialize): Use LC_MESSAGES only if available.
4876
4877 2000-03-31  Hrvoje Niksic  <hniksic@srce.hr>
4878
4879         * Use TOUPPER/TOLOWER.
4880
4881 1998-12-22  Alexander V. Lukyanov  <lav@yars.free.net>
4882
4883         * ftp-opie.c (btoe): Zero-terminate OSTORE.
4884
4885 2000-03-21  Hrvoje Niksic  <hniksic@iskon.hr>
4886
4887         * wget.h (DO_REALLOC_FROM_ALLOCA): Ditto.
4888
4889         * sysdep.h (ISALNUM): New macro.
4890         (TOLOWER): Ditto.
4891         (TOUPPER): Ditto.
4892
4893 2000-03-10  Dan Harkless  <wget@harkless.org>
4894
4895         * html.c (idmatch): Implemented checking of my new --follow-tags
4896         and --ignore-tags options.
4897         
4898         * init.c (commands): Added comment reminding people adding new
4899         entries doing allocation to add corresponding freeing in cleanup().
4900         (commands): Added new followtags and ignoretags commands.
4901         (cleanup): Free storage for new followtags and ignoretags.
4902         
4903         * main.c: Use of "comma-separated list" was random -- normalized
4904         it.  Did some alphabetization.  Added comments pointing out
4905         "Options without arguments" and "Options accepting an argument"
4906         sections of long_options[].  Added new options --follow-tags and
4907         -G / --ignore-tags.  Added comment that Damir's --referer is
4908         currently undocumented.  Added comment that Heiko's --waitretry is
4909         partially undocumented (mentioned in --help but not in
4910         wget.texi).  Moved improperly sorted 24, 129, and 'G' cases.
4911         
4912         * options.h (struct options): Added new fields follow_tags and
4913         ignore_tags. 
4914         
4915         * wget.h: Added "#define EQ 0" so we can say "strcmp(a, b) == EQ".
4916         
4917 2000-03-02  Dan Harkless  <wget@harkless.org>
4918
4919         * ftp.c (ftp_loop_internal): Heiko introduced "suggest explicit
4920         braces to avoid ambiguous `else'" warnings.  Eliminated them.
4921         
4922         * http.c (gethttp): Dan Berger's query string patch is totally
4923         bogus.  If you have two different URLs, gen_page.cgi?page1 and
4924         get_page.cgi?page2, they'll both be saved as get_page.cgi and the
4925         second will overwrite the first.  Also, parameters to implicit
4926         CGIs, like "http://www.host.com/db/?2000-03-02" cause the URLs to
4927         be printed with trailing garbage characters, and could seg fault.
4928         Backing out the patch, which Dan B. informed me by email was just
4929         a kludge to download StarOffice from Sun made necessary due to
4930         wget's unconditional escaping of certain characters (room for an
4931         option there?).
4932         (http_loop): Heiko introduced "suggest explicit braces to avoid
4933         ambiguous `else'" warnings.  Eliminated them.
4934         
4935         * main.c: Heiko's --wait / --waitretry backwards compatibility
4936         code looks to have been totally untested -- automatic variable
4937         'wr' was used without being initialized, and a long int was passed
4938         into setval()'s char* val parameter.
4939         
4940         * recur.c (parse_robots): Applied Edward J. Sabol
4941         <sabol@alderaan.gsfc.nasa.gov>'s patch for Guan Yang's reported
4942         problem with "User-agent:<space>*<space>" lines in robots.txt.
4943         
4944         * url.c (parseurl, str_url): Removing Dan Berger's code (see
4945         http.c above for explanation).
4946         
4947 1999-08-25  Heiko Herold  <Heiko.Herold@previnet.it>
4948
4949         * ftp.c: Respect new option waitretry.
4950
4951 2000-01-30  Damir Dzeko  <ddzeko@zesoi.fer.hr>
4952
4953         * http.c (gethttp): Send custom Referer, if required.
4954
4955 1999-09-24  Charles G Waldman  <cgw@fnal.gov>
4956
4957         * netrc.c (parse_netrc): Allow passwords to contain spaces.
4958
4959         * netrc.c (parse_netrc): New function.
4960
4961 1999-09-17  Dan Berger  <dberger@ix.netcom.com>
4962
4963         * http.c (gethttp): Send it.
4964
4965         * url.c (parseurl): Detect query string in HTTP URL-s.
4966         (str_url): Print it.
4967
4968 2000-03-02  HIROSE Masaaki  <hirose31@t3.rim.or.jp>
4969
4970         * html.c (html_allow): Add <link href=...> and <script src=...>.
4971
4972 1999-05-02  andrew deryabin  <djsf@softhome.net>
4973
4974         * http.c (gethttp): Specify port in `Host' header only if it's
4975         different from 80.
4976
4977 1998-11-03  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
4978
4979         * recur.c (recursive_retrieve): If a finite maximum depth is
4980         specified, and we're are already at that depth, don't download the
4981         HTML file for parsing.
4982
4983 2000-03-01  Dan Harkless  <wget@harkless.org>
4984
4985         * ftp.c (ftp_loop_internal): Call new downloaded_file() function,
4986         even though we don't do conversion on HTML files retrieved via
4987         FTP, so _current_ usage of downloaded_file() makes this call unneeded. 
4988         (ftp_retrieve_list): Added a comment saying where we need to
4989         stat() a .orig file if FTP'd HTML file conversion is ever implemented.
4990         (ftp_retrieve_list): "Local file '%s' is more recent," is sometimes
4991         a lie -- reworded as "Server file no newer than local file '%s' --".
4992         
4993         * http.c (http_loop): Fixed a typo and clarified a comment.
4994         (http_loop): When -K and -N are specified together, compare size
4995         and timestamp of server file X against local file X.orig (if
4996         extant) rather than converted local file X.
4997         (http_loop): "Local file '%s' is more recent," is sometimes a lie
4998         -- reworded as "Server file no newer than local file '%s' --".
4999         (http_loop): Call new downloaded_file() function to prevent
5000         wrongful overwriting of .orig file when -N is specified.
5001         
5002         * url.c (convert_links): When -K specified, only rename X to
5003         X.orig if downloaded_file() returns TRUE.  Otherwise when we skip
5004         file X due to -N, we clobber an X.orig from a previous invocation.
5005         (convert_links): Call the failsafe xstrdup(), not the real strdup().
5006         (convert_links): Added a note asking anyone who understands how
5007         multiple URLs can correspond to a single file to comment it.
5008         (downloaded_file): Added this new function.
5009         
5010         * url.h (downloaded_file): Added prototype for this new function
5011         as well as its downloaded_file_t enum type.
5012
5013         * wget.h (boolean): Added this new typedef and TRUE and FALSE #defines.
5014
5015 2000-02-29  Dan Harkless  <wget@harkless.org>
5016
5017         * version.c: Upped version to developer-only "1.5.3+dev".
5018
5019 2000-02-18  Dan Harkless  <wget@harkless.org>
5020
5021         * init.c (backup_converted): Added this new option.
5022
5023         * main.c (-K / --backup-converted): Added this new option.
5024
5025         * options.h (backup_converted): Added this new option.
5026
5027         * url.c (convert_links): When backup_converted is specified, save
5028         file X as X.orig before converting.
5029
5030         * url.h (urlpos): Fixed typo -- said "Rekative" instead of "Relative".
5031
5032 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
5033
5034         * version.c: Wget 1.5.3 is released.
5035
5036 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
5037
5038         * host.c (ftp_getaddress): Don't warn when reverse-lookup of local 
5039         address doesn't yield FQDN.
5040
5041 1998-09-21  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
5042
5043         * cmpt.c (strerror): Fix declaration of sys_errlist.
5044
5045 1998-09-11  Hrvoje Niksic  <hniksic@srce.hr>
5046
5047         * main.c (main): Don't use an array subscript as the first
5048         argument to STRDUP_ALLOCA.
5049         From Kaveh R. Ghazi.
5050
5051 1998-09-11  Szakacsits Szabolcs  <szaka@sienet.hu>
5052
5053         * html.c (htmlfindurl): Download table background.
5054
5055 1998-09-11  Hans Grobler  <grobh@conde.ee.sun.ac.za>
5056
5057         * init.c (parse_line): Would free *com before allocating it.
5058         (parse_line): Would free com instead of *com.
5059
5060 1998-09-10  Howard Gayle  <howard@fjst.com>
5061
5062         * url.c (get_urls_html): Would drop the last character of the
5063         link.
5064
5065 1998-09-10  Hrvoje Niksic  <hniksic@srce.hr>
5066
5067         * http.c (http_loop): Don't print status code if quiet.
5068
5069 1998-09-10  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
5070
5071         * log.c: Use <stdarg.h> only when __STDC__.
5072
5073 1998-09-10  Adam D. Moss  <adam@foxbox.org>
5074
5075         * html.c (htmlfindurl): Download <layer src=...>.
5076
5077 1998-09-10  Howard Gayle  <howard@fjst.com>
5078
5079         * ftp.c (ftp_retrieve_list): Don't update the time stamp of a file 
5080         not retrieved.
5081
5082 1998-06-27  Hrvoje Niksic  <hniksic@srce.hr>
5083
5084         * utils.c: Include <libc.h> on NeXT.
5085
5086 1998-06-26  Heinz Salzmann  <heinz.salzmann@intermetall.de>
5087
5088         * url.c (get_urls_html): Fix calculation of URL position.
5089
5090 1998-06-23  Hrvoje Niksic  <hniksic@srce.hr>
5091
5092         * version.c: Wget 1.5.2 is released.
5093
5094 1998-06-23  Dave Love  <d.love@dl.ac.uk>
5095
5096         * ftp.c, init.c, netrc.c: Include errno.h.
5097
5098         * http.c: Include errno.h and time header.
5099
5100         * Makefile.in (exext): Define.
5101         (install.bin, uninstall.bin): Use it.
5102
5103 1998-06-21  Hrvoje Niksic  <hniksic@srce.hr>
5104
5105         * http.c (http_loop): Don't attempt to compare local and remote
5106         sizes if the remote size is unknown.
5107
5108 1998-06-16  Hrvoje Niksic  <hniksic@srce.hr>
5109
5110         * url.c (get_urls_html): Use malloc() instead of alloca in the
5111         loop.
5112
5113 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
5114
5115         * version.c: Wget 1.5.2-b4 is released.
5116
5117 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
5118
5119         * url.c (get_urls_html): Ignore spaces before and after the URI.
5120
5121 1998-06-08  Wanderlei Antonio Cavassin  <cavassin@conectiva.com.br>
5122
5123         * ftp.c (getftp): Translate `done'.
5124
5125 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
5126
5127         * version.c: Wget 1.5.2-b3 is released.
5128
5129 1998-06-06  Alexander Kourakos  <awk@bnt.com>
5130
5131         * init.c (cleanup): Close dfp, don't free it.
5132
5133 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
5134
5135         * utils.c (make_directory): Twiddle.
5136
5137         * config.h.in: Added template for access().
5138
5139 1998-06-05  Mathieu Guillaume  <mat@cythere.com>
5140
5141         * html.c (htmlfindurl): Download <input src=...>
5142
5143 1998-06-03  Hrvoje Niksic  <hniksic@srce.hr>
5144
5145         * utils.c (file_exists_p): Use access() with two arguments.
5146
5147 1998-05-27  Martin Kraemer  <Martin.Kraemer@mch.sni.de>
5148
5149         * netrc.c (parse_netrc): Correct logic.
5150
5151 1998-05-27  Hrvoje Niksic  <hniksic@srce.hr>
5152
5153         * ftp.c (getftp): Added `break'; suggested by Lin Zhe Min
5154         <ljm@ljm.wownet.net>.
5155
5156 1998-05-24  Hrvoje Niksic  <hniksic@srce.hr>
5157
5158         * version.c: Wget 1.5.2-b2 is released.
5159
5160 1998-05-18  Juan Jose Rodriguez  <jcnsoft@jal1.telmex.net.mx>
5161
5162         * mswindows.h: Don't translate mkdir to _mkdir under Borland.
5163
5164 1998-05-17  Hrvoje Niksic  <hniksic@srce.hr>
5165
5166         * retr.c (elapsed_time): Return correct value when
5167         HAVE_GETTIMEOFDAY is undefined.
5168
5169 1998-05-13  Hrvoje Niksic  <hniksic@srce.hr>
5170
5171         * version.c: Wget 1.5.2-b1 is released.
5172
5173 1998-05-08  Hrvoje Niksic  <hniksic@srce.hr>
5174
5175         * getopt.c (_getopt_internal): Use exec_name instead of argv[0].
5176         (_getopt_internal): Don't translate `#if 0'-ed strings.
5177
5178 1998-05-06  Douglas E. Wegscheid  <wegscd@whirlpool.com>
5179
5180         * mswindows.c (ws_handler): Use fork_to_background().
5181
5182 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
5183
5184         * version.c: Wget 1.5.1 is released.
5185
5186 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
5187
5188         * http.c (parse_http_status_line): Avoid `minor' and `major'
5189         names.
5190
5191 1998-05-02  Hrvoje Niksic  <hniksic@srce.hr>
5192
5193         * utils.c (mkdirhier): Renamed to make_directory.
5194
5195 1998-05-01  Hrvoje Niksic  <hniksic@srce.hr>
5196
5197         * mswindows.c (fork_to_background): Define under Windows.
5198
5199         * utils.c (fork_to_background): New function.
5200
5201         * html.c (htmlfindurl): Removed rerdundant casts.
5202
5203 1998-05-01  Douglas E. Wegscheid  <wegscd@whirlpool.com>
5204
5205         * mswindows.c (ws_mypath): Cache the path.
5206
5207 1998-04-30  Douglas E. Wegscheid  <wegscd@whirlpool.com>
5208
5209         * ftp.h: Prefix enum ftype members with FT_.
5210
5211         * ftp-ls.c, ftp.c, html.h: Adjust accordingly.
5212
5213         * mswindows.h: Use stat under Borland, _stat under MSVC.
5214
5215 1998-04-28  Hrvoje Niksic  <hniksic@srce.hr>
5216
5217         * http.c (known_authentication_scheme_p): New function.
5218         (gethttp): Handle authorization more correctly.
5219
5220         * ftp-basic.h: Removed.
5221
5222         * cmpt.h: Removed.
5223
5224         * utils.c: Include <unistd.h> before <pwd.h>; needed under SunOS
5225         with gcc 2.8.
5226         (numdigit): Use `while' loop.
5227
5228         * http.c (create_authorization_line): Detect authentication
5229         schemes case-insensitively.
5230
5231         * http.c (extract_header_attr): Use strdupdelim().
5232         (digest_authentication_encode): Move declaration of local
5233         variables to smaller scope.
5234         (digest_authentication_encode): Reset REALM, OPAQUE and NONCE.
5235         (create_authorization_line): Detect authentication schemes
5236         case-insensitively.
5237
5238         * utils.c (touch): Constify.
5239
5240         * http.c (gethttp): Report a nicer error when no data is received.
5241
5242         * rbuf.h (RBUF_READCHAR): Ditto.
5243
5244         * ftp-basic.c (ftp_response): Use sizeof.
5245
5246 1998-04-27  Hrvoje Niksic  <hniksic@srce.hr>
5247
5248         * retr.c (print_percentage): EXPECTED is long, not int.
5249         (print_percentage): Use floating-point arithmetic to avoid
5250         overflow with large files' sizes multiplied with 100.
5251
5252 1998-04-27  Gregor Hoffleit  <flight@mathi.uni-heidelberg.de>
5253
5254         * config.h.in: Added pid_t stub.
5255
5256         * sysdep.h (S_ISREG): Moved here from mswindows.h (NeXT doesn't
5257         define it).
5258
5259 1998-04-20  Hrvoje Niksic  <hniksic@srce.hr>
5260
5261         * version.c: Wget 1.5.0 is released.
5262
5263 1998-04-18  Hrvoje Niksic  <hniksic@srce.hr>
5264
5265         * url.c (str_url): Ditto.
5266
5267         * ftp-basic.c (ftp_rest): Use new name.
5268
5269         * utils.c (long_to_string): Renamed from prnum().
5270
5271 1998-04-16  Hrvoje Niksic  <hniksic@srce.hr>
5272
5273         * version.c: Wget 1.5-b17 is released.
5274
5275 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
5276
5277         * headers.c (header_get): New argument FLAGS.
5278
5279         * http.c (gethttp): If request is malformed, bail out of the
5280         header loop.
5281         (gethttp): Check for empty header *after* the status line checks.
5282         (gethttp): Disallow continuations for status line.
5283
5284 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
5285
5286         * version.c: Wget 1.5-b16 is released.
5287
5288 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
5289
5290         * init.c (commands): Renamed `always_rest' to `continue'.
5291
5292 1998-04-05  Hrvoje Niksic  <hniksic@srce.hr>
5293
5294         * all: Use it.
5295
5296         * log.c (logputs): New argument.
5297         (logvprintf): Ditto.
5298         (logprintf): Ditto.
5299
5300 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
5301
5302         * http.c (http_atotm): Update comment.
5303
5304         * main.c (i18n_initialize): Set LC_MESSAGES, not LC_ALL.
5305
5306         * wget.h: Renamed ENABLED_NLS to HAVE_NLS.
5307
5308         * main.c (i18n_initialize): New function.
5309         (main): Use it.
5310
5311         * log.c: Include <unistd.h>.
5312
5313         * retr.c (show_progress): Cast alloca to char *.
5314
5315 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
5316
5317         * version.c: Wget 1.5-b15 is released.
5318
5319 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
5320
5321         * utils.h: Declare file_non_directory_p().
5322
5323 1998-04-03  Hrvoje Niksic  <hniksic@srce.hr>
5324
5325         * main.c (main): It's `tries', not `numtries' now.
5326
5327 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
5328
5329         * init.c (getperms): Removed.
5330
5331 1998-04-01  Tim Charron  <tcharron@interlog.com>
5332
5333         * log.c (logvprintf): Don't use ARGS twice.
5334
5335 1998-04-01  John  <john@futuresguide.com>
5336
5337         * mswindows.c: Cleaned up.
5338
5339 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
5340
5341         * version.c: Wget 1.5-b14 is released.
5342
5343 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
5344
5345         * ftp-opie.c (STRLEN4): New macro.
5346         (btoe): Use it.
5347
5348 1998-04-01  Junio Hamano  <junio@twinsun.com>
5349
5350         * http.c: Document all the Digest functions.
5351
5352 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
5353
5354         * utils.c (file_non_directory_p): Renamed from isfile().
5355
5356         * mswindows.h (S_ISREG): New macro, suggested by Tim Adam.
5357
5358 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
5359
5360         * utils.c (mkdirhier): Use 0777 instead of opt.dirmode.
5361
5362         * init.c (cmd_spec_dotstyle): Use 48 dots per line for binary
5363         style.
5364         (cmd_permissions): Removed.
5365
5366         * config.h.in: Add template for WORDS_BIGENDIAN.
5367
5368 1998-03-31  Junio Hamano  <junio@twinsun.com>
5369
5370         * http.c (HEXD2asc): New macro.
5371         (dump_hash): Use it.
5372
5373 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
5374
5375         * version.c: Wget 1.5-b13 is released.
5376
5377 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
5378
5379         * main.c (main): Don't try to use `com'.
5380
5381 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
5382
5383         * init.c (cmd_permissions): New function.
5384
5385 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
5386
5387         * version.c: Wget 1.5-b12 is released.
5388
5389 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
5390
5391         * init.c (commands): Renamed `numtries' to `tries'.
5392         (cmd_spec_debug): Removed.
5393         (home_dir): Under Windows, return `C:\' if HOME is undefined.
5394
5395 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
5396
5397         * config.h.in: Define _XOPEN_SOURCE.
5398
5399         * init.c (check_user_specified_header): New function.
5400         (cmd_spec_header): Use it.
5401         (cmd_spec_useragent): New function.
5402
5403 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
5404
5405         * version.c: Wget 1.5-b11 is released.
5406
5407 1998-03-28  Hrvoje Niksic  <hniksic@srce.hr>
5408
5409         * wget.h: Include <libintl.h> only if NLS is enabled.
5410
5411 1998-03-26  Hrvoje Niksic  <hniksic@srce.hr>
5412
5413         * options.h (struct options): Made `wait' a long.
5414         (struct options): Ditto for `timeout'.
5415
5416 1998-03-19  Hrvoje Niksic  <hniksic@srce.hr>
5417
5418         * utils.c (exists): Renamed to file_exists_p.
5419         (file_exists_p): Use access() if available.
5420
5421 1998-03-17  Hrvoje Niksic  <hniksic@srce.hr>
5422
5423         * utils.c (memfatal): Set save_log_p to 0 to avoid potential
5424         infloop.
5425
5426         * log.c: do_logging -> save_log_p.
5427
5428         * config.h.in: Added template for HAVE_VSNPRINTF.
5429
5430 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
5431
5432         * init.c: Ditto.
5433
5434         * http.c: Protect declaration against non-ANSI compiler.
5435
5436         * log.c (logvprintf): Use vsnprintf() if available.
5437
5438         * getopt.c (main): Don't translate test stuff.
5439
5440 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
5441
5442         * version.c: Wget 1.5-b10 is released.
5443
5444 1998-03-11  Hrvoje Niksic  <hniksic@srce.hr>
5445
5446         * ftp.c (getftp): Don't translate "CWD %s".
5447
5448         * wget.h (GCC_FORMAT_ATTR): Renamed from FORMAT_ATTR.
5449
5450 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
5451
5452         * ftp-opie.c (btoe): Use memcpy() instead of strncat().
5453
5454         * log.c (logputs): New function.
5455         (logvprintf): Renamed from vlogmsg; use logputs().
5456
5457         * retr.c (show_progress): Print `[100%]' when the retrieval is
5458         finished.
5459
5460         * init.c (run_wgetrc): Use FILE, not PATH.
5461         (wgetrc_file_name): Ditto.
5462
5463 1998-03-07  Tim Adam  <tma@osa.com.au>
5464
5465         * recur.c (parse_robots): Correctly reset `entries' on empty
5466         disallow.
5467
5468 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
5469
5470         * init.c (cmd_spec_debug): Use cmd_boolean().
5471
5472 1998-02-23  Hrvoje Niksic  <hniksic@srce.hr>
5473
5474         * http.c (gethttp): Create proxy-authorization correctly.
5475
5476 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
5477
5478         * md5.c: Ditto.
5479
5480         * getopt.c: Use ANSI function definitions.
5481
5482         * ftp-opie.c: New file.
5483
5484         * options.h: Don't redefine EXTERN.
5485
5486         * init.c: Sort it correctly.
5487
5488 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
5489
5490         * version.c: Wget 1.5-b9 is released.
5491
5492 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
5493
5494         * recur.c (recursive_retrieve): Reset `first_time'.
5495
5496         * ftp.c (getftp): Added `default' clause to switches of uerr_t.
5497
5498         * rbuf.c (rbuf_peek): Simplified.
5499         (rbuf_flush): Use MINVAL.
5500
5501         * wget.h (MINVAL): Moved from url.h.
5502
5503         * rbuf.h (RBUF_FD): New macro.
5504
5505         * url.c (add_url): Add to the head of the list.
5506
5507         * ftp.c (ftp_retrieve_list): Set the permissions to downloaded
5508         file.
5509         (getftp): Set the default permissions to 0600.
5510
5511 1998-02-21  Hrvoje Niksic  <hniksic@srce.hr>
5512
5513         * url.c (get_urls_html): Ditto.
5514         (convert_links): Ditto.
5515
5516         * recur.c (parse_robots): Ditto.
5517
5518         * html.c (ftp_index): Ditto.
5519
5520         * ftp-ls.c (ftp_parse_unix_ls): Open file as binary.
5521
5522         * init.c (defaults): Initialize `opt' to zero via memset.
5523
5524         * http.c (digest_authentication_encode): goto considered harmful.
5525
5526 1998-02-19  Hrvoje Niksic  <hniksic@srce.hr>
5527
5528         * ftp.c (delelement): Simplify and fix leak.
5529
5530 1998-02-18  Hrvoje Niksic  <hniksic@srce.hr>
5531
5532         * http.c (dump_hash): Use HEXD2ASC instead of home-grown stuff.
5533
5534         * url.h (HEXD2ASC): Removed warning.
5535
5536         * init.c (comind): Use binary search.
5537         (commands): Reorganized.
5538         (setval): Ditto.
5539         (cmd_boolean): New function.
5540         (cmd_number): Ditto.
5541         (cmd_number_inf): Ditto.
5542         (cmd_string): Ditto.
5543         (cmd_vector): Ditto.
5544         (cmd_directory_vector): Ditto.
5545         (cmd_bytes): Ditto.
5546         (cmd_time): Ditto.
5547         (cmd_spec_debug): Ditto.
5548         (cmd_spec_dirmode): Ditto.
5549         (cmd_spec_dirstruct): Ditto.
5550         (cmd_spec_dotstyle): Ditto.
5551         (cmd_spec_header): Ditto.
5552         (cmd_spec_htmlify): Ditto.
5553         (cmd_spec_mirror): Ditto.
5554         (cmd_spec_outputdocument): Ditto.
5555         (cmd_spec_recursive): Ditto.
5556         (settime): Merged with cmd_time().
5557         (setbytes): Merged with cmd_bytes().
5558         (setonoff): Merged with cmd_boolean().
5559         (onoff): Ditto.
5560
5561 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
5562
5563         * Makefile.in (distclean): Remove `config.h'.
5564
5565 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
5566
5567         * version.c: Wget 1.5-b8 is released.
5568
5569 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
5570
5571         * http.c (digest_authentication_encode): New function.
5572         (create_authorization_line): Use it.
5573         (dump_hash): New function.
5574         (digest_authentication_encode): Use it.
5575
5576         * fnmatch.c: Renamed from `mtch.c'.
5577
5578 1998-02-15  Karl Eichwalder  <ke@suse.de>
5579
5580         * main.c (main): Tag "Written by..." string as translatable.
5581
5582 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
5583
5584         * wget.h (FREE_MAYBE): New macro.
5585
5586         * http.c (create_authorization_line): Don't use ANSI C string
5587         concatenation feature.
5588         (basic_authentication_encode): Use alloca() for temporary
5589         variables.
5590
5591         * recur.h: Ditto.
5592
5593         * http.c: Ditto.
5594
5595         * headers.h: Ditto.
5596
5597         * ftp-basic.c: Protect declaration against non-ANSI compiler.
5598
5599         * http.c (create_authorization_line): Cast `unsigned char *' to
5600         `char *' for sprintf, to shut up the noisy Digital Unix cc.
5601
5602 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
5603
5604         * version.c: Wget 1.5-b7 is released.
5605
5606 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
5607
5608         * cmpt.c (strstr): Synched with glibc-2.0.6.
5609
5610         * ftp-basic.c (calculate_skey_response): Ditto.
5611         (calculate_skey_response): Use alloca().
5612
5613         * http.c (create_authorization_line): Work with FSF's version of
5614         md5.c.
5615
5616         * md5.c: New file, from GNU libc.
5617
5618 1998-02-14  Hrvoje Niksic  <hniksic@srce.hr>
5619
5620         * url.h (URL_CLEANSE): Name the temporary variable more carefully.
5621
5622 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
5623
5624         * http.c (basic_authentication_encode): New function, instead of
5625         the macro.
5626
5627 1998-02-13  Junio Hamano  <junio@twinsun.com>
5628
5629         * http.c: Add HTTP-DA support.
5630         * ftp-basic.c: Add Opie/S-key support.
5631         * config.h.in, Makefile.in: Add HTTP-DA and Opie/S-key support.
5632         * md5.c, md5.h: New files.
5633
5634 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
5635
5636         * http.c (http_process_range): Renamed from hprocrange().
5637         (http_process_range): Parse the whole header.
5638
5639         * headers.c: New file.
5640         (header_process): New function.
5641         (header_get): Renamed from fetch_next_header.
5642
5643         * all: Include utils.h only where necessary.
5644
5645         * wget.h: Declare xmalloc(), xrealloc() and xstrdup() here.
5646
5647         * wget.h: Add provisions for dmalloc.
5648
5649 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
5650
5651         * version.c: Wget 1.5-b6 is released.
5652
5653 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
5654
5655         * ftp.c (ftp_loop): Determine `filename' more precisely.
5656
5657         * init.c (setval): Don't set `opt.quiet' if output-document is
5658         `-'.
5659
5660         * log.c (log_init): Print to STDERR instead of STDOUT.
5661         (vlogmsg): Use STDERR by default.
5662         (logflush): Ditto.
5663
5664 1998-02-11  Simon Josefsson  <jas@pdc.kth.se>
5665
5666         * host.c: Use addr_in again.
5667
5668 1998-02-08  Karl Eichwalder  <karl@suse.de>
5669
5670         * http.c (gethttp): Fixed typo.
5671
5672 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
5673
5674         * version.c: Wget 1.5-b5 is released.
5675
5676 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
5677
5678         * retr.c (show_progress): Use it.
5679
5680         * log.c (logflush): New function.
5681
5682         * wget.h: Utilize __attribute__ if on gcc.
5683
5684 1998-02-07  Hrvoje Niksic  <hniksic@srce.hr>
5685
5686         * http.c (base64_encode_line): New argument LENGTH.
5687         (BASIC_AUTHENTICATION_ENCODE): Use it.
5688         (BASIC_AUTHENTICATION_ENCODE): Take length of HEADER into account.
5689
5690         * main.c (main): Fixed fprintf() format mismatch.
5691
5692 1998-02-06  Hrvoje Niksic  <hniksic@srce.hr>
5693
5694         * version.c: Wget 1.5-b4 is released.
5695
5696 1998-02-03  Simon Josefsson  <jas@pdc.kth.se>
5697
5698         * host.c: use sockaddr_in instead of addr_in.
5699
5700 1998-02-04  Hrvoje Niksic  <hniksic@srce.hr>
5701
5702         * init.c (cleanup): Use it.
5703
5704         * recur.c (recursive_cleanup): New function.
5705
5706         * retr.c (retrieve_from_file): Ditto.
5707
5708         * main.c (main): Use it.
5709
5710         * recur.c (recursive_reset): New function.
5711
5712         * retr.c (retrieve_from_file): Ditto.
5713
5714         * main.c (main): Simplify call to recursive_retrieve().
5715
5716         * recur.c (recursive_retrieve): Removed FLAGS argument.
5717
5718         * http.c (gethttp): Changed call to iwrite().
5719
5720 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
5721
5722         * url.c (get_urls_html): Ditto.
5723         (free_urlpos): Ditto.
5724         (mkstruct): Ditto.
5725         (construct): Ditto.
5726
5727         * retr.c (retrieve_url): Move declaration of local variables to
5728         smaller scope.
5729
5730         * url.c (urlproto): Use it.
5731         (parseurl): Ditto.
5732         (str_url): Ditto.
5733         (get_urls_html): Ditto.
5734
5735         * utils.h (ARRAY_SIZE): New macro.
5736
5737         * url.c (proto): Moved from url.h.
5738
5739         * url.h (URL_CLEANSE): Reformatted.
5740         (USE_PROXY_P): Renamed from USE_PROXY.
5741
5742         * ftp-basic.c: Adjust to the new interface of iwrite().
5743
5744         * ftp-basic.c (ftp_port): Use alloca().
5745
5746 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
5747
5748         * version.c: Wget 1.5-b3 is released.
5749
5750         * host.c (ftp_getaddress): Don't print to stderr directly.
5751
5752         * init.c (setbytes): Support `g' for gigabytes.
5753         (cmdtype): New specification CTIME.
5754         (setval): Use it with settime().
5755         (commands): Use it for WAIT and TIMEOUT.
5756
5757 1998-02-02  Hrvoje Niksic  <hniksic@srce.hr>
5758
5759         * http.c (BASIC_AUTHENTICATION_ENCODE): New macro.
5760         (gethttp): Use it.
5761
5762         * utils.c (unique_name_1): Moved from url.c.
5763         (unique_name): Ditto.
5764
5765         * url.c (url_filename): Ditto.
5766
5767         * log.c (redirect_output): Changed call to unique_name().
5768
5769         * url.c (unique_name_1): Renamed from unique_name().
5770         (unique_name): Changed interface.
5771
5772         * init.c (enum cmdid): Moved from init.h.
5773         (cmdtype): Ditto.
5774         (struct cmd): Ditto.
5775
5776         * main.c (main): Use it.
5777         (main): Moved `--backups' to not have a short option.
5778
5779         * options.h (struct options): New member BACKGROUND.
5780
5781         * main.c (print_help): Rearranged.
5782         (main): New long options for -n* short options: --no-directories,
5783         --no-host-directories, --non-verbose, --no-host-lookup and
5784         --dont-remove-listing.
5785
5786 1998-02-01  Hrvoje Niksic  <hniksic@srce.hr>
5787
5788         * main.c (main): Use log_close().
5789
5790         * log.c: New variable LOGFP.
5791         (vlogmsg): Use it.
5792         (redirect_output): Don't open /dev/null; set LOGFP to stdin
5793         instead.
5794         (log_close): New function.
5795
5796         * options.h (struct options): Removed LFILE.
5797
5798         * log.c (log_enable): Removed.
5799
5800         * main.c (main): Use it.
5801
5802         * log.c (log_init): New function.
5803
5804         * url.c (get_urls_html): Removed needless assignment to BASE.
5805
5806         * host.c (add_hlist): Don't set CMP needlessly.
5807
5808         * utils.c (match_backwards): Ditto.
5809         (in_acclist): Ditto.
5810
5811         * url.c (findurl): Ditto.
5812
5813         * netrc.c (parse_netrc): Ditto.
5814
5815         * log.c (log_dump): Ditto.
5816
5817         * html.c (html_quote_string): Ditto.
5818
5819         * ftp-basic.c (ftp_request): Made static.
5820
5821         * connect.c: Made global variables static.
5822
5823         * url.c (construct): Ditto.
5824
5825         * init.c (init_path): Avoid assignment inside `if'-condition.
5826
5827         * ftp.c: Don't include in.h or winsock.h.
5828
5829         * ftp.c (ftp_loop): Use SZ.
5830
5831         * connect.c (bindport): Cast &addrlen to int *.
5832         (conaddr): Ditto.
5833
5834         * init.c (initialize): Don't use SYSTEM_WGETRC unconditionally.
5835
5836 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
5837
5838         * ftp.c (getftp): Initialize opt.ftp_pass here.
5839         (ftp_retrieve_dirs): Use alloca().
5840
5841         * init.c (defaults): Don't initialize opt.ftp_pass.
5842
5843         * sysdep.h (S_ISLNK): Declare for OS/2; ditto for lstat.
5844         From Ivan F. Martinez <ivanfm@ecodigit.com.br>.
5845
5846 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
5847
5848         * recur.c (parse_robots): Check for comments more correctly.
5849
5850         * host.c (ftp_getaddress): Use STRDUP_ALLOCA.
5851         (ftp_getaddress): Add diagnostics when reverse-lookup yields only
5852         hostname.
5853
5854 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
5855
5856         * version.c: Wget 1.5-b2 is released.
5857
5858         * netrc.c (NETRC_FILE_NAME): Moved from netrc.h.
5859
5860         * utils.c (proclist): Pass FNM_PATHNAME to fnmatch().
5861
5862         * ftp-basic.c (ftp_pasv): Avoid unnecessary casting to unsigned
5863         char.
5864
5865         * log.c: Don't attempt to hide arguments from ansi2knr.
5866
5867         * cmpt.c: Synched strptime() and mktime() with glibc-2.0.6.
5868
5869         * ansi2knr.c: Use a later version, from fileutils-3.16l alpha.
5870
5871         * ftp.c (getftp): Ditto.
5872
5873         * http.c (gethttp): Use it.
5874
5875         * retr.c (get_contents): New argument EXPECTED; pass it to
5876         show_progress().
5877         (show_progress): New argument EXPECTED; use it to display
5878         percentages.
5879
5880         * init.c (setval): Ditto.
5881
5882         * http.c (gethttp): Ditto.
5883         (http_loop): Ditto.
5884
5885         * ftp.c (getftp): Ditto.
5886         (ftp_loop_internal): Ditto.
5887
5888         * ftp-ls.c (ftp_parse_unix_ls): Use abort() instead of assert(0).
5889
5890         * sysdep.h (CLOSE): Simplify; use DEBUGP.
5891
5892         * netrc.c (search_netrc): Use alloca().
5893
5894         * init.c (defaults): Initialize no_flush.
5895
5896         * log.c (vlogmsg): Don't flush if no_flush.
5897
5898         * options.h (struct options): New variable no_flush.
5899
5900         * main.c (main): Don't play games with buffering.
5901
5902         * log.c (vlogmsg): Flush the output after every message.
5903
5904 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
5905
5906         * init.c (parse_line): Ditto.
5907
5908         * url.c (get_urls_html): Ditto.
5909
5910         * main.c (main): Don't cast to unsigned char.
5911
5912         * init.c (run_wgetrc): Don't cast to unsigned char.
5913         (parse_line): Accept char instead of unsigned char.
5914
5915         * html.c (htmlfindurl): Use char instead of unsigned char.
5916
5917         * all: Use them.
5918
5919         * sysdep.h: Add wrappers to ctype macros to make them
5920         eight-bit-clean:
5921
5922 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
5923
5924         * html.c (htmlfindurl): Download <img lowsrc=...>
5925
5926         * main.c (main): Ignore SIGPIPE.
5927
5928         * connect.c (select_fd): New argument WRITEP.
5929         (iwrite): Call select_fd().
5930
5931 1997-02-27  Fila Kolodny <fila@ibi.com>
5932
5933         * ftp.c (ftp_retrieve_list): If retrieving symlink and the proper
5934         one already exists, just skip it.
5935
5936 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
5937
5938         * http.c (gethttp): Cosmetic changes.
5939
5940         * http.c (check_end): Allow `+D...' instead of `GMT'.
5941         From Fabrizio Pollastri <pollastri@cstv.to.cnr.it>.
5942
5943         * url.c (process_ftp_type): New function.
5944         (parseurl): Use it.
5945
5946         * connect.c (iwrite): Allow writing in a few chunks.
5947         (bindport): Made SRV static, so addr can point to it.
5948         (select_fd): Removed HPUX kludge.
5949
5950         * host.c (free_hlist): Incorporated into clean_hosts().
5951
5952 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
5953
5954         * host.c (hlist): Made static.
5955         (search_address): Cosmetic change.
5956
5957 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
5958
5959         * version.c: Wget v1.5-b1 is released.
5960
5961         * http.c (hgetlen): Use sizeof() to get the header length.
5962         (hgetrange): Ditto.
5963         (hgettype): Ditto.
5964         (hgetlocation): Ditto.
5965         (hgetmodified): Ditto.
5966         (haccepts_none): Ditto.
5967
5968         * main.c (main): Updated `--version' and `--help' output, as per
5969         Francois Pinard's suggestions.
5970
5971         * main.c: Include locale.h; call setlocale(), bindtextdomain() and 
5972         textdomain().
5973
5974         * config.h.in: Define stubs for I18N3.
5975
5976         * wget.h: Include libintl.h.
5977
5978 1998-01-28  Hrvoje Niksic  <hniksic@srce.hr>
5979
5980         * url.c (mkstruct): Check for opt.cut_dirs.
5981         (mkstruct): alloca()-te more, xmalloc() less.
5982
5983         * utils.c (load_file): Check for ferror().
5984
5985         * url.c (get_urls_file): Close only the files we opened.
5986         (get_urls_html): Ditto.
5987         (count_slashes): New function.
5988
5989         * http.h: Removed.
5990
5991         * http.c (gethttp): Respect username and password provided by
5992         proxy URL.
5993         (base64_encode_line): Write into an existing buffer instead of
5994         malloc-ing a new one.
5995         (struct http_stat): Moved from http.h
5996
5997         * retr.c (retrieve_url): Free SUF.
5998
5999         * all: Removed lots of unnecessary .h dependencies.
6000
6001         * html.c (global_state): Made static.
6002
6003         * utils.h (ALLOCA_ARRAY): New macro.
6004
6005         * main.c (main): New option `--cut-dirs'.
6006
6007         * url.c (construct): Use alloca() for T.
6008
6009         * utils.c (mkdirhier): Use STRDUP_ALLOCA.
6010
6011         * host.c (_host_t): Moved from host.h.
6012         (struct host): Renamed from _host_t.
6013         (store_hostaddress): Use STRDUP_ALLOCA for INET_S.
6014         (realhost): Ditto.
6015
6016         * host.h: Don't include url.h.
6017
6018         * ftp.c (LIST_FILENAME): Moved from ftp.h.
6019
6020         * init.c (DEFAULT_FTP_ACCT): Moved from ftp.h.
6021
6022         * main.c (main): Enable log if the output goes to a TTY.
6023
6024         * connect.h: Removed unused constant `BACKLOG'.
6025
6026         * config.h.in: Check for isatty().
6027
6028         * Makefile.in (LINK): Use CFLAGS when linking.
6029
6030 1998-01-27  Hrvoje Niksic  <hniksic@srce.hr>
6031
6032         * mswindows.c (ws_hangup): Use redirect_output().
6033
6034         * main.c (redirect_output_signal): New function; use
6035         redirect_output().
6036
6037         * log.c (redirect_output): New function, based on hangup(), which
6038         is deleted.
6039
6040         * log.c (vlogmsg): New function.
6041
6042         * wget.h (DEBUGP): Use debug_logmsg().
6043
6044         * main.c (hangup): Use it.
6045
6046         * log.c (log_dump): New function.
6047
6048         * utils.h (DO_REALLOC): Use `long' for various sizes.
6049
6050         * http.c (hskip_lws): Use `while', for clarity.
6051         (HTTP_DYNAMIC_LINE_BUFFER): New constant.
6052         (fetch_next_header): Use it instead of DYNAMIC_LINE_BUFFER.
6053
6054         * ftp-basic.c (FTP_DYNAMIC_LINE_BUFFER): New constant.
6055         (ftp_response): Use it instead of DYNAMIC_LINE_BUFFER.
6056
6057         * utils.c (DYNAMIC_LINE_BUFFER): Moved from utils.c.
6058         (LEGIBLE_SEPARATOR): Ditto.
6059         (FILE_BUFFER_SIZE): Ditto.
6060
6061         * retr.c (BUFFER_SIZE): Moved from retr.h.
6062
6063         * log.c: New file.
6064         (logmsg): Moved from utils.c.
6065         (debug_logmsg): New function.
6066
6067         * mswindows.h: Include it here.
6068
6069         * init.c: Ditto.
6070
6071         * utils.c: Don't include <windows.h>.
6072
6073 1998-01-25  Hrvoje Niksic  <hniksic@srce.hr>
6074
6075         * host.c (ftp_getaddress): Ditto.
6076
6077         * main.c (main): Use it.
6078
6079         * utils.h (STRDUP_ALLOCA): New macro.
6080
6081         * init.c: Prepend `wget: ' to error messages printed on stderr.
6082
6083         * utils.c (mkdirhier): Renamed from mymkdir.
6084         (touch): Renamed from my_touch.
6085         (pwd_cuserid): Renamed from my_cuserid().
6086
6087 1998-01-24  Andy Eskilsson  <andy.eskilsson@telelogic.se>
6088
6089         * utils.c (accdir): Process wildcards.
6090         (proclist): New function.
6091         (accdir): Use it to avoid code repetition.
6092
6093 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
6094
6095         * recur.c (parse_robots): Respect opt.useragent; use alloca().
6096
6097         * http.c (gethttp): Construct useragent accordingly.
6098
6099         * version.c: Changed version string to numbers-only.
6100
6101         * main.c (print_help): List all the options.
6102
6103         * mswindows.c (windows_main_junk): Initialize argv0 here.
6104
6105 1998-01-24  Karl Heuer  <kwzh@gnu.org>
6106
6107         * netrc.c (search_netrc): Initialize `l' only after processing
6108         netrc.
6109
6110         * main.c (main): Don't trap SIGHUP if it's being ignored.
6111
6112 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
6113
6114         * all: Use logmsg().
6115
6116         * utils.c (time_str): Moved from retr.c.
6117         (logmsg): New function.
6118         (logmsg_noflush): Ditto.
6119
6120         * rbuf.c: New file, moved buf_* functions here.
6121
6122         * ftp.c (ftp_expected_bytes): Moved from ftp-basic.c.
6123
6124         * ftp-basic.c (ftp_rest): Use prnum().
6125
6126         * ftp-basic.c: Ditto.
6127
6128         * ftp.c: Use the new reading functions and macros.
6129
6130         * retr.c (buf_initialize): New function.
6131         (buf_initialized_p): Ditto.
6132         (buf_uninitialize): Ditto.
6133         (buf_fd): Ditto.
6134
6135         * http.c (fetch_next_header): Use the BUF_READCHAR macro for
6136         efficiency.
6137         (gethttp): Use alloca() where appropriate.
6138
6139         * retr.c (buf_readchar): Use it.
6140         (buf_peek): Use rstreams.
6141
6142         * retr.h (BUF_READCHAR): New macro.
6143
6144         * init.c (home_dir): Rewritten for clarity.
6145         (init_path): Ditto.
6146
6147         * mswindows.c (ws_backgnd): Made static.
6148         (read_registry): Ditto.
6149         (ws_cleanup): Ditto.
6150         (ws_handler): Ditto.
6151
6152 1998-01-23  Hrvoje Niksic  <hniksic@srce.hr>
6153
6154         * alloca.c: New file.
6155
6156         * Makefile.in (ALLOCA): Define.
6157
6158         * mswindows.c (ws_help): Constify.
6159         (ws_help): Use alloca.
6160
6161         * mswindows.c: Reformat.
6162
6163         * all: Added _(...) annotations for I18N snarfing and translation.
6164
6165         * host.c (ftp_getaddress): Nuke SYSINFO.
6166         (ftp_getaddress): Don't use getdomainname().
6167         (ftp_getaddress): Use uname(), where available.
6168
6169         * http.c (gethttp): Protect a stray fprintf().
6170
6171         * init.c (settime): New function.
6172         (setval): Treat WAIT specially, allowing suffixes like `m' for
6173         minutes, etc.
6174
6175 1998-01-21  Hrvoje Niksic  <hniksic@srce.hr>
6176
6177         * url.c (get_urls_html): Use alloca() for TEMP.
6178
6179 1998-01-21  Jordan Mendelson  <jordy@wserv.com>
6180
6181         * url.c (rotate_backups): New function.
6182
6183         * http.c (gethttp): Ditto.
6184
6185         * ftp.c (getftp): Rotate backups.
6186
6187 1997-12-18  Hrvoje Niksic  <hniksic@srce.hr>
6188
6189         * all: Renamed nmalloc(), nrealloc() and nstrdup() to xmalloc(),
6190         xrealloc() and xstrdup().  Use the new functions.
6191
6192         * url.c (decode_string): Made static.
6193         (has_proto): Ditto.
6194         (parse_dir): Ditto.
6195         (parse_uname): Ditto.
6196         (mkstruct): Ditto.
6197         (construct): Ditto.
6198         (construct_relative): Ditto.
6199
6200         * retr.c (show_progress): Made static.
6201
6202         * recur.c (robots_url): Made static.
6203         (retrieve_robots): Ditto.
6204         (parse_robots): Ditto.
6205         (robots_match): Ditto.
6206
6207         * main.h: Removed.
6208
6209         * main.c (printhelp): Made static.
6210         (hangup): Ditto.
6211
6212         * init.c (comind): Made static.
6213         (defaults): Ditto.
6214         (init_path): Ditto.
6215         (run_wgetrc): Ditto.
6216         (onoff): Ditto.
6217         (setonoff): Ditto.
6218         (setnum): Ditto.
6219         (myatoi): Ditto.
6220         (getperms): Ditto.
6221         (setbytes): Ditto.
6222
6223         * http.c (fetch_next_header): Made static.
6224         (hparsestatline): Ditto.
6225         (hskip_lws): Ditto.
6226         (hgetlen): Ditto.
6227         (hgetrange): Ditto.
6228         (hgettype): Ditto.
6229         (hgetlocation): Ditto.
6230         (hgetmodified): Ditto.
6231         (haccepts_none): Ditto.
6232         (gethttp): Ditto.
6233         (base64_encode_line): Ditto.
6234         (mktime_from_utc): Ditto.
6235         (http_atotm): Ditto.
6236
6237         * html.c (idmatch): Made static.
6238
6239         * host.c (search_host): Made static.
6240         (search_address): Ditto.
6241         (free_hlist): Ditto.
6242
6243         * ftp.c (getftp): Made static.
6244         (ftp_loop_internal): Ditto.
6245         (ftp_get_listing): Ditto.
6246         (ftp_retrieve_list): Ditto.
6247         (ftp_retrieve_dirs): Ditto.
6248         (ftp_retrieve_glob): Ditto.
6249         (freefileinfo): Ditto.
6250         (delelement): Ditto.
6251
6252         * ftp-ls.c (symperms): Made static.
6253         (ftp_parse_unix_ls): Ditto.
6254
6255         * connect.c (select_fd): Made static.
6256
6257         * utils.c (xmalloc): Renamed from nmalloc.
6258         (xrealloc): Renamed from nrealloc.
6259         (xstrdup): Renamed from nstrdup.
6260
6261         * getopt.c (exchange): Use alloca.
6262
6263         * mswindows.c (mycuserid): Use strncpy.
6264
6265         * New files mswindows.c, mswindows.h, sysdep.h.  winjunk.c,
6266         systhings.h, windecl.h and winjunk.h removed.
6267
6268         * mswindows.c (sleep): New function.
6269
6270         * utils.c: Include <windows.h> under Windows.
6271
6272 1997-06-12  Darko Budor  <dbudor@zesoi.fer.hr>
6273
6274         * url.h (URL_UNSAFE): Change default under Windows.
6275
6276         * retr.c (retrieve_from_file): Respect opt.delete_after.
6277
6278         * main.c (main): Call ws_help on Windows.
6279
6280         * winjunk.c (windows_main_junk): New function.
6281
6282         * main.c (main): Junk-process argv[0].
6283
6284         * http.c (mktime_from_utc): Return -1 if mktime failed.
6285
6286         * http.c (http_loop): Ditto.
6287
6288         * ftp.c (ftp_loop_internal): Change title on Windows when using a
6289         new URL.
6290
6291         * winjunk.c (getdomainname): Lots of functions.
6292
6293 1997-06-12  Hrvoje Niksic  <hniksic@srce.hr>
6294
6295         * cmpt.c (strptime_internal): Handle years more correctly for
6296         `%y'.
6297
6298 1997-06-09  Mike Thomas <mthomas@reality.ctron.com>
6299
6300         * http.c (gethttp): Allocate enough space for
6301         `Proxy-Authorization' header.
6302
6303 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
6304
6305         * version.c: Wget/1.4.5 is released.
6306
6307 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
6308
6309         * retr.c (get_contents): Check return value of fwrite more
6310         carefully.
6311
6312 1997-03-30  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
6313
6314         * cmpt.c (strptime_internal) [case 'Y']: Always subtract 1900 from
6315         year, regardless of century.
6316
6317 1997-03-30  Hrvoje Niksic  <hniksic@srce.hr>
6318
6319         * utils.c (isfile): Use `lstat' instead of `stat'.
6320
6321 1997-03-29  Hrvoje Niksic  <hniksic@srce.hr>
6322
6323         * utils.c (numdigit): Use explicit test.
6324
6325 1997-03-21  Hrvoje Niksic  <hniksic@srce.hr>
6326
6327         * http.c (http_loop): Always use `url_filename' to get u->local.
6328
6329 1997-03-20  Hrvoje Niksic  <hniksic@srce.hr>
6330
6331         * url.c: Recognize https.
6332
6333 1997-03-13  Hrvoje Niksic  <hniksic@srce.hr>
6334
6335         * recur.c (recursive_retrieve): Lowercase just the host name.
6336
6337 1997-03-09  Hrvoje Niksic  <hniksic@srce.hr>
6338
6339         * url.c (get_urls_file): Use the correct test.
6340         (get_urls_html): Ditto.
6341
6342 1997-03-07  Hrvoje Niksic  <hniksic@srce.hr>
6343
6344         * connect.c: Reverted addrlen to int.
6345
6346         * init.c (parse_line): Check for -1 instead of NONE.
6347
6348         * version.c: Changed version to 1.4.5.
6349
6350 1997-02-17  Hrvoje Niksic  <hniksic@srce.hr>
6351
6352         * init.c: New option netrc.
6353         (initialize): Don't parse .netrc.
6354
6355         * cmpt.c (recursive): Return rp.
6356         (strptime_internal): Match the long strings first, the abbreviated
6357         second.
6358
6359 1997-02-16  Hrvoje Niksic  <hniksic@srce.hr>
6360
6361         * http.c (check_end): New function.
6362         (http_atotm): Use it.
6363  
6364 1997-02-13  gilles Cedoc  <gilles@cedocar.fr>
6365
6366         * http.c (gethttp): Use them.
6367
6368         * init.c: New options proxy_user and proxy_passwd.
6369
6370 1997-02-14  Hrvoje Niksic  <hniksic@srce.hr>
6371
6372         * ftp.c (ftp_retrieve_list): Create links even if not relative.
6373
6374 1997-02-10  Hrvoje Niksic  <hniksic@srce.hr>
6375
6376         * recur.c (recursive_retrieve): Lowercase the host name, if the
6377         URL is not "optimized".
6378
6379         * host.c (realhost): Return l->hostname, even if it matches with
6380         host.
6381
6382 1997-02-10  Marin Purgar  <pmc@asgard.hr>
6383
6384         * connect.c: Make addrlen size_t instead of int.
6385         (conaddr): Ditto.
6386
6387 1997-02-09  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
6388
6389         * systhings.h: Define S_ISLNK on NeXT too.
6390
6391 1997-02-09  Hrvoje Niksic  <hniksic@srce.hr>
6392
6393         * version.c: Released 1.4.3.
6394
6395         * url.c: Futher update to list of protostrings.
6396         (skip_proto): Skip `//' correctly for FTP and HTTP.
6397
6398         * url.c (get_urls_html): Handle bogus `http:' things a little
6399         different.
6400
6401         * main.c (main): Removed `follow-ftp' from `f'.
6402         (main): Dumped the `prefix-files' and `file-prefix' options and
6403         features; old and bogus.
6404         (main): Exit on failed setval() in `-e'.
6405
6406         * http.c (fetch_next_header): Use it to detect header continuation
6407         correctly.
6408
6409         * retr.c (buf_peek): New function.
6410
6411 1997-02-08  Hrvoje Niksic  <hniksic@srce.hr>
6412
6413         * wget.h: Include time.h and stuff.
6414
6415 1997-02-08  Roger Beeman  <beeman@cisco.com>
6416
6417         * ftp.c: Include <time.h>
6418
6419 1997-02-07  Hrvoje Niksic  <hniksic@srce.hr>
6420
6421         * url.c (findurl): Would read over buffer limits.
6422
6423 1997-02-06  Hrvoje Niksic  <hniksic@srce.hr>
6424
6425         * ftp-ls.c (ftp_parse_unix_ls): Allow spaces in file names.
6426
6427 1997-02-05  Hrvoje Niksic  <hniksic@srce.hr>
6428
6429         * http.c (http_atotm): Initialize tm.is_dst.
6430
6431 1997-02-02  Hrvoje Niksic  <hniksic@srce.hr>
6432
6433         * http.c (gethttp): Don't print the number of retrieved headers.
6434
6435         * main.c (main): New option `--no-clobber', alias for `-nc'.
6436
6437         * url.c: Recognize `https://'.
6438
6439 1997-02-01  Hrvoje Niksic  <hniksic@srce.hr>
6440
6441         * host.c (herrmsg): Don't use h_errno.
6442
6443 1997-01-30  Hrvoje Niksic  <hniksic@srce.hr>
6444
6445         * host.c (accept_domain): Use it.
6446
6447         * main.c (main): New option `--exclude-domains'.
6448
6449         * retr.c (retrieve_url): Use it.
6450         (retrieve_url): Bail out when an URL is redirecting to itself.
6451
6452         * url.c (url_equal): New function.
6453
6454 1997-01-29  Hrvoje Niksic  <hniksic@srce.hr>
6455
6456         * connect.c: Include arpa/inet.h instead of arpa/nameser.h.
6457
6458         * http.c (mk_utc_time): New function.
6459         (http_atotm): Use it; handle time zones correctly.
6460
6461 1997-01-28  Hrvoje Niksic  <hniksic@srce.hr>
6462
6463         * http.c: Ditto.
6464
6465         * ftp-basic.c: Use it instead of WRITE.
6466
6467         * connect.c (iwrite): New function.
6468
6469 1997-01-27  Hrvoje Niksic  <hniksic@srce.hr>
6470
6471         * cmpt.c (mktime): New function.
6472
6473         * netrc.c: Include <sys/types.h>.
6474
6475         * main.c (main): Wouldn't recognize --spider.
6476
6477         * retr.c (rate): Use `B', `KB' and `MB'.
6478         (reset_timer,elapsed_time): Moved from utils.c.
6479
6480         * ftp.c (ftp_retrieve_list): Ditto.
6481
6482         * http.c (http_loop): Don't touch the file if opt.dfp.
6483
6484 1997-01-24  Hrvoje Niksic  <hniksic@srce.hr>
6485
6486         * cmpt.c: New file.
6487
6488         * ftp.c (ftp_retrieve_glob): New argument semantics.
6489         (ftp_retrieve_dirs): Use it.
6490         (ftp_loop): Ditto.
6491
6492         * html.c (htmlfindurl): Recognize `'' as the quote char.
6493
6494 1997-01-23  Hrvoje Niksic  <hniksic@srce.hr>
6495
6496         * ftp.c (ftp_loop_internal): Use it.
6497
6498         * utils.c (remove_link): New function.
6499
6500 1997-01-22  Hrvoje Niksic  <hniksic@srce.hr>
6501
6502         * retr.c (retrieve_url): Require STRICT redirection URL.
6503
6504         * url.c (parseurl): New argument STRICT.
6505
6506         * http.c (hparsestatline): Be a little-bit less strict about
6507         status line format.
6508
6509 1997-01-21  Hrvoje Niksic  <hniksic@srce.hr>
6510
6511         * http.c (gethttp): Use it.
6512
6513         * main.c (main): Don't use '<digit>' as options.
6514
6515         * init.c: New option ignore_length.
6516
6517         * http.c (gethttp): Ditto.
6518         (http_loop): Check for redirection without Location:.
6519         (gethttp): Don't print Length unless RETROKF.
6520
6521         * ftp.c (getftp): Use it.
6522
6523         * url.c (mkalldirs): New function.
6524
6525         * utils.c (mymkdir): Don't check for existing non-directory.
6526
6527         * url.c (mkstruct): Don't create the directory.
6528
6529 1997-01-20  Hrvoje Niksic  <hniksic@srce.hr>
6530
6531         * init.c (setval): Removed NO_RECURSION checks.
6532
6533 1997-01-19  Hrvoje Niksic  <hniksic@srce.hr>
6534
6535         * version.c: "Released" 1.4.3-pre2.
6536
6537         * recur.c (recursive_retrieve): Bypass host checking only if URL
6538         is ftp AND parent URL is not ftp.
6539
6540         * ftp-basic.c (ftp_request): Print out Turtle Power.
6541
6542         * ftp.c (ftp_loop): Call ftp_retrieve_glob with 0 if there's no
6543         wildcard.
6544         (ftp_retrieve_glob): Call ftp_loop_internal even on empty list, if
6545         not glob.
6546
6547         * http.c (gethttp): Be a little bit smarter about status codes.
6548
6549         * recur.c (recursive_retrieve): Always reset opt.recursive when
6550         dealing with FTP.
6551
6552 1997-01-18  Hrvoje Niksic  <hniksic@srce.hr>
6553
6554         * retr.c (retrieve_url): New variable location_changed; use it for
6555         tests instead of mynewloc.
6556         (retrieve_url): Allow heuristic adding of html.
6557
6558         * url.c (url_filename): Don't use the `%' in Windows file names.
6559
6560         * http.c (http_loop): Always time-stamp the local file.
6561
6562         * http.c (http_loop): Ditto.
6563
6564         * ftp.c (ftp_retrieve_list): Use it.
6565
6566         * utils.c (my_touch): New function.
6567
6568         * ftp.c (ftp_retrieve_list): Use #ifdef HAVE_STRUCT_UTIMBUF
6569         instead of #ifndef NeXT.
6570
6571         * utils.c (strptime): New version, by Ulrich Drepper.
6572
6573 1997-01-17  Hrvoje Niksic  <hniksic@srce.hr>
6574
6575         * http.c (haccepts_none): Renamed from `haccepts_bytes'.
6576         (gethttp): If haccepts_none(), disable ACCEPTRANGES.
6577         (http_loop): Would remove ACCEPTRANGES.
6578
6579         * ftp.c (getftp): Call ftp_list with NULL.
6580
6581 1997-01-15  Hrvoje Niksic  <hniksic@srce.hr>
6582
6583         * html.c (ftp_index): Don't print minutes and seconds if we don't
6584         know them; beautify the output.
6585
6586         * ftp.c (getftp): Don't close the socket on FTPNSFOD.
6587
6588 1997-01-14  Hrvoje Niksic  <hniksic@srce.hr>
6589
6590         * utils.c (strptime): New function.
6591         (strptime): Don't use get_alt_number.
6592         (strptime): Don't use locale.
6593         (match_string): Made it a function.
6594
6595 1997-01-12  Hrvoje Niksic  <hniksic@srce.hr>
6596
6597         * http.c (http_atotm): New function.
6598         (http_loop): Use it.
6599
6600         * atotm.c: Removed from the distribution.
6601
6602         * http.c (base64_encode_line): Rewrite.
6603
6604 1997-01-09  Hrvoje Niksic  <hniksic@srce.hr>
6605
6606         * ftp.c (getftp): Use ftp_expected_bytes; print size.
6607
6608         * ftp-basic.c (ftp_response): Use ftp_last_respline.
6609         (ftp_expected_bytes): New function.
6610
6611         * ftp.c (getftp): Print the unauthoritative file length.
6612
6613         * ftp-ls.c: Renamed from ftp-unix.c.
6614         (ftp_parse_ls): Moved from ftp.c.
6615         (ftp_parse_unix_ls): Recognize seconds in time spec.
6616         (ftp_parse_unix_ls): Recognize year-less dates of the previous
6617         year.
6618
6619 1997-01-08  Hrvoje Niksic  <hniksic@srce.hr>
6620
6621         * ftp-basic.c: Don't declare errno if #defined.
6622
6623         * host.c (ftp_getaddress): Check for sysinfo legally.
6624
6625 1997-01-08  Darko Budor  <dbudor@diana.zems.fer.hr>
6626
6627         * connect.c (iread): Use READ.
6628
6629 1996-12-23  Hrvoje Niksic  <hniksic@srce.hr>
6630
6631         * url.c: Recognize finger, rlogin, tn3270, mid and cid as valid
6632         schemes.
6633
6634 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
6635
6636         * host.c (ftp_getaddress): Allow `.' in hostname.
6637
6638 1996-12-26  Darko Budor <dbudor@zems.fer.hr>
6639
6640         * wget.h: READ and WRITE macros for use instead of read and write
6641         on sockets, grep READ *.c, grep WRITE *.c
6642
6643         * wsstartup.c: new file - startup for winsock
6644
6645         * wsstartup.h: new file
6646
6647         * win32decl.h: new file - fixup for <errno.h> and winsock trouble
6648
6649         * configure.bat: Configure utility for MSVC
6650
6651         * src/Makefile.ms,config.h.ms: new files for use with MSVC 4.x
6652
6653 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
6654
6655         * version.c: Released 1.4.3-pre.
6656
6657         * utils.c (prnum): Accept long.
6658         (legible): Use prnum().
6659
6660         * connect.c (make_connection): Accept port as short.
6661         (bindport): Ditto.
6662
6663         * http.c (gethttp): Use search_netrc.
6664
6665 1996-12-21  Hrvoje Niksic  <hniksic@srce.hr>
6666
6667         * ftp.c (getftp): Use search_netrc.
6668
6669         * netrc.c (free_netrc): New function.
6670
6671         * init.c (home_dir): New function.
6672
6673         * url.c (convert_links): Allow REL2ABS changes.
6674
6675 1996-12-21  Gordon Matzigkeit  <gord@gnu.ai.mit.edu>
6676
6677         * netrc.c: New file.
6678         (parse_netrc, maybe_add_to_list): New functions.
6679
6680 1996-12-17  Hrvoje Niksic  <hniksic@srce.hr>
6681
6682         * retr.c (retrieve_url): Reset opt.recursion before calling
6683         ftp_loop if it is reached through newloc.
6684
6685         * init.c (run_wgetrc): Print the wgetrc path too, when reporting
6686         error; don't use "Syntax error", since we don't know if it is
6687         really a syntax error.
6688
6689 1996-12-16  Hrvoje Niksic  <hniksic@srce.hr>
6690
6691         * utils.c (acceptable): Extract the filename part of the path.
6692
6693         * recur.c (recursive_retrieve): Call acceptable() with the right
6694         argument; would bug out on wildcards.
6695
6696         * init.c (parse_line): Likewise.
6697
6698         * html.c (htmlfindurl): Cast to char * when calling stuff.
6699
6700 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
6701
6702         * ftp.c (getftp): Use ftp_pasv.
6703
6704         * ftp-basic.c (ftp_request): Accept NULL value.
6705         (ftp_pasv): New function.
6706
6707         * options.h (struct options): Add passive FTP option.
6708
6709 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
6710
6711         * url.c (parseurl): Debug output.
6712
6713         * utils.c (path_simplify): New one, adapted from bash's
6714         canonicalize_pathname().
6715
6716 1996-12-14  Hrvoje Niksic  <hniksic@srce.hr>
6717
6718         * ftp.c (getftp): Don't discard the buffer.
6719
6720         * retr.c (get_contents): New parameter nobuf.
6721
6722 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
6723
6724         * html.c (htmlfindurl): Recognize <meta contents="d; URL=...".
6725
6726         * init.c (setval): Strip the trailing slashes on CVECDIR.
6727
6728 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
6729
6730         * init.c: Make excludes and includes under CVECDIR instead of
6731         CVEC.
6732
6733 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
6734
6735         * url.c (get_urls_html): Skip "http:".
6736
6737 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
6738
6739         * utils.c (strcasecmp): From glibc.
6740         (strncasecmp): Also.
6741         (strstr): Also.
6742
6743         * url.c: Added javascript: to the list of URLs prefixes.
6744
6745 1996-12-12  Shawn McHorse  <riffraff@txdirect.net>
6746
6747         * recur.c (retrieve_robots): Print the warning message only if
6748         verbose.
6749
6750 1996-12-12  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
6751
6752         * ftp.c (ftp_retrieve_list): Use NeXT old utime interface.
6753
6754 1996-12-12  Hrvoje Niksic  <hniksic@srce.hr>
6755
6756         * systhings.h: New file.
6757
6758         * ../configure.in: Check for utime.h
6759
6760         * ftp.c: Check whether we have unistd.h.
6761
6762 1996-11-27  Hrvoje Niksic  <hniksic@srce.hr>
6763
6764         * recur.c (recursive_retrieve): Send the canonical URL as referer.
6765         (recursive_retrieve): Call get_urls_html with the canonical URL.
6766
6767 1996-12-13  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
6768
6769         * (configure.in, config.h.in, src/Makefile.in, src/*.[ch]): Add
6770         ansi2knr support for compilers which don't support ANSI style
6771         function prototypes and signatures.
6772
6773         * (aclocal.m4, src/ansi2knr.c, src/ansi2knr.1): New files.
6774
6775 1996-11-26  Hrvoje Niksic  <hniksic@srce.hr>
6776
6777         * url.c: Use it; Recognize paths ending with "." and ".." as
6778         directories.
6779         (url_filename): Append .n whenever file exists and could be a
6780         directory.
6781
6782         * url.h (ISDDOT): New macro.
6783
6784         * init.c (parse_line): Use unsigned char.
6785
6786         * url.c (get_urls_html): Cast to unsigned char * when calling
6787         htmlfindurl.
6788
6789         * html.c (htmlfindurl): Use unsigned char.
6790
6791         * version.c: Changed version to 1.4.3.
6792
6793 1996-11-25  Hrvoje Niksic  <hniksic@srce.hr>
6794
6795         * version.c: Released 1.4.2.
6796
6797         * ftp.c (getftp): Simplified assertion.
6798         (ftp_loop_internal): Remove symlink before downloading.
6799         (ftp_retrieve_list): Unlink the symlink name before attempting to
6800         create a symlink!
6801
6802         * options.h (struct options): Renamed print_server_response to
6803         server_response.
6804
6805         * ftp.c (rel_constr): Removed.
6806         (ftp_retrieve_list): Don't use it.
6807         (ftp_retrieve_list): Use opt.retr_symlinks.
6808
6809 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
6810
6811         * main.c (main): New option retr_symlinks.
6812
6813         * url.c (convert_links): Print verbose message.
6814
6815 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
6816
6817         * http.c (http_loop): Reset newloc in the beginning of function;
6818         would cause FMR in retrieve_url.
6819
6820 1996-11-23  Hrvoje Niksic  <hniksic@srce.hr>
6821
6822         * recur.c (convert_all_links): Find the URL of each HTML document,
6823         and feed it to get_urls_html; would bug out.
6824         (convert_all_links): Check for l2 instead of dl; removed dl.
6825
6826         * url.c (convert_links): Don't refer to freed newname.
6827
6828         * recur.c (recursive_retrieve): Add this_url to urls_downloaded.
6829
6830         * main.c (main): Print the OS_TYPE in the debug output, too.
6831
6832         * recur.c (recursive_retrieve): Check for opt.delete_after.
6833
6834         * main.c (main): New option delete-after.
6835
6836         * init.c (setval): Cleaned up.
6837
6838 1996-11-21  Hrvoje Niksic  <hniksic@srce.hr>
6839
6840         * Makefile.in (wget): Make `wget' the default target.
6841
6842         * ftp.c (ftp_loop_internal): Move noclobber checking out of the
6843         loop.
6844         (ftp_retrieve_list): Warn about non-matching sizes.
6845
6846         * http.c (http_loop): Made -nc non-dependent on opt.recursive.
6847
6848         * init.c (setnum): Renamed from setnuminf; New argument flags.
6849         (setval): Use it.
6850
6851         * main.c (main): Sorted the options.
6852         (main): New option --wait.
6853
6854 1996-11-21  Shawn McHorse  <riffraff@txdirect.net>
6855
6856         * html.c (htmlfindurl): Reset s->in_quote after getting out of
6857         quotes.
6858
6859 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
6860
6861         * version.c: Changed version to 1.4.2.
6862
6863 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
6864
6865         * version.c: Released 1.4.1.
6866
6867         * html.c (html_quote_string): New function.
6868         (ftp_index): Use it.
6869         (htmlfindurl): A more gentle ending debug message.
6870
6871         * ftp.c (ftp_loop): Check for opt.htmlify.
6872
6873         * init.c: New command htmlify.
6874
6875         * ftp.c (getftp): Nicer error messages, with `'-encapsulated
6876         strings.
6877         (ftp_loop): Print size of index.html.
6878
6879         * init.c (setval): Implement "styles".
6880
6881         * main.c (main): New option dotstyle.
6882
6883 1996-11-19  Hrvoje Niksic  <hniksic@srce.hr>
6884
6885         * ftp.c (getftp): Close the master socket in case of errors, after
6886         bindport().
6887
6888         * connect.c (bindport): Initialize msock to -1.
6889
6890         * ftp.c (getftp): Initialize dtsock to -1.
6891
6892         * connect.c (closeport): Don't close sock if sock == -1.
6893
6894 1996-11-18  Hrvoje Niksic  <hniksic@srce.hr>
6895
6896         * init.c (setnuminf): Nuked default value -- just leave unchanged.
6897         (setval): Don't send default values.
6898         (defaults): Use DEFAULT_TIMEOUT -- aaargh.
6899
6900         * options.h (struct options): Use long for dot_bytes.
6901
6902         * init.c (setquota): Renamed to setbytes.
6903         (setval): Use setbytes on DOTBYTES.
6904
6905 1996-11-17  Hrvoje Niksic  <hniksic@srce.hr>
6906
6907         * ftp.c (getftp): Initialize con->dltime.
6908
6909         * recur.c (recursive_retrieve): Use same_host instead of
6910         try_robots; simply load robots_txt whenever the host is changed.
6911         (recursive_retrieve): Free forbidden before calling parse_robots.
6912
6913 1996-11-16  Hrvoje Niksic  <hniksic@srce.hr>
6914
6915         * retr.c (show_progress): Use them.
6916
6917         * options.h (struct options): New options dot_bytes, dots_on_line
6918         and dot_spacing.
6919
6920 1996-11-16  Mark Boyns  <boyns@sdsu.edu>
6921
6922         * recur.c (recursive_retrieve): Retrieve directories regardless of
6923         acc/rej rules; check for empty u->file.
6924
6925 1996-11-14  Hrvoje Niksic  <hniksic@srce.hr>
6926
6927         * init.c (setval): Use it.
6928
6929         * utils.c (merge_vecs): New function.
6930
6931         * init.c (setval): Reset the list-type functions when encountering
6932         "".
6933
6934 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
6935
6936         * recur.c (recursive_retrieve): Use base_url instead of this_url
6937         for no_parent.
6938
6939 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
6940
6941         * html.c (htmlfindurl): Reset s->in_quote after exiting the quote.
6942
6943 1996-11-13  Hrvoje Niksic  <hniksic@srce.hr>
6944
6945         * utils.c (sepstring): Rewrote; don't use strtok.
6946
6947         * recur.c (recursive_retrieve): Enter assorted this_url to slist
6948         when running the first time.
6949         (retrieve_robots): Warn to ignore errors when robots are loaded.
6950
6951         * utils.c (load_file): Moved from url.c.
6952
6953         * http.c: Made static variables const too in h* functions.
6954
6955         * main.c (main): Renamed --continue-ftp to --continue.
6956
6957         * recur.c (recursive_retrieve): Use it.
6958
6959         * utils.c (frontcmp): New function.
6960
6961         * url.c (accdir): New function.
6962
6963         * html.c (htmlfindurl): Recognize <area href=...>.
6964
6965         * ftp.c (ftp_retrieve_dirs): Implemented opt.includes.
6966
6967         * init.c (setval): Free the existing opt.excludes and
6968         opt.includes, if available.
6969
6970         * main.c (main): New option -I.
6971
6972 1996-11-12  Hrvoje Niksic  <hniksic@srce.hr>
6973
6974         * ftp.c (ftp_retrieve_glob): Do not weed out directories.
6975
6976         * version.c: Changed version to 1.4.1.
6977
6978 1996-11-11  Hrvoje Niksic  <hniksic@srce.hr>
6979
6980         * version.c: Released 1.4.0.
6981
6982 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
6983
6984         * main.c (main): Free com and val after parse_line.
6985         (printhelp): Reorder the listing.
6986
6987         * http.c: More robust header parsing.
6988
6989         * http.c: Allow any number of spaces, or no spaces, precede ':'.
6990         (hskip_lws): New function.
6991         (haccepts_bytes): New function.
6992         (gethttp): Use it.
6993
6994         * init.c (setval): Check header sanity.
6995         (setval): Allow resetting of headers.
6996
6997 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
6998
6999         * http.c (http_loop): Don't use has_wildcards.
7000
7001         * http.c (gethttp): Free all_headers -- would leak.
7002
7003         * recur.c (recursive_retrieve): Initialize depth to 1 instead of
7004         0 -- this fixes a long-standing bug in -rl.
7005
7006 1996-11-09  Hrvoje Niksic  <hniksic@srce.hr>
7007
7008         * ftp.c: Use -1 as "impossible" value for con->fd.
7009
7010         * url.h (URL_SEPARATOR): Don't treat `*' and `+' as separators.
7011
7012         * init.c (parse_line): Use isalpha.
7013
7014         * ftp-unix.c: Use HAVE_UNISTD_H.
7015
7016         * mtch.c (has_wildcards): Don't match \.
7017
7018         * http.c (http_loop): Warn on HTTP wildcard usage.
7019
7020 1996-11-08  Hrvoje Niksic  <hniksic@srce.hr>
7021
7022         * url.c (url_filename): Do not create numbered suffixes if
7023         opt.noclobber -- would bug out on -nc.
7024
7025 1996-11-07  Hrvoje Niksic  <hniksic@srce.hr>
7026
7027         * recur.c (parse_robots): Don't chuck out the commands without
7028         arguments (`Disallow:<empty>' didn't work).
7029         (parse_robots): Compare versions lowercase.
7030         (parse_robots): Match on base_version, not version_string!
7031         (parse_robots): Handle comments properly.
7032         (parse_robots): Match versions in a sane way.
7033
7034         * init.c: Print nicer error messages.
7035
7036         * version.c: Changed version to 1.4.0.
7037
7038 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
7039
7040         * version.c: Released 1.4.0-test2.
7041
7042         * init.c (run_wgetrc): Close fp.
7043
7044         * ftp.c (ftp_retrieve_dirs): Allocate the correct length for
7045         u->dir.
7046
7047 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
7048
7049         * init.c (setquota): Allow inf as quota specification.
7050
7051 1996-11-05  Hrvoje Niksic  <hniksic@srce.hr>
7052
7053         * ftp.c (ftp_retrieve_dirs): Return QUOTEXC if quota exceeded.
7054         (ftp_retrieve_glob): Return QUOTEXC on quota exceeded.
7055
7056         * main.c (main): Check for quota by comparison with downloaded
7057         stuff, not from status.
7058
7059         * connect.c (select_fd): Should compile on HPUX without warnings now.
7060
7061         * ftp.c (ftp_get_listing): Check whether ftp_loop_internal
7062         returned RETROK.
7063
7064 1996-11-04  Hrvoje Niksic  <hniksic@srce.hr>
7065
7066         * ftp.c (ftp_retrieve_glob): Print the pattern nicely.
7067         (getftp): Return FTPRETRINT on control connection error.
7068
7069         * html.c (htmlfindurl): Recognize <embed src=...> and
7070         <bgsound src=...>.
7071         (ftp_index): Handle username and password correctly.
7072
7073         * main.c (main): Made `-np' a synonim for --no-parent.
7074
7075 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
7076
7077         * ftp.c (ftp_loop): Check for opt.ftp_glob too before calling
7078         ftp_retrieve_glob.
7079
7080         * version.c: Changed version to 1.4.0-test2.
7081
7082 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
7083
7084         * version.c: Released 1.4.0-test1.
7085
7086         * url.c (str_url): Don't use sprintf when creating %2F-prefixed
7087         directory.
7088         (convert_links): Removed definition of make_backup.
7089
7090         * http.h: Removed definition of MAX_ERROR_LENGTH.
7091
7092         * host.c (ftp_getaddress): Check for "(none)" domains.
7093
7094         * ftp.c (ftp_retrieve_dirs): Docfix.
7095
7096         * http.c (gethttp): Use ou->referer instead of u->referer.
7097
7098         * retr.c (retrieve_url): Reset u to avoid freeing pointers twice;
7099         this was known to cause coredumps on Linux.
7100
7101         * html.c (ftp_index): Cast the argument to local_time to time_t *.
7102
7103 1996-11-01  Hrvoje Niksic  <hniksic@srce.hr>
7104
7105         * connect.c (select_fd): Use exceptfds -- once and for all.
7106
7107         * retr.c (retrieve_from_file): Free filename after
7108         recursive_retrieve.
7109         (retrieve_from_file): Send RFIRST_TIME to recursive_retrieve on
7110         first-time retrieval.
7111         (retrieve_from_file): Return uerr_t; new argument, count.
7112         (retrieve_from_file): Break on QUOTEXC.
7113
7114         * init.c (setquota): Fixed a bug that caused rejection of
7115         non-postfixed values..
7116
7117 1996-10-30  Hrvoje Niksic  <hniksic@srce.hr>
7118
7119         * version.c: Changed name to wget.
7120
7121         * connect.c (iread): Smarter use of select.
7122         (select_fd): Set errno on timeout.  If not timeout, return 1
7123         instead of 0.
7124
7125 1996-10-29  Hrvoje Niksic  <hniksic@srce.hr>
7126
7127         * ftp.c (ftp_loop_internal): Don't use con->cmd before
7128         establishing it.
7129
7130 1996-10-26  Hrvoje Niksic  <hniksic@srce.hr>
7131
7132         * http.c (gethttp): Send correct referer when using proxy.
7133         (gethttp): Use struct urlinfo ou to access the relevant data; send
7134         correct authorization in all cases.
7135
7136         * host.c (same_host): Use skip_uname to skip username and
7137         password.
7138
7139         * url.c (skip_uname): New function.
7140         (parseurl): Use it.
7141
7142         * host.c (same_host): Do not assume HTTP -- same_host should now
7143         be totally foolproof.
7144
7145         * url.c (skip_proto): New function.
7146         (parse_uname): Use it.
7147
7148         * http.c (gethttp): Create local user and passwd from what is
7149         given.
7150
7151         * url.c (parseurl): Check for HTTP username and password too.
7152
7153 1996-10-25  Hrvoje Niksic  <hniksic@srce.hr>
7154
7155         * config.h.in: Removed #define gethostbyname R...
7156
7157 1996-10-22  Hrvoje Niksic  <hniksic@srce.hr>
7158
7159         * version.c: Changed version to 1.4.0-test1.
7160
7161 1996-10-21  Hrvoje Niksic  <hniksic@srce.hr>
7162
7163         * version.c: "Released" 1.4b29.
7164
7165         * recur.c (recursive_retrieve): Check for no_parent.
7166
7167         * init.c (setval): Option update.
7168
7169         * main.c (main): New option no-parent.
7170
7171         * options.h (struct options): New variable no_parent.
7172
7173         * recur.c (recursive_retrieve): Only files are checked for
7174         opt.accepts and opt.rejects.
7175         (recursive_retrieve): Check directories for opt.excludes.
7176         (recursive_retrieve): Make the dir absolute when checking
7177         opt.excludes.
7178
7179         * html.c (htmlfindurl): Recognize <applet code=...> and <script
7180         src=...>
7181
7182 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
7183
7184         * ftp.c (getftp): Do not line-break assert entries at all.
7185         (ftp_retrieve_dirs): docfix.
7186
7187         * connect.c (select_fd): Use fd + 1 as nfds.
7188
7189         * version.c: Changed version to 1.4b29.
7190
7191 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
7192
7193         * version.c: "Released" 1.4b28.
7194
7195         * ftp.c (ftp_loop_internal): Check whether f->size == len and
7196         don't continue the loop if it is.
7197         (ftp_get_listing): Remove list_filename on unsuccesful loop.
7198
7199 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
7200
7201         * ftp.c (ftp_loop_internal): Use strcpy to initialize tmp.
7202         (getftp): Do not use multiline assert.
7203
7204         * http.c (hparsestatline): Use mjr and mnr instead of major and
7205         minor, which don't compile on Ultrix.
7206         (http_loop): Use strcpy() to initialize tmp.
7207
7208         * all: Geturl -> Fetch
7209
7210 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
7211
7212         * recur.c (parse_robots): Fixed an off-by-one bug when looking for
7213         ':'.
7214
7215         * html.c (htmlfindurl): Fixed several possible off-by-one bugs by
7216         moving `bufsize &&' to the beginning of each check in for-loops.
7217
7218         * recur.c (parse_robots): Close fp on exit.
7219
7220         * url.c (mymkdir): Check for each directory before creating.
7221
7222 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
7223
7224         * version.c: Changed version to 1.4b28.
7225
7226 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
7227
7228         * version.c: "Released" 1.4b27.
7229
7230         * init.c (parse_line): Use isspace.
7231         (parse_line): Free *com on all errors.
7232
7233         * ftp.c (ftp_loop): Change FTPOK to RETROK before exiting.
7234         (delelement): Use next instead of f->next and prev instead of
7235         f->prev.
7236         (delelement): Free the members of the deleted element.
7237
7238         * http.c (http_loop): Do not return RETROK on code != 20x.
7239
7240         * init.c (cleanup): Free opt.user_header.
7241         (cleanup): Free opt.domains.
7242
7243         * url.c (freelists): Moved to cleanup().
7244
7245         * http.c (hparsestatline): Docfix.
7246
7247         * main.c (main): Return with error status on unsuccesful
7248         retrieval.
7249
7250         * init.c (setval): Do not remove listing when mirroring.
7251
7252         * url.c (url_filename): Use opt.fileprefix.
7253
7254         * ftp.c (ftp_get_listing): Use url_filename to get filename for
7255         .listing.
7256
7257         * main.c (main): New option: -rn.
7258
7259 1996-10-15  Hrvoje Niksic  <hniksic@srce.hr>
7260
7261         * Makefile.in (RM): Added RM = rm -f.
7262
7263         * host.c (clean_hosts): New function.
7264         (free_hlist): Just free the list, no reset.
7265
7266         * version.c: Changed version to 1.4b27.
7267
7268 1996-10-13  Hrvoje Niksic  <hniksic@srce.hr>
7269
7270         * version.c: "Released" 1.4b26.
7271
7272         * retr.c (retrieve_from_file): If call get_urls_html with
7273         opt.spider to make it silent in spider mode.
7274
7275         * url.c (str_url): Use CLEANDUP instead of URL_CLEANSE.
7276
7277         * url.h (CLEANDUP): New macro.
7278
7279         * http.c (gethttp): Fixed a bug that freed location only when it
7280         was NULL.
7281
7282         * retr.c (retrieve_url): Free url if it will not be stored,
7283         i.e. newloc is NULL.
7284
7285         * html.c (htmlfindurl): Handle exiting from quotes correctly; the
7286         old version would bug out on <a href="x#a"href="y">.
7287
7288         * html.h (state_t): New member in_quote.
7289
7290         * html.c (htmlfindurl): Free s->attr at the beginning of
7291         attr-loop.
7292
7293         * recur.c (recursive_retrieve): Recognize RCLEANUP.
7294         (tried_robots): Make hosts a global variable.
7295         (recursive_retrieve): Free constr after URL host optimization.
7296         (tried_robots): Free urlinfo before exiting.
7297
7298         * utils.c (free_slist): New function.
7299
7300         * recur.c (recursive_retrieve): Use flags to add cleanup
7301         possibility.
7302
7303         * main.c (main): Free filename after recursive_retrieve.
7304
7305         * http.c (gethttp): Store successful responses too.
7306
7307 1996-10-12  Hrvoje Niksic  <hniksic@srce.hr>
7308
7309         * all: Constified the whole source.  This required some minor
7310         changes in many functions in url.c, possibly introducing bugs -- I
7311         hope not.
7312
7313         * ftp-basic.c: Removed last_respline.
7314
7315         * http.c (gethttp): Free type.
7316
7317         * host.c (same_host): Free real1 and real2.
7318
7319         * main.c (main): New option --spider.
7320
7321         * retr.c (get_contents): Don't reset errno.
7322
7323         * main.c (main): Sorted the options.
7324
7325         * connect.c (iread): Set errno to ETIMEDOUT only if it was left
7326         uninitialized by select().
7327
7328         * http.c (http_loop): Print the time when the connection is
7329         closed.
7330         (gethttp): Debug-print the HTTP request.
7331
7332 1996-10-11  Hrvoje Niksic  <hniksic@srce.hr>
7333
7334         * connect.c (iread): Do not try reading after timeout.
7335
7336         * main.c (main): Would bug out on -T.
7337
7338         * connect.c (select_fd): Do not use exceptfds.
7339         (iread): Set ETIMEDOUT on select_fd <= 0.
7340
7341         * version.c: Changed version to 1.4b26.
7342
7343 1996-10-10  Hrvoje Niksic  <hniksic@srce.hr>
7344
7345         * version.c: "Released" 1.4b25.
7346
7347         * ftp-unix.c (ftp_parse_unix_ls): Ignore lines without file name
7348         or link name.
7349
7350         * http.c (gethttp): Add errcode to struct hstat.
7351         (http_loop): Use it.
7352
7353         * url.c (no_proxy_match): Simplify using char** for no_proxy.
7354
7355         * options.h (struct options): Make opt.no_proxy a vector.
7356
7357         * utils.c (sepstring): Use !*s instead of !strlen(s).
7358
7359         * init.c (setval): Set opt.maxreclevel to 0 on --mirror.
7360         (getperms): Use ISODIGIT instead of isdigit.
7361
7362         * ftp.c (getftp): Print time.
7363
7364         * main.c (main): Use legible output of downloaded quantity.
7365
7366         * ftp.c (getftp): Use elapsed_time().
7367         (ftp_loop_internal): Use rate().
7368
7369         * http.c (http_loop): Add download ratio output; Use rate().
7370
7371         * utils.c (rate): New function.
7372
7373 1996-10-09  Hrvoje Niksic  <hniksic@srce.hr>
7374
7375         * http.c (http_loop): Use timer.
7376
7377         * ftp.c: Split to ftp-basic.c and ftp.c
7378
7379         * utils.c (reset_timer): New function.
7380         (elapsed_time): New function.
7381
7382         * retr.c (show_progress): Make bytes_in_line and offs long; should
7383         work on 16-bit machines.
7384
7385 1996-10-08  Hrvoje Niksic  <hniksic@srce.hr>
7386
7387         * url.c (in_acclist): New argument backward.
7388
7389         * ftp.c (ftp_retrieve_glob): Use acceptable() to determine whether
7390         a file should be retrieved according to suffix.
7391         (ftp_get_listing): Check the return value of unlink; Do not call
7392         ftp_retrieve_dirs if depth reached maxreclevel.
7393         (ftp_retrieve_dirs): Check whether the directory is in
7394         exclude-list.
7395
7396         * main.c (main): Print the version number at the beginning of
7397         DEBUG output.
7398         (main): Use strrchr when creating exec_name.
7399
7400         * ftp.c (ftp_retrieve_glob): Do not close control connection.
7401
7402         * version.c: Changed version to 1.4b25.
7403
7404 1996-10-07  Hrvoje Niksic  <hniksic@srce.hr>
7405
7406         * version.c: "Released" 1.4b24.
7407
7408         * Makefile.in: Rewrite.
7409
7410         * ftp.c (ftp_loop_internal): Likewise.
7411
7412         * retr.c (time_str): Check for failed time().
7413
7414         * html.c (htmlfindurl): Recognize <fig src> and <overlay src> from
7415         HTML3.0.
7416
7417         * retr.c (time_str): Return time_t *.
7418
7419         * connect.c (bindport): Close msock on unsuccesful bind.
7420         (bindport): The same for getsockname and listen.
7421
7422         * retr.c (retrieve_url): Allow any number of retries on
7423         proxy.
7424
7425         * http.c (gethttp): Do not treat errno == 0 as timeout.
7426         (http_loop): Likewise.
7427         (http_loop): Cosmetic changes.
7428
7429         * connect.c (iread): Set errno to ETIMEDOUT in case of timeout.
7430
7431         * retr.c (get_contents): Reset errno.
7432
7433         * ftp.c (getftp): Minor fixes.
7434
7435 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
7436
7437         * http.c: Do not use backups.
7438
7439         * geturl.1 (WARNING): Warn that man-page could be obsolete.
7440
7441         * getopt.c (getopt_long): Moved to getopt.c
7442
7443         * geturl.texi: Enhanced.
7444
7445         * main.c (main): Use it.
7446
7447         * recur.c (convert_all_links): New function.
7448
7449         * utils.c (add_slist): New argument flags.
7450
7451         * recur.c (recursive_retrieve): Update a list of downloaded URLs.
7452         (parse_robots): Do not chuck out empty value fields.
7453         (parse_robots): Make yourself welcome on empty Disallow.
7454
7455         * version.c: Changed version to 1.4b24.
7456
7457 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
7458
7459         * version.c: "Released" 1.4b23.
7460
7461         * ftp.c (ftp_loop_internal): Get the time after getftp.
7462
7463         * Makefile.in (install.info): New target.
7464         (install): Use it.
7465
7466         * http.c (http_loop): Fix output when doing -O.
7467
7468 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
7469
7470         * geturl.texi: New file.
7471
7472         * main.c (main): Do not print the warnings and download summary if
7473         opt.quiet is set.
7474
7475         * version.c: Changed version to 1.4b23.
7476
7477 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
7478
7479         * "Released" 1.4b22.
7480
7481         * atotm.c (atotm): Use True and False instead of TRUE and FALSE,
7482         to avoid redefinition warnings.
7483
7484         * host.c (store_hostaddress): Use memcpy() to copy the address
7485         returned by inet_addr.
7486
7487         * version.c: Changed version to 1.4b22.
7488
7489 1996-10-04  Hrvoje Niksic  <hniksic@srce.hr>
7490
7491         * version.c: "Released" 1.4b21.
7492
7493         * ftp-unix.c (ftp_parse_ls): Renamed to ftp_parse_unix_ls.
7494
7495         * ftp.c (ftp_port): Use conaddr.
7496         (getftp): Print the file length.
7497         (ftp_retrieve_list): Check the stamps of plain files only.
7498
7499         * connect.c (closeport): Do not call shutdown().
7500         (conaddr): New function.
7501
7502         * html.c (ftp_index): Made it dfp-aware.
7503
7504         * init.c (cleanup): New name of freemem. Close opt.dfp.
7505
7506         * ftp.c (getftp): Use opt.dfp if it is set.
7507
7508         * ftp-unix.c (ftp_parse_ls): Recognize time in h:mm format.
7509
7510         * ftp.c (ftp_retrieve_dirs): Fixed a bug that caused incorrect
7511         CWDs to be sent with recursive FTP retrievals.
7512
7513 1996-10-03  Hrvoje Niksic  <hniksic@srce.hr>
7514
7515         * recur.c (parse_robots): Made it more compliant with "official"
7516         specifications.
7517
7518         * http.c: New function.
7519
7520         * ftp-unix.c (ftp_parse_ls): Added better debug output.
7521
7522         * ftp.c (getftp): Print out the LIST in case of
7523         opt.print_server_response.
7524
7525         * version.c: Changed version to 1.4b21.
7526
7527 1996-10-01  Hrvoje Niksic  <hniksic@srce.hr>
7528
7529         * version.c: "Released" 1.4b20.
7530
7531         * README: Update.
7532
7533         * http.c (gethttp): Preset lengths of various headers instead of
7534         calculating them dynamically.
7535         (gethttp): Check for 206 partial contents.
7536
7537 1996-09-30  Hrvoje Niksic  <hniksic@srce.hr>
7538
7539         * configure.in: Set SYSTEM_GETURLRC to $libdir/geturlrc
7540
7541         * http.c (gethttp): Send the port number in the Host: header.
7542
7543 1996-09-29  Hrvoje Niksic  <hniksic@srce.hr>
7544
7545         * http.c (gethttp): Send host: header.
7546         (gethttp): Add the possibility of user-defined headers.
7547         (gethttp): Move decision about pragma: no-cache to http_loop,
7548         where it belongs.
7549         (gethttp): Pass a struct instead of enormous argument list.
7550         (http_loop): Use a new, fancier display format.
7551         (ftp_loop): Likewise.
7552
7553         * main.c: (hangup): Turn off buffering of the new log file.
7554
7555         * install-sh: Likewise.
7556
7557         * config.sub: Replace with the one in autoconf-2.10
7558
7559         * geturl.1: Update.
7560
7561         * init.c: New options httpuser and httppasswd.
7562
7563         * http.c: (base64_encode_line): New function.
7564         (gethttp): Send authentication.
7565
7566         * connect.c (make_connection): Use store_hostaddress.
7567
7568 1996-09-28  Hrvoje Niksic  <hniksic@srce.hr>
7569
7570         * host.c (store_hostaddress): New function.
7571
7572         * NEWS: Update.
7573
7574         * http.c (hgetrange): New function.
7575         (gethttp): Use ranges.
7576
7577         * utils.c (numdigit): Accept long instead of int.
7578
7579         * http.c (http_loop): Add restart capabilities.
7580
7581         * ftp.c (ftp_retrieve_glob): Fixed a bug that could cause matchres
7582         being used uninitialized.
7583         (ftp_retrieve_list): Similar fix.
7584
7585         * host.c (add_hlist): Fixed a bug that could cause cmp being used
7586         uninitialized.
7587
7588         * url.c (construct_relative): New function.
7589
7590         * recur.c (recursive_retrieve): Use it.
7591
7592         * retr.c (convert_links): New function.
7593
7594 1996-09-27  Hrvoje Niksic  <hniksic@srce.hr>
7595
7596         * url.c (free_urlpos): New function.
7597
7598         * recur.c (recursive_retrieve): Adapt.
7599
7600         * url.c (get_urls_html): Return a linked list instead of a vector.
7601
7602         * url.c (get_urls_file): Return a linked list instead of a vector.
7603
7604         * geturl.1: Update.
7605
7606         * http.c (gethttp): Implement it.
7607
7608         * init.c (setval): New option: SAVEHEADERS
7609
7610         * ftp.c (ftp_loop_internal): Do not set restval if listing is to
7611         be retrieved. Lack of this test caused bugs when the connection
7612         was lost during listing.
7613
7614         * retr.c (retrieve_url): Fixed a bug that caused
7615         coredumps. *newloc is now reset by default.
7616         (retrieve_url): Lift the twenty-tries limit on proxies.
7617
7618         * version.c: Changed version to 1.4b20.
7619
7620 1996-09-20  Hrvoje Niksic  <hniksic@srce.hr>
7621
7622         * version.c: "Released" 1.4b19.
7623
7624 1996-09-19  Hrvoje Niksic  <hniksic@srce.hr>
7625
7626         * ftp.c (ftp_loop_internal): Renamed from ftp_1fl_loop.
7627         (getftp): Changed prototype to accept ccon *.
7628
7629 1996-09-17  Hrvoje Niksic  <hniksic@srce.hr>
7630
7631         * ftp.c (ftp_retrieve_list): Fixed a bug that caused setting
7632         incorrect values to files pointed to by symbolic links.
7633         (ftp_1fl_loop): Do not count listings among the downloaded URL-s.
7634
7635 1996-09-16  Hrvoje Niksic  <hniksic@srce.hr>
7636
7637         * url.c (mkstruct): Do not prepend "./" in front of a pathname.
7638
7639         * main.c (main): New option: --user-agent.
7640
7641         * geturl.1: Ditto.
7642
7643         * init.h: Ditto.
7644
7645         * init.c (setval): Ditto.
7646
7647         * main.c (main): Rename "server-headers" to "server-response".
7648
7649         * ftp-unix.c (ftp_parse_ls): Check for asterisks at the end of
7650         executables in 'ls -F' listings.
7651
7652 1996-09-15  Hrvoje Niksic  <hniksic@srce.hr>
7653
7654         * url.c (parseurl): Remove realloc() and sprintf().
7655         (str_url): Get rid of sprintf().
7656
7657         * recur.c (recursive_retrieve): Enable FTP recursion through proxy
7658         servers.
7659
7660         * url.h (URL_CLEANSE): Made it else-resistant.
7661         (USE_PROXY): New macro.
7662
7663 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
7664
7665         * NEWS: Update.
7666
7667         * version.c: Changed version to 1.4b19.
7668
7669 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
7670
7671         * version.c: "Released" 1.4b18.
7672
7673         * url.c: Made it reallocate space exponentially.
7674
7675 1996-09-14  Drazen Kacar  <dave@fly.cc.fer.hr>
7676
7677         * html.c (htmlfindurl): Added <frame src> and <iframe src> among
7678         the list of stuff to fetch.
7679
7680 1996-09-13  Hrvoje Niksic  <hniksic@srce.hr>
7681
7682         * url.c (get_urls_html): Fixed a bug that caused SIGSEGV's with
7683         -Fi.
7684
7685         * html.c (htmlfindurl): Rewrite.
7686
7687         * http.c (gethttp): Use opt.proxy_cache.
7688
7689         * main.c (main): Added --cache option.
7690
7691         * ftp.c (ftp_response): Print server response if opt.print_server
7692         response is set.
7693         (getftp): Print newlines after each request if the server response
7694         is to be printed.
7695         (ftp_response): Copy the last response line to last_respline.
7696
7697         * http.c (gethttp): Add Pragma: nocache for retried
7698         proxy-retrievals.
7699
7700         * ftp.c (getftp): Use it.
7701
7702         * retr.c (buf_discard): New function.
7703
7704         * ftp.c (ftp_response): Use buf_readchar().
7705         (getftp): Flush the control connection buffer before calling
7706         get_contents().
7707
7708         * retr.c (buf_readchar): New function.
7709         (buf_flush): New function.
7710         (get_contents): Use buf_readchar() instead of read(x, x, 1).
7711         (get_contents): Use buf_flush.
7712
7713 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
7714
7715         * ftp.c: Incorporate changes to ftp_response.
7716
7717         * ftp.c (ftp_response): Allocate the server response dynamically,
7718         as in read_whole_line and fetch_next_header.
7719
7720         * utils.c (read_whole_line): Fixed a bug that prevented reading
7721         the last line if it is not \n-terminated. Also fixed a possible
7722         memory overflow.
7723
7724         * http.c (fetch_next_header): Return malloc-ed string as large as
7725         needed.
7726         (gethttp): Use new fetch_next_header.
7727
7728 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
7729
7730         * http.c (hgetlen): Compute the header length the first time only.
7731         (hgettype): Ditto.
7732         (hgetlocation): Ditto.
7733         (hgetmodified): Ditto.
7734
7735 1996-09-11  Hrvoje Niksic  <hniksic@srce.hr>
7736
7737         * sample.geturlrc: Update.
7738
7739 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
7740
7741         * http.c (http_loop): Ditto.
7742
7743         * ftp.c (getftp): Open the output file as binary.
7744
7745         * version.c: Changed version to 1.4b18.
7746
7747 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
7748
7749         * version.c: "Released" 1.4b17.
7750
7751         * ftp-unix.c (ftp_parse_ls): If unable to open file, return NULL
7752         instead of failed assertion.
7753
7754 1996-09-09  Hrvoje Niksic  <hniksic@srce.hr>
7755
7756         * ftp.c (ftp_get_listing): Add a numbered suffix to LIST_FILENAME
7757         if a file of that name already exists.
7758
7759 1996-09-05  Hrvoje Niksic  <hniksic@srce.hr>
7760
7761         * ftp.c (ftp_1fl_loop): Handler FTPPORTERR and FOPENERR correctly.
7762
7763         * config.h.in: Define gethostbyname as Rgethostbyname when using
7764         Socks.
7765
7766         * configure.in: Check for -lresolv if using Socks.
7767
7768         * version.c: Changed version to 1.4b17.
7769
7770 1996-07-15  Hrvoje Niksic  <hniksic@srce.hr>
7771
7772         * version.c: "Released" 1.4b16.
7773
7774         * http.c (gethttp): More intelligent check for first line of HTTP
7775         response.
7776         (gethttp): Would bug out on time-stamping.
7777
7778         * version.c: Changed version to 1.4b16.
7779
7780 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
7781
7782         * version.c: Released 1.4b15.
7783
7784         * http.c (http_loop): Print \n after the loop entry, not before.
7785
7786         * url.c (url_filename): Use ISDOT.
7787
7788         * url.h (ISDOT): New macro.
7789
7790         * recur.c (recursive_retrieve): Change only opt.recursive for
7791         following FTP.
7792
7793 1996-07-11  Antonio Rosella <antonio.rosella@agip.it>
7794
7795         * socks/geturl.cgi: Fixed version No.
7796
7797         * socks/download-netscape.html: Ditto.
7798
7799         * socks/download.html: Changed socks.html to download.html.
7800
7801 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
7802
7803         * url.c (url_filename): Check for opt.dirstruct instead for
7804         opt.recursive && opt.dirstruct.
7805
7806         * init.c (defaults): Ditto.
7807         (defaults): Reset dirstruct by default.
7808         (setval): Set opt.dirstruct whenever setting recursive.
7809
7810         * init.h: Removed FORCEDIRHIER.
7811
7812         * INSTALL: Added -L to socks-description.
7813
7814         * version.c: Changed version to 1.4b15.
7815
7816 1996-07-10  Hrvoje Niksic  <hniksic@srce.hr>
7817
7818         * version.c: "Released" 1.4b14.
7819
7820         * geturl.1: Update AUTHOR to include Rosella as contributor.
7821
7822         * NEWS: Update.
7823
7824         * socks/geturl.cgi: Simplified command creation, nuked <blink>.
7825
7826         * socks/geturl.cgi: Wrap nutscape extensions within if $netscape.
7827         (cal_time): Fix == to eq.
7828
7829         * socks/geturl.cgi: GPL-ized with permission of A. Rosella.
7830
7831         * geturl.1 (hostname): Moved URL CONVENTIONS to the beginning.
7832
7833         * Makefile.in: Use @VERSION@.
7834
7835         * configure.in: Check version from version.c.
7836
7837         * socks/geturl.cgi: Changed /pub/bin/perl to /usr/bin/perl.
7838
7839         * socks/download.html: Created from download-netscape.html, made
7840         HTML-2.0 compliant.
7841
7842         * recur.c (recursive_retrieve): Set opt.force_dir_hier when
7843         following FTP links from recursions.
7844
7845 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
7846
7847         * url.c (mymkdir): Fixed a bug that prevented mymkdir() to create
7848         absolute directories correctly.
7849
7850         * version.c: Changed version to 1.4b14.
7851
7852 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
7853
7854         * version.c: "Released" 1.4b13.
7855
7856         * url.c (make_backup): New function.
7857
7858         * http.c (http_loop): Make a backup copy of the local file (using
7859         rename(2)) before opening it.
7860
7861         * main.c (main): Added --backups.
7862
7863         * host.c (ftp_getaddress): Bail out on failed mycuserid().
7864         (ftp_getaddress): Check for leading dot on MY_DOMAIN.
7865         (ftp_getaddress): Check for empty, null or (null) domain.
7866
7867         * url.c (get_urls_html): If this_url is NULL, the base must have a
7868         protocol.
7869         (parseurl): Use has_proto.
7870
7871         * retr.c (retrieve_url): Warn when proxy is used with more than 20
7872         retries.
7873
7874         * url.c (mkstruct): Create the directory (calling mymkdir()) only
7875         if it is not already there.
7876         (has_proto): New function.
7877         (get_urls_html): Eliminate the remaining call to findurl -- use
7878         has_proto.
7879
7880         * geturl.1: Ditto.
7881
7882         * main.c: Change -X to -x.
7883
7884         * url.c (url_filename): Simplify creation of filename if
7885         prefix_files is set.
7886         (url_filename): Simplify everything. And I do mean *everything*.
7887         (mkstruct): Add dir_prefix before hostname.
7888         (path_simplify): Fixed a bug that caused writing outside the path
7889         string in case of "." and ".." path strings.
7890
7891 1996-07-06  Hrvoje Niksic  <hniksic@srce.hr>
7892
7893         * init.c: Added --mirror.
7894
7895         * main.c (main): Added -X to force saving of directory hierarchy.
7896
7897         * ftp.c (ftp_retrieve_list): Added recursion depth counter.
7898         (ftp_retrieve_list): Check whether quota is exceeded.
7899
7900         * url.c (get_urls_html): Skip leading blanks for absolute URIs.
7901
7902         * http.c (gethttp): Use referer if present.
7903
7904         * recur.c (recursive_retrieve): Set u->referer before calling
7905         retrieve_url.
7906
7907         * url.c (newurl): Use memset to nullify the struct members.
7908         (freeurl): Free the referer field too.
7909
7910         * url.h: Added referer to urlinfo.
7911
7912         * geturl.1: Updated the manual to document some of the new features.
7913
7914         * utils.c (numdigit): Moved from url.c.
7915
7916         * README: Rewritten.
7917
7918         * config.h.in: Add the support for socks.
7919
7920         * configure.in: Add the support for socks.
7921
7922         * url.c (url_filename): If the dir_prefix is ".", work with just
7923         the file name.
7924         (url_filename): Do not look for .n extensions if timestamping if
7925         turned on.
7926
7927         * retr.c (show_progress): Skip the over-abundant restval data, and
7928         print the rest of it with ',' instead of '.'.
7929
7930 1996-07-05  Hrvoje Niksic  <hniksic@srce.hr>
7931
7932         * retr.c (show_progress): Changed second arg. to long (as it
7933         should be).
7934         (show_progress): Moved to retr.c.
7935         (get_contents): Moved to retr.c.
7936
7937         * version.c: Change version to 1.4b13.
7938
7939 1996-07-05  Hrvoje Lacko <hlacko@fly.cc.fer.hr>
7940
7941         * url.c (in_acclist): Would return after the first suffix.
7942
7943 1996-07-04  Hrvoje Niksic  <hniksic@srce.hr>
7944
7945         * version.c: "Released" 1.4b12.
7946
7947         * url.c (path_simplify): More kludgifications.
7948         (get_urls_html): Use new parameters for htmlfindurl.
7949
7950         * html.c: Removed memorizing "parser states", since the new
7951         organization does not require them.
7952
7953         * init.c (run_geturlrc): Use read_whole_line.
7954
7955         * ftp-unix.c (ftp_parse_ls): Use read_whole_line.
7956
7957         * recur.c (parse_robots): Use read_whole_line.
7958
7959         * utils.c (read_whole_line): New function.
7960
7961         * recur.c (tried_robots): Use add_slist/in_slist, *much* cleaner.
7962
7963         * host.c (ngethostbyname): Call inet_addr just once. Yet to be
7964         tested on OSF and Ultrix.
7965         (add_hlist): New function.
7966         (free_hlist): New function.
7967         (search_host): New function.
7968         (search_address): New function.
7969         (realhost): Use search_host, search_address and add_hlist.
7970         (same_host): Replaced realloc() with strdupdelim(), made
7971         case-insensitive, fixed a memory leak.
7972
7973         * html.c (ftp_index): Fixed tm_min and tm_sec to be tm_hour and
7974         tm_min, like intended.
7975
7976         * version.c: Change user agent information to
7977         Geturl/version.
7978
7979 1996-07-03  Hrvoje Niksic  <hniksic@srce.hr>
7980
7981         * utils.c: Renamed nmalloc.c to utils.c, .h likewise.
7982
7983         * url.c (acceptable): Always accept directories.
7984
7985         * ftp-unix.c (ftp_parse_ls): Support brain-damaged "ls -F"-loving
7986         servers by stripping trailing @ from symlinks and trailing / from
7987         directories.
7988
7989         * ftp.c (ftp_loop): Debugged the "enhanced" heuristics. :-)
7990
7991         * url.c (skip_url): Use toupper instead of UCASE.
7992
7993         * host.c (sufmatch): Made it case-insensitive.
7994
7995         * url.c (match_backwards_or_pattern): Fixed i == -1 to j == -1.
7996         (match_backwards): New function, instead of
7997         match_backwards_or_pattern.
7998
7999         * recur.c (recursive_retrieve): Increased performance by
8000         introducing inl, which reduces number of calls to in_slist to only
8001         one.
8002
8003         * ftp.c (ftp_loop): Enhanced the heuristics that decides which
8004         routine to use.
8005
8006         * main.c (printhelp): Removed the warranty stuff.
8007
8008 1996-07-02  Hrvoje Niksic  <hniksic@srce.hr>
8009
8010         * url.c (add_slist): Simplify.
8011         (match_backwards_or_pattern): New function.
8012         (in_acclist): Use match_backwards_or_pattern.
8013         (matches): Remove.
8014
8015 1996-06-30  Hrvoje Niksic  <hniksic@srce.hr>
8016
8017         * ftp.c (ftp_loop): Call ftp_index on empty file names, if not
8018         recursive.
8019
8020         * html.c (ftp_index): Fixed to work. Beautified the output.
8021
8022         * ftp.c (ftp_retrieve_glob): Another argument to control whether
8023         globbing is to be used.
8024         (ftp_retrieve_list): Compare the time-stamps of local and remote
8025         files to determine whether to download.
8026
8027 1996-06-29  Hrvoje Niksic  <hniksic@srce.hr>
8028
8029         * ftp.c (rel_constr): New function.
8030
8031         * retr.c (retrieve_from_file): Check for text/html before
8032         retrieving recursively.
8033
8034         * main.c (main): Check whether the file is HTML before going into
8035         recursive HTML retrieving.
8036
8037         * ftp.c (ftp_retrieve_list): Manage directories.
8038         (ftp_retrieve_glob): Pass all the file-types to ftp_retrieve_list.
8039         (ftp_1fl_loop): Fixed a bug that caused con->com to be incorrectly
8040         initialized, causing bugchecks in getftp to fail.
8041
8042         * configure.in: Check for symlink.
8043
8044         * ftp.c (ftp_retrieve_list): Added support for symlinks.
8045
8046         * version.c: "Released" 1.4b10.
8047
8048         * atotm.c (atotm): Redeclared as time_t.
8049
8050         * init.c: New variable "timestamping".
8051
8052         * main.c (main): New option 'N'.
8053
8054         * http.c (hgetlocation): Case-insensitive match.
8055         (hgetmodified): New function.
8056         (http_loop): Implement time-stamping.
8057
8058 1996-06-28  Hrvoje Niksic  <hniksic@srce.hr>
8059
8060         * version.c: Changed version to 1.4b10
8061
8062         * atotm.c: New file, from phttpd.
8063
8064         * options.h (struct options): New parameter timestamping.
8065
8066         * version.c: 1.4b9 "released".
8067
8068         * recur.c (recursive_retrieve): Used linked list (ulist) for
8069         faster storing of URLs.
8070
8071         * url.c (get_urls_html): Removed the old kludge with comparing the
8072         outputs of htmlfindurl and findurl.
8073         (get_urls_html): Added better protocol support here.
8074         (create_hash): Removed, as well as add_hash and in_hash.
8075         (addslist): New function.
8076         (in_slist): ditto
8077
8078         * version.c: Released 1.4b8, changed version to b9.
8079
8080 1996-06-27  Hrvoje Niksic  <hniksic@srce.hr>
8081
8082         * ftp.c (freefileinfo): New function.
8083         (delelement): New function.
8084
8085         * everywhere: GPL!
8086
8087         * ftp.c (ftp_loop): Use ccon.
8088         (ftp_retrieve_glob): Likewise.
8089
8090         * ftp.h: Define ccon, to define status of control connection.
8091
8092         * ftp.c (ftp_get_listing): New function.
8093         (ftp_retrieve_more): New function.
8094         (ftp_retrieve_glob): New function.
8095
8096 1996-06-25  Hrvoje Niksic  <hniksic@srce.hr>
8097
8098         * configure.in: Removed the search for cuserid().
8099
8100         * init.c (getmode): Renamed to getperms.
8101
8102 1996-06-24  Hrvoje Niksic  <hniksic@srce.hr>
8103
8104         * version.c: New version.
8105
8106         * main.c (hangup): New function, that handles hangup. Hangup
8107         signal now causes geturl to stop writing on stdout, and to write
8108         to a log file.
8109
8110         * ftp.c (getftp): "Released" 1.4b7.
8111
8112         * html.c (htmlfindurl): Ignore everything inside <head>...</head>.
8113         (ftp_index): Use fileinfo/urlinfo.
8114
8115         * ftp-unix.c (ftp_parse_ls): New function.
8116         (symperms): New function.
8117
8118         * ftp.c (ftp_1fl_loop): New function, to handle 1-file loops.
8119
8120         * retr.c (retrieve_url): Added FTP support.
8121
8122 1996-06-23  Hrvoje Niksic  <hniksic@srce.hr>
8123
8124         * geturl.h: Removed NOTFTP2HTML enum.
8125         Added DO_LOGIN, DO_CWD and DO_LIST. LIST_ONLY is obsolete.
8126
8127         * ftp.c (getftp): Resynched with urlinfo.
8128         (getftp): Removed HMTL-ization of index.html from getftp.
8129
8130         * version.c: 1.4b6 "released".
8131
8132         * options.h (options): New struct, to keep options in.
8133
8134         * http.c (http_loop,gethttp): Synched with proxy.
8135
8136         * retr.c (retrieve_url): Implemented proxy retrieval.
8137
8138         * main.c (main): Use retrieve_from_file.
8139
8140 1996-06-22  Hrvoje Niksic  <hniksic@srce.hr>
8141
8142         * retr.c (retrieve_from_file): New function.
8143
8144         * url.c (parseurl): Modified to return URLOK if all OK. Protocol
8145         can be found in u->proto.
8146
8147         * ftp.c (ftp_response): Fixed to accept multi-line responses as
8148         per RFC 959.
8149
8150         * recr.c (recursive_retrieve): Take newloc from retrieve_url.
8151
8152         * url.c (mymkdir): Removed the file of the same name, if one
8153         exists.
8154         (isfile): New function.
8155         (mkstruct): Fixed the '/' glitches.
8156         (path_simplify): Hacked to treat something/.. correctly.
8157
8158 1996-06-21  Hrvoje Niksic  <hniksic@srce.hr>
8159
8160         * http.c (gethttp): Close the socket after error in headers.
8161         (http_loop): HEOF no longer a fatal header.
8162
8163         * loop.c (retrieve_url): When dt is NULL, do not modify it. This
8164         simplifies the syntax of calling retrieve_url.
8165
8166         * recr.c (recursive_retrieve): Modified to use get_urls_html.
8167
8168         * url.c (get_urls_file): New function.
8169         (get_urls_html): New function.
8170
8171         * recr.c (recursive_retrieve): Patched up to conform to the
8172         standards.
8173
8174         * http.c (gethttp): Synched with the rest...
8175         (gethttp): Treat only CONREFUSED specially, with connection
8176         errors.
8177
8178         * init.c,geturl.1,http.c (http_loop): Removed kill_error.
8179
8180 1996-06-20  Hrvoje Niksic  <hniksic@srce.hr>
8181
8182         * http.c (http_loop): New function.
8183
8184         * loop.c: Removed *lots* of stuff from retrieve_url.
8185
8186         * url.c (parseurl): Changed to work with urlinfo. Integrated
8187         username finding and path parsing.
8188         (newurl): New function.
8189         (freeurl): New function.
8190         (mkstruct): Removed the old bogosities, made it urlinfo-compliant.
8191         (url_filename): Likewise.
8192         (path_simplify): Accept relative paths too.
8193         (opt_url): Made urlinfo-compliant, removed bogosities.
8194         (path_simplify): Expanded to accept relative paths.
8195         (str_url): A replacement for hide_url
8196         (decode_string): Fixed a bug that caused malfunctioning when
8197         encountering an illegal %.. combination.
8198         (opt_url): Removed the argument. Dot-optimizations are now default.
8199
8200         * nmalloc.c (strdupdelim): New function.
8201
8202         * url.h: Added the urlinfo structure
8203
8204 1996-06-19  Hrvoje Niksic  <hniksic@srce.hr>
8205
8206         * url.c (hide_url): Thrown out the protocol assertion. Do not
8207         change the URL if the protocol if not recognized.
8208         (findurl): Put continue instead of break.
8209
8210 1996-06-18  Hrvoje Niksic  <hniksic@srce.hr>
8211
8212         * sample.geturlrc: Changed the defaults to be commented out and
8213         harmless (previous defaults caused pains if copied to
8214         ~/.geturlrc).
8215
8216         * http.c (gethttp): Print the HTTP request in debug mode.
8217
8218         * connect.c (iread): Added EINTR check loop to select-ing
8219         too. EINTR is now correctly handled with select().
8220
8221         * TODO: new file
8222
8223 1996-05-07  Hrvoje Niksic  <hniksic@srce.hr>
8224
8225         * host.c (same_host): Made the function a little bit more
8226         intelligent regarding diversified URL syntaxes.
8227
8228         * url.c (skip_url): Spaces are now skipped after URL:
8229
8230         * Released 1.3.1 with the patch to prevent crashing when sending
8231         NULL to robot* functions and the patch to compile "out of the box"
8232         on AIX.
8233
8234         * recr.c (recursive_retrieve): Added checking whether this_url is
8235         NULL when calling the robot functions.
8236
8237         * ChangeLog: New file.