]> sjero.net Git - wget/blob - src/ChangeLog
url: remove shorten_string
[wget] / src / ChangeLog
1 2014-03-25  Daniel Stenberg  <daniel@haxx.se>
2
3         * url.c (shorten_length): Remove unused function.
4
5 2014-03-19  Yousong Zhou  <yszhou4tech@gmail.com>
6
7         * init.c, main.c, options.h: Add option --start-pos for specifying
8         start position of a download.
9         * http.c: Utilize opt.start_pos for HTTP download.
10         * ftp.c: Utilize opt.start_pos for FTP retrieval.
11
12 2014-03-04  Giuseppe Scrivano  <gscrivan@redhat.com>
13
14         * http.c (modify_param_value, extract_param): Aesthetic change.
15
16 2014-02-14  Vladimír Pýcha  <vpycha@gmail.com> (tiny change)
17
18         * http.c (parse_content_disposition, extract_param)
19         (append_value_to_filename, digest_authentication_encode): URL-decode the
20         filename parameter of Content-Disposition HTTP header if it is encoded. This
21         is related to --content-disposition.
22         New parameter of extract_param(), "is_url_encoded".
23         Add argument NULL to the call of extract_param() in
24         digest_authentication_encode().
25         * http.h: Add the new parameter to the declaration of extract_param().
26         * cookies.c (parse_set_cookie, test_cookies): Add argument NULL to the calls
27         of extract_param().
28         * url.c (url_unescape): Remove "static" modifier.
29         * url.h: Add declaration of url_unescape().
30
31 2014-02-06  Giuseppe Scrivano  <gscrivan@redhat.com>
32
33         * main.c (print_version): Move copyright year out of the localized
34         string and update it.
35
36 2014-01-29  Darshit Shah  <darnir@gmail.com>
37
38         * main.c: Remove pre-processor variable WHEN_DEBUG
39         (option_data[]): Do not fail on --debug even if debug support is not
40         compiled in.
41         (main): Explicitly set opt.debug to false in case debugging support was not
42         compiled.
43         * init.c (commands[]): Support --debug wven when support is not compiled in.
44         * options.h: Same
45
46 2014-01-17  Darshit Shah  <darnir@gmail.com>
47
48         * init.c (commands[]): Add --no-config.
49         * options.h: Same.
50         * main.c (option_data[]): Same.
51         (print_help): Same.
52         (main): If --no-config is set, then do not read the wgetrc files.
53
54 2014-01-05  Håkon Vågsether <hauk142@gmail.com> (tiny change)
55
56         * http.c (http_loop): Fix checking the URL length when filename is
57         specified.
58
59 2013-12-29  Giuseppe Scrivano  <gscrivan@redhat.com>
60
61         * init.c (home_dir): Remove useless 'if'.
62         * warc.c (warc_start_new_file): Likewise.
63         (warc_process_cdx_line): Likewise.
64         (warc_write_response_record): Likewise.
65
66 2013-12-26  Tim Ruehsen  <tim.ruehsen@gmx.de>
67
68         * gnutls.c (ssl_connect_wget): Fix connect timeout failure
69
70 2013-11-02  Giuseppe Scrivano  <gscrivan@redhat.com>
71
72         * http.c (gethttp): Increase max header value length to 512.
73
74 2013-01-30  Pavel Mateja  <pavel@netsafe.cz> (tiny change)
75
76         * http.c (gethttp): Specify "Host" for CONNECT method.
77
78 2013-10-30  Giuseppe Scrivano  <gscrivan@redhat.com>
79
80         * http.c (skip_short_body): Remove assert which is always true.
81         Reported by: David Binderman <dcb314@hotmail.com>
82
83 2013-10-17  Andrea Urbani  <matfanjol@mail.com>
84
85         * ftp.c (getftp): force "LIST" or "LIST -a"
86           according to the remote system type. If the remote
87           system is not known, it tries, only the first time,
88           "LIST -a", after "LIST" and decides which one to use.
89           For more information look for "__LIST_A_EXPLANATION__"
90         * ftp.h (enum ustype): New ustype enum.
91         * ftp.h (ftp_syst): New enum ustype *unix_type parameter.
92         * ftp.h (ftp_list): Removed enum stype rs parameter, added.
93           bool avoid_list_a, bool avoid_list, bool *list_a_used
94           parameters.
95         * ftp.h (wget_ftp_fstatus): New AVOID_LIST_A, AVOID_LIST,
96           LIST_AFTER_LIST_A_CHECK_DONE values.
97         * ftp-basic.c (ftp_list): it handles the new avoid_list_a,
98           avoid_list and list_a_used parameters.
99         * ftp.h (ftp_syst): it stores information about the "215 UNIX"
100           systems into the new unix_type parameter.
101
102 2013-10-26  Bykov Aleksey <gnfalex@rambler.ru>
103
104         * utils.c (match_tail): Fix cookies reject
105
106         * ftp-ls.c (ftp_parse_unix_ls): Fix parsing month name in uppercase
107
108 2013-09-09  Tim Ruehsen  <tim.ruehsen@gmx.de>
109
110         * gnutls.c (ssl_connect_wget): changed checking of option "PFS"
111           to be better prepared for some kinds of backports.
112           Reported by: Daniel Kahn Gillmor <dkg@fifthhorseman.net>
113
114 2013-10-10  Giuseppe Scrivano  <gscrivan@redhat.com>
115
116         * url.c (url_parse): Try to convert UTF-8 URLs to IDN.
117         * html-url.c (append_url): Parse URLs specifying an IRI structure.
118
119 2013-09-13  Tim Ruehsen  <tim.ruehsen@gmx.de>
120
121         * recur.c (download_child_p): fix compile error when
122           configured using --without-ssl.
123
124 2013-09-07  Tim Ruehsen  <tim.ruehsen@gmx.de>
125
126         * gnutls.c (ssl_connect_wget): use gnutls_check_version()
127           to check if option "PFS" is available
128           Reported by: Daniel Kahn Gillmor <dkg@fifthhorseman.net>
129
130 2013-09-03  Tim Ruehsen  <tim.ruehsen@gmx.de>
131
132         * main.c: Add new value 'PFS' to --secure-protocol to
133           enforce the so-called Perfect Forward Security.
134         * init.c (cmd_spec_secure_protocol): added secure_protocol_pfs
135         * openssl.c, gnutls.c, options.h: likewise
136
137 2013-08-22  Tim Ruehsen  <tim.ruehsen@gmx.de>
138
139         * main.c: Add new option --https-only.
140         * options.h: Likewise.
141         * recur.c (download_child_p): add check for HTTPS.
142
143 2013-08-09  Tim Ruehsen  <tim.ruehsen@gmx.de>
144
145         * gnutls.c (ssl_init): Prevent CA files from being loaded twice
146           if possible.
147         * gnutls.c (ssl_check_certificate): Added some error messages
148         * gnutls.c: Fixed some compiler warnings
149
150 2013-08-08  Will Dietz  <w@wdtz.org> (tiny change):
151
152         * main.c (format_and_print_line): Wrap correctly long tokens.
153
154 2013-07-16  Darshit Shah  <darnir@gmail.com>
155
156         * wget.h (err_t): Added new errors, ATTRMISSING and UNKNOWNATTR to
157         handle missing attributes and Unknown attribute values respectively in
158         HTTP Headers.
159         * exits.c (get_status_for_err): ATTRMISSING is a Protocol Error while
160         UNKNOWNATTR is a general error, presumably because of a feature that
161         is not yet implemented.
162         * http.c (gethttp): Call create_authorization_line () separately. In
163         case the auth_err flag has been set with an error, handle it and exit.
164         * http.c (create_authorization_line): Pass a pointer, auth_err to set
165         the flag for different kinds of errors encountered.
166         * http.c (http_loop): Handle the errors raised by the authentication
167         handlers.
168         * http.c (digest_authentication_encode): Pass pointer auth_err to set
169         the error flags.
170         Set qop to NULL in case the value of the qop / algorithm attribute is
171         unknown to Wget. Set an appropriate error too.
172
173 2013-07-13  Tim Ruehsen  <tim.ruehsen@gmx.de>
174
175         * http.c (digest_authentication_encode): Fix a crash when the algorithm
176         is not specified in the server response.  Free dynamic memory used by
177         the function when the function exits.
178         * http-ntlm.c [HAVE_NETTLE]: Include <nettle/md4.h> and <nettle/des.h>.
179         (setup_des_key) [HAVE_NETTLE]: New function to deal with
180         libnettle.
181         (calc_resp) [HAVE_NETTLE]: Add support for libnettle.
182         (mkhash) [HAVE_NETTLE]: Likewise.
183         Reported by: Tim Ruehsen  <tim.ruehsen@gmx.de>.
184
185 2013-07-13  Steven M. Schweda <sms@antinode.info>
186
187         * warc.c (warc_tempfile): Fix a portability issue on VMS.
188
189 2013-07-10  Giuseppe Scrivano  <gscrivano@gnu.org>
190
191         * http.c (read_response_body) [ALLOW_CLOBBER]: Move definition to..
192         * options.h (struct options): Make `backups' an int.
193         * url.h [ALLOW_CLOBBER]: .. Here.  Do not clobber when backups are used.
194         * url.c (url_file_name): Use the ALLOW_CLOBBER macro instead of
195         repeating the code.
196
197 2013-07-08  Steven M. Schweda <sms@antinode.info>
198
199         * retr.c (rotate_backups): Support for VMS files.
200
201 2013-07-12  Giuseppe Scrivano  <gscrivano@gnu.org>
202
203         * http.c (digest_authentication_encode): Set default value of
204         `algorithm' to "MD5".  Check if `qop' is not-NULL before access it.
205
206 2013-07-11  Karsten Hopp  <karsten@redhat.com>
207
208         * openssl.c (struct openssl_read_args, struct scwt_context): New struct.
209         (openssl_read, ssl_connect_with_timeout_callback): New function.
210         (ssl_connect_wget): respect connect timeout.
211
212 2013-07-11  Tim Ruehsen  <tim.ruehsen@gmx.de>
213
214         * gnutls.c (ssl_connect_wget): respect connect timeout.
215
216 2013-07-11  Tomas Hozza  <thozza@redhat.com>
217
218         * ftp.c (ftp_loop): Use ftp_retrieve_glob() also in case
219         --preserve-permissions was specified.
220
221 2013-03-20  Tomas Hozza  <thozza@redhat.com>
222
223         * http.c (gethttp): Set "sock" to -1 if it's not and we have no
224         persistent connection
225
226 2013-04-26  Tomas Hozza  <thozza@redhat.com> (tiny change)
227
228         * log.c (redirect_output): Use DEFAULT_LOGFILE in diagnostic message
229         when `logfile' is NULL.
230         * utils.c (unique_create): Ensure `logfile' has always a value.
231
232 2013-06-26  Darshit Shah <darnir@gmail.com>
233
234         * http.c (gethttp): Reverse change by commit 90896 that prevented
235         downloading response body data to non-GET Request methods.
236
237 2013-06-19 Ciprian Vieru <devel.php@gmail.com> (tiny change)
238
239         * html-url.c: Define TAG_TD, TAG_TH, TAG_VIDEO, TAG_AUDIO, TAG_SOURCE.
240         (tag_url_attributes, known_tags): Likewise.
241
242 2013-06-22  Ángel González <keisial@gmail.com>
243
244         * init.c (cmd_string_uppercase): Rewrite function.
245
246 2013-06-19  Tim Ruehsen  <tim.ruehsen@gmx.de>
247
248         * connect.c (socket_ip_address): zero out ip address structure to
249         avoid access to uninitialized values by inet_ntop().
250         * ftp.c (ftp_loop_internal): fix segfault caused by warc_tmp NULL pointer.
251
252 2013-05-21  Ray Satiro  <raysatiro@yahoo.com>
253
254         * url.c (url_file_name): Use MAX_PATH in Windows.
255
256 2013-06-13  Darshit Shah  <darnir@gmail.com>
257
258         * http.c (gethttp): Follow RFC 2616 and httpbis specifications when
259         handling redirections. Do not suspend the method on 301/302 redirects.
260         (gethttp): If method if not GET, we do not intend to download
261         anything.
262         * main.c (main): Set spider mode when opt.method is HEAD. This will
263         prevent Wget from downloading any file.
264         * retr.c (SUSPEND_METHOD): Rename macro SUSPEND_POST_DATA to
265         SUSPEND_METHOD to more accurately reflect its use. Similarly rename
266         related variables.
267
268 2013-05-14 Bykov Aleksey <gnfalex@rambler.ru>
269
270         * warc.c (warc_tempfile): For fix "Could not open temporary WARC manifest
271         file." issue in Win system force to use `mkostemp(filename, O_TEMPORARY)'
272         instead  of `mkstemp(filename)'. Thank to Angel Gonzalez for help.
273
274 2013-05-14  Tim Ruehsen  <tim.ruehsen@gmx.de>
275
276         * cookies.c (cookie_jar_load): Replaced read_whole_file() by getline().
277         * init.c (run_wgetrc): Likewise.
278         * netrc.c (parse_netrc): Likewise.
279         * utils.c: Likewise.
280         * ftp.c (getftp): Likewise.
281         * ftp-ls.c (ftp_parse_unix_ls, ftp_parse_winnt_ls, ftp_parse_vms_ls): Likewise.
282         * ftp-ls.c (clean_line): Accept the string length as parameter.
283         * ftp-ls.c: Replaced indent tabs by spaces.
284         * ftp.c: Likewise.
285         * utils.c: Removed read_whole_file() definition.
286         * netrc.c: Removed read_whole_file() definition for STANDALONE.
287         * utils.h: Removed read_whole_file() declaration.
288
289 2013-05-09  Tim Ruehsen  <tim.ruehsen@gmx.de>
290
291         * utils.c (acceptable): use standard string functions instead of
292         self-written code.
293         (match_tail): Likewise.
294         (suffix): Likewise.
295         (has_wildcards_p): Likewise.
296         (test_subdir_p): Fix some warnings.
297         (test_dir_matches_p): Likewise.
298
299 2013-05-05  mancha  <mancha1@hush.com> (tiny change)
300
301         * gnutls.c (ssl_connect_wget): Don't abort on non-fatal alerts
302         received during handshake. For example, when connecting to servers
303         using TSL-SNI that send warning-level unrecognized_name alerts.
304
305 2013-05-04  Darshit Shah <darnir@gmail.com>
306
307         * init.c (cmd_string_uppercase): Fix issue that cased invalid headers
308         when converting to uppercase.
309
310 2013-05-01  Gijs van Tulder  <gvtulder@gmail.com>
311
312         * retr.c (retrieve_url): New variable `saved_method'.
313         (SUSPEND_POST_DATA): Save the method to `saved_method'.
314         (RESTORE_POST_DATA): Restore the method from `saved_method'.
315
316 2013-05-01  Giuseppe Scrivano  <gscrivano@gnu.org>
317
318         * init.c: Declare `cmd_string_uppercase'.
319         (commands): Now `method' uses cmd_string_uppercase.
320         (cmd_string_uppercase): New method
321         * http.c (gethttp): Do not transform opt.method to uppercase.
322         Reported by: Stefano Lattarini <stefano.lattarini@gmail.com>
323
324 2013-04-24  Darshit Shah <darnir@gmail.com>
325
326         * http.c (gethttp): Remove check for opt.post_data and
327         opt.post_file_name.
328         * main.c (main): Change location in code where --post-data and
329         --post-file options are converted to --body-data --body-file.
330
331 2013-04-21  Gijs van Tulder  <gvtulder@gmail.com>
332
333         * http.c: Copy opt.body_data to the WARC file, instead of
334         opt.post_data (the old option).
335
336 2013-04-12  Gijs van Tulder  <gvtulder@gmail.com>
337
338         * warc.c: Generate unique UUIDs for the manifest and the record
339         holding the command-line arguments.
340         Write the manifest to a "metadata" record to follow the WARC
341         implementation guidelines.
342         * warc.h: Declare new function warc_write_metadata_record.
343
344 2013-03-15  Darshit Shah <darnir@gmail.com>
345
346         * http.c (post_file): Rename function to body_file_send to more
347         accurately reflect its use.
348         * http.c (gethttp): Add support for --method, --body-data and
349         --body-file
350         * init.c (commands): Same.
351         * options.h (options): Same.
352         * main.c (option_data): Same.
353         * main.c (print_help): Add --method command.
354         * main.c (main): Make old --post-{data,file} commands aliases to
355         --method.
356         Add sanity checks for --method, --body-data and --body-file.
357         * retr.c (SUSPEND_POST_DATA): Edit Macro Definition to use body_data.
358         * retr.c (RESTORE_POST_DATA): Same.
359
360 2013-03-31  Gijs van Tulder  <gvtulder@gmail.com>
361
362         * warc.c: Correctly write the field length in the skip length field
363         of .warc.gz files. (Following the GZIP spec in RFC 1952.)
364
365 2013-03-12  Darshit Shah <darnir@gmail.com>
366
367         * http.c (gethttp): Make wget return FILEBADFILE error and abort if
368         post-file does not exist.
369
370         * http.c (http_loop): Handle FILEBADFILE as a valid err.
371
372         * exits.c (get_status_for_err): Mark FILEBADFILE as an IO error.
373
374 2013-02-15  Darshit Shah <darnir@gmail.com>
375
376         * cookies.c (cookie_handle_set_cookie): Set cookie->discard_requested
377         to true on domain mismatch.
378
379 2012-12-20  Tim Ruehsen  <tim.ruehsen@gmx.de>
380
381         * gnutls.c (ssl_connect_wget): added +VERS-SSL3.0 to fix
382         --secure-protocol=SSLv2/SSLv3.
383
384 2012-12-09  Giuseppe Scrivano  <gscrivano@gnu.org>
385
386         * main.c (main): Keep looking for "config" until there are
387         arguments to parse.
388         Reported by: Adrien Dumont <adr.dum@hotmail.fr>
389
390         * test.c: Include "wget.h".
391
392 2012-12-08  Michael Stapelberg <michael@stapelberg.de> (tiny change)
393
394         * retr.c (retrieve_url): Set iri->orig_url to NULL after it is
395         freed.
396
397 2012-11-26  Giuseppe Scrivano  <gscrivano@gnu.org>
398
399         * wget.h (MAX_INT_TO_STRING_LEN): Define macro.
400         * warc.c (warc_write_block_from_file): Use `MAX_INT_TO_STRING_LEN'
401         to find the buffer size.
402         (warc_write_cdx_record): Likewise.
403
404 2012-09-03  Tim Ruehsen  <tim.ruehsen@gmx.de>
405
406         * http.c (digest_authentication_encode): Add support for RFC 2617
407         MD5-sess authentication algorithm.
408         Feature request and testing by: Avinash <pavinash@gmail.com>
409
410 2012-11-14  Ángel González  <keisial@gmail.com>
411
412         * warc.c (warc_sha1_stream_with_payload): Fix compilation under
413         gcc -std=c89.
414
415 2012-11-24  Gijs van Tulder  <gvtulder@gmail.com>
416
417         * warc.c (warc_write_cdx_record): Use `number_to_string' to
418         convert the offset to a string.
419
420 2012-11-24  Giuseppe Scrivano  <gscrivano@gnu.org>
421
422         * warc.c (warc_write_block_from_file): Use `number_to_string' to
423         convert the content-length to a string.
424
425 2012-11-15  Giuseppe Scrivano  <gscrivano@gnu.org>
426
427         * retr.c (write_data): Fix comment.
428
429 2012-11-13  Giuseppe Scrivano  <gscrivano@gnu.org>
430
431         * retr.c (fd_read_body): Correctly check the return code from
432         write_data.
433         Reported by: Torsten Scheck <torsten.scheck@gmx.de>
434
435 2012-08-29  Rohit Mathulla <rohit_mathulla@yahoo.com> (tiny change)
436
437         * html-url.c (get_urls_file): Convert shorthand URLs.
438
439 2012-10-07  Ray Satiro <raysatiro@yahoo.com>
440
441         * url.c: Change the functions of a growable string object to null
442         terminate the string.
443         * url.c (append_null): New function to null terminate a growable
444         string object.
445         * url.c (shorten_length): New function to shorten the length of a
446         growable string object.
447
448 2012-10-03 Merinov Nikolay <kim.roader@gmail.com>
449
450         * ftp.c (ftp_loop_internal): Ignore --no-clobber option when
451         receiving directory listing.
452
453 2012-10-07  Tim Ruehsen  <tim.ruehsen@gmx.de>
454             Giuseppe Scrivano  <gscrivano@gnu.org>
455
456         * utils.c (get_max_length): If `pathconf' is not available
457         fallback to PATH_MAX.
458
459 2012-10-06  Giuseppe Scrivano  <gscrivano@gnu.org>
460
461         * http.c (http_loop): Send a HEAD request when -c and
462         --content-disposition are used together.
463
464 2012-09-29 Merinov Nikolay <kim.roader@gmail.com>
465
466         * ftp-ls.c (ftp_parse_winnt_ls): Support filename extracting with
467         new listing format.
468
469 2012-09-29  Tim Ruehsen  <tim.ruehsen@gmx.de>
470
471         * url.h (CHOMP_BUFFER): Add definition.
472         * url.c (url_file_name): New local variables `fname_len_check' and
473         `max_length'. Check that the length of the file name is acceptable.
474         * utils.h (get_max_length): Declare function.
475         * utils.c (get_max_length): New function.
476
477 2012-09-28  Steven Schubiger  <stsc@member.fsf.org>
478
479         * src/recur.c (retrieve_tree): Combine duplicated code.
480
481 2012-09-02  Nguyễn Thái Ngọc Duy  <pclouds@gmail.com> (tiny change)
482
483         * src/main.c (main): mark more strings for translation.
484         * src/mswindows.c (fork_to_background): Likewise.
485         * src/recur.c (download_child_p): Likewise.
486
487 2012-08-28  Tim Ruehsen  <tim.ruehsen@gmx.de>
488
489         * gnutls.c (ssl_check_certificate): deinit gnutls_x509_crt_t.
490         * gnutls.c (ssl_init): don't error if CA directory is empty.
491
492 2012-07-07  Giuseppe Scrivano  <gscrivano@gnu.org>
493
494         * html-url.c (cleanup_html_url): Remove "static" modifier.
495         * init.c (cleanup_html_url): Likewise.
496         Reported by: Mike Frysinger <vapier@gentoo.org>.
497
498 2012-08-25  Hrvoje Niksic  <hniksic@gmail.com>
499
500         * warc.c (warc_find_duplicate_cdx_record): Use hash_table_get
501         instead of hash_table_get_pair.
502
503 2012-08-21  <y-iida@secom.co.jp> (tiny change)
504
505         * connect.c (connect_to_ip) [ENABLE_IPV6]: Attempt to use IPv6.
506         * http.c (gethttp): Likewise.
507
508 2012-07-03  Steven Schubiger  <stsc@member.fsf.org>
509
510         * init.c: Include warc.h for warc_close in cleanup function.
511
512 2012-07-08  Steven Schubiger  <stsc@member.fsf.org>
513
514         * exits.h: Fix comment.
515         * exits.c: Likewise.
516
517 2012-07-07  Tim Ruehsen <tim.ruehsen@gmx.de>
518
519         (digest_authentication_encode): Add support for RFC 2617 Digest
520         Access Authentication.
521
522 2012-07-07  Giuseppe Scrivano  <gscrivano@gnu.org>
523
524         * http.c (http_loop): Fix log message.
525         * main.c (main): Likewise.
526         Reported by: Petr Pisar <petr.pisar@atlas.cz>
527
528 2012-06-17  Giuseppe Scrivano  <gscrivano@gnu.org>
529
530         * wget.h: Define `CLOSEFAILED'.
531         * init.c: Include "exits.h".
532         (cleanup): Check `fclose' failure.
533         * exits.c (get_status_for_err): Handle `CLOSEFAILED'.
534
535 2012-06-16  Giuseppe Scrivano  <gscrivano@gnu.org>
536
537         * main.c (main): Move some cleanup related function to...
538         * init.c (cleanup): ...here.
539
540         * main.c: Do not include "stdout.h".
541         (main): Do not register `close_stdout' at exit.
542         Reported by: Micah Cowan  <micah@cowan.name>.
543
544 2012-06-09  Giuseppe Scrivano  <gscrivano@gnu.org>
545
546         * main.c (print_help): Move --report-speed under the section
547         "Logging and input file".
548
549 2012-06-06  Giuseppe Scrivano  <gscrivano@gnu.org>
550
551         * main.c (print_help): Rename --bits to --report-bps.
552         (cmdline_options): Likewise.
553         * init.c (commands): Rename --report-bps to --report-speed.
554         (cmd_spec_report_speed): New function.
555
556         * options.h (struct options): Rename `bits_fmt' to `report_bps'.
557         * main.c (print_help): Rename --bits to --report-bps.
558         (cmdline_options): Likewise.
559         * init.c (commands): Likewise
560
561         * progress.c (create_image): Adjust caller.
562         * retr.c (retr_rate): Likewise.
563         * utils.c (convert_to_bits): Likewise.
564
565 2012-06-04  Tim Ruehsen  <tim.ruehsen@gmx.de>
566
567         * main.c (main): Check for filename != NULL.
568         * warc.c (warc_process_cdx_line): Fix memory leak.
569         * utils.c (match_posix_regex, compile_posix_regex): Remove dead
570    assignment.
571         * openssl.c (ssl_init): Fix old-style function definition.
572
573 2012-06-02  Giuseppe Scrivano  <gscrivano@gnu.org>
574
575         * connect.c: Include <sys/socket.h> and <sys/select.h>.
576
577 2012-05-30  Gijs van Tulder  <gvtulder@gmail.com>
578
579         * warc.c: Fix segfault if CDX record is not found.
580
581 2011-05-26  Steven Schweda  <sms@antinode.info>
582         * connect.c [HAVE_SYS_SOCKET_H]: Include <sys/socket.h>.
583         [HAVE_SYS_SELECT_H]: Include <sys/select.h>.
584
585 2012-05-26  Mike Frysinger <vapier@gentoo.org>
586
587         * warc.c: Change type of `warc_current_gzfile' to gzFile.
588
589 2012-05-26  Giuseppe Scrivano  <gscrivano@gnu.org>
590
591         * warc.c (warc_load_cdx_dedup_file): Change type of `line_length' to
592         ssize_t.
593         Suggested by: Ángel González <keisial@gmail.com>
594
595 2012-05-18  Tim Ruehsen  <tim.ruehsen@gmx.de>
596
597         * gnutls.c (wgnutls_poll): Honor the specified `timeout' value.
598         (wgnutls_peek): Likewise.
599
600 2012-05-19  illusionoflife  <illusion.of.life92@gmail.com> (tiny change)
601
602         * convert.c (register_html,register_css): Fixed functions signature to
603         not accept unused argument
604         * retr.c (retrieve_url): Changed register_{css,html} usage according
605         new signature.
606
607 2012-05-16  Giuseppe Scrivano  <gscrivano@gnu.org>
608
609         * warc.h: Cut length lines to 80 columns.
610         * warc.c: Likewise.
611
612 2012-05-14  Tim Ruehsen  <tim.ruehsen@gmx.de>
613
614         * gnutls.c (wgnutls_read_timeout): removed warnings, moved fcntl stuff
615         outside loop.
616
617         * hash.h (hash_table_put): Make argument "value" const.
618         * hash.c (hash_table_put): Make argument value const.  Cast `value' to
619         void.
620         * http.c (request_set_header): Make argument `name' const.  Cast `value'
621         and `name' to void*.
622         (request_remove_header): Make argument `name' const.
623         * url.c (url_file_name): Make `index_filename' static.
624         * warc.h (warc_write_cdx_record): Make `url', `timestamp', `mime_type',
625         `payload_digest', `redirect_location', `warc_filename', response_uuid'
626         arguments const. Make `checksum' const.
627         * warc.c (warc_write_date_header): Make the `timestamp' argument const.
628         Make `extension' const.
629         (warc_write_cdx_record): Make `url', `timestamp', `mime_type',
630         `payload_digest', `redirect_location', `warc_filename', response_uuid'
631         arguments const. Make `checksum' const.
632
633 2012-05-13  Tim Ruehsen  <tim.ruehsen@gmx.de>
634
635         * gnutls.c (credentials): Change type to
636         gnutls_certificate_credentials_t.
637         (ssl_init): Do not use deprecated types.
638         (ssl_connect_wget): Likewise.
639
640 2012-04-11  Gijs van Tulder  <gvtulder@gmail.com>
641
642         * init.c: Add --accept-regex, --reject-regex and --regex-type.
643         * main.c: Likewise.
644         * options.c: Likewise.
645         * recur.c: Likewise.
646         * utils.c: Add regex-related functions.
647         * utils.h: Add regex-related functions.
648
649 2012-03-30  Tim Ruehsen  <tim.ruehsen@gmx.de>
650
651         * convert.c (convert_links_in_hashtable): Mmake it static.
652         * cookies.c (parse_set_cookie): Remove empty else branches.
653         * css-url.c: Include "css-url.h".
654         (get_uri_string): Make it static.
655         * css-url.h (get_urls_css): Add protoype.
656         * gnutls.c (ssl_init): Add prototype.
657         * html-parse.c (tagstack_push): Make it static.
658         * html-parse.c (tagstack_pop): Make it static.
659         * html-parse.c (tagstack_find): Make it static.
660         * html-url.c (cleanup_html_url): Make it static.
661         * progress.c (count_cols): Make it static.
662         * progress.c (get_eta): Make it static.
663         * retr.h (convert_to_bits): Remove prototype.
664         * util.h (convert_to_bits): Add prototype.
665         * spider.c (spider_cleanup): Make it static.
666         * warc.c (warc_write_start_record): Add prototype.
667         * warc.c (warc_write_end_record): Add prototype.
668         * warc.c (warc_start_cdx_file): Add prototype.
669         * warc.c (warc_init): Add prototype.
670         * warc.c (warc_load_cdx_dedup_file): Add prototype.
671         * warc.c (warc_write_metadata): Add prototype.
672         * warc.c (warc_close): Add prototype.
673         * warc.c (warc_tempfile): Add prototype.
674         * warc.c (warc_write_warcinfo_record): Make it static.
675         * warc.c (warc_load_cdx_dedup_file): Make it static.
676         * warc.c (warc_write_metadata): Make it static.
677         * warc.h (warc_init): Fix prototype.
678         * warc.h (warc_close): Fix prototype.
679         * warc.h (warc_tempfile): Fix prototype.
680
681 2012-03-30  Tim Ruehsen  <tim.ruehsen@gmx.de>
682
683         * url.c: Use empty query in local filenames.
684
685 2012-04-22  Tim Ruehsen <tim.ruehsen@gmx.de>
686
687         * main.c (main): Dynamically allocate `opt.progress_type'.
688
689 2012-04-21  Tim Ruehsen  <tim.ruehsen@gmx.de>
690
691         * ftp-basic.c (ftp_pasv): Fix memory leak.
692
693         * http.c (gethttp): Fix memory leak.
694
695         * ftp.c (getftp): Silent compiler warning.
696
697 2009-06-14  Phil Pennock  <mutt-dev@spodhuis.org> (tiny change)
698         * host.h: Declare `is_valid_ip_address'.
699         * host.c (is_valid_ip_address): New function.
700         * http.c (gethttp): Specify the hostname to ssl_connect_wget.
701         * gnutls.c (ssl_connect_wget): Specify the server name.
702         * openssl.c (ssl_connect_wget): Likewise.
703         * ssl.h: Change method signature for ssl_connect_wget.
704
705 2012-04-13  Tim Ruehsen  <tim.ruehsen@gmx.de> (tiny change)
706
707         * warc.c (warc_load_cdx_dedup_file): Fix a memory leak by freeing
708         `lineptr'.
709
710 2012-04-07  Daniel Kahn Gillmor <dkg@fifthhorseman.net> (tiny change)
711
712         * gnutls.c (key_type_to_gnutls_type): New function.
713         (ssl_init): Use correctly the specified gnutls certificate.
714
715 2012-04-01  Gijs van Tulder  <gvtulder@gmail.com>
716
717         * html-url.c: Prevent crash on incomplete STYLE tag.
718
719 2012-04-01  Giuseppe Scrivano  <gscrivano@gnu.org>
720
721         * gnutls.c (wgnutls_read_timeout): Ensure timer is freed.
722
723         * gnutls.c (wgnutls_read_timeout): Do not use timer if it is not
724         allocated.
725         Reported by: Xu Zhongxing <xu_zhong_xing@163.com>
726
727 2012-03-30  Tim Ruehsen  <tim.ruehsen@gmx.de> (tiny change)
728
729         * warc.c: make warc_uuid_str() implementation depend on HAVE_LIBUUID.
730
731 2012-03-29  Tim Ruehsen <tim.ruehsen@gmx.de> (tiny change)
732
733         * utils.c (library): Include <sys/time.h>.
734
735 2012-03-25  Giuseppe Scrivano  <gscrivano@gnu.org>
736
737         * utils.c: Include <sys/ioctl.h>.
738
739         * ptimer.c: Include <sys/time.h>.
740
741         * connect.c: Include <sys/socket.h>, <sys/select.h>, <sys/time.h>.
742         Reported by: Ray Satiro <raysatiro@yahoo.com>.
743
744 2012-03-25 Ray Satiro <raysatiro@yahoo.com>
745
746         * build_info.c.in: Check that HAVE_LIBSSL32 is defined when OpenSSL
747         is used.
748
749 2012-03-07  Steven Schubiger  <stsc@member.fsf.org>
750
751         * init.c (wgetrc_user_file_name): Correct typo.
752
753 2012-03-06   Sasikantha Babu   <sasikanth.v19@gmail.com>
754
755         * utils.c (convert_to_bits): Added new function convert_to_bits to
756         convert bytes to bits.
757         * retr.c (calc_rate): Modified the function to handle --bits
758         option and download rate calculated as bits per sec (SI-prefix)
759         for --bits otherwise bytes (IEC-prefix).
760         (retr_rate): Rates will display in bits per sec for --bits.
761         * options.h (struct opt): Added --bit option bool variable bits_fmt.
762         * main.c (print_help) : Added help for --bit.
763         * init.c: Defined command for --bit option.
764         * retr.h: Added function prototype.
765
766 2012-02-26  Giuseppe Scrivano  <gscrivano@gnu.org>
767
768         * main.c: Include "closeout.h"
769         (main): Register close_stdout at exit.
770
771 2012-02-01  Gijs van Tulder  <gvtulder@gmail.com>
772
773         * warc.c: Fix large file support with ftello, fseeko.
774         * warc.h: Fix large file support.
775         * http.c: Fix large file support.
776
777 2012-02-23  Giuseppe Scrivano  <giuseppe@southpole.se>
778
779         * main.c (main): Write diagnostic messages to `stderr' not to `stdout'.
780
781         * main.c (main): Fail gracefully if `malloc' fails.
782
783         * gnutls.c (wgnutls_read): Remove unused variables `timer' and `flags'.
784
785 2012-02-17  Steven Schubiger  <stsc@member.fsf.org>
786
787         * warc.c: Add license header.
788
789 2012-01-27  Gijs van Tulder  <gvtulder@gmail.com>
790
791         * retr.c (fd_read_body): If the response is chunked, the chunk
792         headers are now written to the WARC file, making the WARC file
793         an exact copy of the HTTP response.
794
795 2012-01-27  Gijs van Tulder  <gvtulder@gmail.com>
796
797         * retr.c (fd_read_body): Fix a memory leak with chunked responses.
798         * http.c (skip_short_body): Fix the same memory leak.
799
800 2012-01-09  Gijs van Tulder  <gvtulder@gmail.com>
801
802         * init.c: Disable WARC compression if zlib is disabled.
803         * main.c: Do not show the 'no-warc-compression' option if zlib is
804         disabled.
805         * warc.c: Do not compress WARC files if zlib is disabled.
806
807 2012-01-09  Sasikantha Babu   <sasikanth.v19@gmail.com> (tiny change)
808         * connect.c (connect_to_ip): properly formatted ipv6 address display.
809         (socket_family): New function - returns socket family type.
810         * http.c (gethttp): properly formatted ipv6 address display.
811
812 2011-11-09  Gijs van Tulder  <address@hidden>
813
814         * warc.c: Call gzdopen() with wb9 instead of wb+9, which fails on
815         zlib version >= 1.2.4.
816
817 2011-11-04  Steven Schweda  <address@hidden>
818
819         * warc.c [! WINDOWS]: Include <libgen.h>.
820         (warc_write_warcinfo_record): Assign a new allocated buffer and
821         free it on errors.
822
823 2011-11-01  Steven Schweda  <address@hidden>
824
825         * gnutls.c (ssl_init): Ensure GNU TLS is loaded only once.
826
827 2011-10-07  Steven Schweda  <address@hidden>
828
829         * connect.c: Add HAVE_SYS_SELECT_H and HAVE_SYS_SOCKET_H conditions
830         on includes of <sys/select.h> and <sys/socket.h>, respectively.
831         * ftp.c (getftp): Move BIN_TYPE_TRANSFER macro into VMS-specific
832         section.  On VMS, use Stream_LF attributes for listing files.  Pass
833         BIN_TYPE_FILE to fopen_excl() instead of constant-everywhere "true".
834         * ftp.c (ftp_retrieve_list): Restore lost test of opt.preserve_perm
835         (--preserve-permissions) on the chmod() operation.
836         * init.c, main.c: Remove "deprecated" from opt.preserve_perm
837         (--preserve-permissions).
838         * init.c (initialize): Use distinct messages for errors in C macro
839         SYSTEM_WGETRC and environment-variable SYSTEM_WGETRC.  Avoid use of
840         C macro SYSTEM_WGETRC when it's not defined.
841         * log.c (log_close): Avoid closing logfp when it's stderr.
842         * main.c (print_help):  Restore --preserve-permissions.
843         * main.c (main): Avoid using a negative value of longindex as a
844         subscript (for long_options[]) when searching for "--config".
845         * main.c (main): Exit the program using exit() instead of "return".
846         (VMS handles these differently, and exit() is better.)
847         * openssl.c (ssl_init): Add type cast (SSL_METHOD *) to newly "const"
848         "meth" argument to accommodate OpenSSL version 0.9.8, where that
849         argument is not "const" in the OpenSSL function (SSL_CTX_new).
850         * test.c: Declare "program_argstring".
851         * utils.c (fopen_excl): Comment typography.
852         * warc.h: New file.
853         * warc.c: New file.
854
855 2011-10-02  Henrik Holst <henrik.holst@millistream.com> (tiny change)
856         * http.c (gethttp): If 'contentonerror' is used then do not
857         skip the http body on 4xx and 5xx errors.
858
859         * init.c (commands): Add 'contentonerror'.
860
861         * main.c (print_help, option_data): Add new option 'contentonerror'
862         to make wget not skip the http content on 4xx and 5xx errors.
863
864         * options.h: New variable 'content_on_error'.
865
866 2011-09-19  Giuseppe Scrivano  <gscrivano@gnu.org>
867
868         * main.c (print_version): Update copyright year.
869         (print_version): Fix typo.
870
871 2011-09-13  Giuseppe Scrivano  <gscrivano@gnu.org>
872
873         * ftp.c (ftp_retrieve_glob): Propagate correctly the `res' error
874         code.
875
876 2011-09-07  Giuseppe Scrivano  <gscrivano@gnu.org>
877
878         * http.c (gethttp): Don't inhibit arest request if opt.timestamping is
879         set.
880         Reported by <natrio@list.ru>
881
882 2011-09-06  Jakob Matthes <jakob.matthes@gmail.com> (tiny change)
883
884         * main.c (print_version): Do not exit prematurely when --help is passed.
885
886 2011-09-04  Christian Jullien <eligis@orange.fr> (tiny change)
887
888         * gnutls.c: Include <sys/fcntl.h>.
889
890 2011-09-02  Mojca Miklavec <mojca.miklavec.lists@gmail.com> (tiny change)
891
892         * main.c (print_version): Do not exit prematurely when --version is passed.
893
894 2011-08-30  Giuseppe Scrivano  <gscrivano@gnu.org>
895
896         * gnutls.c (wgnutls_read_timeout): Use the non blocking socket only for
897         `gnutls_record_recv'.  Set errno to ETIMEDOUT on a read timeout.
898
899 2011-08-29  Giuseppe Scrivano  <gscrivano@gnu.org>
900
901         * gnutls.c (wgnutls_read_timeout): New function.
902         (wgnutls_read): Use wgnutls_read_timeout.
903         (wgnutls_peek): Likewise.
904
905 2011-08-27  Giuseppe Scrivano  <gscrivano@gnu.org>
906
907         * main.c (print_help): Exit with an error status if print to stdout
908         fails.
909         (print_usage): Change method signature and return a status code.
910         (print_version): Likewise.
911
912 2011-08-26  Giuseppe Scrivano  <gscrivano@gnu.org>
913
914         * gnutls.c: Include "ptimer.h".
915         (wgnutls_read): Honor read timeout.
916
917         * openssl.c (ssl_init): Make `meth' const.
918
919 2011-08-25  Giuseppe Scrivano  <gscrivano@gnu.org>
920
921         * utils.c [HAVE_UTIME && HAVE_UTIME_H]: Include <utime.h>.
922         [HAVE_UTIME && HAVE_SYS_UTIME_H]: Include <sys/utime.h>.
923         (touch) [HAVE_UTIME: Prefers utime over futimens when it is available.
924         It was reported that Cygwin has a not working futimens.
925
926 2011-08-19  Giuseppe Scrivano  <gscrivano@gnu.org>
927
928         * init.c (home_dir) [MSDOS]: Move local variable `len' here.
929
930 2011-08-18  Giuseppe Scrivano  <giuseppe@southpole.se>
931
932         * http.c (gethttp): Fix a memory leak on some errors.  Free the head
933         buffer.
934
935         * Makefile.am: Use an additional file "css_.c" which in turn includes
936         "wget.h" and immediately "css.c".
937
938         * http.c (gethttp): Reset chunked_transfer_encoding on redirections.
939
940 2011-08-13  Giuseppe Scrivano  <gscrivano@gnu.org>
941
942         * retr.c (fd_read_body): Ensure max is not already defined.
943
944         * mswindows.h (snprintf): Remove definition.
945         (vsnprintf): Likewise.
946
947 2011-08-12  Giuseppe Scrivano  <gscrivano@gnu.org>
948
949         * css.l: Remove include "wget.h".
950         Reported by: Perry Smith <pedzsan@gmail.com>.
951
952 2011-08-11  Giuseppe Scrivano  <gscrivano@gnu.org>
953
954         * utils.c (abort_run_with_timeout): Use sigprocmask instead of
955         sigsetmask.
956
957         * gnutls.c (ssl_connect_wget): Remove call to deprecated function
958         `gnutls_certificate_type_set_priority'.
959
960         * Makefile.am (version.c): Don't invoke hg to set version string.
961
962 2011-08-10  Giuseppe Scrivano  <gscrivano@gnu.org>
963
964         Fix a linker error on systems with an older gnutls version.
965         * gnutls.c (ssl_connect_wget)
966         [HAVE_GNUTLS_PRIORITY_SET_DIRECT]:  Use gnutls_priority_set_direct.
967         [! HAVE_GNUTLS_PRIORITY_SET_DIRECT]:  Use gnutls_protocol_set_priority.
968         Reported by: Karl Berry <karl@freefriends.org>
969
970 2011-08-06  Jochen Roderburg <Roderburg@Uni-Koeln.DE>
971
972         * host.c (lookup_host): Ensure it doesn't print more IPs than available
973         ones.
974
975 2011-08-06  Giuseppe Scrivano  <gscrivano@gnu.org>
976
977         * init.c (defaults): Set default value for show_all_dns_entries.
978
979         * host.c (lookup_host): If `showalldnsentries' is used then print all
980         the IP corresponding to a DNS entry.
981         * init.c (commands): Add `showalldnsentries'.
982         Suggested by: Witold Baryluk <baryluk@smp.if.uj.edu.pl>
983
984         * http.c (gethttp): Add the Cache-Control HTTP header when --no-cache
985         is specified.
986         Reported by: Коренберг Марк <socketpair@gmail.com>.
987
988 2011-08-05  Giuseppe Scrivano  <gscrivano@gnu.org>
989
990         * utils.c (acceptable): Accept always the file if it is the specified
991         output destination.
992         Reported by: Shai Berger <shai@platonix.com>
993
994 2011-08-05  Giuseppe Scrivano  <giuseppe@southpole.se>
995
996         * gnutls.c (ssl_connect_wget): Use `gnutls_priority_set_direct' instead
997         of the deprecated `gnutls_protocol_set_priority'.
998
999 2011-08-02  Giuseppe Scrivano  <giuseppe@southpole.se>
1000
1001         * cookies.c (parse_set_cookie): If the value is quoted, do not modify
1002         it.
1003         Reported by: Nirgal Vourgère <jmv_deb@nirgal.com>
1004
1005 2011-07-29  Giuseppe Scrivano  <giuseppe@southpole.se>
1006
1007         * log.c (logprintf): Exit immediately on a SIGPIPE error.
1008         Reported by: Noèl Köthe  <noel@debian.org>.
1009
1010 2011-07-26  Carlos Martín Nieto  <carlos@cmartin.tk>  (tiny change)
1011
1012         * init.c (home_dir): Allocate path buffer dinamically.
1013
1014 2011-07-26  Giuseppe Scrivano  <giuseppe@southpole.se>
1015
1016         * retr.c (retrieve_url): Do not register redirects when in spider mode.
1017
1018 2011-07-20 Merinov Nikolay <kim.roader@gmail.com>
1019
1020         * iri.c (remote_to_utf8): Add test for non-ASCII symbols with
1021         UTF-8 URI encoding.
1022         * res.c (res_retrieve_file): Fix url_parse call.
1023
1024 2011-06-08  Giuseppe Scrivano  <giuseppe@southpole.se>
1025
1026         * retr.c (retrieve_from_file): Parse the url careless if IRI is enabled.
1027         Reported by: Volker Kuhlmann <list0570@paradise.net.nz>.
1028
1029 2011-05-24  Giuseppe Scrivano  <gscrivano@gnu.org>
1030
1031         * retr.c (fd_read_body): Define max.
1032
1033 2010-12-28  Adrien Nader  <adrien@notk.org> (tiny change)
1034
1035         * main.c [WINDOWS]: Include <io.h> and <fcntl.h>.
1036         (main) [WINDOWS]: Set the stdout file mode to binary.
1037         Submitted also by: Martin Panter <vadmium@gmail.com>
1038
1039 2011-05-23  Giuseppe Scrivano  <gscrivano@gnu.org>
1040
1041         * retr.c (fd_read_body): Be sure the buffer size is at least 8Kb.
1042         BUFSIZ may assume very small values with a negative impact on the
1043         performances.
1044
1045         * mswindows.h [NEED_GAI_STRERROR]: remove definition for gai_strerror.
1046
1047 2011-05-15  Ray Satiro <raysatiro@yahoo.com>
1048
1049         * connect.c (select_fd) [WINDOWS]: Ensure the socket is blocking.
1050         * mswindows.h: Add declaration for set_windows_fd_as_blocking_socket.
1051         * mswindows.c (set_windows_fd_as_blocking_socket): New function.
1052
1053         * openssl.c (openssl_read): Prevent loops on read errors.
1054
1055 2011-04-24  Giuseppe Scrivano  <gscrivano@gnu.org>
1056
1057         * html-url.c: Include "exists.h".
1058         * gnutls.c (wgnutls_peek): Remove local variable `ret'.
1059
1060 2011-04-21  Daniel Manrique <roadmr@tomechangosubanana.com> (tiny change)
1061         * main.c (main): Set exit status when invalid host name given in
1062         command line.
1063         * html-url.c (get_urls_file): Set exit status when invalid host
1064         name given in input file.
1065
1066 2011-04-19  Giuseppe Scrivano  <gscrivano@gnu.org>
1067
1068         * gnutls.c: Do not include <fcntl.h>.
1069         * gnutls.c (wgnutls_peek): Ensure there is data available before attempt
1070         a read on the blocking socket.
1071
1072         * Makefile.am (LIBS): Add $(LIB_CLOCK_GETTIME)
1073         * utils.c: Include <sys/stat.h>.  Do not include <sys/time.h>.
1074         (touch): Use `futimens' instead of `utimes'.
1075
1076         * mswindows.h: Do not include <direct.h>.  Remove macro definition for
1077         mkdir.
1078
1079 2011-04-18  Giuseppe Scrivano  <gscrivano@gnu.org>
1080
1081         * utils.c: Include <sys/time.h>.  Do not include <sys/utime.h>.
1082         (touch): Use `utimes' instead of `utime'.
1083
1084         * openssl.c (openssl_read): Fix build error.
1085
1086 2011-04-17  Giuseppe Scrivano  <gscrivano@gnu.org>
1087
1088         * wget.h [HAVE_LIBSSL32]: Define HAVE_SSL.
1089
1090         * gnutls.c (wgnutls_peek): Use correctly FIONBIO codes under Mingw32.
1091         Reported by: Ray Satiro <raysatiro@yahoo.com>
1092
1093 2011-04-13  Giuseppe Scrivano  <gscrivano@gnu.org>
1094
1095         * openssl.c (openssl_poll): Check if the specified timeout is zero after
1096         SSL_pending.
1097         (openssl_peek): Make the call non-blocking.
1098
1099 2011-04-11  Cristian Rodríguez  <crrodriguez@opensuse.org> (tiny change)
1100
1101         * openssl.c (ssl_init) [! OPENSSL_NO_SSL2]: Use SSLv2 only when
1102         available.
1103
1104 2011-04-07  Giuseppe Scrivano  <gscrivano@gnu.org>
1105
1106         * gnutls.c (ssl_init): Allow X509 v1 certificates.
1107         Suggested by: Ray Satiro <raysatiro@yahoo.com>
1108
1109         (wgnutls_peek): Remove tight loop around gnutls_record_recv.
1110
1111 2011-04-07  Ray Satiro  <raysatiro@yahoo.com> (tiny change)
1112
1113         (wgnutls_read): Check for the GNUTLS_E_AGAIN return code in the recv
1114         tight loop.
1115         (wgnutls_write): Likewise.
1116         (wgnutls_peek): Likewise.
1117
1118 2011-04-07  Giuseppe Scrivano  <gscrivano@gnu.org>
1119
1120         * gnutls.c (wgnutls_peek): New local variable `read'.
1121         Use `read' instead of `ret' to store the number of read bytes.
1122         Reported by: Ray Satiro <raysatiro@yahoo.com>
1123
1124 2011-04-04  Giuseppe Scrivano  <gscrivano@gnu.org>
1125
1126         * openssl.c [WINDOWS]: Include <w32sock.h>.
1127         (openssl_read): Retry the read on SSL_ERROR_WANT_READ.
1128
1129         * host.c [WINDOWS]: Include <winsock2.h> and <ws2tcpip.h>.
1130         Suggested by: Ray Satiro <raysatiro@yahoo.com>.
1131
1132         * Makefile.am (LIBS): Remove  @LIBSSL@ @W32LIBS@
1133
1134 2011-04-03  Giuseppe Scrivano  <gscrivano@gnu.org>
1135
1136         * gnutls.c: Include <fcntl.h>.
1137         (wgnutls_peek): Make the socket non blocking before attempt a read.
1138
1139         * gnutls.c: Include <sys/ioctl.h>.
1140         (wgnutls_peek) [F_GETFL]: Use fcntl.
1141         (wgnutls_peek) [! F_GETFL]: Use ioctl.
1142
1143
1144 2011-03-31  Giuseppe Scrivano  <gscrivano@gnu.org>
1145
1146         * recur.c (download_child_p): When --no-parent is used, check that the
1147         ports are the same only in case the same protocol is used.
1148         Reported by: Karl Berry <karl@freefriends.org>
1149
1150         * res.c (res_parse): Add new line to debug messages.
1151
1152 2011-03-21  Giuseppe Scrivano  <gscrivano@gnu.org>
1153
1154         * iri.h (parse_charset) [!ENABLE_IRI]: Use the parameter to avoid a
1155         compiler warning.
1156
1157         * iri.h: Declare `dummy_iri' as extern not static.
1158         * main.c [!ENABLE_IRI]: Define `dummy_iri'.
1159         (main) [!ENABLE_IRI]: Initialize `dummy_iri'.
1160
1161 2011-03-11  Giuseppe Scrivano  <gscrivano@gnu.org>
1162
1163         * ftp.c (getftp): Fix some memory leaks.
1164         * ftp-ls.c (ftp_parse_winnt_ls): Likewise.
1165         Reported by: Zhenbo Xu <zhenbo1987@gmail.com>.
1166
1167 2010-11-20  Filipe Brandenburger <filbranden@gmail.com> (tiny change)
1168
1169         * http.c (gethttp): Repeat a POST request on a 307 response.
1170         * retr.c (retrieve_url): Use NEWLOCATION_KEEP_POST.
1171         * wget.h: Define NEWLOCATION_KEEP_POST.
1172
1173 2011-03-02  Tomasz Buchert <tomek.buchert@gmail.com> (tiny change)
1174
1175         * http.c (ensure_extension): Do not adjust the extension if the file
1176         ends in .htm.
1177
1178 2011-02-22  Gilles Carry  <gilles.carry@st.com>
1179
1180         * main.c (prompt_for_password): Use stderr instead of stdout
1181         to prompt password. This allows to use --output-document=- and
1182         --ask-password simultaneously. Without this, redirecting stdout
1183         makes password prompt invisible and mucks up payload such as in
1184         this example:
1185         wget --output-document=- --ask-password -user=foo \
1186                 http://foo.com/tarball.tgz | tar zxf -
1187
1188 2011-02-22  Steven Schubiger  <stsc@member.fsf.org>
1189
1190         * http.c (gethttp, http_loop): Move duplicated code which is run
1191         when an existing file is not to be clobbered to a function.
1192         (get_file_flags): New static function.
1193
1194 2010-12-10  Evgeniy Philippov <egphilippov@googlemail.com> (tiny change)
1195
1196         * main.c (main): Initialize `total_downloaded_bytes'.
1197
1198 2010-12-09  Giuseppe Scrivano  <gscrivano@gnu.org>
1199
1200         * main.c (main): If --no-clobber and --convert-links are used at the
1201         same time, use only the latter.
1202         Reported by: Romain Vimont <rom@rom1v.com>
1203
1204 2010-12-07  Jessica McKellar <jesstess@mit.edu> (tiny change)
1205
1206         * main.c: Make help message clearer.
1207
1208 2010-12-02  Giuseppe Scrivano  <gscrivano@gnu.org>
1209
1210         * build_info.c.in: Do not list md5.
1211
1212 2010-12-01  Giuseppe Scrivano  <gscrivano@gnu.org>
1213
1214         * cmpt.c: Include <unistd.h> inconditionally.
1215         * connect.c: Likewise.
1216         * convert.c: Likewise.
1217         * ftp-basic.c: Likewise.
1218         * ftp-ls.c: Likewise.
1219         * ftp.c: Likewise.
1220         * gnutls.c: Likewise.
1221         * http.c: Likewise.
1222         * init.c: Likewise.
1223         * log.c: Likewise.
1224         * main.c: Likewise.
1225         * openssl.c: Likewise.
1226         * progress.c: Likewise.
1227         * ptimer.c: Likewise.
1228         * recur.c: Likewise.
1229         * retr.c: Likewise.
1230         * url.c: Likewise.
1231         * utils.c: Likewise.
1232
1233         * retr.c (fd_read_body): Dinamically allocate `dlbuf'.
1234
1235 2010-11-27  Reza Snowdon  <vivi@mage.me.uk>
1236
1237         * init.c (initialize): If 'ok' is not zero; exit, as this
1238         indicates there was a problem parsing 'SYSTEM_WGETRC'.
1239         Fixes bug #20370.
1240
1241 2010-11-22  Giuseppe Scrivano  <gscrivano@gnu.org>
1242
1243         Revert last commit.
1244         * ftp.c (getftp): When count > 0, don't append to the existing file.
1245         * http.c (gethttp): Likewise.
1246
1247 2010-11-21  Giuseppe Scrivano  <gscrivano@gnu.org>
1248
1249         * ftp.c (getftp): If `count' is bigger than zero, try to resume the
1250         download, not restart it.
1251         * http.c (gethttp): Likewise.
1252         Suggested by: Evgeny Kapun <abacabadabacaba@gmail.com>.
1253
1254 2010-11-19  Giuseppe Scrivano  <gscrivano@gnu.org>
1255
1256         * ftp.c (getftp): Accept new argument `count'.  When `count' is
1257         bigger than zero, assume the file can be overwritten.
1258         (ftp_loop_internal): Pass new argument `count' to `getftp'.
1259
1260         * http.c (gethttp): Accept new argument `count'.  When `count' is
1261         bigger than zero, assume the file can be overwritten.
1262         (http_loop): Pass new argument `count' to `gethttp'.
1263         Reported by: Evgeny Kapun <abacabadabacaba@gmail.com>.
1264
1265 2010-08-08  Reza Snowdon <vivi@mage.me.uk>
1266
1267         * main.c (main): inserted 'defaults'.
1268           Added additional 'getopt_long' while loop to search and apply a
1269           user specified config file before any other options.
1270           New variables 'retconf', 'use_userconfig',
1271           'confval', 'userrc_ret', 'config_opt'.
1272         * init.c: Include stdbool.h.
1273           (commands): Added config details.
1274           (defaults): Removed static.
1275           (wgetrc): Removed static.
1276           (initialize): Removed 'defaults ()',
1277           changed 'int ok' to 'bool ok'.
1278         * options.h: New variable 'choose_config'.
1279         * init.h (defaults): exported function.
1280           (run_wgetrc): exported function.
1281
1282 2010-10-24  Jessica McKellar <jesstess@mit.edu> (tiny change)
1283
1284         * main.c (main): Print the total download time as part of the
1285         summary for downloads using the recursive or page requisites
1286         options. Fixes bug #21359.
1287
1288 2010-10-24  Giuseppe Scrivano  <gscrivano@gnu.org>
1289
1290         * gnutls.c (wgnutls_peek): Do not return an error when
1291         `gnutls_record_recv' fails but some data is already available.
1292
1293 2010-10-23  Giuseppe Scrivano  <gscrivano@gnu.org>
1294
1295         * Makefile.am (LIBS): Remove @LIBGNUTLS@ and use @W32LIBS@ as last
1296         component.
1297
1298         * gnutls.c (wgnutls_peek): Block until data is available.
1299
1300 2010-10-21  Giuseppe Scrivano  <gscrivano@gnu.org>
1301
1302         * retr.c (retrieve_url): Do not register HTML files twice.
1303         Reported by: Manfred Koizar <mkoi-pg@aon.at>.
1304
1305 2010-10-18  Manfred Koizar <mkoi-pg@aon.at> (tiny change)
1306
1307         * html-url.c (tag_handle_link): Do not assume external links type
1308         to be always "text/html".
1309
1310 2010-10-16  Giuseppe Scrivano  <gscrivano@gnu.org>
1311
1312         * connect.c (socket_ip_address): Initialize `sockaddr' to zero.
1313         * ftp-basic.c (ftp_epsv): Remove dead assignment to `s'.
1314         * ftp-ls.c (ftp_parse_vms_ls): Remove dead assignment to `len'.
1315         * http.c (skip_short_body): Remove dead assignment to `ret'.
1316         * init.c (wgetrc_user_file_name): Remove dead assignment to `home'.
1317         * main.c (main): Silent warning reported by clang.
1318         (http_loop): Silent warning reported by clang.
1319         * retr.c (retrieve_url): Likewise.
1320         * url.c (init_seps): Remove dead assignment to `p'.
1321
1322 2010-10-11  Giuseppe Scrivano  <gscrivano@gnu.org>
1323
1324         * ftp.c (getftp): Fix indentation.
1325
1326 2010-10-11  Steven Schubiger <stsc@member.fsf.org>
1327
1328         * ftp.c (getftp): Initialize `targ'.
1329
1330 2010-10-08  Ivanov Anton <x86mail@gmail.com> (tiny change)
1331
1332     * src/html-url.c (check_style_attr): Skip quotes when they are present.
1333
1334 2010-10-06  Giuseppe Scrivano  <gscrivano@gnu.org>
1335
1336         * main.c (main): Remove unused variable `status'.
1337
1338 2010-09-25  Merinov Nikolay  <kim.roader@gmail.com>
1339
1340         * init.c: Add "unlink" command into command list.
1341         * main.c: Add "unlink" option into option_data list.
1342         * options.h: Adding unlink field into struct options.
1343         * wget.h: Addind UNLINKERR error into uerr_t enum.
1344         * exits.c (get_status_for_err): define status for UNLINKERR.
1345         * ftp.c (getftp): unlink file if exists, instead clobbering.
1346         (ftp_loop_internal): processing UNLINKERR.
1347         * http.c (gethttp): unlink file if exists, instead clobbering.
1348         (http_loop): processing UNLINKERR.
1349
1350 2010-09-24  Dennis, CHENG Renquan <crquan@fedoraproject.org>
1351
1352         Fix problem when content-disposition is used with recursive downloading.
1353         * url.h (url_file_name): Add a new argument `replaced_filename'.
1354         * url.c (url_file_name): Likewise.
1355         * http.c (parse_content_disposition): Do not add a prefix to the return
1356         value.
1357         (test_parse_content_disposition): Adjust tests.
1358         (gethttp): Pass additional parameter to `url_file_name'.
1359         (http_loop): Likewise.
1360         * ftp.c (ftp_loop_internal, ftp_get_listing, ftp_retrieve_list)
1361         (ftp_loop): Likewise.
1362
1363 2010-09-14  Giuseppe Scrivano  <gscrivano@gnu.org>
1364
1365         * convert.c (local_quote_string): Accept new parameter `no_html_quote'.
1366         Inhibit HTML quoting when `no_html_quote'.
1367         (convert_links): Disable HTML quoting in CSS files.
1368         Reported by: Manuel Reinhardt <reinhardt@syslab.com>.
1369
1370 2010-09-12  Giuseppe Scrivano  <gscrivano@gnu.org>
1371
1372         * main.c (print_help): Align --trust-server-names help text with
1373         the rest of the text.
1374         Suggested by: Mike Frysinger  <vapier@gentoo.org>.
1375
1376 2010-08-20  Giuseppe Scrivano  <gscrivano@gnu.org>
1377
1378         * convert.c: Include "iri.h".
1379         (convert_links_in_hashtable): Parse the url, if
1380         necessary, before check if it is present in the dowloaded url
1381         map.
1382         Reported by: <sk.random@gmail.com>.
1383
1384 2010-08-09  Giuseppe Scrivano  <gscrivano@gnu.org>
1385
1386         Fix a problem with HTTP/1.0 proxies.
1387         * http.c (gethttp): Specify the connection header when keep alive
1388         connections are not used.
1389
1390         Use persistent connections with proxies supporting them.
1391         * http.c (gethttp): Specify Proxy-Connection to the HTTP proxy.
1392
1393 2010-08-06  Giuseppe Scrivano  <gscrivano@gnu.org>
1394
1395         * css-url.c (get_uri_string): Skip empty urls.
1396
1397 2010-07-25  John Trengrove  <jtrengrove@gmail.com> (tiny change)
1398
1399         * ftp.h: Added enum `parsetype'.  Modified struct to hold parsetype.
1400
1401         * ftp-ls.c (ftp_parse_unix_ls): Default to TT_DAY. Change to TT_HOUR_MIN
1402         if hours/minutes parsed.
1403         (ftp_parse_winnt_ls): Default to TT_HOUR_MIN.
1404         (ftp_parse_vms_ls): Default to TT_HOUR_MIN.
1405         (ftp_index): Print only if fileinfo struct value ttype set to TT_HOUR_MIN.
1406
1407 2010-07-30  Giuseppe Scrivano  <gscrivano@gnu.org>
1408
1409         * html-url.h (struct map_context): Remove member `tail'.
1410
1411         * html-url.c (append_url): Append the new url ordered by `position'.
1412         (get_urls_html): Do not initialize `ctx.tail'.
1413
1414         * css-url.c (get_urls_css_file): Do not initialize `ctx.tail'.
1415
1416 2010-07-29  Giuseppe Scrivano  <gscrivano@gnu.org>
1417
1418         * gnutls.c (wgnutls_peek): Don't read more data if the buffered peek
1419         data is sufficient.
1420
1421 2010-07-28  Giuseppe Scrivano  <gscrivano@gnu.org>
1422
1423         * http.h (http_loop): Add new argument `original_url'
1424         * http.c (http_loop): Add new argument `original_url'.  Use
1425         `original_url' to get a filename if `trustservernames' is false.
1426
1427         * init.c (commands): Add "trustservernames".
1428
1429         * options.h (library): Add variable `trustservernames'.
1430
1431         * main.c (option_data): Add trust-server-names.
1432         (print_help): Describe --trust-server-names.
1433
1434         * retr.c (retrieve_url): Pass new argument to `http_loop'.
1435
1436 2010-07-20  Alan Jenkins <alan-jenkins@tuffmail.co.uk> (tiny change)
1437
1438         * http.c (gethttp): Check content-length was set before trying to
1439         compare it with the already downloded filesize.
1440
1441 2010-07-20  Leonid Petrov <nouser@lpetrov.net>
1442
1443         * ftp.c (getftp): Don't attempt to retrieve the file if it is already
1444         completely.
1445         (ftp_loop_internal): Force the length to be zero for symlinks.
1446
1447 2010-07-18  Giuseppe Scrivano  <gscrivano@gnu.org>
1448
1449         * http.c (gethttp): If -N is used, don't exit immediately if the content
1450         length is less or equal than the existing file size.  Specify "Range"
1451         only if -N is not used.
1452         Reported by: Caleb Cushing <xenoterracide@gmail.com>.
1453
1454 2010-07-14  Giuseppe Scrivano  <gscrivano@gnu.org>
1455
1456         * ftp.c (max): Remove definition.
1457         (getftp): New variable `got_expected_bytes'.  Let `expected_bytes' be
1458         the value SIZE returns, otherwise use the bytes count returned by RETR.
1459         Suggested by Daniel Stenberg <daniel@haxx.se>.
1460
1461 2010-07-14  Giuseppe Scrivano  <gscrivano@gnu.org>
1462
1463         * ftp.c (max): Add definition.
1464         (getftp): Consider for `expected_bytes' the greatest value between the
1465         bytes count returned by SIZE and the bytes count returned by RETR.
1466         Reported by: Jozua <jozua@sparky.za.net>.
1467
1468 2010-07-11  Giuseppe Scrivano  <gscrivano@gnu.org>
1469
1470         * http.c (http_loop): New variable `force_full_retrieve'.  If the remote
1471         file is newer that the local one then inhibit -c.
1472         Reported by: Caleb Cushing <xenoterracide@gmail.com>.
1473
1474 2010-07-09  Giuseppe Scrivano  <gscrivano@gnu.org>
1475
1476         * css-url.c (get_urls_css_file): Use `wget_read_file' instead of
1477         `read_file'.  Use `wget_read_file_free' instead of `read_file_free'.
1478         * convert.c (convert_links): Likewise.
1479         * html-url.c (get_urls_html, get_urls_file): Likewise.
1480         * res.c (res_parse_from_file): Likewise.
1481
1482         * utils.h: Rename `read_file' to `wget_read_file'.  Rename
1483         `read_file_free' to `wget_read_file_free'.
1484
1485         * utils.c (wget_read_file): Renamed from `read_file'.
1486         (wget_read_file_free): Renamed from `read_file_free'.
1487
1488 2010-07-05  Giuseppe Scrivano  <gscrivano@gnu.org>
1489
1490         * gnutls.c (ssl_init): New local variables `ca_directory' and `dir'.
1491         Load default root certificates under the `ca_directory' directory.
1492
1493 2010-07-03  Giuseppe Scrivano  <gscrivano@gnu.org>
1494
1495         * gnutls.c (ssl_connect_wget): New local variable `allowed_protocols'.
1496         Honor the --secure-protocol flag.
1497
1498 2010-06-20  Giuseppe Scrivano  <gscrivano@gnu.org>
1499
1500         * main.c (print_help): Fix help string for --random-wait.  Its range is
1501         [0.5*wait, 1.5*wait) not [0, 2*wait).
1502         Reported by: Tom Mizutani <gombei1970@gmail.com>.
1503
1504 2010-06-15  Giuseppe Scrivano  <gscrivano@gnu.org>
1505
1506         * gnutls.c [WIN32]: Include "w32sock.h".
1507         (FD_TO_SOCKET): Add definition.
1508         (ssl_connect_wget): Get the real socket handle by FD_TO_SOCKET.
1509         Define FD_TO_SOCKET if it is not yet defined.
1510
1511 2010-06-14  Giuseppe Scrivano  <gscrivano@gnu.org>
1512
1513         * gnutls.c: Include <stdlib.h>.
1514         (struct wgnutls_transport_context): Remove `peekstart'.
1515         (ssl_connect_wget): Renamed from `ssl_connect'.
1516         (wgnutls_poll): New variable `ctx'.
1517         (wgnutls_read): Don't use `ctx->peekstart'.
1518         (wgnutls_peek): Likewise.  Don't attempt to read if there is not
1519         ready data.
1520
1521 2010-06-14  Giuseppe Scrivano  <gscrivano@gnu.org>
1522         * http.c (http_loop): Always send a HEAD request when -N is used
1523         together with --content-disposition.
1524         Reported by: Jochen Roderburg <Roderburg@Uni-Koeln.DE>.
1525
1526 2010-06-10  Muthu Subramanian K <muthusuba@gmail.com> (tiny change)
1527
1528         * http.c (http_loop): Increase `total_downloaded_bytes' by
1529         `hstat.rd_size', not `hstat.len'.
1530
1531 2010-06-10  Giuseppe Scrivano  <gscrivano@gnu.org>
1532
1533         * main.c (print_version): Drop the current maintainer line.
1534
1535 2010-06-10  Giuseppe Scrivano  <gscrivano@gnu.org>
1536
1537         * Makefile.am (build_info.c): Generate the `build_info.c' file under
1538         the build directory.
1539         Patch by: Daniel Stenberg <daniel@haxx.se>.
1540
1541 2010-06-03  Giuseppe Scrivano  <gscrivano@gnu.org>
1542
1543         * http.c (http_loop): Do not send a HEAD request before the GET request
1544         when --content-disposition is used.
1545         Reported by: alex_wh@mail.ru.
1546
1547 2010-05-31  Giuseppe Scrivano  <gscrivano@gnu.org>
1548
1549         * css.l: Use option "nounput".
1550         (YY_NO_INPUT): Add macro definition.
1551
1552 2010-05-31  Giuseppe Scrivano  <gscrivano@gnu.org>
1553
1554         * html-parse.c (map_html_tags): Fix condition for closed tag.  Handle
1555         the case '>' is not specified after '/'.
1556
1557 2010-05-31  Giuseppe Scrivano  <gscrivano@gnu.org>
1558
1559         * sysdep.h (_SVID_SOURCE): Remove definition.
1560         (_BSD_SOURCE): Remove definition.
1561
1562 2010-05-31  Giuseppe Scrivano  <gscrivano@gnu.org>
1563
1564         * recur.c (retrieve_tree): Remove variable `up_error_code'.
1565
1566         * iri.c (open_locale_to_utf8): Remove function.
1567
1568 2010-05-30  Giuseppe Scrivano  <gscrivano@gnu.org>
1569
1570         * html-parse.c (NAME_CHAR_P): Consider '<' an invalid character.
1571         (advance_declaration): Close the tag if '<' is found.
1572         (map_html_tags): Likewise.
1573
1574 2010-05-27  Giuseppe Scrivano  <gscrivano@gnu.org>
1575
1576         * main.c (print_usage): Accept a new parameter `error'.
1577         (main): Print diagnostic messages to stderr, not stdout.
1578
1579 2010-05-27  Giuseppe Scrivano  <gscrivano@gnu.org>
1580
1581         * Makefile.am (wget_SOURCES): Remove `snprintf.c'.
1582
1583         * snprintf.c: Remove file.
1584
1585 2010-05-27  Giuseppe Scrivano  <gscrivano@gnu.org>
1586
1587         * main.c (main): Exit with failure when -k is specified and -O is not
1588         a regular file.
1589
1590 2010-05-27  Giuseppe Scrivano  <gscrivano@gnu.org>
1591
1592         * http.c (gethttp): Consider new cookies retrieved when the
1593         authorization fails.
1594
1595 2010-05-25  Giuseppe Scrivano  <gscrivano@gnu.org>
1596
1597         * host.c (sufmatch): Do not consider zero length entries.
1598
1599         * http.c (H_10X): New macro.
1600         (gethttp): Silently ignore 1xx responses.
1601
1602 2010-05-24  Giuseppe Scrivano  <gscrivano@gnu.org>
1603
1604         * iri.h (dummy_iri): Define static.
1605
1606         * css-tokens.h (css_tokens): Remove variable.
1607
1608 2010-05-23  Giuseppe Scrivano  <gscrivano@gnu.org>
1609
1610         * http.c (http_atotm): Count the NUL character when copying the locale
1611         string.
1612         Reported by: Florian Weimer <fw@deneb.enyo.de>
1613
1614 2010-05-16  Giuseppe Scrivano  <gscrivano@gnu.org>
1615
1616         * Makefile.am (LDADD): Remove MD5_LDADD.
1617         (MD5_LDADD): Remove definition.
1618         (AM_CPPFLAGS): Remove MD5_CPPFLAGS.
1619         (version.c): Remove dependency from MD5_LDADD.
1620         (../md5/libmd5.a): Remove rule.
1621
1622         * ftp-opie.c: Include "md5.h".  Do not include "gen-md5.h".
1623         (skey_response): New variable ctx.  Use md5 functions from the gnulib
1624         module instead of functions defined previously in the "gen-md5.h" file.
1625
1626         * gen-md5.h: Remove file.
1627         * gen-md5.c: Likewise.
1628
1629         * http.c: Include "md5.h".  Do not include "gen-md5.h".
1630         (digest_authentication_encode): New variable ctx.  Use md5 functions
1631         from the gnulib module instead of functions defined previously in the
1632         "gen-md5.h" file.
1633
1634 2010-05-15  Giuseppe Scrivano  <gscrivano@gnu.org>
1635
1636         * Makefile.am: Quote any path using $(top_srcdir) or $(top_builddir).
1637         (version.c): Remove dependency from configure.ac and Makefile.am.
1638
1639         * css.l: Include "wget.h".
1640
1641 2010-05-08  Giuseppe Scrivano  <gscrivano@gnu.org>
1642
1643         * Makefile.am: Update copyright years.
1644         * cmpt.c: Likewise.
1645         * connect.h: Likewise.
1646         * convert.c: Likewise.
1647         * convert.h: Likewise.
1648         * cookies.c: Likewise.
1649         * cookies.h: Likewise.
1650         * css-tokens.h: Likewise.
1651         * css-url.c: Likewise.
1652         * css-url.h: Likewise.
1653         * css.l: Likewise.
1654         * exits.c: Likewise.
1655         * exits.h: Likewise.
1656         * ftp-basic.c: Likewise.
1657         * ftp-ls.c: Likewise.
1658         * ftp-opie.c: Likewise.
1659         * ftp.c: Likewise.
1660         * ftp.h: Likewise.
1661         * gen-md5.c: Likewise.
1662         * gen-md5.h: Likewise.
1663         * gettext.h: Likewise.
1664         * gnutls.c: Likewise.
1665         * hash.c: Likewise.
1666         * hash.h: Likewise.
1667         * host.c: Likewise.
1668         * host.h: Likewise.
1669         * html-parse.c: Likewise.
1670         * html-parse.h: Likewise.
1671         * html-url.c: Likewise.
1672         * html-url.h: Likewise.
1673         * http-ntlm.c: Likewise.
1674         * http-ntlm.h: Likewise.
1675         * http.c: Likewise.
1676         * http.h: Likewise.
1677         * init.c: Likewise.
1678         * init.h: Likewise.
1679         * iri.c: Likewise.
1680         * iri.h: Likewise.
1681         * log.c: Likewise.
1682         * log.h: Likewise.
1683         * main.c: Likewise.
1684         * mswindows.c: Likewise.
1685         * mswindows.h: Likewise.
1686         * netrc.c: Likewise.
1687         * netrc.h: Likewise.
1688         * openssl.c: Likewise.
1689         * options.h: Likewise.
1690         * progress.c: Likewise.
1691         * progress.h: Likewise.
1692         * ptimer.c: Likewise.
1693         * ptimer.h: Likewise.
1694         * recur.c: Likewise.
1695         * recur.h: Likewise.
1696         * res.c: Likewise.
1697         * res.h: Likewise.
1698         * retr.c: Likewise.
1699         * retr.h: Likewise.
1700         * spider.c: Likewise.
1701         * spider.h: Likewise.
1702         * ssl.h: Likewise.
1703         * sysdep.h: Likewise.
1704         * test.c: Likewise.
1705         * test.h: Likewise.
1706         * url.c: Likewise.
1707         * url.h: Likewise.
1708         * utils.c: Likewise.
1709         * utils.h: Likewise.
1710         * wget.h: Likewise.
1711
1712 2010-05-07  Giuseppe Scrivano  <gscrivano@gnu.org>
1713
1714         * gnutls.c (wgnutls_close): Use always `close', not `closesocket'.
1715         * openssl.c (openssl_close): Use always `close', not `closesocket'.
1716         (ssl_connect_wget): Get the real socket handle by FD_TO_SOCKET.
1717         Define FD_TO_SOCKET if it is not yet defined.
1718         * Makefile.am (libunittest_a_CPPFLAGS): Add -I$(top_builddir)/lib.
1719         * mswindows.h: Always include <winsock2.h> and <ws2tcpip.h>.  Do not
1720         include <winsock.h>.
1721         [! INHIBIT_WRAP]: Remove macro's socket, bind, connect, accept, recv,
1722         send, select, getsockname, getpeername, setsockopt, closesocket.
1723         Remove wrapped_socket, wrapped_bind, wrapped_connect, wrapped_listen,
1724         wrapped_accept, wrapped_recv, wrapped_send, wrapped_select,
1725         wrapped_getsockname, wrapped_getpeername, wrapped_setsockopt,
1726         wrapped_closesocket prototypes.
1727         * mswindows.c:  Remove wrapped_socket, wrapped_bind, wrapped_connect,
1728         wrapped_listen, wrapped_accept, wrapped_recv, wrapped_send,
1729         wrapped_select, wrapped_getsockname, wrapped_getpeername,
1730         wrapped_setsockopt, wrapped_closesocket functions.  Remove WRAP macro.
1731         * host.h [WINDOWS]: Include <winsock2.h> not <winsock.h>.
1732         * connect.c: Include <sys/socket.h> and <sys/select.h> on any platform,
1733         gnulib ensures they exist.  Remove `read', `write', `close' macros.
1734         * Makefile.am: Copy build_info.c.in only if we are working in a VPATH.
1735         (AM_CPPFLAGS): Add directory with generated gnulib files.
1736
1737 2010-05-06  Giuseppe Scrivano  <gscrivano@gnu.org>
1738
1739         * Makefile.am (build_info.c): Generate build_info.c in the builddir,
1740         not srcdir.
1741
1742 2010-05-05  Giuseppe Scrivano  <gscrivano@gnu.org>
1743
1744         * http.c (gethttp): Give a nicer message on a malformed status line.
1745
1746 2010-05-04  Giuseppe Scrivano  <gscrivano@gnu.org>
1747
1748         * http.c (gethttp): Check `resp_status' return code and handle
1749         errors.
1750
1751 2010-05-01  Giuseppe Scrivano <gscrivano@gnu.org>
1752
1753         * http.c (request_send): Specify 1.1 as HTTP version for requests.
1754         (skip_short_body): Accept new parameter `chunked'.  New variable
1755         `remaining_chunk_size'.  Handle the chunked transfer encoding.
1756         (gethttp): New variable `chunked_transfer_encoding`.  Set `keepalive'
1757         by default to true.  Check if the server is using the chunked transfer
1758         encoding.
1759
1760         * retr.h: Define `rb_chunked_transfer_encoding'.
1761
1762         * retr.c (fd_read_body): New variable `chunked'.  New variable
1763         `remaining_chunk_size'.  Handle the chunked transfer encoding.
1764
1765 2010-03-04  Steven Schubiger  <stsc@member.fsf.org>
1766
1767         * ftp.c (ftp_loop_internal): Omit input file from being
1768         deleted after retrieval.
1769
1770         * retr.c (input_file_url): New function.
1771
1772         * retr.h: Add declaration for input_file_url.
1773
1774 2010-03-02  Steven Schubiger  <stsc@member.fsf.org>
1775
1776         * retr.c (retrieve_from_file): Improve checking for a URL
1777         by invoking url_valid_scheme instead of url_has_scheme.
1778
1779         * url.c (url_valid_scheme): New function.
1780
1781         * url.h: Add declaration for url_valid_scheme.
1782
1783 2010-03-02  Steven Schubiger  <stsc@member.fsf.org>
1784
1785         * retr.c (retrieve_from_file): Free memory of input file.
1786
1787 2010-03-01  Steven Schubiger  <stsc@member.fsf.org>
1788
1789         * retr.c (retrieve_url): Retrieve the local filename from ftp_loop.
1790         (retrieve_from_file): Return if there's no input file.
1791
1792         * ftp.c (ftp_loop_internal): Duplicate the local filename into
1793         retrieve_url's scope when a valid reference is being passed.
1794         (ftp_loop): Call ftp_loop_internal here with passing a
1795         reference to the local filename, elsewhere with NULL.
1796
1797         * ftp.h: Adjust declaration of ftp_loop.
1798
1799 2010-01-27  Paul Townsend  <aab@purdue.edu>  (tiny change)
1800
1801         * retr.c (fd_read_body): Be sure to measure timer when time has
1802         elapsed, too, not just when we've made progress.
1803
1804 2010-01-13  Micah Cowan  <micah@cowan.name>
1805
1806         * openssl.c: Fixed some mixed declarations-and-code.
1807
1808 2010-01-09  Micah Cowan  <micah@cowan.name>
1809
1810         * init.c, main.c, http.c, ftp.c, options.h: Renamed
1811         --no-match-server-timestamps to --no-use-server-timestamps, and
1812         add it to print_help.
1813
1814 2010-01-09  David Holman  <holman.david@gmail.com>  (tiny change)
1815
1816         * init.c, main.c, http.c, ftp.c, options.h: Added support for
1817         --no-match-server-timestamps.
1818
1819 2009-12-03  Peter Rosin  <peda@lysator.liu.se>
1820
1821         * snprintf.c (dopr): Output %p as unsigned.
1822
1823 2010-01-09  Jeremy Olexa  <darkside@gentoo.org>  (tiny change)
1824
1825         * init.c: Deal with systems which provide PATH_MAX in
1826         sys/param.h rather than limits.h.
1827
1828 2009-10-09  Steven Schweda  <sms@antinode.info>
1829
1830         * utils.c: Added characters " : \ | to the list of normal
1831         caret-escaped (ODS5) characters in the char_prop[] table.
1832
1833 2009-09-22  Arvind Jamuna Dixit  <ardsrk@gmail.com>
1834
1835         * http.c (extract_param, parse_content_disposition): Support
1836         RFC 2231 while parsing Content-Disposition header
1837
1838 2009-10-24  Petr Pisar  <petr.pisar@atlas.cz>
1839
1840         * openssl.c: Implement support for (multiple) subjectAltNames in
1841         X509 certificates, not just the commonName.
1842
1843 2009-10-09  Micah Cowan  <micah@cowan.name>
1844
1845         * main.c: Fix declaration of compiled_features.
1846
1847         * build_info.c.in: Adapt to new input format. Added a check for
1848         large-file support. Replaced the "openssl" and "gnutls"
1849         advertisements with a single "ssl/foo" advertisement.
1850
1851 2009-09-30  Micah Cowan  <micah@cowan.name>
1852
1853         * sysdep.h: Unconditionally include stdbool.h (gnulib has it for
1854         systems that don't supply it.)
1855
1856         * vms.c: Added functions vms_basename(), used to extract the
1857         bare executable name from argv[0], and vms_getpass(), a
1858         VMS-specific replacement for GNU getpass().
1859
1860          vms.c: Added global string constants: compilation_string
1861         (NULL), link_string (NULL), and version_string (real).
1862
1863 2009-09-24  Micah Cowan  <micah@cowan.name>
1864
1865         * vms.c: Moved from vms/vms.c.
1866
1867         * sysdep.h: Use proper prototypes for snprintf, vsnprintf (thanks
1868         to Steven Schweda).
1869
1870 2009-09-24  Steven Schweda  <sms@antinode.info>
1871
1872         * main.c (print_version): Remove VMS-conditional build info
1873         string; the new VMS builders use OS_TYPE.
1874
1875         * ftp.c (getftp): Fix accidental use of target -> targ.
1876
1877 2009-09-24  Micah Cowan  <micah@cowan.name>
1878
1879         * host.c (host_errstr): host_errstr should return const char *.
1880
1881 2009-09-22  Micah Cowan  <micah@cowan.name>
1882
1883         * Makefile.am (version.c): Explicitly tell Mercurial where the
1884         top-source repository should be, so it doesn't accidentally use
1885         the repository for a containing directory (for instance, if the
1886         user's home directory is managed by a Mercurial repo). Also
1887         ensures we find the repository, even if the build directory is
1888         outside the source directory.
1889
1890         * wget.h: define WINDOWS if _WIN32 or __WIN32__ is defined, but
1891         not __CYGWIN__.
1892
1893         * mswindows.c (xsleep): Check for availability of the sleep
1894         function, in addition to the usleep function.
1895         (get_winsock_error, windows_strerror): Removed (gnulib already
1896         supplies this functionality).
1897
1898         * mswindows.h [NEED_GAI_STRERROR]: define gai_strerror
1899         to (gnulib's) strerror, rather than windows_strerror. Removed
1900         error macro definitions provided by gnulib.
1901         (windows_strerror): Removed (gnulib already supplies this
1902         functionality).
1903
1904         * host.c: Don't declare h_errno when building on Windows.
1905
1906         * Makefile.am (LIBS): Added @W32LIBS@.
1907         (EXTRA_wget_SOURCES): Removed (it's in LIBOBJ now).
1908         (version.c): Removed dependency on $(LDADD), since it may include
1909         dependencies that are not part of the Wget sources (-lwsock32, for
1910         instance).
1911
1912         * openssl.c (ssl_check_certificate): Avoid reusing the same buffer
1913         space for successive quoted arguments. Thanks to Steven Schweda
1914         for pointing out the problem.
1915
1916 2009-09-21  Micah Cowan  <micah@cowan.name>
1917
1918         * progress.c (update_speed_ring): "the the" -> "the".
1919
1920         * css-url.c, iri.c, mswindows.c: Removed assert.h inclusion (not
1921         using it).
1922
1923 2009-09-11  Steven Schweda  <sms@antinode.info>
1924
1925         * utils.c, utils.h (fopen_excl): Make second argument an int,
1926         rather than a bool (so it can handle the appropriate VMS version
1927         of the flag).
1928
1929         * main.c (print_version): Don't print LOCALEDIR unless NLS is
1930         enabled.
1931
1932         * http.c (gethttp): Pass FOPEN_BIN_FLAG, instead of true.
1933
1934         * ftp.c (ftp_retrieve_glob): Cast strcmp to assign to cmp, for a
1935         silly HP build environment.
1936
1937 2009-09-08  Steven Schubiger  <stsc@member.fsf.org>
1938
1939         * main.c, init.c: Mark the --preserve-permissions and
1940         --html-extension option as deprecated.
1941
1942 2009-09-06  Micah Cowan  <micah@cowan.name>
1943
1944         * ftp.c (getftp, ftp_loop_internal): Separate "len" input/output
1945         parameter (with different meanings for input and output), into two
1946         separate parameters, one input (passed_expected_bytes) and one
1947         output (qtyread). Fixes bug #26870.
1948
1949 2009-09-05  Steven Schubiger  <stsc@member.fsf.org>
1950
1951         * retr.h: Declare set_local_file() to avoid build warnings.
1952
1953 2009-09-05  Gisle Vanem  <gvanem@broadpark.no>
1954
1955         * connect.c, init.c, main.c, openssl.c, options.h:  Replace
1956         "ifdef MSDOS" with "ifdef USE_WATT32" since DOS-targets in fact
1957         use the Watt-32 tcp/ip stack.
1958
1959 2009-09-04  Micah Cowan  <micah@cowan.name>
1960
1961         * Makefile.am: Move build_info.c to wget_SOURCES from
1962         nodist_wget_SOURCES, reduce dependencies, and invoke build_info.pl
1963         in its new home, $(top_srcdir)/build-aux.
1964
1965 2009-09-03  Micah Cowan  <micah@cowan.name>
1966
1967         * ftp-ls.c (ftp_parse_vms_ls): Replace use of localtime_r with
1968         localtime, as not all platforms have localtime_r.
1969
1970         * Makefile.am (wget_SOURCES): Rearranged some of the file order,
1971         so .c files and .h files are apart. Added gettext.h, so that it
1972         shows up in the dist.
1973
1974 2009-09-02  Micah Cowan  <micah@cowan.name>
1975
1976         * gettext.h: Refreshed from gettext 0.17.
1977
1978         * test.c: Added definition of program_name variable, required by
1979         lib/error.c (libgnu.a). Doesn't cause problems until you try to
1980         build on a non-GNU system...
1981
1982         * build_info.c.in: Removed useless "+gettext" feature ad.
1983
1984 2009-08-29  Steven Schubiger  <stsc@member.fsf.org>
1985
1986         * convert.c (local_quote_string): Percent-encode semicolons
1987         in local file strings.
1988
1989 2009-08-27  Micah Cowan  <micah@cowan.name>
1990
1991         * wget.h (uerr_t): added new VERIFCERTERR code for SSL certificate
1992         problems. Marked exit codes that are defined but never used (at
1993         least, the ones I could find).
1994
1995         * retr.c, retr.h (retrieve_url): Added a new boolean argument to
1996         determine whether an exit status should be recorded.
1997         (retrieve_from_file): Adjust to new retrieve_url signature.
1998
1999         * res.c (res_retrieve_file): Don't have retrieve_url record an
2000         exit status for robots.txt.
2001
2002         * recur.c (retrieve_tree): Adjust to new retrieve_url signature.
2003
2004         * main.c (main): Use the exit status stored by retrieve_url.
2005
2006         * http.c (gethttp): Distinguish certificate verification problems
2007         from SSL connection issues.
2008         (http_loop): Handle newly-created VERIFCERTERR error code.
2009
2010         * exits.c, exits.h: Newly added.
2011
2012         * Makefile.am (wget_SOURCES): Add exits.c and exits.h.
2013
2014 2009-08-27  Micah Cowan  <micah@cowan.name>
2015
2016         * http.c (gethttp): Make sure Wget heeds cookies when they
2017         are sent with a 401 response; or any other sort of response for
2018         that matter (#26775).
2019
2020 2009-08-19  Micah Cowan  <micah@cowan.name>
2021
2022         * openssl.c (ssl_check_certificate): Only warn about an attack if
2023         the hostname would otherwise have matched. Also some formatting
2024         cleanup.
2025
2026 2009-08-19  Joao Ferreira  <joao@joaoff.com>
2027
2028         * openssl.c (ssl_check_certificate): Detect embedded NUL
2029         characters in the SSL certificate common name.
2030
2031 2009-08-17  Tony Lewis  <tlewis@exelana.com>
2032
2033         * http.c (gethttp): Ensure that we parse Content-Length before we
2034         attempt to refer to its value. Without this fix, NTLM support was
2035         completely buggered. #27192
2036
2037 2009-08-09  Michael Baeuerle  <michael.baeuerle@gmx.net>
2038
2039         * ftp.c: #include <strings.h> for strcasecmp.
2040
2041 2009-07-28  Micah Cowan  <micah@cowan.name>
2042
2043         * main.c (option_data): Rename --html-extension to
2044         --adjust-extension.
2045         (print_help): Ditto.
2046
2047         * options.h (struct option): Rename html_extension to
2048         adjust_extension.
2049         * http.c (gethttp): Ditto.
2050         * convert.c (local_quote_string): Ditto.
2051
2052         * init.c (commands): Add "adjustextension", and reflect rename
2053         change for opt.adjust_extension, for both "adjustextension" and
2054         "htmlextension".
2055
2056 2009-07-27  Micah Cowan  <micah@cowan.name>
2057
2058         * options.h (struct options): Added restrict_files_nonascii
2059         boolean field.
2060
2061         * url.c (FILE_CHAR_TEST): Add check for chars outside the ASCII
2062         range.
2063
2064         * init.c (defaults): Add restrict_files_nonascii to initialization.
2065         (cmd_spec_restrict_file_names): Allow parsing of "ascii" keyword.
2066
2067 2009-07-27  Marcel Telka  <marcel@telka.sk>
2068
2069         * iri.c (do_conversion): Typo: invalide -> invalid
2070
2071 2009-07-27  Petr Pisar  <petr.pisar@atlas.cz>
2072
2073         * main.c (print_help): Fixed a couple typos.
2074
2075 2009-07-26  Micah Cowan  <micah@cowan.name>
2076
2077         * main.c (option_data): Rename --locale option to --local-encoding
2078         (print_help): Document --no-iri, --local-encoding, and
2079         --remote-encoding, within usage message. Remove defunct
2080         --preserve-permissions.
2081
2082 2009-07-23  Micah Cowan  <micah@cowan.name>
2083
2084         * progress.c (get_eta): Change "Translation note" in comment to
2085         "TRANSLATORS", so it actually appears in wget.pot.
2086
2087 2009-07-06  Micah Cowan  <micah@cowan.name>
2088
2089         * main.c (print_help): Improve documentation of --base.
2090
2091 2009-07-05  Micah Cowan  <micah@cowan.name>
2092
2093         * html-url.c (tag_handle_meta): Handle meta name="robots"
2094         properly: deal with whitespace, commas after...
2095
2096         * netrc.c (parse_netrc): Rename local-scope variable "quote" to
2097         "qmark", to avoid conflict with the function name.
2098
2099 2009-07-05  Petr Pisar  <petr.pisar@atlas.cz>
2100
2101         * main.c (print_version): Mark initial line for translation, along
2102         with (env), (user), and (system). Change copyright year to 2009.
2103
2104         * http.c (http_loop): Space after colon.
2105
2106         * gnutls.c (ssl_check_certificate): Use quote function, rather
2107         than explicit quotes.
2108
2109 2009-07-05  Micah Cowan  <micah@cowan.name>
2110
2111         * Makefile.am (version.c): Add dependency on configure.ac.
2112
2113         * iri.c: Mark some strings for translation.
2114
2115 2009-07-04  Steven Schweda  <sms@antinode.info>
2116
2117         * wget.h (ORIG_SFX): Macro added, to supply an alternative "_orig"
2118         suffix on VMS.
2119
2120         * connect.c, host.c, host.h, main.c: Include "vms_ip.h" rather
2121         than <netdb.h> on VMS systems.
2122
2123         * convert.c (write_backup_file): Use "_orig" rather than ".orig"
2124         on VMS.
2125
2126         * ftp-basic.c (ftp_list): Don't use LIST -a on VMS servers.
2127
2128         * ftp.c [__VMS]: Include "vms.h"
2129         * ftp.c (getftp): Disable some unhelpful "for VMS" code. Pass the
2130         OS type to ftp_list.
2131         (getftp) [__VMS]: Alter the filename as required, and invoke fopen
2132         with extra optional arguments.
2133         (ftp_retrieve_list): Set permissions before setting the times.
2134
2135         * ftp-ls.c [__VMS]: Various improvements.
2136
2137         * http.c (SET_USER_AGENT): Added. Include operating-system info in
2138         the User-Agent header.
2139         (gethttp): Use ORIG_SFX macro.
2140         (gethttp) [__VMS]: invoke fopen with extra arguments to
2141         communicate file type.
2142         (http_loop): Add cast to time_t.
2143
2144         * init.c (wgetrc_user_file_name) [__VMS]: Adjustments for where to
2145         find the .wgetrc.
2146
2147         * log.c: Adjustments to improve handling of log files on VMS.
2148
2149         * main.c [__VMS]: Added --ftp-stmlf option (and associated
2150         documentation). Adjust description of backup-suffixes, as they now
2151         differ for VMS.
2152         (print_help, print_version): Include OS type in version
2153         information.
2154         (main) [__VMS]: Invoke fopen with extra options, to specify file
2155         type information.
2156
2157         * netrc.c (search_netrc) [__VMS]: Fix .netrc-finding.
2158
2159         * openssl.c, openssl.h (ssl_connect_wget): Renamed from ssl_connect.
2160
2161         * options.h (struct options): Add ftp_stmlf field.
2162
2163         * retr.c (write_data) [__VMS]: Avoid fflush.
2164
2165         * url.c [__VMS]: Include vms.h.
2166         * url.c (url_file_name) [__VMS]: Handle naming as required for VMS.
2167
2168         * utils.c [__VMS]: Include vms.h. Various added facilities for VMS
2169         needs.
2170
2171 2009-07-04  Micah Cowan  <micah@cowan.name>
2172
2173         * main.c (print_version): Allow localization of the version-info
2174         labels, eschew attempts at alignment (which is complicated when
2175         handling translated strings), and avoid using printf() with
2176         variable-stored format strings that lack conversion
2177         specifications.
2178         (format_and_print_line): For similar reasons, don't calculate
2179         line-continuation tabulation based on the number of bytes in a
2180         string.
2181
2182 2009-07-04  Steven Schubiger  <stsc@member.fsf.org>
2183
2184         * url.c (url_parse): If an URL scheme is invalid, distinguish
2185         between an unsupported or missing scheme.
2186
2187         * url.c: Add a "missing scheme" entry to parse_errors.
2188
2189 2009-07-03  Micah Cowan  <micah@cowan.name>
2190
2191         * iri.h (iri_dup): Provide macro definition for when IRIs are
2192         disabled.
2193
2194         * Makefile.am (LIBS): Added @LIBICONV@.
2195         (wget_SOURCES): Added iri.h.
2196         (EXTRA_wget_SOURCES): Added iri.c, so it gets packaged even if IRI
2197         support was disabled.
2198
2199 2009-07-02  Micah Cowan  <micah@cowan.name>
2200
2201         * recur.c (url_enqueue): Quote enqueue/dequeue debug messages.
2202
2203         * html-url.c (append_url): Change "merge()" quoting style from
2204         locale_quoting_style to escape_quoting_style.
2205
2206 2009-07-01  Micah Cowan  <micah@cowan.name>
2207
2208         * retr.c (retrieve_url): Use the existing "redirect" label,
2209         instead of superfluous "second_try". Removed no-longer-accurate
2210         debug statement. Use the "newloc" parameter to store the fallback
2211         URL, when IRI version was rejected.
2212
2213         * recur.c (retrieve_tree): Always use the parsed URL for tracking
2214         the Referer, since that's the one we actually requested (if
2215         there's a difference in terms of percent-encodings and such).
2216
2217 2009-07-01  Steven Schubiger  <stsc@member.fsf.org>
2218
2219         * Makefile.am: Add a rule to generate build_info.c and list
2220         the build_info.c.in file in EXTRA_DIST. Adjust elsewhere
2221         where needed.
2222
2223         * build_info.c: Remove this static source file.
2224
2225         * build_info.c.in: Data for generation of build_info.c.
2226
2227 2009-06-29  Micah Cowan  <micah@cowan.name>
2228
2229         * html-url.c (append_url): Quote some more arguments that might
2230         contain characters that are inappropriate to display for the
2231         current locale.
2232
2233         * retr.c (retrieve_from_file): Be sure to pass iri information
2234         when parsing an input-fle url, and be sure to hand a clean iri
2235         struct, off to retrieve_tree and retrieve_url.
2236
2237         * iri.c, iri.h (iri_dup): Added.
2238
2239         * retr.c (retrieve_url): Re-parse for IRI fallback.
2240
2241         * main.c (main): Set up iri before the url_parse invocation (so we
2242         can use it).
2243
2244 2009-06-20  Jay Krell  <jay.krell@cornell.edu>
2245
2246         * sysdep.h (_ALL_SOURCE): (small change) Define the _ALL_SOURCE
2247         macro on INTERIX systems. (I switched the location from ftp.c to
2248         sysdep.h --mjc)
2249
2250 2009-06-15  Micah Cowan  <micah@cowan.name>
2251
2252         * ftp.c (getftp): If we can't accept the connection, return
2253         CONERROR, not whatever the contents of err happens to be. Fixes
2254         bug #25015.
2255
2256         * retr.c (fd_read_body): Make both args to progress_create
2257         consistent, resulting in an accurate progress display. Fixes bug
2258         #24948.
2259
2260 2009-06-14  Micah Cowan  <micah@cowan.name>
2261
2262         * Makefile.am (wget_SOURCES): css-tokens.h needs to ship with
2263         dist, too.
2264
2265 2009-06-13  Micah Cowan  <micah@cowan.name>
2266
2267         * init.c: Rename setval_internal_wrapper to setval_internal_tilde,
2268         ensure we don't "replace" the tilde unless it's actually
2269         present. Clean up some minor GNU style issues.
2270
2271 2009-06-13  Julien Pichon  <julienpichon7@gmail.com>
2272
2273         * init.c: Handle tilde-expansion in wgetrc commands, without
2274         resorting to setting/unsetting globals to change behavior in one
2275         call location.
2276
2277 2009-06-12  Micah Cowan  <micah@cowan.name>
2278
2279         * host.c: Include <sys/types.h> before <sys/socket.h>. Not
2280         required by POSIX any more, but some older systems (such as
2281         FreeBSD 4.1) still need it, and it doesn't seem like it could
2282         hurt...
2283
2284         * build_info.c (library): Handle "https" as a feature in its own
2285         right, apart from "gnutls" and "openssl".
2286
2287         * host.c: Declare h_errno if no declaration is provided. Idea
2288         thanks to Maciej W. Rozycki.
2289
2290 2009-06-11  Xin Zou  <zouxin2008@gmail.com>
2291
2292         * http.c (gethttp): Fix some memory leaks.
2293
2294 2009-06-11  Micah Cowan  <micah@cowan.name>
2295
2296         * http.c (http_atotm): Handle potential for setlocale's return
2297         value to be static storage. Thanks to Benjamin Wolsey
2298         <bwy@benjaminwolsey.de>.
2299
2300         * sysdep.h: Need NAMESPACE_TWEAKS on non-Linux glibc-based
2301         systems, too. Thanks to Robert Millan.
2302
2303 2009-05-28  Steven Schubiger  <stsc@member.fsf.org>
2304
2305         * ftp.c (ftp_get_listing): Update the "listing file"
2306         string after calling ftp_loop_internal().
2307
2308 2009-05-27  Steven Schubiger  <stsc@member.fsf.org>
2309
2310         * ftp.c (ftp_get_listing): Duplicate the "listing file"
2311         string to avoid memory corruption when FOPEN_EXCL_ERR is
2312         encountered.
2313
2314 2009-05-17  Steven Schubiger  <stsc@member.fsf.org>
2315
2316         * progress.c (eta_to_human_short): Fix the remaining hours
2317         to be displayed. Spotted by Tadeu Martins (#26411).
2318
2319 2009-04-24  Micah Cowan  <micah@cowan.name>
2320
2321         * hash.c: Change stdint.h inclusion to use HAVE_STDINT_H, not C99
2322         check.
2323
2324         * connect.c: stdint.h inclusion added.
2325
2326         Thanks to Markus Duft <mduft@gentoo.org> for a similar patch.
2327
2328 2009-04-20  Micah Cowan  <micah@cowan.name>
2329
2330         * Makefile.am (version.c): Fix unportable use of "echo -n".
2331
2332 2009-04-13  Steven Schubiger  <stsc@member.fsf.org>
2333
2334         * ftp.c (ftp_retrieve_list): Move the duplicated code that
2335         determines the local file to a function.
2336
2337         * http.c (http_loop): Likewise.
2338
2339         * retr.c (set_local_file): New function.
2340
2341 2009-04-11  Steven Schubiger  <stsc@member.fsf.org>
2342
2343         * init.c (initialize): Run a custom SYSTEM_WGETRC when
2344         provided as an environment variable.
2345
2346 2009-02-27  Gisle Vanem  <gvanem@broadpark.no>
2347
2348         * main.c (main): "freopen (NULL,.." causes an assertion in MSVC
2349         debug-mode.  I.e. NULL isn't legal. But the "CONOUT$" device works
2350         fine.
2351
2352 2009-02-27  Steven Schubiger  <stsc@member.fsf.org>
2353
2354         * ftp.c (ftp_loop_internal): Don't claim for FTP retrievals
2355         when writing to standard output either that the document
2356         has been saved. Addresses bug #20520 again.
2357
2358 2009-02-21  Steven Schubiger  <stsc@member.fsf.org>
2359
2360         * http.c (http_loop): When a document is written to
2361         standard output, don't claim it has been saved to a file.
2362         Addresses bug #20520.
2363
2364 2009-02-18  Steven Schubiger  <stsc@members.fsf.org>
2365
2366         * recur.h: Remove the dangling declaration for recursive_cleanup().
2367
2368 2009-02-01  Gerardo E. Gidoni  <gerel@gnu.org>
2369
2370         * main.c, recur.c, recur.h, res.c, retr.c, retr.h: restructured code to
2371         avoid multiple 'url_parse' calls.
2372
2373 2008-11-13  Micah Cowan  <micah@cowan.name>
2374
2375         * http.c (gethttp): Don't do anything when content-length >= our
2376         requested range.
2377
2378 2008-11-27  Saint Xavier  <wget@sxav.eu>
2379
2380         * http.c (gethttp): Move authentication code before filename
2381         allocation avoiding fallbacking on default filename because
2382         "Content-Disposition" header wasn't present before authentcation
2383         has been completed. Fixes bug #24862.
2384
2385 2008-11-16  Steven Schubiger  <stsc@members.fsf.org>
2386
2387         * main.c: Declare and initialize the numurls counter.
2388
2389         * ftp.c, http.c: Make the counter visible here and use it.
2390
2391         * options.h: Remove old declaration from options struct.
2392
2393 2008-11-15  Steven Schubiger  <stsc@members.fsf.org>
2394
2395         * init.c (defaults): Set default waitretry value.
2396
2397 2008-11-14  Steven Schubiger  <stsc@members.fsf.org>
2398
2399         * main.c (format_and_print_line): Use a custom format
2400         string for printing leading spaces.
2401
2402 2008-11-12  Micah Cowan  <micah@cowan.name>
2403
2404         * ftp-ls.c (ftp_index): HTML-escape dir name in title, h1, a:href.
2405
2406 2008-11-12  Alexander Belopolsky  <alexander.belopolsky@gmail.com>
2407
2408         * url.c, url.h (url_escape_unsafe_and_reserved): Added.
2409
2410         * ftp-ls.c (ftp_index): URL-escape, rather than HTML-escape, the
2411         filename appearing in the link.
2412
2413 2008-11-12  Steven Schubiger  <stsc@members.fsf.org>
2414
2415         * main.c (print_version): Hand the relevant
2416         xstrdup/xfree calls back to format_and_print_line().
2417
2418 2008-11-11  Steven Schubiger  <stsc@members.fsf.org>
2419
2420         * main.c (format_and_print_line): Move both the memory
2421         allocating and freeing bits upwards to print_version().
2422
2423 2008-11-10  Saint Xavier  <wget@sxav.eu>
2424
2425         * http.c: Make --auth-no-challenge works with user:pass@ in URLs.
2426
2427 2008-11-05  Micah Cowan  <micah@cowan.name>
2428
2429         * ftp.c (print_length): Should print humanized "size remaining"
2430         only when it's at least 1k.
2431
2432 2008-10-31  Micah Cowan  <micah@cowan.name>
2433
2434         * main.c (print_version): Add information about the mailing list.
2435
2436 2008-10-31  Alexander Drozdov  <dzal_mail@mtu-net.ru>
2437
2438         * retr.c (fd_read_hunk): Make assert deal with maxsize == 0.
2439
2440         * ftp-ls.c (clean_line): Prevent underflow on empty lines.
2441
2442 2008-10-26  Gisle Vanem  <gvanem@broadpark.no>
2443
2444         * main.c (format_and_print_line): Put variables on top of
2445         blocks (not all compilers are C99). Add an extra '\n' if
2446         SYSTEM_WGETRC isn't defined and printed.
2447
2448 2008-09-09  Gisle Vanem  <gvanem@broadpark.no>
2449
2450         * url.c (url_error): Use aprintf, not asprintf.
2451
2452 2008-09-09  Micah Cowan  <micah@cowan.name>
2453
2454         * init.c (home_dir): Save the calculated value for home,
2455         to avoid duplicated work on repeated calls.
2456         (wgetrc_file_name) [WINDOWS]: Define and initialize home var.
2457
2458         * build_info.c, main.c: Remove unnecessary extern vars
2459         system_wgetrc and locale_dir.
2460
2461         * main.c: Define program_name for lib/error.c.
2462
2463 2008-09-02  Gisle Vanem  <gvanem@broadpark.no>
2464
2465         * mswindows.h: Must ensure <stdio.h> is included before
2466         we redefine ?vsnprintf().
2467
2468 2008-08-08  Steven Schubiger  <stsc@members.fsf.org>
2469
2470         * main.c, utils.h: Removed some dead conditional DEBUG_MALLOC code.
2471
2472 2008-08-03  Micah Cowan  <micah@cowan.name>
2473
2474         * main.c (print_help): Added --default-page.
2475
2476 2008-08-01  Joao Ferreira  <joao@joaoff.com>
2477
2478         * init.c, main.c, options.h, url.c: Added option --default-page
2479         to support alternative default names for index.html
2480
2481 2008-08-03  Micah Cowan  <micah@cowan.name>
2482
2483         * build_info.c, css-url.c: #include wget.h, not config.h.
2484
2485 2008-08-03  Steven Schubiger  <stsc@members.fsf.org>
2486
2487         * url.c, url.h (url_error): Better messages for unsupported
2488         schemes, especially https.
2489
2490         * html-url.c, recur.c, retr.c: Adjust to new url_error
2491         invocation, and free result.
2492
2493 2008-07-17  Steven Schubiger  <stsc@members.fsf.org>
2494
2495         * retr.c (retrieve_from_file): When given an URL as input file,
2496         use it as baseref if none was specified and treat the input file
2497         as HTML if its content type is text/html.
2498
2499         * init.c (cleanup): Free the memory associated with the base
2500         option (when DEBUG_MALLOC is defined).
2501
2502 2008-07-02  Xavier Saint  <wget@sxav.eu>
2503
2504         * iri.c, iri.h  : New function idn_decode() to decode ASCII
2505         encoded hostname to the locale.
2506
2507         * host.c : Show hostname to be resolved both in locale and
2508         ASCII encoded.
2509
2510 2008-06-28  Steven Schubiger  <stsc@members.fsf.org>
2511
2512         * retr.c (retrieve_from_file): Allow for reading the links from
2513         an external file (HTTP/FTP).
2514
2515 2008-06-26  Xavier Saint  <wget@sxav.eu>
2516
2517         * iri.c, iri.h : New functions locale_to_utf8() and
2518         idn_encode() adding basic capabilities of IRI/IDN.
2519
2520         * url.c : Convert URLs from locale to UTF-8 allowing a basic
2521         support of IRI/IDN
2522
2523 2008-06-25  Steven Schubiger  <stsc@members.fsf.org>
2524
2525         * ftp.c (getftp): When spidering a FTP URL, emit a diagnostic
2526         message if the remote file exists.
2527
2528 2008-06-24  Steven Schubiger  <stsc@members.fsf.org>
2529
2530         * http.c (http_loop): Replace escnonprint() occurence with
2531         a quotearg_style() call.
2532
2533 2008-06-24  Micah Cowan  <micah@cowan.name>
2534
2535         * ftp-ls.c (ftp_index): Don't assume time_t* is compatible with
2536         long*. Fixes crash on Windows, and probably other systems.
2537
2538 2008-06-22  Steven Schubiger  <stsc@members.fsf.org>
2539
2540         * http.c: Explicitly initialize and deallocate the message
2541         string used by the -nv --spider functionality.
2542
2543 2008-06-22  Steven Schubiger  <schubiger@gmail.com>
2544
2545         * http.c: Make -nv --spider include the file's name when it
2546         exists.
2547
2548 2008-06-22  Micah Cowan  <micah@cowan.name>
2549
2550         * Makefile.am (version.c): Fixed version string invocation so it
2551         once again can't result in unterminated strings, made all the
2552         string vars pointers-to-const, and moved line lengths
2553         below 80 (in Makefile.am, not in version.c).
2554
2555 2008-06-19  Xavier Saint  <wget@sxav.eu>
2556
2557         * iri.c, iri.h : New function check_encoding_name() as
2558         a preliminary encoding name check.
2559
2560         * main.c, iri.c : Make use of check_encoding_name().
2561
2562 2008-06-19  Xavier Saint  <wget@sxav.eu>
2563
2564         * iri.c : Include missing stringprep.h file and add a
2565         cast.
2566
2567         * init.c : set a default initial value for opt.enable_iri,
2568         opt.locale and opt.encoding_remote.
2569
2570 2008-06-19  Xavier Saint  <wget@sxav.eu>
2571
2572         * iri.c, iri.h : Add a new function find_locale() to find
2573         out the local system encoding.
2574
2575         * main.c : Make use of find_locale().
2576
2577 2008-06-19  Xavier Saint  <wget@sxav.eu>
2578
2579         * html-url.c : Add "content-type" meta tag parsing for
2580         retrieving page encoding.
2581
2582         * iri.h : Make no-op version of parse_charset() return
2583         NULL.
2584
2585 2008-06-16  Micah Cowan  <micah@cowan.name>
2586
2587         * http.c (http_loop): When hstat.len is higher than the
2588         successfully completed content's length, but it's because we
2589         _set_ it that way, don't abort.
2590
2591 2008-06-14  Xavier Saint  <wget@sxav.eu>
2592
2593         * iri.c, iri.h : New files.
2594
2595         * Makefile.am : Add files iri.h and conditional iri.c.
2596
2597         * build_info.c : Add compiled feature "iri".
2598
2599         * http.c : include iri.h and parse charset from Content-Type
2600         header.
2601
2602         * init.c, main.c, options.h : if an options isn't supported
2603         at compiled time, don't get rid off it and show a dummy
2604         message instead if they are used.
2605
2606 2008-06-13  Micah Cowan  <micah@cowan.name>
2607
2608         * build_info.c: ENABLE_NTLM, not HAVE_NTLM; distinguish OpenSSL
2609         from "ssl".
2610
2611 2008-06-13  Madhusudan Hosaagrahara <com.gmail.hrmadhu>
2612
2613         * Makefile.am, main.c, init.c, init.h, build_info.c: Adds build
2614         information to the --version command line option. Fixes bug
2615         #20636.
2616
2617 2008-06-01  Micah Cowan  <micah@cowan.name>
2618
2619         * main.c [WINDOWS]: Reopen stdout in binary mode, when -O - is
2620         given.
2621
2622 2008-05-31 Micah Cowan  <micah@cowan.name>
2623
2624         * html-url.c, http.c: Avoid casts in a couple spots.
2625
2626 2008-05-30 Henri Häkkinen  <henux@users.sourceforge.net>
2627
2628         * cookies.c, ftp-basic.c, hash.c, html-url.c, http-ntlm.c, http.c,
2629         init.c, log.c, main.c, progress.c, ptimer.c, spider.c, url.c,
2630         utils.c: Minor changes to silence warnings when using -Wall.
2631
2632 2008-05-26  Steven Schubiger  <schubiger@gmail.com>
2633
2634         * ftp.c (getftp): Replace last remaining invocation of escnonprint
2635         with gnulib quote.
2636
2637 2008-05-19  Micah Cowan  <micah@cowan.name>
2638
2639         * main.c (main): Password prompt should be done only once (not
2640         once per argument), and should be done prior to the background
2641         fork.
2642
2643 2008-05-17  Steven Schubiger  <schubiger@gmail.com>
2644
2645         * init.c (defaults): Set the preferred IP family to `none' by
2646         default.
2647
2648 2008-05-17  Kenny Parnell  <k.parnell@gmail.com>
2649
2650         (cmd_spec_prefer_family): Initialize prefer_family to prefer_none.
2651
2652 2008-05-17  Micah Cowan  <micah@cowan.name>
2653
2654         * main.c (main): Handle Ctrl-D on command-line.
2655
2656 2008-05-15  Steven Schubiger  <schubiger@gmail.com>
2657
2658         * ftp.c (getftp): Verify that the file actually exists in FTP, by
2659         checking it against the listing.
2660
2661 2008-05-15  Micah Cowan  <micah@cowan.name>
2662
2663         * main.c (prompt_for_password): Use the quote module.
2664
2665 2008-05-14  Micah Cowan  <micah@cowan.name>
2666
2667         * ftp.c (ftp_retrieve_list): Symlinks and other filenames
2668         should be fully quoted.
2669
2670 2008-05-12  Micah Cowan  <micah@cowan.name>
2671
2672         * main.c (main): Downgrade "-N with -O" to a warning, and switch
2673         it off to avoid confusing messages.
2674
2675 2008-04-30  Micah Cowan  <micah@cowan.name>
2676
2677         * progress.c (create_image): Fix glitch where too many spaces are
2678         printed on lines that don't display the ETA, in multibyte
2679         locales.
2680
2681 2008-04-30  Steven Schubiger  <stsc@members.fsf.org>
2682
2683         * main.c (main): New code that handles prompting for passwords
2684         when specified explicitly via command-line option (using gnulib's
2685         getpass-gnu module).
2686         (main): Include the getpass header.
2687
2688         * init.c: Add "ask-password" to the list of recognized commands.
2689
2690         * options.h: Add an according boolean member to the options
2691         struct.
2692
2693         * sysdep.h: Comment the defines __EXTENSIONS__ and _GNU_SOURCE
2694         out, because they're now defined independently by config.h.
2695
2696 2008-04-27  Rabin Vincent  <rabin@rab.in>
2697
2698         * http.c (http_loop): Fix return for the case where we don't
2699         download a file because of -nc.
2700
2701 2008-04-27  Micah Cowan  <micah@cowan.name>
2702
2703         * url.c (path_simplify): Go back to allowing leading ".." in
2704         paths, but only for FTP URLs.
2705         (test_path_simplify): Add scheme-specificness to tests, adapt for
2706         mu_run_test.
2707
2708         * test.c (all_tests): Add test_path_simplify.
2709
2710         * main.c (main): Downgrade -r, -p with -O to a warning rather than
2711         an error; elaborate just a bit more for other -O combination
2712         cases.
2713
2714 2008-04-26  Micah Cowan  <micah@cowan.name>
2715
2716         * http.c (gethttp): Move proxy CONNECT handling to below the
2717         retry_with_auth label, to deal with properly reconnecting to
2718         proxies when we need to authenticate.
2719
2720 2008-04-25  Micah Cowan  <micah@cowan.name>
2721
2722         * Makefile.am: -I foo -> -Ifoo.
2723
2724 2008-04-24  Micah Cowan  <micah@cowan.name>
2725
2726         * main.c: Revised usage description of --convert-links to apply
2727         to CSS as well as to HTML.
2728
2729 2008-04-23  Micah Cowan  <micah@cowan.name>
2730
2731         * utils.c (test_dir_matches_p): Added a test for the case
2732         described in issue #20518.
2733
2734 2008-04-22  Micah Cowan  <micah@cowan.name>
2735
2736         * Makefile.am, css.lex, css.l: Renamed css.lex to css.l.
2737         * recur.c (retrieve_tree): Fix typo to allow text/css files to
2738         be parsed.
2739
2740 2008-04-22  Ted Mielczarek  <ted.mielczarek@gmail.com>
2741
2742         * css.lex, css-url.c, css-url.h: Added to implement support for
2743         parsing CSS in Wget.
2744         * convert.c: Convert links in CSS files, too.
2745         * convert.h (convert_options): Added for options link_css_p,
2746         link_expect_css.
2747         * convert.h: Added prototype for new register_css function.
2748         * html-parse.c: Added support for parsing element content, in
2749         addition to tag starts and ends.
2750         * html-parse.h (taginfo): Added delimiter fields for element
2751         content.
2752         * html-url.h: Added.
2753         * html-url.c (append_url): No longer internal-linkage only. Now
2754         takes position and size as explicit parameters.
2755         * html-url.c: Use new html-url.h header, add support for
2756         handling of "style" HTML attributes. Mark URIs obtained from
2757         link tags with rel="stylesheet" with link_expect_css. Adapt
2758         uses of append_url to supply the newly-added parameters for
2759         position and size.
2760         * http.c: Add detection for when the content-type is text/css;
2761         and ensure that such files have the ".css" filename extension,
2762         when --convert-links is active.
2763         * recur.h: Remove declarations for functions found in
2764         html-url.c (moved to html-url.h).
2765         * recur.c: Add support for culling links from CSS files, too,
2766         and tracking for when we're expecting the file to be CSS (even
2767         when its content type isn't text/css).
2768         * retr.c (retrieve_url): Add registration of CSS files.
2769         * wget.h: Added TEXTCSS to dt flags enum.
2770         * Makefile.am: Added css.lex, css-url.c, css-url.h, html-url.h
2771         to wget_SOURCES.
2772
2773 2008-04-22  Jim Paris  <jim@jtan.com>
2774
2775         * openssl.c (ssl_init): Enable combined certificate/key in
2776         single file (apparent regression from ~1.9). Resolves issue
2777         #22767.
2778
2779 2008-04-22  Steven Schubiger  <schubiger@gmail.com>
2780
2781         * http.c (print_response_line): Changed to make responses always
2782         be logged, even in --quiet mode, if --server-response was
2783         specified. This is to bring http.c's handling of the situation
2784         in line with ftp.c's.
2785
2786 2008-04-22  Pranab Shenoy  <pranab.loosinit.shenoy@gmail.com>
2787
2788         * init.c: Added test_commands_sorted unit test to check is
2789         commands are sorted.  Fixes bug #21245.
2790
2791         * test.c: Added test_commands_sorted to the test suite.
2792
2793 2008-04-22  Rabin Vincent  <rabin@rab.in>
2794
2795         * ftp.c (ftp_get_listing): Only remove .listing if it has been
2796         created.
2797
2798 2008-04-22  Alain Guibert  <alguibert+bts@free.fr>
2799
2800         * test.h (mu_run_test): Move declaration before statements, for
2801         C90 conformance. Fixes bug #22789.
2802
2803 2008-04-22  Mike Frysinger  <vapier@gentoo.org>
2804
2805         * Makefile.am: Move @LIBS@ after other libraries, for better
2806         static-linking support. Fixes bug #22143.
2807
2808 2008-04-16  Steven Schubiger  <schubiger@gmail.com>
2809
2810         * ftp.c: Use Gnulib's quote function for printing filenames and
2811         such.
2812         * connect.c: Likewise.
2813         * convert.c: Likewise.
2814         * cookies.c: Likewise.
2815         * ftp-opie.c: Likewise.
2816         * gnutls.c: Likewise.
2817         * init.c: Likewise.
2818         * log.c: Likewise.
2819         * mswindows.c: Likewise.
2820         * openssl.c: Likewise.
2821         * progress.c: Likewise.
2822         * recur.c: Likewise.
2823         * res.c: Likewise.
2824         * utils.c: Likewise.
2825
2826 2008-04-16  Steven Schubiger  <schubiger@gmail.com>
2827
2828         * sysdep.h: Comment the defines __EXTENSIONS__ and _GNU_SOURCE
2829         out, because they're now defined independently by config.h.
2830
2831 2008-04-14  Steven Schubiger  <schubiger@gmail.com>
2832
2833         * http.c: Use Gnulib's quote function for printing filenames and
2834         such.
2835         * wget.h: #include "quote.h".
2836
2837 2008-04-12  Rabin Vincent  <rabin@rab.in>
2838
2839         * mswindows.c (fake_fork_child): Don't create a logfile for
2840         --background when --quiet is used, but not --server-response.
2841         Fixes bug #20917.
2842
2843         * utils.c (fork_to_background): Likewise.
2844
2845 2008-04-12  Micah Cowan  <micah@cowan.name>
2846
2847         * utils.c (aprintf): Minor formatting changes to Alex's code (80-
2848         column limit, concatenated string literals, avoiding nesting
2849         levels), and removed invocation of free (since we're aborting
2850         anyway).
2851
2852 2008-04-11  Alexander Dergachev  <cy6erbr4in@gmail.com>
2853
2854         * utils.c (aprintf): Now we are setting limits (1 Mb) for text
2855         buffer when we use non-C99 vsnprintf.
2856
2857 2008-04-11  Micah Cowan  <micah@cowan.name>
2858
2859         * ftp.c (getftp, ftp_loop_internal): Don't append to an existing
2860         .listing when --continue is used.  Fixes bug #22825. Thanks to
2861         Rabin Vincent <rabin@rab.in> for pointing the way with a
2862         suggested fix!
2863
2864 2008-04-10  Alexander Dergachev  <cy6erbr4in@gmail.com>
2865
2866         * xmalloc.c, xmalloc.h (memfatal): Now exported; accepts an
2867         "unknown" value for the attempted allocation size.
2868         * utils.c (aprintf): Now calls memfatal, instead of aborting.
2869
2870 2008-03-19  Micah Cowan  <micah@cowan.name>
2871
2872         * utils.c (test_dir_matches_p): More tests related for
2873         dir_matches_p.
2874
2875 2008-03-17  Micah Cowan  <micah@cowan.name>
2876
2877         * connect.c: Include sys/time.h to support use of the select
2878         function on older systems.
2879
2880 2008-02-11  Benno Schulenberg  <bensberg@justemail.net>
2881
2882         * http.c: More accurate and descriptive messages for when a file
2883         won't be retrieved during spider-mode.
2884
2885 2008-02-10  Micah Cowan  <micah@cowan.name>
2886
2887         * http.c: Added existence_checked member to the http_stat
2888         struct.
2889         (gethttp): Mark hs->existence_checked when we've checked whether
2890         a file-to-download exists; so we don't check it again if the
2891         connection gets lost (and potentially pick a new "unique" name).
2892         This fixes bug 22251.
2893         * progress.c (create_image): Add space for an extra column in
2894         the "eta" portion of the progress bar image; to deal with
2895         too-long Czech translation.
2896         * main.c, http.c, init.c: Added --auth-no-challenge option, to
2897         bring back 1.10.2 unsafe auth behavior when needed. This fixes
2898         bug #22242.
2899
2900 2008-02-07  Micah Cowan  <micah@cowan.name>
2901
2902         * progress.c (create_image): Remove assertion on exceeding
2903         screen width, which given the less-than-robust code there, can
2904         be broken by a number of factors (such as large file downloads).
2905
2906 2008-02-06  Micah Cowan  <micah@cowan.name>
2907
2908         * progress.c (countcols): Use strlen() when mbtowc or wcwidth
2909         not available (or not using NLS).
2910         * utils.c: Ensure we use single-byte separators when not doing
2911         NLS progress-bars.
2912         * wget.h: Determine whether to use NLS for progress-bars, based
2913         on whether wcwidth and mbtowc are available.
2914
2915 2008-02-03  Micah Cowan  <micah@cowan.name>
2916
2917         * progress.c (create_image): Use number of characters/columns
2918         consumed, rather than number of bytes, to determine how much of
2919         a line we've used. Fixes assertion errors and field alignment
2920         bugs (#22161, #20481)
2921         (get_eta, count_cols): Added to support the changes for
2922         create_image.
2923         * http.c (http_loop): Put no-clobber logic back into http_loop,
2924         before starting to fetch, for when we're not doing
2925         content-disposition.
2926
2927 2008-01-31  Micah Cowan  <micah@cowan.name>
2928
2929         * http.c (gethttp): Don't derive hs->contlen from possibly
2930         invalid/missing Content-Length; instead, get the appropriate
2931         value from the Content-Range header values.
2932         (parse_content_range): Handle '*' instance-length field.
2933
2934 2008-01-25  Micah Cowan  <micah@cowan.name>
2935
2936         * main.c: Added notes to translators regarding (C), diacritics
2937         in names.
2938         * Makefile.am, cmpt.c, connect.c, connect.h, convert.c,
2939         cookies.c, cookies.h, ftp-basic.c, ftp-ls.c, ftp-opie.c, ftp.c,
2940         ftp.h, gen-md5.c, gen-md5.h, gnutls.c, hash.c, hash.h, host.c,
2941         host.h, html-parse.c, html-parse.h, html-url.c, http-ntlm.c,
2942         http-ntlm.h, http.c, http.h, init.c, init.h, log.c, log.h,
2943         main.c, mswindows.c, mswindows.h, netrc.c, netrc.h, openssl.c,
2944         options.h, progress.c, progress.h, ptimer.c, ptimer.h, recur.c,
2945         recur.h, res.c, res.h, retr.c, retr.h, spider.c, spider.h,
2946         ssl.h, sysdep.h, test.c, test.h, url.c, url.h, utils.c,
2947         utils.h, wget.h, xmalloc.c, xmalloc.h: Updated copyright year.
2948
2949 2007-12-10  Micah Cowan  <micah@cowan.name>
2950
2951         * main.c: The option is --content-disposition, not
2952         --no-content-disposition (at the moment).
2953
2954 2007-12-08  Hrvoje Niksic  <hniksic@xemacs.org>
2955
2956         * ftp.c (ftp_retrieve_glob): Print both arguments of fnmatch in
2957         fnmatch error message.
2958         (ftp_retrieve_glob): Don't match with fnmatch if we're only
2959         supposed to get one file.
2960
2961 2007-12-07  Micah Cowan  <micah@cowan.name>
2962
2963         * Makefile.am: Plug in vars to include stuff from
2964         $(top_srcdir)/md5 when appropriate.
2965
2966 2007-12-05  Micah Cowan  <micah@cowan.name>
2967
2968         * utils.c (subdir_p): Handle the case where d1 is "".
2969         * convert.c (convert_all_links): Don't return without
2970         deallocating timer.
2971
2972 2007-11-28  Micah Cowan  <micah@cowan.name>
2973
2974         * Makefile.am, cmpt.c, connect.c, connect.h, convert.c,
2975         convert.h, cookies.c, cookies.h, ftp-basic.c, ftp-ls.c,
2976         ftp-opie.c, ftp.c, ftp.h, gen-md5.c, gen-md5.h, gnutls.c,
2977         hash.c, hash.h, host.c, host.h, html-parse.c, html-parse.h,
2978         html-url.c, http-ntlm.c, http-ntlm.h, http.c, http.h, init.c,
2979         init.h, log.c, log.h, main.c, mswindows.c, mswindows.h,
2980         netrc.c, netrc.h, openssl.c, options.h, progress.c, progress.h,
2981         ptimer.c, ptimer.h, recur.c, recur.h, res.c, res.h, retr.c,
2982         retr.h, safe-ctype.c, safe-ctype.h, spider.c, spider.h, ssl.h,
2983         sysdep.h, test.c, test.h, url.c, url.h, utils.c, utils.h,
2984         wget.h, xmalloc.c, xmalloc.h: Updated license exception for
2985         OpenSSL, per the SFLC.
2986
2987 2007-10-30  Micah Cowan  <micah@cowan.name>
2988
2989         * main.c (main): Declare argv parameter as char **argv, rather
2990         than char *const *argv. This fixes usage of getopt_long,
2991         regardless of whether getopt_long has a constified argv or not.
2992
2993 2007-10-22  Gisle Vanem  <gvanem@broadpark.no>
2994
2995         * mswindows.c: Move INHIBIT_WRAP macro definition up with wget.h
2996         inclusion.
2997
2998 2007-10-18  Steven Schweda  <sms@antinode.org>
2999
3000         * sysdep.h: #include <stdint.h> as well as <inttypes.h>, to work
3001         around a glitch on Tru64 systems.
3002
3003 2007-10-18  Micah Cowan  <micah@cowan.name>
3004
3005         * Makefile.am: version.c should not be distributed. Removed
3006         config-post.h. Add version.c dependency and gnulib include path
3007         for libunittest.a.
3008         * sysdep.h: Got contents of config-post.h
3009         * config-post.h: Removed.
3010         * wget.h: #include "config.h".
3011         * alloca.c, cmpt.c, connect.c, convert.c, cookies.c,
3012         ftp-basic.c, ftp-ls.c, ftp-opie.c, ftp.c, gen-md5.c, gnutls.c,
3013         hash.c, host.c, html-parse.c, html-url.c, http-ntlm.c, http.c,
3014         init.c, log.c, main.c, mswindows.c, netrc.c, openssl.c,
3015         progress.c, ptimer.c, recur.c, res.c, retr.c, spider.c, url.c,
3016         utils.c, xmalloc.c: Use wget.h at very top, and instead of
3017         config.h.
3018
3019 2007-10-15  Micah Cowan  <micah@cowan.name>
3020
3021         * Makefile.am: Remove intermediary hg-id file generation, make
3022         version.c-generation more portable.
3023
3024 2007-10-14  Micah Cowan  <micah@cowan.name>
3025
3026         * cmpt.c, cookies.c, ftp-basic.c, ftp-ls.c, ftp.c, hash.c,
3027         host.c, html-parse.c, html-url.c, http-ntlm.c, http.c, init.c,
3028         log.c, main.c, netrc.c, openssl.c, res.c, url.c, utils.c,
3029         wget.h: Replace uses of ISSPACE, etc with c_isspace, etc.
3030         * gnu-md5.c, gnu-md5.h: Removed, in deference to gnulib.
3031         * Makefile.am: Removed gnu-md5.h from wget_SOURCES.
3032         * gen-md5.c: Changed #inclusion of gnu-md5.h to md5.h (gnulib's).
3033         * recur.c (download_child_p): Print error if unlink of
3034         robots.txt fails.
3035         * main.c (main): --spider or --delete-after now implies
3036         --no-directories (thanks, Josh Williams).
3037
3038 2007-10-14  Joshua David Williams  <yurimxpxman@gmail.com>
3039
3040         * recur.c (download_child_p): Remove robots.txt if
3041         --delete-after or --spider is on.
3042
3043 2007-10-13  Micah Cowan  <micah@cowan.name>
3044
3045         * Makefile.am: Make version.c depend on Wget dependencies (source
3046         files, plus such things as LIBOBJS so we get things like
3047         http-ntlm.c). Removed getopt.[ch], as we're now using gnulib for
3048         these.
3049
3050 2007-10-10  Micah Cowan  <micah@cowan.name>
3051
3052         * http-ntlm.c: Include openssl/opensslv.h explicitly, instead of
3053         hoping it'll be included by accident in openssl/des.h.
3054
3055 2007-10-09  Gisle Vanem  <gvanem@broadpark.no>
3056
3057         * mswindows.c: 'argc' and 'argv' in 'windows_main()' are no longer
3058         needed.  Hence simply the prototype. Free 'exec_name' at exit.
3059
3060 2007-10-09  Micah Cowan  <micah@cowan.name>
3061
3062         * gettext.h: Imported from /usr/share/gettext, fuller handling
3063         of --disable-nls.
3064         * wget.h: Remove logic for handling lack of NLS (now in
3065         gettext.h).
3066         * main.c: Use gettext's ENABLE_NLS rather than HAVE_NLS.
3067         * Makefile.am: added @LIBINTL@ to LIBS (though it probably
3068         belongs in LDADD, along with everything else currently assigned
3069         to LIBS).
3070
3071 2007-10-08  Micah Cowan  <micah@cowan.name>
3072
3073         * http.c (http_loop): Add send_head_first conditional back
3074         around code that needs it, but not around the last-modified
3075         header-parsing stuff this time. Removed no-longer-useful (was it
3076         ever?) restart_loop boolean, continuing unconditionally at end
3077         of send_head_first conditional block (if we haven't jumped out).
3078
3079 2007-10-04  Micah Cowan  <micah@cowan.name>
3080
3081         * http.c (http_loop): We've got_name if content_disposition
3082         support isn't on; make sure we continue properly in that case,
3083         even though we're not sending HEAD.
3084         * Makefile.in: Removed, replaced by Makefile.am.
3085         * Makefile.am: Converted from Makefile.in.
3086
3087 2007-10-02  Gisle Vanem  <gvanem@broadpark.no>
3088
3089         * ftp.c: Use "_listing" for MSDOS (".listing" is illegal).
3090
3091         * url.c: Update comment for 'filechr_not_windows'.
3092
3093         * utils.c: Include <process.h> for 'getpid()' on Watcom.
3094
3095 2007-10-02  Micah Cowan  <micah@cowan.name>
3096
3097         * ftp.c (getftp, ftp_loop_internal), http.c (http_loop), main
3098         (main): Use datetime_str instead of time_str, for those who have
3099         potentially long-running sessions. Based on suggestions by Saso
3100         Tomat <miskox@hotmail.com> and Steven M. Schweda
3101         <sms@antinode.org>.
3102         * http.c (gethttp): Warn about host lookup failures. Adjusted
3103         from Stephen Gildea's patch.
3104
3105 2007-10-02  Stephen Gildea  <stepheng+wget@gildea.com>
3106
3107         * connect.c (connect_to_host): Warn about host lookup failures.
3108
3109 2007-09-25  Micah Cowan  <micah@cowan.name>
3110
3111         * Makefile.in: Use EXEEXT instead of exeext.
3112
3113 2007-09-24  Gisle Vanem  <giva@bgnett.no>
3114
3115         * connect.c, init.c, main.c, openssl.c, options.h, sysdep.h,
3116         url.c, utils.c: Added support for building on MS-DOS.
3117
3118 2007-09-24  Jochen Roderburg  <roderburg@uni-koeln.de>
3119
3120         * http.c (http_zero): Remove no-longer-used local_size variable.
3121         Fixes bug #21057.
3122
3123 2007-09-12  Micah Cowan  <micah@cowan.name>
3124
3125         * http.c (http_loop): Remove send_head_first from condition for
3126         parsing timestamp.
3127
3128 2007-08-29  Micah Cowan  <micah@cowan.name>
3129
3130         * openssl.c (ssl_init): Re un-const-ified the meth local
3131         variable, to match current versions of openssl.
3132         * spider.c: Removed visited_url function, as it may be very
3133         inefficient.
3134         (print_broken_links): Removed traversal of referrers, until such
3135         time as a more efficient implementation can be written.
3136         * spider.h: Replaced declaration of visited_url with an
3137         empty-bodied, function-like macro.
3138
3139 2007-08-27  Gisle Vanem  <giva@bgnett.no>
3140
3141         * mswindows.c (run_with_timeout): Ensure that the correct
3142         conversion specification is used for the return result of
3143         the GetLastError function.
3144         * getopt.c: Fix missing (but, accidentally, legal) comment
3145         delimiter after licensing text.
3146         * recur.c (retrieve_tree): Inserted missing cast for strip_auth.
3147         Includes adjustment by Ralf Wildenhues.
3148         * openssl.c (ssl_init): const-ified the meth local variable.
3149         * main.c: Include all the static function definitions in the
3150         "#ifndef TESTING" clause, leaving just the definitions for
3151         exec_name (not set), and opt.
3152         * utils.c (run_with_timeout): Now returns bool, to align with
3153         declaration in utils.h.
3154
3155 2007-08-27  Micah Cowan  <micah@cowan.name>
3156
3157         * wget.h: Added macro replacement for ngettext, for environs
3158         that lack NLS.
3159
3160 2007-08-26  Micah Cowan  <micah@cowan.name>
3161
3162         * spider.c (print_broken_links): Fixed incorrect plurals msgid
3163         usage, switched to use ngettext function.
3164
3165 2007-08-24  Micah Cowan  <micah@cowan.name>
3166
3167         * http.c (http_loop): Introduced time_came_from_head boolean
3168         flag, to help avoid parsing the same Last-Modified header twice.
3169         Replaced spidering returns of RETRUNNEEDED for some situations,
3170         to RETROK, as otherwise it will be interpreted as an error.
3171         RETRUNNEEDED appears never to be referenced outside of
3172         http.c (and wget.h), and, when returned by gethttp, is
3173         translated by http_loop to RETROK.
3174         * url.c (are_urls_equal): Don't call getchar_from_escaped_string
3175         if u2 is shorter than u1.
3176         (getchar_from_escaped_string): Don't decode reserved characters.
3177         Handle illegally appearing '%'s as literal '%'s. Ensure hex
3178         digits before attempting to decode.
3179         (test_are_urls_equal): Added tests to handle u2 shorter than u1,
3180         and %2f not treated the same as /.
3181         * spider.c (in_url_list_p): Don't call are_urls_equal if one of
3182         them is NULL.
3183
3184 2007-08-23  Joshua David Williams  <yurimxpxman@gmail.com>
3185
3186         * spider.c (in_url_list_p): Removed the bool verbose argument
3187
3188 2007-08-22  Mauro Tortonesi  <mauro@ferrara.linux.it>
3189
3190         * http.c (http_loop): Fall back to GET if HEAD fails with a 500 or 501
3191         error code.
3192
3193 2007-08-21  Mauro Tortonesi  <mauro@ferrara.linux.it>
3194
3195         * http.c (http_loop): Send preliminary HEAD request if -N is given and
3196         the destination file exists already.
3197
3198 2007-08-10  Mauro Tortonesi  <mauro@ferrara.linux.it>
3199
3200         * http.c (http_loop): Fixed HTTP HEAD requests logic when --spider is
3201         given.
3202
3203 2007-08-10  Ralf Wildenhues  <Ralf.Wildenhues@gmx.de>
3204
3205         * url.c (append_uri_pathel): Do not assume dest string to be
3206         zero-terminated.
3207         (test_append_uri_pathel): Terminate string to fix test failure.
3208
3209 2007-08-09  Ralf Wildenhues  <Ralf.Wildenhues@gmx.de>
3210
3211         * url.c (url_string): Use comparison, not assignment, in
3212         check for auth_mode == URL_AUTH_HIDE_PASSWD.
3213
3214 2007-08-09  Micah Cowan  <micah@cowan.name>
3215
3216         * http.c (http_loop): If we got a HEAD and then a GET, and the
3217         GET had a timestamp, use that one, not any we may have gotten
3218         from the HEAD.
3219
3220 2007-08-08  Micah Cowan  <micah@cowan.name>
3221
3222         * init.c (defaults): Content disposition will not be default,
3223         since it currently results in extra round-trips.
3224
3225 2007-07-31  Micah Cowan  <micah@cowan.name>
3226
3227         * http.c (gethttp): Set contlen = -1 when we encounter a
3228         negative-valued Content-Length header, so we don't consider it
3229         an internal error later on and call abort().
3230
3231 2007-07-29  Micah Cowan  <micah@cowan.name>
3232
3233         * url.h, url.c (url_string): Replaced bool arg of the url_string
3234         function with enum url_auth_mode, with added option to
3235         completely remove user/pass auth information.
3236         * http.c, ftp.c, url.c, recur.c: Adapted call to url_string
3237         function to fit new usage.
3238         * recur.c (retrieve_tree): Remove auth info from Referer header.
3239
3240 2007-07-28  Micah Cowan  <micah@cowan.name>
3241
3242         * options.h, init.c, retr.c, main.c: renamed opt maxredirect
3243         field to max_redirect, for improved consistency.
3244         * init.c: changed max_redirect parser from cmd_number_inf to
3245         cmd_number, as infinite redirects may not be appropriate.
3246         Alternatively, if cmd_number_inf should be used, then
3247         opt.max_redirect's value should be checked a bit differently in
3248         retr.c, to allow for the "infinite" meaning of zero.
3249
3250 2007-07-25  Micah Cowan  <micah@cowan.name>
3251
3252         * http.c (create_authorization_line)
3253         (basic_authentication_encode, known_authentication_scheme_p)
3254         (load_cookies): Moved declarations up.
3255         (basic_authed_hosts): Added. Tracks what hosts have issued Basic
3256         challenge and been given the global username, password.
3257         (maybe_send_basic_creds): Added. Sends Basic creds for hosts that
3258         have issued Basic challenges.
3259         (register_basic_auth_host): Added. Instantiates
3260         basic_authed_hosts if necessary, then registers the host that
3261         has issued a challenge.
3262         (gethttp) <auth>: Only send authentication credentials after
3263         we've received a challenge from that host. This is a stop-gap
3264         fix until a proper fix can be implemented; still isn't quite
3265         right, as we should only be sending credentials automatically
3266         for authenticated paths and below, and not for the entire host.
3267
3268 2007-07-16  Joshua David Williams  <yurimxpxman@gmail.com>
3269
3270         * options.h: added maxredirect to options struct
3271         * init.c: added maxredirect to list of variables
3272         * retr.c (retrieve_url): replaced MAX_REDIRECTIONS with opt.maxredirect
3273         * main.c: added option --max-redirect
3274
3275 2007-07-16  Joshua David Williams  <yurimxpxman@gmail.com>
3276
3277         * test.h: tests made more verbose; now displays the name
3278         of each test run.
3279
3280 2007-07-10  Mauro Tortonesi  <mauro@ferrara.linux.it>
3281
3282         * http.c (http_loop): Fixed the HTTP requests logic. Now it skips the
3283         preliminary HEAD request if either -O or --no-content-disposition are
3284         given, and neither --spider and -N are given.
3285
3286 2007-07-05  Micah Cowan  <micah@cowan.name>
3287
3288         * cmpt.c, connect.c, connect.h, convert.c, convert.h:
3289         * cookies.c, cookies.h, ftp-basic.c, ftp.c, ftp.h, ftp-ls.c:
3290         * ftp-opie.c, gen-md5.c, gen-md5.h, getopt.c, getopt.h, gnu-md5.c:
3291         * gnu-md5.h, gnutls.c, hash.c, hash.h, host.c, host.h:
3292         * html-parse.c, html-parse.h, html-url.c, http.c, http.h:
3293         * http-ntlm.c, http-ntlm.h, init.c, init.h, log.c, log.h, main.c:
3294         * Makefile.in, mswindows.c, mswindows.h, netrc.c, netrc.h:
3295         * openssl.c, options.h, progress.c, progress.h, ptimer.c:
3296         * ptimer.h, recur.c, recur.h, res.c, res.h, retr.c, retr.h:
3297         * safe-ctype.c, safe-ctype.h, spider.c, spider.h, ssl.h, sysdep.h:
3298         * test.c, test.h, url.c, url.h, utils.c, utils.h, wget.h:
3299         * xmalloc.c, xmalloc.h:
3300         Updated GPL reference to version 3 or later, removed FSF
3301         address.
3302
3303 2007-07-04  Mauro Tortonesi  <mauro@ferrara.linux.it>
3304
3305         * http.c (http_loop): Skip HEAD request and start immediately with GET
3306         if -O is given.
3307
3308 2007-02-02  Hrvoje Niksic  <hniksic@xemacs.org>
3309
3310         * http.c (print_server_response): Escape non-printable characters
3311         in server respone.
3312
3313 2007-02-02  Hrvoje Niksic  <hniksic@xemacs.org>
3314
3315         * netrc.c: Don't make netrc_list static, as it prevents
3316         compilation with DEBUG_MALLOC.
3317
3318         * utils.c (aprintf): Don't use vasprintf when DEBUG_MALLOC is
3319         requested because, in that case, we want the calls to malloc to be
3320         coming from us.
3321
3322 2007-01-23  Hrvoje Niksic  <hniksic@xemacs.org>
3323
3324         * cookies.c (parse_set_cookie): Would erroneously discard cookies
3325         with unparsable expiry time.
3326
3327 2007-01-23  Hrvoje Niksic  <hniksic@xemacs.org>
3328
3329         * progress.c (create_image): Check for ETA overflow.
3330         (print_row_stats): Ditto.
3331
3332 2007-01-09  Mauro Tortonesi  <mauro@ferrara.linux.it>
3333
3334         * init.c (cmd_spec_prefer_family): Small fix to get rid of a gcc
3335         warning about strict-aliasing violation.
3336
3337 2007-01-09  Steven M. Schweda  <sms@antinode.org>
3338
3339         * ftp-basic.c (ftp_syst): Fixed segfault if response text is missing.
3340
3341 2006-12-29  Gisle Vanem  <giva@bgnett.no>
3342
3343         * mswindows.c: Avoid a warning if 'ws_hangup()' is unused.
3344
3345 2006-12-27  Mauro Tortonesi  <mauro@ferrara.linux.it>
3346
3347         * http.c (parse_content_disposition): Consider directory prefix, if
3348         specified.
3349
3350 2006-11-21  Hrvoje Niksic  <hniksic@xemacs.org>
3351
3352         * retr.c (retrieve_from_file): Ditto.
3353         (url_uses_proxy): New function.
3354
3355         * main.c (main): Don't check for opt.use_proxy when deciding
3356         whether to call retrieve_url or retrieve_tree; check whether the
3357         proxy would be used for *this* URL.
3358
3359 2006-10-17  Mike Grant  <mggr@pml.ac.uk>
3360
3361         * ftp.c (ftp_loop_internal): Would incorrectly skip changing
3362         working directory when retrying after a failed FTP attempt.
3363         Originally reported by Nate Eldredge.
3364
3365 2006-10-12  Mauro Tortonesi  <mauro@ferrara.linux.it>
3366
3367         * convert.c (downloaded_file): Fixed bug which used to break -E -k -K
3368         mode.
3369
3370 2006-08-28  Mauro Tortonesi  <mauro@ferrara.linux.it>
3371
3372         * http.c: #include'd spider.h to get rid of compiler warnings.
3373
3374         * main.c: Ditto.
3375
3376         * recur.c: Ditto.
3377
3378 2006-08-24  Mauro Tortonesi  <mauro@ferrara.linux.it>
3379
3380         * Makefile.in: Added spider.c to the list of files to compile and
3381         spider.h to the list of header files. Updated copyright information.
3382
3383         * http.c: Major changes to recursive spider mode. Now for every
3384         resource we are supposed to check, we send a HEAD request to find out
3385         if it exists. If the resource is a HTML file, we retrieve it and parse
3386         it to discover links to other resources.
3387
3388         * recur.c: Ditto.
3389
3390         * res.c (res_retrieve_file): Disable opt.timestamping and opt.spider
3391         when retrieving robots.txt. Updated copyright information.
3392
3393         * convert.c: Moved code tracking broken links to spider.c.
3394
3395         * convert.h: Ditto.
3396
3397         * spider.c: Created new file to keep track of visited URLs in spider
3398         mode.
3399
3400         * spider.h: Ditto.
3401
3402 2006-08-21  Mauro Tortonesi  <mauro@ferrara.linux.it>
3403
3404         * http.c: Fixed timestamping-related bug.
3405
3406 2006-08-16  Mauro Tortonesi  <mauro@ferrara.linux.it>
3407
3408         * http.c: Fixed bug which broke --continue feature. Now if -c is
3409         given, http_loop sends a HEAD request to find out the destination
3410         filename before resuming download.
3411
3412 2006-08-08  Hrvoje Niksic  <hniksic@xemacs.org>
3413
3414         * utils.c (datetime_str): Avoid code repetition with time_str.
3415
3416 2006-07-21  Hrvoje Niksic  <hniksic@xemacs.org>
3417
3418         * init.c (commands): Correctly place "contentdisposition".
3419
3420 2006-07-14  Mauro Tortonesi  <mauro@ferrara.linux.it>
3421
3422         * sysdep.h: If intptr_t isn't defined, simply typedef it to long.
3423
3424         * http.c: Added explicit cast to int in logprintf call to remove
3425         compiler warnings on 64-bit platforms.
3426
3427         * connect.c: Added a few casts to intptr_t to remove compiler warnings
3428         on 64-bit platforms.
3429
3430         * main.c: Disable -r, -p and -N when -O is used. Disable -k when -O is
3431         used and multiple URLs are given. Update maintainer information.
3432
3433         * all: Update copyright information.
3434
3435 2006-07-10  KJKHyperion  <hackbunny@reactos.com>
3436
3437         * url.c (filechr_table): Mark DEL (0x7f) as a control character
3438         and | as a character Windows can't handle.
3439
3440 2006-06-28  Mauro Tortonesi  <mauro@ferrara.linux.it>
3441
3442         * res.c: Implemented is_robots_txt_url function for detection of
3443         robots.txt URLs and related test routine.
3444
3445         * res.h: Ditto.
3446
3447         * url.c: Implemented are_urls_equal function for URL comparison and
3448         related testing routine.
3449
3450         * url.h: Ditto.
3451
3452         * convert.c: Fixes for recursive spider mode: don't consider
3453         non-existing robots.txt as a broken link, and use are_urls_equal
3454         instead of strcasecmp for referrer URLs comparison.
3455
3456         * test.c: Call tests routines for are_urls_equal and
3457         is_robots_txt_url.
3458
3459 2006-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
3460
3461         * wget.h (wgint): Typedef to any 64-bit (or larger) type we can
3462         find, not necessarily off_t or long.
3463
3464 2006-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
3465
3466         * cmpt.c (strtoll): Check for overflow and underflow without
3467         relying on (technically) undefined behavior.  Don't assume that
3468         strtoll_type is 64 bits wide.
3469
3470 2006-06-21  Hrvoje Niksic  <hniksic@xemacs.org>
3471
3472         * utils.c (base64_encode): Cast void pointer to char * before
3473         doing arithmetic.
3474
3475 2006-06-20  Hrvoje Niksic  <hniksic@xemacs.org>
3476
3477         * utils.c (base64_encode): Made TBL const.
3478         (base64_decode): Made the base64_char_to_value table const.
3479
3480 2006-06-19  Hrvoje Niksic  <hniksic@xemacs.org>
3481
3482         * utils.c (base64_encode): Made the DATA pointer void * so the
3483         callers can pass it any kind of pointer (including both signed and
3484         unsigned char pointers).
3485         (base64_decode): Ditto for DEST.
3486
3487 2006-06-19  Hrvoje Niksic  <hniksic@xemacs.org>
3488
3489         * utils.c (base64_encode): Would read past end of STR.
3490         Reported by rick@eckle.org.
3491
3492 2006-06-13  Mauro Tortonesi  <mauro@ferrara.linux.it>
3493
3494         * options.h (struct options): Introduced member restrict_files_case to
3495         keep track of preferences on character case restrictions for
3496         filenames.
3497
3498         * init.c: Modified defaults and cmd_spec_restrict_file_names to
3499         support character case restrictions for filenames. Added
3500         test_cmd_spec_restrict_file_names unit test.
3501
3502         * url.c: Modified append_uri_pathel to support character case
3503         restrictions for filenames. Added test_append_uri_pathel unit test.
3504
3505         * test.c: Added test_cmd_spec_restrict_file_names and
3506         test_append_uri_pathel to the list of unit tests to run.
3507
3508 2006-06-12  Mauro Tortonesi  <mauro@ferrara.linux.it>
3509
3510         * retr.c (retrieve_from_file): Use retrieve_tree and automatically
3511         turn on opt.follow_ftp in case of recursive FTP retrieval through HTTP
3512         proxy.
3513
3514         * main.c: Automatically turn on opt.follow_ftp in case of recursive
3515         FTP retrieval through HTTP proxy.
3516
3517 2006-06-12  Tony Lewis  <tlewis@exelana.com>
3518
3519         * main.c: Improved CHEN Peng's patch by proposing a simpler logic.
3520
3521 2006-06-12  CHEN Peng  <chenpeng@alumni.nus.edu.sg>
3522
3523         * main.c: Use retrieve_tree in case of recursive FTP retrieval through
3524         HTTP proxy.
3525
3526 2006-05-25  Mauro Tortonesi  <mauro@ferrara.linux.it>
3527
3528         * convert.c: Added mechanisms to keep track broken links.
3529
3530         * convert.h: Ditto.
3531
3532         * wget.h: Reordered and enumerated uerr_t constants.
3533
3534         * recur.c: Fixes to support recursive spider mode.
3535
3536         * http.c: Ditto.
3537
3538         * main.c: Print broken links in case of recursive spider mode.
3539
3540         * retr.c: Changed interface of retrieve_url.
3541
3542         * retr.h: Ditto.
3543
3544         * ftp.c: Changed interface of ftp_loop.
3545
3546         * ftp.h: Ditto.
3547
3548         * res.c: Minor change to reflect changes in interface of retrieve_url.
3549
3550 2006-05-18  Lawrence Jones  <lawrence.jones@ugs.com>
3551
3552         * ftp-ls.c (ftp_parse_unix_ls): Correct size parsing, add size
3553         and filename debugging output.
3554
3555 2006-04-28  Mauro Tortonesi  <mauro@ferrara.linux.it>
3556
3557         * http.c: If Content-Disposition header is present, allow unique
3558         filename generation unless -nc is given. Permit to disable parsing of
3559         Content-Disposition header.
3560
3561         * options.h: Added option --no-content-disposition to disable parsing
3562         of HTTP Content-Disposition header.
3563
3564         * init.c: Ditto.
3565
3566         * main.c: Ditto.
3567
3568 2006-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
3569
3570         * hash.c (TOLOWER): Wrap macro arg in parentheses.
3571
3572 2006-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
3573
3574         * http.c (parse_content_disposition): Doc fix.
3575
3576 2006-03-15  Mauro Tortonesi  <mauro@ferrara.linux.it>
3577
3578         * utils.c: Restricted operational semantics of frontcmp and proclist
3579         from generic strings to directory names and them to subdir_p and
3580         dir_matches_p respectively.  Applied George Ogata's one line patch to
3581         restrict algorithm of subdir_p to full directory name matching.  Added
3582         testcases for subdir_p and dir_matches_p.
3583
3584         * utils.h: Changed all frontcmp occurrences to subdir_p.
3585
3586         * recur.c: Ditto.
3587
3588         * test.c: Changed type returned by test functions from char * to const
3589         char *.  Added test_subdir_p and test_dir_matches_p to the list of
3590         tests to run.
3591
3592         * http.c (test_parse_content_disposition): Changed return type from
3593         char * to const char *.
3594
3595 2006-03-14  Mauro Tortonesi  <mauro@ferrara.linux.it>
3596
3597         * recur.c (struct queue_element): Changed type of html_allowed member
3598         to bool.
3599
3600 2006-03-09  Mauro Tortonesi  <mauro@ferrara.linux.it>
3601
3602         * ftp.c (ftp_list): Try `LIST -a' command first and revert to `LIST'
3603         in case of failure.
3604
3605 2006-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
3606
3607         * hash.c (TOLOWER): Fix definition when STANDALONE.
3608         Reported by Beni Serfaty.
3609
3610 2006-03-02  Mauro Tortonesi  <mauro@ferrara.linux.it>
3611
3612         * http.c (http_loop): Fixed recursive HTTP retrieval.
3613
3614 2006-02-28  Hrvoje Niksic  <hniksic@xemacs.org>
3615
3616         * http.c (extract_param): Declare extern so it can be used from
3617         other files.
3618         (extract_param): Return error for empty name.
3619
3620 2006-02-28  Hrvoje Niksic  <hniksic@xemacs.org>
3621
3622         * url.c (find_last_char): Define in terms of memrchr.
3623
3624         * cmpt.c (memrchr): Define it on systems that don't have it.
3625
3626         * http.c (extract_param): New function for parsing header values
3627         with parameters.
3628         (parse_content_disposition): Use it.  Don't allow slashes and
3629         backslashes in the file name.
3630
3631 2006-02-27  Hrvoje Niksic  <hniksic@xemacs.org>
3632
3633         * url.c (path_simplify): Don't preserve ".." at beginning of path.
3634         Suggested by Frank McCown.
3635
3636 2006-02-25  Hrvoje Niksic  <hniksic@xemacs.org>
3637
3638         * http.c (gethttp): Only use FILE.N.html if FILE.html exists.
3639
3640 2006-02-09  Hrvoje Niksic  <hniksic@xemacs.org>
3641
3642         * mswindows.c (run_with_timeout): Made thread_hnd non-static.
3643
3644 2006-02-05  Hrvoje Niksic  <hniksic@xemacs.org>
3645
3646         * retr.c (sleep_between_retrievals): Sleep at a minimum of 1/2 of
3647         the specified wait period.
3648
3649 2006-02-03  Hrvoje Niksic  <hniksic@xemacs.org>
3650
3651         * utils.c (number_to_string): Don't use sprintf for printing
3652         WGINT_MIN; simply divide n by 10 and defer printing the last
3653         digit.
3654         (number_to_string): Removed the SPRINTF_WGINT macro.
3655
3656 2006-02-03  Mauro Tortonesi  <mauro@ferrara.linux.it>
3657
3658         * http.c: Fixed support for Content-Disposition header.
3659
3660         * test.c: Added test_parse_content_disposition to the list of unit
3661         tests to run.
3662
3663 2006-02-02  Hrvoje Niksic  <hniksic@xemacs.org>
3664
3665         * hash.c: Don't define countof if it's already defined.
3666
3667         * hash.c: Obtain the definition of uintptr_t when standalone.
3668
3669 2006-01-30  Mauro Tortonesi  <mauro@ferrara.linux.it>
3670
3671         * http.c: Changed output format. Removed excessively verbose debugging
3672         output.
3673
3674 2005-12-07  Mauro Tortonesi  <mauro@ferrara.linux.it>
3675
3676         * http.c: Fixed pre-download verbose output which was broken by
3677         HTTP code refactoring.
3678
3679 2005-11-23  Mauro Tortonesi  <mauro@ferrara.linux.it>
3680
3681         * http.c: Refactored HTTP code.  If -O is not used, the new code
3682         delays the choice of the file name where the downloaded resource
3683         will be saved until the HTTP headers have been retrieved.
3684         Added support for Content-Disposition header.
3685
3686 2005-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
3687
3688         * hash.c (INVALID_PTR): Use uintptr_t instead of unsigned long.
3689         (hash_pointer): Don't assume a pointer fits in `unsigned long'.
3690
3691 2005-11-02  Mauro Tortonesi  <mauro@ferrara.linux.it>
3692
3693         * Makefile.in: Removed support for unit testing (now it is in
3694         tests/Makefile.in).
3695
3696 2005-10-27  Mauro Tortonesi  <mauro@ferrara.linux.it>
3697
3698         * Makefile.in: Added basic support for unit testing.
3699
3700         * test.c: Ditto.
3701
3702         * test.h: Ditto.
3703
3704 2005-10-13  Daniel Stenberg  <daniel@haxx.se>
3705
3706         * http-ntlm.c (ntlm_output): Fixed buffer overflow vulnerability.
3707
3708 2005-10-09  Russ Allbery  <rra@stanford.edu>
3709
3710         * snprintf.c: Remove round to round_int and pow10 to pow10_int, to
3711         avoid warnings from GCC 4.0.
3712
3713 2005-10-05  Mauro Tortonesi  <mauro@ferrara.linux.it>
3714
3715         * retr.c: Changed semantics of no_proxy_match.
3716
3717 2005-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
3718
3719         * main.c (main): Don't print the summary if nothing has been downloaded.
3720
3721 2005-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
3722
3723         * retr.c (retr_rate): Rename parameter from MSECS to SECS since it
3724         no longer holds milliseconds.
3725
3726 2005-09-01  Hrvoje Niksic  <hniksic@xemacs.org>
3727
3728         * progress.c: Introduce symbolic constants for "magic" values of
3729         0.2 and 0.9, REFRESH_INTERVAL and ETA_REFRESH_INTERVAL.
3730
3731 2005-08-27  Hrvoje Niksic  <hniksic@xemacs.org>
3732
3733         * cmpt.c (strtoll): Correctly handle strtoll("0x", ptr, 0) and
3734         strtoll("0x<nonhexchar>", ptr, 0) -- in both cases *ptr must be
3735         set to the position of 'x', not after it.
3736
3737 2005-08-27  Hrvoje Niksic  <hniksic@xemacs.org>
3738
3739         * hash.c (hash_table_map): Rename to hash_table_for_each and
3740         update callers.
3741         Document the meaning of the callback's return value.
3742         (hash_table_iterate): New function.
3743         (hash_table_iter_next): Likewise.
3744         Update most places that used hash_table_for_each to use the
3745         iteration, which doesn't require a temporary function with
3746         explicit state management.
3747
3748 2005-08-26  Albert Chin  <wget@mlists.thewrittenword.com>
3749
3750         * Makefile.in: Use @datadir@.  Define localedir as $(datadir)/locale.
3751
3752 2005-08-26  Jeremy Shapiro  <jnshapiro@gmail.com>
3753
3754         * openssl.c (ssl_init): Set SSL_MODE_AUTO_RETRY.
3755
3756 2005-08-23  Hrvoje Niksic  <hniksic@xemacs.org>
3757
3758         * host.c (address_list_from_ipv4_addresses): Use IP_INADDR_DATA.
3759
3760 2005-08-12  Hrvoje Niksic  <hniksic@xemacs.org>
3761
3762         * wget.h: Renamed strtoll_return to strtoll_type.
3763
3764 2005-08-11  Hrvoje Niksic  <hniksic@xemacs.org>
3765
3766         * progress.c (eta_to_human_short): Switch to days when printing
3767         more than 48h rather than 100h.  (It's not immediately apparent
3768         how many days there are in 83h.)
3769
3770 2005-08-11  Hrvoje Niksic  <hniksic@xemacs.org>
3771
3772         * cmpt.c (strtoll): Define it if missing on the system and if Wget
3773         needs it.
3774
3775         * mswindows.c (str_to_int64): Move to cmpt.c and rename to strtoll.
3776
3777 2005-08-10  Hrvoje Niksic  <hniksic@xemacs.org>
3778
3779         * host.c (print_address): Always use inet_ntop when IPv6 is
3780         enabled.
3781
3782         * host.h (ip_address): Simplify the data union.
3783
3784 2005-08-09  Hrvoje Niksic  <hniksic@xemacs.org>
3785
3786         * mswindows.c (inet_ntop): Also handle IPv4 addresses for
3787         completeness.
3788
3789 2005-08-09  Hrvoje Niksic  <hniksic@xemacs.org>
3790
3791         * http.c (gethttp): Don't read more than the amount of data
3792         specified by the content-length header.
3793
3794 2005-08-09  Vasil Dimov  <vd@datamax.bg>
3795
3796         * ftp.c (getftp): Don't free RESPLINE if ftp_response returns a
3797         status other than FTPOK.
3798
3799 2005-08-04  Giuseppe Bonacci  <g.bonacci@libero.it>
3800
3801         * ftp-ls.c (ftp_parse_unix_ls): Remember the position of the
3802         previous token instead of backtracking back to it.
3803
3804 2005-07-08  Gisle Vanem  <giva@bgnett.no>
3805
3806         * mswindows.h: Include process.h to get getpid() declaration.
3807
3808 2005-07-08  Hrvoje Niksic  <hniksic@xemacs.org>
3809
3810         * utils.c (aprintf): Use vasprintf where available.
3811
3812 2005-07-08  Hrvoje Niksic  <hniksic@xemacs.org>
3813
3814         * url.c (rewrite_shorthand_url): Simplify code using aprintf and
3815         strspn.
3816
3817 2005-07-07  Hrvoje Niksic  <hniksic@xemacs.org>
3818
3819         * gnutls.c (ssl_check_certificate): Check for the validity of the
3820         presented X509 certificate.
3821
3822 2005-07-07  Hrvoje Niksic  <hniksic@xemacs.org>
3823
3824         * openssl.c (ssl_check_certificate): Print custom error messages
3825         for frequent X509 certificate problems.
3826
3827 2005-07-07  Hrvoje Niksic  <hniksic@xemacs.org>
3828
3829         * mswindows.h: Define an alias for stat and fstat, as requested by
3830         config-compiler.h.
3831         (gai_strerror): Define to windows_strerror if NEED_GAI_STRERROR is
3832         defined.
3833
3834 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
3835
3836         * mswindows.h: Use strtoll where available.
3837
3838 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
3839
3840         * sysdep.h: Add a full declaration of fnmatch.h.
3841
3842 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
3843
3844         * utils.c: Unconditionally include <setjmp.h>.
3845
3846 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
3847
3848         * utils.c (fnmatch_nocase): New function.
3849         (proclist): Use it instead of fnmatch when opt.ignore_case is
3850         requested.
3851         (in_acclist): Respect opt.ignore_case.
3852         (frontcmp): Respect opt.ignore_case.
3853
3854         * options.h (struct options): New flag opt.ignore_case.
3855
3856 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
3857
3858         * ptimer.c: Measure time in seconds rather than milliseconds.
3859         Adjusted all callers.
3860
3861 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
3862
3863         * http.c (gethttp): When freeing MESSAGE, take into account that
3864         it can be NULL.
3865
3866 2005-07-05  Hrvoje Niksic  <hniksic@xemacs.org>
3867
3868         * cmpt.c (timegm): Handle years after 2099.
3869
3870 2005-07-05  Hrvoje Niksic  <hniksic@xemacs.org>
3871
3872         * cmpt.c (timegm): Remove unused variable.
3873
3874 2005-07-05  Hrvoje Niksic  <hniksic@xemacs.org>
3875
3876         * cmpt.c (timegm): Don't call mktime; simply count the seconds
3877         between 1970-01-01 and the specified date.
3878
3879 2005-07-05  Hrvoje Niksic  <hniksic@xemacs.org>
3880
3881         * wget.h (or): Define HAVE_SSL when either HAVE_OPENSSL or
3882         HAVE_GNUTLS are defined.
3883
3884         * gnutls.c: New file.
3885
3886 2005-07-05  Hrvoje Niksic  <hniksic@xemacs.org>
3887
3888         * http.c (gethttp): Don't print the request write error message
3889         twice.
3890
3891 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
3892
3893         * openssl.c (openssl_errstr): Instead of always using a large
3894         static buffer, only allocate the error string when there is an
3895         actual error.
3896
3897 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
3898
3899         * xmalloc.c (debugging_free): Prefix hex pointer value with "0x"
3900         when printing.
3901
3902 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
3903
3904         * utils.c (NEXT_BASE64_CHAR): Rename to NEXT_CHAR and simplify to
3905         get the next non-whitespace character.
3906
3907 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
3908
3909         * utils.c (base64_decode): Don't silently tolerate non-base64
3910         non-white-space characters in the base64 stream.
3911
3912 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
3913
3914         * connect.c (LAZY_RETRIEVE_INFO): Make last_tick unsigned to match
3915         transport_map_modified_tick.
3916
3917 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
3918
3919         * config-post.h (alloca): Updated declaration to not enumerate all
3920         Windows compilers.
3921
3922 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
3923
3924         * openssl.c (openssl_errstr): Separate error messages with "; ".
3925
3926 2005-07-03  Hrvoje Niksic  <hniksic@xemacs.org>
3927
3928         * ftp.c (getftp): Ditto.
3929
3930         * http.c (gethttp): Use fd_errstr.
3931
3932         * connect.c (fd_register_transport): Restructure parameters to
3933         include only a single structure that describes transport
3934         implementation.
3935
3936         * openssl.c (openssl_errstr): New function: dump SSL error strings
3937         into a static buffer and return a pointer to the buffer.
3938
3939         * connect.c (fd_errstr): New function; returns transport-specific
3940         error message, or strerror(errno) if transport doesn't supply one.
3941
3942 2005-07-03  Hrvoje Niksic  <hniksic@xemacs.org>
3943
3944         * mswindows.h: Also wrap accept() and listen().
3945
3946 2005-07-03  Hrvoje Niksic  <hniksic@xemacs.org>
3947
3948         * url.c (path_end): Skip separators appropriate for the scheme.
3949         (strpbrk_or_eos): Remove gcc-specific version, as the optimization
3950         it tried to perform no longer applies.
3951
3952 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
3953
3954         * host.c: Don't include "connect.h" now that we no longer have
3955         socket_has_inet6.
3956
3957 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
3958
3959         * host.c: Remove extraneous definition of netdb.h.
3960
3961 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
3962
3963         * http.c (gethttp): Skip error message body in the keep-alive
3964         case.
3965
3966 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
3967
3968         * url.c (url_parse): Would crash when parsing fragments.  Support
3969         fragments for FTP URLs too.
3970
3971 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
3972
3973         * version.c: Don't use "cvs" in version name, since we're not
3974         using CVS anymore.
3975
3976 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
3977
3978         * progress.c (create_image): Ditto.
3979
3980         * retr.c (retr_rate): Display smaller rate numbers with greater
3981         precision.
3982
3983 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
3984
3985         * http.c (response_head_terminator): Minor optimization.
3986
3987         * retr.c (fd_read_hunk): Call terminator with pointer to the start
3988         of the data and the pointer to the current data.  Changed all
3989         callers.
3990
3991 2005-07-01  Hrvoje Niksic  <hniksic@xemacs.org>
3992
3993         * url.c (url_parse): Make sure u->params is not initialized for
3994         http/https URLs.
3995         (url_parse): Don't crash on garbage following []-delimited IPv6
3996         addresses.
3997
3998 2005-07-01  Hrvoje Niksic  <hniksic@xemacs.org>
3999
4000         * main.c (print_help): Don't refer to the non-existent -nr in
4001         description of --mirror.
4002
4003 2005-06-30  Hrvoje Niksic  <hniksic@xemacs.org>
4004
4005         * host.c (pretty_print_address): Renamed to just print_address.
4006         Clarify documentation.
4007
4008 2005-06-30  Hrvoje Niksic  <hniksic@xemacs.org>
4009
4010         * http.c (gethttp): Explicitly document the different cases when
4011         generating the Host header.
4012
4013 2005-06-30  Hrvoje Niksic  <hniksic@xemacs.org>
4014
4015         * host.c (pretty_print_address): Handle error result from
4016         inet_ntop.
4017
4018 2005-06-30  Gisle Vanem  <giva@bgnett.no>
4019
4020         * mswindows.c (inet_ntop): New function.  Print IPv6 addresses
4021         using WSAAddressToString.
4022
4023 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
4024
4025         * progress.c (dot_update): Remove unused variable row_qty.
4026
4027 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
4028
4029         * main.c: Check for both SIGHUP and SIGUSR1 before using them.
4030
4031 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
4032
4033         * utils.c: Unconditionally include locale.h.
4034
4035 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
4036
4037         * ptimer.c: Include sys/time.h to get struct timeval.
4038
4039 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
4040
4041         * wget.h: Remove obsolete definition of with_thousand_seps_sum.
4042
4043 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
4044
4045         * gnu-md5.h: Unconditionally include limits.h.
4046
4047 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
4048
4049         * utils.c (random_number): Use lrand48 if available.
4050         (random_float): Use drand48 if available.
4051
4052 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
4053
4054         * main.c (secs_to_human_time): Use print_decimal when printing
4055         total download time in seconds.
4056
4057         * progress.c (print_row_stats): Use it to print total download
4058         time at the end of the download.
4059         (create_image): Ditto.
4060
4061         * utils.c (print_decimal): New function; print small decimal
4062         numbers with more precision than large ones.
4063
4064         * progress.c (print_row_stats): New function.  Print ETA after the
4065         download rate at the end of each row.
4066
4067 2005-06-28  Hrvoje Niksic  <hniksic@xemacs.org>
4068
4069         * init.c (parse_line): Check for alphanumerics.
4070
4071 2005-06-28  Hrvoje Niksic  <hniksic@xemacs.org>
4072
4073         * (dot_create): Remove unnecessary casts.
4074
4075 2005-06-28  Hrvoje Niksic  <hniksic@xemacs.org>
4076
4077         * ftp.c (getftp): Delete trailing newlines from LIST output so
4078         lines don't come out with trailing \015\012 with -S.
4079
4080 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
4081
4082         * mswindows.h: Remove superfluous includes.
4083
4084 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
4085
4086         * config-post.h (alloca): Amend alloca declaration to take care of
4087         all Win32 compilers, not just MSVC and MinGW.
4088
4089 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
4090
4091         * utils.c (get_grouping_data): Force separator to "." rather than
4092         " " when "," is taken.
4093
4094 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
4095
4096         * wget.h (PTR_FORMAT): Cast the result of sizeof to int before
4097         passing it to printf's %*.
4098
4099         * retr.h: Declare output_stream and output_stream_regular.
4100
4101         * ftp.h: Declare ftp_last_respline.
4102
4103         * convert.h: Declare dl_url_file_map.
4104
4105         * http.h: New file.
4106
4107 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
4108
4109         * cookies.c: Make cookies_now static.
4110
4111 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
4112
4113         * utils.c (human_readable): Remove intermediary cast to long; MSVC
4114         has problems casting *unsigned* __int64 to double.
4115
4116 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
4117
4118         * sysdep.h: Use the system-provided fnmatch by default.
4119
4120 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
4121
4122         * http.c (mktime_from_utc): Renamed to timegm and moved to cmpt.c.
4123         Don't compile it if GNU timegm is available.
4124         (http_atotm): Use timegm.
4125
4126 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
4127
4128         * http.c (http_atotm): Correctly query the old locale value.
4129
4130 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
4131
4132         * config-post.h (alloca): Don't #define alloca under MinGW32,
4133         which defines it in malloc.h, included from mswindows.h.
4134
4135 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
4136
4137         * utils.c (get_grouping_data): Force the use of separators in C
4138         locale.
4139
4140 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
4141
4142         * main.c (i18n_initialize): Set all locale categories.
4143
4144         * http.c (http_atotm): Temporarily set locale to "C".
4145
4146 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
4147
4148         * http.c (gethttp): Improve "POST data file missing" error
4149         message.
4150
4151 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
4152
4153         * progress.c (set_progress_implementation): Type COLON as const
4154         char *.
4155
4156 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
4157
4158         * utils.c (with_thousand_seps): Handle negative numbers.
4159
4160 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
4161
4162         * progress.c (create_image): Mark the "eta" string for translation.
4163
4164 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
4165
4166         * html-url.c (get_urls_file): Don't explicitly set entry->next to
4167         NULL since entry is already zeroed out.
4168
4169 2005-06-26  Gisle Vanem  <giva@bgnett.no>
4170
4171         * mswindows.h: Define gai_strerror under MinGW.
4172
4173 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
4174
4175         * utils.c (with_thousand_seps): Correctly implement thousand seps
4176         consisting of more than one character.
4177
4178 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
4179
4180         * main.c (secs_to_human_time): Ditto.
4181
4182         * progress.c (create_image): Print more exact duration of very
4183         short downloads.
4184
4185         * main.c (secs_to_human_time): Don't translate time suffixes "h",
4186         "m", and "s", which are not strictly SI, but are "accepted for use
4187         with SI".
4188         (secs_to_human_time): Print really small intervals as 0s, not
4189         0.00s.
4190
4191 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
4192
4193         * config-post.h: Replace the alloca declaration with the one from
4194         the latest Autoconf manual.  This should remove a warning with GCC
4195         on AIX.
4196
4197 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
4198
4199         * ftp.c (getftp): Always invoke SIZE, not only when continuing a
4200         download.
4201
4202         * main.c (main): Ditto here.
4203
4204         * progress.c (create_image): When the download is finished, print
4205         how long it took.
4206
4207 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
4208
4209         * main.c (main): Print the downloaded and quota amounts with the
4210         "human_readable" function.
4211
4212         * ftp.c (print_length): Ditto.
4213
4214         * http.c (gethttp): Don't display thousand separators.
4215
4216         * utils.c (with_thousand_seps): Rewritten to respect locale
4217         settings and to be type size agnostic.
4218
4219 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
4220
4221         * utils.c (human_readable): Divide with 1024 instead of shifting
4222         so the operation can work with non-integer N.
4223
4224 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
4225
4226         * progress.c (eta_to_human): New logic for more human-readable
4227         ETA.
4228
4229 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
4230
4231         * utils.c (with_thousand_seps_sum): Decrease buffer size so it
4232         cannot overrun add_thousand_seps's buffer.
4233
4234 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
4235
4236         * utils.c (SPRINTF_WGINT): The correct format is %I64d, not just
4237         %I64.
4238
4239 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
4240
4241         * http.c (http_loop): Don't warn about wildcards in HTTP URLs if
4242         globbing isn't requested in the first place.
4243
4244         * retr.c (retrieve_url): Temporarily turn off globbing when
4245         processing HTTP->FTP redirects.
4246
4247 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
4248
4249         * utils.c (with_thousand_seps_sum): Now defined only if
4250         SUM_SIZE_INT is double.
4251
4252         * wget.h (SUM_SIZE_INT): Instead of bothering with long, long
4253         long, __int64, and friends, simply either use wgint or double, end
4254         of story.  Since we know how to print either, we no longer need
4255         LARGE_INT_FMT.
4256
4257         * sysdeps.h (LARGE_INT): Renamed to SUM_SIZE_INT to better reflect
4258         its intent, and moved to wget.h.
4259
4260 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
4261
4262         * Makefile.in: No need to clean .libs.
4263
4264 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
4265
4266         * cookies.c (parse_set_cookies): Cast pointer subtraction to int
4267         before using it with %d; AIX compiler warns on this.
4268         Reported by Jens Schleusener.
4269
4270 2005-06-24  Hrvoje Niksic  <hniksic@xemacs.org>
4271
4272         * http.c (gethttp): Don't prepend / here.
4273
4274         * cookies.c (cookie_handle_set_cookie): Prepend / to PATH.
4275         (cookie_header): Ditto.
4276
4277 2005-06-24  Hrvoje Niksic  <hniksic@xemacs.org>
4278
4279         * init.c: opt.verbose must be declared as int.
4280
4281 2005-06-23  Hrvoje Niksic  <hniksic@xemacs.org>
4282
4283         * cmpt.c (strpbrk): Removed.
4284         (mktime): Removed.
4285         Include <time.h>.
4286
4287 2005-06-23  Hrvoje Niksic  <hniksic@xemacs.org>
4288
4289         * utils.c (read_file): Ditto.
4290
4291         * main.c (main): Use struct_fstat.
4292
4293         * mswindows.h (struct_fstat): Define a struct_fstat to deal with
4294         the fact that Borland 5.5 has 64-bit stat, but not 64-bit fstat!
4295
4296 2005-06-23  Hrvoje Niksic  <hniksic@xemacs.org>
4297
4298         * sysdep.h: Remove code that deals with Watcom.
4299
4300 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
4301
4302         * all: Use bool instead of int and false/true instead of 0/non-0
4303         for boolean variables and values.
4304
4305 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
4306
4307         * sysdep.h: Include the stdbool.h/_Bool/bool blurb from Autoconf.
4308
4309 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
4310
4311         * init.c (cmd_lockable_boolean): Removed.
4312
4313 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
4314
4315         * cookies.c (struct cookie): Use 1-bit bitfields for booleans
4316         which makes the structure takes less space at no cost in
4317         complexity.
4318
4319 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
4320
4321         * Makefile.in ($(OBJ)): Add the config.h dependency.
4322
4323 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
4324
4325         * openssl.c, connect.c, host.c: Replace instances of #ifdef
4326         ENABLE_DEBUG if (opt.debug) {...} #endif with IF_DEBUG {...}.
4327
4328         * main.c: Rename the IF_DEBUG defined here to WHEN_DEBUG.
4329
4330         * wget.h (IF_DEBUG): New macro.
4331         (DEBUGP): Define in terms of IF_DEBUG.
4332
4333 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
4334
4335         * http.c (gethttp): Only handle --set-cookies (and assert that
4336         cookie jar exists) if opt.cookies is true.  Failure to do so
4337         triggered the assert when --no-cookies was used and the server
4338         sent a Set-Cookie header.  Ouch!
4339
4340 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
4341
4342         * connect.c (select_fd): Expect select() to exist.
4343
4344         * utils.c (xsleep): Always use select() as sleep fallback on
4345         non-Windows platforms.
4346
4347         * ptimer.c: Delete the implementation of PTIMER_TIME.
4348
4349         * main.c: Assume existence of signal(), test for different signal
4350         names instead.
4351
4352         * cmpt.c: Better document reasons why certain functions are
4353         included.
4354
4355 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
4356
4357         * Makefile.in: Remove the manually maintained dependency list;
4358         make all object files depend on every header.
4359
4360 2005-06-20  Hrvoje Niksic  <hniksic@xemacs.org>
4361
4362         * hash.c: Rename "mapping" to "cell" to avoid confusion with the
4363         term "mapping" (or "map") sometimes being used for the entire hash
4364         table.  Also rename "non-empty" to "occupied" for easier reading
4365         of if (!NON_EMPTY (...)) ... .
4366
4367 2005-06-20  Hrvoje Niksic  <hniksic@xemacs.org>
4368
4369         * main.c, ptimer.c, sysdep.h, utils.c: Use #elif to simplify reading of
4370         chained if-else-else-else-... statements.
4371
4372 2005-06-20  Hrvoje Niksic  <hniksic@xemacs.org>
4373
4374         * all: Return type of signal handlers is `void'.  Include signal.h
4375         unconditionally.
4376
4377         * all: Don't explicitly cast values returned by malloc.  We no
4378         longer support ancient compilers that don't declare malloc, and we
4379         never supported C++ builds.
4380
4381 2005-06-19  Hrvoje Niksic  <hniksic@xemacs.org>
4382
4383         * all: Don't declare errno.  Include both time.h and sys/time.h,
4384         as long as sys/time.h exists.  Don't dereference function pointers
4385         when invoking the functions they point to.
4386
4387         * cmpt.c (memmove): Remove function mandated by C89.
4388         (strerror): Ditto.
4389         (strstr): Ditto.
4390
4391         * all: Undo the K&R-ization changes from 2005-05-03.
4392
4393         * all: Remove support for K&R compilers: use C89 function
4394         declarations, remove definition of PARAMS, remove support for
4395         varargs, and remove ansi2knr.  Assume the presence of time.h,
4396         string.h, and other headers mandated by C89.
4397
4398 2005-06-19  Hrvoje Niksic  <hniksic@xemacs.org>
4399
4400         * init.c (cmd_lockable_boolean): Don't recognize literal "2" and
4401         "-1" values; unlike 0 and 1, those should never be exposed to the
4402         user.  Update the error message to be more self-consistent, as
4403         proposed by Benno Schulenberg.
4404
4405 2005-06-18  Hrvoje Niksic  <hniksic@xemacs.org>
4406
4407         * http.c (gethttp): Don't free "head" before using it to save
4408         headers.
4409
4410 2005-06-18  Hrvoje Niksic  <hniksic@xemacs.org>
4411
4412         * http.c (gethttp): When -E is in use, check for file existence
4413         after appending ".html" to the name and modify the file name if
4414         necessary.
4415
4416 2005-06-17  Hrvoje Niksic  <hniksic@xemacs.org>
4417
4418         * connect.c (socket_has_inet6): Removed.
4419
4420         * host.c (lookup_host): Don't use the AI_ADDRCONFIG getaddrinfo
4421         hint.
4422
4423 2005-06-16  Hrvoje Niksic  <hniksic@xemacs.org>
4424
4425         * init.c (cmd_lockable_boolean): Improve the error message so it
4426         lists the more useful values first.
4427
4428 2005-06-15  Hrvoje Niksic  <hniksic@xemacs.org>
4429
4430         * http.c (gethttp): Also report the system error when the POST
4431         data file is missing.
4432
4433 2005-06-15  Benno Schulenberg  <benno@nietvergeten.nl>
4434
4435         * ftp.c, http.c, connect.c, cookies.c, html-url.c, init.c, res.c:
4436         Gettext-ize messages that were previously missed.
4437
4438 2005-06-15  Hrvoje Niksic  <hniksic@xemacs.org>
4439
4440         * host.h (ip_address): Remove the trailing comma from the type
4441         enum in the no-IPv6 case.
4442
4443         * main.c (struct cmdline_option): Remove the trailing comma from
4444         the enum.
4445
4446         Reported by Jens Schleusener.
4447
4448 2005-05-30  Hrvoje Niksic  <hniksic@xemacs.org>
4449
4450         * url.c (strpbrk_or_eos): Check for a recent GCC version before
4451         using the statement-as-expression extension.
4452
4453 2005-05-30  Hrvoje Niksic  <hniksic@xemacs.org>
4454
4455         * http.c (gethttp): Don't attempt to "skip short body" if we're
4456         issuing a HEAD request (in which case the response head is not
4457         followed by a body).
4458
4459 2005-05-30  Hrvoje Niksic  <hniksic@xemacs.org>
4460
4461         * init.c (cmd_spec_header): Don't split the string along the
4462         commas using cmd_vector; just append the new value using
4463         vec_append instead.
4464
4465         * utils.c (vec_append): New function.
4466
4467 2005-05-27  Andreas Beckmann  <debian@abeckmann.de>
4468
4469         * html-url.c (tag_handle_link): Mark the content from the <link
4470         src="..."> tag as expecting HTML.
4471
4472 2005-05-24  Hrvoje Niksic  <hniksic@xemacs.org>
4473
4474         * http.c (http_atotm): Document the origin of the "cookie date"
4475         format.
4476
4477 2005-05-21  Hrvoje Niksic  <hniksic@xemacs.org>
4478
4479         * init.c (setval_internal): Report exact command name alongside
4480         the "display name".
4481
4482 2005-05-18  Hrvoje Niksic  <hniksic@xemacs.org>
4483
4484         * cookies.c (update_cookie_field): Explicitly cast -1 to time_t to
4485         cope with systems where time_t is unsigned.
4486
4487         * cookies.c: Remove unnecessary casts to time_t from values
4488         already of that type.
4489
4490 2005-05-17  Hrvoje Niksic  <hniksic@xemacs.org>
4491
4492         * ftp.c (ftp_loop_internal): Same here.
4493
4494         * http.c (http_loop): Don't clobber the file when -c is specified
4495         and the first attempt to retrieve the file fails.
4496
4497 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
4498
4499         * openssl.c (ssl_check_certificate): Print all issues with a
4500         certificate.
4501
4502 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
4503
4504         * ftp-basic.c: Don't xfree() the line returned by ftp_response if
4505         the returned code is not FTPOK.
4506
4507 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
4508
4509         * init.c (cleanup): Don't free the non-existent opt.ftp_acc.  Free
4510         the SSL-related stuff.
4511
4512 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
4513
4514         * ftp.c (print_length): Consistently print \n at end of the
4515         "Length" line.
4516
4517 2005-05-14  Hrvoje Niksic  <hniksic@xemacs.org>
4518
4519         * openssl.c (ssl_connect): Announce the beginning and the end of
4520         the SSL handshake when in debug mode.
4521
4522         * wget.h (PTR_FORMAT): New macro for easier printing of pointer
4523         values.  Use %0*lx along with PTR_FORMAT instead of %p.
4524
4525 2005-05-14  Hrvoje Niksic  <hniksic@xemacs.org>
4526
4527         * http.c (gethttp): Would forget to close the connection when
4528         keep_alive was not used.
4529
4530 2005-05-13  Hrvoje Niksic  <hniksic@xemacs.org>
4531
4532         * openssl.c (pattern_match): Document the code that decides
4533         whether "*" matches ".".
4534
4535 2005-05-12  Hrvoje Niksic  <hniksic@xemacs.org>
4536
4537         * ftp-ls.c (ftp_index): Use %d to print the port number, which is
4538         now int.
4539         From Steven M. Schweda's VMS patches.
4540
4541 2005-05-12  Hrvoje Niksic  <hniksic@xemacs.org>
4542
4543         * url.c (rewrite_shorthand_url): Don't rewrite "https://host" to
4544         "ftp://https//host" when SSL is not used.
4545
4546 2005-05-11  Hrvoje Niksic  <hniksic@xemacs.org>
4547
4548         * openssl.c (ssl_check_server_identity): Renamed to
4549         ssl_check_certificate because it does more than just checking the
4550         server's identity.
4551         (ssl_check_certificate): Tell the user about
4552         --no-check-certificate.
4553
4554 2005-05-11  Hrvoje Niksic  <hniksic@xemacs.org>
4555
4556         * openssl.c (ssl_init): Always use SSL_VERIFY_NONE, so that the
4557         handshake finishes even if the certificate is invalid.  That way
4558         ssl_check_server_identity can provide better diagnostics on why
4559         the verification failed.
4560
4561 2005-05-11  Hrvoje Niksic  <hniksic@xemacs.org>
4562
4563         * openssl.c (pattern_match): New function.
4564         (ssl_check_server_identity): Treat peer certificate common name as
4565         wildcard.
4566
4567 2005-05-10  Hrvoje Niksic  <hniksic@xemacs.org>
4568
4569         * openssl.c (ssl_check_server_identity): Print certificate subject
4570         and issuer.
4571
4572 2005-05-10  Hrvoje Niksic  <hniksic@xemacs.org>
4573
4574         * res.c (res_register_specs): Correctly pass pointers to
4575         hash_table_get_pair.
4576
4577 2005-05-10  Hrvoje Niksic  <hniksic@xemacs.org>
4578
4579         * http.c (gethttp): Call ssl_check_server_identity.
4580
4581         * openssl.c (ssl_check_server_identity): New function, verifies
4582         that the host name in the certificate matches the actual host
4583         name.
4584         (verify_cert_callback): Removed, since it didn't do anything
4585         except returning the preverify_ok argument.
4586
4587         * connect.c (fd_transport_context): Allow retrieval of the context
4588         pointer registered with fd_register_transport.
4589
4590 2005-05-09  Hrvoje Niksic  <hniksic@xemacs.org>
4591
4592         * openssl.c (verify_cert_callback): Renamed from verify_callback.
4593         Always return the received "ok" value.  Print the X509 name in
4594         debug mode.
4595         (ssl_init): Enable partial writes in SSL context.
4596
4597 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
4598
4599         * http.c (http_loop): Check for wildcards in the URL path
4600         component, not in the whole URL.
4601
4602         * ftp.c (ftp_loop): Check for wildcards in URL path before
4603         unescaping, so the users can escape globbing metacharacters with %
4604         escapes.
4605
4606 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
4607
4608         * init.c (run_command): Correctly interpret the return value of
4609         parse_line.
4610         (commands): Re-alphabetize.
4611
4612 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
4613
4614         * netrc.c (parse_netrc): Explicitly check for assignment != NULL
4615         to silence warning from Borland C.
4616
4617         * url.c (sync_path): Don't unnecessarily increment p.
4618         (url_parse): Don't unnecessarily set url_encode to NULL just
4619         prior to return from the function.
4620
4621 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
4622
4623         * log.c (escnonprint_internal): Place variable declarations
4624         before other statements.
4625
4626 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
4627
4628         * html-url.c: Include recur.h.
4629
4630         * http.c (request_new): Define as accepting no args.
4631
4632 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
4633
4634         * url.c (strpbrk_or_eos): Made inline.  Use strchr(s, '\0') for
4635         finding the NUL char position.
4636
4637 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
4638
4639         * url.c (decide_copy_method): Renamed to char_needs_escaping.
4640         Since it now returns only two possible values, change it to return
4641         boolean (int).
4642
4643 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
4644
4645         * ftp-basic.c (ftp_request): Prevent newlines in VALUE causing
4646         inadvertent sending of multiple FTP commands.
4647
4648 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
4649
4650         * url.c (decide_copy_method): Never cause reencode_escapes to
4651         decode % escapes; it is too intrusive and breaks some servers.
4652
4653 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
4654
4655         * http.c (gethttp): When tunnelling SSL traffic over proxy with
4656         CONNECT, we're really talking to the remote server directly.
4657         Because of this, the request-line argument must be the URL path
4658         rather than the whole URL, as it would be when using regular
4659         proxies.
4660         Reported by Charles Lane.
4661
4662 2005-05-06  Hrvoje Niksic  <hniksic@xemacs.org>
4663
4664         * init.c (cmd_spec_useragent): Allow empty User-Agent.
4665
4666         * http.c (gethttp): Don't print "unknown authentication scheme"
4667         for failed Basic authentication.
4668         (SET_USER_AGENT): Don't set user-agent if opt.useragent is empty.
4669         (gethttp): Use alloca for allocation of www_authenticate.
4670
4671 2005-05-06  Hrvoje Niksic  <hniksic@xemacs.org>
4672
4673         * main.c (print_help): Fix wording of --secure-protocol help text.
4674
4675 2005-05-06  Hrvoje Niksic  <hniksic@xemacs.org>
4676
4677         * cmpt.c (strstr): Updated from glibc 2.3.5.
4678
4679 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
4680
4681         * http.c (http_atotm): Zero out the whole struct tm being passed
4682         to strptime.
4683
4684 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
4685
4686         * main.c (main): Propagate option name to setoptval.
4687
4688         * init.c (setoptval): Accept another argument, OPTNAME.  Propagate
4689         that argument as the option name independently of the actual
4690         command, determined by command_by_name(com).
4691
4692 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
4693
4694         * init.c (parse_line): Make the return value indicate whether
4695         there was a syntax error or a setter failed.
4696         (run_wgetrc): Return an indication on whether an error has been
4697         encountered.
4698         (initialize): Abort if there have been errors running either
4699         .wgetrc file.
4700
4701 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
4702
4703         * log.c (copy_and_escape): Slightly reduce code repetition between
4704         the two loops.
4705
4706 2005-05-05  Charles C.Fu  <ccwf@bacchus.com>
4707
4708         * utils.c (proclist): Strip leading slash when calling fnmatch
4709         too, otherwise wildcard comparisons always fail.
4710
4711 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
4712
4713         * utils.c (touch): Set access time to current time.
4714
4715 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
4716
4717         * url.c (url_unescape): Don't unescape %00, it effectively
4718         truncates the string.
4719
4720 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
4721
4722         * log.c (copy_and_escape): Replace the FOR_URI argument with a
4723         slightly more general mechanism for specifying different kinds of
4724         escape.
4725
4726 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
4727
4728         * ftp-basic.c (ftp_response): Fix printing FTP server response.
4729
4730 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
4731
4732         * retr.c (limit_bandwidth_reset): Reset sleep_adjust.
4733         (limit_bandwidth): Don't allow huge "adjustment" values that
4734         result from being suspended for a while.
4735
4736 2005-05-04  Hrvoje Niksic  <hniksic@xemacs.org>
4737
4738         * wget.h: If gettext was found but libtintl.h wasn't, declare
4739         gettext's return type to avoid type mismatches.
4740
4741 2005-05-03  Hrvoje Niksic  <hniksic@xemacs.org>
4742
4743         * url.c (url_parse): Rename label `error' to avoid conflict with
4744         identifier.
4745
4746         * retr.c (fd_read_body): Rename label `out' to avoid conflict with
4747         identifier.
4748         (fd_read_hunk): Use explicit double constant.
4749         (retrieve_from_file): Don't use string concatenation.
4750         (sleep_between_retrievals): Make sure xsleep is called with a
4751         `double' argument.
4752         (no_proxy_match): Define as static, like it is declared.
4753
4754         * progress.c (bar_create): Use 0.0 instead of 0 because K&R
4755         compilers can't automatically promote it.
4756
4757         * http-ntlm.c (ntlm_output): Replace \xHH sequences with \OOO for
4758         the sake of old compilers.
4759
4760         * ftp.c (ftp_loop_internal): Don't use string concatenation.
4761
4762         * http.c (request_send): Use explicit double constants when
4763         calling fd_read and fd_write.
4764         (post_file): Ditto.
4765         (gethttp): Ditto.
4766         (skip_short_body): Ditto.
4767
4768         * ftp-basic.c: When calling fd_write, specify the last argument as
4769         a `double' constant for the sake of K&R compilers which don't see
4770         the prototype and therefore can't promote it to double
4771         automatically.
4772
4773         * cookies.c (cookie_jar_load): Rename abort label to abort_cookie
4774         to avoid name conflict in K&R compilers.
4775
4776 2005-04-29  Hrvoje Niksic  <hniksic@xemacs.org>
4777
4778         * ptimer.c (posix_init): Since we allow _POSIX_MONOTONIC_CLOCK==0,
4779         it is not enough to check for _POSIX_MONOTONIC_CLOCK-0, we must
4780         also check for defined(_POSIX_MONOTONIC_CLOCK).
4781
4782 2005-04-28  Hrvoje Niksic  <hniksic@xemacs.org>
4783
4784         * ftp.c, hash.c, connect.c, host.c, http.c: Remove unreached code,
4785         such as "break" following return or abort.
4786
4787 2005-04-28  Hrvoje Niksic  <hniksic@xemacs.org>
4788
4789         * init.c (commands): Wrap the use of opt.random_file in #ifdef
4790         HAVE_SSL.
4791
4792 2005-04-28  Hrvoje Niksic  <hniksic@xemacs.org>
4793
4794         * http.c (gethttp): Correctly set the user agent.
4795
4796 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
4797
4798         * init.c (cmd_spec_useragent): Free the old value of
4799         opt.useragent before setting the new one.
4800
4801 2005-04-27  Mauro Tortonesi  <mauro@ferrara.linux.it>
4802
4803         * main.c: Map --ftp-password, --http-password and --proxy-password to
4804         the new ftppassword, httppassword and proxypassword commands
4805         respectively.  Document the --user and --password options in the help
4806         string.
4807
4808 2005-04-27  Mauro Tortonesi  <mauro@ferrara.linux.it>
4809
4810         * ftp.c: Add support for --user and --password.
4811
4812         * http.c: Add support for --user and --password.
4813
4814         * init.c: Deprecated ftppasswd, httppasswd, login, passwd and
4815         proxypasswd commands.  Added ftppassword, ftpuser, httppassword,
4816         password, proxypassword and user commands.
4817
4818         * main.c: Renamed --ftp-passwd to --ftp-password.  Added --ftp-user,
4819         --http-password, --password, --proxy-password and --user.  Deprecated
4820         --http-passwd and --proxy-passwd.  Added documentation for new options
4821         and removed documentation for deprecated options in the help string.
4822
4823         * options.h (struct options): Added user and passwd members to handle
4824         --user and --password respectively.  Renamed ftp_acc and ftp_pass
4825         members to ftp_user and ftp_passwd for consistency.
4826
4827 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
4828
4829         * main.c (print_help): Advertise "DER", not "ASN1".
4830
4831 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
4832
4833         * openssl.c (init_prng): Disable the weak random seed by default.
4834
4835         * http.c (gethttp): Simplify SSL initialization; disable SSL when
4836         anything goes wrong with the initialization.
4837
4838         * options.h (struct options): New option opt.random_file.
4839
4840 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
4841
4842         * init.c: Wrap private key commands in IF_SSL.
4843
4844 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
4845
4846         * openssl.c (ssl_init): Ditto.
4847
4848         * options.h (struct options): Allow separate specification of key
4849         type and certificate type.
4850
4851         * init.c (cmd_spec_cert_type): Provide a "der" synonym for "asn1"
4852         certificate encoding.
4853
4854 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
4855
4856         * openssl.c: Renamed "gen_sslfunc.c" to "openssl.c" and
4857         "gen_sslfunc.h" to "openssl.h".  This reflects the intent of
4858         openssl.c encapsulating the OpenSSL-specific code.
4859
4860 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
4861
4862         * init.c: Renamed "closure" (a synonym for context in some
4863         cultures) to "place", which more accurately reflects the usage.
4864
4865 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
4866
4867         * gen_sslfunc.c (ssl_init): Use default locations for loading the
4868         certificate bundles.
4869         (ssl_init_prng): Disable the cryptographically weak PRNG
4870         initialization fallback.
4871
4872         * init.c: Renamed SSL command-line arguments and wgetrc commands.
4873         (defaults): Check the server certificate by default.
4874
4875 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
4876
4877         * cookies.c (cookie_handle_set_cookie): Delete the part of the
4878         path after the trailing slash.
4879
4880         * http.c (gethttp): Call cookie_handle_set_cookie with path that
4881         begins with '/'.
4882
4883 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
4884
4885         * http.c (gethttp): Call skip_short_body only if keep_alive is in
4886         use.
4887         (gethttp): Send the User-Agent header with the CONNECT request as
4888         well.
4889
4890 2005-04-25  Hrvoje Niksic  <hniksic@xemacs.org>
4891
4892         * main.c (option_data): Removed support for the undocumented flag
4893         --use-proxy.
4894
4895 2005-04-25  Hrvoje Niksic  <hniksic@xemacs.org>
4896
4897         * main.c (option_data): Don't treat -Y as a boolean switch; treat
4898         it as a value switch instead, so "-Y off" continues to work.
4899
4900 2005-04-24  Hrvoje Niksic  <hniksic@xemacs.org>
4901
4902         * utils.c (aprintf): Delete unreachable statement.
4903
4904 2005-04-24  Hrvoje Niksic  <hniksic@xemacs.org>
4905
4906         * host.c (cmp_prefer_ipv4): New function.
4907         (cmp_prefer_ipv6): New function.
4908         (lookup_host): Use the appropriate comparator according to
4909         opt.prefer_family.
4910
4911         * init.c: New option prefer_family.
4912
4913         * host.c (is_valid_ipv6_address): Spell NS_* constants in lower
4914         case to avoid clash with system headers.
4915         (lookup_host): Reorder the addresses so that IPv4 ones come first.
4916
4917         * utils.c (stable_sort): New function.
4918
4919 2005-04-24  Hrvoje Niksic  <hniksic@xemacs.org>
4920
4921         * connect.c (retryable_socket_connect_error): Return 0 for
4922         ENETUNREACH and EHOSTUNREACH.
4923
4924 2005-04-23  Hrvoje Niksic  <hniksic@xemacs.org>
4925
4926         * cmpt.c: Reenable the memmove implementation for systems that
4927         lack it.
4928
4929         * http.c (gethttp): Store the "authorized" state of the persistent
4930         connection.
4931         (request_remove_header): New function.
4932         (gethttp): Don't send the "Basic" authentication if the connection
4933         is already authorized.
4934
4935 2005-04-23  Hrvoje Niksic  <hniksic@xemacs.org>
4936
4937         * utils.c (base64_encode): Treat input as unsigned chars.
4938         Required for correct encoding of binary stuff.
4939
4940 2005-04-23  Hrvoje Niksic  <hniksic@xemacs.org>
4941
4942         * http-ntlm.c: Format the function definitions in an
4943         ansi2knr-friendly fashion.
4944
4945 2005-04-22  Hrvoje Niksic  <hniksic@xemacs.org>
4946
4947         * http.c (gethttp): Handle multiple WWW-Authentication headers,
4948         only one of which is recognized.  Those are sent by IIS with NTLM
4949         authorization.
4950         (create_authorization_line): Propagate information whether
4951         authorization is finished.
4952         (gethttp): Only stop authorization when it's really finished, not
4953         after fixed two steps.
4954
4955 2005-04-21  Hrvoje Niksic  <hniksic@xemacs.org>
4956
4957         * gen_sslfunc.c (ssl_init): Fix warning message text; mark the
4958         message as translatable.
4959
4960 2005-04-21  Hrvoje Niksic  <hniksic@xemacs.org>
4961
4962         * main.c (print_help): Print the EGD option outside the cluster of
4963         SSL options.
4964
4965 2005-04-21  Hrvoje Niksic  <hniksic@xemacs.org>
4966
4967         * http-ntlm.c (ntlm_output): Fix setting the domain.
4968         Suggested by Sami Krank.
4969
4970 2005-04-20  Mauro Tortonesi  <mauro@ferrara.linux.it>
4971
4972         * connect.c: Set IPV6_V6ONLY socket option when -6 switch is used.
4973
4974 2005-04-20  FUJISHIMA Satsuki  <sf@FreeBSD.org>
4975
4976         * http.c (request_set_header): Fix the check whether a new header
4977         needs to be allocated.
4978
4979 2005-04-18  Hrvoje Niksic  <hniksic@xemacs.org>
4980
4981         * utils.c (base64_encode): Use the parameter order that makes more
4982         sense.  Return the length of the base64 written.  Updated all
4983         callers.
4984
4985 2005-04-17  Hrvoje Niksic  <hniksic@xemacs.org>
4986
4987         * http.c (request_set_header): Free NAME when VALUE is NULL and
4988         freeing the header name is requested.
4989
4990 2005-04-17  Hrvoje Niksic  <hniksic@xemacs.org>
4991
4992         * snprintf.c (fmtstr): Declare VALUE as const char *.
4993         Based on patch by Russ Allbery.
4994
4995 2005-04-17  Hrvoje Niksic  <hniksic@xemacs.org>
4996
4997         * snprintf.c (fmtfp): More correct handling of significant digit
4998         count with %g -- 0.002 has one significant digit, not three.
4999
5000 2005-04-16  Hrvoje Niksic  <hniksic@xemacs.org>
5001
5002         * retr.c (fd_read_body): Respect read timeout with non-interactive
5003         or no progress gauge -- treat ETIMEDOUT specially only when
5004         progress_interactive.
5005         Reported by FUJISHIMA Satsuki.
5006
5007 2005-04-16  FUJISHIMA Satsuki  <sf@FreeBSD.org>
5008
5009         * http.c (gethttp): Don't use HTTP/1.0 persistent connections over
5010         proxy.
5011
5012 2005-04-16  Hrvoje Niksic  <hniksic@xemacs.org>
5013
5014         * snprintf.c: Use the PARAMS macro to handle prototypes.  Write
5015         function definitions in the ansi2knr-friendly way.
5016         (fmtstr): If string precision is specified, don't read VALUE past
5017         it.
5018         (dopr): Actually print %g and %e formats.
5019         (fmtfp): Fix a bug that caused 0.01 to be printed as 0.1.
5020         (fmtfp): Use LLONG in floating point conversions to be able to
5021         convert more digits.
5022         (fmtfp): Interpret precision as number of significant digits with
5023         %g.
5024         (fmtfp): Omit trailing decimal zeros with %g.
5025
5026         * snprintf.c: Don't include <ctype.h> because none of it is used.
5027         Include strings.h/string.h, as per Autoconf.
5028
5029 2005-04-15  Hrvoje Niksic  <hniksic@xemacs.org>
5030
5031         * ptimer.c: Use _POSIX_TIMERS - 0 > 0, which handles the case when
5032         _POSIX_TIMERS is defined but empty, as well as the case when it is
5033         undefined.  Do the same with the check for _POSIX_MONOTONIC_CLOCK.
5034         Suggested by Larry Jones.
5035
5036 2005-04-15  Hrvoje Niksic  <hniksic@xemacs.org>
5037
5038         * ptimer.c: Check that _POSIX_TIMERS is defined as well as > 0.
5039         Problem reported by Steven M. Schweda.
5040
5041 2005-04-14  Hrvoje Niksic  <hniksic@xemacs.org>
5042
5043         * http.c (skip_short_body): Print the skipped body data in debug
5044         mode.
5045         (skip_short_body): Don't skip more than 4k of body data.
5046         (skip_short_body): Return whether the skipping was successful.
5047         (gethttp): If skip_short_body failed, invalidate the connection.
5048
5049 2005-04-12  Gisle Vanem  <giva@bgnett.no>
5050
5051         * ftp.c (getftp): Ditto.
5052
5053         * http.c (gethttp): Open the output file in binary mode.
5054
5055 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
5056
5057         * hash.c: Conditionalize including config.h on HAVE_CONFIG_H
5058         instead of on STANDALONE.
5059
5060 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
5061
5062         * gen_sslfunc.c (ssl_print_errors): Made static.
5063         (ssl_print_errors): Eliminate potentially dangerous fixed-size
5064         error buffer.  Passing NULL to ERR_error_string causes it to use
5065         its own static buffer, which is fine for our purposes.
5066
5067         * gen_sslfunc.c: Include gen_sslfunc.h.  Make the declarations of
5068         ssl_init and ssl_conect match the actual definitions.
5069         (ssl_connect): Simply return a boolean, the SSL context is no
5070         longer useful as a return value.
5071
5072         * retr.c: Don't include SSL headers; we don't need them.
5073
5074 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
5075
5076         * config-post.h: Don't define _VA_LIST under Solaris; it breaks
5077         compilation with GCC 3.4 under Solaris 10.  (It was defined to
5078         avoid a warning with previous versions of GCC.)
5079
5080 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
5081
5082         * xmalloc.c (register_ptr): Warn the user to increase SZ prior to
5083         aborting.
5084
5085 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
5086
5087         * convert.c (convert_cleanup): Free converted_files.
5088
5089 2005-04-10  Hrvoje Niksic  <hniksic@xemacs.org>
5090
5091         * wget.h (DEBUGP): Use __builtin_expect to give a hint to GCC that
5092         opt.debug is false in the vast majority of cases.
5093
5094 2005-04-10  Hrvoje Niksic  <hniksic@xemacs.org>
5095
5096         * config-post.h: Declare alloca as void *, not char *.
5097
5098 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
5099
5100         * recur.c (download_child_p): When -p is used, (temporarily)
5101         ignore accept/reject rules for HTMLs, even when they are at the
5102         maximum recursion depth.  That is because with -p we are, if
5103         necessary, overstepping the max. depth to get the requisites.
5104
5105 2004-06-12  Larry Jones <lawrence.jones@ugsplm.com>
5106
5107         * recur.c (download_child_p): Correct the logic in check number 6:
5108         test opt.reclevel (not DEPTH) against INFINITE_RECURSION.
5109
5110 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
5111
5112         * url.c: Use "static const" in preference to "const static".
5113         Sun's cc warns that "storage class after type is obsolescent".
5114
5115         * url.c (urlchr_table): Don't mark ~ as unsafe, too many broken
5116         web sites are confused when ~ is changed to %7E.  Their servers
5117         redirect /%7Efoo/ to /~foo/, which Wget again accesses using %7E,
5118         causing further redirections, therefore looping infinitely.  See
5119         Debian bug #301624 for an example.
5120
5121 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
5122
5123         * alloca.c: Include wget.h to be able to use xmalloc.  In addition
5124         to defining malloc to xmalloc, also define free to xfree.
5125
5126 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
5127
5128         * http-ntlm.c (ntlm_output): Use "char", not "unsigned char" for
5129         ntlmbuf.  Our base64 functions accept char anyway.
5130         (ntlm_output): Join up the format string, since we nominally
5131         support K&R compilers.
5132         (ntlm_output): Ditto.
5133
5134 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
5135
5136         * ptimer.c: Use Windows timers under Cygwin, whose POSIX timer
5137         implementation is incomplete.
5138
5139 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
5140
5141         * ptimer.c (struct ptimer): Remove the unused initialized field.
5142
5143         * ptimer.c: Renamed function parameters from WT (which used to
5144         stand for wget_timer or wtimer) to PT.
5145
5146 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
5147
5148         * ptimer.c (posix_init): Be smarter about choosing clocks.  In
5149         decreasing order of preference, use CLOCK_MONOTONIC,
5150         CLOCK_HIGHRES, and CLOCK_REALTIME.
5151         (ptimer_allocate): Removed.
5152
5153         * ptimer.c: Refactor the code by cleanly separating the
5154         architecture-dependent code from the architecture-independent
5155         code.
5156
5157 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
5158
5159         * ptimer.c (ptimer_init): Explicitly check that
5160         _POSIX_MONOTONIC_CLOCK is *both* defined and >=0.  (Undefined
5161         symbols are >=0.)
5162
5163 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
5164
5165         * ptimer.c (ptimer_diff): Fix typo affecting Windows build.
5166
5167 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
5168
5169         * ptimer.c (ptimer_init): In fact, _POSIX_MONOTONIC_CLOCK needs to
5170         be >= 0.
5171
5172         * ptimer.c (ptimer_init): Check whether _POSIX_MONOTONIC_CLOCK is
5173         defined instead of whether it's greater than 0.  glibc defines it
5174         to 0, but still makes it available via sysconf.
5175
5176 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
5177
5178         * mswindows.c (str_to_int64): Rename OVERFLOW and UNDERFLOW to
5179         INT64_OVERFLOW and INT64_UNDERFLOW, since those names are used.
5180
5181 2005-04-07  Hrvoje Niksic  <hniksic@xemacs.org>
5182
5183         * ptimer.c: New file.  Move the "wtimer" functions from utils.c to
5184         this file and rename them to ptimer_.
5185
5186 2005-04-07  Hrvoje Niksic  <hniksic@xemacs.org>
5187
5188         * host.c (NO_ADDRESS): Define NO_ADDRESS only after the system
5189         headers have been included.
5190
5191 2005-04-06  Hrvoje Niksic  <hniksic@xemacs.org>
5192
5193         * http.c (pconn): Include NTLM data, which is per-connection.
5194         (known_authentication_scheme_p): Recognize NTLM authorization.
5195         (create_authorization_line): Call ntlm_input and ntlm_output.
5196
5197         * http-ntlm.c: New file, donated by Daniel Stenberg and originally
5198         written for curl, heavily modified for Wget.
5199
5200         * utils.c (base64_encode): Relocated from http.c, since it is now
5201         used by http-ntlm.c, and will possibly be used elsewhere.
5202         (base64_decode): New function, originally based on code from GNU
5203         recode.
5204
5205 2005-04-02  Hrvoje Niksic  <hniksic@xemacs.org>
5206
5207         * ftp.c (ftp_loop): Ditto.
5208
5209         * ftp-basic.c (ftp_pasv): Use the xzero shorthand for memset(0).
5210         (ftp_lpsv): Ditto.
5211
5212 2005-04-05  Mauro Tortonesi  <mauro@ferrara.linux.it>
5213
5214         * Makefile.in: removed string_t.c from list of source files.
5215
5216 2005-04-04  Mauro Tortonesi  <mauro@ferrara.linux.it>
5217
5218         * string_t.c: Removed.
5219
5220         * string_t.h: Removed.
5221
5222 2005-04-02  Hrvoje Niksic  <hniksic@xemacs.org>
5223
5224         * url.c (rewrite_shorthand_url): Only accept recognized schemes.
5225         That way "foo:80" will correctly be rewritten to "http://foo:80"
5226         instead of left unchanged and ultimately rejected because of
5227         "unsupported scheme foo".
5228
5229 2005-03-31  Hrvoje Niksic  <hniksic@xemacs.org>
5230
5231         * utils.c (number_to_string): Avoid explicit 64-bit constants;
5232         construct them by multiplication at compile-time.
5233
5234         * utils.c, elsewhere: Don't append "L" to 32-bit integer
5235         constants; we aren't really compilable on 16-bit systems anyway.
5236
5237         * hash.c (prime_size): Remove primes larger than 2^31, but include
5238         2^31-1, which is prime.
5239
5240 2005-03-30  Hrvoje Niksic  <hniksic@xemacs.org>
5241
5242         * utils.c (string_set_to_array): New function.
5243
5244         * convert.c: Replace the use of "slists" with sets/hash-tables,
5245         which in fact suit the intended purpose much better.
5246         downloaded_html_list is removed altogether.
5247
5248 2005-03-29  Hrvoje Niksic  <hniksic@xemacs.org>
5249
5250         * ftp.h (enum): Rename GLOBALL, GETALL, and GETONE to
5251         GLOB_GLOBALL, GLOB_GETALL, and GLOB_GETONE to avoid conflict with
5252         Linux headers.
5253
5254 2005-03-29  Hrvoje Niksic  <hniksic@xemacs.org>
5255
5256         * utils.c (numdigit): More correct handling of negative numbers.
5257
5258 2005-03-21  Hrvoje Niksic  <hniksic@xemacs.org>
5259
5260         * http.c (gethttp): Print the human-readable size.
5261
5262         * ftp.c (getftp): Print the human-readable size of the file to be
5263         downloaded.
5264
5265         * utils.c (human_readable): New function.
5266
5267         * utils.c: Renamed "legible" to "with_thousand_seps",
5268         "legible_large_int" to "with_thousand_seps_large", and "legible_1"
5269         to "add_thousand_seps".
5270
5271 2005-03-21  Hrvoje Niksic  <hniksic@xemacs.org>
5272
5273         * http.c (gethttp): Inhibit persistent connections when talking to
5274         proxies, as mandated by RFC 2068.
5275
5276 2005-03-20  Hrvoje Niksic  <hniksic@xemacs.org>
5277
5278         * url.c (unescape_single_char): New function.
5279         (url_escape_dir): Use it to unescape slashes in directory
5280         components.
5281         (url_string): Escape unsafe chars in host name, except for the ':'
5282         charaters, which can appear in IPv6 addresses.
5283
5284         * main.c (main): Don't access the cookie jar directly.
5285
5286         * log.c (escnonprint_internal): Correctly calculate the needed
5287         string size.  Don't forget the buffer's new size after having
5288         reallocated it.
5289         (log_cleanup): New function.  Free the escnonprint ring data.
5290
5291         * init.c (cleanup): Don't free the cookie jar explicitly, it is
5292         now done by http_cleanup.
5293         (cleanup): opt.user_headers is now a vector, free it with
5294         free_vec.
5295
5296         * http.c (gethttp): Make sure to free the request data, the status
5297         message, and the response data before returning from the function.
5298         (save_cookies): New function.
5299         (http_cleanup): Free the cookie jar here.
5300
5301         * hash.c: Renamed string_hash to hash_string and ptrhash to
5302         hash_pointer.  Exported hash_pointer.
5303
5304         * xmalloc.c: Organized malloc_table (previously malloc_debug) as a
5305         simple EQ hash table.  register_ptr and unregister_ptr are now of
5306         O(1) complexity.
5307
5308         * xmalloc.c: Renamed "*_debug" to debugging_* and "*_real" to
5309         checking_*.
5310
5311 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
5312
5313         * utils.c (debug_test_md5): Moved to gen-md5.c.
5314
5315         * mswindows.h: Don't declare inet_ntop, since we don't use it.
5316
5317         * mswindows.h: For consistency, also wrap closesocket, it being
5318         a Winsock call.
5319
5320         * mswindows.h: Don't declare sleep and usleep; we're defining
5321         xsleep now.
5322
5323         * mswindows.h (mkdir): Don't special-case Borland C, _mkdir
5324         works there as well.
5325
5326         * host.c: Don't include winsock header files; the correct ones
5327         are already included by mswindows.h.
5328
5329         * mswindows.c (xsleep): Round toward the nearest millisecond
5330         in an attempt to avoid average short sleeps.
5331
5332         * utils.c (wtimer_granularity): Report correct values for
5333         Windows timers and for high-resolution timers.
5334
5335         * utils.c (wtimer_initialize_once): New function, called to
5336         initialize the timer frequency.
5337
5338         * utils.c: Replace the use of GetSystemTime with high-resolution
5339         counters under Windows.  When high-resolution counters are
5340         unavailable, use GetTickCount().
5341
5342 2005-03-15  Hrvoje Niksic  <hniksic@xemacs.org>
5343
5344         * retr.c (fd_read_body): Undo the 2004-11-18 change.  Instead,
5345         always be "exact".
5346
5347 2005-03-17  Hrvoje Niksic  <hniksic@xemacs.org>
5348
5349         * ftp-basic.c (ftp_login): Don't free the string if ftp_response
5350         returned an error status because the line didn't get allocated in
5351         the first place.
5352
5353 2005-03-15  Hrvoje Niksic  <hniksic@xemacs.org>
5354
5355         * http.c (read_http_response_head): Limit the response size to 64k
5356         bytes.
5357
5358         * retr.c (fd_read_hunk): Accept a MAXSIZE argument that limits the
5359         number of bytes the function is allowed to allocate.
5360         (fd_read_line): Limit the line to 4096 bytes.
5361
5362 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
5363
5364         * wget.h: Include options.h after wgint has been defined.
5365
5366         * options.h (struct options): Declare options processed with
5367         cmd_bytes as wgint, not long.
5368
5369 2005-03-18  Hrvoje Niksic  <hniksic@xemacs.org>
5370
5371         * init.c (cmd_file): Use concat_strings.
5372
5373         * http.c (basic_authentication_encode): Use concat_strings.
5374
5375         * ftp-ls.c (ftp_index): Use concat_strings.
5376
5377         * ftp-basic.c (ftp_request): Use concat_strings.
5378
5379         * utils.c (concat_strings): New function.
5380
5381 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
5382
5383         * init.c (simple_atof): Handle negative numbers; skip whitespace
5384         before the number.
5385         (simple_atoi): Ditto.  Also, check for overflow and underflow.
5386         (cmd_number): Bail out on negative numbers.
5387         (parse_bytes_helper): Ditto.
5388
5389 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
5390
5391         * http.c (gethttp): Handle multiple Set-Cookie headers sent by
5392         remote server.
5393
5394 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
5395
5396         * init.c (defaults): Use passive FTP by default.
5397
5398 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
5399
5400         * mswindows.c: Provide wrappers to Winsock functions that set
5401         errno to WSAGetLastError() in case of failure.  Also provide a
5402         Windows-specific version of strerror.
5403
5404         * mswindows.h: Wrap calls to socket, bind, connect, recv, send,
5405         select, getsockname, getpeername, and setsockopt.
5406
5407 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
5408
5409         * url.c (url_parse): Reject port numbers larger than 65535.  We
5410         also check for overflow while parsing port numbers.
5411
5412 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
5413
5414         * utils.c (read_file): Don't use wgint for file size; LFS won't
5415         work since the file is mmap'ed as a whole.
5416
5417         * options.h: Don't include stdio.h.
5418
5419         * log.c: Ditto.
5420
5421         * init.c: Disambiguate assignment from non-zero test to avoid
5422         Borland C warning.
5423
5424         * http.c (response_new): Don't needlessly post-increment count.
5425
5426         * hash.c: Include stdio.h.
5427
5428         * gnu-md5.h: Don't include stdio.h.
5429
5430         * getopt.h (struct option): Always use const.
5431
5432         * ftp.c (getftp): Avoid unnecessary assignment to RES to avoid
5433         Borland C warning.
5434
5435         * ftp-ls.c: Disambiguate assignment from non-zero test to avoid
5436         Borland C warning.
5437
5438         * cmpt.c (strptime_internal): Don't initialize rp_backup when
5439         !_NL_CURRENT to avoid Borland C warning.
5440
5441 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
5442
5443         * utils.c (fopen_excl): Fix parse error when O_BINARY is
5444         available.
5445
5446 2005-03-05  Hrvoje Niksic  <hniksic@xemacs.org>
5447
5448         * url.c (url_file_name): Don't allow hosts named ".." to be
5449         appended as path elements.
5450
5451 2005-03-03  Hrvoje Niksic  <hniksic@xemacs.org>
5452
5453         * retr.c (retrieve_url): Escape location header.
5454
5455         * http.c (print_server_response_1): Escape server response when
5456         printing it.
5457         (gethttp): Escape host name, status message, location header, and
5458         content type.
5459         (http_loop): Escape error message from server.
5460
5461         * host.c (lookup_host): Escape host name when printing it.
5462
5463         * ftp.c (getftp): Escape user name when printing it.
5464         (getftp): Escape remote file and directory for printing.
5465         (getftp): Escape server listing when printing it.
5466         (ftp_retrieve_list): Escape link name and file name.
5467         (ftp_retrieve_glob): Escape file name.
5468
5469         * ftp-basic.c (ftp_response): Escape server response when printing
5470         it.
5471
5472         * cookies.c (parse_set_cookies): Escape the cookie field when
5473         printing it.
5474         (parse_set_cookies): Escape contents of remote header.
5475         (cookie_handle_set_cookie): Escape host name and cookie domain.
5476
5477         * connect.c (connect_to_ip): Escape the host name.
5478
5479         * log.c (escnonprint): New function, used for printing strings
5480         coming from the server that possibly contain non-ASCII characters.
5481         (escnonprint_uri): Ditto.
5482
5483 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
5484
5485         * ftp.c (getftp): Ditto.
5486
5487         * http.c (gethttp): When we're not supposed to overwrite files,
5488         use fopen_excl to open the file and recompute the file name.
5489
5490         * log.c (redirect_output): Use unique_create to avoid a race
5491         condition.
5492
5493         * mswindows.c (fake_fork_child): Use unique_create.
5494
5495         * utils.c (fopen_excl): New function that opens a stdio stream
5496         with the O_EXCL flag (where available).
5497         (unique_create): New function, like unique_name, but also creating
5498         the file and returning a file pointer.
5499         (fork_to_background): Use unique_create to create the file
5500         immediately to avoid race condition with multiple instances of
5501         wget -b.
5502
5503 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
5504
5505         * host.c (lookup_host): Test for AI_ADDRCONFIG directly, instead
5506         of checking for HAVE_GETADDRINFO_AI_ADDRCONFIG.
5507
5508 2005-02-23  Hrvoje Niksic  <hniksic@xemacs.org>
5509
5510         * host.c (is_valid_ipv6_address): Move here from url.c.
5511         (lookup_host): If the address is numeric, don't print the
5512         "resolving..." line, don't set up DNS timeouts, and set the
5513         AI_NUMERICHOST hint, where available.
5514
5515 2005-02-26  Gisle Vanem  <giva@bgnett.no>
5516
5517         * utils.c: Use the nnnLL syntax under GCC.  Define struct_stat to
5518         struct _stati64 under __MINGW32__ as well as under MS VC.
5519
5520 2005-02-26  Hrvoje Niksic  <hniksic@xemacs.org>
5521
5522         * utils.c: Use the nnnI64 syntax for __int64 constants under all
5523         Windows compilers.
5524         (SPRINTF_WGINT): Use "%I64" under all Windows compilers.
5525
5526         * mswindows.h (WGINT_MAX): Use the nnnI64 syntax for
5527         __int64 constants under all Windows compilers.
5528         (struct_stat): Use `struct stati64' under Borland C.
5529         (fstat): Don't redefine to _fstati64 under Borland.
5530
5531         * mswindows.c: Define str_to_int64 under Borland C as well as
5532         under (older) Visual C.
5533
5534 2005-02-25  Hrvoje Niksic  <hniksic@xemacs.org>
5535
5536         * ftp.c (getftp): Initialize err to suppress compiler warning.
5537
5538 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
5539
5540         * ftp.c (ftp_expected_bytes): Fix bug that caused infloop because
5541         of not correctly skipping the '(' character.
5542
5543 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
5544
5545         * mswindows.c (wget_ftello): Removed.
5546
5547         * mswindows.h: Remove bogus definition of stat.
5548         (wget_ftello): Remove the leftover ftello replacement.
5549
5550 2005-02-20  Hrvoje Niksic  <hniksic@xemacs.org>
5551
5552         * mswindows.c (wget_ftello): Wget's replacement for ftello.
5553
5554         * utils.c (file_size): Use ftello where available.
5555
5556         * ftp-ls.c (ftp_parse_unix_ls): Use str_to_wgint to parse the file
5557         size.
5558         (ftp_parse_winnt_ls): Ditto.
5559
5560         * ftp-basic.c (ftp_size): Use str_to_wgint to convert number to
5561         wgint; pass 10 instead of 0 as the BASE argument.
5562
5563         * ftp.c (ftp_expected_bytes): Use str_to_wgint to parse the file
5564         size.
5565
5566         * sysdep.h (LARGE_INT_FMT): Use __int64 as LARGE_INT on
5567         MSVC/Windows; print it with "%I64".
5568
5569         * wget.h: Define a `wgint' type, normally aliased to (the possibly
5570         64-bit variant of) off_t.
5571
5572         * all: Use `wgint' instead of `long' for numeric variables that
5573         can hold file sizes.
5574
5575         * utils.c (number_to_string): Support printing of `wgint'
5576         argument.
5577         (number_to_static_string): New function.
5578
5579         * all: Replace printf("%ld", long_value) with printf("%s",
5580         number_to_static_string(wgint_value)).
5581
5582 2005-02-18  Mauro Tortonesi <mauro@ferrara.linux.it>
5583
5584         * main.c: Added the --ftp-passwd command line option.
5585
5586         * init.c: Renamed command passwd to ftppasswd.
5587
5588 2005-02-11  Mauro Tortonesi <mauro@ferrara.linux.it>
5589
5590         * string_t.c: Fixed a bug in do_escape and triggered escape of
5591         backslashes in string_escape to avoid ambiguities in the result
5592         string.
5593
5594 2005-02-10  Mauro Tortonesi <mauro@ferrara.linux.it>
5595
5596         * string.h: Renamed to string_t.h to fix a compilation conflict
5597         with the string.h header in the standard C library.
5598
5599         * string.c: Renamed to string_t.c for consistency with string.h.
5600
5601         * string_t.c: Ditto.
5602
5603         * string_t.h: Ditto.
5604
5605 2004-12-31  Mauro Tortonesi <mauro@ferrara.linux.it>
5606
5607         * string.c: New file.
5608
5609         * string.h: New file.
5610
5611         * Makefile.in: Added string.c to the list of modules to compile.
5612
5613         * main.c: Updated copyright.
5614
5615 2004-11-18  Ulf Harnhammar <ulf.harnhammar.9485@student.uu.se>
5616
5617         * ftp-ls.c: Fixed a problem in ftp_parse_winnt_ls that could allow a
5618         malicious remote FTP server to crash wget.
5619
5620 2004-11-18  Hans-Andreas Engel <engel@node.ch>
5621
5622         * http.c: Enable --convert-links (-k) when a single page is downloaded
5623         via --output-document (-O).
5624
5625 2004-11-18  Mauro Tortonesi <mauro@deepspace6.net>
5626
5627         * connect.c: Minor correction to the comment in front of fd_peek.
5628
5629 2004-11-18  Leonid Petrov <nouser@lpetrov.net>
5630
5631         * retr.c: Fix a timeout problem in fd_read_body when using http_proxy.
5632
5633 2004-11-15  YAMAZAKI Makoto <Yamazaki.Makoto@fujixerox.co.jp>
5634
5635         * netrc.c: Fix termination by assertion bug in netrc parsing.
5636
5637 2004-05-09  David Fritz  <zeroxdf@att.net>
5638
5639         * mswindows.c (fake_fork): Pass entire command line to the child
5640         process.
5641
5642 2004-03-31  Hrvoje Niksic  <hniksic@xemacs.org>
5643
5644         * http.c (gethttp): Fix typo: SCHEME_SSL -> SCHEME_HTTPS.
5645
5646 2004-03-30  Hrvoje Niksic  <hniksic@xemacs.org>
5647
5648         * http.c (gethttp): Send the Proxy-Authorization header over
5649         non-SSL connections too.
5650
5651 2004-03-25  David Fritz  <zeroxdf@att.net>
5652
5653         * mswindows.c (fake_fork_child): Ignore error code when
5654         OpenFileMapping() fails; assume it failed because the object does
5655         not exist.
5656
5657 2004-03-24  David Fritz  <zeroxdf@att.net>
5658
5659         * mswindows.c (fake_fork): New function.
5660
5661         * mswindows.c (fork_to_background): Use it.
5662
5663 2004-03-19  David Fritz  <zeroxdf@att.net>
5664
5665         * mswindows.c (ws_hangup): Incorporate old fork_to_background()
5666         code.  Add event name argument.
5667         (fork_to_backgorund): Now a simple wrapper around ws_hangup().
5668         (ws_handler): Correctly handle the case when neither CTRLC_BACKGND
5669         nor CTRLBREAK_BACKGND are defined.  Don't bother handling close,
5670         logoff, or shutdown events.  Call ws_hangup() with the correct
5671         event name; don't assume it was CTRL+Break.
5672
5673 2004-03-19  Hrvoje Niksic  <hniksic@xemacs.org>
5674
5675         * url.c (url_parse): Decode %HH sequences in host name.
5676
5677 2004-03-04  Hrvoje Niksic  <hniksic@xemacs.org>
5678
5679         * convert.c (local_quote_string): Quote "#" as "%23" and "%" as
5680         "%25" when creating links to local files.
5681
5682 2004-03-02  David Fritz  <zeroxdf@att.net>
5683
5684         * mswindows.c (ws_percenttitle): Guard against future changes by
5685         doing nothing if the proper variables have not been initialized.
5686         Clamp percentage value.
5687
5688 2004-03-04  Gisle Vanem  <giva@bgnett.no>
5689
5690         * retr.c (fd_read_body): Don't change console title if quiet.
5691
5692 2004-02-25  David Fritz  <zeroxdf@att.net>
5693
5694         * mswindows.c (set_sleep_mode): Remove argument and return value.
5695         Call GetModuleHandle() instead of LoadLibrary()/FreeLibrary() for
5696         kernel32.dll.  Use typedef for function-pointer.  Don't cast
5697         l-value.  Don't use dereference operator when calling through
5698         function-pointer.
5699         (ws_startup): Update call to set_sleep_mode().
5700         (ws_cleanup): Remove call to set_sleep_mode().
5701
5702 2004-02-23  David Fritz  <zeroxdf@att.net>
5703
5704         * http.c (http_loop): Ditto.
5705
5706         * ftp.c (ftp_loop_internal): Update call to ws_changetitle().
5707
5708         * main.c (main): Don't bother calling ws_changetitle().
5709
5710         * mswindows.h (ws_changetitle): Update prototype.
5711
5712         * mswindows.c (ws_changetitle): Remove second argument.  Use
5713         xfree_null().
5714         (ws_percenttitle): Only update title when percentage has changed.
5715
5716 2004-02-23  David Fritz  <zeroxdf@att.net>
5717
5718         * mswindows.h: Ditto.
5719
5720         * mswindows.c: Misc. formatting/comment tweaks throughout.
5721
5722 2004-02-20  David Fritz  <zeroxdf@att.net>
5723
5724         * main.c (print_help): Remove call to ws_help().
5725
5726         * mswindows.c (ws_help): Remove.
5727
5728         * mswindows.h (ws_help): Remove.
5729
5730 2004-02-16  David Fritz  <zeroxdf@att.net>
5731
5732         * init.c (home_dir): Use aprintf() instead of xmalloc()/sprintf().
5733         Under Windows, if $HOME is not defined, use the directory that
5734         contains the Wget binary instead of hard-coded `C:\'.
5735         (wgetrc_file_name): Under Windows, look for $HOME/.wgetrc then, if
5736         not found, look for wget.ini in the directory of the Wget binary.
5737
5738         * mswindows.c (ws_mypath): Employ slightly more robust methodology.
5739         Strip trailing path separator.
5740
5741 2004-02-06  Hrvoje Niksic  <hniksic@xemacs.org>
5742
5743         * http.c (gethttp): Respect --ignore-length.
5744         (gethttp): Inhibit keep-alive if --ignore-length is specified.
5745
5746 2004-02-06  Hrvoje Niksic  <hniksic@xemacs.org>
5747
5748         * connect.c (sockaddr_set_data): Zero out
5749         sockaddr_in/sockaddr_in6.  Apparently BSD-derived stacks need this
5750         when binding a socket to local address.
5751
5752 2004-02-04  Hrvoje Niksic  <hniksic@xemacs.org>
5753
5754         * hash.c: Make the file compilable outside Wget source tree when
5755         -DSTANDALONE is used.
5756
5757 2004-01-29  Hrvoje Niksic  <hniksic@xemacs.org>
5758
5759         * utils.c (determine_screen_width): Return 0 if not running on
5760         Windows or on a TIOCGWINSZ-capable system.
5761
5762 2004-01-28  David Fritz  <zeroxdf@att.net>
5763
5764         * utils.c (determine_screen_width): Correctly determine console
5765         width under Windows.
5766
5767 2004-01-28  Christian Biere  <christianbiere@gmx.de>
5768
5769         * progress.c (bar_set_params): Fixed syntax error when HAVE_ISATTY
5770         was undefined.
5771
5772         * ftp.c (ftp_loop_internal): Allocate a larger buffer in case
5773         "try" gets translated to something large.  Ditto in http_loop in
5774         http.c.
5775
5776         * http.c (response_header_copy): Don't write to buf[BUFSIZE].
5777
5778         * ftp-opie.c (skey_response): Eliminate unnecessary string
5779         concatenation; just call gen_md5_update twice.
5780
5781 2004-01-25  Hrvoje Niksic  <hniksic@xemacs.org>
5782
5783         * utils.c (xsleep): Don't call usleep with values larger than
5784         1,000,000.
5785
5786 2003-12-16  Hrvoje Niksic  <hniksic@xemacs.org>
5787
5788         * http.c (gethttp): Fix generation of `Content-Length'.
5789
5790 2003-12-15  Gisle Vanem  <giva@bgnett.no>
5791
5792         * url.c (url_skip_credentials): Fixed return value; 'url' if no
5793         credentials.
5794
5795 2003-12-14  Hrvoje Niksic  <hniksic@xemacs.org>
5796
5797         * url.c (url_skip_credentials): Return a pointer directly.
5798
5799 2003-12-14  Hrvoje Niksic  <hniksic@xemacs.org>
5800
5801         * url.c (url_file_name): Ditto.
5802         (parse_errors): Ditto.
5803
5804         * retr.c (retr_rate): Ditto.
5805
5806         * progress.c (create_image): Ditto.
5807
5808         * netrc.c (parse_netrc): Ditto.
5809
5810         * main.c (struct cmdline_option): Ditto.
5811         (redirect_output_signal): Ditto.
5812
5813         * init.c (commands): Ditto.
5814
5815         * ftp-ls.c (ftp_index): Ditto.
5816
5817         * cookies.c (check_domain_match): Declare the pointer to a literal
5818         string as `const'.
5819
5820 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
5821
5822         * retr.c (fd_read_body): Pass total size to progress_create, not
5823         the remaining amount.
5824
5825 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
5826
5827         * retr.c (fd_read_body): Don't fiddle with "interactive timeout"
5828         if read timeout is unset.
5829
5830 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
5831
5832         * connect.c (bind_local): Don't set the IPV6_V6ONLY option on the
5833         socket.
5834
5835 2003-12-06  Hrvoje Niksic  <hniksic@xemacs.org>
5836
5837         * url.c (url_file_name): Respect the setting of
5838         opt.protocol_directories.
5839
5840         * main.c (main): Only check for ret=='?' when longindex is unset.
5841         (option_data): New option --protocol-directories.
5842
5843 2003-12-06  Hrvoje Niksic  <hniksic@xemacs.org>
5844
5845         * ftp.c (getftp): Ditto.
5846
5847         * http.c (gethttp): Correctly calculate bandwidth as total data
5848         read divided with download time.
5849
5850         * retr.c (fd_read_body): Separate the return values for data
5851         written and read.
5852
5853 2003-12-05  Hrvoje Niksic  <hniksic@xemacs.org>
5854
5855         * http.c (H_REDIRECTED): Respect the HTTP/1.1 "303 See Other"
5856         response code.
5857         Suggested by Dan Razzell.
5858
5859 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
5860
5861         * retr.c (fd_read_body): Report the amount of data *written* as
5862         amount_read.  This is not entirely logical, but that's what the
5863         callers expect, and it's not easy to change.
5864
5865         * ftp.c (ftp_loop_internal): Ditto.
5866
5867         * http.c (http_loop): Be smarter about assigning restval; if we're
5868         in the nth pass of a download, simply use the information we have
5869         about how much data has been retrieved as restval.
5870
5871         * ftp.c (getftp): Ditto for FTP "REST" command.
5872
5873         * http.c (gethttp): When the server doesn't respect range, skip
5874         the first RESTVAL bytes of the read body.  Never truncate the
5875         output file.
5876
5877         * retr.c (fd_read_body): Support skipping initial STARTPOS octets.
5878
5879 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
5880
5881         * http.c (skip_short_body): Renamed skip_body to skip_short_body;
5882         don't bother calling fd_read_body.
5883
5884 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
5885
5886         * retr.c (fd_read_body): Sanitize arguments and document them
5887         better.  Make sure the timer is created and updated only if
5888         necessary.  Updated callers.
5889
5890 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
5891
5892         * http.c (skip_body): New function.
5893         (gethttp): Use it to skip the body of the responses we don't care
5894         to download.  That allows us to reuse the connection.
5895         (gethttp): Trust that the HEAD requests will not generate body
5896         data.
5897
5898         * retr.c (fd_read_body): Don't write to OUT if it's NULL.
5899
5900 2003-11-29  Hrvoje Niksic  <hniksic@xemacs.org>
5901
5902         * http.c (gethttp): Initialize SSL only the first time when SSL
5903         URL is downloaded.
5904
5905 2003-11-29  Hrvoje Niksic  <hniksic@xemacs.org>
5906
5907         * cookies.c (cookie_header): Only generate the contents of the
5908         header, not the leading "Cookie: " or the trailing "\r\n".
5909
5910         * http.c (gethttp): When adding headers specified with `--header',
5911         allow them to override the headers generated by Wget.
5912
5913         * init.c (cmd_spec_header): Made opt.user_headers a vector.
5914
5915         * http.c (request_new): New function.  Returns a request structure
5916         which can be modified in various ways, most notably by adding HTTP
5917         headers to the request.
5918         (request_set_header): New function for adding the header to the
5919         request.  If the header is already available, it gets replaced.
5920         (request_send): Construct and send the request.
5921         (gethttp): Use the request_* functions to generate the request.
5922
5923 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
5924
5925         * http.c (gethttp): Don't include the Proxy-Authorization header
5926         in the request tunneled through proxy.
5927
5928 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
5929
5930         * http.c (gethttp): Use the CONNECT handle to establish SSL
5931         passthrough through non-SSL proxies.
5932
5933 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
5934
5935         * init.c: Don't #include netinet/Winsock stuff.
5936
5937 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
5938
5939         * http.c: Deleted the old functions header_process,
5940         header_extract_number, header_exists, header_strdup,
5941         http_process_range, http_process_none, http_process_type, and
5942         http_process_connection.
5943
5944         * http.c (response_new): New function.
5945         (response_header_bounds): Ditto.
5946         (response_header_copy): Ditto.
5947         (response_header_strdup): Ditto.
5948         (response_status): Ditto.
5949         (gethttp): Use the new response_* functions to parse the response.
5950         Support HTTP/0.9 responses.
5951
5952 2003-11-27  Hrvoje Niksic  <hniksic@xemacs.org>
5953
5954         * progress.c (create_image): Don't calculate ETA if nothing has
5955         been downloaded yet, because it causes division by zero.
5956
5957 2003-11-27  Hrvoje Niksic  <hniksic@xemacs.org>
5958
5959         * connect.c (bind_local): Rename sa_len to addrlen because IRIX
5960         headers define sa_len as a macro.
5961
5962 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
5963
5964         * html-parse.c (convert_and_copy): Remove embedded newlines when
5965         AP_TRIM_BLANKS is specified.
5966
5967 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
5968
5969         * ftp.c: Set con->csock to -1 where rbuf_uninitialize was
5970         previously used.
5971
5972 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
5973
5974         * Makefile.in (http$o): Added the trailing backslash that was
5975         missing.
5976
5977 2003-11-21  Hrvoje Niksic  <hniksic@xemacs.org>
5978
5979         * headers.c: Removed.  The file is no longer relevant, now that no
5980         special handling of headers is done by the rbuf code.  Moved
5981         portions to http.c.
5982
5983 2003-11-21  Hrvoje Niksic  <hniksic@xemacs.org>
5984
5985         * rbuf.c: Removed.
5986
5987         * ftp-basic.c (ftp_response): Use fd_read_line.  No longer use
5988         struct rbuf.  Updated all callers.
5989
5990         * http.c (gethttp): Use fd_read_head to read all the headers in
5991         one go.
5992         (next_header): New function.
5993
5994         * retr.c (fd_read_line): New function: reads a line from FD,
5995         leaving the rest of the data unread.
5996         (fd_read_head): New function.
5997
5998         * connect.c (fd_peek): New function, implements peeking.
5999         (poll_internal): New function.
6000         (fd_read): Use it.
6001         (fd_write): Ditto.
6002         (fd_peek): Ditto.
6003         (fd_register_transport): Allow registering a "peeker" callback.
6004
6005 2003-11-20  Hrvoje Niksic  <hniksic@xemacs.org>
6006
6007         * connect.c: Renamed xread/xwrite/xclose to
6008         fd_read/fd_write/fd_close.  The "x" prefix is not appropriate
6009         because the semantics have diverged from read/write/close too
6010         significantly.  Updated all callers.
6011
6012 2003-11-20  Hrvoje Niksic  <hniksic@xemacs.org>
6013
6014         * connect.c (sock_write): It's not necessary to initialize RES.
6015
6016 2003-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
6017
6018         * main.c (main): Don't reference opt.ipv4_only and opt.ipv6_only
6019         if IPv6 is disabled.
6020
6021 2003-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
6022
6023         * connect.c (socket_has_inet6): Only compile it if IPv6 is enabled
6024         and AI_ADDRCONFIG is missing.
6025
6026 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
6027
6028         * gen_sslfunc.c (ssl_init_prng): Warn the user when using a weak
6029         random seed.
6030
6031 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
6032
6033         * host.c (address_list_contains): Renamed address_list_find to
6034         address_list_contains because its result is boolean.
6035
6036 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
6037
6038         * connect.c (select_fd): Return 1 if select is not available.
6039
6040 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
6041
6042         * connect.c (connect_to_host): Don't reference address list after
6043         releasing it.
6044
6045 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
6046
6047         * main.c (print_help): Fix alignment of FTP options output.
6048
6049 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
6050
6051         * host.c (lookup_host): Check for the ability to create IPv6
6052         sockets here.
6053
6054         * init.c (defaults): Don't auto-set --inet4-only on IPv6-less
6055         systems.
6056
6057 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
6058
6059         * main.c (print_help): Fix typo in `-O' help message.  Fix docs of
6060         -Y/--proxy.  Fix docs of `--cookies' and `--glob'.  Improve docs
6061         of --convert-links.  Fix docs of SSL options.
6062
6063 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
6064
6065         * ftp-basic.c: Don't include <arpa/inet.h> and others because
6066         they're no longer needed.
6067
6068 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
6069
6070         * main.c (main): Don't allow setting of both opt.ipv4_only and
6071         opt.ipv6_only.
6072
6073         * init.c (defaults): Mark opt.ipv4_only specially when set
6074         automatically.
6075
6076 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
6077
6078         * host.c (lookup_host): Use AI_ADDRCONFIG only if the family is
6079         unspecified.  This ensures that specifying `--no-inet4' on systems
6080         where IPv6 resolves, but doesn't work behaves the same regardless
6081         of the availability of AI_ADDRCONFIG.
6082
6083 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
6084
6085         * host.c: Don't refer to the now-removed function
6086         forget_host_lookup in the documentation of lookup_host.
6087
6088 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
6089
6090         * http.c (persistent_available_p): Correctly specify the endpoint
6091         argument to socket_ip_address.
6092         (gethttp): When printing the "reusing connection to..." message,
6093         specify the host name of the reused connection, not the current
6094         host name.  That makes more sense because it provides a useful
6095         piece of information -- we know to which host we're supposed to
6096         connect anyway!
6097
6098 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
6099
6100         * init.c: Make sure the options are in alphabetic order!
6101
6102         * host.c (lookup_host): Merge lookup_host_passive and lookup_host
6103         after all -- having both would result in some code duplication.
6104         (lookup_host): Set hints.ai_family to AF_INET if ipv4_only is
6105         requested.  Likewise, set it to AF_INET6 for ipv6_only.  Specify
6106         AI_ADDRCONFIG where available.
6107         (lookup_host): New flag LH_REFRESH that specifies that a cached
6108         entry for HOST should be refreshed.
6109         (cache_query): New function.
6110         (cache_store): Ditto.
6111         (cache_remove): Ditto.
6112         (forget_host_lookup): No longer necessary, replaced with static
6113         function cache_remove.
6114
6115 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
6116
6117         * main.c: Enable -4 and -6 only if IPv6 is enabled.
6118
6119 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
6120
6121         * connect.c (register_transport): Renamed from register_extended.
6122         Explain the intended usage.
6123
6124 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
6125
6126         * url.c (uri_merge): Merging "foo" and "bar" should result in
6127         "bar", not in "foo/bar".
6128         (path_simplify): Don't remove empty path elements; don't
6129         special-case leading slash.
6130         (path_simplify): Don't swallow ".."'s at the beginning of string.
6131         E.g. simplify "foo/../../bar" as "../bar", not as "bar".
6132         (append_uri_pathel): Defang ".." path element upon encountering
6133         it.
6134
6135 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
6136
6137         * http.c (persistent_available_p): Don't attempt to talk to two
6138         different SSL sites over the same secure connection.
6139
6140 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
6141
6142         * http.c (gethttp): Ditto.
6143
6144         * ftp.c (getftp): Use retryable_socket_connect_error instead of
6145         CONNECT_ERROR.
6146
6147         * wget.h (CONNECT_ERROR): Removed.
6148
6149         * connect.c (retryable_socket_connect_error): New function instead
6150         of unsupported_socket_family_error.
6151
6152 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
6153
6154         * wget.h (CONNECT_ERROR): Use it.
6155
6156         * connect.c (unsupported_socket_family_error): New function.
6157
6158 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
6159
6160         * connect.c (bind_local): Renamed bindport to bind_local; return
6161         the socket directly.  Updated callers.
6162         (accept_connection): Renamed acceptport to accept_connection;
6163         return the created socket directly.  Updated callers.
6164
6165 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
6166
6167         * init.c (defaults): Turn on opt.ipv4_only if we're compiling with
6168         IPv6, and AI_ADDRINFO is not available, and AF_INET6 sockets can't
6169         be created.
6170
6171 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
6172
6173         * host.c (lookup_host): Document the fact that the addresses are
6174         returned in order.
6175
6176 2003-11-12  Hrvoje Niksic  <hniksic@xemacs.org>
6177
6178         * utils.c: Use limits.h only where available.
6179
6180         * hash.c: Use INVALID_PTR and INVALID_PTR_BYTE.  Include limits.h.
6181
6182 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
6183
6184         * main.c: Added options --inet4-only and --inet6-only.
6185
6186 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
6187
6188         * host.c (host_errstr): Use the more standard message "Unknown
6189         host".
6190
6191 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
6192
6193         * connect.c (connect_to_host): Use that flag to decide whether to
6194         re-resolve the host name.
6195
6196         * host.c (struct address_list): Added a flag that maintains
6197         whether the connection worked at some point.
6198
6199 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
6200
6201         * host.c (lookup_host): Special-case the numeric addresses only in
6202         the non-IPv6 case.
6203
6204 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
6205
6206         * connect.c (resolve_bind_address): Call lookup_host_passive.
6207         Make sure that opt.bind_address is resolved only once.
6208
6209         * host.c (lookup_host_passive): New function, handles "passive"
6210         lookups.
6211         (lookup_host): Remove the passive flags.  Remove the
6212         family-related flags -- use ip_default_family instead.
6213
6214 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
6215
6216         * html-url.c: Get URLs from <object data="...">.
6217
6218 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
6219
6220         * main.c (option_data): Specify the command to use for --mirror.
6221
6222 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
6223
6224         * cookies.c (cookie_handle_set_cookie): Specify exact match for
6225         unspecified domains.
6226
6227 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
6228
6229         * main.c (main): Removed one-letter options `-C', `-g', `-G', and
6230         `-s'.
6231
6232 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
6233
6234         * main.c (main): Add --dont-remove-listing for backward
6235         compatibility with previous versions.
6236         (print_help): Fix typo, spotted by Dennis Smit.
6237
6238 2003-11-08  Gisle Vanem  <giva@bgnett.no>
6239
6240         * ftp-basic.c: Support Windows-2000 ftp servers. Win-2000 *is*
6241         Win-NT 5.0 so calling it ST_WINNT is okay I guess.
6242
6243 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
6244
6245         * progress.c (update_speed_ring): Clear the speed ring when the
6246         download stalls.
6247
6248         * retr.c (get_contents): Specify 0.95s read timeout, so that the
6249         progress gauge can be updated even when data arrives very slowly
6250         or stalls.
6251
6252 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
6253
6254         * utils.c (wtimer_allocate): Bless the use of wtimer_read on a
6255         timer that has merely been allocated because get_contents() does
6256         that.
6257         (wtimer_update): Abort if the timer is not initialized.
6258
6259 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
6260
6261         * retr.c (get_contents): Pass the timer to limit_bandwidth().
6262
6263         * utils.c (wtimer_update): New function instead of wget_elapsed;
6264         just update the timer, but don't return anything.
6265         (wtimer_read): Read and return the last known value of the timer.
6266
6267 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
6268
6269         * http.c (persistent_available_p): Instead of matching all the
6270         addresses of HOST and last host, determine the peer's IP address
6271         with socket_ip_address and see if that address is one of those
6272         HOST resolves to.
6273
6274         * host.c (address_list_match_all): Removed.
6275         (address_list_find): New function, finds an IP address in the
6276         address list.
6277
6278         * ftp.c (ftp_do_pasv): Get the peer's address here, and pass it to
6279         ftp_epsv so it doesn't need to call getpeername.
6280
6281         * ftp-basic.c (ftp_port): Use socket_ip_address instead of
6282         getpeername.
6283         (ftp_lprt): Ditto.
6284
6285         * connect.c (socket_ip_address): Replaces conaddr, generalized to
6286         either get peer's or local address.
6287         (sockaddr_get_data): Made local to this file.
6288
6289 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
6290
6291         * hash.c (HASH_POSITION): Explicitly accept the hash function.
6292         (grow_hash_table): Extract ht->hash_function outside the loop.
6293         (hash_table_remove): Ditto.
6294         (hash_table_clear): Fill entries with 0xff to clear them.
6295         (hash_table_remove): Mark entries as deleted with the correct
6296         marker.
6297
6298 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
6299
6300         * http.c (persistent_available_p): No reason for the host lookup
6301         to be silent -- it's a lookup like any other.
6302
6303 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
6304
6305         * connect.c (register_extended): Check that fd >= 0.
6306
6307 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
6308
6309         * connect.c (LAZY_RETRIEVE_INFO): Set LAST_INFO.
6310
6311 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
6312
6313         * hash.c (NON_EMPTY): Use the all-bit-set value as the marker that
6314         the field is empty.  This allows NULL pointer and 0 value to be
6315         used as keys, which is necessary for the connect.c code to work
6316         when fd==0.
6317         (hash_table_new): Fill mappings with 0xff.
6318         (grow_hash_table): Ditto.
6319
6320 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
6321
6322         * url.c (url_parse): Allow empty ports.
6323
6324 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
6325
6326         * main.c (print_help): Break the help string into multiple chunks.
6327         (cmdline_option): New option handler OPT_FUNCALL.  Generalized
6328         HANDLE_CMD to generic DATA.
6329         (option_data): Use the new OPT_FUNCALL feature.
6330
6331 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
6332
6333         * log.h: Declare log_init, log_close, and
6334         log_request_redirect_output here.
6335
6336 2003-11-05  Dennis Smit  <ds@nerds-incorporated.org>
6337
6338         * main.c: (main): added --preserve-permissions option.
6339
6340         * ftp.c (ftp_retrieve_list): added support for
6341         --preserve-permissions option.
6342
6343         * init.c: added support for --preserve-permission option.
6344
6345         * option.h: added support for --preserve-permission option.
6346
6347 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
6348
6349         * main.c (init_switches): New function.  Convert option_data to
6350         long_options and short_options, which can be fed to getopt_long.
6351         (main): Execute command-line options by consulting option_data.
6352
6353 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
6354
6355         * gen_sslfunc.c (ssl_read): Implement a more correct check for
6356         EINTR.
6357         (ssl_write): Ditto.
6358         (init_ssl): Use a global SSL context.
6359
6360 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
6361
6362         * connect.c (xclose): Free INFO even if it doesn't provide a
6363         closer.
6364
6365 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
6366
6367         * connect.c: Updated all callers of
6368         iread/ssl_iread/iwrite/ssl_iwrite to use xread and xwrite instead.
6369
6370         * rbuf.h (struct rbuf): Removed the SSL member because SSL is
6371         handled automatically by xread.
6372
6373         * hash.c (ptrhash): Made private.
6374         (ptrcmp): Ditto.
6375         (inthash): Removed.
6376
6377         * connect.c (select_fd): Don't set errno, leave it to the caller.
6378
6379         * gen_sslfunc.c (connect_ssl): Use register_extended to register
6380         SSL callbacks for communication with SSL-enabled endpoints.
6381         (ssl_read): New function.
6382         (ssl_write): Ditto.
6383         (ssl_poll): Ditto.
6384         (ssl_close): Ditto.
6385
6386         * connect.c (register_extended): New function -- register
6387         callbacks for basic socket operations.
6388         (xread): Ditto.
6389         (xwrite): Ditto.
6390         (xclose): Ditto.
6391         (sock_read): New function, default implementation for reading.
6392         (sock_write): Ditto for writing.
6393         (sock_poll): Ditto for polling.
6394         (sock_close): Ditto for closing.
6395
6396 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
6397
6398         * connect.c (bindport): Fix compilation under pre-C99 compilers.
6399
6400 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
6401
6402         * connect.c (connect_to_ip): More compact error checking.
6403         (bindport): Don't treat failed setsockopt as a fatal error.
6404
6405 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
6406
6407         * connect.c (resolve_bind_address): Use a more accurate error
6408         message -- we're not binding to ANY, we're disabling bind
6409         altogether.
6410
6411 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
6412
6413         * cookies.c (save_cookies_mapper): Respect the setting of
6414         keep-session-cookies.
6415         (cookie_jar_load): Import session cookies.
6416         Based on code submitted by Nicolas Schodet.
6417
6418         * utils.c (datetime_str): Use information in TM when it's
6419         non-NULL.
6420
6421         * main.c (main): New option `--keep-session-cookies'.
6422
6423 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
6424
6425         * Makefile.in (realclean): Delete config.h.in.
6426
6427 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
6428
6429         * config-post.h: New file, included from now autogenerated
6430         config.h.in.
6431
6432 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
6433
6434         * progress.c (progress_handle_sigwinch): Don't call
6435         determine_screen_width() from the signal handler.  Instead, just
6436         set a volatile variable.
6437         (bar_create): Check whether SIGWINCH was received.
6438         (bar_update): Ditto.
6439
6440         * sysdep.h: Define SYSTEM_FNMATCH only if HAVE_FNMATCH_H is true.
6441
6442 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
6443
6444         * utils.c (xsleep): New function.  Uses nanosleep where available,
6445         resuming sleeps interrupted by signals.  Updated callers of sleep
6446         and usleep to use xsleep.
6447
6448 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
6449
6450         * ftp-basic.c (ftp_login): Remove shadowing (and bogus)
6451         declaration of SEED.
6452
6453 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
6454
6455         * log.c (logvprintf): Documented better.  Renamed to
6456         log_vprintf_internal to avoid confusion with the public API
6457         functions logprintf and logputs.
6458
6459 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
6460
6461         * wget.h (N_): Don't parenthesize argument.
6462
6463 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
6464
6465         * host.h (ADDRESS_IPV4_DATA): Don't take the address of in.s_addr
6466         because that doesn't work on machines that define it as bitfield.
6467
6468 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
6469
6470         * connect.c (select_fd): Generalize the third argument into WAIT,
6471         so that the caller can request waiting for both read and write.
6472         Updated callers.
6473
6474 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
6475
6476         * html-url.c (cleanup_html_url): Destroy the hash tables, don't
6477         just call free on them.
6478         (init_interesting): Use hash_table_put instead of string_set_add
6479         because we don't need the strdup that the latter function
6480         performs.
6481
6482         * init.c (cleanup): Don't pass NULL to cookie_jar_delete.
6483
6484         * xmalloc.c (xfree_real): Abort when passed a NULL pointer.
6485         (xfree_debug): Print at the file and line of the offending call to
6486         free.
6487
6488 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
6489
6490         * wget.h: Retired the `boolean' type.  Moved the DEFAULT_LOGFILE
6491         define to log.h.  Moved the INFINITE_RECURSION define to recur.h.
6492
6493         * xmalloc.h: Renamed FREE_MAYBE to xfree_null and moved the
6494         definition from wget.h to xmalloc.h.
6495
6496 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
6497
6498         * html-parse.c (decode_entity): New function; split the decoding
6499         of entities here.
6500         (convert_and_copy): Use it to decode entities.
6501         (decode_entity): Handle the &apos entity.
6502         (decode_entity): Don't decode Latin 1 numeric entities.  Don't
6503         decode &#0.
6504
6505 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
6506
6507         * ftp-opie.c (calculate_skey_response): Use uint32_t instead of
6508         `unsigned long' for the cheksum array.  Document the function.
6509
6510 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
6511
6512         * connect.c (acceptport): Don't call select_fd when timeout is not
6513         requested.
6514
6515 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
6516
6517         * host.c: Removed the ip_default_family global variable.
6518
6519         * host.c (lookup_host): Document the function.  Fixed declaration
6520         of VEC.
6521
6522 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
6523
6524         * various: Use new macros xnew, xnew0, xnew_array, and xnew0_array
6525         in various places.
6526
6527 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
6528
6529         * wget.h: Move declarations of malloc and logging code to
6530         xmalloc.h and log.h respectively to unclutter this file.
6531         (STRDUP_ALLOCA): Made it side-effect free.
6532
6533         * xmalloc.h: New files.  Define macros xnew, xnew0, xnew_array,
6534         and xnew0_array.
6535
6536         * xmalloc.c: New file.  Move the xmalloc routines here.
6537
6538 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
6539
6540         * connect.c (sockaddr_set_data): Remove the broken code that
6541         checked for NULL address.
6542
6543 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
6544
6545         * host.c (address_list_from_single): Removed.
6546         (address_list_from_ipv4_addresses): Renamed from
6547         address_list_from_vector.
6548
6549 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
6550
6551         * sysdep.h (CLOSE): Don't call close on file descriptors less than
6552         0, i.e. on uncreated sockets.
6553
6554         * connect.c (resolve_bind_address): Work on struct sockaddr
6555         directly.
6556         (connect_to_host): Replacement for connect_to_many.  Resolve HOST
6557         and connect to any of its addresses.  If we can't connect and the
6558         host name lookup was cached, try to resolve it again.  This should
6559         fix problems with hosts behind dynamic DNS.  Updated all callers.
6560         (connect_to_ip): Replacement for connect_to_one.  Removed SILENT;
6561         added the argument PRINT instead.  Updated all callers.
6562         (set_connection_host_name): Removed.
6563
6564         * host.c (address_list_address_at): New function instead of
6565         address_list_copy_one. It returns a pointer to ip_address *, so
6566         it's not necessary to copy the data.
6567         (address_list_cached_p): New function.
6568         (forget_host_lookup): Ditto.
6569
6570         * connect.c: Got rid of the MSOCK global variable.  Made bindport
6571         return the local socket it creates.  Added a new argument to
6572         acceptport, the socket to call accept on.  Updated callers.
6573         (closeport): Removed.
6574
6575         * connect.c: Moved the sockaddr code from host.c to this file,
6576         because most of that stuff is used for connecting, and has nothing
6577         to do with host names anyway.
6578         (sockaddr_set_data, sockaddr_get_data): New functions, replace the
6579         old sockaddr_set_address, sockaddr_set_port, sockaddr_get_address,
6580         and sockaddr_get_port.
6581
6582 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
6583
6584         * sysdep.h: Use `S >= 8' rather than `S == 8' when looking for
6585         large integers.
6586
6587 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
6588
6589         * url.c (append_uri_pathel): New argument ESCAPED_P that says
6590         whether [B, E) is to be treated as URL-escaped or not.  If
6591         ESCAPED_P is false, don't unescape the region.
6592         (url_file_name): u->file is not URL-escaped.
6593
6594 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
6595
6596         * retr.c (retrieve_from_file): Use retrieve_tree for
6597         page-requisites.
6598
6599         * main.c (main): Don't define opt.recursive when -p is used.
6600         Instead, make sure that recursion is used for HTTP in that case.
6601
6602 2003-10-29  Hrvoje Niksic  <hniksic@xemacs.org>
6603
6604         * host.h: Defined accessors for elements of ip_address.  Updated
6605         all callers.
6606         (address_list_match_all): Use memcmp in the non-IPv6 case.
6607
6608         * wget.h (CONNECT_ERROR): Don't retry connecting if connect()
6609         returned EAFNOSUPPORT.
6610
6611 2003-10-27  Mauro Tortonesi <mauro@deepspace6.net>
6612
6613         * connect.h: changed bindport prototype and added the related
6614         BIND_ON_IPV4_ONLY and BIND_ON_IPV6_ONLY flags.
6615
6616         * connect.c: changed bindport and resolve_bind_address to allow
6617         protocol-version specific DNS resolution. modified conaddr,
6618         acceptport and connect_to_one to make use of struct
6619         sockaddr_storage and of the new ip_address structure.
6620
6621         * ftp-basic.c: added LPRT/LPSV (RFC1639) support, refactored
6622         PORT/PASV (RFC959) and EPRT/EPSV (RFC2428) support code.
6623
6624         * ftp.c: added the ftp_do_port and ftp_do_pasv functions to
6625         handle FTP over IPv6.
6626
6627         * ftp.h: changed prototype of ftp_epsv and added prototypes for
6628         ftp_lpsv, ftp_lprt and ftp_eprt.
6629
6630         * host.c: renamed the
6631         wget_sockaddr_set_address and wget_sockaddr_get_addr, and
6632         wget_sockaddr_{s,g}et_port couples to sockaddr_{s,g}et_address and
6633         sockaddr_{g,s}et_port respectively.  changed
6634         address_list_match_all, address_list_from_addrinfo sockaddr_len,
6635         pretty_print_address, lookup_host, sockaddr_{s,g}et_address and
6636         sockaddr_{g,s}et_port to make use of struct sockaddr_storage and
6637         of the new ip_address structure.  removed map_ipv4_to_ip and
6638         map_ip_to_ipv4.
6639
6640         * host.h: redefined structure ip_address and removed structure
6641         wget_sockaddr.
6642
6643 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
6644
6645         * sysdep.h: Include inttypes.h where available.
6646
6647         * host.c: Switch from u_int32_t to uint32_t.
6648
6649 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
6650
6651         * netrc.c (parse_netrc): Reset the QUOTE flag after the closing
6652         quote.
6653
6654 2003-10-25  Hrvoje Niksic  <hniksic@xemacs.org>
6655
6656         * url.c (is_valid_ipv6_address): Reformat to GNU coding style.
6657         Use enums for NS_IN* constants.  Use ISXDIGIT.
6658
6659         * convert.c (construct_relative): Document better how the function
6660         works.
6661
6662 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
6663
6664         * config.h.in: Deploy preprocessor magic to avoid Ultrix's
6665         <netdb.h> include <bitypes.h> which defines its own u_int32_t.
6666         Reported by Bernhard Simon.
6667
6668 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
6669
6670         * version.c: Bump version.
6671
6672 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
6673
6674         * url.c: Ditto.
6675
6676         * html-parse.c (advance_declaration): Don't use trailing comma in
6677         enum because older compilers don't support it.
6678
6679         * utils.c: Don't redefine HAVE_SIGSETJMP.
6680
6681 2003-10-16  Hrvoje Niksic  <hniksic@xemacs.org>
6682
6683         * convert.c (construct_relative): Don't handle absolute files
6684         specially -- for example, -P/tmp/foo shouldn't imply that
6685         converted files must refer to "/tmp/foo/..."!
6686
6687 2003-10-15  Hrvoje Niksic  <hniksic@xemacs.org>
6688
6689         * http.c: Consider status 307 a valid redirect.
6690
6691 2003-10-15  Philip Stadermann  <philip.stadermann@credativ.de>
6692
6693         * ftp.c (ftp_retrieve_glob): Correctly loop through the list whose
6694         elements might have been deleted.
6695
6696 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
6697
6698         * html-url.c (tag_handle_meta): Set the Refresh link to expect
6699         HTML.
6700         (append_one_url): Renamed to append_url.
6701
6702 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
6703
6704         * sysdep.h: Only define u_int32_t.
6705
6706 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
6707
6708         * utils.c (large_int_to_string): Use snprintf() to print the
6709         number.  This will work even on systems where libc doesn't
6710         understand %lld, but the compiler does, because it will use our
6711         snprintf replacement.
6712
6713         * init.c (parse_bytes_helper): New function.
6714         (cmd_bytes): Use it to parse bytes, but cast the result to long.
6715         (cmd_bytes_large): Ditto, but store the result to LARGE_INT.  Used
6716         for --quota so that --quota=10G works even on machines without
6717         long long.
6718
6719         * options.h (struct options): Declare quota as LARGE_INT.
6720
6721         * retr.c (downloaded_exceeds_quota): Removed.
6722         (downloaded_increase): Ditto.
6723         (total_downloaded_bytes): New variable, replaces opt.downloaded,
6724         which was the wrong place for it anyway.  Updated callers of
6725         downloaded_exceeds_quota and downloaded_increase to check this
6726         variable directly.
6727
6728         * sysdep.h: Get rid of VERY_LONG_TYPE.  Use LARGE_INT for the same
6729         purpose, defined as `long', `long long' or `double', depending on
6730         size of long and whether long long is available.
6731
6732 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
6733
6734         * sysdep.h: Also check size of short for int32_t.
6735
6736 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
6737
6738         * host.c (lookup_host): Use u_int32_t to store the result of
6739         inet_addr().  That removes the need for offset fiddling, caring
6740         about endian-ness, etc.
6741
6742         * sysdep.h: Define int32_t and u_int32_t if not available.
6743
6744 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
6745
6746         * ftp-basic.c (ftp_epsv): Use socklen_t * as the third argument to
6747         getpeername.
6748
6749         * config.h.in: Define socklen_t stub.
6750
6751         * host.c (sockaddr_len): Return socklen_t.
6752
6753         * connect.c (conaddr): Use socklen_t as the third argument to
6754         accept, getsockname, and connect.
6755
6756 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
6757
6758         * recur.c (retrieve_tree): Don't descend into documents that are
6759         not expected to contain HTML, regardless of their content-type.
6760
6761         * html-url.c (tag_url_attributes): Record which attributes are
6762         supposed to yield HTML links that can be followed.
6763         (tag_find_urls): Propagate that information to the caller through
6764         struct urlpos.
6765
6766 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
6767
6768         * hash.c (find_mapping): Return the next available mapping when
6769         the key is not found, not NULL.
6770         (hash_table_put): Use find_mapping to find the storage for the new
6771         data.
6772         (hash_table_put): Grow the table before exceeding maximum
6773         fullness, not afterwards.
6774
6775 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
6776
6777         * hash.c (hash_table_new): Slightly change the meaning of the
6778         first parameter.  Instead of being the minimum initial size, it is
6779         now the minimum number of items that the hash table can take
6780         without needing to resize.
6781
6782 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
6783
6784         * html-url.c (init_interesting): Initialize interesting_tags and
6785         interesting_attributes as hash tables.  This simplifies the code
6786         immensely because hash tables handle allocation and remove
6787         duplicates automatically.
6788         (find_tag): Removed.
6789         (collect_tags_mapper): Instead of calling find_tag, simply get the
6790         entry from interesting_tags hash table, which is both simpler and
6791         faster.
6792
6793 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
6794
6795         * hash.c (hash_table_get): Declare hash-table argument as const.
6796         (find_mapping): Ditto.
6797         (hash_table_get_pair): Ditto.
6798         (hash_table_contains): Ditto.
6799         (hash_table_count): Ditto.
6800
6801 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
6802
6803         * html-url.c (get_urls_html): Parse the appropriate flags to
6804         html-parse.c.
6805
6806         * html-parse.c (map_html_tags): Accept FLAGS from the caller
6807         instead of examining OPT.
6808
6809 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
6810
6811         * html-url.c (find_tag): Switch to binary search.
6812
6813 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
6814
6815         * main.c (print_help): Fix typo; stured -> stored.
6816
6817 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
6818
6819         * getopt.c: Add definitions of getopt_long and getopt_long_only.
6820
6821 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
6822
6823         * config.h.in: Renamed DEBUG to ENABLE_DEBUG.  ENABLE_DEBUG is, I
6824         think, a better name, because it implies that debugging output is
6825         merely possible, not "on by default", as might be construed from
6826         just DEBUG.
6827
6828 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
6829
6830         * ftp.c (has_insecure_name_p): Define it here.
6831
6832         * utils.c (has_wildcards_p): Define it here.
6833
6834         * sysdep.h: Declare fnmatch-related macros here, if not using
6835         system fnmatch().  Update .c files to not declare fnmatch.h
6836         directly.
6837
6838         * cmpt.c (fnmatch): Moved here.  Use it only under non-GNU libc.
6839
6840 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
6841
6842         * getopt.c: Newer version, imported from Free libit.
6843
6844 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
6845
6846         * cookies.c (struct cookie): Remove unused backpointer to cookie
6847         jar.
6848
6849 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
6850
6851         * cmpt.c (memmove): Comment out, since it's no longer used.
6852
6853         * cookies.c (cookie_jar_generate_cookie_header): Allocate room for
6854         chains in one pass.
6855         (find_chains_of_host): Assume that the caller has allocated DEST
6856         to be sufficiently large to take all the data.
6857         (eliminate_dups): Run through the array and eliminate dups on the
6858         fly instead of using memmove.
6859         (cookie_jar_process_set_cookie): Free cookie->domain before
6860         re-setting it.
6861
6862 2003-10-05  Gisle Vanem  <giva@bgnett.no>
6863
6864         * mswindows.c (set_sleep_mode): Fix type of
6865         _SetThreadExecutionState.
6866
6867 2003-10-05  Hrvoje Niksic  <hniksic@xemacs.org>
6868
6869         * utils.c (file_size): Return -1 if fopen() returns NULL.  Prior
6870         to this patch, wget --post-file=nosuchfile dumped core.
6871
6872 2003-10-04  Gisle Vanem  <giva@bgnett.no>
6873
6874         * mswindows.c (run_with_timeout): Use WaitForSingleObject to wait
6875         for thread termination.
6876
6877 2003-10-04  Hrvoje Niksic  <hniksic@xemacs.org>
6878
6879         * log.c: Use `...' in function definitions; ansi2knr will convert
6880         them to va_dcl.  This allowed removal of the ugly VA_START_1 and
6881         VA_START_2 macros.
6882
6883 2003-10-03  Gisle Vanem  <giva@bgnett.no>
6884
6885         * connect.c: And don't include them here.
6886
6887         * mswindows.h: Include winsock headers here.
6888
6889 2003-10-03  Hrvoje Niksic  <hniksic@xemacs.org>
6890
6891         * html-parse.c (convert_and_copy): Move variable declarations
6892         before statements.
6893
6894 2003-10-02  Gisle Vanem  <giva@bgnett.no>
6895
6896         * mswindows.c (run_with_timeout): For Windows: Run the 'fun' in a
6897         thread via a helper function. Continually query the thread's
6898         exit-code until finished or timed out.
6899
6900 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
6901
6902         * wget.h (XMALLOC_ARRAY): Removed.
6903         (ALLOCA_ARRAY): Ditto.
6904
6905         * html-parse.c: Renamed alloca_p to resized.
6906         (GROW_ARRAY): Renamed DO_REALLOC_FROM_ALLOCA to GROW_ARRAY and
6907         returned it to html-parse.c, since nothing else was using it.
6908
6909 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
6910
6911         * retr.c (retrieve_url): Initialize DUMMY storage for DT.  Caught
6912         by valgrind.
6913
6914 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
6915
6916         * html-parse.c (convert_and_copy): Handle numeric entities in
6917         hexadecimal, &#xHH.
6918         (convert_and_copy): Copy the contents directly to the pool without
6919         a stack-allocated intermediary.
6920
6921 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
6922
6923         * utils.c (alarm_set): New function; use either setitimer or alarm
6924         to set up the alarm.
6925         (alarm_cancel): New function; cancel the alarm set up by
6926         alarm_set.
6927         (run_with_timeout): Use them.
6928
6929 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
6930
6931         * url.c (url_parse): Don't leak memory when a reencoded URL turns
6932         out to be invalid.
6933
6934         * url.c (parse_errors): Mark error messages for translation.
6935         (url_error): Translate error messages returned to the caller.
6936
6937 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
6938
6939         * ftp.c (ftp_loop_internal): Initialize TMRATE to NULL to shut up
6940         the compiler.
6941
6942 2003-09-26  Gisle Vanem  <giva@bgnett.no>
6943
6944         * src/mswindows.c: Added ws_percenttitle() showing progress in the
6945         window titlebar. Called from retr.c. Secured ws_mypath().
6946
6947         * windows/config.h.ms: alloca() prototype not needed.  Removed
6948         "#undef ENABLE_NLS"; should be in Makefile IMHO. Moved
6949         WGET_USE_STDARG from mswindows.h to config.ms.h because of #ifdef
6950         in log.c. (MSVC's vararg.h and stdarg.h are incompatible).
6951
6952 2003-09-29  Aaron Hawley <Aaron.Hawley@uvm.edu>
6953
6954         * ftp.c (getftp): --spider option should now work with FTP
6955         downloads.
6956         (ftp_loop_internal): quiet reports and calculations of downloads
6957         when --spider option set, nor try deleting when --delete-after
6958         also set.
6959         (ftp_loop): --spider will skip HTML-ification of .listing file.
6960
6961 2003-09-26  Gisle Vanem  <giva@bgnett.no>
6962
6963         * mswindows.c (read_registry): Removed.
6964         (set_sleep_mode): New function.
6965         (windows_main_junk): Call it.
6966
6967 2003-09-26  Gisle Vanem  <giva@bgnett.no>
6968
6969         * mswindows.c (read_registry): Fix invocation of registry
6970         functions.
6971
6972         * mswindows.c (read_registry): Condition definitions of sleep and
6973         usleep with not HAVE_SLEEP and HAVE_USLEEP respectively.  Define
6974         HAVE_SLEEP and HAVE_USLEEP under __DMC__.
6975
6976 2003-09-24  Hrvoje Niksic  <hniksic@xemacs.org>
6977
6978         * url.c (url_escape_1): Revert unintentional change to lowercase
6979         xdigit escapes.
6980         (url_escape_dir): Document that this function depends on the
6981         output of url_escape_1.
6982
6983 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
6984
6985         * progress.c (create_image): Print the current ETA if we're done
6986         with the download.
6987         (create_image): Change '-' display char to '+' in the progress bar.
6988
6989         * Makefile.in (clean): Remove .libs.
6990
6991 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
6992
6993         * cookies.c (struct cookie): New flag domain_exact.
6994         (update_cookie_field): Skip leading dot in domain.
6995         (find_matching_chains): Match numeric addresses exactly; don't
6996         needlessly copy HOST to the stack.
6997         (matching_cookie): Added argument HOST.  If cookie->domain_exact
6998         is set, check that HOST is equal to cookie->domain.
6999         (cookie_jar_load): Only use TAB as delimiter.  Document the
7000         meaning of DOMAIN-FLAG.  Skip leading dot in domain.
7001         (cookie_jar_load): Don't ignore DOMAIN-FLAG -- instead, set
7002         domain_exact to true if DOMAIN-FLAG is false.
7003         (save_cookies_mapper): If domain_exact is false, prepend the
7004         domain with dot, like Mozilla does.
7005
7006 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
7007
7008         * progress.c (create_image): Print the initial part of the
7009         download with '-' characters, analogous to how dot progress prints
7010         the initial part with ','.
7011
7012         * hash.c (ptrhash): New function.
7013         (ptrcmp): Ditto.
7014         (hash_table_new): Default to identity hash table.
7015
7016 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
7017
7018         * safe-ctype.h (_sch_test): The cast of BIT to unsigned char was
7019         broken -- _sch_istable bitmasks are 16-bit, not 8-bit!  Cast BIT
7020         to unsigned short instead.
7021
7022 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
7023
7024         * url.c (path_simplify): Instead of calls to memmove, handle "./"
7025         and "../" by advancing pointers.
7026
7027 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
7028
7029         * retr.c (getproxy): Moved from url.c.
7030
7031         * convert.c: Split off link conversion from url.c into separate
7032         file.  Also included the book-keeping stuff from recur.c.
7033
7034 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
7035
7036         * init.c: Improved documentation of functions.
7037         (cmd_boolean): Attempt to make code that tries to avoid calling
7038         strcmp for "speed" a bit more readable.
7039
7040         * init.c (simple_atof): Report error on encountering non-digit,
7041         non-"." character.
7042         (simple_atoi): Replacement for myatoi(), calling interface
7043         compatible with simple_atof.  Updated myatoi's callers.
7044
7045 2003-09-21  Bertrand Demiddelaer  <bert@b3rt.org>
7046
7047         * url.c (path_simplify): Would read two bytes past the end of the
7048         string in the "./" case.
7049
7050 2003-09-21  Matthew J. Mellon  <mellon@tymenet.com>
7051
7052         * http.c (gethttp): Recognize content-type "application/xhtml+xml"
7053         as what Wget considers "text/html".
7054
7055 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
7056
7057         * connect.c (connect_with_timeout): Made timeout type double.
7058
7059         * options.h (struct options): New members read_timeout,
7060         dns_timeout, and connect_timeout.
7061         Use them.
7062
7063 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
7064
7065         * init.c (simple_atof): New function.
7066         (cmd_time): Use it.
7067         (cmd_bytes): Accept things like "1.5k" and such.  Use simple_atof
7068         to parse decimals.
7069
7070         * retr.c (limit_bandwidth): Adjust each sleep by the error of the
7071         previous one.
7072
7073 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
7074
7075         * main.c (main): Use setoptval() for setting the options.  Use
7076         run_command for `-e'.
7077
7078         * init.c (parse_line): Rewritten to return COMIND right away.
7079         Changed linkage to static.
7080         (run_wgetrc): Use the available comind when calling setval, so it
7081         doesn't have to be computed twice.
7082         (setval_internal): New function, runs the command's action without
7083         any error checking.
7084         (setoptval): New function, does what setval used to do, but exits
7085         in case of error.
7086         (run_command): New function.
7087
7088 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
7089
7090         * connect.c (select_fd): Change MAXTIME's type to double.  Handle
7091         its decimal part.
7092
7093         * retr.c (sleep_between_retrievals): In the random-wait case, use
7094         random_float() to wait between 0 and 2*opt.wait seconds.
7095
7096         * utils.c (run_with_timeout): Accept `double' timeouts.  Correctly
7097         handle timeout values in (0, 1) range.
7098         (random_float): New function.
7099
7100         * options.h (struct options): Change the types of wait, waitretry,
7101         and timeout to double.
7102
7103         * init.c (cmd_time): Accept floating point time.
7104
7105 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
7106
7107         * retr.c (get_contents): Cosmetic fixes.
7108
7109 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
7110
7111         * url.c (uri_merge): Get rid of uri_merge_1.
7112         (uri_merge): Merge "foo//", "bar" as "foo//bar", not "foo///bar",
7113         i.e. don't add an extra slash merely because BASE ends with two
7114         slashes.
7115         (parse_credentials): Renamed from parse_uname.  Rewrittern in
7116         standard [beg, end) calling style.
7117         (url_skip_credentials): Renamed from url_skip_uname.  Made static.
7118         (url_skip_credentials): Include # and ; as terminators.  Old code
7119         would mistakenly consider "http://foo.com#hniksic@iskon.hr" to
7120         contain a username.
7121         (url_skip_scheme): Removed because it was unused.
7122         (url_has_scheme): Require "scheme" to be at least one char long.
7123
7124 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
7125
7126         * url.c (url_file_name): Expect NULL dir_prefix.
7127
7128         * init.c (cmd_file): Use a macro to prevent multiple #ifdef
7129         WINDOWS.
7130         (defaults): Set dir_prefix to NULL by default.
7131
7132 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
7133
7134         * safe-ctype.h (_sch_test): Cast BIT to unsigned char, like latest
7135         gcc does.
7136
7137 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
7138
7139         * wget.h (BOUNDED_TO_ALLOCA): Evaluate PLACE only once.
7140         (ARRAY_SIZE): Renamed to countof.  All callers updated.
7141
7142 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
7143
7144         * main.c (main): New option --strict-comments.
7145
7146         * html-parse.c (find_comment_end): New function: simple BM search
7147         for "-->".
7148         (map_html_tags): Use it if looking at a comment and not in strict
7149         comments mode.
7150
7151 2003-09-17  Aurelien Marchand  <artaxerxes@users.sf.net>
7152
7153         * ftp.h: Added OS400 system in enum
7154         * ftp-basic.c: recognize OS400 systems
7155         * ftp.c: don't prepend the CWD if talking to OS400, since it
7156         breaks the change in library
7157
7158 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
7159
7160         * retr.c (get_contents): Pass the correct argument to ssl_iread.
7161
7162 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
7163
7164         * safe-ctype.h: Don't #define ctype.h macros to errors because
7165         that loses when someone #include's ctype.h after safe-ctype.h.
7166
7167 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
7168
7169         * url.c: Undef U, W, C after use.
7170
7171 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
7172
7173         * init.c (cmd_spec_restrict_file_names): Allow the OS setting to
7174         be augmented by ",nocontrol" which means don't escape the control
7175         characters, but otherwise keep OS settings.
7176
7177         * url.c (file_unsafe_char): Deleted.
7178         (append_uri_pathel): Query filechr_table directly.
7179         (filechr_table): Separated Unix, Windows, and control-unsafe
7180         characters.
7181
7182 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
7183
7184         * url.c (url_escape_1): New function.
7185         (url_escape): Use it.
7186         (sync_path): Handle pathological cases where u->file and u->dir
7187         contain really strange characters.
7188         (ENCODE): Deleted.
7189         (REENCODE): Deleted.
7190
7191 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
7192
7193         * url.c (url_file_name): Don't reallocate FNAME if the file
7194         doesn't exist, as is usually the case.
7195
7196         * utils.c (unique_name): New flag allow_passthrough.
7197
7198 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
7199
7200         * utils.c (wtimer_sys_diff): Convert the time difference to signed
7201         __int64, then to double.  This works around MS VC++ 6 which can't
7202         convert unsigned __int64 to double directly.
7203
7204 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
7205
7206         * Makefile.in (clean): Also remove the core.<number> files
7207         produced by recent Linux systems.
7208
7209 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
7210
7211         * http.c (post_file): Don't pad the file if it's not large
7212         enough.  Bail out instead.
7213
7214 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
7215
7216         * retr.c (get_contents): Reduce the buffer size to the amount of
7217         data that may pass through for one second.  This prevents long
7218         sleeps when limiting bandwidth.
7219
7220         * connect.c (connect_to_one): Reduce the socket's RCVBUF when
7221         bandwidth limitation to small values is requested.
7222
7223 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
7224
7225         * progress.c (update_speed_ring): Moved the speed ring update to a
7226         separate function and documented it better.
7227
7228         * progress.c: Use `double' for most timers to support granularity
7229         smaller than 1ms.
7230
7231 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
7232
7233         * wget.h (XDIGIT_TO_XCHAR): Implement as index into a literal
7234         string.
7235         (XDIGIT_TO_xchar): Ditto.
7236
7237 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
7238
7239         * utils.c: Change the type of timer-related functions from long to
7240         double, for better precision.  On machines supporting gettimeofday
7241         the timers now work with granularity of less than one millisecond.
7242
7243 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
7244
7245         * cookies.c (parse_set_cookies): Fixed the parser to handle more
7246         edge conditions.
7247         (test_cookies): New function, contains a test suite for
7248         parse_set_cookies.
7249
7250 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
7251
7252         * url.c (strpbrk_or_eos): Implement as a macro under Gcc.
7253
7254 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
7255
7256         * cookies.c (parse_set_cookies): Allow trailing space in
7257         set-cookies header.  Also, allow any amount of whitespace, not
7258         only one character.  Allow empty set-cookies header without
7259         spewing an error.
7260
7261 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
7262
7263         * url.c (append_uri_pathel): Use opt.restrict_file_names when
7264         calling file_unsafe_char.
7265
7266         * init.c: New command restrict_file_names.
7267
7268         * main.c (main): New option --restrict-file-names[=windows,unix].
7269
7270         * url.c (url_file_name): Renamed from url_filename.
7271         (url_file_name): Add directory and hostdir prefix here, not in
7272         mkstruct.
7273         (append_dir_structure): New function, does part of the work that
7274         used to be in mkstruct.  Iterates over path elements in u->path,
7275         calling append_uri_pathel on each one to append it to the file
7276         name.
7277         (append_uri_pathel): URL-unescape a path element and reencode it
7278         with a different set of rules, more appropriate for handling of
7279         files.
7280         (file_unsafe_char): New function, uses a lookup table to decide
7281         whether a character should be escaped for use in file name.
7282         (append_string): New utility function.
7283         (append_char): Ditto.
7284         (file_unsafe_char): New argument restrict_for_windows, decide
7285         whether Windows file names should be escaped in run-time.
7286
7287         * connect.c: Include <stdlib.h> to get prototype for abort().
7288
7289 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
7290
7291         * utils.c (wtimer_sys_set): Extracted the code that sets the
7292         current time here.
7293         (wtimer_reset): Call it.
7294         (wtimer_sys_diff): Extracted the code that calculates the
7295         difference between two system times here.
7296         (wtimer_elapsed): Call it.
7297         (wtimer_elapsed): Don't return a value smaller than the previous
7298         one, which could previously happen when system time is set back.
7299         Instead, reset start time to current time and note the elapsed
7300         offset for future calculations.  The returned times are now
7301         guaranteed to be monotonically nondecreasing.
7302
7303 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
7304
7305         * host.c (lookup_host): Print the result of the DNS lookup.
7306
7307 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
7308
7309         * init.c (cmd_boolean): Accept yes/no along with on/off.
7310         (cmd_lockable_boolean): Ditto.
7311
7312 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
7313
7314         * init.c: New command dns_cache.
7315
7316         * main.c (main): New option --dns-cache[=off].
7317
7318 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
7319
7320         * config.h.in: Initialize HAVE_GETADDRINFO and ENABLE_IPV6.
7321
7322         * all: Use #ifdef ENABLE_IPV6 instead of the older INET6.  Use
7323         HAVE_GETADDRINFO for getaddrinfo-related stuff.
7324
7325 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
7326
7327         * url.c (url_parse): Return an error if the URL contains a [...]
7328         IPv6 numeric address and we don't support IPv6.
7329
7330 2003-09-05  Hrvoje Niksic  <hniksic@xemacs.org>
7331
7332         * url.c (is_valid_ipv6_address): Modified to not require
7333         zero-terminated strings.
7334         (is_valid_ipv4_address): Ditto.
7335
7336 2003-09-05  Mauro Tortonesi <mauro@deepspace6.net>
7337
7338         src/url.c: added RFC 2732 compliance for URL parsing. The
7339         functions is_*_address valid are a modified version of
7340         glibc 2.3.2 inet_pton's code.
7341
7342 2003-09-03  Ahmon Dancy  <dancy@dancysoft.com>
7343
7344         * main.c init.c options.h: Added --retry-connrefused option so
7345         that Connection Refused failures are treated as non-fatal (when
7346         trying to retrieve from busy servers).
7347
7348         * wget.h: New CONNECT_ERROR macro for encapsulating this
7349         modification.
7350
7351         * ftp.c http.c : Use CONNECT_ERROR macro in places where
7352         ECONNREFUSED was checked.
7353
7354 2003-01-11  Ian Abbott  <abbotti@mev.co.uk>
7355
7356         * ftp.c (ftp_retrieve_glob): Reject insecure filenames as determined
7357         by calling new function has_insecure_name_p.  This is based on a
7358         patch by Red Hat.
7359
7360         * fnmatch.c (has_insecure_name_p): New function: returns non-zero
7361         if filename starts with `/' or contains `../' and is therefore
7362         considered insecure.
7363
7364         * fnmatch.h: Declare has_insecure_name_p().
7365
7366 2002-08-03  Hrvoje Niksic  <hniksic@xemacs.org>
7367
7368         * init.c (cmd_file): Allocate RESULT correctly.
7369
7370 2002-07-24  Hrvoje Niksic  <hniksic@xemacs.org>
7371
7372         * recur.c (retrieve_tree): Check whether downloaded_html_set is
7373         non-NULL before using it.
7374
7375 2002-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
7376
7377         * html-parse.c (NAME_CHAR_P): Allow almost any character here.
7378
7379 2002-05-24  Hrvoje Niksic  <hniksic@arsdigita.com>
7380
7381         * progress.c (bar_set_params): Fall back to dot progress if the
7382         terminal type is "emacs".
7383
7384 2002-05-20  Hrvoje Niksic  <hniksic@arsdigita.com>
7385
7386         * log.c: Don't #undef WGET_USE_STDARG.
7387
7388 2002-05-16  Hrvoje Niksic  <hniksic@arsdigita.com>
7389
7390         * hash.c (prime_size): Store the offset of the prime number in the
7391         prime table.  When searching, start with the given offset.
7392         (hash_table_new): Pass the pointer to ht->prime_offset to
7393         prime_size.
7394         (grow_hash_table): Ditto.
7395         (prime_size): Make 13 the first prime to make empty hash tables
7396         slightly smaller.
7397
7398 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
7399
7400         * recur.c (download_child_p): Minor optimization to avoid an
7401         unnecessary additional call to schemes_are_similar_p function.
7402
7403 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
7404
7405         * url.c (schemes_are_similar_p): New function to test enumerated
7406         scheme codes for similarity.
7407
7408         * url.h: Declare it.
7409
7410         * recur.c (download_child_p): Use it to compare schemes.  This
7411         also fixes a bug that allows hosts to be spanned (without the
7412         -H option) when the parent scheme is https and the child's is
7413         http or vice versa.
7414
7415 2002-05-14  Bill Richardson  <bill@riverstonenet.com>
7416
7417         * ftp.c (getftp): Don't ftruncate stdout.
7418
7419         * http.c (gethttp): Don't ftruncate stdout.
7420
7421 2002-05-09  Ian Abbott  <abbotti@mev.co.uk>
7422
7423         * cmpt.c (strptime_internal): Synched with glibc-2.1.3.
7424         (get_number): Ditto.
7425         (get_alt_number): Ditto.
7426         (__isleap): New function-like macro used by strptime.
7427         (day_of_the_week): New function used by strptime.
7428         (day_of_the_year): Ditto.
7429         (__mon_yday): Now shared by mktime and strptime implementations.
7430
7431 2002-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
7432
7433         * cookies.c (check_domain_match): Use match_tail in case
7434         insensitive mode.
7435
7436         * utils.c (match_tail): Allow the caller to specify case
7437         insensitive mode.
7438
7439         * cookies.c (store_cookie): When expiry_time is 0, print it as
7440         undefined, not indefinite.
7441
7442 2002-05-07  Ian Abbott  <abbotti@mev.co.uk>
7443
7444         * cookies.c (cookie_jar_process_set_cookie): Do not store
7445         discarded cookie.
7446
7447 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
7448
7449         * cookies.c (check_domain_match): Allow cookies to be set for
7450         subdomains of unknown top-level domains under some circumstances.
7451
7452 2002-04-21  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
7453
7454         * gen_ssl.c:
7455         - allow checking of server cert
7456         - allow defining client cert type
7457         - allow limit of ssl protocol
7458         - check more return values
7459         - added debug message on break
7460
7461 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
7462
7463         * recur.c (download_child_p): Revert order of items in check
7464         number 6 for clarity.
7465
7466 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
7467
7468         * init.c: Ditto.
7469
7470         * main.c: Ditto.
7471
7472         * http.c: Use the new interface.
7473
7474         * cookies.c: Provide an OO-style "cookie jar" interface to enable
7475         separate cookie jars.
7476
7477         * http.c (http_atotm): Declare argument as const.
7478
7479 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
7480
7481         * cookies.c (cookie_new): Default to PORT_ANY.
7482         (find_cookie_chain_exact): Only search by DOMAIN.
7483         (find_matching_cookie): Also check that PORT matches.
7484         (store_cookie): Only match the domain.
7485         (set_cookie_header_cb): When a cookie "fakes" a domain, assume it
7486         is valid for that host rather than discarding it completely.
7487         (find_matching_chains): Don't search by PORT.
7488         (matching_cookie): Also match PORT.
7489         (load_cookies): Set the port if specified, otherwise leave it as
7490         ANY.
7491         (save_cookies_mapper): Save the port if specified, otherwise leave
7492         it empty.
7493
7494 2002-04-19  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
7495
7496         * init.c: The option `egdfile' was not in sort order.
7497
7498 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
7499
7500         * ftp.c (getftp): Treat directories that begin with <letter>: as
7501         absolute.
7502         (getftp): Strip trailing slashes from con->id before merging it
7503         with TARGET.
7504
7505 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
7506
7507         * http.c (gethttp): If Content-Type is not given, assume
7508         text/html.
7509
7510 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
7511
7512         * recur.c (download_child_p): Don't ignore rejection of HTML
7513         documents that are themselves leaves of recursion.
7514
7515 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
7516
7517         Makefile.in: Updated several dependencies for object files to take
7518         account of nested include files.
7519
7520 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
7521
7522         Makefile.in: The target `connect$o' (connect.o) now depends on
7523         `utils.h'
7524
7525 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
7526
7527         * host.c (SET_H_ERRNO): New function-like macro to set `h_errno'.
7528         (gethostbyname_with_timeout): Use it.
7529
7530         * utils.c: Don't define `SETJMP()', `run_with_timeout_env' or
7531         `abort_run_with_timeout()' when `USE_SIGNAL_TIMEOUT' is undefined.
7532
7533 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
7534
7535         * host.c (getaddrinfo_with_timeout): New function.
7536         (gethostbyname_with_timeout): Ditto.
7537         (lookup_host): Use them.
7538
7539 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
7540
7541         * utils.c (number_to_string): Handle the case when n < -INT_MAX.
7542
7543 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
7544
7545         * init.c (comind): Use a marginally faster implementation of
7546         binary search.  To quote Martin Buchholz, "a nanosecond saved is a
7547         nanosecond earned."
7548
7549 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
7550
7551         * main.c (print_help): Document `--post-data' and `--post-file'.
7552
7553 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
7554
7555         * http.c (gethttp): Ditto.
7556
7557         * retr.c (retrieve_url): Initialize variables to appease the
7558         compiler.
7559
7560         * gen_sslfunc.c (ssl_iread): Don't handle EINTR when calling
7561         select_fd.
7562         (ssl_iwrite): Ditto.
7563
7564         * connect.c (select_fd): Rewrite to handle EINTR.  Set errno to
7565         ETIMEDOUT in case of timeout.
7566         (iread): No need to handle EINTR when calling select_fd.
7567         (iwrite): Ditto.
7568
7569 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
7570
7571         * retr.c (retrieve_url): Make sure that POST is not honored for
7572         redirections.
7573
7574         * http.c (gethttp): Send the POST data when requested.
7575         (post_file): New function.
7576         (gethttp): Use it.
7577
7578         * main.c (main): Ditto.
7579
7580         * init.c: Add new options.
7581
7582         * options.h (struct options): New options post_data and
7583         post_file_name.
7584
7585 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
7586
7587         * connect.c (connect_with_timeout): Firing SIGALRM can result in
7588         connect() exiting with EINTR.  Treat EINTR the same as ETIMEDOUT.
7589
7590 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
7591
7592         * connect.c (connect_with_timeout): Use it.
7593
7594         * utils.c (run_with_timeout): New function.
7595
7596 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
7597
7598         * url.c (getproxy): Accept a struct url argument.  This obviates
7599         the need for USE_PROXY_P.
7600
7601         * retr.c (retrieve_url): Allow proxy to be a non-FTP URL.
7602
7603         * ftp.c (getftp): Recognize FWTK-style proxy.
7604
7605 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
7606
7607         * config.h.in: Only define _VA_LIST when compiled with gcc.
7608
7609 2002-04012  Ian Abbott  <abbotti@mev.co.uk>
7610
7611         * http.c (http_loop): Compensate for MS Windows two-second
7612         granularity of file modification time when comparing timestamps.
7613
7614         * ftp.c (ftp_retrieve_list): Ditto.
7615
7616 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
7617
7618         * utils.c (has_html_suffix_p): New function to test filename for
7619         common html extensions.
7620
7621         * utils.h: Declare it.
7622
7623         * http.c (http_loop): Use it instead of previous test.
7624
7625         * retr.c (retrieve_url): Ditto.
7626
7627         * recur.c (download_child_p): Ditto.
7628
7629 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
7630
7631         * config.h.in: Define _VA_LIST on Solaris to prevent stdio.h from
7632         declaring va_list.
7633         From Kevin Rodgers <kevinr@ihs.com>.
7634
7635 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
7636
7637         * Makefile.in: Specify libtool mode explicitly when linking.
7638
7639 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
7640
7641         * connect.c (connect_with_timeout): New function.
7642         (connect_to_one): Use it.
7643
7644         * config.h.in: Add stubs for HAVE_SIGSETJMP, HAVE_SIGBLOCK, and
7645         HAVE_SETJMP_H.
7646
7647 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
7648
7649         * log.c: Set WGET_USE_STDARG if __STDC__ is defined and stdarg.h
7650         is present.
7651
7652 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
7653
7654         * progress.c (bar_create): If INITIAL is larger than TOTAL, fix
7655         TOTAL.
7656         (bar_finish): Likewise.
7657
7658 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
7659
7660         * html-url.c (tag_handle_form): New function.  Pick up form
7661         actions and mark them for conversion only.
7662
7663 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
7664
7665         * progress.c (struct progress_implementation): Use PARAMS when
7666         declaring the parameters of *create, *update, *finish, and
7667         *set_params.
7668
7669         * netrc.c: Ditto.
7670
7671         * http.c: Reformat some function definitions so that ansi2knr can
7672         read them.
7673
7674         * hash.c (struct hash_table): Use the PARAMS macro around
7675         parameters in the declaration of hash_function and test_function.
7676         (prime_size): Spell 2580823717UL and 3355070839UL as (unsigned
7677         long)0x99d43ea5 and (unsigned long)0xc7fa5177 respectively, so
7678         that pre-ANSI compilers can read them.
7679         (find_mapping): Use PARAMS when declaring EQUALS.
7680         (hash_table_put): Ditto.
7681
7682         * ftp.h: Wrap the parameters of ftp_index declaration in PARAMS.
7683
7684         * cookies.c (cookie_new): Use (unsigned long)0 instead of 0UL,
7685         which was unsupported by pre-ANSI compilers.
7686
7687         From Nelson H. F. Beebe <beebe@math.utah.edu>, for the most part.
7688
7689 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
7690
7691         * url.c (url_filename): Use compose_file_name regardless of
7692         whether opt.dirstruct is set.
7693         (mkstruct): Don't handle the query and the reencoding of DIR; that
7694         is done in compose_file_name.
7695
7696 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
7697
7698         * wget.h: Ditto for extern char *exec_name.
7699
7700         * options.h: Don't guard against OPTIONS_DEFINED_HERE -- it is
7701         perfectly legal to follow an `extern' with a non-`extern' ones,
7702         provided the types match.
7703
7704         * main.c: Don't define OPTIONS_DEFINED_HERE.
7705
7706 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
7707
7708         * progress.c (create_image): Revert to calculating ETA based on
7709         average download speed.
7710         (create_image): Don't print ETA until the download has been active
7711         for at least 3 seconds.
7712         (create_image): When ETA is not available, don't print anything.
7713         The previous version would print --:--.
7714
7715 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
7716
7717         * progress.c (bar_update): Keep updating a subinterval until it
7718         reaches or exceeds a watermark.  That way the measurement will be
7719         guaranteed to span a configurable minimum of time.  The current
7720         default is 3s in 30 100ms intervals.
7721
7722 2002-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
7723
7724         * progress.c (bar_update): Maintain an array of the time it took
7725         to perform previous 30 network reads.
7726         (create_image): Calculate the download speed and ETA based on the
7727         last 30 reads, not the entire download.
7728         (create_image): Make sure that the ETA is not changed more than
7729         once per second.
7730
7731 2002-04-09  Ian Abbott  <abbotti@mev.co.uk>
7732
7733         * mswindows.c (borland_utime): New function conditionally defined
7734         when `HACK_BCC_UTIME_BUG' is defined.  A reimplementation of
7735         `utime()' as Borland's `utime()' function is broken on Windows 9x
7736         systems.  (Original patch by Chin-yuan Kuo <sr1111111@yahoo.com.tw>.)
7737
7738 2002-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
7739
7740         * ftp.c (ftp_loop): Propagate the result of ftp_retrieve_glob.
7741
7742 2002-03-26  Ian Abbott  <abbotti@mev.co.uk>
7743
7744         * Makefile.in: Updated several dependencies for object files.
7745
7746 2002-03-20  Ian Abbott  <abbotti@mev.co.uk>
7747
7748         * mswindows.c: Include "utils.h".
7749
7750 2002-03-18  Ian Abbott  <abbotti@mev.co.uk>
7751
7752         * host.h: Don't include netdb.h on windows.
7753
7754 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
7755
7756         * recur.c (retrieve_tree): Handle the case when start_url doesn't
7757         parse.
7758
7759 2002-02-19  Andreas Damm  <andreas-sourceforge@radab.org>
7760
7761         * wget.h (DO_REALLOC_FROM_ALLOCA): Multiply with sizeof(type) when
7762         calling xmalloc and memcpy.
7763
7764 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
7765
7766         * host.h: Include Unix-specific includes #ifndef WINDOWS.
7767         Patch originally provided by Christian Lackas.
7768
7769 2002-02-11  Christian Lackas  <delta@lackas.net>
7770
7771         * recur.c: recurive downloading for https fixed.
7772
7773 2002-02-19  Alan Eldridge  <alane@geeksrus.net>
7774
7775         * host.h: Also include <netinet/in.h> and <sys/socket.h>.
7776
7777         * ftp-basic.c: Also include <netinet/in.h>.
7778
7779 2002-02-05  Ian Abbott  <abbotti@mev.co.uk>
7780
7781         * http.c (gethttp): when -c used, mark already fully retrieved
7782         file as successfully retrieved.
7783
7784 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
7785
7786         * url.c (url_parse): Don't treat '?' as query string separator
7787         when parsing FTP URLs.
7788
7789 2002-02-01  Hrvoje Niksic  <hniksic@arsdigita.com>
7790
7791         * html-url.c (tag_handle_meta): Don't crash on <meta
7792         http-equiv=refresh> where content is missing.
7793
7794 2002-01-31  Herold Heiko  <Heiko.Herold@previnet.it>
7795
7796         * ftp-basic.c, host.c: don't include sys/socket.h, arpa/inet.h,
7797         netdb.h on windows.
7798
7799 2002-01-30  Hrvoje Niksic  <hniksic@arsdigita.com>
7800
7801         * retr.c (retrieve_url): Remove redirection cycle detection.  This
7802         is because some sites legitimately redirect the user back to the
7803         same location, e.g. after an authorization check performed by
7804         another page.  MAX_REDIRECTIONS is still used to prevent infinite
7805         redirection loops.
7806
7807 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
7808
7809         * http.c (gethttp): Wrap host name in square brackets if it
7810         contains a colon.
7811
7812 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
7813
7814         * url.c (url_parse): Allow all hex digits, not only decimal ones,
7815         to form an IP address.
7816
7817 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
7818
7819         * url.c (urlchr_table): Make square braces reserved, so we can
7820         parse http://[::1]/.
7821         (url_parse): Handle host in braces.
7822         (url_string): If url->host contains colons, wrap it in braces.
7823
7824 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
7825
7826         * connect.c (resolve_bind_address): New function.
7827         (connect_to_one): Use it.
7828         (bindport): Ditto.
7829
7830         * init.c: Don't resolve bind-address here.
7831
7832         * host.c (wget_sockaddr_set_address): Would bug out with ADDR == NULL.
7833
7834 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
7835
7836         * host.c (lookup_host): Use sizeof(ip4_address) to calculate the
7837         offset.
7838         (address_list_new): Use map_ipv4_to_ip.
7839         (wget_sockaddr_set_address): Convert ADDR to IPv4 before using it
7840         in IPv4 context.
7841
7842 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
7843
7844         * source: Integrated IPv6 support.
7845         Written by Thomas Lussnig <thomas.lussnig@bewegungsmelder.de>.
7846
7847 2002-01-15  Ian Abbott  <abbotti@mev.co.uk>
7848
7849         * init.c (cmd_file): Change `\' to `/' for Windows (yes, really!)
7850         (cmd_directory): New function. Like cmd_file(), but strips
7851         trailing directory separators.
7852         (commands): Change action for "dirprefix" from `cmd_file' to
7853         `cmd_directory'.
7854
7855         * utils.c (make_directory): Allow intermediate `mkdir' calls to
7856         fail, as not all path components that do not exist should be
7857         directory components, especially under Windows.
7858
7859 2002-01-17  Hrvoje Niksic  <hniksic@arsdigita.com>
7860
7861         * netrc.c (parse_netrc): Skip leading whitespace before testing
7862         whether the line is empty.  Empty lines still contain the line
7863         terminator.
7864
7865 2002-01-15  Hrvoje Niksic  <hniksic@arsdigita.com>
7866
7867         * gen_sslfunc.c (ssl_iread): Call select on the file descriptor
7868         only if no data is pending in SSL buffers.
7869         From tony@bluetail.com.
7870
7871 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
7872
7873         * headers.c (header_get): Strip trailing whitespace from the
7874         header.
7875
7876 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
7877
7878         * url.c (parse_uname): URL-decode *USER and *PASSWD.
7879
7880 2002-01-07  Ian Abbott <abbotti@mev.co.uk>
7881
7882         * url.c (uri_merge_1): Deal with "net path" relative URL (one that
7883         starts with "//").
7884
7885 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
7886
7887         * http.c (gethttp): Invalidate SOCK if get_contents encountered an
7888         error.
7889
7890 2001-12-24  Hrvoje Niksic  <hniksic@arsdigita.com>
7891
7892         * version.c: Wget 1.8.1 is released.
7893
7894 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
7895
7896         * version.c: Wget 1.8.1-pre3 is released.
7897
7898 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
7899
7900         * recur.c (retrieve_tree): Enqueue the canonical representation of
7901         start_url, so that the test against dl_url_file_map works.
7902
7903 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
7904
7905         * log.c (logputs): Check for requested verbosity before printing
7906         anything.
7907
7908 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
7909
7910         * html-url.c (tag_handle_link): Treat the "shortcut icon" link as
7911         inline.
7912
7913 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
7914
7915         * recur.c (retrieve_tree): Make a copy of file obtained from
7916         dl_url_file_map because the code calls xfree(file) later.
7917
7918 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
7919
7920         * recur.c (register_html): Maintain a hash table of HTML files
7921         along with the list.  Disallow duplicates.
7922         (retrieve_tree): Use downloaded_html_set to check whether the file
7923         found in dl_url_file_map is an HTML file, and descend into it if
7924         so.
7925         (convert_all_links): Don't guard against duplicates in
7926         downloaded_html_list, since they are no longer possible.
7927
7928 2001-12-18  Ian Abbott  <abbotti@mev.co.uk>
7929
7930         * recur.c (retrieve_tree): Pass on referring URL when retrieving
7931         recursed URL.
7932
7933 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
7934
7935         * version.c: Wget 1.8.1-pre2 is released.
7936
7937 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
7938
7939         * retr.c (sleep_between_retrievals): Simplify indentation.
7940
7941 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
7942
7943         * gen_sslfunc.c (ssl_init_prng): Use random_number to get a byte
7944         of "randomness" at a time.
7945         (ssl_init_prng): Don't seed the PRNG; random_number will do that.
7946
7947         * retr.c (sleep_between_retrievals): Use it.  Make sure that the
7948         random amount averages in opt.wait.
7949         (sleep_between_retrievals): Don't seed the PRNG; random_number
7950         will do that.
7951
7952         * utils.c (random_number): New function.
7953
7954 2001-12-14  Hrvoje Niksic  <hniksic@arsdigita.com>
7955
7956         * url.c (path_simplify): Move here from utils.c, and make static.
7957
7958 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
7959
7960         * init.c (wgetrc_file_name): Print correct message when loading
7961         getenv("WGETRC") fails.
7962
7963 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
7964
7965         * recur.c (register_download): Don't abort when one URL references
7966         two different files.
7967
7968 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
7969
7970         * http.c (gethttp): Check for conn->scheme, not u->scheme, before
7971         calling ssl_iwrite.
7972
7973 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
7974
7975         * version.c: Wget 1.8.1-pre1 is released.
7976
7977 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
7978
7979         * res.c (matches): Fix broken URL in the docstring.
7980
7981 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
7982
7983         * html-url.c (tag_url_attributes): Mark <embed href=...> as
7984         external.
7985
7986 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
7987
7988         * url.c (get_urls_file): Cosmetic changes.
7989
7990 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
7991
7992         * html-url.c (append_one_url): Resurrect warning when unable to
7993         resolve a relative link.
7994
7995 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
7996
7997         * html-url.c (collect_tags_mapper): Break into several functions.
7998         (tag_url_attributes): Collect <embed href=...>.
7999
8000 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
8001
8002         * host.c: New type ipv4_address.  Use it consistently instead of
8003         `unsigned char[4]' and `unsigned char *'.
8004         (pretty_print_address): Accept a `const void *', to require even
8005         less casting.
8006
8007 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
8008
8009         * ftp-ls.c (ftp_parse_vms_ls): Fix obvious memory leaks.
8010
8011 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
8012
8013         * main.c (main): Initialize progress after fork_to_background, so
8014         that it knows when to use dots.
8015
8016         * mswindows.c (ws_hangup): Call log_request_redirect_output.
8017
8018         * utils.c (fork_to_background): Print the PID of the child
8019         process.
8020
8021         * log.c (log_request_redirect_output): Set a flag that output
8022         redirection has been requested.  Doing anything else in a signal
8023         handler is unsafe.
8024         (check_redirect_output): New function: check whether redirection
8025         has been requested and, if so, call redirect_output().
8026         (logputs): Call check_redirect_output.
8027         (logprintf): Ditto.
8028         (debug_logprintf): Ditto.
8029         (redirect_output): Print clearer messages.
8030
8031         * main.c (redirect_output_signal): Don't call
8032         redirect_output_signal directly.  Instead, call
8033         log_request_redirect_output.
8034
8035         * utils.c (memfatal): Ditto.
8036
8037         * progress.c (display_image): Use it.
8038
8039         * log.c (log_set_save_context): New function: allow the caller to
8040         turn off saving log context lines.
8041
8042 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
8043
8044         * host.c (address_list_set_faulty): Uncomment a sanity check.
8045
8046 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
8047
8048         * utils.c (long_to_string): Return a pointer after where the
8049         number ends.
8050         (long_to_string): Rename to number_to_string.
8051
8052 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
8053
8054         * utils.c (path_simplify): Correctly handle the unlikely case that
8055         b starts out as path + 1.
8056
8057 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
8058
8059         * utils.c (path_simplify): Rewrite, with better comments, and
8060         without the use of strcpy to move overlapping blocks.
8061
8062 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
8063
8064         * init.c (cmd_spec_progress): Resurrect.  Check whether VAL is a
8065         valid progress type before setting it.
8066
8067 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
8068
8069         * main.c (main): Remove stray debugging message.
8070
8071 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
8072
8073         * progress.c (create_image): Fix ETA padding when hours are prined.
8074
8075 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
8076
8077         * version.c: Wget 1.8 is released.
8078
8079 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
8080
8081         * url.c (reencode_string): Declare static.
8082
8083         * res.c (registered_specs): Declare static.
8084
8085         * progress.c (current_impl_locked): Declare static.
8086
8087         * log.c (flush_log_p): Declare static.
8088         (needs_flushing): Ditto.
8089
8090         * http.c (digest_authentication_encode): Declare static.
8091
8092         * html-url.c (init_interesting): Declare static.
8093
8094         * host.c (host_name_addresses_map): Declare static.
8095
8096         * cookies.c (find_matching_chains): Declare static.
8097
8098         * ftp-ls.c (ftp_parse_vms_ls): Warn about the memory leak
8099         indicated by lint.
8100
8101         * utils.c (path_simplify): Remove unused variable STUB_CHAR.
8102
8103         * host.c (address_list_set_faulty): Document that INDEX is
8104         currently unused.
8105
8106         * url.c (rewrite_shorthand_url): Remove unused variable PATH.
8107
8108 2001-12-08  Hrvoje Niksic  <hniksic@arsdigita.com>
8109
8110         * version.c: Wget 1.8-pre2 is released.
8111
8112 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
8113
8114         * progress.c (progress_handle_sigwinch): Set up the signal again.
8115
8116         * utils.c: Include <sys/termios.h>, where Solaris defines
8117         TIOCGWINSZ.
8118
8119         * progress.c (bar_create): Don't use the last column on the screen.
8120         (create_image): Pad ETA to constant size.  Pad SIZE to nine digits
8121         only until it exceeded them.
8122
8123 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
8124
8125         * version.c: Wget 1.8-pre1 is released.
8126
8127 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
8128
8129         * progress.c (progress_create): Make sure that, when the output is
8130         redirected, the progress implementation gets changed to the
8131         fallback one.
8132         (bar_set_params): Set current_impl_locked to 1 when "force" is
8133         specified.
8134         (progress_create): Don't change the progress implementation if
8135         current_impl_locked is non-zero.
8136
8137         * main.c (redirect_output_signal): Call
8138         progress_schedule_redirect.
8139
8140         * progress.c (progress_schedule_redirect): New function.
8141
8142 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
8143
8144         * log.c (logvprintf): Restructure to allow being called multiple
8145         times.
8146         (logprintf): Call logvprintf in a loop.
8147         (debug_logprintf): Ditto.
8148
8149 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
8150
8151         * gen_sslfunc.c (ssl_init_prng): Allow the user to disable EGD by
8152         setting egd_file it to empty string.
8153
8154         * main.c (main): Change the option name from --sslegdsock to
8155         --egd-file.
8156
8157 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
8158
8159         * gen_sslfunc.c (ssl_init_prng): Make the printed message
8160         translatable.
8161
8162 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
8163
8164         * url.c (scheme_disable): New function.
8165
8166         * main.c (main): Call ssl_init_prng from here rather than from
8167         init_ssl, so that it has a chance to disable support for https
8168         before a URL has been resolved.
8169
8170         * gen_sslfunc.c (ssl_init_prng): Seed with rand() if all else
8171         failed.
8172         (ssl_init_prng): Disable support for https if seeding the PRNG
8173         fails.
8174
8175 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
8176
8177         * utils.c (read_whole_line): Handle lines beginning with \0.
8178
8179 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
8180
8181         * recur.c (convert_all_links): Guard against duplicates in
8182         downloaded_html_files.
8183         (register_download): Don't invalidate similar-looking URLs.
8184         (match_except_index): New function.
8185
8186 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
8187
8188         * utils.c (path_simplify): Document with test cases.
8189
8190 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
8191
8192         * gen_sslfunc.c: Ditto.
8193
8194         * rbuf.c: Include <string.h>.
8195
8196 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
8197
8198         * recur.c (retrieve_tree): Check whether the URL was already
8199         downloaded before downloading it again.
8200         (descend_child_p): Renamed to download_child_p.
8201         (register_download): When one URL is downloaded to a file already
8202         "owned" by another URL, delete all references that map any URL to
8203         that file.
8204         (register_delete_file): New function.
8205         (retrieve_tree): Use it after deleting a file.
8206
8207         * url.c (url_parse): Re-canonicalize the URL also if the path is
8208         empty, so that e.g. "http://www.server.com" ->
8209         "http://www.server.com/".
8210         (lowercase_str): Use ISUPPER instead of !ISLOWER.
8211
8212         * retr.c (retrieve_url): Use the canonical URL form when calling
8213         register_download().
8214
8215 2001-12-04  Ian Abbott <abbotti@mev.co.uk>
8216
8217         * snprintf.c (dopr): Use `unsigned int' as the second argument to
8218         va_arg when casting to `unsigned short' is intended.
8219
8220 2001-12-04  Herold Heiko  <Heiko.Herold@previnet.it>
8221
8222         * gen_sslfunc.c: on windows provide ssl crypto random
8223           initialization through RAND_screen(); could possibly
8224           be not enough for strong ssl communication (see the
8225           relevant manual page from the openssl package).
8226
8227 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
8228
8229         * url.c (local_quote_string): Reenable quoting of question marks,
8230         but only when `--html-extension' is used.
8231
8232 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
8233
8234         * version.c: Wget 1.8-beta3 is released.
8235
8236 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
8237
8238         * snprintf.c (dopr): Cast the result of va_arg to short int and
8239         short unsigned int where these types are expected to be used.
8240
8241 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
8242
8243         * snprintf.c (dopr): Replace `short int' and `unsigned short int'
8244         with `int' when using it as the second argument to `va_arg'.
8245
8246 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
8247
8248         * host.c (address_list_new_one): New function.
8249         (lookup_host): Use it.
8250
8251 2001-12-03  Andre Majorel  <amajorel@teaser.fr>
8252
8253         * host.c (lookup_host): Don't initialize TMPSTORE directly because
8254         it's not legal C.
8255
8256 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
8257
8258         * ftp-basic.c (ftp_port): Don't return HOSTERR if we fail getting
8259         the socket data.
8260
8261         * ftp.c: Ditto.
8262
8263         * http.c: No need to declare h_errno.
8264
8265         * host.c: Declare h_errno.
8266
8267 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
8268
8269         * utils.c (file_merge): If BASE doesn't contain a slash, just
8270         return a copy of FILE.
8271
8272 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
8273
8274         * version.c: Wget 1.8-beta2 is released.
8275
8276 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
8277
8278         * ftp.c (getftp): When PWD fails, assume "/".
8279
8280         * ftp-basic.c (ftp_syst): Fix indentation.
8281
8282 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
8283
8284         * url.c (get_urls_file): If opt.base_href is specified, merge each
8285         URL with the base.
8286
8287 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
8288
8289         * main.c (print_help): Don't document the removed `-nh'.
8290
8291 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
8292
8293         * url.c (url_full_path): Document better.
8294
8295         * http.c (gethttp): Use the full path when creating digest
8296         authorization.
8297
8298 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
8299
8300         * cookies.c (path_matches): Return 0 if PREFIX doesn't begin with
8301         '/'.
8302
8303 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
8304
8305         * cookies.c (path_matches): FULL_PATH doesn't begin with '/', but
8306         PREFIX does.
8307
8308 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
8309
8310         * cookies.c (check_domain_match): Reimplement to match Netscape's
8311         "preliminary specification" for cookies.
8312
8313 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
8314
8315         * url.c (replace_attr_refresh_hack): New function.
8316         (convert_links): Call replace_attr_refresh_hack for Refresh
8317         links.  It will add the "TMOUT; URL=" junk before the link.
8318
8319         * html-url.c (collect_tags_mapper): Set ID to the ID of the
8320         "content" attribute, not "http-equiv".
8321         (collect_tags_mapper): Don't use OFFSET to hack the raw_* values;
8322         instead, store the information that this entry belongs to a
8323         "refresh" link.
8324
8325 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
8326
8327         * version.c: Wget 1.8-beta1 is released.
8328
8329 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
8330
8331         * recur.c (retrieve_tree): Allow -p retrievals to exceed maximum
8332         depth by more than one.
8333
8334 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
8335
8336         * retr.c (retrieve_url): Don't allow more than 20 redirections.
8337
8338 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
8339
8340         * recur.c (retrieve_tree): Skip the non-inline entries when
8341         enqueuing the children of a leaf HTML node in -p mode.
8342         (descend_url_p): Ignore opt.no_parent when in -p mode and UPOS is
8343         "inline".
8344
8345         * html-url.c (get_urls_html): Don't accept dash_p_leaf_HTML.
8346         (collect_tags_mapper): When an entry is "inline", mark it as such.
8347
8348         * recur.c (descend_url_p): Fix test when checking for
8349         acceptance/rejection rules.
8350
8351 2001-10-31 Daniel BODEA <dali@dali-designs.com>
8352
8353         * netrc.c (search_netrc): When slack_default is 0, still look for
8354         an account with matching password, just not the "default account".
8355         HTTP Authorization using .netrc should now work as expected.
8356
8357 2001-11-30  T. Bharath  <TBharath@responsenetworks.com>
8358
8359         * http.c (persistent_available_p): Call SHUTDOWN_SSL if
8360         test_socket_open fails.
8361
8362 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
8363
8364         * progress.c (display_image): Just print one CR to reset the
8365         cursor position.
8366
8367 2001-11-30  Christian Fraenkel  <c.fraenkel@gmx.net>
8368
8369         * init.c: New command `ssl_egd_sock'.
8370
8371         * main.c (main): New option `--sslegdsock'.
8372
8373         * gen_sslfunc.c (ssl_init_prng): Seed the RNG using EGD.
8374
8375 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
8376
8377         * cmpt.c (memmove): Include a simple memmove implementation.
8378
8379 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
8380
8381         * headers: Guard against header files being included twice.
8382
8383 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
8384
8385         * gen-md5.c: Use unsigned char * as the buffer argument to
8386         gen_md5_update.
8387
8388 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
8389
8390         * connect.h: Declare select_fd.
8391
8392 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
8393
8394         * recur.c (descend_url_p): When resolving no_parent, compare with
8395         start_url, not parent url.  Otherwise link from /a/b/ to /a/c/
8396         wouldn't be followed, although the download started from /a/.
8397
8398 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
8399
8400         * config.h.ms, mswindows.h: defined HAVE_ISATTY, use _isatty for
8401         MS VC; somebody with Borland compiler please check and provide
8402         patch if possible;
8403
8404         * cmpt.c: provided a usleep emulation.
8405
8406 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
8407
8408         * host.c (address_list_new): Initialize al->faulty.
8409
8410 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
8411
8412         * http.c (http_process_range): Accept the broken output of
8413         "JavaWebServer/1.1.1".
8414
8415 2001-11-28  Hrvoje Niksic  <hniksic@arsdigita.com>
8416
8417         * progress.c (dot_set_params): If PARAMS is unspecified, use
8418         dot_style, if available.
8419
8420         * init.c: Ditto.
8421
8422         * main.c (main): Resurect --dot-style.
8423
8424         * progress.c (dot_finish): Print the quantity if we're left at the
8425         beginning of a row.
8426
8427 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
8428
8429         * cmpt.c (random): Removed.
8430
8431         * retr.c (sleep_between_retrievals): Use the more portable rand()
8432         instead of random().
8433
8434 2001-11-27  Ian Abbott <abbotti@mev.co.uk>
8435
8436         * retr.c (retrieve_from_file): Initialize `new_file' to NULL to
8437         prevent seg fault.
8438
8439 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
8440
8441         * connect.c (connect_to_many): Use address_list_set_faulty to
8442         prevent the faulty address from being reused.
8443
8444         * host.c (address_list_set_faulty): New function.
8445         (address_list_get_bounds): New function, instead of
8446         address_list_count.
8447
8448 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
8449
8450         * url.c (convert_links): Don't translate %d-%d.
8451
8452         * main.c (print_help): Remove stray HAVE_RANDOM code.
8453
8454 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
8455
8456         * ftp.c (getftp): Improve output after sending PASV.  Don't
8457         attempt to "look up" the IP address we already know; call
8458         connect_to_one directly.
8459
8460 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
8461
8462         * progress.c: Change the default progress implementation to "bar".
8463
8464 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
8465
8466         * progress.c (bar_create): Print two newlines.
8467
8468 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
8469
8470         * cmpt.c (random): New function, a simple-minded replacement for
8471         random() on systems that don't have it.
8472
8473 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
8474
8475         * config.h.in: Put a HAVE_USLEEP stub.
8476
8477         * cmpt.c (usleep): Replacement implementation of usleep using
8478         select.
8479
8480         * init.c: New option init_rate.
8481
8482         * main.c (main): New option --limit-rate.
8483
8484         * retr.c (limit_bandwidth): New function.
8485         (get_contents): Call it to limit the bandwidth used when
8486         downloading.
8487
8488         * progress.c (dot_update): Would print the wrong download speed on
8489         rows other than the first one when the download was continued.
8490         (dot_finish): Ditto.
8491
8492 2001-11-26  Ian Abbott <abbotti@mev.co.uk>
8493
8494         * http.c (gethttp): fix undeclared variable 'err' when compiled
8495         with HAVE_SSL.
8496
8497 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
8498
8499         * progress.c: Don't allocate new timers; use the timing data
8500         propagated from the caller.
8501
8502         * retr.c (get_contents): Allocate and use a timer.
8503
8504 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
8505
8506         * http.c (last_host_ip): Made into an address_list.
8507         (invalidate_persistent): Release pc_last_host_ip.
8508         (register_persistent): Use lookup_host.
8509         (persistent_available_p): Check for equality of hosts using
8510         address_list_match_all.  Call address_list_release.
8511         (http_cleanup): New function.
8512
8513         * ftp.c (getftp): Use lookup_host and connect_to_many.
8514
8515         * http.c (gethttp): Use lookup_host and connect_to_many.
8516
8517         * connect.c (make_connection): Removed.
8518         (connect_to_one): New function.
8519         (connect_to_many): Ditto.
8520         (set_connection_host_name): Ditto.
8521
8522         * host.c (lookup_host): New function; new return type.
8523         (address_list_new): New function.
8524         (address_list_count): Ditto.
8525         (address_list_copy_one): Ditto.
8526         (address_list_delete): Ditto.
8527         (address_list_release): Ditto.
8528         (pretty_print_address): Ditto.
8529
8530 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
8531
8532         * recur.c (retrieve_tree): In case of followed redirection,
8533         blacklist the pre-redirection URL.
8534
8535 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
8536
8537         * recur.c (descend_redirect_p): New function.
8538         (retrieve_tree): Make sure redirections are not blindly followed.
8539
8540 2001-11-04  Alan Eldridge  <alane@geeksrus.net>
8541
8542         * config.h.in: added HAVE_RANDOM.
8543
8544         * options.h: added random_wait to struct options.
8545
8546         * main.c (print_help [HAVE_RANDOM], main): added arg parsing, help
8547         for --random-wait.
8548
8549         * retr.c (sleep_between_retrievals) [HAVE_RANDOM]: added
8550         implementation of random wait times.
8551
8552         * init.c (commands): added "randomwait" keyword.
8553
8554 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
8555
8556         * recur.c (descend_url_p): Be more conservative with blacklisting
8557         URLs.
8558         (convert_all_links): Print how many files have been converted, and
8559         how long it took.
8560
8561         * progress.c (create_image): Place the number of downloaded bytes
8562         right after the progress bar.
8563
8564         * utils.c (suffix): Return a pointer into the string.
8565
8566 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
8567
8568         * url.c (convert_links): Handle CO_NULLIFY_BASE.
8569
8570         * recur.c (retrieve_tree): Ignore download-ignorable children.
8571         (convert_all_links): Specify CO_NULLIFY_BASE when link_base_p.
8572
8573         * html-url.c (handle_link): Return the newly created urlpos.
8574         (collect_tags_mapper): When dealing with BASE, store the base
8575         reference and mark it as download-ignorable.
8576
8577 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
8578
8579         * url.c (convert_links): Attempt to quote '?' as "%3F" when
8580         linking to local files.  Given up on the attempt, as it breaks
8581         local browsing.
8582
8583 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
8584
8585         * main.c (private_initialize): Removed.
8586         (main): Don't call private_initialize.
8587
8588         * http.c: Call lookup_host.
8589
8590         * host.c (host_init): Removed.
8591         (add_host_to_cache): Initialize host_name_address_map here, on
8592         demand.
8593         (ngethostbyname): Commented out.
8594
8595         * connect.c (make_connection): Remove dead code; use lookup_host.
8596
8597         * host.c (store_hostaddress): Renamed to lookup_host and reversed
8598         the args.
8599         Removed host_address_name_map and host_slave_master_map.
8600
8601 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
8602
8603         * progress.c (dot_create): Align the "[ skipping ... ]" string
8604         with the dots.
8605
8606         * retr.c (rate): Split into two functions: calc_rate and
8607         retr_rate.
8608
8609         * progress.c (create_image): Draw a dummy progress bar even when
8610         total size is unknown.
8611         (display_image): Place the text cursor at the end of the "image".
8612
8613 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
8614
8615         * url.c (reencode_string): Use unsigned char, not char --
8616         otherwise the hex digits come out wrong for 8-bit chars such as
8617         nbsp.
8618         (lowercase_str): New function.
8619         (url_parse): Canonicalize u->url if needed.
8620         (get_urls_file): Parse each URL, and return only the valid ones.
8621         (free_urlpos): Call url_free.
8622         (mkstruct): Add :port if the port is non-standard.
8623         (mkstruct): Append the query string to the file name, if any.
8624         (urlpath_length): Use strpbrk_or_eos.
8625         (uri_merge_1): Handle the cases where LINK is an empty string,
8626         where LINK consists only of query, and where LINK consists only of
8627         fragment.
8628         (convert_links): Count and report both kinds of conversion.
8629         (downloaded_file): Use a hash table, not a list.
8630         (downloaded_files_free): Free the hash table.
8631
8632         * retr.c (retrieve_from_file): Ditto.
8633
8634         * main.c (main): Call either retrieve_url or retrieve_tree
8635         for each URL, not both.
8636
8637         * retr.c (register_all_redirections): New function.
8638         (register_redirections_mapper): Ditto.
8639         (retrieve_url): Register the redirections.
8640         (retrieve_url): Make the string "Error parsing proxy ..."
8641         translatable.
8642
8643         * res.c (add_path): Strip leading slash from robots.txt paths so
8644         that the path representations are "compatible".
8645         (free_specs): Free each individual path, too.
8646         (res_cleanup): New function.
8647         (cleanup_hash_table_mapper): Ditto.
8648
8649         * recur.c (url_queue_new): New function.
8650         (url_queue_delete): Ditto.
8651         (url_enqueue): Ditto.
8652         (url_dequeue): Ditto.
8653         (retrieve_tree): New function, replacement for recursive_retrieve.
8654         (descend_url_p): New function.
8655         (register_redirection): New function.
8656
8657         * progress.c (create_image): Cosmetic changes.
8658
8659         * init.c (cleanup): Do all those complex cleanups only if
8660         DEBUG_MALLOC is defined.
8661
8662         * main.c: Removed --simple-check and the corresponding
8663         simple_host_check in init.c.
8664
8665         * html-url.c (handle_link): Parse the URL here, and propagate the
8666         parsed URL to the caller, who would otherwise have to parse it
8667         again.
8668
8669         * host.c (xstrdup_lower): Moved to utils.c.
8670         (realhost): Removed.
8671         (same_host): Ditto.
8672
8673 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
8674
8675         * utils.c (path_simplify): Preserver the (non-)existence of
8676         leading slash.  Return non-zero if changes were made.
8677
8678 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
8679
8680         * progress.c (bar_update): Don't modify bp->total_length if it is
8681         zero.
8682
8683 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
8684
8685         * retr.c (retrieve_url): When the redirection URL doesn't parse,
8686         print the correct error message rather than "UNKNOWN".
8687
8688 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
8689
8690         * progress.c (bar_finish): If the timer didn't record any time
8691         since the download beginning, fake 1ms.
8692
8693 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
8694
8695         * recur.c (recursive_retrieve): Fix typo.
8696
8697 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
8698
8699         * progress.c (create_image): Don't translate "%ld ".
8700
8701 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
8702
8703         * progress.c (bar_set_params): Allow the user to force the use of
8704         the bar.
8705
8706 2001-11-23  Lemble Gregory  <gregory.lemble@st.com>
8707
8708         * gen_sslfunc.c (ssl_init_prng): New function; seed the SSL RNG.
8709
8710 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
8711
8712         * progress.c: Renamed dp_* functions to dot_* for greater clarity
8713         and consistency with bar_*.
8714         (print_download_speed): Get rid of the unneeded '@' character.
8715         (create_image): Fix download rate geometry.
8716
8717         * progress.c (print_elapsed): Remove spurious space.
8718         (print_elapsed): Renamed to print_download_speed, since that's
8719         what it does.
8720
8721 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
8722
8723         * progress.c (bar_update): If the downloaded amount becomes larger
8724         than the expected amount, adjust the expected amount accordingly.
8725
8726 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
8727
8728         * utils.c (determine_screen_width): New function.
8729
8730         * main.c (main): New option `--progress=TYPE'.
8731         (main): Implement compatibility with the old option `--dot-style'.
8732
8733         * init.c: Removed cmd_spec_dotstyle -- that logic is now in
8734         dp_set_params.
8735         (cmd_spec_progress): New function.
8736
8737         * retr.c (get_contents): Use the progress_* functions instead of
8738         the old show_progress().
8739         (show_progress): Removed.
8740         (rate): Print "xxxx.xx K/s" instead of "KB/s".  Ditto for MB/s,
8741         etc.
8742
8743         * progress.c (set_progress_implementation): New function.
8744         (valid_progress_implementation_p): Ditto.
8745         (progress_create): Ditto.
8746         (progress_update): Ditto.
8747         (progress_finish): Ditto.
8748         (dp_create): Ditto.
8749         (dp_update): Ditto.
8750         (dp_finish): Ditto.
8751         (dp_set_params): Ditto.
8752         (print_elapsed): Ditto.
8753
8754 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
8755
8756         * retr.c (show_progress): Use it.
8757
8758         * log.c (log_set_flush): New function.
8759
8760 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
8761
8762         * utils.c (path_simplify): Don't remove trailing slashes.
8763
8764         * ftp.c (ftp_get_listing): Use it.
8765
8766         * utils.c (file_merge): New function.
8767
8768         * url.c (opt_url): Removed.
8769
8770         * recur.c (recursive_retrieve): Inline "opt_url" logic.
8771
8772         * main.c (main): Use xfree(), not free().
8773
8774         * url.c (rewrite_url_maybe): Renamed to rewrite_shorthand_url.
8775
8776         * ftp.c (ccon): Move `ccon' typedef here, since it's only used
8777         internally.
8778
8779         * config.h.in: Include a stub for HAVE_STRPBRK.
8780
8781         * cmpt.c (strpbrk): Include a replacement for systems without
8782         strpbrk().
8783
8784         * ftp.c: Use url_set_dir and url_set_file when modifying the URL.
8785
8786         * url.c (url_set_dir): New function.
8787         (url_set_file): Ditto.
8788
8789         * ftp-basic.c (ftp_process_type): Process FTP type here; the URL
8790         parser makes the URL "params" available, so we can do that in this
8791         function.
8792
8793         * retr.c: Ditto.
8794
8795         * ftp.c: Ditto; pass the local file information in `ccon'.
8796
8797         * http.c: Get rid of the ugly kludge that had URL being replaced
8798         with the proxy URL when proxy retrieval was requested.  Use a
8799         separate parameter to http_loop and gethttp for the proxy URL.
8800
8801         * http.c: Changed to reflect the fact that local file, proxy, and
8802         referer information are no longer stored in struct url.  The local
8803         file information is passed in `struct hstat' now.
8804
8805         * url.c: Reworked URL parsing to be more regular.  Reencode the
8806         URL using reencode_string.
8807         Removed non-URL-related information from struct url.  This
8808         includes fields `proxy', `local', and `referer'.
8809
8810 2001-11-22  Jochen Hein  <jochen@jochen.org>
8811
8812         * main.c (main): Split the copyright notice for easier
8813         translation.
8814
8815 2001-08-21  Dave Turner <dct25@hermes.cam.ac.uk>
8816
8817         * ftp-basic.c (ftp_size): New function to send non-standard SIZE
8818           command to server to request file size.
8819         * ftp.h (ftp_size): Export it.
8820         * ftp.c (getftp): Use new ftp_size function if restoring
8821           transfer of a file with unknown size.
8822
8823 2001-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
8824
8825         * url.c (parseurl): Don't depend on the now-obsolete TYPE.
8826
8827 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
8828
8829         * url.c (getproxy): Handle URL shorthands.
8830
8831 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
8832
8833         * main.c: Remove --wait / --waitretry backwards compatibility
8834         code.
8835
8836 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
8837
8838         * main.c (main): Use it.
8839
8840         * url.c (rewrite_url_maybe): New function.
8841
8842 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
8843
8844         * url.c: Clean up handling of URL schemes.
8845
8846 2001-05-13  Hrvoje Niksic  <hniksic@arsdigita.com>
8847
8848         * url.c: Get rid of `protostrings'.
8849         (skip_proto): Don't use protostrings.
8850         (has_proto): Ditto.
8851
8852 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
8853
8854         * Makefile.in: Conditionally compile getopt.o.
8855
8856 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
8857
8858         * md5.h: Renamed to gnu-md5.h.
8859
8860         * md5.c: Renamed to gnu-md5.c.
8861
8862         * http.c: Ditto.
8863
8864         * ftp-opie.c: Use the new macros.
8865
8866         * sysdep.h: Define md5-related macros.
8867
8868         * config.h.in: Define HAVE_SOLARIS_MD5 or HAVE_BUILTIN_MD5
8869         depending on which md5 implementation is used.
8870
8871 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
8872
8873         * res.c (res_register_specs): Initialize OLD and HP_OLD to appease
8874         the compiler.
8875
8876 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
8877
8878         * http.c (gethttp): Print the whole response line when printing
8879         headers is requested.
8880
8881 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
8882
8883         * res.c: New file.  Implement all RES-related code here.
8884
8885 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
8886
8887         * version.c: Wget 1.7.1 is released.
8888
8889 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
8890
8891         * headers.c (header_extract_number): Ignore trailing whitespace.
8892
8893 2001-08-24  Ian Abbott  <abbotti@mev.co.uk>
8894
8895         * html-url.c (collect_tags_mapper): Fix bug converting links
8896         with -k option for tags with multiple link attributes by
8897         handling links in the order they appear.
8898
8899 2001-08-15  Ian Abbott  <abbotti@mev.co.uk>
8900
8901         * ftp.c (ftp_loop_internal): Avoid a potential buffer overflow in
8902           the call to the 'rate' function by moving it past the error
8903           checking for the 'getftp' function return value.
8904
8905 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
8906
8907         * html-parse.c (advance_declaration): Use 0x22 instead of '"' or
8908         '\"'.  Different compilers' assert macros are broken in different
8909         ways.
8910
8911 2001-09-29  Christian Fraenkel  <c.fraenkel@gmx.net>
8912
8913         * http.c (gethttp): print debug output for errors occuring during
8914         the ssl handshake.
8915
8916 2001-11-16  Chris Seawood  <cls@seawood.org>
8917
8918         * init.c: Ditto.
8919
8920         * host.c: Ditto.
8921
8922         * connect.c: Ditto.
8923
8924         * sysdep.h: Support compilation under BEOS.
8925
8926 2001-06-08  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
8927
8928         * url.c (url_equal): Fix a memory leak when parseurl returns an
8929         error on the second URL. Also, since url_equal is not used at the
8930         moment, do not compile it.
8931
8932         * url.h: Ditto for the prototype of url_equal.
8933
8934 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
8935
8936         * html-parse.c (map_html_tags): Support XML-style empty tags.
8937
8938 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
8939
8940         * wget.h (DO_REALLOC_FROM_ALLOCA): Check for do_realloc_newsize in
8941         loop condition because we're no longer setting SIZEVAR here.
8942
8943 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
8944
8945         * wget.h (DO_REALLOC_FROM_ALLOCA): Set SIZEVAR after the memcpy()
8946         call because it needs the old value.
8947
8948 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
8949
8950         * cookies.c (ATTR_NAME_CHAR): Allow almost any character to be in
8951         an attribute name.
8952
8953 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
8954
8955         * url.c (url_filename): Make sure that slashes that sneak in to
8956         u->file via query string get protected.
8957         (file_name_protect_query_string): New function.
8958
8959 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
8960
8961         * recur.c (recursive_retrieve): Also check undesirable_urls with
8962         canonicalized URL.
8963
8964 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
8965
8966         * http.c (gethttp): Search `.netrc' with real host, not the proxy
8967         one.
8968
8969 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
8970
8971         * sysdep.h (MAP_FAILED): Provide MAP_FAILED for systems that don't
8972         define it.
8973
8974 2001-06-09  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
8975
8976         * ftp.h: Provide correct prototype for ftp_parse_ls().
8977
8978 2001-06-04  Hrvoje Niksic  <hniksic@arsdigita.com>
8979
8980         * version.c: Wget 1.7 is released.
8981
8982 2001-06-03  Karl Eichwalder  <ke@suse.de>
8983
8984         * ftp-ls.c (ftp_parse_ls): Fix typo.
8985
8986 2001-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
8987
8988         * all: Update copyright information.
8989
8990 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
8991
8992         * http.c (gethttp): Indicate that the continued download failed
8993         for *this* file.
8994
8995 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
8996
8997         * version.c: Wget 1.7-pre1 is released.
8998
8999 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
9000
9001         * version.c: Updated version to 1.7-pre1.
9002
9003 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
9004
9005         * gen_sslfunc.c: Don't include <sys/time.h> directly.
9006
9007 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
9008
9009         * http.c (gethttp): Use real URL data for cookies, not the proxy
9010         stuff.
9011
9012 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
9013
9014         * main.c (print_help): Document `--no-http-keep-alive'.
9015
9016         * utils.c (numdigit): Handle negative numbers *correctly*.
9017
9018         * hash.c (make_nocase_string_hash_table): Use term "nocase" rather
9019         than the confusing "unsigned".
9020
9021         * utils.c (string_set_contains): Renamed from string_set_exists.
9022
9023         * hash.c (hash_table_contains): Renamed from hash_table_exists.
9024
9025         * cookies.c: Move case-insensitive hash tables to hash.c.
9026
9027 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
9028
9029         * http.c (gethttp): Before concluding that the file is already
9030         fully retrieved, make sure that the file existed and `Range' was
9031         actually requested.
9032
9033 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
9034
9035         * cookies.c (eliminate_dups): New function.
9036         (build_cookies_request): Use it.
9037         (build_cookies_request): Set chain_store_size after reallocating
9038         all_chains.
9039         (check_domain_match): Annotated for easier future debugging.
9040         (store_cookie): In the debug message, print whether the cookie is
9041         permanent.
9042
9043 2001-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
9044
9045         * http.c (http_loop): Reset no_truncate before deciding whether to
9046         set it.
9047         (gethttp): Further clarify "-c conflicts with existing file" error
9048         message, based on input from Herold Heiko.
9049
9050 2001-05-07  Hrvoje Niksic  <hniksic@arsdigita.com>
9051
9052         * http.c (http_loop): If restval is set, set no_truncate to 1
9053         unconditionally.
9054
9055 2001-05-02  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
9056
9057         * ftp-ls.c (ftp_parse_winnt_ls): Assure months are being correctly
9058         converted. Pointed out by <Stefan.Weil@de.heidelberg.com>.
9059         (ftp_parse_vms_ls): Ditto.
9060
9061 2001-04-30  Hrvoje Niksic  <hniksic@arsdigita.com>
9062
9063         * init.c (cmd_address): Zero SIN before using it; apparently
9064         needed on *BSD.
9065
9066 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
9067
9068         * ftp.c (ftp_loop_internal): Don't set NO_TRUNCATE if the file is
9069         empty.
9070
9071 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
9072
9073         * main.c (main): Make `--cookies' respect its argument.
9074
9075 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
9076
9077         * main.c (main): Removed undocumented option `--email-address'.
9078
9079         * netrc.c: Use the latest read_whole_line.
9080
9081         * init.c (defaults): Set opt.ftp_pass to "-wget@".
9082
9083         * mswindows.c (pwd_cuserid): Ditto.
9084
9085         * utils.c (pwd_cuserid): Removed.
9086
9087         * host.c (ftp_getaddress): Removed.
9088
9089 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
9090
9091         (http_loop): Allocate space for filename_plus_orig_suffix with
9092         alloca; this is more efficient and removes the need to free it
9093         before each and every return.
9094
9095 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
9096
9097         * http.c (gethttp): Return RETRUNNEEDED when the retrieval is
9098         unneeded because the file is already there and fully downloaded,
9099         and -c is specified.
9100         (http_loop): Handle RETRUNNEEDED.
9101
9102         * wget.h (uerr_t): New value RETRUNNEEDED.
9103
9104         * http.c (http_loop): Set no_truncate for files that both exist
9105         and are non-empty.
9106         (gethttp): Consider the download finished when restval >= contlen,
9107         not only when restval==contlen.
9108         (gethttp): Handle redirection before giving up due to -c.
9109         (gethttp): Clarify error message which explains that -c will not
9110         truncate the file.
9111         (gethttp): When returning CONTNOTSUPPORTED, don't forget to free
9112         the stuff that needs freeing and release the socket.
9113
9114 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
9115
9116         * main.c (print_help): Wget booleans accept "off", not "no".
9117
9118 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
9119
9120         * http.c (http_loop): If allow_cache is zero, always disable
9121         caching, not only when retrieving through proxy.
9122
9123         * init.c: Ditto.
9124
9125         * options.h (struct options): Rename proxy_cache to allow_cache.
9126
9127 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
9128
9129         * http.c (mktime_from_utc): Improve documentation.
9130         (http_atotm): Put format strings into a separate array.
9131
9132 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
9133
9134         * safe-ctype.h: Instead of throwing #error when isalpha is
9135         defined, redefine it to something that will throw a compile-time
9136         error if actually *used*.  Do the same for the rest of the
9137         standard C macros.
9138
9139 2001-04-26  Hrvoje Niksic  <hniksic@arsdigita.com>
9140
9141         * url.c (getproxy): Ignore empty proxy vars.
9142
9143 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
9144
9145         * http.c (http_loop): Would load cookies every time.
9146
9147         * cookies.c (load_cookies): Handle cookies whose values contain
9148         embedded spaces.
9149
9150 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
9151
9152         * utils.c: Define each DIGITS_* in one line.
9153
9154 2001-04-25  Roger L. Beeman  <beeman@cisco.com>
9155
9156         * http.c (http_atotm): Initialize t.tm_isdst to 0.
9157         (mktime_from_utc): Prevent mktime() from having discontinuities at
9158         DST transition points.
9159
9160 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
9161
9162         * html-url.c (get_urls_html): Fix documentation.
9163
9164 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
9165
9166         * url.c (UNSAFE_CHAR): Reimplement using a static table.
9167         (url_init): Removed.
9168         (init_unsafe_char_table): Removed.
9169
9170 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
9171
9172         * snprintf.c (dopr): Replace ISDIGIT with '0' <= ch && ch <= '9'.
9173
9174 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
9175
9176         * utils.c: Document timer functions.
9177
9178         * retr.c (rate): Use it.
9179         (rate): Print in GB/s if transfer rate exceeds 1 GB/s.
9180
9181         * utils.c (wtimer_granularity): New function.
9182
9183 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
9184
9185         * retr.c (show_progress): Ditto.
9186
9187         * ftp.c (getftp): Ditto.
9188
9189         * http.c (gethttp): Use new timer functions.
9190
9191         * utils.c (wtimer_allocate): New function.
9192         (wtimer_new): Ditto.
9193         (wtimer_delete): Ditto.
9194         (wtimer_reset): Ditto.
9195         (wtimer_elapsed): Ditto.
9196
9197 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
9198
9199         * utils.c (long_to_string): New, faster version.  Favors smaller
9200         numbers; much of the calculation is now done at compile-time.
9201
9202 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
9203
9204         * utils.c (numdigit): Handle negative numbers.
9205
9206 2001-04-23  Hrvoje Niksic  <hniksic@arsdigita.com>
9207
9208         * retr.c (show_progress): Print the download rate even when the
9209         percentages are not available.
9210
9211 2001-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
9212
9213         * ftp.c (getftp): Adjust expected_bytes if the length is
9214         authoritative.
9215
9216 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
9217
9218         * url.c: Don't declare `construct'.
9219
9220         * hash.c (grow_hash_table): Speed up rehashing; inline storing of
9221         mappings to new locations.
9222         (hash_table_new): Make resize_threshold a field in the hash table,
9223         so we don't have to recalculate it in each hash_table_put.
9224         (grow_hash_table): Update resize_threshold.
9225         (MAX): Remove unused macro.
9226         (prime_size): Made static.
9227
9228 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
9229
9230         * retr.c (retrieve_url): Call uri_merge, not url_concat.
9231
9232         * html-url.c (collect_tags_mapper): Call uri_merge, not
9233         url_concat.
9234
9235         * url.c (mkstruct): Use encode_string instead of xstrdup followed
9236         by URL_CLEANSE.
9237         (path_simplify_with_kludge): Deleted.
9238         (contains_unsafe): Deleted.
9239         (construct): Renamed to uri_merge_1.
9240         (url_concat): Renamed to uri_merge.
9241
9242 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
9243
9244         * url.c (str_url): Use encode_string instead of the unnecessary
9245         CLEANDUP.
9246         (encode_string_maybe): New function, returns input string if no
9247         encoding is needed.
9248         (encode_string): Call encode_string_maybe to do the dirty work,
9249         xstrdup if no work needed.
9250
9251 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
9252
9253         * wget.h (XDIGIT_TO_xchar): Define here.
9254
9255         * url.c (decode_string): Use new name.
9256         (encode_string): Ditto.
9257
9258         * http.c (XDIGIT_TO_xchar): Rename HEXD2asc to XDIGIT_TO_xchar.
9259         (dump_hash): Use new name.
9260
9261         * wget.h: Rename ASC2HEXD and HEXD2ASC to XCHAR_TO_XDIGIT and
9262         XDIGIT_TO_XCHAR respectively.
9263
9264 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
9265
9266         * init.c: Include cookies.h.
9267
9268         * cookies.h: Declare cookies_cleanup.
9269
9270         * cookies.c (check_domain_match): Remove unused variable.
9271         (save_cookies): Remove extraneous argument from debug statement.
9272
9273         * host.c (same_host): Don't call skip_url.
9274
9275         * url.c (skip_url): Removed.  Removed its calls from various
9276         functions in url.c.
9277
9278 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
9279
9280         * cookies.c (unsigned_string_hash): Use the new code in
9281         string_hash as reference.
9282
9283         * hash.c (hash_table_map): Allow deletion and change of the
9284         element processed by MAPFUN.
9285         (string_hash): Use the function from glib.
9286
9287 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
9288
9289         * config.h.in: Include #undef stub.
9290
9291         * hash.c (hash_table_remove): Rewrite to actually clear deleted
9292         entries instead of just marking them as deleted.
9293
9294 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
9295
9296         * hash.h: Declare hash_table_get_pair and hash_table_count.
9297
9298 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
9299
9300         * cookies.c: Declare http_atotm.
9301
9302 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
9303
9304         * ftp-ls.c (ftp_parse_unix_ls): Use octal constants for
9305         permissions.  A compiler that doesn't accept octal constants is
9306         seriously broken and shouldn't be used -- octal constants were
9307         present in K&R C!
9308
9309 2001-01-20  Karl Eichwalder  <ke@suse.de>
9310
9311         * Makefile.in: Provide and use DESTDIR according to the Coding
9312         Standards.
9313
9314 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
9315
9316         * ftp-ls.c (ftp_parse_vms_ls): Make seconds optional in time
9317         specification.
9318
9319 2001-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
9320
9321         * url.c (parseurl): Don't strip trailing slash when u->dir is "/"
9322         because that strips the *leading* slash, thus forcing relative
9323         FTP retrieval.
9324
9325 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
9326
9327         * ftp.c (getftp): Convert initial FTP directory from VMS to UNIX
9328         notation for VMS servers.
9329         (ftp_retrieve_dirs): Do not prepend '/' to f->name when
9330         odir is an empty string.
9331
9332 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
9333
9334         * ftp-ls.c (ftp_parse_winnt_ls): Made the fix for AM/PM more
9335         effective. Suggested by Edward J. Sabol.
9336
9337 2001-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
9338
9339         * cookies.c (build_cookies_request): Use and sort cookies from all
9340         matching domains.
9341         (build_cookies_request): Check for duplicates before generating
9342         the `Cookies' header.
9343
9344         * main.c (main): Don't load cookies here.
9345         (main): Make loadcookies and savecookies call the correct command.
9346
9347         * http.c (http_loop): Load cookies on-demand.
9348
9349 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
9350
9351         * http.c (gethttp): Fix indentation of SSL ifdef.
9352
9353 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
9354
9355         * ftp.c (ftp_retrieve_dirs): Don't forcibly prepend "/" to u->dir;
9356         that hack is no longer necessary.
9357         (getftp): Prepend initial directory to *non*-absolute u->dir's.
9358
9359 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
9360
9361         * init.c (cmd_file): New function.
9362         (enable_tilde_expansion): New variable.
9363         (run_wgetrc): Use it.
9364         (cmd_file): Use it.
9365
9366 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
9367
9368         * init.c: Include cookie-related options.
9369
9370         * main.c (main): Include cookie-specific options.
9371         (main): Load cookies before download is finished.
9372         (main): Save cookies when done.
9373
9374         * http.c (gethttp): Process the `Set-Cookie' header.
9375         (gethttp): Include cookies in the response.
9376
9377         * cookies.c: New file.
9378
9379 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
9380
9381         * utils.c (datetime_str): New function.
9382
9383 2001-04-08  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
9384
9385         * ftp-ls.c (ftp_parse_winnt_ls): The AM/PM change did assume
9386         12:01PM == 00:01, which was obviously wrong. Taken care of this
9387         anomaly.
9388
9389         * ChangeLog: Removed an excess conflict marker. Reformatted the
9390         entry by Philipp Thomas from 2001-03-09.
9391
9392         * ftp-ls.c (ftp_parse_winnt_ls): Ensure that adjusted PM hours lay
9393         between 0 and 23. Elminate unused variable `sec'.
9394
9395 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
9396
9397         * hash.c (hash_table_count): New function.
9398
9399 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
9400
9401         * utils.c (read_file): Cast MAP_FAILED to char *.  Enforced by
9402         Digital Unix cc.
9403
9404 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
9405
9406         * config.h.in: Oops, do the namespace tweaks only on systems we
9407         know about.
9408
9409 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
9410
9411         * hash.c: Include <string.h>.
9412
9413 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
9414
9415         * config.h.in: Define "compilation environment" options that work
9416         under Linux and Solaris.  To be reviewed on other OS'es.
9417
9418 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
9419
9420         * http.c (gethttp): Prepend literal newline with `\n\'.
9421
9422 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
9423
9424         * sysdep.h: Don't define VERY_LONG_FORMAT.
9425
9426         * utils.c (very_long_to_string): New function.
9427         (legible_very_long): Use it; don't use VERY_LONG_FORMAT.
9428
9429 2001-04-04  Christian Fraenkel  <christian.fraenkel@gmx.net>
9430
9431         * url.c (parse_uname): Would run past the end of the string if the
9432         username was present, but the URL did not contain a slash, e.g.
9433         http://foo:bar@myhost.
9434
9435 2001-04-03  KOJIMA Hajime  <kjm@rins.ryukoku.ac.jp>
9436
9437         * http.c (http_atotm): Use %A instead of %a to match full
9438         weekday.  (On most systems there is no difference.)
9439
9440 2001-04-03  Paul Bludov  <paul@ozero.net>
9441
9442         * mswindows.c (sleep): Use SleepEx() instead of Sleep().
9443         (ws_changetitle): Use alloca() instead of malloc() to avoid memory
9444         leak.
9445         (ws_mypath): Use GetModuleFileName instead of argv[0].
9446         (ws_startup): Use data.wVersion for comparison.
9447
9448 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
9449
9450         * http.c (http_loop): Ditto.
9451
9452         * ftp.c (ftp_loop_internal): Made the check whether to continue
9453         retrieval `-O'-friendly.
9454
9455 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
9456
9457         * netrc.c (parse_netrc): Don't trim the line endings explicitly;
9458         they will be handled as whitespace.
9459         (parse_netrc): Correctly handle lines that end with whitespace.
9460
9461 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
9462
9463         * retr.c (retrieve_url): New variable global_download_count used
9464         to identify first retrieval.
9465
9466         * ftp.c (getftp): Ditto.
9467
9468         * http.c (gethttp): Rewind opt.dfp only on first retrieval.
9469
9470 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
9471
9472         * init.c (cmd_address): Heap-allocate the address that gets stored
9473         to CLOSURE.  Old code would simply assign an address on the stack.
9474
9475 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
9476
9477         * ftp.c (ftp_get_listing): Propagate error status.
9478         (ftp_retrieve_glob): Use it.
9479         (ftp_loop): Ditto.
9480
9481 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
9482
9483         * main.c (main): Add -C to the string that is the third arg to
9484         getopt_long().
9485
9486 2001-04-01  Hrvoje Niksic  <hniksic@arsdigita.com>
9487
9488         * ftp.c (getftp): Don't start the download from scratch if `-c'
9489         was specified, but the file is already fully downloaded.
9490
9491         * http.c (gethttp): Don't truncate a pre-existing file if `-c' was
9492         specified and the server doesn't support continued download.
9493         (gethttp): Don't start the download from scratch if `-c' was
9494         specified, but the file is already fully downloaded.
9495
9496 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
9497
9498         (recursive_retrieve): Don't clear the hash tables at this point at
9499         all; it interferes with the normal operation of register_download.
9500
9501 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
9502
9503         * recur.c (recursive_retrieve): Clear the hash tables only when
9504         they are defined.
9505
9506 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
9507
9508         * http.c (gethttp): Make sure the socket is closed with
9509         CLOSE_INVALIDATE before we have drained the body.
9510
9511 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
9512
9513         * retr.c (retrieve_url): Call register_download() for downloaded
9514         files and register_html() for downloaded HTML files.
9515
9516         * recur.c (register_download): New function; register here that a
9517         file has been downloaded, rather than in recursive_retrieve().
9518         (register_html): New function; enqueue the location of HTML files
9519         here rather than in recursive_retrieve().
9520
9521 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
9522
9523         * main.c (print_help): Use multiple fputs instead of a single ugly
9524         printf().
9525         (main): Consistently assign numbers >128 to options without a
9526         corresponding character.
9527
9528 2001-03-09  Philipp Thomas  <pthomas@suse.de>
9529
9530         * safe-ctype.h: New file. Locale independent ctype.h replacement
9531         taken from libiberty.
9532
9533         * safe-ctype.c: New file. Tables for above.
9534
9535         * Makefile.in: Add safe-ctype$o to OBJS.  Add dependencies for
9536         safe-ctype$o.
9537
9538         * cmpt.c: Remove include of ctype.h. Use ISSPACE instead of
9539         isspace.
9540
9541         * ftp-basic.c: Don't include ctype.h.
9542
9543         * ftp-ls.c: Likewise.
9544
9545         * ftp.c: Likewise.
9546
9547         * headers.c: Likewise.
9548
9549         * host.c: Likewise.
9550
9551         * html-parse.c: Likewise.
9552
9553         * html-url.c: Likewise.
9554
9555         * http.c: Likewise.
9556
9557         * init.c: Likewise.
9558
9559         * main.c: Likewise. Set LC_CTYPE along with LC_MESSAGES.
9560
9561         * netrc.c: Likewise.
9562
9563         * recur.c: Likewise.
9564
9565         * retr.c: Likewise.
9566
9567         * snprintf.c: Replace ctype.h with safe-ctype.h. Use ISDIGIT
9568         instead of isdigit.
9569
9570         * sysdep.h: Remove defines of ctype macros as they aren't needed
9571         for safe-ctype-h.
9572
9573         * url.c: Don't include ctype.h.
9574
9575         * utils.c: Likewise.
9576
9577         * wget.h: Include safe-ctype.h.
9578
9579 2001-03-27  Dan Harkless  <wget@harkless.org>
9580
9581         * Makefile.in: Moved top_builddir out of "User configuration
9582         section" of top Makefile and analogous spot in this one.
9583
9584 2001-03-17  Dan Harkless  <wget@harkless.org>
9585
9586         * Makefile.in: Include @SSL_INCLUDES@ substition in INCLUDES.
9587         Define top_builddir.  Link wget with libtool so the user doesn't
9588         have to supply a bunch of custom environment variables to
9589         correctly link with the OpenSSL shared libraries.
9590
9591 2001-03-06  Hack Kampbjorn  <hack@hackdata.com>
9592
9593         * http.c (gethttp): skip :port in host header if it is the
9594         DEFAULT_HTTPS_PORT when using SSL.
9595
9596         * url.c: move the #define of DEFAULT_HTTP_PORT, DEFAULT_FTP_PORT
9597         and DEFAULT_HTTPS_PORT to the header file so it can be use in the
9598         rest of the code.
9599         * url.h: Ditto
9600
9601 2001-03-01  Jonas Jensen  <bones@huleboer.dk>
9602
9603         * retr.c (show_progress): Correctly calculate the number of bytes
9604         in the first line of the download that have been actually
9605         downloaded in this run.
9606
9607 2001-02-23  Dan Harkless  <wget@harkless.org>
9608
9609         * main.c (print_help): --help documentation for -N said it would
9610         re-download files if they had the _same_ timestamp on server.
9611         (print_help): -nr belongs in "FTP options" section of --help
9612         output, not "Recursive retrieval" section.  Alphabetized FTP
9613         options by long option name.
9614
9615 2001-02-16  Dan Harkless  <wget@harkless.org>
9616
9617         * init.c (commands): Hack Kampbjørn <hack@hackdata.com> discovered
9618         that "httpsproxy" had been inserted into commands[] out of
9619         alphabetical order, causing "BUG: unknown command `httpuser'".
9620
9621 2001-02-13  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
9622
9623         * ftp-ls.c (ftp_parse_ls): Added support of ST_MACOS (Unix-like
9624         listing without correct permissons).
9625
9626         * ftp.h (stype): Added ST_MACOS to identify the NetPresenz MacOS
9627         FTP server.
9628
9629         * ftp.c (ftp_retrieve_list): New mirroring logic: A remote file
9630         shall be donwloaded only when it's newer than the local copy or
9631         when it has the same timeestamp but its size is different. ST_VMS
9632         and ST_MACOS as special cases that lie about file size.
9633
9634         * ftp-ls.c (ftp_parse_ls): Support for ST_MACOS.
9635
9636         * Makefile.in: Removed dependency on ftpparse library due to unclear
9637         copyright issues and absence of any feedback to our queries.
9638
9639         * ftp-ls.c: Removed dependency on ftpparse library due to unclear
9640         copyright issues and absence of any feedback to our queries.
9641         (ftp_parse_ls): Added a warning message when remote server system
9642         does not seem to be suported by wget.
9643         (ftp_parse_vms_ls): New function for parsing VMS ftp
9644         server listing output.
9645         (clean_line): New function responsible for removing
9646         end-of-line characters from FTP listing texts.
9647
9648         * ftp.c (getftp): Global variables pwd and host_type are now
9649         member of the ccon structure under names ccon.id and ccon.rs.
9650
9651         * ftp.h (struct ccon): Added formed global variables from ftp.c,
9652         enum stype rs (remote system identification) and char *id (initial
9653         working directory), as suggested by Hrvoje.
9654
9655         * url.c (parse_uname): Added support for passwords containing '@'
9656         characters.
9657         (skip_uname): Ditto.
9658
9659 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
9660
9661         * ftp.c (ftp_loop): Reset con.
9662
9663 2001-01-06  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
9664
9665         * url.c (parse_uname): Added support for passwords containing '@'
9666         characters.
9667         (skip_uname): Ditto.
9668
9669 2001-02-11  Hack Kampbjørn  <hack@hackdata.com>
9670
9671         * url.c (parseurl): Debug-print u->ftp_type.
9672
9673 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
9674
9675         * ftp.c (ftp_loop_internal): Disable padding.
9676         (getftp): Ditto.
9677
9678         * http.c (http_loop): Disable padding.
9679
9680         * retr.c (show_progress): Use it to enable padding.
9681
9682         * retr.c (rate): Optional parameter PAD for padding the rate.
9683
9684 2001-02-10  Hrvoje Niksic  <hniksic@arsdigita.com>
9685
9686         * retr.c (show_progress): Make sure that the last output line
9687         includes progress.
9688
9689 2001-02-10  Jonas Jensen  <bones@huleboer.dk>
9690
9691         * retr.c (show_progress): Print the download rate along with the
9692         percentages.
9693         Along with Anders Thorsby <anders@thorsby.dk>.
9694
9695 2001-02-10  Tim Mooney  <mooney@dogbert.cc.ndsu.NoDak.edu>
9696
9697         * ftp.h: Rename enums `command' to `wget_ftp_command' and
9698         `fstatus' to `wget_ftp_status' because old names clash with Tru64
9699         net/if.h.
9700
9701 2001-02-08  Christian Fraenkel <christian.fraenkel@gmx.net>
9702
9703         * gen_sslfunc.c: verify_callback is now static
9704
9705         * gen_sslfunc.c (init_ssl): load certificate if specified
9706
9707         * gen_sslfunc.c (ssl_printerr): new function
9708
9709         * init.c: added new --sslcertfile and --sslcertkey switches
9710
9711         * main.c: ditto
9712
9713         * options.h: ditto
9714
9715         * http.c (gethttp): abort when init_ssl fails
9716
9717 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
9718
9719         * mswindows.h: Include <malloc.h>; it's needed for alloca().
9720
9721 2001-01-10  Dan Harkless  <wget@harkless.org>
9722
9723         * url.c (str_url): Clarified this function's comment header after
9724         Hrvoje answered my question on the list as to when hide != 1.
9725         Also Hrvoje pointed out I need to use xstrdup() on the string literal.
9726
9727 2001-01-06  Hrvoje Niksic  <hniksic@arsdigita.com>
9728
9729         * connect.c (bindport): Declare addrlen as int.  Diagnosed by
9730         Drazen Kacar <dave@arsdigita.com>.
9731         (conaddr): Ditto.
9732
9733 2001-01-09  Dan Harkless  <wget@harkless.org>
9734
9735         * html-url.c: A bunch of fixup of `--page-requisites'-related
9736         comments to reflect Hrvoje's changes to my code when transplanting
9737         it into this new file, to fix spelling mistakes, to clarify, etc.
9738
9739         * url.c (write_backup_file): Clarified a comment.
9740         (str_url): Henrik van Ginhoven pointed out on the list that we
9741         shouldn't give away the number of characters in the password by
9742         replacing each character with a 'x'.  Use "<password>" instead.
9743
9744         * ftp.c (ftp_retrieve_dirs): The bug where recursion into FTP
9745         directories didn't work if logging in put you in a directory other
9746         than "/" is fixed now.  Removed the comment here warning of the bug.
9747
9748         * main.c (print_help): --continue's description was misleading.
9749         We don't "restart", we "resume".  Also, better to say
9750         "partially-downloaded file" rather than just "existing file".
9751
9752 2001-01-06  Dan Harkless  <wget@harkless.org>
9753
9754         * ChangeLog: The '[Not in 1.6 branch.]'s were decided not to be
9755         the best way to go about my aim.  Removed them in favor of:
9756
9757         * ChangeLog-branches/1.6_branch.ChangeLog: New file.
9758
9759 2001-01-04  Hrvoje Niksic  <hniksic@arsdigita.com>
9760
9761         * url.c (replace_attr): New function, to be used by both
9762         TO_COMPLETE and TO_RELATIVE case in convert_links.
9763         (find_fragment): New function for finding URL fragments.
9764         (replace_attr): Better handle the case where the original string
9765         is not quoted.  Use find_fragment.
9766         (convert_links): Use replace_attr().
9767
9768 2000-12-31  Dan Harkless  <wget@harkless.org>
9769
9770         * ChangeLog: Since this flat file doesn't have multiple branches,
9771         looking at the dates would make you think that things went into
9772         1.6 that actually just went into the 1.7-dev branch.  Added "[Not
9773         in 1.6 branch.]" where appropriate to clarify.
9774
9775 2000-12-30  Dan Harkless  <wget@harkless.org>
9776
9777         * ftp.c, http.c:  Applied Hack Kampbjørn <hack@hackdata.com>'s
9778         patch to deal with h_errno not being defined in netdb.h under Cygwin.
9779
9780 2000-12-18  Csaba Raduly  <csaba.raduly@sophos.com>
9781
9782         * sysdep.h: Include <malloc.h> and <io.h> under Watcom.
9783
9784 2000-12-17  Igor Khristophorov  <igor@atdot.org>
9785
9786         * http.c (check_end): Fix test for '+' or '-'.
9787
9788 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
9789
9790         * url.c (parseurl): Rename inner loop var from i to ind to avoid
9791         clash with the function top-level-declared variable i.
9792         (str_url): Likewise, rename inner-loop i to j.
9793
9794         * recur.c (parse_robots): Don't declare LEN at top of function.
9795         (robots_match): Renamed parameter FORBIDDEN to avoid hiding of
9796         global variable.
9797
9798         * main.c (main): Change erroneous use of bitwise and to logical.
9799
9800         * init.c (cmd_address): Don't heap-allocate `sin'; it can be on
9801         the stack because it will be copied to closure.
9802
9803         Thanks to Csaba Raduly's run of PC-LINT over the sources.
9804
9805 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
9806
9807         * http.c (basic_authentication_encode): Use xmalloc(), not
9808         malloc().  Thanks to Csaba Raduly's run of PC-LINT over the
9809         sources.
9810
9811 2000-12-17  Csaba Raduly  <csaba.raduly@sophos.com>
9812
9813         * sysdep.h: Test for __EMX__ rather than for EMXOS2 for OS/2
9814         compilation.
9815
9816 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
9817
9818         * mswindows.c: Include <errno.h>.
9819
9820         * gen_sslfunc.c: Include <errno.h>.
9821
9822         * ftp-basic.c: Don't attempt to declare errno or h_errno because
9823         they're not used.
9824
9825         * main.c: Include <errno.h> because errno is used.
9826
9827         * ftp.c: Ditto.
9828
9829         * http.c: Include <netdb.h> for h_errno.
9830
9831 2000-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
9832
9833         * html-parse.c (advance_declaration): MSVC assert() chokes on
9834         '\"'.  Use '"' instead.
9835
9836 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
9837
9838         * utils.c (xfree_real): Removed.
9839         (xfree_debug): Just call free().
9840
9841         * wget.h (xfree): Make it an alias for free.
9842
9843 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
9844
9845         * http.c (http_loop): Furthermore, touch output_document only if
9846         it is known to be an existing regular file.
9847
9848 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
9849
9850         * ftp.c (ftp_retrieve_list): Ditto.
9851
9852         * http.c (http_loop): Touch output_document if that is used for
9853         output.
9854
9855 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
9856
9857         * http.c: Include gen_sslfunc.h after including Wget's headers.
9858         (persistent_available_p): Needed coma before `int ssl'.
9859
9860 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
9861
9862         * ftp.c (ftp_loop_internal): Ditto.
9863
9864         * http.c (http_loop): Use it.
9865
9866         * retr.c (sleep_between_retrievals): New function that handles the
9867         logic of opt.wait and opt.waitretry.
9868
9869 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
9870
9871         * rbuf.h: Implement only a single version of RBUF_READCHAR, using
9872         rbuf_read_bufferful when the buffer is depleted.
9873
9874         * rbuf.c (rbuf_read_bufferful): New function.
9875
9876 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
9877
9878         * gen_sslfunc.h: Use ansi2knr style function declarations.
9879
9880         * gen_sslfunc.c: Reformat according to the GNU coding standards.
9881         More should be done.
9882
9883         * http.c (persistent_available_p): Place the cheap SSL test nearer
9884         the top of the function.
9885         (CLOSE_FINISH, CLOSE_INVALIDATE): Define only one version of each.
9886
9887 2000-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
9888
9889         * url.c (init_unsafe_char_table): Reinstate space as an unsafe
9890         char.
9891
9892 2000-12-03  Christian Fraenkel <christian.fraenkel@gmx.net>
9893
9894         * Makefile.in: added gen_sslfunc object
9895         * config.h.in: added HAVE_SSL define
9896         * connect.c: changed select_fd from static int to int
9897         * connect.h: ditto
9898         * gen_sslfunc.h: New file
9899         * gen_sslfunc.c: ditto
9900         * http.c: added HTTPS fuctionality
9901         * retrc.c: ditto
9902         * url.c: ditto
9903         * init.c: added opt.httpsproxy
9904         * options.h: ditto
9905         * rbuf.h: added alternate rbuf struct
9906         * wget.h: added CONSSLERR
9907         * rbuf.c: ditto
9908
9909         * http.c: Added HTTPS fuctionality.
9910
9911         * retrc.c: Ditto.
9912
9913         * url.c: Ditto.
9914
9915         * init.c: Added opt.httpsproxy.
9916
9917         * options.h: Ditto.
9918
9919         * rbuf.h: Added alternate rbuf struct.
9920
9921         * wget.h: Added CONSSLERR.
9922
9923         * rbuf.c: Ditto.
9924
9925 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
9926
9927         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
9928         "ignore_perms" to ignore file and directory permissions for
9929         Windows NT FTP server listings.
9930         (ftp_parse_winnt_ls): New function.
9931         (ftp_parse_ls): Parses UNIX and Windows NT listings
9932         separately. Simple heuristics for distinguishing between UNIX and
9933         MS-DOS-like FTP listing provided by Windows NT FTP service.
9934
9935 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
9936
9937         * ftpparse.c, ftpparse.h: New files.
9938
9939         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
9940         only. Use ftp_parse_nonunix_ls otherwise.
9941         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
9942         exotic FTP servers.
9943
9944         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
9945         FTP servers.
9946
9947         * ftp.c: New static wariables host_type, pwd, and pwd_len.
9948         (getftp): Support for VMS. Support for FTP servers that do not
9949         place you in the root directory after login.
9950         (ftp_retrieve_list): VMS is silent about the real file size, issue
9951         a more appropriate message.
9952         (ftp_get_listing): Pass host_type to ftp_parse_ls.
9953
9954         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
9955
9956 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
9957
9958         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
9959         "ignore_perms" to ignore file and directory permissions for
9960         Windows NT FTP server listings.
9961         (ftp_parse_winnt_ls): New function.
9962         (ftp_parse_ls): Parses UNIX and Windows NT listings
9963         separately. Simple heuristics for distinguishing between UNIX
9964         and MS-DOS-like FTP listing provided by Windows NT FTP service.
9965
9966 2000-11-29  John Summerfield  <summer@OS2.ami.com.au>
9967
9968         * netrc.c (parse_netrc): Get rid of line ending.
9969
9970 2000-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
9971
9972         * ftp.c (ftp_retrieve_list): Undo typo "fix" until resolution by
9973         Dan.
9974
9975 2000-11-24  Karl Eichwalder  <ke@suse.de>
9976
9977         * main.c (print_help): Untabify.
9978
9979 2000-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
9980
9981         * utils.c (xrealloc_debug): Do the unregister/register thing only
9982         if the pointer has actually changed.
9983         (xmalloc_real): Declare `static' in DEBUG_MALLOC builds.
9984         (xfree_real): Ditto.
9985         (xrealloc_real): Ditto.
9986         (xstrdup_real): Ditto.
9987
9988 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
9989
9990         * ftp.c (getftp): ftp_getaddress() returns a malloc'ed copy of the
9991         string; no need to strdup() it.
9992         (getftp): Make pwd_len a local variable.
9993         (ftp_loop): Free PWD before returning.
9994
9995         * init.c (cleanup): Free opt.ftp_pass only if it's non-NULL.
9996
9997 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
9998
9999         * all: Use xfree() instead of free.
10000
10001         * utils.c (xfree): New function.
10002
10003 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
10004
10005         * url.c (convert_links): HTML-quote the converted string.
10006
10007         * utils.c (html_quote_string): Move here from ftp-ls.c
10008         (html_quote_string): Make non-static; declare in utils.h.
10009         (html_quote_string): Convert SP to &#32;.
10010
10011 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
10012
10013         * ftp.c (getftp): Reformat Jan's code according to GNU coding
10014         standards; remove (debugging?) printf's; use '\0' for the ASCII
10015         zero character.  Use alloca() instead of malloc() for
10016         inter-function temporary allocations.
10017
10018 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
10019
10020         * ftpparse.c, ftpparse.h: New files.
10021
10022         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
10023         only. Use ftp_parse_nonunix_ls otherwise.
10024         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
10025         exotic FTP servers.
10026
10027         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
10028         FTP servers.
10029
10030         * ftp.c: New static wariables host_type, pwd, and pwd_len.
10031         (getftp): Support for VMS. Support for FTP servers that do not
10032         place you in the root directory after login.
10033         (ftp_retrieve_list): VMS is silent about the real file size, issue
10034         a more appropriate message.
10035         (ftp_get_listing): Pass host_type to ftp_parse_ls.
10036
10037         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
10038
10039 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
10040
10041         * hash.c (hash_table_put): Don't overwrite deleted mappings.
10042
10043 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
10044
10045         * hash.c (find_mapping): New function.
10046         (hash_table_get): Use it.
10047         (hash_table_get_pair): Ditto.
10048         (hash_table_exists): Ditto.
10049         (hash_table_remove): Ditto.
10050         (hash_table_remove): Really delete the entry if the mapping
10051         following LOCATION is empty.
10052
10053         * utils.c (string_set_add): Check whether the element has existed
10054         before.
10055
10056         * hash.c (hash_table_get_pair): New function.
10057
10058 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
10059
10060         * http.c (http_process_type): Ignore trailing whitespace; use
10061         strdupdelim().
10062
10063         * recur.c (recursive_retrieve): Use the new `convert' field.
10064         (convert_all_links): Ditto.
10065         (convert_all_links): Don't respect meta_disallow_follow.
10066
10067         * html-url.c (handle_link): Fill out link_relative_p and
10068         link_complete_p.
10069
10070         * url.h (struct _urlpos): Make elements more readable.
10071
10072         * recur.c (recursive_retrieve): Call slist_prepend instead of
10073         slist_append.
10074         (convert_all_links): Call slist_nreverse before iterating through
10075         urls_html.
10076
10077         * utils.c (slist_prepend): New function.
10078         (slist_nreverse): Ditto.
10079
10080 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
10081
10082         * http.c (check_end): Constify.
10083
10084 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
10085
10086         * http.c (http_loop): If username and password are known, try the
10087         `Basic' authentication scheme by default.
10088
10089         * connect.h: Declare test_socket_open.
10090
10091 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
10092
10093         * version.c: Bump version from 1.5.3+dev to 1.7-dev.
10094
10095 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
10096
10097         * http.c (gethttp): Don't use the return value of sprintf().
10098         (gethttp): Inhibit keep-alive if opt.http_keep_alive is 0.
10099
10100 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
10101
10102         * recur.c (recursive_retrieve): Print the "so we don't load"
10103         debugging message only if we really don't load.
10104
10105         * http.c (gethttp): Inhibit keep-alive if proxy is being used.
10106         (gethttp): Don't request keep-alive if keep-alive is inhibited.
10107
10108 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
10109
10110         * http.c (gethttp): Make the HTTP persistent connections more
10111         robust.
10112
10113 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
10114
10115         * retr.c (get_contents): If use_expected, make sure that the
10116         appropriate amount of data is being read.
10117
10118         * http.c (gethttp): Check for both `Keep-Alive: ...' and
10119         `Connection: Keep-Alive'.
10120
10121         * wget.h (DEBUGP): Call debug_logprintf only if opt.debug is
10122         turned on.
10123
10124 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
10125
10126         * http.c (connection_available_p): Use it.
10127
10128         * connect.c (test_socket_open): New function.
10129
10130         * http.c (gethttp): Support persistent connections.  Based on the
10131         ideas, and partly on code, by Sam Horrocks <sam@daemoninc.com>.
10132         (register_persistent): New function.
10133         (connection_available_p): Ditto.
10134         (invalidate_connection): Ditto.
10135
10136 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
10137
10138         * url.c (convert_links): Handle UREL2ABS case.
10139
10140         * recur.c (recursive_retrieve): Instead of the list
10141         urls_downloaded, use hash tables dl_file_url_map and
10142         dl_url_file_map.
10143         (convert_all_links): Use them to retrieve data.
10144
10145         * host.c (clean_hosts): Free the hash tables.
10146
10147         * main.c (private_initialize): Call host_init().
10148
10149         * host.c (store_hostaddress): Use a saner, hash table-based data
10150         model.
10151         (realhost): Ditto.
10152         (host_init): Initialize the hash tables.
10153
10154 2000-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
10155
10156         * utils.c (slist_append): Eviscerate NOSORT.  Hash tables are now
10157         used for what the sorted slists used to be used for.
10158         (slist_contains): Don't rely on the list being sorted.
10159         (slist_append): Simplify the code.
10160
10161         * recur.c (recursive_cleanup): Use free_string_set.
10162
10163         * utils.c (string_set_add, string_set_exists, string_set_free):
10164         New functions for easier freeing of hash tables whose keys are
10165         strdup'ed strings.
10166
10167         * recur.c (recursive_retrieve): Use the hash table functions for
10168         storing undesirable URLs.
10169
10170         * hash.c: New file.
10171
10172 2000-11-17  Hrvoje Niksic  <hniksic@arsdigita.com>
10173
10174         * main.c (private_initialize): Call url_init.
10175         (main): Call private_initialize.
10176
10177         * url.c (unsafe_char_table): New table.
10178         (UNSAFE_CHAR): Use it.
10179         (init_unsafe_char_table): New function.
10180         (url_init): New function; call init_unsafe_char_table.
10181
10182 2000-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
10183
10184         * mswindows.h: Define snprintf and vsnprintf to _snprintf and
10185         _vsnprintf respectively.
10186
10187 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
10188
10189         * config.h.in: Do the _XOPEN_SOURCE and _SVID_SOURCE things only
10190         on Linux.
10191
10192 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
10193
10194         * html-url.c (handle_link): Handle HTML fragment identifiers.
10195
10196         * recur.c (recursive_retrieve): If norobot info is respected and
10197         the file is specified not to be followed by robots, respect that.
10198
10199         * html-url.c (collect_tags_mapper): Handle <meta name=robots
10200         content=X>.  For us the important cases are where X is NONE or
10201         where X contains NOFOLLOW.
10202         (get_urls_html): Propagate that information to the caller.
10203
10204 2000-11-13  Hrvoje Niksic  <hniksic@arsdigita.com>
10205
10206         * url.c (convert_links): Unlink the file we might be reading from
10207         before writing to it.
10208         (convert_links): Use alloca instead of malloc for
10209         filename_plus_orig_suffix.
10210
10211 2000-11-12  Hrvoje Niksic  <hniksic@arsdigita.com>
10212
10213         * host.c (realhost): Add HOST to the list with quality==0 only if
10214         it wasn't already there.
10215         Based on analysis by Lu Guohan <feng@public.bjnet.edu.cn>.
10216
10217 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
10218
10219         * url.c (get_urls_file): Ditto.
10220         (convert_links): Ditto.
10221
10222         * html-url.c (get_urls_html): Use read_file() instead of
10223         load_file().
10224
10225         * utils.c (read_file): New function, instead of the old
10226         load_file().
10227         (read_file_free): Ditto.
10228
10229         * url.c (findurl): Search only for the supported protocols.
10230         (convert_links): Use fwrite() when writing out a region of
10231         characters.
10232
10233 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
10234
10235         * ftp-ls.c: Move html_quote_string and ftp_index here.
10236
10237         * url.c: Remove get_urls_html, since that's now in html-url.c.
10238
10239         * html-url.c: New file.
10240
10241         * html-parse.c: New file.
10242
10243 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
10244
10245         * init.c (run_wgetrc): Don't bother killing off '\r' since
10246         pars_line() skips whitespace at end of line anyway.
10247         (parse_line): Oops, it didn't.  Now it does.
10248
10249         * recur.c (parse_robots): Ditto here.
10250
10251         * ftp-ls.c (ftp_parse_unix_ls): Kill off the newline character
10252         manually because read_whole_line no longer does.
10253
10254         * utils.c (read_whole_line): Rewrite to: a) use less memory
10255         (reallocates to needed size after work), b) work faster -->
10256         fgets() instead of getc, c) be more correct --> doesn't kill the
10257         newline character at the end of line.
10258
10259 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
10260
10261         * init.c (comind): Initialize MAX to array size - 1.
10262
10263 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
10264
10265         * url.c (construct): Changed last_slash[-1] to *(last_slash - 1).
10266         Suggested by Edward J. Sabol.
10267
10268 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
10269
10270         * url.c (construct): Handle the case where host name is not
10271         followed by a slash.
10272
10273 2000-11-06  Hrvoje Niksic  <hniksic@arsdigita.com>
10274
10275         * init.c: commands[] need to be sorted!  ("base" wasn't.)
10276
10277 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
10278
10279         * wget.h (DO_REALLOC_FROM_ALLOCA): Use braces to disambiguate
10280         `if'.
10281
10282 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
10283
10284         * url.c (construct): Insert unneeded initialization for the
10285         compiler to shut up.
10286
10287         * config.h.in: Define _XOPEN_SOURCE to 500 to get the prototype
10288         for strptime() (*duh*).  Define _SVID_SOURCE to get S_IFLNK which
10289         otherwise gets lost when you define _XOPEN_SOURCE.
10290
10291         * utils.c (touch): Include the file name in the error message.
10292         From Debian.
10293
10294 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
10295
10296         * log.c (logvprintf): Use vsnprintf() in all cases.  If necessary,
10297         resize the buffer to fit the formated message.  That way, messages
10298         of arbitrary size may be printed.
10299         (logvprintf): Use saved_append() to optionally log the last
10300         several lines of output.
10301         (logputs): Ditto.
10302         (log_close): Adapt to new data structures.
10303         (log_dump): Ditto.
10304         (redirect_output): Print messages to stderr, not to stdout.
10305
10306         * log.c (saved_append_1): New function.  Replaces the old logging
10307         system ("log all output until 10M characters") with a new, much
10308         more reasonable one ("log last screenful of text").
10309         (saved_append): New function; call saved_append_1.
10310         (free_log_line): New function.
10311
10312 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
10313
10314         * url.c (construct): Fix comment.
10315         (find_last_char): Document.
10316
10317 2000-11-04  Hrvoje Niksic  <hniksic@arsdigita.com>
10318
10319         * snprintf.c: New file.
10320
10321 2000-11-03  Hrvoje Niksic  <hniksic@arsdigita.com>
10322
10323         * wget.h: If HAVE_STDARG_H is not defined, don't declare argument
10324         types to logprintf() and debug_logprintf().
10325
10326 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
10327
10328         * ftp.c (ftp_loop_internal): Hide the password from the URL when
10329         printing non-verbose.  Problem spotted by Dariusz Mlynarczyk
10330         <darekm@bydg.lomac.com.pl>.
10331
10332 2000-11-02  Junio Hamano  <junio@twinsun.com>
10333
10334         * ftp-basic.c (ftp_login): Make comparison case-insensitive.
10335
10336 2000-11-02  Tyler Riddle  <triddle@liquidmarket.com>
10337
10338         * http.c (known_authentication_scheme_p): Recognize NTML
10339         authentication.
10340         (create_authorization_line): Treat NTML the same as `Basic'.
10341
10342 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
10343
10344         * retr.c (retrieve_url): Free url before returning.
10345         (retrieve_url): Free mynewloc before returning.
10346         Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
10347
10348 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
10349
10350         * url.c (parseurl): Remove possible reading past the end of
10351         sup_protos[].  Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
10352
10353 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
10354
10355         * main.c (main): In case of opt.downloaded overflowing, print
10356         <overflow> instead of a totally bogus random value.
10357
10358         * retr.c (retrieve_from_file): Ditto.
10359
10360         * recur.c (recursive_retrieve): Ditto.
10361
10362         * main.c (main): Ditto.
10363
10364         * http.c (http_loop): Ditto.
10365
10366         * ftp.c (ftp_loop_internal): Use downloaded_increase() instead of
10367         `+=', and downloaded_exceeds_quota() instead of the simple-minded
10368         check.
10369         (ftp_retrieve_list): Ditto.
10370         (ftp_retrieve_dirs): Ditto.
10371         (ftp_retrieve_glob): Ditto.
10372
10373         * retr.c (downloaded_increase): New function.  Notice overflows of
10374         opt.downloaded.
10375         (downloaded_exceeds_quota): Make sure that opt.downloaded is not
10376         used if it overflowed.
10377
10378         * options.h (struct options): New member downloaded_overflow.
10379
10380 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
10381
10382         * wget.h (enum): Remove extra space after last enumeration.
10383
10384 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
10385
10386         * main.c (main): Use legible_very_long() for printing
10387         opt.downloaded.
10388
10389         * utils.c (legible_1): New function that operates on strings and
10390         does the brunt of legible()'s work.
10391         (legible): Use legible_1().
10392         (legible_very_long): New function; dump the argument with
10393         sprintf(), and call legible_1().
10394
10395         * options.h (struct options): Use VERY_LONG_TYPE for
10396         opt.downloaded.
10397
10398         * sysdep.h (VERY_LONG_TYPE): Define it to have a 64-bit or greater
10399         type.
10400
10401         * config.h.in: Make sure that SIZEOF_LONG and SIZEOF_LONG_LONG get
10402         defined.  Define HAVE_LONG_LONG if long long is available.
10403
10404 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
10405
10406         * utils.c (long_to_string): Update with a later, better version.
10407
10408 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
10409
10410         * url.c (path_simplify_with_kludge): New function.
10411         (path_simplify_with_kludge): Disable it.  Instead...
10412         (parse_dir): ...make sure that at this point the right thing is
10413         done, i.e. that "query" part of the URL (?...) is always assigned
10414         to the file, never to the directory portion of the path.
10415
10416 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
10417
10418         * retr.c (retrieve_url): Detect redirection cycles.
10419
10420 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
10421
10422         * url.c (get_urls_html): Decode HTML entities using
10423         html_decode_entities.
10424
10425         * html.c (htmlfindurl): Don't count the `#' in numeric entities
10426         (&#NNN;) as an HTML fragemnt.
10427         (html_decode_entities): New function.
10428
10429 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
10430
10431         * html.c (htmlfindurl): Fix recognition of # HTML fragments.
10432
10433 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
10434
10435         * url.c (construct): Rewritten for clarity.  Avoids the
10436         unnecessary copying and stack-allocation the old version
10437         performed.
10438
10439 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
10440
10441         * ftp.c (getftp): Ditto.
10442
10443         * http.c (gethttp): Rewind the stream when retrying from scratch.
10444
10445 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
10446
10447         * retr.c (retrieve_url): Use url_concat() to handle relative
10448         redirections instead of /ad hoc/ code.
10449
10450         * url.c (url_concat): New function encapsulating weird
10451         construct().
10452         (urllen_http_hack): New function.
10453         (construct): When constructing new URLs, recognize that `?' does
10454         not form part of the file name in HTTP.
10455
10456 2000-10-13  Adrian Aichner  <adrian@xemacs.org>
10457
10458         * retr.c: Add msec timing support for WINDOWS.
10459         * retr.c (reset_timer): GetSystemTime() on WINDOWS.
10460         * retr.c (elapsed_time): Calculate delta time to msec on WINDOWS.
10461
10462 2000-10-27  Dan Harkless  <wget@harkless.org>
10463
10464         * retr.c (retrieve_url): Manually applied T. Bharath
10465         <TBharath@responsenetworks.com>'s patch to get wget to grok
10466         illegal relative URL redirects.  Reformatted and re-commented it.
10467
10468 2000-10-23  Dan Harkless  <wget@harkless.org>
10469
10470         * connect.c (make_connection and bindport): Manually applied Rob
10471         Mayoff <mayoff@dqd.com>'s 1.5.3 patch to add --bind-address,
10472         changing coding style to GNU's.
10473
10474         * ftp.c (ftp_loop_internal): --delete-after wasn't implemented for
10475         files downloaded via FTP.  Per a comment, .listing files were not
10476         counted towards number of bytes and files downloaded because they're
10477         deleted anyway.  Well, they aren't under -nr, so count them then.
10478
10479         * init.c: Manually applied Rob Mayoff's 1.5.3 patch to add
10480         --bind-address, alphabetizing, changing coding style to GNU's,
10481         commenting, and renaming cmd_ip_address() to cmd_address() to
10482         imply hostnames also okay.
10483
10484         * main.c (main): --delete-after didn't delete the root of the
10485         tree.  Ignore --convert-links if --delete-after was specified.
10486         Manually applied Rob Mayoff's 1.5.3 patch to add --bind-address,
10487         fixing duplicate use of added-since-1.5.3 case value.
10488         (print_help): Clarified that --delete-after deletes local files.
10489         Rob forgot to add a line for his new --bind-address option.
10490
10491         * options.h (struct options): Manually applied Rob Mayoff's patch
10492         to add --bind-address (bind_address structure member).
10493
10494         * recur.c (recursive_retrieve): Improved comment; added DEBUGP().
10495         Ignore --convert-links if --delete-after was specified.
10496
10497         * retr.c (retrieve_from_file): Just added a DEBUGP().
10498
10499 2000-10-19  Dan Harkless  <wget@harkless.org>
10500
10501         * ftp.c (ftp_loop_internal): downloaded_file() enumerators changed.
10502         (getftp): Applied Piotr Sulecki <Piotr.Sulecki@ios.krakow.pl>'s
10503         patch to work around FTP servers that incorrectly respond to the
10504         "REST" command with the remaining size rather than the total file size.
10505
10506         * http.c (gethttp): Improved a comment and added code to tack on
10507         ".html" to text/html files without that extension when -E specified.
10508         (http_loop): Use new downloaded_file() enumerators and deal with
10509         the case of gethttp() called xrealloc() on u->local.
10510
10511         * init.c (commands): Added new "htmlextension" command.
10512         Also renamed John Daily's cmd_quad() to the more descriptive
10513         cmd_lockable_boolean(), alpha-sorted the CMD_DECLARE()s and
10514         removed duplicate cmd_boolean() declaration.
10515
10516         * main.c (print_help): Added my new -E / --html-extension option.
10517         (main): Undocumented --email-address option previously used -E synonym.
10518         Stole it away for the much more deserving --html-extension's use.
10519
10520         * options.h (struct options): Added html_extension field.
10521
10522         * url.c (convert_links): URL X that we saved as X.html locally due
10523         to -E needs to be backed up as X.orig, not X.html.orig.  Added comments.
10524         (downloaded_file): Now remembers if we added .html extension to a file.
10525
10526         * url.h (downloaded_file_t): Added extra enumerators to support above.
10527         (downloaded_file): Now takes and returns a downloaded_file_t.
10528
10529         * wget.h (unnamed "dt" enum): Added ADDED_HTML_EXTENSION enumerator.
10530
10531 2000-10-09  Dan Harkless  <wget@harkless.org>
10532
10533         * html.c (htmlfindurl): Added unneeded initialization to quiet warning.
10534
10535         * main.c (print_help): Clarified what --retr-symlinks does.
10536
10537 2000-09-15  John Daily  <jdaily@cyberdude.com>
10538
10539         * init.c: Add support for "always" and "never" values to allow
10540         .wgetrc to override commandline (useful e.g. with .pm files
10541         calling `wget --passive-ftp' when your firewall doesn't allow that).
10542
10543         * ftp.c (getftp): passive_ftp is first option to support always/never.
10544
10545 2000-08-30  Dan Harkless  <wget@harkless.org>
10546
10547         * ftp.c (ftp_retrieve_list): Use new INFINITE_RECURSION #define.
10548
10549         * html.c: htmlfindurl() now takes final `dash_p_leaf_HTML' parameter.
10550         Wrapped some > 80-column lines.  When -p is specified and we're at a
10551         leaf node, do not traverse <A>, <AREA>, or <LINK> tags other than
10552         <LINK REL="stylesheet">.
10553
10554         * html.h (htmlfindurl): Now takes final `dash_p_leaf_HTML' parameter.
10555
10556         * init.c: Added new -p / --page-requisites / page_requisites option.
10557
10558         * main.c (print_help): Clarified that -l inf and -l 0 both allow
10559         infinite recursion.  Changed the unhelpful --mirrior description
10560         to simply give the options it's equivalent to.  Added new -p option.
10561         (main): Added some comments; handle new -p / --page-requisites.
10562
10563         * options.h (struct options): Added new page_requisites field.
10564
10565         * recur.c: Changed "URL-s" to "URLs" and "HTML-s" to "HTMLs".
10566         Calculate and pass down new `dash_p_leaf_HTML' parameter to
10567         get_urls_html().  Use new INFINITE_RECURSION #define.
10568
10569         * retr.c: Changed "URL-s" to "URLs".  get_urls_html() now takes
10570         final `dash_p_leaf_HTML' parameter.
10571
10572         * url.c: get_urls_html() and htmlfindurl() now take final
10573         `dash_p_leaf_HTML' parameter.
10574
10575         * url.h (get_urls_html): Now takes final `dash_p_leaf_HTML' parameter.
10576
10577         * wget.h: Added some comments and new INFINITE_RECURSION #define.
10578
10579 2000-08-23  Dan Harkless  <wget@harkless.org>
10580
10581         * main.c (print_help): -B / --base was not mentioned.
10582
10583 2000-08-22  Dan Harkless  <wget@harkless.org>
10584
10585         * main.c (print_help): Modified -nc description to mention that it
10586         also prevents the creation of multiple versions of the same file
10587         with ".<number>" suffixes.
10588
10589 2000-07-14  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
10590
10591         * retr.c (retrieve_url): Consistently strdup opt.referer when
10592         setting u->referer.
10593
10594 2000-06-09  Dan Harkless  <wget@harkless.org>
10595
10596         * main.c (print_help): --help output for --waitretry was over 80 cols.
10597
10598 2000-06-09  Hrvoje Niksic  <hniksic@iskon.hr>
10599
10600         * url.c (encode_string): Fix comment.
10601         Suggested by Herold Heiko <Heiko.Herold@previnet.it>.
10602
10603 2000-06-01  Const Kaplinsky  <const@ce.cctpu.edu.ru>
10604
10605         * ftp.c (ftp_retrieve_list): Change permissions only on plain
10606         files.
10607
10608 2000-06-01  Hrvoje Niksic  <hniksic@iskon.hr>
10609
10610         * url.c (str_url): Print the port number only if it's different
10611         from the default port number for that protocol.
10612
10613 2000-05-22  Dan Harkless  <wget@harkless.org>
10614
10615         * main.c (print_help): Added --help line for Damir Dzeko
10616         <ddzeko@zesoi.fer.hr>'s until-now-undocumented --referer option.
10617         Removed comments that --referer and --waitretry were undocumented.
10618         Changed "`.wgetrc' command" to "`.wgetrc'-style command" on --help
10619         line for --execute.
10620
10621 2000-05-18  Hrvoje Niksic  <hniksic@iskon.hr>
10622
10623         * ftp.c (getftp): Ditto.
10624
10625         * http.c (gethttp): Check for return value of fclose/fflush.
10626
10627 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
10628
10629         * host.c (store_hostaddress): Instead of shifting ADDR, start
10630         copying from the correct address.
10631
10632 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
10633
10634         * http.c (gethttp): Don't free REQUEST -- it was allocated with
10635         alloca().
10636         Pointed out by Gisle Vanem <gvanem@eunet.no>.
10637
10638 2000-04-04  Dan Harkless  <wget@harkless.org>
10639
10640         * host.c (store_hostaddress): R. K. Owen's patch introduces a
10641         "left shift count >= width of type" warning on 32-bit
10642         architectures.  Got rid of it by tricking the compiler w/ a variable.
10643
10644         * url.c (UNSAFE_CHAR): The macro didn't include all the illegal
10645         characters per RFC1738, namely everything above '~'.  It also
10646         generated a warning on OSes where char =~ unsigned char.  Fixed.
10647
10648 1998-10-17  Hrvoje Niksic  <hniksic@srce.hr>
10649
10650         * http.c (http_process_type): Removed needless strdup(), a memory
10651         leak.
10652
10653 1998-09-25  Hrvoje Niksic  <hniksic@srce.hr>
10654
10655         * html.c (htmlfindurl): Set PH to the first occurrence of `#'.
10656
10657 1998-09-25  Simon Munton  <simonm@m4data.co.uk>
10658
10659         * init.c (wgetrc_file_name): Don't free HOME under Windows.
10660
10661 1998-12-01  "R. K. Owen"  <rkowen@Nersc.GOV>
10662
10663         * host.c (store_hostaddress): Fix for big endian 64-bit machines.
10664
10665 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
10666
10667         * url.c (UNSAFE_CHAR): New macro.
10668         (contains_unsafe): Use it.
10669         (encode_string): Ditto.
10670
10671 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
10672
10673         * main.c (i18n_initialize): Use LC_MESSAGES only if available.
10674
10675 2000-03-31  Hrvoje Niksic  <hniksic@srce.hr>
10676
10677         * Use TOUPPER/TOLOWER.
10678
10679 1998-12-22  Alexander V. Lukyanov  <lav@yars.free.net>
10680
10681         * ftp-opie.c (btoe): Zero-terminate OSTORE.
10682
10683 2000-03-21  Hrvoje Niksic  <hniksic@iskon.hr>
10684
10685         * wget.h (DO_REALLOC_FROM_ALLOCA): Ditto.
10686
10687         * sysdep.h (ISALNUM): New macro.
10688         (TOLOWER): Ditto.
10689         (TOUPPER): Ditto.
10690
10691 2000-03-10  Dan Harkless  <wget@harkless.org>
10692
10693         * html.c (idmatch): Implemented checking of my new --follow-tags
10694         and --ignore-tags options.
10695
10696         * init.c (commands): Added comment reminding people adding new
10697         entries doing allocation to add corresponding freeing in cleanup().
10698         (commands): Added new followtags and ignoretags commands.
10699         (cleanup): Free storage for new followtags and ignoretags.
10700
10701         * main.c: Use of "comma-separated list" was random -- normalized
10702         it.  Did some alphabetization.  Added comments pointing out
10703         "Options without arguments" and "Options accepting an argument"
10704         sections of long_options[].  Added new options --follow-tags and
10705         -G / --ignore-tags.  Added comment that Damir's --referer is
10706         currently undocumented.  Added comment that Heiko's --waitretry is
10707         partially undocumented (mentioned in --help but not in
10708         wget.texi).  Moved improperly sorted 24, 129, and 'G' cases.
10709
10710         * options.h (struct options): Added new fields follow_tags and
10711         ignore_tags.
10712
10713         * wget.h: Added "#define EQ 0" so we can say "strcmp(a, b) == EQ".
10714
10715 2000-03-02  Dan Harkless  <wget@harkless.org>
10716
10717         * ftp.c (ftp_loop_internal): Heiko introduced "suggest explicit
10718         braces to avoid ambiguous `else'" warnings.  Eliminated them.
10719
10720         * http.c (gethttp): Dan Berger's query string patch is totally
10721         bogus.  If you have two different URLs, gen_page.cgi?page1 and
10722         get_page.cgi?page2, they'll both be saved as get_page.cgi and the
10723         second will overwrite the first.  Also, parameters to implicit
10724         CGIs, like "http://www.host.com/db/?2000-03-02" cause the URLs to
10725         be printed with trailing garbage characters, and could seg fault.
10726         Backing out the patch, which Dan B. informed me by email was just
10727         a kludge to download StarOffice from Sun made necessary due to
10728         wget's unconditional escaping of certain characters (room for an
10729         option there?).
10730         (http_loop): Heiko introduced "suggest explicit braces to avoid
10731         ambiguous `else'" warnings.  Eliminated them.
10732
10733         * main.c: Heiko's --wait / --waitretry backwards compatibility
10734         code looks to have been totally untested -- automatic variable
10735         'wr' was used without being initialized, and a long int was passed
10736         into setval()'s char* val parameter.
10737
10738         * recur.c (parse_robots): Applied Edward J. Sabol
10739         <sabol@alderaan.gsfc.nasa.gov>'s patch for Guan Yang's reported
10740         problem with "User-agent:<space>*<space>" lines in robots.txt.
10741
10742         * url.c (parseurl, str_url): Removing Dan Berger's code (see
10743         http.c above for explanation).
10744
10745 1999-08-25  Heiko Herold  <Heiko.Herold@previnet.it>
10746
10747         * ftp.c: Respect new option waitretry.
10748
10749 2000-01-30  Damir Dzeko  <ddzeko@zesoi.fer.hr>
10750
10751         * http.c (gethttp): Send custom Referer, if required.
10752
10753 1999-09-24  Charles G Waldman  <cgw@fnal.gov>
10754
10755         * netrc.c (parse_netrc): Allow passwords to contain spaces.
10756
10757         * netrc.c (parse_netrc): New function.
10758
10759 1999-09-17  Dan Berger  <dberger@ix.netcom.com>
10760
10761         * http.c (gethttp): Send it.
10762
10763         * url.c (parseurl): Detect query string in HTTP URL-s.
10764         (str_url): Print it.
10765
10766 2000-03-02  HIROSE Masaaki  <hirose31@t3.rim.or.jp>
10767
10768         * html.c (html_allow): Add <link href=...> and <script src=...>.
10769
10770 1999-05-02  andrew deryabin  <djsf@softhome.net>
10771
10772         * http.c (gethttp): Specify port in `Host' header only if it's
10773         different from 80.
10774
10775 1998-11-03  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
10776
10777         * recur.c (recursive_retrieve): If a finite maximum depth is
10778         specified, and we're are already at that depth, don't download the
10779         HTML file for parsing.
10780
10781 2000-03-01  Dan Harkless  <wget@harkless.org>
10782
10783         * ftp.c (ftp_loop_internal): Call new downloaded_file() function,
10784         even though we don't do conversion on HTML files retrieved via
10785         FTP, so _current_ usage of downloaded_file() makes this call unneeded.
10786         (ftp_retrieve_list): Added a comment saying where we need to
10787         stat() a .orig file if FTP'd HTML file conversion is ever implemented.
10788         (ftp_retrieve_list): "Local file '%s' is more recent," is sometimes
10789         a lie -- reworded as "Server file no newer than local file '%s' --".
10790
10791         * http.c (http_loop): Fixed a typo and clarified a comment.
10792         (http_loop): When -K and -N are specified together, compare size
10793         and timestamp of server file X against local file X.orig (if
10794         extant) rather than converted local file X.
10795         (http_loop): "Local file '%s' is more recent," is sometimes a lie
10796         -- reworded as "Server file no newer than local file '%s' --".
10797         (http_loop): Call new downloaded_file() function to prevent
10798         wrongful overwriting of .orig file when -N is specified.
10799
10800         * url.c (convert_links): When -K specified, only rename X to
10801         X.orig if downloaded_file() returns TRUE.  Otherwise when we skip
10802         file X due to -N, we clobber an X.orig from a previous invocation.
10803         (convert_links): Call the failsafe xstrdup(), not the real strdup().
10804         (convert_links): Added a note asking anyone who understands how
10805         multiple URLs can correspond to a single file to comment it.
10806         (downloaded_file): Added this new function.
10807
10808         * url.h (downloaded_file): Added prototype for this new function
10809         as well as its downloaded_file_t enum type.
10810
10811         * wget.h (boolean): Added this new typedef and TRUE and FALSE #defines.
10812
10813 2000-02-29  Dan Harkless  <wget@harkless.org>
10814
10815         * version.c: Upped version to developer-only "1.5.3+dev".
10816
10817 2000-02-18  Dan Harkless  <wget@harkless.org>
10818
10819         * init.c (backup_converted): Added this new option.
10820
10821         * main.c (-K / --backup-converted): Added this new option.
10822
10823         * options.h (backup_converted): Added this new option.
10824
10825         * url.c (convert_links): When backup_converted is specified, save
10826         file X as X.orig before converting.
10827
10828         * url.h (urlpos): Fixed typo -- said "Rekative" instead of "Relative".
10829
10830 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
10831
10832         * version.c: Wget 1.5.3 is released.
10833
10834 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
10835
10836         * host.c (ftp_getaddress): Don't warn when reverse-lookup of local
10837         address doesn't yield FQDN.
10838
10839 1998-09-21  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
10840
10841         * cmpt.c (strerror): Fix declaration of sys_errlist.
10842
10843 1998-09-11  Hrvoje Niksic  <hniksic@srce.hr>
10844
10845         * main.c (main): Don't use an array subscript as the first
10846         argument to STRDUP_ALLOCA.
10847         From Kaveh R. Ghazi.
10848
10849 1998-09-11  Szakacsits Szabolcs  <szaka@sienet.hu>
10850
10851         * html.c (htmlfindurl): Download table background.
10852
10853 1998-09-11  Hans Grobler  <grobh@conde.ee.sun.ac.za>
10854
10855         * init.c (parse_line): Would free *com before allocating it.
10856         (parse_line): Would free com instead of *com.
10857
10858 1998-09-10  Howard Gayle  <howard@fjst.com>
10859
10860         * url.c (get_urls_html): Would drop the last character of the
10861         link.
10862
10863 1998-09-10  Hrvoje Niksic  <hniksic@srce.hr>
10864
10865         * http.c (http_loop): Don't print status code if quiet.
10866
10867 1998-09-10  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
10868
10869         * log.c: Use <stdarg.h> only when __STDC__.
10870
10871 1998-09-10  Adam D. Moss  <adam@foxbox.org>
10872
10873         * html.c (htmlfindurl): Download <layer src=...>.
10874
10875 1998-09-10  Howard Gayle  <howard@fjst.com>
10876
10877         * ftp.c (ftp_retrieve_list): Don't update the time stamp of a file
10878         not retrieved.
10879
10880 1998-06-27  Hrvoje Niksic  <hniksic@srce.hr>
10881
10882         * utils.c: Include <libc.h> on NeXT.
10883
10884 1998-06-26  Heinz Salzmann  <heinz.salzmann@intermetall.de>
10885
10886         * url.c (get_urls_html): Fix calculation of URL position.
10887
10888 1998-06-23  Hrvoje Niksic  <hniksic@srce.hr>
10889
10890         * version.c: Wget 1.5.2 is released.
10891
10892 1998-06-23  Dave Love  <d.love@dl.ac.uk>
10893
10894         * ftp.c, init.c, netrc.c: Include errno.h.
10895
10896         * http.c: Include errno.h and time header.
10897
10898         * Makefile.in (exext): Define.
10899         (install.bin, uninstall.bin): Use it.
10900
10901 1998-06-21  Hrvoje Niksic  <hniksic@srce.hr>
10902
10903         * http.c (http_loop): Don't attempt to compare local and remote
10904         sizes if the remote size is unknown.
10905
10906 1998-06-16  Hrvoje Niksic  <hniksic@srce.hr>
10907
10908         * url.c (get_urls_html): Use malloc() instead of alloca in the
10909         loop.
10910
10911 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
10912
10913         * version.c: Wget 1.5.2-b4 is released.
10914
10915 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
10916
10917         * url.c (get_urls_html): Ignore spaces before and after the URI.
10918
10919 1998-06-08  Wanderlei Antonio Cavassin  <cavassin@conectiva.com.br>
10920
10921         * ftp.c (getftp): Translate `done'.
10922
10923 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
10924
10925         * version.c: Wget 1.5.2-b3 is released.
10926
10927 1998-06-06  Alexander Kourakos  <awk@bnt.com>
10928
10929         * init.c (cleanup): Close dfp, don't free it.
10930
10931 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
10932
10933         * utils.c (make_directory): Twiddle.
10934
10935         * config.h.in: Added template for access().
10936
10937 1998-06-05  Mathieu Guillaume  <mat@cythere.com>
10938
10939         * html.c (htmlfindurl): Download <input src=...>
10940
10941 1998-06-03  Hrvoje Niksic  <hniksic@srce.hr>
10942
10943         * utils.c (file_exists_p): Use access() with two arguments.
10944
10945 1998-05-27  Martin Kraemer  <Martin.Kraemer@mch.sni.de>
10946
10947         * netrc.c (parse_netrc): Correct logic.
10948
10949 1998-05-27  Hrvoje Niksic  <hniksic@srce.hr>
10950
10951         * ftp.c (getftp): Added `break'; suggested by Lin Zhe Min
10952         <ljm@ljm.wownet.net>.
10953
10954 1998-05-24  Hrvoje Niksic  <hniksic@srce.hr>
10955
10956         * version.c: Wget 1.5.2-b2 is released.
10957
10958 1998-05-18  Juan Jose Rodriguez  <jcnsoft@jal1.telmex.net.mx>
10959
10960         * mswindows.h: Don't translate mkdir to _mkdir under Borland.
10961
10962 1998-05-17  Hrvoje Niksic  <hniksic@srce.hr>
10963
10964         * retr.c (elapsed_time): Return correct value when
10965         HAVE_GETTIMEOFDAY is undefined.
10966
10967 1998-05-13  Hrvoje Niksic  <hniksic@srce.hr>
10968
10969         * version.c: Wget 1.5.2-b1 is released.
10970
10971 1998-05-08  Hrvoje Niksic  <hniksic@srce.hr>
10972
10973         * getopt.c (_getopt_internal): Use exec_name instead of argv[0].
10974         (_getopt_internal): Don't translate `#if 0'-ed strings.
10975
10976 1998-05-06  Douglas E. Wegscheid  <wegscd@whirlpool.com>
10977
10978         * mswindows.c (ws_handler): Use fork_to_background().
10979
10980 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
10981
10982         * version.c: Wget 1.5.1 is released.
10983
10984 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
10985
10986         * http.c (parse_http_status_line): Avoid `minor' and `major'
10987         names.
10988
10989 1998-05-02  Hrvoje Niksic  <hniksic@srce.hr>
10990
10991         * utils.c (mkdirhier): Renamed to make_directory.
10992
10993 1998-05-01  Hrvoje Niksic  <hniksic@srce.hr>
10994
10995         * mswindows.c (fork_to_background): Define under Windows.
10996
10997         * utils.c (fork_to_background): New function.
10998
10999         * html.c (htmlfindurl): Removed rerdundant casts.
11000
11001 1998-05-01  Douglas E. Wegscheid  <wegscd@whirlpool.com>
11002
11003         * mswindows.c (ws_mypath): Cache the path.
11004
11005 1998-04-30  Douglas E. Wegscheid  <wegscd@whirlpool.com>
11006
11007         * ftp.h: Prefix enum ftype members with FT_.
11008
11009         * ftp-ls.c, ftp.c, html.h: Adjust accordingly.
11010
11011         * mswindows.h: Use stat under Borland, _stat under MSVC.
11012
11013 1998-04-28  Hrvoje Niksic  <hniksic@srce.hr>
11014
11015         * http.c (known_authentication_scheme_p): New function.
11016         (gethttp): Handle authorization more correctly.
11017
11018         * ftp-basic.h: Removed.
11019
11020         * cmpt.h: Removed.
11021
11022         * utils.c: Include <unistd.h> before <pwd.h>; needed under SunOS
11023         with gcc 2.8.
11024         (numdigit): Use `while' loop.
11025
11026         * http.c (create_authorization_line): Detect authentication
11027         schemes case-insensitively.
11028
11029         * http.c (extract_header_attr): Use strdupdelim().
11030         (digest_authentication_encode): Move declaration of local
11031         variables to smaller scope.
11032         (digest_authentication_encode): Reset REALM, OPAQUE and NONCE.
11033         (create_authorization_line): Detect authentication schemes
11034         case-insensitively.
11035
11036         * utils.c (touch): Constify.
11037
11038         * http.c (gethttp): Report a nicer error when no data is received.
11039
11040         * rbuf.h (RBUF_READCHAR): Ditto.
11041
11042         * ftp-basic.c (ftp_response): Use sizeof.
11043
11044 1998-04-27  Hrvoje Niksic  <hniksic@srce.hr>
11045
11046         * retr.c (print_percentage): EXPECTED is long, not int.
11047         (print_percentage): Use floating-point arithmetic to avoid
11048         overflow with large files' sizes multiplied with 100.
11049
11050 1998-04-27  Gregor Hoffleit  <flight@mathi.uni-heidelberg.de>
11051
11052         * config.h.in: Added pid_t stub.
11053
11054         * sysdep.h (S_ISREG): Moved here from mswindows.h (NeXT doesn't
11055         define it).
11056
11057 1998-04-20  Hrvoje Niksic  <hniksic@srce.hr>
11058
11059         * version.c: Wget 1.5.0 is released.
11060
11061 1998-04-18  Hrvoje Niksic  <hniksic@srce.hr>
11062
11063         * url.c (str_url): Ditto.
11064
11065         * ftp-basic.c (ftp_rest): Use new name.
11066
11067         * utils.c (long_to_string): Renamed from prnum().
11068
11069 1998-04-16  Hrvoje Niksic  <hniksic@srce.hr>
11070
11071         * version.c: Wget 1.5-b17 is released.
11072
11073 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
11074
11075         * headers.c (header_get): New argument FLAGS.
11076
11077         * http.c (gethttp): If request is malformed, bail out of the
11078         header loop.
11079         (gethttp): Check for empty header *after* the status line checks.
11080         (gethttp): Disallow continuations for status line.
11081
11082 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
11083
11084         * version.c: Wget 1.5-b16 is released.
11085
11086 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
11087
11088         * init.c (commands): Renamed `always_rest' to `continue'.
11089
11090 1998-04-05  Hrvoje Niksic  <hniksic@srce.hr>
11091
11092         * all: Use it.
11093
11094         * log.c (logputs): New argument.
11095         (logvprintf): Ditto.
11096         (logprintf): Ditto.
11097
11098 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
11099
11100         * http.c (http_atotm): Update comment.
11101
11102         * main.c (i18n_initialize): Set LC_MESSAGES, not LC_ALL.
11103
11104         * wget.h: Renamed ENABLED_NLS to HAVE_NLS.
11105
11106         * main.c (i18n_initialize): New function.
11107         (main): Use it.
11108
11109         * log.c: Include <unistd.h>.
11110
11111         * retr.c (show_progress): Cast alloca to char *.
11112
11113 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
11114
11115         * version.c: Wget 1.5-b15 is released.
11116
11117 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
11118
11119         * utils.h: Declare file_non_directory_p().
11120
11121 1998-04-03  Hrvoje Niksic  <hniksic@srce.hr>
11122
11123         * main.c (main): It's `tries', not `numtries' now.
11124
11125 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
11126
11127         * init.c (getperms): Removed.
11128
11129 1998-04-01  Tim Charron  <tcharron@interlog.com>
11130
11131         * log.c (logvprintf): Don't use ARGS twice.
11132
11133 1998-04-01  John  <john@futuresguide.com>
11134
11135         * mswindows.c: Cleaned up.
11136
11137 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
11138
11139         * version.c: Wget 1.5-b14 is released.
11140
11141 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
11142
11143         * ftp-opie.c (STRLEN4): New macro.
11144         (btoe): Use it.
11145
11146 1998-04-01  Junio Hamano  <junio@twinsun.com>
11147
11148         * http.c: Document all the Digest functions.
11149
11150 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
11151
11152         * utils.c (file_non_directory_p): Renamed from isfile().
11153
11154         * mswindows.h (S_ISREG): New macro, suggested by Tim Adam.
11155
11156 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
11157
11158         * utils.c (mkdirhier): Use 0777 instead of opt.dirmode.
11159
11160         * init.c (cmd_spec_dotstyle): Use 48 dots per line for binary
11161         style.
11162         (cmd_permissions): Removed.
11163
11164         * config.h.in: Add template for WORDS_BIGENDIAN.
11165
11166 1998-03-31  Junio Hamano  <junio@twinsun.com>
11167
11168         * http.c (HEXD2asc): New macro.
11169         (dump_hash): Use it.
11170
11171 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
11172
11173         * version.c: Wget 1.5-b13 is released.
11174
11175 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
11176
11177         * main.c (main): Don't try to use `com'.
11178
11179 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
11180
11181         * init.c (cmd_permissions): New function.
11182
11183 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
11184
11185         * version.c: Wget 1.5-b12 is released.
11186
11187 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
11188
11189         * init.c (commands): Renamed `numtries' to `tries'.
11190         (cmd_spec_debug): Removed.
11191         (home_dir): Under Windows, return `C:\' if HOME is undefined.
11192
11193 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
11194
11195         * config.h.in: Define _XOPEN_SOURCE.
11196
11197         * init.c (check_user_specified_header): New function.
11198         (cmd_spec_header): Use it.
11199         (cmd_spec_useragent): New function.
11200
11201 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
11202
11203         * version.c: Wget 1.5-b11 is released.
11204
11205 1998-03-28  Hrvoje Niksic  <hniksic@srce.hr>
11206
11207         * wget.h: Include <libintl.h> only if NLS is enabled.
11208
11209 1998-03-26  Hrvoje Niksic  <hniksic@srce.hr>
11210
11211         * options.h (struct options): Made `wait' a long.
11212         (struct options): Ditto for `timeout'.
11213
11214 1998-03-19  Hrvoje Niksic  <hniksic@srce.hr>
11215
11216         * utils.c (exists): Renamed to file_exists_p.
11217         (file_exists_p): Use access() if available.
11218
11219 1998-03-17  Hrvoje Niksic  <hniksic@srce.hr>
11220
11221         * utils.c (memfatal): Set save_log_p to 0 to avoid potential
11222         infloop.
11223
11224         * log.c: do_logging -> save_log_p.
11225
11226         * config.h.in: Added template for HAVE_VSNPRINTF.
11227
11228 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
11229
11230         * init.c: Ditto.
11231
11232         * http.c: Protect declaration against non-ANSI compiler.
11233
11234         * log.c (logvprintf): Use vsnprintf() if available.
11235
11236         * getopt.c (main): Don't translate test stuff.
11237
11238 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
11239
11240         * version.c: Wget 1.5-b10 is released.
11241
11242 1998-03-11  Hrvoje Niksic  <hniksic@srce.hr>
11243
11244         * ftp.c (getftp): Don't translate "CWD %s".
11245
11246         * wget.h (GCC_FORMAT_ATTR): Renamed from FORMAT_ATTR.
11247
11248 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
11249
11250         * ftp-opie.c (btoe): Use memcpy() instead of strncat().
11251
11252         * log.c (logputs): New function.
11253         (logvprintf): Renamed from vlogmsg; use logputs().
11254
11255         * retr.c (show_progress): Print `[100%]' when the retrieval is
11256         finished.
11257
11258         * init.c (run_wgetrc): Use FILE, not PATH.
11259         (wgetrc_file_name): Ditto.
11260
11261 1998-03-07  Tim Adam  <tma@osa.com.au>
11262
11263         * recur.c (parse_robots): Correctly reset `entries' on empty
11264         disallow.
11265
11266 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
11267
11268         * init.c (cmd_spec_debug): Use cmd_boolean().
11269
11270 1998-02-23  Hrvoje Niksic  <hniksic@srce.hr>
11271
11272         * http.c (gethttp): Create proxy-authorization correctly.
11273
11274 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
11275
11276         * md5.c: Ditto.
11277
11278         * getopt.c: Use ANSI function definitions.
11279
11280         * ftp-opie.c: New file.
11281
11282         * options.h: Don't redefine EXTERN.
11283
11284         * init.c: Sort it correctly.
11285
11286 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
11287
11288         * version.c: Wget 1.5-b9 is released.
11289
11290 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
11291
11292         * recur.c (recursive_retrieve): Reset `first_time'.
11293
11294         * ftp.c (getftp): Added `default' clause to switches of uerr_t.
11295
11296         * rbuf.c (rbuf_peek): Simplified.
11297         (rbuf_flush): Use MINVAL.
11298
11299         * wget.h (MINVAL): Moved from url.h.
11300
11301         * rbuf.h (RBUF_FD): New macro.
11302
11303         * url.c (add_url): Add to the head of the list.
11304
11305         * ftp.c (ftp_retrieve_list): Set the permissions to downloaded
11306         file.
11307         (getftp): Set the default permissions to 0600.
11308
11309 1998-02-21  Hrvoje Niksic  <hniksic@srce.hr>
11310
11311         * url.c (get_urls_html): Ditto.
11312         (convert_links): Ditto.
11313
11314         * recur.c (parse_robots): Ditto.
11315
11316         * html.c (ftp_index): Ditto.
11317
11318         * ftp-ls.c (ftp_parse_unix_ls): Open file as binary.
11319
11320         * init.c (defaults): Initialize `opt' to zero via memset.
11321
11322         * http.c (digest_authentication_encode): goto considered harmful.
11323
11324 1998-02-19  Hrvoje Niksic  <hniksic@srce.hr>
11325
11326         * ftp.c (delelement): Simplify and fix leak.
11327
11328 1998-02-18  Hrvoje Niksic  <hniksic@srce.hr>
11329
11330         * http.c (dump_hash): Use HEXD2ASC instead of home-grown stuff.
11331
11332         * url.h (HEXD2ASC): Removed warning.
11333
11334         * init.c (comind): Use binary search.
11335         (commands): Reorganized.
11336         (setval): Ditto.
11337         (cmd_boolean): New function.
11338         (cmd_number): Ditto.
11339         (cmd_number_inf): Ditto.
11340         (cmd_string): Ditto.
11341         (cmd_vector): Ditto.
11342         (cmd_directory_vector): Ditto.
11343         (cmd_bytes): Ditto.
11344         (cmd_time): Ditto.
11345         (cmd_spec_debug): Ditto.
11346         (cmd_spec_dirmode): Ditto.
11347         (cmd_spec_dirstruct): Ditto.
11348         (cmd_spec_dotstyle): Ditto.
11349         (cmd_spec_header): Ditto.
11350         (cmd_spec_htmlify): Ditto.
11351         (cmd_spec_mirror): Ditto.
11352         (cmd_spec_outputdocument): Ditto.
11353         (cmd_spec_recursive): Ditto.
11354         (settime): Merged with cmd_time().
11355         (setbytes): Merged with cmd_bytes().
11356         (setonoff): Merged with cmd_boolean().
11357         (onoff): Ditto.
11358
11359 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
11360
11361         * Makefile.in (distclean): Remove `config.h'.
11362
11363 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
11364
11365         * version.c: Wget 1.5-b8 is released.
11366
11367 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
11368
11369         * http.c (digest_authentication_encode): New function.
11370         (create_authorization_line): Use it.
11371         (dump_hash): New function.
11372         (digest_authentication_encode): Use it.
11373
11374         * fnmatch.c: Renamed from `mtch.c'.
11375
11376 1998-02-15  Karl Eichwalder  <ke@suse.de>
11377
11378         * main.c (main): Tag "Written by..." string as translatable.
11379
11380 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
11381
11382         * wget.h (FREE_MAYBE): New macro.
11383
11384         * http.c (create_authorization_line): Don't use ANSI C string
11385         concatenation feature.
11386         (basic_authentication_encode): Use alloca() for temporary
11387         variables.
11388
11389         * recur.h: Ditto.
11390
11391         * http.c: Ditto.
11392
11393         * headers.h: Ditto.
11394
11395         * ftp-basic.c: Protect declaration against non-ANSI compiler.
11396
11397         * http.c (create_authorization_line): Cast `unsigned char *' to
11398         `char *' for sprintf, to shut up the noisy Digital Unix cc.
11399
11400 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
11401
11402         * version.c: Wget 1.5-b7 is released.
11403
11404 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
11405
11406         * cmpt.c (strstr): Synched with glibc-2.0.6.
11407
11408         * ftp-basic.c (calculate_skey_response): Ditto.
11409         (calculate_skey_response): Use alloca().
11410
11411         * http.c (create_authorization_line): Work with FSF's version of
11412         md5.c.
11413
11414         * md5.c: New file, from GNU libc.
11415
11416 1998-02-14  Hrvoje Niksic  <hniksic@srce.hr>
11417
11418         * url.h (URL_CLEANSE): Name the temporary variable more carefully.
11419
11420 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
11421
11422         * http.c (basic_authentication_encode): New function, instead of
11423         the macro.
11424
11425 1998-02-13  Junio Hamano  <junio@twinsun.com>
11426
11427         * http.c: Add HTTP-DA support.
11428         * ftp-basic.c: Add Opie/S-key support.
11429         * config.h.in, Makefile.in: Add HTTP-DA and Opie/S-key support.
11430         * md5.c, md5.h: New files.
11431
11432 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
11433
11434         * http.c (http_process_range): Renamed from hprocrange().
11435         (http_process_range): Parse the whole header.
11436
11437         * headers.c: New file.
11438         (header_process): New function.
11439         (header_get): Renamed from fetch_next_header.
11440
11441         * all: Include utils.h only where necessary.
11442
11443         * wget.h: Declare xmalloc(), xrealloc() and xstrdup() here.
11444
11445         * wget.h: Add provisions for dmalloc.
11446
11447 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
11448
11449         * version.c: Wget 1.5-b6 is released.
11450
11451 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
11452
11453         * ftp.c (ftp_loop): Determine `filename' more precisely.
11454
11455         * init.c (setval): Don't set `opt.quiet' if output-document is
11456         `-'.
11457
11458         * log.c (log_init): Print to STDERR instead of STDOUT.
11459         (vlogmsg): Use STDERR by default.
11460         (logflush): Ditto.
11461
11462 1998-02-11  Simon Josefsson  <jas@pdc.kth.se>
11463
11464         * host.c: Use addr_in again.
11465
11466 1998-02-08  Karl Eichwalder  <karl@suse.de>
11467
11468         * http.c (gethttp): Fixed typo.
11469
11470 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
11471
11472         * version.c: Wget 1.5-b5 is released.
11473
11474 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
11475
11476         * retr.c (show_progress): Use it.
11477
11478         * log.c (logflush): New function.
11479
11480         * wget.h: Utilize __attribute__ if on gcc.
11481
11482 1998-02-07  Hrvoje Niksic  <hniksic@srce.hr>
11483
11484         * http.c (base64_encode_line): New argument LENGTH.
11485         (BASIC_AUTHENTICATION_ENCODE): Use it.
11486         (BASIC_AUTHENTICATION_ENCODE): Take length of HEADER into account.
11487
11488         * main.c (main): Fixed fprintf() format mismatch.
11489
11490 1998-02-06  Hrvoje Niksic  <hniksic@srce.hr>
11491
11492         * version.c: Wget 1.5-b4 is released.
11493
11494 1998-02-03  Simon Josefsson  <jas@pdc.kth.se>
11495
11496         * host.c: use sockaddr_in instead of addr_in.
11497
11498 1998-02-04  Hrvoje Niksic  <hniksic@srce.hr>
11499
11500         * init.c (cleanup): Use it.
11501
11502         * recur.c (recursive_cleanup): New function.
11503
11504         * retr.c (retrieve_from_file): Ditto.
11505
11506         * main.c (main): Use it.
11507
11508         * recur.c (recursive_reset): New function.
11509
11510         * retr.c (retrieve_from_file): Ditto.
11511
11512         * main.c (main): Simplify call to recursive_retrieve().
11513
11514         * recur.c (recursive_retrieve): Removed FLAGS argument.
11515
11516         * http.c (gethttp): Changed call to iwrite().
11517
11518 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
11519
11520         * url.c (get_urls_html): Ditto.
11521         (free_urlpos): Ditto.
11522         (mkstruct): Ditto.
11523         (construct): Ditto.
11524
11525         * retr.c (retrieve_url): Move declaration of local variables to
11526         smaller scope.
11527
11528         * url.c (urlproto): Use it.
11529         (parseurl): Ditto.
11530         (str_url): Ditto.
11531         (get_urls_html): Ditto.
11532
11533         * utils.h (ARRAY_SIZE): New macro.
11534
11535         * url.c (proto): Moved from url.h.
11536
11537         * url.h (URL_CLEANSE): Reformatted.
11538         (USE_PROXY_P): Renamed from USE_PROXY.
11539
11540         * ftp-basic.c: Adjust to the new interface of iwrite().
11541
11542         * ftp-basic.c (ftp_port): Use alloca().
11543
11544 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
11545
11546         * version.c: Wget 1.5-b3 is released.
11547
11548         * host.c (ftp_getaddress): Don't print to stderr directly.
11549
11550         * init.c (setbytes): Support `g' for gigabytes.
11551         (cmdtype): New specification CTIME.
11552         (setval): Use it with settime().
11553         (commands): Use it for WAIT and TIMEOUT.
11554
11555 1998-02-02  Hrvoje Niksic  <hniksic@srce.hr>
11556
11557         * http.c (BASIC_AUTHENTICATION_ENCODE): New macro.
11558         (gethttp): Use it.
11559
11560         * utils.c (unique_name_1): Moved from url.c.
11561         (unique_name): Ditto.
11562
11563         * url.c (url_filename): Ditto.
11564
11565         * log.c (redirect_output): Changed call to unique_name().
11566
11567         * url.c (unique_name_1): Renamed from unique_name().
11568         (unique_name): Changed interface.
11569
11570         * init.c (enum cmdid): Moved from init.h.
11571         (cmdtype): Ditto.
11572         (struct cmd): Ditto.
11573
11574         * main.c (main): Use it.
11575         (main): Moved `--backups' to not have a short option.
11576
11577         * options.h (struct options): New member BACKGROUND.
11578
11579         * main.c (print_help): Rearranged.
11580         (main): New long options for -n* short options: --no-directories,
11581         --no-host-directories, --non-verbose, --no-host-lookup and
11582         --dont-remove-listing.
11583
11584 1998-02-01  Hrvoje Niksic  <hniksic@srce.hr>
11585
11586         * main.c (main): Use log_close().
11587
11588         * log.c: New variable LOGFP.
11589         (vlogmsg): Use it.
11590         (redirect_output): Don't open /dev/null; set LOGFP to stdin
11591         instead.
11592         (log_close): New function.
11593
11594         * options.h (struct options): Removed LFILE.
11595
11596         * log.c (log_enable): Removed.
11597
11598         * main.c (main): Use it.
11599
11600         * log.c (log_init): New function.
11601
11602         * url.c (get_urls_html): Removed needless assignment to BASE.
11603
11604         * host.c (add_hlist): Don't set CMP needlessly.
11605
11606         * utils.c (match_backwards): Ditto.
11607         (in_acclist): Ditto.
11608
11609         * url.c (findurl): Ditto.
11610
11611         * netrc.c (parse_netrc): Ditto.
11612
11613         * log.c (log_dump): Ditto.
11614
11615         * html.c (html_quote_string): Ditto.
11616
11617         * ftp-basic.c (ftp_request): Made static.
11618
11619         * connect.c: Made global variables static.
11620
11621         * url.c (construct): Ditto.
11622
11623         * init.c (init_path): Avoid assignment inside `if'-condition.
11624
11625         * ftp.c: Don't include in.h or winsock.h.
11626
11627         * ftp.c (ftp_loop): Use SZ.
11628
11629         * connect.c (bindport): Cast &addrlen to int *.
11630         (conaddr): Ditto.
11631
11632         * init.c (initialize): Don't use SYSTEM_WGETRC unconditionally.
11633
11634 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
11635
11636         * ftp.c (getftp): Initialize opt.ftp_pass here.
11637         (ftp_retrieve_dirs): Use alloca().
11638
11639         * init.c (defaults): Don't initialize opt.ftp_pass.
11640
11641         * sysdep.h (S_ISLNK): Declare for OS/2; ditto for lstat.
11642         From Ivan F. Martinez <ivanfm@ecodigit.com.br>.
11643
11644 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
11645
11646         * recur.c (parse_robots): Check for comments more correctly.
11647
11648         * host.c (ftp_getaddress): Use STRDUP_ALLOCA.
11649         (ftp_getaddress): Add diagnostics when reverse-lookup yields only
11650         hostname.
11651
11652 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
11653
11654         * version.c: Wget 1.5-b2 is released.
11655
11656         * netrc.c (NETRC_FILE_NAME): Moved from netrc.h.
11657
11658         * utils.c (proclist): Pass FNM_PATHNAME to fnmatch().
11659
11660         * ftp-basic.c (ftp_pasv): Avoid unnecessary casting to unsigned
11661         char.
11662
11663         * log.c: Don't attempt to hide arguments from ansi2knr.
11664
11665         * cmpt.c: Synched strptime() and mktime() with glibc-2.0.6.
11666
11667         * ansi2knr.c: Use a later version, from fileutils-3.16l alpha.
11668
11669         * ftp.c (getftp): Ditto.
11670
11671         * http.c (gethttp): Use it.
11672
11673         * retr.c (get_contents): New argument EXPECTED; pass it to
11674         show_progress().
11675         (show_progress): New argument EXPECTED; use it to display
11676         percentages.
11677
11678         * init.c (setval): Ditto.
11679
11680         * http.c (gethttp): Ditto.
11681         (http_loop): Ditto.
11682
11683         * ftp.c (getftp): Ditto.
11684         (ftp_loop_internal): Ditto.
11685
11686         * ftp-ls.c (ftp_parse_unix_ls): Use abort() instead of assert(0).
11687
11688         * sysdep.h (CLOSE): Simplify; use DEBUGP.
11689
11690         * netrc.c (search_netrc): Use alloca().
11691
11692         * init.c (defaults): Initialize no_flush.
11693
11694         * log.c (vlogmsg): Don't flush if no_flush.
11695
11696         * options.h (struct options): New variable no_flush.
11697
11698         * main.c (main): Don't play games with buffering.
11699
11700         * log.c (vlogmsg): Flush the output after every message.
11701
11702 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
11703
11704         * init.c (parse_line): Ditto.
11705
11706         * url.c (get_urls_html): Ditto.
11707
11708         * main.c (main): Don't cast to unsigned char.
11709
11710         * init.c (run_wgetrc): Don't cast to unsigned char.
11711         (parse_line): Accept char instead of unsigned char.
11712
11713         * html.c (htmlfindurl): Use char instead of unsigned char.
11714
11715         * all: Use them.
11716
11717         * sysdep.h: Add wrappers to ctype macros to make them
11718         eight-bit-clean:
11719
11720 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
11721
11722         * html.c (htmlfindurl): Download <img lowsrc=...>
11723
11724         * main.c (main): Ignore SIGPIPE.
11725
11726         * connect.c (select_fd): New argument WRITEP.
11727         (iwrite): Call select_fd().
11728
11729 1997-02-27  Fila Kolodny <fila@ibi.com>
11730
11731         * ftp.c (ftp_retrieve_list): If retrieving symlink and the proper
11732         one already exists, just skip it.
11733
11734 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
11735
11736         * http.c (gethttp): Cosmetic changes.
11737
11738         * http.c (check_end): Allow `+D...' instead of `GMT'.
11739         From Fabrizio Pollastri <pollastri@cstv.to.cnr.it>.
11740
11741         * url.c (process_ftp_type): New function.
11742         (parseurl): Use it.
11743
11744         * connect.c (iwrite): Allow writing in a few chunks.
11745         (bindport): Made SRV static, so addr can point to it.
11746         (select_fd): Removed HPUX kludge.
11747
11748         * host.c (free_hlist): Incorporated into clean_hosts().
11749
11750 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
11751
11752         * host.c (hlist): Made static.
11753         (search_address): Cosmetic change.
11754
11755 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
11756
11757         * version.c: Wget v1.5-b1 is released.
11758
11759         * http.c (hgetlen): Use sizeof() to get the header length.
11760         (hgetrange): Ditto.
11761         (hgettype): Ditto.
11762         (hgetlocation): Ditto.
11763         (hgetmodified): Ditto.
11764         (haccepts_none): Ditto.
11765
11766         * main.c (main): Updated `--version' and `--help' output, as per
11767         Francois Pinard's suggestions.
11768
11769         * main.c: Include locale.h; call setlocale(), bindtextdomain() and
11770         textdomain().
11771
11772         * config.h.in: Define stubs for I18N3.
11773
11774         * wget.h: Include libintl.h.
11775
11776 1998-01-28  Hrvoje Niksic  <hniksic@srce.hr>
11777
11778         * url.c (mkstruct): Check for opt.cut_dirs.
11779         (mkstruct): alloca()-te more, xmalloc() less.
11780
11781         * utils.c (load_file): Check for ferror().
11782
11783         * url.c (get_urls_file): Close only the files we opened.
11784         (get_urls_html): Ditto.
11785         (count_slashes): New function.
11786
11787         * http.h: Removed.
11788
11789         * http.c (gethttp): Respect username and password provided by
11790         proxy URL.
11791         (base64_encode_line): Write into an existing buffer instead of
11792         malloc-ing a new one.
11793         (struct http_stat): Moved from http.h
11794
11795         * retr.c (retrieve_url): Free SUF.
11796
11797         * all: Removed lots of unnecessary .h dependencies.
11798
11799         * html.c (global_state): Made static.
11800
11801         * utils.h (ALLOCA_ARRAY): New macro.
11802
11803         * main.c (main): New option `--cut-dirs'.
11804
11805         * url.c (construct): Use alloca() for T.
11806
11807         * utils.c (mkdirhier): Use STRDUP_ALLOCA.
11808
11809         * host.c (_host_t): Moved from host.h.
11810         (struct host): Renamed from _host_t.
11811         (store_hostaddress): Use STRDUP_ALLOCA for INET_S.
11812         (realhost): Ditto.
11813
11814         * host.h: Don't include url.h.
11815
11816         * ftp.c (LIST_FILENAME): Moved from ftp.h.
11817
11818         * init.c (DEFAULT_FTP_ACCT): Moved from ftp.h.
11819
11820         * main.c (main): Enable log if the output goes to a TTY.
11821
11822         * connect.h: Removed unused constant `BACKLOG'.
11823
11824         * config.h.in: Check for isatty().
11825
11826         * Makefile.in (LINK): Use CFLAGS when linking.
11827
11828 1998-01-27  Hrvoje Niksic  <hniksic@srce.hr>
11829
11830         * mswindows.c (ws_hangup): Use redirect_output().
11831
11832         * main.c (redirect_output_signal): New function; use
11833         redirect_output().
11834
11835         * log.c (redirect_output): New function, based on hangup(), which
11836         is deleted.
11837
11838         * log.c (vlogmsg): New function.
11839
11840         * wget.h (DEBUGP): Use debug_logmsg().
11841
11842         * main.c (hangup): Use it.
11843
11844         * log.c (log_dump): New function.
11845
11846         * utils.h (DO_REALLOC): Use `long' for various sizes.
11847
11848         * http.c (hskip_lws): Use `while', for clarity.
11849         (HTTP_DYNAMIC_LINE_BUFFER): New constant.
11850         (fetch_next_header): Use it instead of DYNAMIC_LINE_BUFFER.
11851
11852         * ftp-basic.c (FTP_DYNAMIC_LINE_BUFFER): New constant.
11853         (ftp_response): Use it instead of DYNAMIC_LINE_BUFFER.
11854
11855         * utils.c (DYNAMIC_LINE_BUFFER): Moved from utils.c.
11856         (LEGIBLE_SEPARATOR): Ditto.
11857         (FILE_BUFFER_SIZE): Ditto.
11858
11859         * retr.c (BUFFER_SIZE): Moved from retr.h.
11860
11861         * log.c: New file.
11862         (logmsg): Moved from utils.c.
11863         (debug_logmsg): New function.
11864
11865         * mswindows.h: Include it here.
11866
11867         * init.c: Ditto.
11868
11869         * utils.c: Don't include <windows.h>.
11870
11871 1998-01-25  Hrvoje Niksic  <hniksic@srce.hr>
11872
11873         * host.c (ftp_getaddress): Ditto.
11874
11875         * main.c (main): Use it.
11876
11877         * utils.h (STRDUP_ALLOCA): New macro.
11878
11879         * init.c: Prepend `wget: ' to error messages printed on stderr.
11880
11881         * utils.c (mkdirhier): Renamed from mymkdir.
11882         (touch): Renamed from my_touch.
11883         (pwd_cuserid): Renamed from my_cuserid().
11884
11885 1998-01-24  Andy Eskilsson  <andy.eskilsson@telelogic.se>
11886
11887         * utils.c (accdir): Process wildcards.
11888         (proclist): New function.
11889         (accdir): Use it to avoid code repetition.
11890
11891 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
11892
11893         * recur.c (parse_robots): Respect opt.useragent; use alloca().
11894
11895         * http.c (gethttp): Construct useragent accordingly.
11896
11897         * version.c: Changed version string to numbers-only.
11898
11899         * main.c (print_help): List all the options.
11900
11901         * mswindows.c (windows_main_junk): Initialize argv0 here.
11902
11903 1998-01-24  Karl Heuer  <kwzh@gnu.org>
11904
11905         * netrc.c (search_netrc): Initialize `l' only after processing
11906         netrc.
11907
11908         * main.c (main): Don't trap SIGHUP if it's being ignored.
11909
11910 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
11911
11912         * all: Use logmsg().
11913
11914         * utils.c (time_str): Moved from retr.c.
11915         (logmsg): New function.
11916         (logmsg_noflush): Ditto.
11917
11918         * rbuf.c: New file, moved buf_* functions here.
11919
11920         * ftp.c (ftp_expected_bytes): Moved from ftp-basic.c.
11921
11922         * ftp-basic.c (ftp_rest): Use prnum().
11923
11924         * ftp-basic.c: Ditto.
11925
11926         * ftp.c: Use the new reading functions and macros.
11927
11928         * retr.c (buf_initialize): New function.
11929         (buf_initialized_p): Ditto.
11930         (buf_uninitialize): Ditto.
11931         (buf_fd): Ditto.
11932
11933         * http.c (fetch_next_header): Use the BUF_READCHAR macro for
11934         efficiency.
11935         (gethttp): Use alloca() where appropriate.
11936
11937         * retr.c (buf_readchar): Use it.
11938         (buf_peek): Use rstreams.
11939
11940         * retr.h (BUF_READCHAR): New macro.
11941
11942         * init.c (home_dir): Rewritten for clarity.
11943         (init_path): Ditto.
11944
11945         * mswindows.c (ws_backgnd): Made static.
11946         (read_registry): Ditto.
11947         (ws_cleanup): Ditto.
11948         (ws_handler): Ditto.
11949
11950 1998-01-23  Hrvoje Niksic  <hniksic@srce.hr>
11951
11952         * alloca.c: New file.
11953
11954         * Makefile.in (ALLOCA): Define.
11955
11956         * mswindows.c (ws_help): Constify.
11957         (ws_help): Use alloca.
11958
11959         * mswindows.c: Reformat.
11960
11961         * all: Added _(...) annotations for I18N snarfing and translation.
11962
11963         * host.c (ftp_getaddress): Nuke SYSINFO.
11964         (ftp_getaddress): Don't use getdomainname().
11965         (ftp_getaddress): Use uname(), where available.
11966
11967         * http.c (gethttp): Protect a stray fprintf().
11968
11969         * init.c (settime): New function.
11970         (setval): Treat WAIT specially, allowing suffixes like `m' for
11971         minutes, etc.
11972
11973 1998-01-21  Hrvoje Niksic  <hniksic@srce.hr>
11974
11975         * url.c (get_urls_html): Use alloca() for TEMP.
11976
11977 1998-01-21  Jordan Mendelson  <jordy@wserv.com>
11978
11979         * url.c (rotate_backups): New function.
11980
11981         * http.c (gethttp): Ditto.
11982
11983         * ftp.c (getftp): Rotate backups.
11984
11985 1997-12-18  Hrvoje Niksic  <hniksic@srce.hr>
11986
11987         * all: Renamed nmalloc(), nrealloc() and nstrdup() to xmalloc(),
11988         xrealloc() and xstrdup().  Use the new functions.
11989
11990         * url.c (decode_string): Made static.
11991         (has_proto): Ditto.
11992         (parse_dir): Ditto.
11993         (parse_uname): Ditto.
11994         (mkstruct): Ditto.
11995         (construct): Ditto.
11996         (construct_relative): Ditto.
11997
11998         * retr.c (show_progress): Made static.
11999
12000         * recur.c (robots_url): Made static.
12001         (retrieve_robots): Ditto.
12002         (parse_robots): Ditto.
12003         (robots_match): Ditto.
12004
12005         * main.h: Removed.
12006
12007         * main.c (printhelp): Made static.
12008         (hangup): Ditto.
12009
12010         * init.c (comind): Made static.
12011         (defaults): Ditto.
12012         (init_path): Ditto.
12013         (run_wgetrc): Ditto.
12014         (onoff): Ditto.
12015         (setonoff): Ditto.
12016         (setnum): Ditto.
12017         (myatoi): Ditto.
12018         (getperms): Ditto.
12019         (setbytes): Ditto.
12020
12021         * http.c (fetch_next_header): Made static.
12022         (hparsestatline): Ditto.
12023         (hskip_lws): Ditto.
12024         (hgetlen): Ditto.
12025         (hgetrange): Ditto.
12026         (hgettype): Ditto.
12027         (hgetlocation): Ditto.
12028         (hgetmodified): Ditto.
12029         (haccepts_none): Ditto.
12030         (gethttp): Ditto.
12031         (base64_encode_line): Ditto.
12032         (mktime_from_utc): Ditto.
12033         (http_atotm): Ditto.
12034
12035         * html.c (idmatch): Made static.
12036
12037         * host.c (search_host): Made static.
12038         (search_address): Ditto.
12039         (free_hlist): Ditto.
12040
12041         * ftp.c (getftp): Made static.
12042         (ftp_loop_internal): Ditto.
12043         (ftp_get_listing): Ditto.
12044         (ftp_retrieve_list): Ditto.
12045         (ftp_retrieve_dirs): Ditto.
12046         (ftp_retrieve_glob): Ditto.
12047         (freefileinfo): Ditto.
12048         (delelement): Ditto.
12049
12050         * ftp-ls.c (symperms): Made static.
12051         (ftp_parse_unix_ls): Ditto.
12052
12053         * connect.c (select_fd): Made static.
12054
12055         * utils.c (xmalloc): Renamed from nmalloc.
12056         (xrealloc): Renamed from nrealloc.
12057         (xstrdup): Renamed from nstrdup.
12058
12059         * getopt.c (exchange): Use alloca.
12060
12061         * mswindows.c (mycuserid): Use strncpy.
12062
12063         * New files mswindows.c, mswindows.h, sysdep.h.  winjunk.c,
12064         systhings.h, windecl.h and winjunk.h removed.
12065
12066         * mswindows.c (sleep): New function.
12067
12068         * utils.c: Include <windows.h> under Windows.
12069
12070 1997-06-12  Darko Budor  <dbudor@zesoi.fer.hr>
12071
12072         * url.h (URL_UNSAFE): Change default under Windows.
12073
12074         * retr.c (retrieve_from_file): Respect opt.delete_after.
12075
12076         * main.c (main): Call ws_help on Windows.
12077
12078         * winjunk.c (windows_main_junk): New function.
12079
12080         * main.c (main): Junk-process argv[0].
12081
12082         * http.c (mktime_from_utc): Return -1 if mktime failed.
12083
12084         * http.c (http_loop): Ditto.
12085
12086         * ftp.c (ftp_loop_internal): Change title on Windows when using a
12087         new URL.
12088
12089         * winjunk.c (getdomainname): Lots of functions.
12090
12091 1997-06-12  Hrvoje Niksic  <hniksic@srce.hr>
12092
12093         * cmpt.c (strptime_internal): Handle years more correctly for
12094         `%y'.
12095
12096 1997-06-09  Mike Thomas <mthomas@reality.ctron.com>
12097
12098         * http.c (gethttp): Allocate enough space for
12099         `Proxy-Authorization' header.
12100
12101 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
12102
12103         * version.c: Wget/1.4.5 is released.
12104
12105 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
12106
12107         * retr.c (get_contents): Check return value of fwrite more
12108         carefully.
12109
12110 1997-03-30  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
12111
12112         * cmpt.c (strptime_internal) [case 'Y']: Always subtract 1900 from
12113         year, regardless of century.
12114
12115 1997-03-30  Hrvoje Niksic  <hniksic@srce.hr>
12116
12117         * utils.c (isfile): Use `lstat' instead of `stat'.
12118
12119 1997-03-29  Hrvoje Niksic  <hniksic@srce.hr>
12120
12121         * utils.c (numdigit): Use explicit test.
12122
12123 1997-03-21  Hrvoje Niksic  <hniksic@srce.hr>
12124
12125         * http.c (http_loop): Always use `url_filename' to get u->local.
12126
12127 1997-03-20  Hrvoje Niksic  <hniksic@srce.hr>
12128
12129         * url.c: Recognize https.
12130
12131 1997-03-13  Hrvoje Niksic  <hniksic@srce.hr>
12132
12133         * recur.c (recursive_retrieve): Lowercase just the host name.
12134
12135 1997-03-09  Hrvoje Niksic  <hniksic@srce.hr>
12136
12137         * url.c (get_urls_file): Use the correct test.
12138         (get_urls_html): Ditto.
12139
12140 1997-03-07  Hrvoje Niksic  <hniksic@srce.hr>
12141
12142         * connect.c: Reverted addrlen to int.
12143
12144         * init.c (parse_line): Check for -1 instead of NONE.
12145
12146         * version.c: Changed version to 1.4.5.
12147
12148 1997-02-17  Hrvoje Niksic  <hniksic@srce.hr>
12149
12150         * init.c: New option netrc.
12151         (initialize): Don't parse .netrc.
12152
12153         * cmpt.c (recursive): Return rp.
12154         (strptime_internal): Match the long strings first, the abbreviated
12155         second.
12156
12157 1997-02-16  Hrvoje Niksic  <hniksic@srce.hr>
12158
12159         * http.c (check_end): New function.
12160         (http_atotm): Use it.
12161
12162 1997-02-13  gilles Cedoc  <gilles@cedocar.fr>
12163
12164         * http.c (gethttp): Use them.
12165
12166         * init.c: New options proxy_user and proxy_passwd.
12167
12168 1997-02-14  Hrvoje Niksic  <hniksic@srce.hr>
12169
12170         * ftp.c (ftp_retrieve_list): Create links even if not relative.
12171
12172 1997-02-10  Hrvoje Niksic  <hniksic@srce.hr>
12173
12174         * recur.c (recursive_retrieve): Lowercase the host name, if the
12175         URL is not "optimized".
12176
12177         * host.c (realhost): Return l->hostname, even if it matches with
12178         host.
12179
12180 1997-02-10  Marin Purgar  <pmc@asgard.hr>
12181
12182         * connect.c: Make addrlen size_t instead of int.
12183         (conaddr): Ditto.
12184
12185 1997-02-09  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
12186
12187         * systhings.h: Define S_ISLNK on NeXT too.
12188
12189 1997-02-09  Hrvoje Niksic  <hniksic@srce.hr>
12190
12191         * version.c: Released 1.4.3.
12192
12193         * url.c: Futher update to list of protostrings.
12194         (skip_proto): Skip `//' correctly for FTP and HTTP.
12195
12196         * url.c (get_urls_html): Handle bogus `http:' things a little
12197         different.
12198
12199         * main.c (main): Removed `follow-ftp' from `f'.
12200         (main): Dumped the `prefix-files' and `file-prefix' options and
12201         features; old and bogus.
12202         (main): Exit on failed setval() in `-e'.
12203
12204         * http.c (fetch_next_header): Use it to detect header continuation
12205         correctly.
12206
12207         * retr.c (buf_peek): New function.
12208
12209 1997-02-08  Hrvoje Niksic  <hniksic@srce.hr>
12210
12211         * wget.h: Include time.h and stuff.
12212
12213 1997-02-08  Roger Beeman  <beeman@cisco.com>
12214
12215         * ftp.c: Include <time.h>
12216
12217 1997-02-07  Hrvoje Niksic  <hniksic@srce.hr>
12218
12219         * url.c (findurl): Would read over buffer limits.
12220
12221 1997-02-06  Hrvoje Niksic  <hniksic@srce.hr>
12222
12223         * ftp-ls.c (ftp_parse_unix_ls): Allow spaces in file names.
12224
12225 1997-02-05  Hrvoje Niksic  <hniksic@srce.hr>
12226
12227         * http.c (http_atotm): Initialize tm.is_dst.
12228
12229 1997-02-02  Hrvoje Niksic  <hniksic@srce.hr>
12230
12231         * http.c (gethttp): Don't print the number of retrieved headers.
12232
12233         * main.c (main): New option `--no-clobber', alias for `-nc'.
12234
12235         * url.c: Recognize `https://'.
12236
12237 1997-02-01  Hrvoje Niksic  <hniksic@srce.hr>
12238
12239         * host.c (herrmsg): Don't use h_errno.
12240
12241 1997-01-30  Hrvoje Niksic  <hniksic@srce.hr>
12242
12243         * host.c (accept_domain): Use it.
12244
12245         * main.c (main): New option `--exclude-domains'.
12246
12247         * retr.c (retrieve_url): Use it.
12248         (retrieve_url): Bail out when an URL is redirecting to itself.
12249
12250         * url.c (url_equal): New function.
12251
12252 1997-01-29  Hrvoje Niksic  <hniksic@srce.hr>
12253
12254         * connect.c: Include arpa/inet.h instead of arpa/nameser.h.
12255
12256         * http.c (mk_utc_time): New function.
12257         (http_atotm): Use it; handle time zones correctly.
12258
12259 1997-01-28  Hrvoje Niksic  <hniksic@srce.hr>
12260
12261         * http.c: Ditto.
12262
12263         * ftp-basic.c: Use it instead of WRITE.
12264
12265         * connect.c (iwrite): New function.
12266
12267 1997-01-27  Hrvoje Niksic  <hniksic@srce.hr>
12268
12269         * cmpt.c (mktime): New function.
12270
12271         * netrc.c: Include <sys/types.h>.
12272
12273         * main.c (main): Wouldn't recognize --spider.
12274
12275         * retr.c (rate): Use `B', `KB' and `MB'.
12276         (reset_timer,elapsed_time): Moved from utils.c.
12277
12278         * ftp.c (ftp_retrieve_list): Ditto.
12279
12280         * http.c (http_loop): Don't touch the file if opt.dfp.
12281
12282 1997-01-24  Hrvoje Niksic  <hniksic@srce.hr>
12283
12284         * cmpt.c: New file.
12285
12286         * ftp.c (ftp_retrieve_glob): New argument semantics.
12287         (ftp_retrieve_dirs): Use it.
12288         (ftp_loop): Ditto.
12289
12290         * html.c (htmlfindurl): Recognize `'' as the quote char.
12291
12292 1997-01-23  Hrvoje Niksic  <hniksic@srce.hr>
12293
12294         * ftp.c (ftp_loop_internal): Use it.
12295
12296         * utils.c (remove_link): New function.
12297
12298 1997-01-22  Hrvoje Niksic  <hniksic@srce.hr>
12299
12300         * retr.c (retrieve_url): Require STRICT redirection URL.
12301
12302         * url.c (parseurl): New argument STRICT.
12303
12304         * http.c (hparsestatline): Be a little-bit less strict about
12305         status line format.
12306
12307 1997-01-21  Hrvoje Niksic  <hniksic@srce.hr>
12308
12309         * http.c (gethttp): Use it.
12310
12311         * main.c (main): Don't use '<digit>' as options.
12312
12313         * init.c: New option ignore_length.
12314
12315         * http.c (gethttp): Ditto.
12316         (http_loop): Check for redirection without Location:.
12317         (gethttp): Don't print Length unless RETROKF.
12318
12319         * ftp.c (getftp): Use it.
12320
12321         * url.c (mkalldirs): New function.
12322
12323         * utils.c (mymkdir): Don't check for existing non-directory.
12324
12325         * url.c (mkstruct): Don't create the directory.
12326
12327 1997-01-20  Hrvoje Niksic  <hniksic@srce.hr>
12328
12329         * init.c (setval): Removed NO_RECURSION checks.
12330
12331 1997-01-19  Hrvoje Niksic  <hniksic@srce.hr>
12332
12333         * version.c: "Released" 1.4.3-pre2.
12334
12335         * recur.c (recursive_retrieve): Bypass host checking only if URL
12336         is ftp AND parent URL is not ftp.
12337
12338         * ftp-basic.c (ftp_request): Print out Turtle Power.
12339
12340         * ftp.c (ftp_loop): Call ftp_retrieve_glob with 0 if there's no
12341         wildcard.
12342         (ftp_retrieve_glob): Call ftp_loop_internal even on empty list, if
12343         not glob.
12344
12345         * http.c (gethttp): Be a little bit smarter about status codes.
12346
12347         * recur.c (recursive_retrieve): Always reset opt.recursive when
12348         dealing with FTP.
12349
12350 1997-01-18  Hrvoje Niksic  <hniksic@srce.hr>
12351
12352         * retr.c (retrieve_url): New variable location_changed; use it for
12353         tests instead of mynewloc.
12354         (retrieve_url): Allow heuristic adding of html.
12355
12356         * url.c (url_filename): Don't use the `%' in Windows file names.
12357
12358         * http.c (http_loop): Always time-stamp the local file.
12359
12360         * http.c (http_loop): Ditto.
12361
12362         * ftp.c (ftp_retrieve_list): Use it.
12363
12364         * utils.c (my_touch): New function.
12365
12366         * ftp.c (ftp_retrieve_list): Use #ifdef HAVE_STRUCT_UTIMBUF
12367         instead of #ifndef NeXT.
12368
12369         * utils.c (strptime): New version, by Ulrich Drepper.
12370
12371 1997-01-17  Hrvoje Niksic  <hniksic@srce.hr>
12372
12373         * http.c (haccepts_none): Renamed from `haccepts_bytes'.
12374         (gethttp): If haccepts_none(), disable ACCEPTRANGES.
12375         (http_loop): Would remove ACCEPTRANGES.
12376
12377         * ftp.c (getftp): Call ftp_list with NULL.
12378
12379 1997-01-15  Hrvoje Niksic  <hniksic@srce.hr>
12380
12381         * html.c (ftp_index): Don't print minutes and seconds if we don't
12382         know them; beautify the output.
12383
12384         * ftp.c (getftp): Don't close the socket on FTPNSFOD.
12385
12386 1997-01-14  Hrvoje Niksic  <hniksic@srce.hr>
12387
12388         * utils.c (strptime): New function.
12389         (strptime): Don't use get_alt_number.
12390         (strptime): Don't use locale.
12391         (match_string): Made it a function.
12392
12393 1997-01-12  Hrvoje Niksic  <hniksic@srce.hr>
12394
12395         * http.c (http_atotm): New function.
12396         (http_loop): Use it.
12397
12398         * atotm.c: Removed from the distribution.
12399
12400         * http.c (base64_encode_line): Rewrite.
12401
12402 1997-01-09  Hrvoje Niksic  <hniksic@srce.hr>
12403
12404         * ftp.c (getftp): Use ftp_expected_bytes; print size.
12405
12406         * ftp-basic.c (ftp_response): Use ftp_last_respline.
12407         (ftp_expected_bytes): New function.
12408
12409         * ftp.c (getftp): Print the unauthoritative file length.
12410
12411         * ftp-ls.c: Renamed from ftp-unix.c.
12412         (ftp_parse_ls): Moved from ftp.c.
12413         (ftp_parse_unix_ls): Recognize seconds in time spec.
12414         (ftp_parse_unix_ls): Recognize year-less dates of the previous
12415         year.
12416
12417 1997-01-08  Hrvoje Niksic  <hniksic@srce.hr>
12418
12419         * ftp-basic.c: Don't declare errno if #defined.
12420
12421         * host.c (ftp_getaddress): Check for sysinfo legally.
12422
12423 1997-01-08  Darko Budor  <dbudor@diana.zems.fer.hr>
12424
12425         * connect.c (iread): Use READ.
12426
12427 1996-12-23  Hrvoje Niksic  <hniksic@srce.hr>
12428
12429         * url.c: Recognize finger, rlogin, tn3270, mid and cid as valid
12430         schemes.
12431
12432 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
12433
12434         * host.c (ftp_getaddress): Allow `.' in hostname.
12435
12436 1996-12-26  Darko Budor <dbudor@zems.fer.hr>
12437
12438         * wget.h: READ and WRITE macros for use instead of read and write
12439         on sockets, grep READ *.c, grep WRITE *.c
12440
12441         * wsstartup.c: new file - startup for winsock
12442
12443         * wsstartup.h: new file
12444
12445         * win32decl.h: new file - fixup for <errno.h> and winsock trouble
12446
12447         * configure.bat: Configure utility for MSVC
12448
12449         * src/Makefile.ms,config.h.ms: new files for use with MSVC 4.x
12450
12451 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
12452
12453         * version.c: Released 1.4.3-pre.
12454
12455         * utils.c (prnum): Accept long.
12456         (legible): Use prnum().
12457
12458         * connect.c (make_connection): Accept port as short.
12459         (bindport): Ditto.
12460
12461         * http.c (gethttp): Use search_netrc.
12462
12463 1996-12-21  Hrvoje Niksic  <hniksic@srce.hr>
12464
12465         * ftp.c (getftp): Use search_netrc.
12466
12467         * netrc.c (free_netrc): New function.
12468
12469         * init.c (home_dir): New function.
12470
12471         * url.c (convert_links): Allow REL2ABS changes.
12472
12473 1996-12-21  Gordon Matzigkeit  <gord@gnu.ai.mit.edu>
12474
12475         * netrc.c: New file.
12476         (parse_netrc, maybe_add_to_list): New functions.
12477
12478 1996-12-17  Hrvoje Niksic  <hniksic@srce.hr>
12479
12480         * retr.c (retrieve_url): Reset opt.recursion before calling
12481         ftp_loop if it is reached through newloc.
12482
12483         * init.c (run_wgetrc): Print the wgetrc path too, when reporting
12484         error; don't use "Syntax error", since we don't know if it is
12485         really a syntax error.
12486
12487 1996-12-16  Hrvoje Niksic  <hniksic@srce.hr>
12488
12489         * utils.c (acceptable): Extract the filename part of the path.
12490
12491         * recur.c (recursive_retrieve): Call acceptable() with the right
12492         argument; would bug out on wildcards.
12493
12494         * init.c (parse_line): Likewise.
12495
12496         * html.c (htmlfindurl): Cast to char * when calling stuff.
12497
12498 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
12499
12500         * ftp.c (getftp): Use ftp_pasv.
12501
12502         * ftp-basic.c (ftp_request): Accept NULL value.
12503         (ftp_pasv): New function.
12504
12505         * options.h (struct options): Add passive FTP option.
12506
12507 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
12508
12509         * url.c (parseurl): Debug output.
12510
12511         * utils.c (path_simplify): New one, adapted from bash's
12512         canonicalize_pathname().
12513
12514 1996-12-14  Hrvoje Niksic  <hniksic@srce.hr>
12515
12516         * ftp.c (getftp): Don't discard the buffer.
12517
12518         * retr.c (get_contents): New parameter nobuf.
12519
12520 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
12521
12522         * html.c (htmlfindurl): Recognize <meta contents="d; URL=...".
12523
12524         * init.c (setval): Strip the trailing slashes on CVECDIR.
12525
12526 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
12527
12528         * init.c: Make excludes and includes under CVECDIR instead of
12529         CVEC.
12530
12531 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
12532
12533         * url.c (get_urls_html): Skip "http:".
12534
12535 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
12536
12537         * utils.c (strcasecmp): From glibc.
12538         (strncasecmp): Also.
12539         (strstr): Also.
12540
12541         * url.c: Added javascript: to the list of URLs prefixes.
12542
12543 1996-12-12  Shawn McHorse  <riffraff@txdirect.net>
12544
12545         * recur.c (retrieve_robots): Print the warning message only if
12546         verbose.
12547
12548 1996-12-12  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
12549
12550         * ftp.c (ftp_retrieve_list): Use NeXT old utime interface.
12551
12552 1996-12-12  Hrvoje Niksic  <hniksic@srce.hr>
12553
12554         * systhings.h: New file.
12555
12556         * ../configure.in: Check for utime.h
12557
12558         * ftp.c: Check whether we have unistd.h.
12559
12560 1996-11-27  Hrvoje Niksic  <hniksic@srce.hr>
12561
12562         * recur.c (recursive_retrieve): Send the canonical URL as referer.
12563         (recursive_retrieve): Call get_urls_html with the canonical URL.
12564
12565 1996-12-13  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
12566
12567         * (configure.in, config.h.in, src/Makefile.in, src/*.[ch]): Add
12568         ansi2knr support for compilers which don't support ANSI style
12569         function prototypes and signatures.
12570
12571         * (aclocal.m4, src/ansi2knr.c, src/ansi2knr.1): New files.
12572
12573 1996-11-26  Hrvoje Niksic  <hniksic@srce.hr>
12574
12575         * url.c: Use it; Recognize paths ending with "." and ".." as
12576         directories.
12577         (url_filename): Append .n whenever file exists and could be a
12578         directory.
12579
12580         * url.h (ISDDOT): New macro.
12581
12582         * init.c (parse_line): Use unsigned char.
12583
12584         * url.c (get_urls_html): Cast to unsigned char * when calling
12585         htmlfindurl.
12586
12587         * html.c (htmlfindurl): Use unsigned char.
12588
12589         * version.c: Changed version to 1.4.3.
12590
12591 1996-11-25  Hrvoje Niksic  <hniksic@srce.hr>
12592
12593         * version.c: Released 1.4.2.
12594
12595         * ftp.c (getftp): Simplified assertion.
12596         (ftp_loop_internal): Remove symlink before downloading.
12597         (ftp_retrieve_list): Unlink the symlink name before attempting to
12598         create a symlink!
12599
12600         * options.h (struct options): Renamed print_server_response to
12601         server_response.
12602
12603         * ftp.c (rel_constr): Removed.
12604         (ftp_retrieve_list): Don't use it.
12605         (ftp_retrieve_list): Use opt.retr_symlinks.
12606
12607 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
12608
12609         * main.c (main): New option retr_symlinks.
12610
12611         * url.c (convert_links): Print verbose message.
12612
12613 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
12614
12615         * http.c (http_loop): Reset newloc in the beginning of function;
12616         would cause FMR in retrieve_url.
12617
12618 1996-11-23  Hrvoje Niksic  <hniksic@srce.hr>
12619
12620         * recur.c (convert_all_links): Find the URL of each HTML document,
12621         and feed it to get_urls_html; would bug out.
12622         (convert_all_links): Check for l2 instead of dl; removed dl.
12623
12624         * url.c (convert_links): Don't refer to freed newname.
12625
12626         * recur.c (recursive_retrieve): Add this_url to urls_downloaded.
12627
12628         * main.c (main): Print the OS_TYPE in the debug output, too.
12629
12630         * recur.c (recursive_retrieve): Check for opt.delete_after.
12631
12632         * main.c (main): New option delete-after.
12633
12634         * init.c (setval): Cleaned up.
12635
12636 1996-11-21  Hrvoje Niksic  <hniksic@srce.hr>
12637
12638         * Makefile.in (wget): Make `wget' the default target.
12639
12640         * ftp.c (ftp_loop_internal): Move noclobber checking out of the
12641         loop.
12642         (ftp_retrieve_list): Warn about non-matching sizes.
12643
12644         * http.c (http_loop): Made -nc non-dependent on opt.recursive.
12645
12646         * init.c (setnum): Renamed from setnuminf; New argument flags.
12647         (setval): Use it.
12648
12649         * main.c (main): Sorted the options.
12650         (main): New option --wait.
12651
12652 1996-11-21  Shawn McHorse  <riffraff@txdirect.net>
12653
12654         * html.c (htmlfindurl): Reset s->in_quote after getting out of
12655         quotes.
12656
12657 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
12658
12659         * version.c: Changed version to 1.4.2.
12660
12661 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
12662
12663         * version.c: Released 1.4.1.
12664
12665         * html.c (html_quote_string): New function.
12666         (ftp_index): Use it.
12667         (htmlfindurl): A more gentle ending debug message.
12668
12669         * ftp.c (ftp_loop): Check for opt.htmlify.
12670
12671         * init.c: New command htmlify.
12672
12673         * ftp.c (getftp): Nicer error messages, with `'-encapsulated
12674         strings.
12675         (ftp_loop): Print size of index.html.
12676
12677         * init.c (setval): Implement "styles".
12678
12679         * main.c (main): New option dotstyle.
12680
12681 1996-11-19  Hrvoje Niksic  <hniksic@srce.hr>
12682
12683         * ftp.c (getftp): Close the master socket in case of errors, after
12684         bindport().
12685
12686         * connect.c (bindport): Initialize msock to -1.
12687
12688         * ftp.c (getftp): Initialize dtsock to -1.
12689
12690         * connect.c (closeport): Don't close sock if sock == -1.
12691
12692 1996-11-18  Hrvoje Niksic  <hniksic@srce.hr>
12693
12694         * init.c (setnuminf): Nuked default value -- just leave unchanged.
12695         (setval): Don't send default values.
12696         (defaults): Use DEFAULT_TIMEOUT -- aaargh.
12697
12698         * options.h (struct options): Use long for dot_bytes.
12699
12700         * init.c (setquota): Renamed to setbytes.
12701         (setval): Use setbytes on DOTBYTES.
12702
12703 1996-11-17  Hrvoje Niksic  <hniksic@srce.hr>
12704
12705         * ftp.c (getftp): Initialize con->dltime.
12706
12707         * recur.c (recursive_retrieve): Use same_host instead of
12708         try_robots; simply load robots_txt whenever the host is changed.
12709         (recursive_retrieve): Free forbidden before calling parse_robots.
12710
12711 1996-11-16  Hrvoje Niksic  <hniksic@srce.hr>
12712
12713         * retr.c (show_progress): Use them.
12714
12715         * options.h (struct options): New options dot_bytes, dots_on_line
12716         and dot_spacing.
12717
12718 1996-11-16  Mark Boyns  <boyns@sdsu.edu>
12719
12720         * recur.c (recursive_retrieve): Retrieve directories regardless of
12721         acc/rej rules; check for empty u->file.
12722
12723 1996-11-14  Hrvoje Niksic  <hniksic@srce.hr>
12724
12725         * init.c (setval): Use it.
12726
12727         * utils.c (merge_vecs): New function.
12728
12729         * init.c (setval): Reset the list-type functions when encountering
12730         "".
12731
12732 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
12733
12734         * recur.c (recursive_retrieve): Use base_url instead of this_url
12735         for no_parent.
12736
12737 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
12738
12739         * html.c (htmlfindurl): Reset s->in_quote after exiting the quote.
12740
12741 1996-11-13  Hrvoje Niksic  <hniksic@srce.hr>
12742
12743         * utils.c (sepstring): Rewrote; don't use strtok.
12744
12745         * recur.c (recursive_retrieve): Enter assorted this_url to slist
12746         when running the first time.
12747         (retrieve_robots): Warn to ignore errors when robots are loaded.
12748
12749         * utils.c (load_file): Moved from url.c.
12750
12751         * http.c: Made static variables const too in h* functions.
12752
12753         * main.c (main): Renamed --continue-ftp to --continue.
12754
12755         * recur.c (recursive_retrieve): Use it.
12756
12757         * utils.c (frontcmp): New function.
12758
12759         * url.c (accdir): New function.
12760
12761         * html.c (htmlfindurl): Recognize <area href=...>.
12762
12763         * ftp.c (ftp_retrieve_dirs): Implemented opt.includes.
12764
12765         * init.c (setval): Free the existing opt.excludes and
12766         opt.includes, if available.
12767
12768         * main.c (main): New option -I.
12769
12770 1996-11-12  Hrvoje Niksic  <hniksic@srce.hr>
12771
12772         * ftp.c (ftp_retrieve_glob): Do not weed out directories.
12773
12774         * version.c: Changed version to 1.4.1.
12775
12776 1996-11-11  Hrvoje Niksic  <hniksic@srce.hr>
12777
12778         * version.c: Released 1.4.0.
12779
12780 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
12781
12782         * main.c (main): Free com and val after parse_line.
12783         (printhelp): Reorder the listing.
12784
12785         * http.c: More robust header parsing.
12786
12787         * http.c: Allow any number of spaces, or no spaces, precede ':'.
12788         (hskip_lws): New function.
12789         (haccepts_bytes): New function.
12790         (gethttp): Use it.
12791
12792         * init.c (setval): Check header sanity.
12793         (setval): Allow resetting of headers.
12794
12795 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
12796
12797         * http.c (http_loop): Don't use has_wildcards.
12798
12799         * http.c (gethttp): Free all_headers -- would leak.
12800
12801         * recur.c (recursive_retrieve): Initialize depth to 1 instead of
12802         0 -- this fixes a long-standing bug in -rl.
12803
12804 1996-11-09  Hrvoje Niksic  <hniksic@srce.hr>
12805
12806         * ftp.c: Use -1 as "impossible" value for con->fd.
12807
12808         * url.h (URL_SEPARATOR): Don't treat `*' and `+' as separators.
12809
12810         * init.c (parse_line): Use isalpha.
12811
12812         * ftp-unix.c: Use HAVE_UNISTD_H.
12813
12814         * mtch.c (has_wildcards): Don't match \.
12815
12816         * http.c (http_loop): Warn on HTTP wildcard usage.
12817
12818 1996-11-08  Hrvoje Niksic  <hniksic@srce.hr>
12819
12820         * url.c (url_filename): Do not create numbered suffixes if
12821         opt.noclobber -- would bug out on -nc.
12822
12823 1996-11-07  Hrvoje Niksic  <hniksic@srce.hr>
12824
12825         * recur.c (parse_robots): Don't chuck out the commands without
12826         arguments (`Disallow:<empty>' didn't work).
12827         (parse_robots): Compare versions lowercase.
12828         (parse_robots): Match on base_version, not version_string!
12829         (parse_robots): Handle comments properly.
12830         (parse_robots): Match versions in a sane way.
12831
12832         * init.c: Print nicer error messages.
12833
12834         * version.c: Changed version to 1.4.0.
12835
12836 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
12837
12838         * version.c: Released 1.4.0-test2.
12839
12840         * init.c (run_wgetrc): Close fp.
12841
12842         * ftp.c (ftp_retrieve_dirs): Allocate the correct length for
12843         u->dir.
12844
12845 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
12846
12847         * init.c (setquota): Allow inf as quota specification.
12848
12849 1996-11-05  Hrvoje Niksic  <hniksic@srce.hr>
12850
12851         * ftp.c (ftp_retrieve_dirs): Return QUOTEXC if quota exceeded.
12852         (ftp_retrieve_glob): Return QUOTEXC on quota exceeded.
12853
12854         * main.c (main): Check for quota by comparison with downloaded
12855         stuff, not from status.
12856
12857         * connect.c (select_fd): Should compile on HPUX without warnings now.
12858
12859         * ftp.c (ftp_get_listing): Check whether ftp_loop_internal
12860         returned RETROK.
12861
12862 1996-11-04  Hrvoje Niksic  <hniksic@srce.hr>
12863
12864         * ftp.c (ftp_retrieve_glob): Print the pattern nicely.
12865         (getftp): Return FTPRETRINT on control connection error.
12866
12867         * html.c (htmlfindurl): Recognize <embed src=...> and
12868         <bgsound src=...>.
12869         (ftp_index): Handle username and password correctly.
12870
12871         * main.c (main): Made `-np' a synonim for --no-parent.
12872
12873 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
12874
12875         * ftp.c (ftp_loop): Check for opt.ftp_glob too before calling
12876         ftp_retrieve_glob.
12877
12878         * version.c: Changed version to 1.4.0-test2.
12879
12880 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
12881
12882         * version.c: Released 1.4.0-test1.
12883
12884         * url.c (str_url): Don't use sprintf when creating %2F-prefixed
12885         directory.
12886         (convert_links): Removed definition of make_backup.
12887
12888         * http.h: Removed definition of MAX_ERROR_LENGTH.
12889
12890         * host.c (ftp_getaddress): Check for "(none)" domains.
12891
12892         * ftp.c (ftp_retrieve_dirs): Docfix.
12893
12894         * http.c (gethttp): Use ou->referer instead of u->referer.
12895
12896         * retr.c (retrieve_url): Reset u to avoid freeing pointers twice;
12897         this was known to cause coredumps on Linux.
12898
12899         * html.c (ftp_index): Cast the argument to local_time to time_t *.
12900
12901 1996-11-01  Hrvoje Niksic  <hniksic@srce.hr>
12902
12903         * connect.c (select_fd): Use exceptfds -- once and for all.
12904
12905         * retr.c (retrieve_from_file): Free filename after
12906         recursive_retrieve.
12907         (retrieve_from_file): Send RFIRST_TIME to recursive_retrieve on
12908         first-time retrieval.
12909         (retrieve_from_file): Return uerr_t; new argument, count.
12910         (retrieve_from_file): Break on QUOTEXC.
12911
12912         * init.c (setquota): Fixed a bug that caused rejection of
12913         non-postfixed values..
12914
12915 1996-10-30  Hrvoje Niksic  <hniksic@srce.hr>
12916
12917         * version.c: Changed name to wget.
12918
12919         * connect.c (iread): Smarter use of select.
12920         (select_fd): Set errno on timeout.  If not timeout, return 1
12921         instead of 0.
12922
12923 1996-10-29  Hrvoje Niksic  <hniksic@srce.hr>
12924
12925         * ftp.c (ftp_loop_internal): Don't use con->cmd before
12926         establishing it.
12927
12928 1996-10-26  Hrvoje Niksic  <hniksic@srce.hr>
12929
12930         * http.c (gethttp): Send correct referer when using proxy.
12931         (gethttp): Use struct urlinfo ou to access the relevant data; send
12932         correct authorization in all cases.
12933
12934         * host.c (same_host): Use skip_uname to skip username and
12935         password.
12936
12937         * url.c (skip_uname): New function.
12938         (parseurl): Use it.
12939
12940         * host.c (same_host): Do not assume HTTP -- same_host should now
12941         be totally foolproof.
12942
12943         * url.c (skip_proto): New function.
12944         (parse_uname): Use it.
12945
12946         * http.c (gethttp): Create local user and passwd from what is
12947         given.
12948
12949         * url.c (parseurl): Check for HTTP username and password too.
12950
12951 1996-10-25  Hrvoje Niksic  <hniksic@srce.hr>
12952
12953         * config.h.in: Removed #define gethostbyname R...
12954
12955 1996-10-22  Hrvoje Niksic  <hniksic@srce.hr>
12956
12957         * version.c: Changed version to 1.4.0-test1.
12958
12959 1996-10-21  Hrvoje Niksic  <hniksic@srce.hr>
12960
12961         * version.c: "Released" 1.4b29.
12962
12963         * recur.c (recursive_retrieve): Check for no_parent.
12964
12965         * init.c (setval): Option update.
12966
12967         * main.c (main): New option no-parent.
12968
12969         * options.h (struct options): New variable no_parent.
12970
12971         * recur.c (recursive_retrieve): Only files are checked for
12972         opt.accepts and opt.rejects.
12973         (recursive_retrieve): Check directories for opt.excludes.
12974         (recursive_retrieve): Make the dir absolute when checking
12975         opt.excludes.
12976
12977         * html.c (htmlfindurl): Recognize <applet code=...> and <script
12978         src=...>
12979
12980 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
12981
12982         * ftp.c (getftp): Do not line-break assert entries at all.
12983         (ftp_retrieve_dirs): docfix.
12984
12985         * connect.c (select_fd): Use fd + 1 as nfds.
12986
12987         * version.c: Changed version to 1.4b29.
12988
12989 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
12990
12991         * version.c: "Released" 1.4b28.
12992
12993         * ftp.c (ftp_loop_internal): Check whether f->size == len and
12994         don't continue the loop if it is.
12995         (ftp_get_listing): Remove list_filename on unsuccesful loop.
12996
12997 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
12998
12999         * ftp.c (ftp_loop_internal): Use strcpy to initialize tmp.
13000         (getftp): Do not use multiline assert.
13001
13002         * http.c (hparsestatline): Use mjr and mnr instead of major and
13003         minor, which don't compile on Ultrix.
13004         (http_loop): Use strcpy() to initialize tmp.
13005
13006         * all: Geturl -> Fetch
13007
13008 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
13009
13010         * recur.c (parse_robots): Fixed an off-by-one bug when looking for
13011         ':'.
13012
13013         * html.c (htmlfindurl): Fixed several possible off-by-one bugs by
13014         moving `bufsize &&' to the beginning of each check in for-loops.
13015
13016         * recur.c (parse_robots): Close fp on exit.
13017
13018         * url.c (mymkdir): Check for each directory before creating.
13019
13020 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
13021
13022         * version.c: Changed version to 1.4b28.
13023
13024 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
13025
13026         * version.c: "Released" 1.4b27.
13027
13028         * init.c (parse_line): Use isspace.
13029         (parse_line): Free *com on all errors.
13030
13031         * ftp.c (ftp_loop): Change FTPOK to RETROK before exiting.
13032         (delelement): Use next instead of f->next and prev instead of
13033         f->prev.
13034         (delelement): Free the members of the deleted element.
13035
13036         * http.c (http_loop): Do not return RETROK on code != 20x.
13037
13038         * init.c (cleanup): Free opt.user_header.
13039         (cleanup): Free opt.domains.
13040
13041         * url.c (freelists): Moved to cleanup().
13042
13043         * http.c (hparsestatline): Docfix.
13044
13045         * main.c (main): Return with error status on unsuccesful
13046         retrieval.
13047
13048         * init.c (setval): Do not remove listing when mirroring.
13049
13050         * url.c (url_filename): Use opt.fileprefix.
13051
13052         * ftp.c (ftp_get_listing): Use url_filename to get filename for
13053         .listing.
13054
13055         * main.c (main): New option: -rn.
13056
13057 1996-10-15  Hrvoje Niksic  <hniksic@srce.hr>
13058
13059         * Makefile.in (RM): Added RM = rm -f.
13060
13061         * host.c (clean_hosts): New function.
13062         (free_hlist): Just free the list, no reset.
13063
13064         * version.c: Changed version to 1.4b27.
13065
13066 1996-10-13  Hrvoje Niksic  <hniksic@srce.hr>
13067
13068         * version.c: "Released" 1.4b26.
13069
13070         * retr.c (retrieve_from_file): If call get_urls_html with
13071         opt.spider to make it silent in spider mode.
13072
13073         * url.c (str_url): Use CLEANDUP instead of URL_CLEANSE.
13074
13075         * url.h (CLEANDUP): New macro.
13076
13077         * http.c (gethttp): Fixed a bug that freed location only when it
13078         was NULL.
13079
13080         * retr.c (retrieve_url): Free url if it will not be stored,
13081         i.e. newloc is NULL.
13082
13083         * html.c (htmlfindurl): Handle exiting from quotes correctly; the
13084         old version would bug out on <a href="x#a"href="y">.
13085
13086         * html.h (state_t): New member in_quote.
13087
13088         * html.c (htmlfindurl): Free s->attr at the beginning of
13089         attr-loop.
13090
13091         * recur.c (recursive_retrieve): Recognize RCLEANUP.
13092         (tried_robots): Make hosts a global variable.
13093         (recursive_retrieve): Free constr after URL host optimization.
13094         (tried_robots): Free urlinfo before exiting.
13095
13096         * utils.c (free_slist): New function.
13097
13098         * recur.c (recursive_retrieve): Use flags to add cleanup
13099         possibility.
13100
13101         * main.c (main): Free filename after recursive_retrieve.
13102
13103         * http.c (gethttp): Store successful responses too.
13104
13105 1996-10-12  Hrvoje Niksic  <hniksic@srce.hr>
13106
13107         * all: Constified the whole source.  This required some minor
13108         changes in many functions in url.c, possibly introducing bugs -- I
13109         hope not.
13110
13111         * ftp-basic.c: Removed last_respline.
13112
13113         * http.c (gethttp): Free type.
13114
13115         * host.c (same_host): Free real1 and real2.
13116
13117         * main.c (main): New option --spider.
13118
13119         * retr.c (get_contents): Don't reset errno.
13120
13121         * main.c (main): Sorted the options.
13122
13123         * connect.c (iread): Set errno to ETIMEDOUT only if it was left
13124         uninitialized by select().
13125
13126         * http.c (http_loop): Print the time when the connection is
13127         closed.
13128         (gethttp): Debug-print the HTTP request.
13129
13130 1996-10-11  Hrvoje Niksic  <hniksic@srce.hr>
13131
13132         * connect.c (iread): Do not try reading after timeout.
13133
13134         * main.c (main): Would bug out on -T.
13135
13136         * connect.c (select_fd): Do not use exceptfds.
13137         (iread): Set ETIMEDOUT on select_fd <= 0.
13138
13139         * version.c: Changed version to 1.4b26.
13140
13141 1996-10-10  Hrvoje Niksic  <hniksic@srce.hr>
13142
13143         * version.c: "Released" 1.4b25.
13144
13145         * ftp-unix.c (ftp_parse_unix_ls): Ignore lines without file name
13146         or link name.
13147
13148         * http.c (gethttp): Add errcode to struct hstat.
13149         (http_loop): Use it.
13150
13151         * url.c (no_proxy_match): Simplify using char** for no_proxy.
13152
13153         * options.h (struct options): Make opt.no_proxy a vector.
13154
13155         * utils.c (sepstring): Use !*s instead of !strlen(s).
13156
13157         * init.c (setval): Set opt.maxreclevel to 0 on --mirror.
13158         (getperms): Use ISODIGIT instead of isdigit.
13159
13160         * ftp.c (getftp): Print time.
13161
13162         * main.c (main): Use legible output of downloaded quantity.
13163
13164         * ftp.c (getftp): Use elapsed_time().
13165         (ftp_loop_internal): Use rate().
13166
13167         * http.c (http_loop): Add download ratio output; Use rate().
13168
13169         * utils.c (rate): New function.
13170
13171 1996-10-09  Hrvoje Niksic  <hniksic@srce.hr>
13172
13173         * http.c (http_loop): Use timer.
13174
13175         * ftp.c: Split to ftp-basic.c and ftp.c
13176
13177         * utils.c (reset_timer): New function.
13178         (elapsed_time): New function.
13179
13180         * retr.c (show_progress): Make bytes_in_line and offs long; should
13181         work on 16-bit machines.
13182
13183 1996-10-08  Hrvoje Niksic  <hniksic@srce.hr>
13184
13185         * url.c (in_acclist): New argument backward.
13186
13187         * ftp.c (ftp_retrieve_glob): Use acceptable() to determine whether
13188         a file should be retrieved according to suffix.
13189         (ftp_get_listing): Check the return value of unlink; Do not call
13190         ftp_retrieve_dirs if depth reached maxreclevel.
13191         (ftp_retrieve_dirs): Check whether the directory is in
13192         exclude-list.
13193
13194         * main.c (main): Print the version number at the beginning of
13195         DEBUG output.
13196         (main): Use strrchr when creating exec_name.
13197
13198         * ftp.c (ftp_retrieve_glob): Do not close control connection.
13199
13200         * version.c: Changed version to 1.4b25.
13201
13202 1996-10-07  Hrvoje Niksic  <hniksic@srce.hr>
13203
13204         * version.c: "Released" 1.4b24.
13205
13206         * Makefile.in: Rewrite.
13207
13208         * ftp.c (ftp_loop_internal): Likewise.
13209
13210         * retr.c (time_str): Check for failed time().
13211
13212         * html.c (htmlfindurl): Recognize <fig src> and <overlay src> from
13213         HTML3.0.
13214
13215         * retr.c (time_str): Return time_t *.
13216
13217         * connect.c (bindport): Close msock on unsuccesful bind.
13218         (bindport): The same for getsockname and listen.
13219
13220         * retr.c (retrieve_url): Allow any number of retries on
13221         proxy.
13222
13223         * http.c (gethttp): Do not treat errno == 0 as timeout.
13224         (http_loop): Likewise.
13225         (http_loop): Cosmetic changes.
13226
13227         * connect.c (iread): Set errno to ETIMEDOUT in case of timeout.
13228
13229         * retr.c (get_contents): Reset errno.
13230
13231         * ftp.c (getftp): Minor fixes.
13232
13233 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
13234
13235         * http.c: Do not use backups.
13236
13237         * geturl.1 (WARNING): Warn that man-page could be obsolete.
13238
13239         * getopt.c (getopt_long): Moved to getopt.c
13240
13241         * geturl.texi: Enhanced.
13242
13243         * main.c (main): Use it.
13244
13245         * recur.c (convert_all_links): New function.
13246
13247         * utils.c (add_slist): New argument flags.
13248
13249         * recur.c (recursive_retrieve): Update a list of downloaded URLs.
13250         (parse_robots): Do not chuck out empty value fields.
13251         (parse_robots): Make yourself welcome on empty Disallow.
13252
13253         * version.c: Changed version to 1.4b24.
13254
13255 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
13256
13257         * version.c: "Released" 1.4b23.
13258
13259         * ftp.c (ftp_loop_internal): Get the time after getftp.
13260
13261         * Makefile.in (install.info): New target.
13262         (install): Use it.
13263
13264         * http.c (http_loop): Fix output when doing -O.
13265
13266 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
13267
13268         * geturl.texi: New file.
13269
13270         * main.c (main): Do not print the warnings and download summary if
13271         opt.quiet is set.
13272
13273         * version.c: Changed version to 1.4b23.
13274
13275 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
13276
13277         * "Released" 1.4b22.
13278
13279         * atotm.c (atotm): Use True and False instead of TRUE and FALSE,
13280         to avoid redefinition warnings.
13281
13282         * host.c (store_hostaddress): Use memcpy() to copy the address
13283         returned by inet_addr.
13284
13285         * version.c: Changed version to 1.4b22.
13286
13287 1996-10-04  Hrvoje Niksic  <hniksic@srce.hr>
13288
13289         * version.c: "Released" 1.4b21.
13290
13291         * ftp-unix.c (ftp_parse_ls): Renamed to ftp_parse_unix_ls.
13292
13293         * ftp.c (ftp_port): Use conaddr.
13294         (getftp): Print the file length.
13295         (ftp_retrieve_list): Check the stamps of plain files only.
13296
13297         * connect.c (closeport): Do not call shutdown().
13298         (conaddr): New function.
13299
13300         * html.c (ftp_index): Made it dfp-aware.
13301
13302         * init.c (cleanup): New name of freemem. Close opt.dfp.
13303
13304         * ftp.c (getftp): Use opt.dfp if it is set.
13305
13306         * ftp-unix.c (ftp_parse_ls): Recognize time in h:mm format.
13307
13308         * ftp.c (ftp_retrieve_dirs): Fixed a bug that caused incorrect
13309         CWDs to be sent with recursive FTP retrievals.
13310
13311 1996-10-03  Hrvoje Niksic  <hniksic@srce.hr>
13312
13313         * recur.c (parse_robots): Made it more compliant with "official"
13314         specifications.
13315
13316         * http.c: New function.
13317
13318         * ftp-unix.c (ftp_parse_ls): Added better debug output.
13319
13320         * ftp.c (getftp): Print out the LIST in case of
13321         opt.print_server_response.
13322
13323         * version.c: Changed version to 1.4b21.
13324
13325 1996-10-01  Hrvoje Niksic  <hniksic@srce.hr>
13326
13327         * version.c: "Released" 1.4b20.
13328
13329         * README: Update.
13330
13331         * http.c (gethttp): Preset lengths of various headers instead of
13332         calculating them dynamically.
13333         (gethttp): Check for 206 partial contents.
13334
13335 1996-09-30  Hrvoje Niksic  <hniksic@srce.hr>
13336
13337         * configure.in: Set SYSTEM_GETURLRC to $libdir/geturlrc
13338
13339         * http.c (gethttp): Send the port number in the Host: header.
13340
13341 1996-09-29  Hrvoje Niksic  <hniksic@srce.hr>
13342
13343         * http.c (gethttp): Send host: header.
13344         (gethttp): Add the possibility of user-defined headers.
13345         (gethttp): Move decision about pragma: no-cache to http_loop,
13346         where it belongs.
13347         (gethttp): Pass a struct instead of enormous argument list.
13348         (http_loop): Use a new, fancier display format.
13349         (ftp_loop): Likewise.
13350
13351         * main.c: (hangup): Turn off buffering of the new log file.
13352
13353         * install-sh: Likewise.
13354
13355         * config.sub: Replace with the one in autoconf-2.10
13356
13357         * geturl.1: Update.
13358
13359         * init.c: New options httpuser and httppasswd.
13360
13361         * http.c: (base64_encode_line): New function.
13362         (gethttp): Send authentication.
13363
13364         * connect.c (make_connection): Use store_hostaddress.
13365
13366 1996-09-28  Hrvoje Niksic  <hniksic@srce.hr>
13367
13368         * host.c (store_hostaddress): New function.
13369
13370         * NEWS: Update.
13371
13372         * http.c (hgetrange): New function.
13373         (gethttp): Use ranges.
13374
13375         * utils.c (numdigit): Accept long instead of int.
13376
13377         * http.c (http_loop): Add restart capabilities.
13378
13379         * ftp.c (ftp_retrieve_glob): Fixed a bug that could cause matchres
13380         being used uninitialized.
13381         (ftp_retrieve_list): Similar fix.
13382
13383         * host.c (add_hlist): Fixed a bug that could cause cmp being used
13384         uninitialized.
13385
13386         * url.c (construct_relative): New function.
13387
13388         * recur.c (recursive_retrieve): Use it.
13389
13390         * retr.c (convert_links): New function.
13391
13392 1996-09-27  Hrvoje Niksic  <hniksic@srce.hr>
13393
13394         * url.c (free_urlpos): New function.
13395
13396         * recur.c (recursive_retrieve): Adapt.
13397
13398         * url.c (get_urls_html): Return a linked list instead of a vector.
13399
13400         * url.c (get_urls_file): Return a linked list instead of a vector.
13401
13402         * geturl.1: Update.
13403
13404         * http.c (gethttp): Implement it.
13405
13406         * init.c (setval): New option: SAVEHEADERS
13407
13408         * ftp.c (ftp_loop_internal): Do not set restval if listing is to
13409         be retrieved. Lack of this test caused bugs when the connection
13410         was lost during listing.
13411
13412         * retr.c (retrieve_url): Fixed a bug that caused
13413         coredumps. *newloc is now reset by default.
13414         (retrieve_url): Lift the twenty-tries limit on proxies.
13415
13416         * version.c: Changed version to 1.4b20.
13417
13418 1996-09-20  Hrvoje Niksic  <hniksic@srce.hr>
13419
13420         * version.c: "Released" 1.4b19.
13421
13422 1996-09-19  Hrvoje Niksic  <hniksic@srce.hr>
13423
13424         * ftp.c (ftp_loop_internal): Renamed from ftp_1fl_loop.
13425         (getftp): Changed prototype to accept ccon *.
13426
13427 1996-09-17  Hrvoje Niksic  <hniksic@srce.hr>
13428
13429         * ftp.c (ftp_retrieve_list): Fixed a bug that caused setting
13430         incorrect values to files pointed to by symbolic links.
13431         (ftp_1fl_loop): Do not count listings among the downloaded URL-s.
13432
13433 1996-09-16  Hrvoje Niksic  <hniksic@srce.hr>
13434
13435         * url.c (mkstruct): Do not prepend "./" in front of a pathname.
13436
13437         * main.c (main): New option: --user-agent.
13438
13439         * geturl.1: Ditto.
13440
13441         * init.h: Ditto.
13442
13443         * init.c (setval): Ditto.
13444
13445         * main.c (main): Rename "server-headers" to "server-response".
13446
13447         * ftp-unix.c (ftp_parse_ls): Check for asterisks at the end of
13448         executables in 'ls -F' listings.
13449
13450 1996-09-15  Hrvoje Niksic  <hniksic@srce.hr>
13451
13452         * url.c (parseurl): Remove realloc() and sprintf().
13453         (str_url): Get rid of sprintf().
13454
13455         * recur.c (recursive_retrieve): Enable FTP recursion through proxy
13456         servers.
13457
13458         * url.h (URL_CLEANSE): Made it else-resistant.
13459         (USE_PROXY): New macro.
13460
13461 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
13462
13463         * NEWS: Update.
13464
13465         * version.c: Changed version to 1.4b19.
13466
13467 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
13468
13469         * version.c: "Released" 1.4b18.
13470
13471         * url.c: Made it reallocate space exponentially.
13472
13473 1996-09-14  Drazen Kacar  <dave@fly.cc.fer.hr>
13474
13475         * html.c (htmlfindurl): Added <frame src> and <iframe src> among
13476         the list of stuff to fetch.
13477
13478 1996-09-13  Hrvoje Niksic  <hniksic@srce.hr>
13479
13480         * url.c (get_urls_html): Fixed a bug that caused SIGSEGV's with
13481         -Fi.
13482
13483         * html.c (htmlfindurl): Rewrite.
13484
13485         * http.c (gethttp): Use opt.proxy_cache.
13486
13487         * main.c (main): Added --cache option.
13488
13489         * ftp.c (ftp_response): Print server response if opt.print_server
13490         response is set.
13491         (getftp): Print newlines after each request if the server response
13492         is to be printed.
13493         (ftp_response): Copy the last response line to last_respline.
13494
13495         * http.c (gethttp): Add Pragma: nocache for retried
13496         proxy-retrievals.
13497
13498         * ftp.c (getftp): Use it.
13499
13500         * retr.c (buf_discard): New function.
13501
13502         * ftp.c (ftp_response): Use buf_readchar().
13503         (getftp): Flush the control connection buffer before calling
13504         get_contents().
13505
13506         * retr.c (buf_readchar): New function.
13507         (buf_flush): New function.
13508         (get_contents): Use buf_readchar() instead of read(x, x, 1).
13509         (get_contents): Use buf_flush.
13510
13511 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
13512
13513         * ftp.c: Incorporate changes to ftp_response.
13514
13515         * ftp.c (ftp_response): Allocate the server response dynamically,
13516         as in read_whole_line and fetch_next_header.
13517
13518         * utils.c (read_whole_line): Fixed a bug that prevented reading
13519         the last line if it is not \n-terminated. Also fixed a possible
13520         memory overflow.
13521
13522         * http.c (fetch_next_header): Return malloc-ed string as large as
13523         needed.
13524         (gethttp): Use new fetch_next_header.
13525
13526 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
13527
13528         * http.c (hgetlen): Compute the header length the first time only.
13529         (hgettype): Ditto.
13530         (hgetlocation): Ditto.
13531         (hgetmodified): Ditto.
13532
13533 1996-09-11  Hrvoje Niksic  <hniksic@srce.hr>
13534
13535         * sample.geturlrc: Update.
13536
13537 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
13538
13539         * http.c (http_loop): Ditto.
13540
13541         * ftp.c (getftp): Open the output file as binary.
13542
13543         * version.c: Changed version to 1.4b18.
13544
13545 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
13546
13547         * version.c: "Released" 1.4b17.
13548
13549         * ftp-unix.c (ftp_parse_ls): If unable to open file, return NULL
13550         instead of failed assertion.
13551
13552 1996-09-09  Hrvoje Niksic  <hniksic@srce.hr>
13553
13554         * ftp.c (ftp_get_listing): Add a numbered suffix to LIST_FILENAME
13555         if a file of that name already exists.
13556
13557 1996-09-05  Hrvoje Niksic  <hniksic@srce.hr>
13558
13559         * ftp.c (ftp_1fl_loop): Handler FTPPORTERR and FOPENERR correctly.
13560
13561         * config.h.in: Define gethostbyname as Rgethostbyname when using
13562         Socks.
13563
13564         * configure.in: Check for -lresolv if using Socks.
13565
13566         * version.c: Changed version to 1.4b17.
13567
13568 1996-07-15  Hrvoje Niksic  <hniksic@srce.hr>
13569
13570         * version.c: "Released" 1.4b16.
13571
13572         * http.c (gethttp): More intelligent check for first line of HTTP
13573         response.
13574         (gethttp): Would bug out on time-stamping.
13575
13576         * version.c: Changed version to 1.4b16.
13577
13578 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
13579
13580         * version.c: Released 1.4b15.
13581
13582         * http.c (http_loop): Print \n after the loop entry, not before.
13583
13584         * url.c (url_filename): Use ISDOT.
13585
13586         * url.h (ISDOT): New macro.
13587
13588         * recur.c (recursive_retrieve): Change only opt.recursive for
13589         following FTP.
13590
13591 1996-07-11  Antonio Rosella <antonio.rosella@agip.it>
13592
13593         * socks/geturl.cgi: Fixed version No.
13594
13595         * socks/download-netscape.html: Ditto.
13596
13597         * socks/download.html: Changed socks.html to download.html.
13598
13599 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
13600
13601         * url.c (url_filename): Check for opt.dirstruct instead for
13602         opt.recursive && opt.dirstruct.
13603
13604         * init.c (defaults): Ditto.
13605         (defaults): Reset dirstruct by default.
13606         (setval): Set opt.dirstruct whenever setting recursive.
13607
13608         * init.h: Removed FORCEDIRHIER.
13609
13610         * INSTALL: Added -L to socks-description.
13611
13612         * version.c: Changed version to 1.4b15.
13613
13614 1996-07-10  Hrvoje Niksic  <hniksic@srce.hr>
13615
13616         * version.c: "Released" 1.4b14.
13617
13618         * geturl.1: Update AUTHOR to include Rosella as contributor.
13619
13620         * NEWS: Update.
13621
13622         * socks/geturl.cgi: Simplified command creation, nuked <blink>.
13623
13624         * socks/geturl.cgi: Wrap nutscape extensions within if $netscape.
13625         (cal_time): Fix == to eq.
13626
13627         * socks/geturl.cgi: GPL-ized with permission of A. Rosella.
13628
13629         * geturl.1 (hostname): Moved URL CONVENTIONS to the beginning.
13630
13631         * Makefile.in: Use @VERSION@.
13632
13633         * configure.in: Check version from version.c.
13634
13635         * socks/geturl.cgi: Changed /pub/bin/perl to /usr/bin/perl.
13636
13637         * socks/download.html: Created from download-netscape.html, made
13638         HTML-2.0 compliant.
13639
13640         * recur.c (recursive_retrieve): Set opt.force_dir_hier when
13641         following FTP links from recursions.
13642
13643 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
13644
13645         * url.c (mymkdir): Fixed a bug that prevented mymkdir() to create
13646         absolute directories correctly.
13647
13648         * version.c: Changed version to 1.4b14.
13649
13650 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
13651
13652         * version.c: "Released" 1.4b13.
13653
13654         * url.c (make_backup): New function.
13655
13656         * http.c (http_loop): Make a backup copy of the local file (using
13657         rename(2)) before opening it.
13658
13659         * main.c (main): Added --backups.
13660
13661         * host.c (ftp_getaddress): Bail out on failed mycuserid().
13662         (ftp_getaddress): Check for leading dot on MY_DOMAIN.
13663         (ftp_getaddress): Check for empty, null or (null) domain.
13664
13665         * url.c (get_urls_html): If this_url is NULL, the base must have a
13666         protocol.
13667         (parseurl): Use has_proto.
13668
13669         * retr.c (retrieve_url): Warn when proxy is used with more than 20
13670         retries.
13671
13672         * url.c (mkstruct): Create the directory (calling mymkdir()) only
13673         if it is not already there.
13674         (has_proto): New function.
13675         (get_urls_html): Eliminate the remaining call to findurl -- use
13676         has_proto.
13677
13678         * geturl.1: Ditto.
13679
13680         * main.c: Change -X to -x.
13681
13682         * url.c (url_filename): Simplify creation of filename if
13683         prefix_files is set.
13684         (url_filename): Simplify everything. And I do mean *everything*.
13685         (mkstruct): Add dir_prefix before hostname.
13686         (path_simplify): Fixed a bug that caused writing outside the path
13687         string in case of "." and ".." path strings.
13688
13689 1996-07-06  Hrvoje Niksic  <hniksic@srce.hr>
13690
13691         * init.c: Added --mirror.
13692
13693         * main.c (main): Added -X to force saving of directory hierarchy.
13694
13695         * ftp.c (ftp_retrieve_list): Added recursion depth counter.
13696         (ftp_retrieve_list): Check whether quota is exceeded.
13697
13698         * url.c (get_urls_html): Skip leading blanks for absolute URIs.
13699
13700         * http.c (gethttp): Use referer if present.
13701
13702         * recur.c (recursive_retrieve): Set u->referer before calling
13703         retrieve_url.
13704
13705         * url.c (newurl): Use memset to nullify the struct members.
13706         (freeurl): Free the referer field too.
13707
13708         * url.h: Added referer to urlinfo.
13709
13710         * geturl.1: Updated the manual to document some of the new features.
13711
13712         * utils.c (numdigit): Moved from url.c.
13713
13714         * README: Rewritten.
13715
13716         * config.h.in: Add the support for socks.
13717
13718         * configure.in: Add the support for socks.
13719
13720         * url.c (url_filename): If the dir_prefix is ".", work with just
13721         the file name.
13722         (url_filename): Do not look for .n extensions if timestamping if
13723         turned on.
13724
13725         * retr.c (show_progress): Skip the over-abundant restval data, and
13726         print the rest of it with ',' instead of '.'.
13727
13728 1996-07-05  Hrvoje Niksic  <hniksic@srce.hr>
13729
13730         * retr.c (show_progress): Changed second arg. to long (as it
13731         should be).
13732         (show_progress): Moved to retr.c.
13733         (get_contents): Moved to retr.c.
13734
13735         * version.c: Change version to 1.4b13.
13736
13737 1996-07-05  Hrvoje Lacko <hlacko@fly.cc.fer.hr>
13738
13739         * url.c (in_acclist): Would return after the first suffix.
13740
13741 1996-07-04  Hrvoje Niksic  <hniksic@srce.hr>
13742
13743         * version.c: "Released" 1.4b12.
13744
13745         * url.c (path_simplify): More kludgifications.
13746         (get_urls_html): Use new parameters for htmlfindurl.
13747
13748         * html.c: Removed memorizing "parser states", since the new
13749         organization does not require them.
13750
13751         * init.c (run_geturlrc): Use read_whole_line.
13752
13753         * ftp-unix.c (ftp_parse_ls): Use read_whole_line.
13754
13755         * recur.c (parse_robots): Use read_whole_line.
13756
13757         * utils.c (read_whole_line): New function.
13758
13759         * recur.c (tried_robots): Use add_slist/in_slist, *much* cleaner.
13760
13761         * host.c (ngethostbyname): Call inet_addr just once. Yet to be
13762         tested on OSF and Ultrix.
13763         (add_hlist): New function.
13764         (free_hlist): New function.
13765         (search_host): New function.
13766         (search_address): New function.
13767         (realhost): Use search_host, search_address and add_hlist.
13768         (same_host): Replaced realloc() with strdupdelim(), made
13769         case-insensitive, fixed a memory leak.
13770
13771         * html.c (ftp_index): Fixed tm_min and tm_sec to be tm_hour and
13772         tm_min, like intended.
13773
13774         * version.c: Change user agent information to
13775         Geturl/version.
13776
13777 1996-07-03  Hrvoje Niksic  <hniksic@srce.hr>
13778
13779         * utils.c: Renamed nmalloc.c to utils.c, .h likewise.
13780
13781         * url.c (acceptable): Always accept directories.
13782
13783         * ftp-unix.c (ftp_parse_ls): Support brain-damaged "ls -F"-loving
13784         servers by stripping trailing @ from symlinks and trailing / from
13785         directories.
13786
13787         * ftp.c (ftp_loop): Debugged the "enhanced" heuristics. :-)
13788
13789         * url.c (skip_url): Use toupper instead of UCASE.
13790
13791         * host.c (sufmatch): Made it case-insensitive.
13792
13793         * url.c (match_backwards_or_pattern): Fixed i == -1 to j == -1.
13794         (match_backwards): New function, instead of
13795         match_backwards_or_pattern.
13796
13797         * recur.c (recursive_retrieve): Increased performance by
13798         introducing inl, which reduces number of calls to in_slist to only
13799         one.
13800
13801         * ftp.c (ftp_loop): Enhanced the heuristics that decides which
13802         routine to use.
13803
13804         * main.c (printhelp): Removed the warranty stuff.
13805
13806 1996-07-02  Hrvoje Niksic  <hniksic@srce.hr>
13807
13808         * url.c (add_slist): Simplify.
13809         (match_backwards_or_pattern): New function.
13810         (in_acclist): Use match_backwards_or_pattern.
13811         (matches): Remove.
13812
13813 1996-06-30  Hrvoje Niksic  <hniksic@srce.hr>
13814
13815         * ftp.c (ftp_loop): Call ftp_index on empty file names, if not
13816         recursive.
13817
13818         * html.c (ftp_index): Fixed to work. Beautified the output.
13819
13820         * ftp.c (ftp_retrieve_glob): Another argument to control whether
13821         globbing is to be used.
13822         (ftp_retrieve_list): Compare the time-stamps of local and remote
13823         files to determine whether to download.
13824
13825 1996-06-29  Hrvoje Niksic  <hniksic@srce.hr>
13826
13827         * ftp.c (rel_constr): New function.
13828
13829         * retr.c (retrieve_from_file): Check for text/html before
13830         retrieving recursively.
13831
13832         * main.c (main): Check whether the file is HTML before going into
13833         recursive HTML retrieving.
13834
13835         * ftp.c (ftp_retrieve_list): Manage directories.
13836         (ftp_retrieve_glob): Pass all the file-types to ftp_retrieve_list.
13837         (ftp_1fl_loop): Fixed a bug that caused con->com to be incorrectly
13838         initialized, causing bugchecks in getftp to fail.
13839
13840         * configure.in: Check for symlink.
13841
13842         * ftp.c (ftp_retrieve_list): Added support for symlinks.
13843
13844         * version.c: "Released" 1.4b10.
13845
13846         * atotm.c (atotm): Redeclared as time_t.
13847
13848         * init.c: New variable "timestamping".
13849
13850         * main.c (main): New option 'N'.
13851
13852         * http.c (hgetlocation): Case-insensitive match.
13853         (hgetmodified): New function.
13854         (http_loop): Implement time-stamping.
13855
13856 1996-06-28  Hrvoje Niksic  <hniksic@srce.hr>
13857
13858         * version.c: Changed version to 1.4b10
13859
13860         * atotm.c: New file, from phttpd.
13861
13862         * options.h (struct options): New parameter timestamping.
13863
13864         * version.c: 1.4b9 "released".
13865
13866         * recur.c (recursive_retrieve): Used linked list (ulist) for
13867         faster storing of URLs.
13868
13869         * url.c (get_urls_html): Removed the old kludge with comparing the
13870         outputs of htmlfindurl and findurl.
13871         (get_urls_html): Added better protocol support here.
13872         (create_hash): Removed, as well as add_hash and in_hash.
13873         (addslist): New function.
13874         (in_slist): ditto
13875
13876         * version.c: Released 1.4b8, changed version to b9.
13877
13878 1996-06-27  Hrvoje Niksic  <hniksic@srce.hr>
13879
13880         * ftp.c (freefileinfo): New function.
13881         (delelement): New function.
13882
13883         * everywhere: GPL!
13884
13885         * ftp.c (ftp_loop): Use ccon.
13886         (ftp_retrieve_glob): Likewise.
13887
13888         * ftp.h: Define ccon, to define status of control connection.
13889
13890         * ftp.c (ftp_get_listing): New function.
13891         (ftp_retrieve_more): New function.
13892         (ftp_retrieve_glob): New function.
13893
13894 1996-06-25  Hrvoje Niksic  <hniksic@srce.hr>
13895
13896         * configure.in: Removed the search for cuserid().
13897
13898         * init.c (getmode): Renamed to getperms.
13899
13900 1996-06-24  Hrvoje Niksic  <hniksic@srce.hr>
13901
13902         * version.c: New version.
13903
13904         * main.c (hangup): New function, that handles hangup. Hangup
13905         signal now causes geturl to stop writing on stdout, and to write
13906         to a log file.
13907
13908         * ftp.c (getftp): "Released" 1.4b7.
13909
13910         * html.c (htmlfindurl): Ignore everything inside <head>...</head>.
13911         (ftp_index): Use fileinfo/urlinfo.
13912
13913         * ftp-unix.c (ftp_parse_ls): New function.
13914         (symperms): New function.
13915
13916         * ftp.c (ftp_1fl_loop): New function, to handle 1-file loops.
13917
13918         * retr.c (retrieve_url): Added FTP support.
13919
13920 1996-06-23  Hrvoje Niksic  <hniksic@srce.hr>
13921
13922         * geturl.h: Removed NOTFTP2HTML enum.
13923         Added DO_LOGIN, DO_CWD and DO_LIST. LIST_ONLY is obsolete.
13924
13925         * ftp.c (getftp): Resynched with urlinfo.
13926         (getftp): Removed HMTL-ization of index.html from getftp.
13927
13928         * version.c: 1.4b6 "released".
13929
13930         * options.h (options): New struct, to keep options in.
13931
13932         * http.c (http_loop,gethttp): Synched with proxy.
13933
13934         * retr.c (retrieve_url): Implemented proxy retrieval.
13935
13936         * main.c (main): Use retrieve_from_file.
13937
13938 1996-06-22  Hrvoje Niksic  <hniksic@srce.hr>
13939
13940         * retr.c (retrieve_from_file): New function.
13941
13942         * url.c (parseurl): Modified to return URLOK if all OK. Protocol
13943         can be found in u->proto.
13944
13945         * ftp.c (ftp_response): Fixed to accept multi-line responses as
13946         per RFC 959.
13947
13948         * recr.c (recursive_retrieve): Take newloc from retrieve_url.
13949
13950         * url.c (mymkdir): Removed the file of the same name, if one
13951         exists.
13952         (isfile): New function.
13953         (mkstruct): Fixed the '/' glitches.
13954         (path_simplify): Hacked to treat something/.. correctly.
13955
13956 1996-06-21  Hrvoje Niksic  <hniksic@srce.hr>
13957
13958         * http.c (gethttp): Close the socket after error in headers.
13959         (http_loop): HEOF no longer a fatal header.
13960
13961         * loop.c (retrieve_url): When dt is NULL, do not modify it. This
13962         simplifies the syntax of calling retrieve_url.
13963
13964         * recr.c (recursive_retrieve): Modified to use get_urls_html.
13965
13966         * url.c (get_urls_file): New function.
13967         (get_urls_html): New function.
13968
13969         * recr.c (recursive_retrieve): Patched up to conform to the
13970         standards.
13971
13972         * http.c (gethttp): Synched with the rest...
13973         (gethttp): Treat only CONREFUSED specially, with connection
13974         errors.
13975
13976         * init.c,geturl.1,http.c (http_loop): Removed kill_error.
13977
13978 1996-06-20  Hrvoje Niksic  <hniksic@srce.hr>
13979
13980         * http.c (http_loop): New function.
13981
13982         * loop.c: Removed *lots* of stuff from retrieve_url.
13983
13984         * url.c (parseurl): Changed to work with urlinfo. Integrated
13985         username finding and path parsing.
13986         (newurl): New function.
13987         (freeurl): New function.
13988         (mkstruct): Removed the old bogosities, made it urlinfo-compliant.
13989         (url_filename): Likewise.
13990         (path_simplify): Accept relative paths too.
13991         (opt_url): Made urlinfo-compliant, removed bogosities.
13992         (path_simplify): Expanded to accept relative paths.
13993         (str_url): A replacement for hide_url
13994         (decode_string): Fixed a bug that caused malfunctioning when
13995         encountering an illegal %.. combination.
13996         (opt_url): Removed the argument. Dot-optimizations are now default.
13997
13998         * nmalloc.c (strdupdelim): New function.
13999
14000         * url.h: Added the urlinfo structure
14001
14002 1996-06-19  Hrvoje Niksic  <hniksic@srce.hr>
14003
14004         * url.c (hide_url): Thrown out the protocol assertion. Do not
14005         change the URL if the protocol if not recognized.
14006         (findurl): Put continue instead of break.
14007
14008 1996-06-18  Hrvoje Niksic  <hniksic@srce.hr>
14009
14010         * sample.geturlrc: Changed the defaults to be commented out and
14011         harmless (previous defaults caused pains if copied to
14012         ~/.geturlrc).
14013
14014         * http.c (gethttp): Print the HTTP request in debug mode.
14015
14016         * connect.c (iread): Added EINTR check loop to select-ing
14017         too. EINTR is now correctly handled with select().
14018
14019         * TODO: new file
14020
14021 1996-05-07  Hrvoje Niksic  <hniksic@srce.hr>
14022
14023         * host.c (same_host): Made the function a little bit more
14024         intelligent regarding diversified URL syntaxes.
14025
14026         * url.c (skip_url): Spaces are now skipped after URL:
14027
14028         * Released 1.3.1 with the patch to prevent crashing when sending
14029         NULL to robot* functions and the patch to compile "out of the box"
14030         on AIX.
14031
14032         * recr.c (recursive_retrieve): Added checking whether this_url is
14033         NULL when calling the robot functions.
14034
14035         * ChangeLog: New file.