]> sjero.net Git - wget/blob - src/ChangeLog
10dd42bba9da5e2c19ae6131664518a2ab4bea5a
[wget] / src / ChangeLog
1 2014-05-30  Darshit Shah  <darnir@gmail.com>
2
3         * cookies.c (check_domain_match): Use libpsl to check if the cookie domain
4         is valid. Also remove unneeded test for numeric addresses.
5
6 2014-05-30  Darshit Shah  <darnir@gmail.com>
7
8         * connect.{c,h}, convert.{c,h}, cookies.{c,h}, ftp-ls.c, ftp.h, gettext.h,
9         hash.h, host.h, html-parse.h, html-url.h, http.c, init.c, main.c, mswindows.c,
10         netrc.h, openssl.c, options.h, ptimer.h, recur.c, retr.c, sysdep.h, url.h,
11         vms.c, warc.c, wget.h: Whitespace and formatting changes only.
12
13 2014-05-20  Darshit Shah  <darnir@gmail.com>
14
15         * utils.c (human_readable): Add new parameters, acc and decimals for the
16         function. acc decides the number under which decimal values are shown for a
17         certain value, while decimals decides the number of decimal digits displayed
18         * utils.h (human_readable): Update declartion of the function
19         * ftp.c (print_length): Update call to human_readable
20         * http.c (gethttp): Same
21         * init.c (defaults): Enable scrolling filenames by default
22         * main.c (main): Update call to human_readable
23         * options.h (options): Add new option noscroll
24         * progress.c (create_image): Update the look of the progress bar. Human
25         readable download size by default and add support for noscroll.
26         (dot_set_params, bar_set_params): Change paramter to char * since strtok
27         needs to modify the string.
28         (bar_set_params): Add support for noscroll parameter to bar.
29
30 2014-05-03  Tim Ruehsen  <tim.ruehsen@gmx.de>
31
32         * ftp-ls.c (ftp_parse_vms_ls): Explicitly typecast strlen's output
33         * ftp.c (getftp): Prevent declaration of shadow variable
34         * html-url.c (tag_handle_base, tag_handle_form, tag_handle_link,
35         tag_handle_meta): Compiler directive to ignore unused variable
36         * html-url.h (cleanup_html_url): Add function declaration
37         * http-ntlm.c (ntlm_input, mkhash): Use ssize_t to declare variables that store
38         sizes.
39         (mkhash): Explicitly typecast output of c_toupper
40         (short_pair): Add typecasts to prevent compiler warnings
41         (ntlm-output): Fix datatypes of various variables
42         * http.c (gethttp): Prevent declaration of shadow variable err
43         (gethttp): remove unreachable code
44         (test_parse_content_disposition): Fix variable declarations and use
45         countof() macro
46         * init.c (run_command): Prevent declaration of ghost variable
47         (cmd_string, cmd_string_uppercase, cmd_file, cnd_vector,
48         cmd_directory_vector, cmd_spec_dirstruct, cmd_spec_header,
49         cmd_spec_warc_header, cmd_spec_htmlify, cmd_spec_mirror,
50         cmd_spec_prefer_family, cmd_spec_progress, cmd_spec_recursive,
51         cmd_spec_regex_type, cmd_spec_restrict_file_names, cmd_spec_report_speed,
52         cmd_spec_timeout, cmd_spec_useragent, cmd_spec_verbose): Add compiler
53         directive to ignore unused variable
54         (cleanup_html_url, spider_cleanup): Remove declarations
55         (test_commands_sorted): Cleanup code
56         (test_cmd_spec_restrict_file_names): Use correct data types
57         * iri.c (remote_to_utf8): Use more verbose variable name
58         * main.c (init_switches): Prevent declaration of ghost variable
59         * netrc.c (netrc_cleanup): Create cleanup function on common naming scheme
60         * netrc.h (netrc_cleanup): Declare function
61         * openssl.c (openssl_write, openssl_errstr): Compiler directive to ignore
62         unused parameter
63         (openssl_errstr): Explcicitly typecasr output of ASN1_STRING_length
64         * options.h (struct options): Declare includes and excludes as const char **
65         * progress.c (progress_interactive_p, progress_handle_sigwinch): Compiler
66         directive to ignore unused parameter
67         * res.c (test_is_robots_txt_url): Fix datatypes
68         * retr.c (line_terminator): Add compiler directive for ignoring unused
69         paramter. Remove unused variable.
70         * spider.h (spider_cleanup): Declare function
71         * test,c (main): declare unused paramter
72         * test.h (test_*): Declare functions
73         * url.c (url_string): Explicit typecast of password strings
74         (run_test): Declare *test, struct tests and *expected_result as const
75         (test_path_simplify, test_append_uri_pathl, test_are_urls_equal): Fix datatypes
76         * utls.c (fork_to_background): Be more verbose when errors occur
77         (dir_matches_p, test_dir_matches_p): Declare char * as const as required
78         (base64_encode, base64_decode, get_max_length): Set correct return type
79         (match_pcre_regex, match_posix_regex): Use correct datatypes and typecasts
80         (test_subdir_p): static const struct
81         * utils.h (base64_encode, base64_decode, get_max_length): Fix return type
82         * warc.c (ward_write_cdx_record): unused parameter
83         (struct hash_table *warc_cdx_dedup_table): Declare as static
84
85 2014-05-01  Benjamin Goose  <gans+wget@tngtech.com>
86
87         * http.c: Fix small memory leak
88
89 2014-05-01  Darshit Shah  <darnir@gmail.com> (tiny change)
90
91         * progress.c (dot_finish): Do not print extra newlines when not in verbose
92         mode. (Purely aesthetic change)
93         (get_eta): Add extra space when eta is printed.
94         (create_image): Remove erroneous space from being added to progress bar when
95         filename > MAX_FILENAME_LEN
96         (create_image): Remove extra space before printed download speeds
97         Make the filename a fixed width column.
98
99 2014-04-19  Darshit Shah  <darnir@gmail.com>
100
101         * log.h (log_options): Add new logging options, LOG_PROGRESS. All progress
102         bar related output should use LOG_PROGRESS.
103         * log.c (CHECK_VERBOSE): Implement LOG_PROGRESS output
104         * progress.c (dot_create, print_row_stats, dot_update, dot_finish,
105         bar_finish, display_image): Output progress information through LOG_PROGRESS
106         (progress_implementation, dot_create, bar_create, progress_create): The
107         progress bar create functions accept an extra paramter for the filename of the
108         local file
109         (bar_progress): Add new variable to store filename of currently downloading
110         file
111         (bar_finish): Aesthetic change. Print two newlines if in verbose mode, else
112         only one.
113         (MACRO): Define new macro, MIN
114         (create_image): Implement displaying filename in progress bar output
115         Filename tick implementation copied from Giuseppe's patch on parallel-wget
116         * progress.h (progress_create): Accept another parameter for filename
117         * http.c (gethttp): Remove unnecessary conditional
118         (read_response_body): Send local filename to fd_read_body so that it can be
119         printed on the progress bar
120         * main.c (option_data): Add new switch, --show-progress
121         (main): If in verbose output, show progress bar by default
122         (main): Set progress implemetation when displaying progress bar
123         (no_prefix): Increase buffer size to 2048 to prevent overflows
124         * init.c (commands): Add new command, showprogress
125         (defaults): By default initialize show_progress to false
126         * options.h (options): Add new option, show_progress
127         * retr.c (fd_read_body): Accept new parameter for filename of currently
128         downlaoding file
129         (fd_read_body): Create and update progress bar when opt.show_progress is set
130         (fd_read_body): Display progress information in Windows console titlebars
131         * retr.h (fd_read_body): Update declaration
132         * ftp.c (getftp): Send filename of the local file so that it can be printed
133         with the progress bar.
134
135 2013-11-02  Giuseppe Scrivano  <gscrivan@redhat.com>
136
137         * progress.c (struct progress_implementation): New method draw.
138         (bar_update): Split into...
139         (bar_draw): ...this new function.
140         (dot_update): Split into...
141         (dot_draw): New function.
142         (progress_update): Also invoke draw on `current_impl'.
143
144 2014-04-22  Tim Ruehsen  <tim.ruehsen@gmx.de>
145
146         * http.c (gethttp): Fix 204 response handling
147
148 2014-03-26  Darshit Shah  <darnir@gmail.com>
149
150         * ftp.c (getftp): Rearrange parameters to fix compiler warning
151         * utils.c (get_dir_matches_p): Do not pass a const char** to a function that
152         expects char**
153
154 2014-03-25  Daniel Stenberg  <daniel@haxx.se>
155
156         * url.c (shorten_length): Remove unused function.
157
158 2014-03-19  Yousong Zhou  <yszhou4tech@gmail.com>
159
160         * init.c, main.c, options.h: Add option --start-pos for specifying
161         start position of a download.
162         * http.c: Utilize opt.start_pos for HTTP download.
163         * ftp.c: Utilize opt.start_pos for FTP retrieval.
164
165 2014-03-04  Giuseppe Scrivano  <gscrivan@redhat.com>
166
167         * http.c (modify_param_value, extract_param): Aesthetic change.
168
169 2014-02-14  Vladimír Pýcha  <vpycha@gmail.com> (tiny change)
170
171         * http.c (parse_content_disposition, extract_param)
172         (append_value_to_filename, digest_authentication_encode): URL-decode the
173         filename parameter of Content-Disposition HTTP header if it is encoded. This
174         is related to --content-disposition.
175         New parameter of extract_param(), "is_url_encoded".
176         Add argument NULL to the call of extract_param() in
177         digest_authentication_encode().
178         * http.h: Add the new parameter to the declaration of extract_param().
179         * cookies.c (parse_set_cookie, test_cookies): Add argument NULL to the calls
180         of extract_param().
181         * url.c (url_unescape): Remove "static" modifier.
182         * url.h: Add declaration of url_unescape().
183
184 2014-02-06  Giuseppe Scrivano  <gscrivan@redhat.com>
185
186         * main.c (print_version): Move copyright year out of the localized
187         string and update it.
188
189 2014-01-29  Darshit Shah  <darnir@gmail.com>
190
191         * main.c: Remove pre-processor variable WHEN_DEBUG
192         (option_data[]): Do not fail on --debug even if debug support is not
193         compiled in.
194         (main): Explicitly set opt.debug to false in case debugging support was not
195         compiled.
196         * init.c (commands[]): Support --debug wven when support is not compiled in.
197         * options.h: Same
198
199 2014-01-17  Darshit Shah  <darnir@gmail.com>
200
201         * init.c (commands[]): Add --no-config.
202         * options.h: Same.
203         * main.c (option_data[]): Same.
204         (print_help): Same.
205         (main): If --no-config is set, then do not read the wgetrc files.
206
207 2014-01-05  Håkon Vågsether <hauk142@gmail.com> (tiny change)
208
209         * http.c (http_loop): Fix checking the URL length when filename is
210         specified.
211
212 2013-12-29  Giuseppe Scrivano  <gscrivan@redhat.com>
213
214         * init.c (home_dir): Remove useless 'if'.
215         * warc.c (warc_start_new_file): Likewise.
216         (warc_process_cdx_line): Likewise.
217         (warc_write_response_record): Likewise.
218
219 2013-12-26  Tim Ruehsen  <tim.ruehsen@gmx.de>
220
221         * gnutls.c (ssl_connect_wget): Fix connect timeout failure
222
223 2013-11-02  Giuseppe Scrivano  <gscrivan@redhat.com>
224
225         * http.c (gethttp): Increase max header value length to 512.
226
227 2013-01-30  Pavel Mateja  <pavel@netsafe.cz> (tiny change)
228
229         * http.c (gethttp): Specify "Host" for CONNECT method.
230
231 2013-10-30  Giuseppe Scrivano  <gscrivan@redhat.com>
232
233         * http.c (skip_short_body): Remove assert which is always true.
234         Reported by: David Binderman <dcb314@hotmail.com>
235
236 2013-10-17  Andrea Urbani  <matfanjol@mail.com>
237
238         * ftp.c (getftp): force "LIST" or "LIST -a"
239           according to the remote system type. If the remote
240           system is not known, it tries, only the first time,
241           "LIST -a", after "LIST" and decides which one to use.
242           For more information look for "__LIST_A_EXPLANATION__"
243         * ftp.h (enum ustype): New ustype enum.
244         * ftp.h (ftp_syst): New enum ustype *unix_type parameter.
245         * ftp.h (ftp_list): Removed enum stype rs parameter, added.
246           bool avoid_list_a, bool avoid_list, bool *list_a_used
247           parameters.
248         * ftp.h (wget_ftp_fstatus): New AVOID_LIST_A, AVOID_LIST,
249           LIST_AFTER_LIST_A_CHECK_DONE values.
250         * ftp-basic.c (ftp_list): it handles the new avoid_list_a,
251           avoid_list and list_a_used parameters.
252         * ftp.h (ftp_syst): it stores information about the "215 UNIX"
253           systems into the new unix_type parameter.
254
255 2013-10-26  Bykov Aleksey <gnfalex@rambler.ru>
256
257         * utils.c (match_tail): Fix cookies reject
258
259         * ftp-ls.c (ftp_parse_unix_ls): Fix parsing month name in uppercase
260
261 2013-09-09  Tim Ruehsen  <tim.ruehsen@gmx.de>
262
263         * gnutls.c (ssl_connect_wget): changed checking of option "PFS"
264           to be better prepared for some kinds of backports.
265           Reported by: Daniel Kahn Gillmor <dkg@fifthhorseman.net>
266
267 2013-10-10  Giuseppe Scrivano  <gscrivan@redhat.com>
268
269         * url.c (url_parse): Try to convert UTF-8 URLs to IDN.
270         * html-url.c (append_url): Parse URLs specifying an IRI structure.
271
272 2013-09-13  Tim Ruehsen  <tim.ruehsen@gmx.de>
273
274         * recur.c (download_child_p): fix compile error when
275           configured using --without-ssl.
276
277 2013-09-07  Tim Ruehsen  <tim.ruehsen@gmx.de>
278
279         * gnutls.c (ssl_connect_wget): use gnutls_check_version()
280           to check if option "PFS" is available
281           Reported by: Daniel Kahn Gillmor <dkg@fifthhorseman.net>
282
283 2013-09-03  Tim Ruehsen  <tim.ruehsen@gmx.de>
284
285         * main.c: Add new value 'PFS' to --secure-protocol to
286           enforce the so-called Perfect Forward Security.
287         * init.c (cmd_spec_secure_protocol): added secure_protocol_pfs
288         * openssl.c, gnutls.c, options.h: likewise
289
290 2013-08-22  Tim Ruehsen  <tim.ruehsen@gmx.de>
291
292         * main.c: Add new option --https-only.
293         * options.h: Likewise.
294         * recur.c (download_child_p): add check for HTTPS.
295
296 2013-08-09  Tim Ruehsen  <tim.ruehsen@gmx.de>
297
298         * gnutls.c (ssl_init): Prevent CA files from being loaded twice
299           if possible.
300         * gnutls.c (ssl_check_certificate): Added some error messages
301         * gnutls.c: Fixed some compiler warnings
302
303 2013-08-08  Will Dietz  <w@wdtz.org> (tiny change):
304
305         * main.c (format_and_print_line): Wrap correctly long tokens.
306
307 2013-07-16  Darshit Shah  <darnir@gmail.com>
308
309         * wget.h (err_t): Added new errors, ATTRMISSING and UNKNOWNATTR to
310         handle missing attributes and Unknown attribute values respectively in
311         HTTP Headers.
312         * exits.c (get_status_for_err): ATTRMISSING is a Protocol Error while
313         UNKNOWNATTR is a general error, presumably because of a feature that
314         is not yet implemented.
315         * http.c (gethttp): Call create_authorization_line () separately. In
316         case the auth_err flag has been set with an error, handle it and exit.
317         * http.c (create_authorization_line): Pass a pointer, auth_err to set
318         the flag for different kinds of errors encountered.
319         * http.c (http_loop): Handle the errors raised by the authentication
320         handlers.
321         * http.c (digest_authentication_encode): Pass pointer auth_err to set
322         the error flags.
323         Set qop to NULL in case the value of the qop / algorithm attribute is
324         unknown to Wget. Set an appropriate error too.
325
326 2013-07-13  Tim Ruehsen  <tim.ruehsen@gmx.de>
327
328         * http.c (digest_authentication_encode): Fix a crash when the algorithm
329         is not specified in the server response.  Free dynamic memory used by
330         the function when the function exits.
331         * http-ntlm.c [HAVE_NETTLE]: Include <nettle/md4.h> and <nettle/des.h>.
332         (setup_des_key) [HAVE_NETTLE]: New function to deal with
333         libnettle.
334         (calc_resp) [HAVE_NETTLE]: Add support for libnettle.
335         (mkhash) [HAVE_NETTLE]: Likewise.
336         Reported by: Tim Ruehsen  <tim.ruehsen@gmx.de>.
337
338 2013-07-13  Steven M. Schweda <sms@antinode.info>
339
340         * warc.c (warc_tempfile): Fix a portability issue on VMS.
341
342 2013-07-10  Giuseppe Scrivano  <gscrivano@gnu.org>
343
344         * http.c (read_response_body) [ALLOW_CLOBBER]: Move definition to..
345         * options.h (struct options): Make `backups' an int.
346         * url.h [ALLOW_CLOBBER]: .. Here.  Do not clobber when backups are used.
347         * url.c (url_file_name): Use the ALLOW_CLOBBER macro instead of
348         repeating the code.
349
350 2013-07-08  Steven M. Schweda <sms@antinode.info>
351
352         * retr.c (rotate_backups): Support for VMS files.
353
354 2013-07-12  Giuseppe Scrivano  <gscrivano@gnu.org>
355
356         * http.c (digest_authentication_encode): Set default value of
357         `algorithm' to "MD5".  Check if `qop' is not-NULL before access it.
358
359 2013-07-11  Karsten Hopp  <karsten@redhat.com>
360
361         * openssl.c (struct openssl_read_args, struct scwt_context): New struct.
362         (openssl_read, ssl_connect_with_timeout_callback): New function.
363         (ssl_connect_wget): respect connect timeout.
364
365 2013-07-11  Tim Ruehsen  <tim.ruehsen@gmx.de>
366
367         * gnutls.c (ssl_connect_wget): respect connect timeout.
368
369 2013-07-11  Tomas Hozza  <thozza@redhat.com>
370
371         * ftp.c (ftp_loop): Use ftp_retrieve_glob() also in case
372         --preserve-permissions was specified.
373
374 2013-03-20  Tomas Hozza  <thozza@redhat.com>
375
376         * http.c (gethttp): Set "sock" to -1 if it's not and we have no
377         persistent connection
378
379 2013-04-26  Tomas Hozza  <thozza@redhat.com> (tiny change)
380
381         * log.c (redirect_output): Use DEFAULT_LOGFILE in diagnostic message
382         when `logfile' is NULL.
383         * utils.c (unique_create): Ensure `logfile' has always a value.
384
385 2013-06-26  Darshit Shah <darnir@gmail.com>
386
387         * http.c (gethttp): Reverse change by commit 90896 that prevented
388         downloading response body data to non-GET Request methods.
389
390 2013-06-19 Ciprian Vieru <devel.php@gmail.com> (tiny change)
391
392         * html-url.c: Define TAG_TD, TAG_TH, TAG_VIDEO, TAG_AUDIO, TAG_SOURCE.
393         (tag_url_attributes, known_tags): Likewise.
394
395 2013-06-22  Ángel González <keisial@gmail.com>
396
397         * init.c (cmd_string_uppercase): Rewrite function.
398
399 2013-06-19  Tim Ruehsen  <tim.ruehsen@gmx.de>
400
401         * connect.c (socket_ip_address): zero out ip address structure to
402         avoid access to uninitialized values by inet_ntop().
403         * ftp.c (ftp_loop_internal): fix segfault caused by warc_tmp NULL pointer.
404
405 2013-05-21  Ray Satiro  <raysatiro@yahoo.com>
406
407         * url.c (url_file_name): Use MAX_PATH in Windows.
408
409 2013-06-13  Darshit Shah  <darnir@gmail.com>
410
411         * http.c (gethttp): Follow RFC 2616 and httpbis specifications when
412         handling redirections. Do not suspend the method on 301/302 redirects.
413         (gethttp): If method if not GET, we do not intend to download
414         anything.
415         * main.c (main): Set spider mode when opt.method is HEAD. This will
416         prevent Wget from downloading any file.
417         * retr.c (SUSPEND_METHOD): Rename macro SUSPEND_POST_DATA to
418         SUSPEND_METHOD to more accurately reflect its use. Similarly rename
419         related variables.
420
421 2013-05-14 Bykov Aleksey <gnfalex@rambler.ru>
422
423         * warc.c (warc_tempfile): For fix "Could not open temporary WARC manifest
424         file." issue in Win system force to use `mkostemp(filename, O_TEMPORARY)'
425         instead  of `mkstemp(filename)'. Thank to Angel Gonzalez for help.
426
427 2013-05-14  Tim Ruehsen  <tim.ruehsen@gmx.de>
428
429         * cookies.c (cookie_jar_load): Replaced read_whole_file() by getline().
430         * init.c (run_wgetrc): Likewise.
431         * netrc.c (parse_netrc): Likewise.
432         * utils.c: Likewise.
433         * ftp.c (getftp): Likewise.
434         * ftp-ls.c (ftp_parse_unix_ls, ftp_parse_winnt_ls, ftp_parse_vms_ls): Likewise.
435         * ftp-ls.c (clean_line): Accept the string length as parameter.
436         * ftp-ls.c: Replaced indent tabs by spaces.
437         * ftp.c: Likewise.
438         * utils.c: Removed read_whole_file() definition.
439         * netrc.c: Removed read_whole_file() definition for STANDALONE.
440         * utils.h: Removed read_whole_file() declaration.
441
442 2013-05-09  Tim Ruehsen  <tim.ruehsen@gmx.de>
443
444         * utils.c (acceptable): use standard string functions instead of
445         self-written code.
446         (match_tail): Likewise.
447         (suffix): Likewise.
448         (has_wildcards_p): Likewise.
449         (test_subdir_p): Fix some warnings.
450         (test_dir_matches_p): Likewise.
451
452 2013-05-05  mancha  <mancha1@hush.com> (tiny change)
453
454         * gnutls.c (ssl_connect_wget): Don't abort on non-fatal alerts
455         received during handshake. For example, when connecting to servers
456         using TSL-SNI that send warning-level unrecognized_name alerts.
457
458 2013-05-04  Darshit Shah <darnir@gmail.com>
459
460         * init.c (cmd_string_uppercase): Fix issue that cased invalid headers
461         when converting to uppercase.
462
463 2013-05-01  Gijs van Tulder  <gvtulder@gmail.com>
464
465         * retr.c (retrieve_url): New variable `saved_method'.
466         (SUSPEND_POST_DATA): Save the method to `saved_method'.
467         (RESTORE_POST_DATA): Restore the method from `saved_method'.
468
469 2013-05-01  Giuseppe Scrivano  <gscrivano@gnu.org>
470
471         * init.c: Declare `cmd_string_uppercase'.
472         (commands): Now `method' uses cmd_string_uppercase.
473         (cmd_string_uppercase): New method
474         * http.c (gethttp): Do not transform opt.method to uppercase.
475         Reported by: Stefano Lattarini <stefano.lattarini@gmail.com>
476
477 2013-04-24  Darshit Shah <darnir@gmail.com>
478
479         * http.c (gethttp): Remove check for opt.post_data and
480         opt.post_file_name.
481         * main.c (main): Change location in code where --post-data and
482         --post-file options are converted to --body-data --body-file.
483
484 2013-04-21  Gijs van Tulder  <gvtulder@gmail.com>
485
486         * http.c: Copy opt.body_data to the WARC file, instead of
487         opt.post_data (the old option).
488
489 2013-04-12  Gijs van Tulder  <gvtulder@gmail.com>
490
491         * warc.c: Generate unique UUIDs for the manifest and the record
492         holding the command-line arguments.
493         Write the manifest to a "metadata" record to follow the WARC
494         implementation guidelines.
495         * warc.h: Declare new function warc_write_metadata_record.
496
497 2013-03-15  Darshit Shah <darnir@gmail.com>
498
499         * http.c (post_file): Rename function to body_file_send to more
500         accurately reflect its use.
501         * http.c (gethttp): Add support for --method, --body-data and
502         --body-file
503         * init.c (commands): Same.
504         * options.h (options): Same.
505         * main.c (option_data): Same.
506         * main.c (print_help): Add --method command.
507         * main.c (main): Make old --post-{data,file} commands aliases to
508         --method.
509         Add sanity checks for --method, --body-data and --body-file.
510         * retr.c (SUSPEND_POST_DATA): Edit Macro Definition to use body_data.
511         * retr.c (RESTORE_POST_DATA): Same.
512
513 2013-03-31  Gijs van Tulder  <gvtulder@gmail.com>
514
515         * warc.c: Correctly write the field length in the skip length field
516         of .warc.gz files. (Following the GZIP spec in RFC 1952.)
517
518 2013-03-12  Darshit Shah <darnir@gmail.com>
519
520         * http.c (gethttp): Make wget return FILEBADFILE error and abort if
521         post-file does not exist.
522
523         * http.c (http_loop): Handle FILEBADFILE as a valid err.
524
525         * exits.c (get_status_for_err): Mark FILEBADFILE as an IO error.
526
527 2013-02-15  Darshit Shah <darnir@gmail.com>
528
529         * cookies.c (cookie_handle_set_cookie): Set cookie->discard_requested
530         to true on domain mismatch.
531
532 2012-12-20  Tim Ruehsen  <tim.ruehsen@gmx.de>
533
534         * gnutls.c (ssl_connect_wget): added +VERS-SSL3.0 to fix
535         --secure-protocol=SSLv2/SSLv3.
536
537 2012-12-09  Giuseppe Scrivano  <gscrivano@gnu.org>
538
539         * main.c (main): Keep looking for "config" until there are
540         arguments to parse.
541         Reported by: Adrien Dumont <adr.dum@hotmail.fr>
542
543         * test.c: Include "wget.h".
544
545 2012-12-08  Michael Stapelberg <michael@stapelberg.de> (tiny change)
546
547         * retr.c (retrieve_url): Set iri->orig_url to NULL after it is
548         freed.
549
550 2012-11-26  Giuseppe Scrivano  <gscrivano@gnu.org>
551
552         * wget.h (MAX_INT_TO_STRING_LEN): Define macro.
553         * warc.c (warc_write_block_from_file): Use `MAX_INT_TO_STRING_LEN'
554         to find the buffer size.
555         (warc_write_cdx_record): Likewise.
556
557 2012-09-03  Tim Ruehsen  <tim.ruehsen@gmx.de>
558
559         * http.c (digest_authentication_encode): Add support for RFC 2617
560         MD5-sess authentication algorithm.
561         Feature request and testing by: Avinash <pavinash@gmail.com>
562
563 2012-11-14  Ángel González  <keisial@gmail.com>
564
565         * warc.c (warc_sha1_stream_with_payload): Fix compilation under
566         gcc -std=c89.
567
568 2012-11-24  Gijs van Tulder  <gvtulder@gmail.com>
569
570         * warc.c (warc_write_cdx_record): Use `number_to_string' to
571         convert the offset to a string.
572
573 2012-11-24  Giuseppe Scrivano  <gscrivano@gnu.org>
574
575         * warc.c (warc_write_block_from_file): Use `number_to_string' to
576         convert the content-length to a string.
577
578 2012-11-15  Giuseppe Scrivano  <gscrivano@gnu.org>
579
580         * retr.c (write_data): Fix comment.
581
582 2012-11-13  Giuseppe Scrivano  <gscrivano@gnu.org>
583
584         * retr.c (fd_read_body): Correctly check the return code from
585         write_data.
586         Reported by: Torsten Scheck <torsten.scheck@gmx.de>
587
588 2012-08-29  Rohit Mathulla <rohit_mathulla@yahoo.com> (tiny change)
589
590         * html-url.c (get_urls_file): Convert shorthand URLs.
591
592 2012-10-07  Ray Satiro <raysatiro@yahoo.com>
593
594         * url.c: Change the functions of a growable string object to null
595         terminate the string.
596         * url.c (append_null): New function to null terminate a growable
597         string object.
598         * url.c (shorten_length): New function to shorten the length of a
599         growable string object.
600
601 2012-10-03 Merinov Nikolay <kim.roader@gmail.com>
602
603         * ftp.c (ftp_loop_internal): Ignore --no-clobber option when
604         receiving directory listing.
605
606 2012-10-07  Tim Ruehsen  <tim.ruehsen@gmx.de>
607             Giuseppe Scrivano  <gscrivano@gnu.org>
608
609         * utils.c (get_max_length): If `pathconf' is not available
610         fallback to PATH_MAX.
611
612 2012-10-06  Giuseppe Scrivano  <gscrivano@gnu.org>
613
614         * http.c (http_loop): Send a HEAD request when -c and
615         --content-disposition are used together.
616
617 2012-09-29 Merinov Nikolay <kim.roader@gmail.com>
618
619         * ftp-ls.c (ftp_parse_winnt_ls): Support filename extracting with
620         new listing format.
621
622 2012-09-29  Tim Ruehsen  <tim.ruehsen@gmx.de>
623
624         * url.h (CHOMP_BUFFER): Add definition.
625         * url.c (url_file_name): New local variables `fname_len_check' and
626         `max_length'. Check that the length of the file name is acceptable.
627         * utils.h (get_max_length): Declare function.
628         * utils.c (get_max_length): New function.
629
630 2012-09-28  Steven Schubiger  <stsc@member.fsf.org>
631
632         * src/recur.c (retrieve_tree): Combine duplicated code.
633
634 2012-09-02  Nguyễn Thái Ngọc Duy  <pclouds@gmail.com> (tiny change)
635
636         * src/main.c (main): mark more strings for translation.
637         * src/mswindows.c (fork_to_background): Likewise.
638         * src/recur.c (download_child_p): Likewise.
639
640 2012-08-28  Tim Ruehsen  <tim.ruehsen@gmx.de>
641
642         * gnutls.c (ssl_check_certificate): deinit gnutls_x509_crt_t.
643         * gnutls.c (ssl_init): don't error if CA directory is empty.
644
645 2012-07-07  Giuseppe Scrivano  <gscrivano@gnu.org>
646
647         * html-url.c (cleanup_html_url): Remove "static" modifier.
648         * init.c (cleanup_html_url): Likewise.
649         Reported by: Mike Frysinger <vapier@gentoo.org>.
650
651 2012-08-25  Hrvoje Niksic  <hniksic@gmail.com>
652
653         * warc.c (warc_find_duplicate_cdx_record): Use hash_table_get
654         instead of hash_table_get_pair.
655
656 2012-08-21  <y-iida@secom.co.jp> (tiny change)
657
658         * connect.c (connect_to_ip) [ENABLE_IPV6]: Attempt to use IPv6.
659         * http.c (gethttp): Likewise.
660
661 2012-07-03  Steven Schubiger  <stsc@member.fsf.org>
662
663         * init.c: Include warc.h for warc_close in cleanup function.
664
665 2012-07-08  Steven Schubiger  <stsc@member.fsf.org>
666
667         * exits.h: Fix comment.
668         * exits.c: Likewise.
669
670 2012-07-07  Tim Ruehsen <tim.ruehsen@gmx.de>
671
672         (digest_authentication_encode): Add support for RFC 2617 Digest
673         Access Authentication.
674
675 2012-07-07  Giuseppe Scrivano  <gscrivano@gnu.org>
676
677         * http.c (http_loop): Fix log message.
678         * main.c (main): Likewise.
679         Reported by: Petr Pisar <petr.pisar@atlas.cz>
680
681 2012-06-17  Giuseppe Scrivano  <gscrivano@gnu.org>
682
683         * wget.h: Define `CLOSEFAILED'.
684         * init.c: Include "exits.h".
685         (cleanup): Check `fclose' failure.
686         * exits.c (get_status_for_err): Handle `CLOSEFAILED'.
687
688 2012-06-16  Giuseppe Scrivano  <gscrivano@gnu.org>
689
690         * main.c (main): Move some cleanup related function to...
691         * init.c (cleanup): ...here.
692
693         * main.c: Do not include "stdout.h".
694         (main): Do not register `close_stdout' at exit.
695         Reported by: Micah Cowan  <micah@cowan.name>.
696
697 2012-06-09  Giuseppe Scrivano  <gscrivano@gnu.org>
698
699         * main.c (print_help): Move --report-speed under the section
700         "Logging and input file".
701
702 2012-06-06  Giuseppe Scrivano  <gscrivano@gnu.org>
703
704         * main.c (print_help): Rename --bits to --report-bps.
705         (cmdline_options): Likewise.
706         * init.c (commands): Rename --report-bps to --report-speed.
707         (cmd_spec_report_speed): New function.
708
709         * options.h (struct options): Rename `bits_fmt' to `report_bps'.
710         * main.c (print_help): Rename --bits to --report-bps.
711         (cmdline_options): Likewise.
712         * init.c (commands): Likewise
713
714         * progress.c (create_image): Adjust caller.
715         * retr.c (retr_rate): Likewise.
716         * utils.c (convert_to_bits): Likewise.
717
718 2012-06-04  Tim Ruehsen  <tim.ruehsen@gmx.de>
719
720         * main.c (main): Check for filename != NULL.
721         * warc.c (warc_process_cdx_line): Fix memory leak.
722         * utils.c (match_posix_regex, compile_posix_regex): Remove dead
723    assignment.
724         * openssl.c (ssl_init): Fix old-style function definition.
725
726 2012-06-02  Giuseppe Scrivano  <gscrivano@gnu.org>
727
728         * connect.c: Include <sys/socket.h> and <sys/select.h>.
729
730 2012-05-30  Gijs van Tulder  <gvtulder@gmail.com>
731
732         * warc.c: Fix segfault if CDX record is not found.
733
734 2011-05-26  Steven Schweda  <sms@antinode.info>
735         * connect.c [HAVE_SYS_SOCKET_H]: Include <sys/socket.h>.
736         [HAVE_SYS_SELECT_H]: Include <sys/select.h>.
737
738 2012-05-26  Mike Frysinger <vapier@gentoo.org>
739
740         * warc.c: Change type of `warc_current_gzfile' to gzFile.
741
742 2012-05-26  Giuseppe Scrivano  <gscrivano@gnu.org>
743
744         * warc.c (warc_load_cdx_dedup_file): Change type of `line_length' to
745         ssize_t.
746         Suggested by: Ángel González <keisial@gmail.com>
747
748 2012-05-18  Tim Ruehsen  <tim.ruehsen@gmx.de>
749
750         * gnutls.c (wgnutls_poll): Honor the specified `timeout' value.
751         (wgnutls_peek): Likewise.
752
753 2012-05-19  illusionoflife  <illusion.of.life92@gmail.com> (tiny change)
754
755         * convert.c (register_html,register_css): Fixed functions signature to
756         not accept unused argument
757         * retr.c (retrieve_url): Changed register_{css,html} usage according
758         new signature.
759
760 2012-05-16  Giuseppe Scrivano  <gscrivano@gnu.org>
761
762         * warc.h: Cut length lines to 80 columns.
763         * warc.c: Likewise.
764
765 2012-05-14  Tim Ruehsen  <tim.ruehsen@gmx.de>
766
767         * gnutls.c (wgnutls_read_timeout): removed warnings, moved fcntl stuff
768         outside loop.
769
770         * hash.h (hash_table_put): Make argument "value" const.
771         * hash.c (hash_table_put): Make argument value const.  Cast `value' to
772         void.
773         * http.c (request_set_header): Make argument `name' const.  Cast `value'
774         and `name' to void*.
775         (request_remove_header): Make argument `name' const.
776         * url.c (url_file_name): Make `index_filename' static.
777         * warc.h (warc_write_cdx_record): Make `url', `timestamp', `mime_type',
778         `payload_digest', `redirect_location', `warc_filename', response_uuid'
779         arguments const. Make `checksum' const.
780         * warc.c (warc_write_date_header): Make the `timestamp' argument const.
781         Make `extension' const.
782         (warc_write_cdx_record): Make `url', `timestamp', `mime_type',
783         `payload_digest', `redirect_location', `warc_filename', response_uuid'
784         arguments const. Make `checksum' const.
785
786 2012-05-13  Tim Ruehsen  <tim.ruehsen@gmx.de>
787
788         * gnutls.c (credentials): Change type to
789         gnutls_certificate_credentials_t.
790         (ssl_init): Do not use deprecated types.
791         (ssl_connect_wget): Likewise.
792
793 2012-04-11  Gijs van Tulder  <gvtulder@gmail.com>
794
795         * init.c: Add --accept-regex, --reject-regex and --regex-type.
796         * main.c: Likewise.
797         * options.c: Likewise.
798         * recur.c: Likewise.
799         * utils.c: Add regex-related functions.
800         * utils.h: Add regex-related functions.
801
802 2012-03-30  Tim Ruehsen  <tim.ruehsen@gmx.de>
803
804         * convert.c (convert_links_in_hashtable): Mmake it static.
805         * cookies.c (parse_set_cookie): Remove empty else branches.
806         * css-url.c: Include "css-url.h".
807         (get_uri_string): Make it static.
808         * css-url.h (get_urls_css): Add protoype.
809         * gnutls.c (ssl_init): Add prototype.
810         * html-parse.c (tagstack_push): Make it static.
811         * html-parse.c (tagstack_pop): Make it static.
812         * html-parse.c (tagstack_find): Make it static.
813         * html-url.c (cleanup_html_url): Make it static.
814         * progress.c (count_cols): Make it static.
815         * progress.c (get_eta): Make it static.
816         * retr.h (convert_to_bits): Remove prototype.
817         * util.h (convert_to_bits): Add prototype.
818         * spider.c (spider_cleanup): Make it static.
819         * warc.c (warc_write_start_record): Add prototype.
820         * warc.c (warc_write_end_record): Add prototype.
821         * warc.c (warc_start_cdx_file): Add prototype.
822         * warc.c (warc_init): Add prototype.
823         * warc.c (warc_load_cdx_dedup_file): Add prototype.
824         * warc.c (warc_write_metadata): Add prototype.
825         * warc.c (warc_close): Add prototype.
826         * warc.c (warc_tempfile): Add prototype.
827         * warc.c (warc_write_warcinfo_record): Make it static.
828         * warc.c (warc_load_cdx_dedup_file): Make it static.
829         * warc.c (warc_write_metadata): Make it static.
830         * warc.h (warc_init): Fix prototype.
831         * warc.h (warc_close): Fix prototype.
832         * warc.h (warc_tempfile): Fix prototype.
833
834 2012-03-30  Tim Ruehsen  <tim.ruehsen@gmx.de>
835
836         * url.c: Use empty query in local filenames.
837
838 2012-04-22  Tim Ruehsen <tim.ruehsen@gmx.de>
839
840         * main.c (main): Dynamically allocate `opt.progress_type'.
841
842 2012-04-21  Tim Ruehsen  <tim.ruehsen@gmx.de>
843
844         * ftp-basic.c (ftp_pasv): Fix memory leak.
845
846         * http.c (gethttp): Fix memory leak.
847
848         * ftp.c (getftp): Silent compiler warning.
849
850 2009-06-14  Phil Pennock  <mutt-dev@spodhuis.org> (tiny change)
851         * host.h: Declare `is_valid_ip_address'.
852         * host.c (is_valid_ip_address): New function.
853         * http.c (gethttp): Specify the hostname to ssl_connect_wget.
854         * gnutls.c (ssl_connect_wget): Specify the server name.
855         * openssl.c (ssl_connect_wget): Likewise.
856         * ssl.h: Change method signature for ssl_connect_wget.
857
858 2012-04-13  Tim Ruehsen  <tim.ruehsen@gmx.de> (tiny change)
859
860         * warc.c (warc_load_cdx_dedup_file): Fix a memory leak by freeing
861         `lineptr'.
862
863 2012-04-07  Daniel Kahn Gillmor <dkg@fifthhorseman.net> (tiny change)
864
865         * gnutls.c (key_type_to_gnutls_type): New function.
866         (ssl_init): Use correctly the specified gnutls certificate.
867
868 2012-04-01  Gijs van Tulder  <gvtulder@gmail.com>
869
870         * html-url.c: Prevent crash on incomplete STYLE tag.
871
872 2012-04-01  Giuseppe Scrivano  <gscrivano@gnu.org>
873
874         * gnutls.c (wgnutls_read_timeout): Ensure timer is freed.
875
876         * gnutls.c (wgnutls_read_timeout): Do not use timer if it is not
877         allocated.
878         Reported by: Xu Zhongxing <xu_zhong_xing@163.com>
879
880 2012-03-30  Tim Ruehsen  <tim.ruehsen@gmx.de> (tiny change)
881
882         * warc.c: make warc_uuid_str() implementation depend on HAVE_LIBUUID.
883
884 2012-03-29  Tim Ruehsen <tim.ruehsen@gmx.de> (tiny change)
885
886         * utils.c (library): Include <sys/time.h>.
887
888 2012-03-25  Giuseppe Scrivano  <gscrivano@gnu.org>
889
890         * utils.c: Include <sys/ioctl.h>.
891
892         * ptimer.c: Include <sys/time.h>.
893
894         * connect.c: Include <sys/socket.h>, <sys/select.h>, <sys/time.h>.
895         Reported by: Ray Satiro <raysatiro@yahoo.com>.
896
897 2012-03-25 Ray Satiro <raysatiro@yahoo.com>
898
899         * build_info.c.in: Check that HAVE_LIBSSL32 is defined when OpenSSL
900         is used.
901
902 2012-03-07  Steven Schubiger  <stsc@member.fsf.org>
903
904         * init.c (wgetrc_user_file_name): Correct typo.
905
906 2012-03-06   Sasikantha Babu   <sasikanth.v19@gmail.com>
907
908         * utils.c (convert_to_bits): Added new function convert_to_bits to
909         convert bytes to bits.
910         * retr.c (calc_rate): Modified the function to handle --bits
911         option and download rate calculated as bits per sec (SI-prefix)
912         for --bits otherwise bytes (IEC-prefix).
913         (retr_rate): Rates will display in bits per sec for --bits.
914         * options.h (struct opt): Added --bit option bool variable bits_fmt.
915         * main.c (print_help) : Added help for --bit.
916         * init.c: Defined command for --bit option.
917         * retr.h: Added function prototype.
918
919 2012-02-26  Giuseppe Scrivano  <gscrivano@gnu.org>
920
921         * main.c: Include "closeout.h"
922         (main): Register close_stdout at exit.
923
924 2012-02-01  Gijs van Tulder  <gvtulder@gmail.com>
925
926         * warc.c: Fix large file support with ftello, fseeko.
927         * warc.h: Fix large file support.
928         * http.c: Fix large file support.
929
930 2012-02-23  Giuseppe Scrivano  <giuseppe@southpole.se>
931
932         * main.c (main): Write diagnostic messages to `stderr' not to `stdout'.
933
934         * main.c (main): Fail gracefully if `malloc' fails.
935
936         * gnutls.c (wgnutls_read): Remove unused variables `timer' and `flags'.
937
938 2012-02-17  Steven Schubiger  <stsc@member.fsf.org>
939
940         * warc.c: Add license header.
941
942 2012-01-27  Gijs van Tulder  <gvtulder@gmail.com>
943
944         * retr.c (fd_read_body): If the response is chunked, the chunk
945         headers are now written to the WARC file, making the WARC file
946         an exact copy of the HTTP response.
947
948 2012-01-27  Gijs van Tulder  <gvtulder@gmail.com>
949
950         * retr.c (fd_read_body): Fix a memory leak with chunked responses.
951         * http.c (skip_short_body): Fix the same memory leak.
952
953 2012-01-09  Gijs van Tulder  <gvtulder@gmail.com>
954
955         * init.c: Disable WARC compression if zlib is disabled.
956         * main.c: Do not show the 'no-warc-compression' option if zlib is
957         disabled.
958         * warc.c: Do not compress WARC files if zlib is disabled.
959
960 2012-01-09  Sasikantha Babu   <sasikanth.v19@gmail.com> (tiny change)
961         * connect.c (connect_to_ip): properly formatted ipv6 address display.
962         (socket_family): New function - returns socket family type.
963         * http.c (gethttp): properly formatted ipv6 address display.
964
965 2011-11-09  Gijs van Tulder  <address@hidden>
966
967         * warc.c: Call gzdopen() with wb9 instead of wb+9, which fails on
968         zlib version >= 1.2.4.
969
970 2011-11-04  Steven Schweda  <address@hidden>
971
972         * warc.c [! WINDOWS]: Include <libgen.h>.
973         (warc_write_warcinfo_record): Assign a new allocated buffer and
974         free it on errors.
975
976 2011-11-01  Steven Schweda  <address@hidden>
977
978         * gnutls.c (ssl_init): Ensure GNU TLS is loaded only once.
979
980 2011-10-07  Steven Schweda  <address@hidden>
981
982         * connect.c: Add HAVE_SYS_SELECT_H and HAVE_SYS_SOCKET_H conditions
983         on includes of <sys/select.h> and <sys/socket.h>, respectively.
984         * ftp.c (getftp): Move BIN_TYPE_TRANSFER macro into VMS-specific
985         section.  On VMS, use Stream_LF attributes for listing files.  Pass
986         BIN_TYPE_FILE to fopen_excl() instead of constant-everywhere "true".
987         * ftp.c (ftp_retrieve_list): Restore lost test of opt.preserve_perm
988         (--preserve-permissions) on the chmod() operation.
989         * init.c, main.c: Remove "deprecated" from opt.preserve_perm
990         (--preserve-permissions).
991         * init.c (initialize): Use distinct messages for errors in C macro
992         SYSTEM_WGETRC and environment-variable SYSTEM_WGETRC.  Avoid use of
993         C macro SYSTEM_WGETRC when it's not defined.
994         * log.c (log_close): Avoid closing logfp when it's stderr.
995         * main.c (print_help):  Restore --preserve-permissions.
996         * main.c (main): Avoid using a negative value of longindex as a
997         subscript (for long_options[]) when searching for "--config".
998         * main.c (main): Exit the program using exit() instead of "return".
999         (VMS handles these differently, and exit() is better.)
1000         * openssl.c (ssl_init): Add type cast (SSL_METHOD *) to newly "const"
1001         "meth" argument to accommodate OpenSSL version 0.9.8, where that
1002         argument is not "const" in the OpenSSL function (SSL_CTX_new).
1003         * test.c: Declare "program_argstring".
1004         * utils.c (fopen_excl): Comment typography.
1005         * warc.h: New file.
1006         * warc.c: New file.
1007
1008 2011-10-02  Henrik Holst <henrik.holst@millistream.com> (tiny change)
1009         * http.c (gethttp): If 'contentonerror' is used then do not
1010         skip the http body on 4xx and 5xx errors.
1011
1012         * init.c (commands): Add 'contentonerror'.
1013
1014         * main.c (print_help, option_data): Add new option 'contentonerror'
1015         to make wget not skip the http content on 4xx and 5xx errors.
1016
1017         * options.h: New variable 'content_on_error'.
1018
1019 2011-09-19  Giuseppe Scrivano  <gscrivano@gnu.org>
1020
1021         * main.c (print_version): Update copyright year.
1022         (print_version): Fix typo.
1023
1024 2011-09-13  Giuseppe Scrivano  <gscrivano@gnu.org>
1025
1026         * ftp.c (ftp_retrieve_glob): Propagate correctly the `res' error
1027         code.
1028
1029 2011-09-07  Giuseppe Scrivano  <gscrivano@gnu.org>
1030
1031         * http.c (gethttp): Don't inhibit arest request if opt.timestamping is
1032         set.
1033         Reported by <natrio@list.ru>
1034
1035 2011-09-06  Jakob Matthes <jakob.matthes@gmail.com> (tiny change)
1036
1037         * main.c (print_version): Do not exit prematurely when --help is passed.
1038
1039 2011-09-04  Christian Jullien <eligis@orange.fr> (tiny change)
1040
1041         * gnutls.c: Include <sys/fcntl.h>.
1042
1043 2011-09-02  Mojca Miklavec <mojca.miklavec.lists@gmail.com> (tiny change)
1044
1045         * main.c (print_version): Do not exit prematurely when --version is passed.
1046
1047 2011-08-30  Giuseppe Scrivano  <gscrivano@gnu.org>
1048
1049         * gnutls.c (wgnutls_read_timeout): Use the non blocking socket only for
1050         `gnutls_record_recv'.  Set errno to ETIMEDOUT on a read timeout.
1051
1052 2011-08-29  Giuseppe Scrivano  <gscrivano@gnu.org>
1053
1054         * gnutls.c (wgnutls_read_timeout): New function.
1055         (wgnutls_read): Use wgnutls_read_timeout.
1056         (wgnutls_peek): Likewise.
1057
1058 2011-08-27  Giuseppe Scrivano  <gscrivano@gnu.org>
1059
1060         * main.c (print_help): Exit with an error status if print to stdout
1061         fails.
1062         (print_usage): Change method signature and return a status code.
1063         (print_version): Likewise.
1064
1065 2011-08-26  Giuseppe Scrivano  <gscrivano@gnu.org>
1066
1067         * gnutls.c: Include "ptimer.h".
1068         (wgnutls_read): Honor read timeout.
1069
1070         * openssl.c (ssl_init): Make `meth' const.
1071
1072 2011-08-25  Giuseppe Scrivano  <gscrivano@gnu.org>
1073
1074         * utils.c [HAVE_UTIME && HAVE_UTIME_H]: Include <utime.h>.
1075         [HAVE_UTIME && HAVE_SYS_UTIME_H]: Include <sys/utime.h>.
1076         (touch) [HAVE_UTIME: Prefers utime over futimens when it is available.
1077         It was reported that Cygwin has a not working futimens.
1078
1079 2011-08-19  Giuseppe Scrivano  <gscrivano@gnu.org>
1080
1081         * init.c (home_dir) [MSDOS]: Move local variable `len' here.
1082
1083 2011-08-18  Giuseppe Scrivano  <giuseppe@southpole.se>
1084
1085         * http.c (gethttp): Fix a memory leak on some errors.  Free the head
1086         buffer.
1087
1088         * Makefile.am: Use an additional file "css_.c" which in turn includes
1089         "wget.h" and immediately "css.c".
1090
1091         * http.c (gethttp): Reset chunked_transfer_encoding on redirections.
1092
1093 2011-08-13  Giuseppe Scrivano  <gscrivano@gnu.org>
1094
1095         * retr.c (fd_read_body): Ensure max is not already defined.
1096
1097         * mswindows.h (snprintf): Remove definition.
1098         (vsnprintf): Likewise.
1099
1100 2011-08-12  Giuseppe Scrivano  <gscrivano@gnu.org>
1101
1102         * css.l: Remove include "wget.h".
1103         Reported by: Perry Smith <pedzsan@gmail.com>.
1104
1105 2011-08-11  Giuseppe Scrivano  <gscrivano@gnu.org>
1106
1107         * utils.c (abort_run_with_timeout): Use sigprocmask instead of
1108         sigsetmask.
1109
1110         * gnutls.c (ssl_connect_wget): Remove call to deprecated function
1111         `gnutls_certificate_type_set_priority'.
1112
1113         * Makefile.am (version.c): Don't invoke hg to set version string.
1114
1115 2011-08-10  Giuseppe Scrivano  <gscrivano@gnu.org>
1116
1117         Fix a linker error on systems with an older gnutls version.
1118         * gnutls.c (ssl_connect_wget)
1119         [HAVE_GNUTLS_PRIORITY_SET_DIRECT]:  Use gnutls_priority_set_direct.
1120         [! HAVE_GNUTLS_PRIORITY_SET_DIRECT]:  Use gnutls_protocol_set_priority.
1121         Reported by: Karl Berry <karl@freefriends.org>
1122
1123 2011-08-06  Jochen Roderburg <Roderburg@Uni-Koeln.DE>
1124
1125         * host.c (lookup_host): Ensure it doesn't print more IPs than available
1126         ones.
1127
1128 2011-08-06  Giuseppe Scrivano  <gscrivano@gnu.org>
1129
1130         * init.c (defaults): Set default value for show_all_dns_entries.
1131
1132         * host.c (lookup_host): If `showalldnsentries' is used then print all
1133         the IP corresponding to a DNS entry.
1134         * init.c (commands): Add `showalldnsentries'.
1135         Suggested by: Witold Baryluk <baryluk@smp.if.uj.edu.pl>
1136
1137         * http.c (gethttp): Add the Cache-Control HTTP header when --no-cache
1138         is specified.
1139         Reported by: Коренберг Марк <socketpair@gmail.com>.
1140
1141 2011-08-05  Giuseppe Scrivano  <gscrivano@gnu.org>
1142
1143         * utils.c (acceptable): Accept always the file if it is the specified
1144         output destination.
1145         Reported by: Shai Berger <shai@platonix.com>
1146
1147 2011-08-05  Giuseppe Scrivano  <giuseppe@southpole.se>
1148
1149         * gnutls.c (ssl_connect_wget): Use `gnutls_priority_set_direct' instead
1150         of the deprecated `gnutls_protocol_set_priority'.
1151
1152 2011-08-02  Giuseppe Scrivano  <giuseppe@southpole.se>
1153
1154         * cookies.c (parse_set_cookie): If the value is quoted, do not modify
1155         it.
1156         Reported by: Nirgal Vourgère <jmv_deb@nirgal.com>
1157
1158 2011-07-29  Giuseppe Scrivano  <giuseppe@southpole.se>
1159
1160         * log.c (logprintf): Exit immediately on a SIGPIPE error.
1161         Reported by: Noèl Köthe  <noel@debian.org>.
1162
1163 2011-07-26  Carlos Martín Nieto  <carlos@cmartin.tk>  (tiny change)
1164
1165         * init.c (home_dir): Allocate path buffer dinamically.
1166
1167 2011-07-26  Giuseppe Scrivano  <giuseppe@southpole.se>
1168
1169         * retr.c (retrieve_url): Do not register redirects when in spider mode.
1170
1171 2011-07-20 Merinov Nikolay <kim.roader@gmail.com>
1172
1173         * iri.c (remote_to_utf8): Add test for non-ASCII symbols with
1174         UTF-8 URI encoding.
1175         * res.c (res_retrieve_file): Fix url_parse call.
1176
1177 2011-06-08  Giuseppe Scrivano  <giuseppe@southpole.se>
1178
1179         * retr.c (retrieve_from_file): Parse the url careless if IRI is enabled.
1180         Reported by: Volker Kuhlmann <list0570@paradise.net.nz>.
1181
1182 2011-05-24  Giuseppe Scrivano  <gscrivano@gnu.org>
1183
1184         * retr.c (fd_read_body): Define max.
1185
1186 2010-12-28  Adrien Nader  <adrien@notk.org> (tiny change)
1187
1188         * main.c [WINDOWS]: Include <io.h> and <fcntl.h>.
1189         (main) [WINDOWS]: Set the stdout file mode to binary.
1190         Submitted also by: Martin Panter <vadmium@gmail.com>
1191
1192 2011-05-23  Giuseppe Scrivano  <gscrivano@gnu.org>
1193
1194         * retr.c (fd_read_body): Be sure the buffer size is at least 8Kb.
1195         BUFSIZ may assume very small values with a negative impact on the
1196         performances.
1197
1198         * mswindows.h [NEED_GAI_STRERROR]: remove definition for gai_strerror.
1199
1200 2011-05-15  Ray Satiro <raysatiro@yahoo.com>
1201
1202         * connect.c (select_fd) [WINDOWS]: Ensure the socket is blocking.
1203         * mswindows.h: Add declaration for set_windows_fd_as_blocking_socket.
1204         * mswindows.c (set_windows_fd_as_blocking_socket): New function.
1205
1206         * openssl.c (openssl_read): Prevent loops on read errors.
1207
1208 2011-04-24  Giuseppe Scrivano  <gscrivano@gnu.org>
1209
1210         * html-url.c: Include "exists.h".
1211         * gnutls.c (wgnutls_peek): Remove local variable `ret'.
1212
1213 2011-04-21  Daniel Manrique <roadmr@tomechangosubanana.com> (tiny change)
1214         * main.c (main): Set exit status when invalid host name given in
1215         command line.
1216         * html-url.c (get_urls_file): Set exit status when invalid host
1217         name given in input file.
1218
1219 2011-04-19  Giuseppe Scrivano  <gscrivano@gnu.org>
1220
1221         * gnutls.c: Do not include <fcntl.h>.
1222         * gnutls.c (wgnutls_peek): Ensure there is data available before attempt
1223         a read on the blocking socket.
1224
1225         * Makefile.am (LIBS): Add $(LIB_CLOCK_GETTIME)
1226         * utils.c: Include <sys/stat.h>.  Do not include <sys/time.h>.
1227         (touch): Use `futimens' instead of `utimes'.
1228
1229         * mswindows.h: Do not include <direct.h>.  Remove macro definition for
1230         mkdir.
1231
1232 2011-04-18  Giuseppe Scrivano  <gscrivano@gnu.org>
1233
1234         * utils.c: Include <sys/time.h>.  Do not include <sys/utime.h>.
1235         (touch): Use `utimes' instead of `utime'.
1236
1237         * openssl.c (openssl_read): Fix build error.
1238
1239 2011-04-17  Giuseppe Scrivano  <gscrivano@gnu.org>
1240
1241         * wget.h [HAVE_LIBSSL32]: Define HAVE_SSL.
1242
1243         * gnutls.c (wgnutls_peek): Use correctly FIONBIO codes under Mingw32.
1244         Reported by: Ray Satiro <raysatiro@yahoo.com>
1245
1246 2011-04-13  Giuseppe Scrivano  <gscrivano@gnu.org>
1247
1248         * openssl.c (openssl_poll): Check if the specified timeout is zero after
1249         SSL_pending.
1250         (openssl_peek): Make the call non-blocking.
1251
1252 2011-04-11  Cristian Rodríguez  <crrodriguez@opensuse.org> (tiny change)
1253
1254         * openssl.c (ssl_init) [! OPENSSL_NO_SSL2]: Use SSLv2 only when
1255         available.
1256
1257 2011-04-07  Giuseppe Scrivano  <gscrivano@gnu.org>
1258
1259         * gnutls.c (ssl_init): Allow X509 v1 certificates.
1260         Suggested by: Ray Satiro <raysatiro@yahoo.com>
1261
1262         (wgnutls_peek): Remove tight loop around gnutls_record_recv.
1263
1264 2011-04-07  Ray Satiro  <raysatiro@yahoo.com> (tiny change)
1265
1266         (wgnutls_read): Check for the GNUTLS_E_AGAIN return code in the recv
1267         tight loop.
1268         (wgnutls_write): Likewise.
1269         (wgnutls_peek): Likewise.
1270
1271 2011-04-07  Giuseppe Scrivano  <gscrivano@gnu.org>
1272
1273         * gnutls.c (wgnutls_peek): New local variable `read'.
1274         Use `read' instead of `ret' to store the number of read bytes.
1275         Reported by: Ray Satiro <raysatiro@yahoo.com>
1276
1277 2011-04-04  Giuseppe Scrivano  <gscrivano@gnu.org>
1278
1279         * openssl.c [WINDOWS]: Include <w32sock.h>.
1280         (openssl_read): Retry the read on SSL_ERROR_WANT_READ.
1281
1282         * host.c [WINDOWS]: Include <winsock2.h> and <ws2tcpip.h>.
1283         Suggested by: Ray Satiro <raysatiro@yahoo.com>.
1284
1285         * Makefile.am (LIBS): Remove  @LIBSSL@ @W32LIBS@
1286
1287 2011-04-03  Giuseppe Scrivano  <gscrivano@gnu.org>
1288
1289         * gnutls.c: Include <fcntl.h>.
1290         (wgnutls_peek): Make the socket non blocking before attempt a read.
1291
1292         * gnutls.c: Include <sys/ioctl.h>.
1293         (wgnutls_peek) [F_GETFL]: Use fcntl.
1294         (wgnutls_peek) [! F_GETFL]: Use ioctl.
1295
1296
1297 2011-03-31  Giuseppe Scrivano  <gscrivano@gnu.org>
1298
1299         * recur.c (download_child_p): When --no-parent is used, check that the
1300         ports are the same only in case the same protocol is used.
1301         Reported by: Karl Berry <karl@freefriends.org>
1302
1303         * res.c (res_parse): Add new line to debug messages.
1304
1305 2011-03-21  Giuseppe Scrivano  <gscrivano@gnu.org>
1306
1307         * iri.h (parse_charset) [!ENABLE_IRI]: Use the parameter to avoid a
1308         compiler warning.
1309
1310         * iri.h: Declare `dummy_iri' as extern not static.
1311         * main.c [!ENABLE_IRI]: Define `dummy_iri'.
1312         (main) [!ENABLE_IRI]: Initialize `dummy_iri'.
1313
1314 2011-03-11  Giuseppe Scrivano  <gscrivano@gnu.org>
1315
1316         * ftp.c (getftp): Fix some memory leaks.
1317         * ftp-ls.c (ftp_parse_winnt_ls): Likewise.
1318         Reported by: Zhenbo Xu <zhenbo1987@gmail.com>.
1319
1320 2010-11-20  Filipe Brandenburger <filbranden@gmail.com> (tiny change)
1321
1322         * http.c (gethttp): Repeat a POST request on a 307 response.
1323         * retr.c (retrieve_url): Use NEWLOCATION_KEEP_POST.
1324         * wget.h: Define NEWLOCATION_KEEP_POST.
1325
1326 2011-03-02  Tomasz Buchert <tomek.buchert@gmail.com> (tiny change)
1327
1328         * http.c (ensure_extension): Do not adjust the extension if the file
1329         ends in .htm.
1330
1331 2011-02-22  Gilles Carry  <gilles.carry@st.com>
1332
1333         * main.c (prompt_for_password): Use stderr instead of stdout
1334         to prompt password. This allows to use --output-document=- and
1335         --ask-password simultaneously. Without this, redirecting stdout
1336         makes password prompt invisible and mucks up payload such as in
1337         this example:
1338         wget --output-document=- --ask-password -user=foo \
1339                 http://foo.com/tarball.tgz | tar zxf -
1340
1341 2011-02-22  Steven Schubiger  <stsc@member.fsf.org>
1342
1343         * http.c (gethttp, http_loop): Move duplicated code which is run
1344         when an existing file is not to be clobbered to a function.
1345         (get_file_flags): New static function.
1346
1347 2010-12-10  Evgeniy Philippov <egphilippov@googlemail.com> (tiny change)
1348
1349         * main.c (main): Initialize `total_downloaded_bytes'.
1350
1351 2010-12-09  Giuseppe Scrivano  <gscrivano@gnu.org>
1352
1353         * main.c (main): If --no-clobber and --convert-links are used at the
1354         same time, use only the latter.
1355         Reported by: Romain Vimont <rom@rom1v.com>
1356
1357 2010-12-07  Jessica McKellar <jesstess@mit.edu> (tiny change)
1358
1359         * main.c: Make help message clearer.
1360
1361 2010-12-02  Giuseppe Scrivano  <gscrivano@gnu.org>
1362
1363         * build_info.c.in: Do not list md5.
1364
1365 2010-12-01  Giuseppe Scrivano  <gscrivano@gnu.org>
1366
1367         * cmpt.c: Include <unistd.h> inconditionally.
1368         * connect.c: Likewise.
1369         * convert.c: Likewise.
1370         * ftp-basic.c: Likewise.
1371         * ftp-ls.c: Likewise.
1372         * ftp.c: Likewise.
1373         * gnutls.c: Likewise.
1374         * http.c: Likewise.
1375         * init.c: Likewise.
1376         * log.c: Likewise.
1377         * main.c: Likewise.
1378         * openssl.c: Likewise.
1379         * progress.c: Likewise.
1380         * ptimer.c: Likewise.
1381         * recur.c: Likewise.
1382         * retr.c: Likewise.
1383         * url.c: Likewise.
1384         * utils.c: Likewise.
1385
1386         * retr.c (fd_read_body): Dinamically allocate `dlbuf'.
1387
1388 2010-11-27  Reza Snowdon  <vivi@mage.me.uk>
1389
1390         * init.c (initialize): If 'ok' is not zero; exit, as this
1391         indicates there was a problem parsing 'SYSTEM_WGETRC'.
1392         Fixes bug #20370.
1393
1394 2010-11-22  Giuseppe Scrivano  <gscrivano@gnu.org>
1395
1396         Revert last commit.
1397         * ftp.c (getftp): When count > 0, don't append to the existing file.
1398         * http.c (gethttp): Likewise.
1399
1400 2010-11-21  Giuseppe Scrivano  <gscrivano@gnu.org>
1401
1402         * ftp.c (getftp): If `count' is bigger than zero, try to resume the
1403         download, not restart it.
1404         * http.c (gethttp): Likewise.
1405         Suggested by: Evgeny Kapun <abacabadabacaba@gmail.com>.
1406
1407 2010-11-19  Giuseppe Scrivano  <gscrivano@gnu.org>
1408
1409         * ftp.c (getftp): Accept new argument `count'.  When `count' is
1410         bigger than zero, assume the file can be overwritten.
1411         (ftp_loop_internal): Pass new argument `count' to `getftp'.
1412
1413         * http.c (gethttp): Accept new argument `count'.  When `count' is
1414         bigger than zero, assume the file can be overwritten.
1415         (http_loop): Pass new argument `count' to `gethttp'.
1416         Reported by: Evgeny Kapun <abacabadabacaba@gmail.com>.
1417
1418 2010-08-08  Reza Snowdon <vivi@mage.me.uk>
1419
1420         * main.c (main): inserted 'defaults'.
1421           Added additional 'getopt_long' while loop to search and apply a
1422           user specified config file before any other options.
1423           New variables 'retconf', 'use_userconfig',
1424           'confval', 'userrc_ret', 'config_opt'.
1425         * init.c: Include stdbool.h.
1426           (commands): Added config details.
1427           (defaults): Removed static.
1428           (wgetrc): Removed static.
1429           (initialize): Removed 'defaults ()',
1430           changed 'int ok' to 'bool ok'.
1431         * options.h: New variable 'choose_config'.
1432         * init.h (defaults): exported function.
1433           (run_wgetrc): exported function.
1434
1435 2010-10-24  Jessica McKellar <jesstess@mit.edu> (tiny change)
1436
1437         * main.c (main): Print the total download time as part of the
1438         summary for downloads using the recursive or page requisites
1439         options. Fixes bug #21359.
1440
1441 2010-10-24  Giuseppe Scrivano  <gscrivano@gnu.org>
1442
1443         * gnutls.c (wgnutls_peek): Do not return an error when
1444         `gnutls_record_recv' fails but some data is already available.
1445
1446 2010-10-23  Giuseppe Scrivano  <gscrivano@gnu.org>
1447
1448         * Makefile.am (LIBS): Remove @LIBGNUTLS@ and use @W32LIBS@ as last
1449         component.
1450
1451         * gnutls.c (wgnutls_peek): Block until data is available.
1452
1453 2010-10-21  Giuseppe Scrivano  <gscrivano@gnu.org>
1454
1455         * retr.c (retrieve_url): Do not register HTML files twice.
1456         Reported by: Manfred Koizar <mkoi-pg@aon.at>.
1457
1458 2010-10-18  Manfred Koizar <mkoi-pg@aon.at> (tiny change)
1459
1460         * html-url.c (tag_handle_link): Do not assume external links type
1461         to be always "text/html".
1462
1463 2010-10-16  Giuseppe Scrivano  <gscrivano@gnu.org>
1464
1465         * connect.c (socket_ip_address): Initialize `sockaddr' to zero.
1466         * ftp-basic.c (ftp_epsv): Remove dead assignment to `s'.
1467         * ftp-ls.c (ftp_parse_vms_ls): Remove dead assignment to `len'.
1468         * http.c (skip_short_body): Remove dead assignment to `ret'.
1469         * init.c (wgetrc_user_file_name): Remove dead assignment to `home'.
1470         * main.c (main): Silent warning reported by clang.
1471         (http_loop): Silent warning reported by clang.
1472         * retr.c (retrieve_url): Likewise.
1473         * url.c (init_seps): Remove dead assignment to `p'.
1474
1475 2010-10-11  Giuseppe Scrivano  <gscrivano@gnu.org>
1476
1477         * ftp.c (getftp): Fix indentation.
1478
1479 2010-10-11  Steven Schubiger <stsc@member.fsf.org>
1480
1481         * ftp.c (getftp): Initialize `targ'.
1482
1483 2010-10-08  Ivanov Anton <x86mail@gmail.com> (tiny change)
1484
1485     * src/html-url.c (check_style_attr): Skip quotes when they are present.
1486
1487 2010-10-06  Giuseppe Scrivano  <gscrivano@gnu.org>
1488
1489         * main.c (main): Remove unused variable `status'.
1490
1491 2010-09-25  Merinov Nikolay  <kim.roader@gmail.com>
1492
1493         * init.c: Add "unlink" command into command list.
1494         * main.c: Add "unlink" option into option_data list.
1495         * options.h: Adding unlink field into struct options.
1496         * wget.h: Addind UNLINKERR error into uerr_t enum.
1497         * exits.c (get_status_for_err): define status for UNLINKERR.
1498         * ftp.c (getftp): unlink file if exists, instead clobbering.
1499         (ftp_loop_internal): processing UNLINKERR.
1500         * http.c (gethttp): unlink file if exists, instead clobbering.
1501         (http_loop): processing UNLINKERR.
1502
1503 2010-09-24  Dennis, CHENG Renquan <crquan@fedoraproject.org>
1504
1505         Fix problem when content-disposition is used with recursive downloading.
1506         * url.h (url_file_name): Add a new argument `replaced_filename'.
1507         * url.c (url_file_name): Likewise.
1508         * http.c (parse_content_disposition): Do not add a prefix to the return
1509         value.
1510         (test_parse_content_disposition): Adjust tests.
1511         (gethttp): Pass additional parameter to `url_file_name'.
1512         (http_loop): Likewise.
1513         * ftp.c (ftp_loop_internal, ftp_get_listing, ftp_retrieve_list)
1514         (ftp_loop): Likewise.
1515
1516 2010-09-14  Giuseppe Scrivano  <gscrivano@gnu.org>
1517
1518         * convert.c (local_quote_string): Accept new parameter `no_html_quote'.
1519         Inhibit HTML quoting when `no_html_quote'.
1520         (convert_links): Disable HTML quoting in CSS files.
1521         Reported by: Manuel Reinhardt <reinhardt@syslab.com>.
1522
1523 2010-09-12  Giuseppe Scrivano  <gscrivano@gnu.org>
1524
1525         * main.c (print_help): Align --trust-server-names help text with
1526         the rest of the text.
1527         Suggested by: Mike Frysinger  <vapier@gentoo.org>.
1528
1529 2010-08-20  Giuseppe Scrivano  <gscrivano@gnu.org>
1530
1531         * convert.c: Include "iri.h".
1532         (convert_links_in_hashtable): Parse the url, if
1533         necessary, before check if it is present in the dowloaded url
1534         map.
1535         Reported by: <sk.random@gmail.com>.
1536
1537 2010-08-09  Giuseppe Scrivano  <gscrivano@gnu.org>
1538
1539         Fix a problem with HTTP/1.0 proxies.
1540         * http.c (gethttp): Specify the connection header when keep alive
1541         connections are not used.
1542
1543         Use persistent connections with proxies supporting them.
1544         * http.c (gethttp): Specify Proxy-Connection to the HTTP proxy.
1545
1546 2010-08-06  Giuseppe Scrivano  <gscrivano@gnu.org>
1547
1548         * css-url.c (get_uri_string): Skip empty urls.
1549
1550 2010-07-25  John Trengrove  <jtrengrove@gmail.com> (tiny change)
1551
1552         * ftp.h: Added enum `parsetype'.  Modified struct to hold parsetype.
1553
1554         * ftp-ls.c (ftp_parse_unix_ls): Default to TT_DAY. Change to TT_HOUR_MIN
1555         if hours/minutes parsed.
1556         (ftp_parse_winnt_ls): Default to TT_HOUR_MIN.
1557         (ftp_parse_vms_ls): Default to TT_HOUR_MIN.
1558         (ftp_index): Print only if fileinfo struct value ttype set to TT_HOUR_MIN.
1559
1560 2010-07-30  Giuseppe Scrivano  <gscrivano@gnu.org>
1561
1562         * html-url.h (struct map_context): Remove member `tail'.
1563
1564         * html-url.c (append_url): Append the new url ordered by `position'.
1565         (get_urls_html): Do not initialize `ctx.tail'.
1566
1567         * css-url.c (get_urls_css_file): Do not initialize `ctx.tail'.
1568
1569 2010-07-29  Giuseppe Scrivano  <gscrivano@gnu.org>
1570
1571         * gnutls.c (wgnutls_peek): Don't read more data if the buffered peek
1572         data is sufficient.
1573
1574 2010-07-28  Giuseppe Scrivano  <gscrivano@gnu.org>
1575
1576         * http.h (http_loop): Add new argument `original_url'
1577         * http.c (http_loop): Add new argument `original_url'.  Use
1578         `original_url' to get a filename if `trustservernames' is false.
1579
1580         * init.c (commands): Add "trustservernames".
1581
1582         * options.h (library): Add variable `trustservernames'.
1583
1584         * main.c (option_data): Add trust-server-names.
1585         (print_help): Describe --trust-server-names.
1586
1587         * retr.c (retrieve_url): Pass new argument to `http_loop'.
1588
1589 2010-07-20  Alan Jenkins <alan-jenkins@tuffmail.co.uk> (tiny change)
1590
1591         * http.c (gethttp): Check content-length was set before trying to
1592         compare it with the already downloded filesize.
1593
1594 2010-07-20  Leonid Petrov <nouser@lpetrov.net>
1595
1596         * ftp.c (getftp): Don't attempt to retrieve the file if it is already
1597         completely.
1598         (ftp_loop_internal): Force the length to be zero for symlinks.
1599
1600 2010-07-18  Giuseppe Scrivano  <gscrivano@gnu.org>
1601
1602         * http.c (gethttp): If -N is used, don't exit immediately if the content
1603         length is less or equal than the existing file size.  Specify "Range"
1604         only if -N is not used.
1605         Reported by: Caleb Cushing <xenoterracide@gmail.com>.
1606
1607 2010-07-14  Giuseppe Scrivano  <gscrivano@gnu.org>
1608
1609         * ftp.c (max): Remove definition.
1610         (getftp): New variable `got_expected_bytes'.  Let `expected_bytes' be
1611         the value SIZE returns, otherwise use the bytes count returned by RETR.
1612         Suggested by Daniel Stenberg <daniel@haxx.se>.
1613
1614 2010-07-14  Giuseppe Scrivano  <gscrivano@gnu.org>
1615
1616         * ftp.c (max): Add definition.
1617         (getftp): Consider for `expected_bytes' the greatest value between the
1618         bytes count returned by SIZE and the bytes count returned by RETR.
1619         Reported by: Jozua <jozua@sparky.za.net>.
1620
1621 2010-07-11  Giuseppe Scrivano  <gscrivano@gnu.org>
1622
1623         * http.c (http_loop): New variable `force_full_retrieve'.  If the remote
1624         file is newer that the local one then inhibit -c.
1625         Reported by: Caleb Cushing <xenoterracide@gmail.com>.
1626
1627 2010-07-09  Giuseppe Scrivano  <gscrivano@gnu.org>
1628
1629         * css-url.c (get_urls_css_file): Use `wget_read_file' instead of
1630         `read_file'.  Use `wget_read_file_free' instead of `read_file_free'.
1631         * convert.c (convert_links): Likewise.
1632         * html-url.c (get_urls_html, get_urls_file): Likewise.
1633         * res.c (res_parse_from_file): Likewise.
1634
1635         * utils.h: Rename `read_file' to `wget_read_file'.  Rename
1636         `read_file_free' to `wget_read_file_free'.
1637
1638         * utils.c (wget_read_file): Renamed from `read_file'.
1639         (wget_read_file_free): Renamed from `read_file_free'.
1640
1641 2010-07-05  Giuseppe Scrivano  <gscrivano@gnu.org>
1642
1643         * gnutls.c (ssl_init): New local variables `ca_directory' and `dir'.
1644         Load default root certificates under the `ca_directory' directory.
1645
1646 2010-07-03  Giuseppe Scrivano  <gscrivano@gnu.org>
1647
1648         * gnutls.c (ssl_connect_wget): New local variable `allowed_protocols'.
1649         Honor the --secure-protocol flag.
1650
1651 2010-06-20  Giuseppe Scrivano  <gscrivano@gnu.org>
1652
1653         * main.c (print_help): Fix help string for --random-wait.  Its range is
1654         [0.5*wait, 1.5*wait) not [0, 2*wait).
1655         Reported by: Tom Mizutani <gombei1970@gmail.com>.
1656
1657 2010-06-15  Giuseppe Scrivano  <gscrivano@gnu.org>
1658
1659         * gnutls.c [WIN32]: Include "w32sock.h".
1660         (FD_TO_SOCKET): Add definition.
1661         (ssl_connect_wget): Get the real socket handle by FD_TO_SOCKET.
1662         Define FD_TO_SOCKET if it is not yet defined.
1663
1664 2010-06-14  Giuseppe Scrivano  <gscrivano@gnu.org>
1665
1666         * gnutls.c: Include <stdlib.h>.
1667         (struct wgnutls_transport_context): Remove `peekstart'.
1668         (ssl_connect_wget): Renamed from `ssl_connect'.
1669         (wgnutls_poll): New variable `ctx'.
1670         (wgnutls_read): Don't use `ctx->peekstart'.
1671         (wgnutls_peek): Likewise.  Don't attempt to read if there is not
1672         ready data.
1673
1674 2010-06-14  Giuseppe Scrivano  <gscrivano@gnu.org>
1675         * http.c (http_loop): Always send a HEAD request when -N is used
1676         together with --content-disposition.
1677         Reported by: Jochen Roderburg <Roderburg@Uni-Koeln.DE>.
1678
1679 2010-06-10  Muthu Subramanian K <muthusuba@gmail.com> (tiny change)
1680
1681         * http.c (http_loop): Increase `total_downloaded_bytes' by
1682         `hstat.rd_size', not `hstat.len'.
1683
1684 2010-06-10  Giuseppe Scrivano  <gscrivano@gnu.org>
1685
1686         * main.c (print_version): Drop the current maintainer line.
1687
1688 2010-06-10  Giuseppe Scrivano  <gscrivano@gnu.org>
1689
1690         * Makefile.am (build_info.c): Generate the `build_info.c' file under
1691         the build directory.
1692         Patch by: Daniel Stenberg <daniel@haxx.se>.
1693
1694 2010-06-03  Giuseppe Scrivano  <gscrivano@gnu.org>
1695
1696         * http.c (http_loop): Do not send a HEAD request before the GET request
1697         when --content-disposition is used.
1698         Reported by: alex_wh@mail.ru.
1699
1700 2010-05-31  Giuseppe Scrivano  <gscrivano@gnu.org>
1701
1702         * css.l: Use option "nounput".
1703         (YY_NO_INPUT): Add macro definition.
1704
1705 2010-05-31  Giuseppe Scrivano  <gscrivano@gnu.org>
1706
1707         * html-parse.c (map_html_tags): Fix condition for closed tag.  Handle
1708         the case '>' is not specified after '/'.
1709
1710 2010-05-31  Giuseppe Scrivano  <gscrivano@gnu.org>
1711
1712         * sysdep.h (_SVID_SOURCE): Remove definition.
1713         (_BSD_SOURCE): Remove definition.
1714
1715 2010-05-31  Giuseppe Scrivano  <gscrivano@gnu.org>
1716
1717         * recur.c (retrieve_tree): Remove variable `up_error_code'.
1718
1719         * iri.c (open_locale_to_utf8): Remove function.
1720
1721 2010-05-30  Giuseppe Scrivano  <gscrivano@gnu.org>
1722
1723         * html-parse.c (NAME_CHAR_P): Consider '<' an invalid character.
1724         (advance_declaration): Close the tag if '<' is found.
1725         (map_html_tags): Likewise.
1726
1727 2010-05-27  Giuseppe Scrivano  <gscrivano@gnu.org>
1728
1729         * main.c (print_usage): Accept a new parameter `error'.
1730         (main): Print diagnostic messages to stderr, not stdout.
1731
1732 2010-05-27  Giuseppe Scrivano  <gscrivano@gnu.org>
1733
1734         * Makefile.am (wget_SOURCES): Remove `snprintf.c'.
1735
1736         * snprintf.c: Remove file.
1737
1738 2010-05-27  Giuseppe Scrivano  <gscrivano@gnu.org>
1739
1740         * main.c (main): Exit with failure when -k is specified and -O is not
1741         a regular file.
1742
1743 2010-05-27  Giuseppe Scrivano  <gscrivano@gnu.org>
1744
1745         * http.c (gethttp): Consider new cookies retrieved when the
1746         authorization fails.
1747
1748 2010-05-25  Giuseppe Scrivano  <gscrivano@gnu.org>
1749
1750         * host.c (sufmatch): Do not consider zero length entries.
1751
1752         * http.c (H_10X): New macro.
1753         (gethttp): Silently ignore 1xx responses.
1754
1755 2010-05-24  Giuseppe Scrivano  <gscrivano@gnu.org>
1756
1757         * iri.h (dummy_iri): Define static.
1758
1759         * css-tokens.h (css_tokens): Remove variable.
1760
1761 2010-05-23  Giuseppe Scrivano  <gscrivano@gnu.org>
1762
1763         * http.c (http_atotm): Count the NUL character when copying the locale
1764         string.
1765         Reported by: Florian Weimer <fw@deneb.enyo.de>
1766
1767 2010-05-16  Giuseppe Scrivano  <gscrivano@gnu.org>
1768
1769         * Makefile.am (LDADD): Remove MD5_LDADD.
1770         (MD5_LDADD): Remove definition.
1771         (AM_CPPFLAGS): Remove MD5_CPPFLAGS.
1772         (version.c): Remove dependency from MD5_LDADD.
1773         (../md5/libmd5.a): Remove rule.
1774
1775         * ftp-opie.c: Include "md5.h".  Do not include "gen-md5.h".
1776         (skey_response): New variable ctx.  Use md5 functions from the gnulib
1777         module instead of functions defined previously in the "gen-md5.h" file.
1778
1779         * gen-md5.h: Remove file.
1780         * gen-md5.c: Likewise.
1781
1782         * http.c: Include "md5.h".  Do not include "gen-md5.h".
1783         (digest_authentication_encode): New variable ctx.  Use md5 functions
1784         from the gnulib module instead of functions defined previously in the
1785         "gen-md5.h" file.
1786
1787 2010-05-15  Giuseppe Scrivano  <gscrivano@gnu.org>
1788
1789         * Makefile.am: Quote any path using $(top_srcdir) or $(top_builddir).
1790         (version.c): Remove dependency from configure.ac and Makefile.am.
1791
1792         * css.l: Include "wget.h".
1793
1794 2010-05-08  Giuseppe Scrivano  <gscrivano@gnu.org>
1795
1796         * Makefile.am: Update copyright years.
1797         * cmpt.c: Likewise.
1798         * connect.h: Likewise.
1799         * convert.c: Likewise.
1800         * convert.h: Likewise.
1801         * cookies.c: Likewise.
1802         * cookies.h: Likewise.
1803         * css-tokens.h: Likewise.
1804         * css-url.c: Likewise.
1805         * css-url.h: Likewise.
1806         * css.l: Likewise.
1807         * exits.c: Likewise.
1808         * exits.h: Likewise.
1809         * ftp-basic.c: Likewise.
1810         * ftp-ls.c: Likewise.
1811         * ftp-opie.c: Likewise.
1812         * ftp.c: Likewise.
1813         * ftp.h: Likewise.
1814         * gen-md5.c: Likewise.
1815         * gen-md5.h: Likewise.
1816         * gettext.h: Likewise.
1817         * gnutls.c: Likewise.
1818         * hash.c: Likewise.
1819         * hash.h: Likewise.
1820         * host.c: Likewise.
1821         * host.h: Likewise.
1822         * html-parse.c: Likewise.
1823         * html-parse.h: Likewise.
1824         * html-url.c: Likewise.
1825         * html-url.h: Likewise.
1826         * http-ntlm.c: Likewise.
1827         * http-ntlm.h: Likewise.
1828         * http.c: Likewise.
1829         * http.h: Likewise.
1830         * init.c: Likewise.
1831         * init.h: Likewise.
1832         * iri.c: Likewise.
1833         * iri.h: Likewise.
1834         * log.c: Likewise.
1835         * log.h: Likewise.
1836         * main.c: Likewise.
1837         * mswindows.c: Likewise.
1838         * mswindows.h: Likewise.
1839         * netrc.c: Likewise.
1840         * netrc.h: Likewise.
1841         * openssl.c: Likewise.
1842         * options.h: Likewise.
1843         * progress.c: Likewise.
1844         * progress.h: Likewise.
1845         * ptimer.c: Likewise.
1846         * ptimer.h: Likewise.
1847         * recur.c: Likewise.
1848         * recur.h: Likewise.
1849         * res.c: Likewise.
1850         * res.h: Likewise.
1851         * retr.c: Likewise.
1852         * retr.h: Likewise.
1853         * spider.c: Likewise.
1854         * spider.h: Likewise.
1855         * ssl.h: Likewise.
1856         * sysdep.h: Likewise.
1857         * test.c: Likewise.
1858         * test.h: Likewise.
1859         * url.c: Likewise.
1860         * url.h: Likewise.
1861         * utils.c: Likewise.
1862         * utils.h: Likewise.
1863         * wget.h: Likewise.
1864
1865 2010-05-07  Giuseppe Scrivano  <gscrivano@gnu.org>
1866
1867         * gnutls.c (wgnutls_close): Use always `close', not `closesocket'.
1868         * openssl.c (openssl_close): Use always `close', not `closesocket'.
1869         (ssl_connect_wget): Get the real socket handle by FD_TO_SOCKET.
1870         Define FD_TO_SOCKET if it is not yet defined.
1871         * Makefile.am (libunittest_a_CPPFLAGS): Add -I$(top_builddir)/lib.
1872         * mswindows.h: Always include <winsock2.h> and <ws2tcpip.h>.  Do not
1873         include <winsock.h>.
1874         [! INHIBIT_WRAP]: Remove macro's socket, bind, connect, accept, recv,
1875         send, select, getsockname, getpeername, setsockopt, closesocket.
1876         Remove wrapped_socket, wrapped_bind, wrapped_connect, wrapped_listen,
1877         wrapped_accept, wrapped_recv, wrapped_send, wrapped_select,
1878         wrapped_getsockname, wrapped_getpeername, wrapped_setsockopt,
1879         wrapped_closesocket prototypes.
1880         * mswindows.c:  Remove wrapped_socket, wrapped_bind, wrapped_connect,
1881         wrapped_listen, wrapped_accept, wrapped_recv, wrapped_send,
1882         wrapped_select, wrapped_getsockname, wrapped_getpeername,
1883         wrapped_setsockopt, wrapped_closesocket functions.  Remove WRAP macro.
1884         * host.h [WINDOWS]: Include <winsock2.h> not <winsock.h>.
1885         * connect.c: Include <sys/socket.h> and <sys/select.h> on any platform,
1886         gnulib ensures they exist.  Remove `read', `write', `close' macros.
1887         * Makefile.am: Copy build_info.c.in only if we are working in a VPATH.
1888         (AM_CPPFLAGS): Add directory with generated gnulib files.
1889
1890 2010-05-06  Giuseppe Scrivano  <gscrivano@gnu.org>
1891
1892         * Makefile.am (build_info.c): Generate build_info.c in the builddir,
1893         not srcdir.
1894
1895 2010-05-05  Giuseppe Scrivano  <gscrivano@gnu.org>
1896
1897         * http.c (gethttp): Give a nicer message on a malformed status line.
1898
1899 2010-05-04  Giuseppe Scrivano  <gscrivano@gnu.org>
1900
1901         * http.c (gethttp): Check `resp_status' return code and handle
1902         errors.
1903
1904 2010-05-01  Giuseppe Scrivano <gscrivano@gnu.org>
1905
1906         * http.c (request_send): Specify 1.1 as HTTP version for requests.
1907         (skip_short_body): Accept new parameter `chunked'.  New variable
1908         `remaining_chunk_size'.  Handle the chunked transfer encoding.
1909         (gethttp): New variable `chunked_transfer_encoding`.  Set `keepalive'
1910         by default to true.  Check if the server is using the chunked transfer
1911         encoding.
1912
1913         * retr.h: Define `rb_chunked_transfer_encoding'.
1914
1915         * retr.c (fd_read_body): New variable `chunked'.  New variable
1916         `remaining_chunk_size'.  Handle the chunked transfer encoding.
1917
1918 2010-03-04  Steven Schubiger  <stsc@member.fsf.org>
1919
1920         * ftp.c (ftp_loop_internal): Omit input file from being
1921         deleted after retrieval.
1922
1923         * retr.c (input_file_url): New function.
1924
1925         * retr.h: Add declaration for input_file_url.
1926
1927 2010-03-02  Steven Schubiger  <stsc@member.fsf.org>
1928
1929         * retr.c (retrieve_from_file): Improve checking for a URL
1930         by invoking url_valid_scheme instead of url_has_scheme.
1931
1932         * url.c (url_valid_scheme): New function.
1933
1934         * url.h: Add declaration for url_valid_scheme.
1935
1936 2010-03-02  Steven Schubiger  <stsc@member.fsf.org>
1937
1938         * retr.c (retrieve_from_file): Free memory of input file.
1939
1940 2010-03-01  Steven Schubiger  <stsc@member.fsf.org>
1941
1942         * retr.c (retrieve_url): Retrieve the local filename from ftp_loop.
1943         (retrieve_from_file): Return if there's no input file.
1944
1945         * ftp.c (ftp_loop_internal): Duplicate the local filename into
1946         retrieve_url's scope when a valid reference is being passed.
1947         (ftp_loop): Call ftp_loop_internal here with passing a
1948         reference to the local filename, elsewhere with NULL.
1949
1950         * ftp.h: Adjust declaration of ftp_loop.
1951
1952 2010-01-27  Paul Townsend  <aab@purdue.edu>  (tiny change)
1953
1954         * retr.c (fd_read_body): Be sure to measure timer when time has
1955         elapsed, too, not just when we've made progress.
1956
1957 2010-01-13  Micah Cowan  <micah@cowan.name>
1958
1959         * openssl.c: Fixed some mixed declarations-and-code.
1960
1961 2010-01-09  Micah Cowan  <micah@cowan.name>
1962
1963         * init.c, main.c, http.c, ftp.c, options.h: Renamed
1964         --no-match-server-timestamps to --no-use-server-timestamps, and
1965         add it to print_help.
1966
1967 2010-01-09  David Holman  <holman.david@gmail.com>  (tiny change)
1968
1969         * init.c, main.c, http.c, ftp.c, options.h: Added support for
1970         --no-match-server-timestamps.
1971
1972 2009-12-03  Peter Rosin  <peda@lysator.liu.se>
1973
1974         * snprintf.c (dopr): Output %p as unsigned.
1975
1976 2010-01-09  Jeremy Olexa  <darkside@gentoo.org>  (tiny change)
1977
1978         * init.c: Deal with systems which provide PATH_MAX in
1979         sys/param.h rather than limits.h.
1980
1981 2009-10-09  Steven Schweda  <sms@antinode.info>
1982
1983         * utils.c: Added characters " : \ | to the list of normal
1984         caret-escaped (ODS5) characters in the char_prop[] table.
1985
1986 2009-09-22  Arvind Jamuna Dixit  <ardsrk@gmail.com>
1987
1988         * http.c (extract_param, parse_content_disposition): Support
1989         RFC 2231 while parsing Content-Disposition header
1990
1991 2009-10-24  Petr Pisar  <petr.pisar@atlas.cz>
1992
1993         * openssl.c: Implement support for (multiple) subjectAltNames in
1994         X509 certificates, not just the commonName.
1995
1996 2009-10-09  Micah Cowan  <micah@cowan.name>
1997
1998         * main.c: Fix declaration of compiled_features.
1999
2000         * build_info.c.in: Adapt to new input format. Added a check for
2001         large-file support. Replaced the "openssl" and "gnutls"
2002         advertisements with a single "ssl/foo" advertisement.
2003
2004 2009-09-30  Micah Cowan  <micah@cowan.name>
2005
2006         * sysdep.h: Unconditionally include stdbool.h (gnulib has it for
2007         systems that don't supply it.)
2008
2009         * vms.c: Added functions vms_basename(), used to extract the
2010         bare executable name from argv[0], and vms_getpass(), a
2011         VMS-specific replacement for GNU getpass().
2012
2013          vms.c: Added global string constants: compilation_string
2014         (NULL), link_string (NULL), and version_string (real).
2015
2016 2009-09-24  Micah Cowan  <micah@cowan.name>
2017
2018         * vms.c: Moved from vms/vms.c.
2019
2020         * sysdep.h: Use proper prototypes for snprintf, vsnprintf (thanks
2021         to Steven Schweda).
2022
2023 2009-09-24  Steven Schweda  <sms@antinode.info>
2024
2025         * main.c (print_version): Remove VMS-conditional build info
2026         string; the new VMS builders use OS_TYPE.
2027
2028         * ftp.c (getftp): Fix accidental use of target -> targ.
2029
2030 2009-09-24  Micah Cowan  <micah@cowan.name>
2031
2032         * host.c (host_errstr): host_errstr should return const char *.
2033
2034 2009-09-22  Micah Cowan  <micah@cowan.name>
2035
2036         * Makefile.am (version.c): Explicitly tell Mercurial where the
2037         top-source repository should be, so it doesn't accidentally use
2038         the repository for a containing directory (for instance, if the
2039         user's home directory is managed by a Mercurial repo). Also
2040         ensures we find the repository, even if the build directory is
2041         outside the source directory.
2042
2043         * wget.h: define WINDOWS if _WIN32 or __WIN32__ is defined, but
2044         not __CYGWIN__.
2045
2046         * mswindows.c (xsleep): Check for availability of the sleep
2047         function, in addition to the usleep function.
2048         (get_winsock_error, windows_strerror): Removed (gnulib already
2049         supplies this functionality).
2050
2051         * mswindows.h [NEED_GAI_STRERROR]: define gai_strerror
2052         to (gnulib's) strerror, rather than windows_strerror. Removed
2053         error macro definitions provided by gnulib.
2054         (windows_strerror): Removed (gnulib already supplies this
2055         functionality).
2056
2057         * host.c: Don't declare h_errno when building on Windows.
2058
2059         * Makefile.am (LIBS): Added @W32LIBS@.
2060         (EXTRA_wget_SOURCES): Removed (it's in LIBOBJ now).
2061         (version.c): Removed dependency on $(LDADD), since it may include
2062         dependencies that are not part of the Wget sources (-lwsock32, for
2063         instance).
2064
2065         * openssl.c (ssl_check_certificate): Avoid reusing the same buffer
2066         space for successive quoted arguments. Thanks to Steven Schweda
2067         for pointing out the problem.
2068
2069 2009-09-21  Micah Cowan  <micah@cowan.name>
2070
2071         * progress.c (update_speed_ring): "the the" -> "the".
2072
2073         * css-url.c, iri.c, mswindows.c: Removed assert.h inclusion (not
2074         using it).
2075
2076 2009-09-11  Steven Schweda  <sms@antinode.info>
2077
2078         * utils.c, utils.h (fopen_excl): Make second argument an int,
2079         rather than a bool (so it can handle the appropriate VMS version
2080         of the flag).
2081
2082         * main.c (print_version): Don't print LOCALEDIR unless NLS is
2083         enabled.
2084
2085         * http.c (gethttp): Pass FOPEN_BIN_FLAG, instead of true.
2086
2087         * ftp.c (ftp_retrieve_glob): Cast strcmp to assign to cmp, for a
2088         silly HP build environment.
2089
2090 2009-09-08  Steven Schubiger  <stsc@member.fsf.org>
2091
2092         * main.c, init.c: Mark the --preserve-permissions and
2093         --html-extension option as deprecated.
2094
2095 2009-09-06  Micah Cowan  <micah@cowan.name>
2096
2097         * ftp.c (getftp, ftp_loop_internal): Separate "len" input/output
2098         parameter (with different meanings for input and output), into two
2099         separate parameters, one input (passed_expected_bytes) and one
2100         output (qtyread). Fixes bug #26870.
2101
2102 2009-09-05  Steven Schubiger  <stsc@member.fsf.org>
2103
2104         * retr.h: Declare set_local_file() to avoid build warnings.
2105
2106 2009-09-05  Gisle Vanem  <gvanem@broadpark.no>
2107
2108         * connect.c, init.c, main.c, openssl.c, options.h:  Replace
2109         "ifdef MSDOS" with "ifdef USE_WATT32" since DOS-targets in fact
2110         use the Watt-32 tcp/ip stack.
2111
2112 2009-09-04  Micah Cowan  <micah@cowan.name>
2113
2114         * Makefile.am: Move build_info.c to wget_SOURCES from
2115         nodist_wget_SOURCES, reduce dependencies, and invoke build_info.pl
2116         in its new home, $(top_srcdir)/build-aux.
2117
2118 2009-09-03  Micah Cowan  <micah@cowan.name>
2119
2120         * ftp-ls.c (ftp_parse_vms_ls): Replace use of localtime_r with
2121         localtime, as not all platforms have localtime_r.
2122
2123         * Makefile.am (wget_SOURCES): Rearranged some of the file order,
2124         so .c files and .h files are apart. Added gettext.h, so that it
2125         shows up in the dist.
2126
2127 2009-09-02  Micah Cowan  <micah@cowan.name>
2128
2129         * gettext.h: Refreshed from gettext 0.17.
2130
2131         * test.c: Added definition of program_name variable, required by
2132         lib/error.c (libgnu.a). Doesn't cause problems until you try to
2133         build on a non-GNU system...
2134
2135         * build_info.c.in: Removed useless "+gettext" feature ad.
2136
2137 2009-08-29  Steven Schubiger  <stsc@member.fsf.org>
2138
2139         * convert.c (local_quote_string): Percent-encode semicolons
2140         in local file strings.
2141
2142 2009-08-27  Micah Cowan  <micah@cowan.name>
2143
2144         * wget.h (uerr_t): added new VERIFCERTERR code for SSL certificate
2145         problems. Marked exit codes that are defined but never used (at
2146         least, the ones I could find).
2147
2148         * retr.c, retr.h (retrieve_url): Added a new boolean argument to
2149         determine whether an exit status should be recorded.
2150         (retrieve_from_file): Adjust to new retrieve_url signature.
2151
2152         * res.c (res_retrieve_file): Don't have retrieve_url record an
2153         exit status for robots.txt.
2154
2155         * recur.c (retrieve_tree): Adjust to new retrieve_url signature.
2156
2157         * main.c (main): Use the exit status stored by retrieve_url.
2158
2159         * http.c (gethttp): Distinguish certificate verification problems
2160         from SSL connection issues.
2161         (http_loop): Handle newly-created VERIFCERTERR error code.
2162
2163         * exits.c, exits.h: Newly added.
2164
2165         * Makefile.am (wget_SOURCES): Add exits.c and exits.h.
2166
2167 2009-08-27  Micah Cowan  <micah@cowan.name>
2168
2169         * http.c (gethttp): Make sure Wget heeds cookies when they
2170         are sent with a 401 response; or any other sort of response for
2171         that matter (#26775).
2172
2173 2009-08-19  Micah Cowan  <micah@cowan.name>
2174
2175         * openssl.c (ssl_check_certificate): Only warn about an attack if
2176         the hostname would otherwise have matched. Also some formatting
2177         cleanup.
2178
2179 2009-08-19  Joao Ferreira  <joao@joaoff.com>
2180
2181         * openssl.c (ssl_check_certificate): Detect embedded NUL
2182         characters in the SSL certificate common name.
2183
2184 2009-08-17  Tony Lewis  <tlewis@exelana.com>
2185
2186         * http.c (gethttp): Ensure that we parse Content-Length before we
2187         attempt to refer to its value. Without this fix, NTLM support was
2188         completely buggered. #27192
2189
2190 2009-08-09  Michael Baeuerle  <michael.baeuerle@gmx.net>
2191
2192         * ftp.c: #include <strings.h> for strcasecmp.
2193
2194 2009-07-28  Micah Cowan  <micah@cowan.name>
2195
2196         * main.c (option_data): Rename --html-extension to
2197         --adjust-extension.
2198         (print_help): Ditto.
2199
2200         * options.h (struct option): Rename html_extension to
2201         adjust_extension.
2202         * http.c (gethttp): Ditto.
2203         * convert.c (local_quote_string): Ditto.
2204
2205         * init.c (commands): Add "adjustextension", and reflect rename
2206         change for opt.adjust_extension, for both "adjustextension" and
2207         "htmlextension".
2208
2209 2009-07-27  Micah Cowan  <micah@cowan.name>
2210
2211         * options.h (struct options): Added restrict_files_nonascii
2212         boolean field.
2213
2214         * url.c (FILE_CHAR_TEST): Add check for chars outside the ASCII
2215         range.
2216
2217         * init.c (defaults): Add restrict_files_nonascii to initialization.
2218         (cmd_spec_restrict_file_names): Allow parsing of "ascii" keyword.
2219
2220 2009-07-27  Marcel Telka  <marcel@telka.sk>
2221
2222         * iri.c (do_conversion): Typo: invalide -> invalid
2223
2224 2009-07-27  Petr Pisar  <petr.pisar@atlas.cz>
2225
2226         * main.c (print_help): Fixed a couple typos.
2227
2228 2009-07-26  Micah Cowan  <micah@cowan.name>
2229
2230         * main.c (option_data): Rename --locale option to --local-encoding
2231         (print_help): Document --no-iri, --local-encoding, and
2232         --remote-encoding, within usage message. Remove defunct
2233         --preserve-permissions.
2234
2235 2009-07-23  Micah Cowan  <micah@cowan.name>
2236
2237         * progress.c (get_eta): Change "Translation note" in comment to
2238         "TRANSLATORS", so it actually appears in wget.pot.
2239
2240 2009-07-06  Micah Cowan  <micah@cowan.name>
2241
2242         * main.c (print_help): Improve documentation of --base.
2243
2244 2009-07-05  Micah Cowan  <micah@cowan.name>
2245
2246         * html-url.c (tag_handle_meta): Handle meta name="robots"
2247         properly: deal with whitespace, commas after...
2248
2249         * netrc.c (parse_netrc): Rename local-scope variable "quote" to
2250         "qmark", to avoid conflict with the function name.
2251
2252 2009-07-05  Petr Pisar  <petr.pisar@atlas.cz>
2253
2254         * main.c (print_version): Mark initial line for translation, along
2255         with (env), (user), and (system). Change copyright year to 2009.
2256
2257         * http.c (http_loop): Space after colon.
2258
2259         * gnutls.c (ssl_check_certificate): Use quote function, rather
2260         than explicit quotes.
2261
2262 2009-07-05  Micah Cowan  <micah@cowan.name>
2263
2264         * Makefile.am (version.c): Add dependency on configure.ac.
2265
2266         * iri.c: Mark some strings for translation.
2267
2268 2009-07-04  Steven Schweda  <sms@antinode.info>
2269
2270         * wget.h (ORIG_SFX): Macro added, to supply an alternative "_orig"
2271         suffix on VMS.
2272
2273         * connect.c, host.c, host.h, main.c: Include "vms_ip.h" rather
2274         than <netdb.h> on VMS systems.
2275
2276         * convert.c (write_backup_file): Use "_orig" rather than ".orig"
2277         on VMS.
2278
2279         * ftp-basic.c (ftp_list): Don't use LIST -a on VMS servers.
2280
2281         * ftp.c [__VMS]: Include "vms.h"
2282         * ftp.c (getftp): Disable some unhelpful "for VMS" code. Pass the
2283         OS type to ftp_list.
2284         (getftp) [__VMS]: Alter the filename as required, and invoke fopen
2285         with extra optional arguments.
2286         (ftp_retrieve_list): Set permissions before setting the times.
2287
2288         * ftp-ls.c [__VMS]: Various improvements.
2289
2290         * http.c (SET_USER_AGENT): Added. Include operating-system info in
2291         the User-Agent header.
2292         (gethttp): Use ORIG_SFX macro.
2293         (gethttp) [__VMS]: invoke fopen with extra arguments to
2294         communicate file type.
2295         (http_loop): Add cast to time_t.
2296
2297         * init.c (wgetrc_user_file_name) [__VMS]: Adjustments for where to
2298         find the .wgetrc.
2299
2300         * log.c: Adjustments to improve handling of log files on VMS.
2301
2302         * main.c [__VMS]: Added --ftp-stmlf option (and associated
2303         documentation). Adjust description of backup-suffixes, as they now
2304         differ for VMS.
2305         (print_help, print_version): Include OS type in version
2306         information.
2307         (main) [__VMS]: Invoke fopen with extra options, to specify file
2308         type information.
2309
2310         * netrc.c (search_netrc) [__VMS]: Fix .netrc-finding.
2311
2312         * openssl.c, openssl.h (ssl_connect_wget): Renamed from ssl_connect.
2313
2314         * options.h (struct options): Add ftp_stmlf field.
2315
2316         * retr.c (write_data) [__VMS]: Avoid fflush.
2317
2318         * url.c [__VMS]: Include vms.h.
2319         * url.c (url_file_name) [__VMS]: Handle naming as required for VMS.
2320
2321         * utils.c [__VMS]: Include vms.h. Various added facilities for VMS
2322         needs.
2323
2324 2009-07-04  Micah Cowan  <micah@cowan.name>
2325
2326         * main.c (print_version): Allow localization of the version-info
2327         labels, eschew attempts at alignment (which is complicated when
2328         handling translated strings), and avoid using printf() with
2329         variable-stored format strings that lack conversion
2330         specifications.
2331         (format_and_print_line): For similar reasons, don't calculate
2332         line-continuation tabulation based on the number of bytes in a
2333         string.
2334
2335 2009-07-04  Steven Schubiger  <stsc@member.fsf.org>
2336
2337         * url.c (url_parse): If an URL scheme is invalid, distinguish
2338         between an unsupported or missing scheme.
2339
2340         * url.c: Add a "missing scheme" entry to parse_errors.
2341
2342 2009-07-03  Micah Cowan  <micah@cowan.name>
2343
2344         * iri.h (iri_dup): Provide macro definition for when IRIs are
2345         disabled.
2346
2347         * Makefile.am (LIBS): Added @LIBICONV@.
2348         (wget_SOURCES): Added iri.h.
2349         (EXTRA_wget_SOURCES): Added iri.c, so it gets packaged even if IRI
2350         support was disabled.
2351
2352 2009-07-02  Micah Cowan  <micah@cowan.name>
2353
2354         * recur.c (url_enqueue): Quote enqueue/dequeue debug messages.
2355
2356         * html-url.c (append_url): Change "merge()" quoting style from
2357         locale_quoting_style to escape_quoting_style.
2358
2359 2009-07-01  Micah Cowan  <micah@cowan.name>
2360
2361         * retr.c (retrieve_url): Use the existing "redirect" label,
2362         instead of superfluous "second_try". Removed no-longer-accurate
2363         debug statement. Use the "newloc" parameter to store the fallback
2364         URL, when IRI version was rejected.
2365
2366         * recur.c (retrieve_tree): Always use the parsed URL for tracking
2367         the Referer, since that's the one we actually requested (if
2368         there's a difference in terms of percent-encodings and such).
2369
2370 2009-07-01  Steven Schubiger  <stsc@member.fsf.org>
2371
2372         * Makefile.am: Add a rule to generate build_info.c and list
2373         the build_info.c.in file in EXTRA_DIST. Adjust elsewhere
2374         where needed.
2375
2376         * build_info.c: Remove this static source file.
2377
2378         * build_info.c.in: Data for generation of build_info.c.
2379
2380 2009-06-29  Micah Cowan  <micah@cowan.name>
2381
2382         * html-url.c (append_url): Quote some more arguments that might
2383         contain characters that are inappropriate to display for the
2384         current locale.
2385
2386         * retr.c (retrieve_from_file): Be sure to pass iri information
2387         when parsing an input-fle url, and be sure to hand a clean iri
2388         struct, off to retrieve_tree and retrieve_url.
2389
2390         * iri.c, iri.h (iri_dup): Added.
2391
2392         * retr.c (retrieve_url): Re-parse for IRI fallback.
2393
2394         * main.c (main): Set up iri before the url_parse invocation (so we
2395         can use it).
2396
2397 2009-06-20  Jay Krell  <jay.krell@cornell.edu>
2398
2399         * sysdep.h (_ALL_SOURCE): (small change) Define the _ALL_SOURCE
2400         macro on INTERIX systems. (I switched the location from ftp.c to
2401         sysdep.h --mjc)
2402
2403 2009-06-15  Micah Cowan  <micah@cowan.name>
2404
2405         * ftp.c (getftp): If we can't accept the connection, return
2406         CONERROR, not whatever the contents of err happens to be. Fixes
2407         bug #25015.
2408
2409         * retr.c (fd_read_body): Make both args to progress_create
2410         consistent, resulting in an accurate progress display. Fixes bug
2411         #24948.
2412
2413 2009-06-14  Micah Cowan  <micah@cowan.name>
2414
2415         * Makefile.am (wget_SOURCES): css-tokens.h needs to ship with
2416         dist, too.
2417
2418 2009-06-13  Micah Cowan  <micah@cowan.name>
2419
2420         * init.c: Rename setval_internal_wrapper to setval_internal_tilde,
2421         ensure we don't "replace" the tilde unless it's actually
2422         present. Clean up some minor GNU style issues.
2423
2424 2009-06-13  Julien Pichon  <julienpichon7@gmail.com>
2425
2426         * init.c: Handle tilde-expansion in wgetrc commands, without
2427         resorting to setting/unsetting globals to change behavior in one
2428         call location.
2429
2430 2009-06-12  Micah Cowan  <micah@cowan.name>
2431
2432         * host.c: Include <sys/types.h> before <sys/socket.h>. Not
2433         required by POSIX any more, but some older systems (such as
2434         FreeBSD 4.1) still need it, and it doesn't seem like it could
2435         hurt...
2436
2437         * build_info.c (library): Handle "https" as a feature in its own
2438         right, apart from "gnutls" and "openssl".
2439
2440         * host.c: Declare h_errno if no declaration is provided. Idea
2441         thanks to Maciej W. Rozycki.
2442
2443 2009-06-11  Xin Zou  <zouxin2008@gmail.com>
2444
2445         * http.c (gethttp): Fix some memory leaks.
2446
2447 2009-06-11  Micah Cowan  <micah@cowan.name>
2448
2449         * http.c (http_atotm): Handle potential for setlocale's return
2450         value to be static storage. Thanks to Benjamin Wolsey
2451         <bwy@benjaminwolsey.de>.
2452
2453         * sysdep.h: Need NAMESPACE_TWEAKS on non-Linux glibc-based
2454         systems, too. Thanks to Robert Millan.
2455
2456 2009-05-28  Steven Schubiger  <stsc@member.fsf.org>
2457
2458         * ftp.c (ftp_get_listing): Update the "listing file"
2459         string after calling ftp_loop_internal().
2460
2461 2009-05-27  Steven Schubiger  <stsc@member.fsf.org>
2462
2463         * ftp.c (ftp_get_listing): Duplicate the "listing file"
2464         string to avoid memory corruption when FOPEN_EXCL_ERR is
2465         encountered.
2466
2467 2009-05-17  Steven Schubiger  <stsc@member.fsf.org>
2468
2469         * progress.c (eta_to_human_short): Fix the remaining hours
2470         to be displayed. Spotted by Tadeu Martins (#26411).
2471
2472 2009-04-24  Micah Cowan  <micah@cowan.name>
2473
2474         * hash.c: Change stdint.h inclusion to use HAVE_STDINT_H, not C99
2475         check.
2476
2477         * connect.c: stdint.h inclusion added.
2478
2479         Thanks to Markus Duft <mduft@gentoo.org> for a similar patch.
2480
2481 2009-04-20  Micah Cowan  <micah@cowan.name>
2482
2483         * Makefile.am (version.c): Fix unportable use of "echo -n".
2484
2485 2009-04-13  Steven Schubiger  <stsc@member.fsf.org>
2486
2487         * ftp.c (ftp_retrieve_list): Move the duplicated code that
2488         determines the local file to a function.
2489
2490         * http.c (http_loop): Likewise.
2491
2492         * retr.c (set_local_file): New function.
2493
2494 2009-04-11  Steven Schubiger  <stsc@member.fsf.org>
2495
2496         * init.c (initialize): Run a custom SYSTEM_WGETRC when
2497         provided as an environment variable.
2498
2499 2009-02-27  Gisle Vanem  <gvanem@broadpark.no>
2500
2501         * main.c (main): "freopen (NULL,.." causes an assertion in MSVC
2502         debug-mode.  I.e. NULL isn't legal. But the "CONOUT$" device works
2503         fine.
2504
2505 2009-02-27  Steven Schubiger  <stsc@member.fsf.org>
2506
2507         * ftp.c (ftp_loop_internal): Don't claim for FTP retrievals
2508         when writing to standard output either that the document
2509         has been saved. Addresses bug #20520 again.
2510
2511 2009-02-21  Steven Schubiger  <stsc@member.fsf.org>
2512
2513         * http.c (http_loop): When a document is written to
2514         standard output, don't claim it has been saved to a file.
2515         Addresses bug #20520.
2516
2517 2009-02-18  Steven Schubiger  <stsc@members.fsf.org>
2518
2519         * recur.h: Remove the dangling declaration for recursive_cleanup().
2520
2521 2009-02-01  Gerardo E. Gidoni  <gerel@gnu.org>
2522
2523         * main.c, recur.c, recur.h, res.c, retr.c, retr.h: restructured code to
2524         avoid multiple 'url_parse' calls.
2525
2526 2008-11-13  Micah Cowan  <micah@cowan.name>
2527
2528         * http.c (gethttp): Don't do anything when content-length >= our
2529         requested range.
2530
2531 2008-11-27  Saint Xavier  <wget@sxav.eu>
2532
2533         * http.c (gethttp): Move authentication code before filename
2534         allocation avoiding fallbacking on default filename because
2535         "Content-Disposition" header wasn't present before authentcation
2536         has been completed. Fixes bug #24862.
2537
2538 2008-11-16  Steven Schubiger  <stsc@members.fsf.org>
2539
2540         * main.c: Declare and initialize the numurls counter.
2541
2542         * ftp.c, http.c: Make the counter visible here and use it.
2543
2544         * options.h: Remove old declaration from options struct.
2545
2546 2008-11-15  Steven Schubiger  <stsc@members.fsf.org>
2547
2548         * init.c (defaults): Set default waitretry value.
2549
2550 2008-11-14  Steven Schubiger  <stsc@members.fsf.org>
2551
2552         * main.c (format_and_print_line): Use a custom format
2553         string for printing leading spaces.
2554
2555 2008-11-12  Micah Cowan  <micah@cowan.name>
2556
2557         * ftp-ls.c (ftp_index): HTML-escape dir name in title, h1, a:href.
2558
2559 2008-11-12  Alexander Belopolsky  <alexander.belopolsky@gmail.com>
2560
2561         * url.c, url.h (url_escape_unsafe_and_reserved): Added.
2562
2563         * ftp-ls.c (ftp_index): URL-escape, rather than HTML-escape, the
2564         filename appearing in the link.
2565
2566 2008-11-12  Steven Schubiger  <stsc@members.fsf.org>
2567
2568         * main.c (print_version): Hand the relevant
2569         xstrdup/xfree calls back to format_and_print_line().
2570
2571 2008-11-11  Steven Schubiger  <stsc@members.fsf.org>
2572
2573         * main.c (format_and_print_line): Move both the memory
2574         allocating and freeing bits upwards to print_version().
2575
2576 2008-11-10  Saint Xavier  <wget@sxav.eu>
2577
2578         * http.c: Make --auth-no-challenge works with user:pass@ in URLs.
2579
2580 2008-11-05  Micah Cowan  <micah@cowan.name>
2581
2582         * ftp.c (print_length): Should print humanized "size remaining"
2583         only when it's at least 1k.
2584
2585 2008-10-31  Micah Cowan  <micah@cowan.name>
2586
2587         * main.c (print_version): Add information about the mailing list.
2588
2589 2008-10-31  Alexander Drozdov  <dzal_mail@mtu-net.ru>
2590
2591         * retr.c (fd_read_hunk): Make assert deal with maxsize == 0.
2592
2593         * ftp-ls.c (clean_line): Prevent underflow on empty lines.
2594
2595 2008-10-26  Gisle Vanem  <gvanem@broadpark.no>
2596
2597         * main.c (format_and_print_line): Put variables on top of
2598         blocks (not all compilers are C99). Add an extra '\n' if
2599         SYSTEM_WGETRC isn't defined and printed.
2600
2601 2008-09-09  Gisle Vanem  <gvanem@broadpark.no>
2602
2603         * url.c (url_error): Use aprintf, not asprintf.
2604
2605 2008-09-09  Micah Cowan  <micah@cowan.name>
2606
2607         * init.c (home_dir): Save the calculated value for home,
2608         to avoid duplicated work on repeated calls.
2609         (wgetrc_file_name) [WINDOWS]: Define and initialize home var.
2610
2611         * build_info.c, main.c: Remove unnecessary extern vars
2612         system_wgetrc and locale_dir.
2613
2614         * main.c: Define program_name for lib/error.c.
2615
2616 2008-09-02  Gisle Vanem  <gvanem@broadpark.no>
2617
2618         * mswindows.h: Must ensure <stdio.h> is included before
2619         we redefine ?vsnprintf().
2620
2621 2008-08-08  Steven Schubiger  <stsc@members.fsf.org>
2622
2623         * main.c, utils.h: Removed some dead conditional DEBUG_MALLOC code.
2624
2625 2008-08-03  Micah Cowan  <micah@cowan.name>
2626
2627         * main.c (print_help): Added --default-page.
2628
2629 2008-08-01  Joao Ferreira  <joao@joaoff.com>
2630
2631         * init.c, main.c, options.h, url.c: Added option --default-page
2632         to support alternative default names for index.html
2633
2634 2008-08-03  Micah Cowan  <micah@cowan.name>
2635
2636         * build_info.c, css-url.c: #include wget.h, not config.h.
2637
2638 2008-08-03  Steven Schubiger  <stsc@members.fsf.org>
2639
2640         * url.c, url.h (url_error): Better messages for unsupported
2641         schemes, especially https.
2642
2643         * html-url.c, recur.c, retr.c: Adjust to new url_error
2644         invocation, and free result.
2645
2646 2008-07-17  Steven Schubiger  <stsc@members.fsf.org>
2647
2648         * retr.c (retrieve_from_file): When given an URL as input file,
2649         use it as baseref if none was specified and treat the input file
2650         as HTML if its content type is text/html.
2651
2652         * init.c (cleanup): Free the memory associated with the base
2653         option (when DEBUG_MALLOC is defined).
2654
2655 2008-07-02  Xavier Saint  <wget@sxav.eu>
2656
2657         * iri.c, iri.h  : New function idn_decode() to decode ASCII
2658         encoded hostname to the locale.
2659
2660         * host.c : Show hostname to be resolved both in locale and
2661         ASCII encoded.
2662
2663 2008-06-28  Steven Schubiger  <stsc@members.fsf.org>
2664
2665         * retr.c (retrieve_from_file): Allow for reading the links from
2666         an external file (HTTP/FTP).
2667
2668 2008-06-26  Xavier Saint  <wget@sxav.eu>
2669
2670         * iri.c, iri.h : New functions locale_to_utf8() and
2671         idn_encode() adding basic capabilities of IRI/IDN.
2672
2673         * url.c : Convert URLs from locale to UTF-8 allowing a basic
2674         support of IRI/IDN
2675
2676 2008-06-25  Steven Schubiger  <stsc@members.fsf.org>
2677
2678         * ftp.c (getftp): When spidering a FTP URL, emit a diagnostic
2679         message if the remote file exists.
2680
2681 2008-06-24  Steven Schubiger  <stsc@members.fsf.org>
2682
2683         * http.c (http_loop): Replace escnonprint() occurence with
2684         a quotearg_style() call.
2685
2686 2008-06-24  Micah Cowan  <micah@cowan.name>
2687
2688         * ftp-ls.c (ftp_index): Don't assume time_t* is compatible with
2689         long*. Fixes crash on Windows, and probably other systems.
2690
2691 2008-06-22  Steven Schubiger  <stsc@members.fsf.org>
2692
2693         * http.c: Explicitly initialize and deallocate the message
2694         string used by the -nv --spider functionality.
2695
2696 2008-06-22  Steven Schubiger  <schubiger@gmail.com>
2697
2698         * http.c: Make -nv --spider include the file's name when it
2699         exists.
2700
2701 2008-06-22  Micah Cowan  <micah@cowan.name>
2702
2703         * Makefile.am (version.c): Fixed version string invocation so it
2704         once again can't result in unterminated strings, made all the
2705         string vars pointers-to-const, and moved line lengths
2706         below 80 (in Makefile.am, not in version.c).
2707
2708 2008-06-19  Xavier Saint  <wget@sxav.eu>
2709
2710         * iri.c, iri.h : New function check_encoding_name() as
2711         a preliminary encoding name check.
2712
2713         * main.c, iri.c : Make use of check_encoding_name().
2714
2715 2008-06-19  Xavier Saint  <wget@sxav.eu>
2716
2717         * iri.c : Include missing stringprep.h file and add a
2718         cast.
2719
2720         * init.c : set a default initial value for opt.enable_iri,
2721         opt.locale and opt.encoding_remote.
2722
2723 2008-06-19  Xavier Saint  <wget@sxav.eu>
2724
2725         * iri.c, iri.h : Add a new function find_locale() to find
2726         out the local system encoding.
2727
2728         * main.c : Make use of find_locale().
2729
2730 2008-06-19  Xavier Saint  <wget@sxav.eu>
2731
2732         * html-url.c : Add "content-type" meta tag parsing for
2733         retrieving page encoding.
2734
2735         * iri.h : Make no-op version of parse_charset() return
2736         NULL.
2737
2738 2008-06-16  Micah Cowan  <micah@cowan.name>
2739
2740         * http.c (http_loop): When hstat.len is higher than the
2741         successfully completed content's length, but it's because we
2742         _set_ it that way, don't abort.
2743
2744 2008-06-14  Xavier Saint  <wget@sxav.eu>
2745
2746         * iri.c, iri.h : New files.
2747
2748         * Makefile.am : Add files iri.h and conditional iri.c.
2749
2750         * build_info.c : Add compiled feature "iri".
2751
2752         * http.c : include iri.h and parse charset from Content-Type
2753         header.
2754
2755         * init.c, main.c, options.h : if an options isn't supported
2756         at compiled time, don't get rid off it and show a dummy
2757         message instead if they are used.
2758
2759 2008-06-13  Micah Cowan  <micah@cowan.name>
2760
2761         * build_info.c: ENABLE_NTLM, not HAVE_NTLM; distinguish OpenSSL
2762         from "ssl".
2763
2764 2008-06-13  Madhusudan Hosaagrahara <com.gmail.hrmadhu>
2765
2766         * Makefile.am, main.c, init.c, init.h, build_info.c: Adds build
2767         information to the --version command line option. Fixes bug
2768         #20636.
2769
2770 2008-06-01  Micah Cowan  <micah@cowan.name>
2771
2772         * main.c [WINDOWS]: Reopen stdout in binary mode, when -O - is
2773         given.
2774
2775 2008-05-31 Micah Cowan  <micah@cowan.name>
2776
2777         * html-url.c, http.c: Avoid casts in a couple spots.
2778
2779 2008-05-30 Henri Häkkinen  <henux@users.sourceforge.net>
2780
2781         * cookies.c, ftp-basic.c, hash.c, html-url.c, http-ntlm.c, http.c,
2782         init.c, log.c, main.c, progress.c, ptimer.c, spider.c, url.c,
2783         utils.c: Minor changes to silence warnings when using -Wall.
2784
2785 2008-05-26  Steven Schubiger  <schubiger@gmail.com>
2786
2787         * ftp.c (getftp): Replace last remaining invocation of escnonprint
2788         with gnulib quote.
2789
2790 2008-05-19  Micah Cowan  <micah@cowan.name>
2791
2792         * main.c (main): Password prompt should be done only once (not
2793         once per argument), and should be done prior to the background
2794         fork.
2795
2796 2008-05-17  Steven Schubiger  <schubiger@gmail.com>
2797
2798         * init.c (defaults): Set the preferred IP family to `none' by
2799         default.
2800
2801 2008-05-17  Kenny Parnell  <k.parnell@gmail.com>
2802
2803         (cmd_spec_prefer_family): Initialize prefer_family to prefer_none.
2804
2805 2008-05-17  Micah Cowan  <micah@cowan.name>
2806
2807         * main.c (main): Handle Ctrl-D on command-line.
2808
2809 2008-05-15  Steven Schubiger  <schubiger@gmail.com>
2810
2811         * ftp.c (getftp): Verify that the file actually exists in FTP, by
2812         checking it against the listing.
2813
2814 2008-05-15  Micah Cowan  <micah@cowan.name>
2815
2816         * main.c (prompt_for_password): Use the quote module.
2817
2818 2008-05-14  Micah Cowan  <micah@cowan.name>
2819
2820         * ftp.c (ftp_retrieve_list): Symlinks and other filenames
2821         should be fully quoted.
2822
2823 2008-05-12  Micah Cowan  <micah@cowan.name>
2824
2825         * main.c (main): Downgrade "-N with -O" to a warning, and switch
2826         it off to avoid confusing messages.
2827
2828 2008-04-30  Micah Cowan  <micah@cowan.name>
2829
2830         * progress.c (create_image): Fix glitch where too many spaces are
2831         printed on lines that don't display the ETA, in multibyte
2832         locales.
2833
2834 2008-04-30  Steven Schubiger  <stsc@members.fsf.org>
2835
2836         * main.c (main): New code that handles prompting for passwords
2837         when specified explicitly via command-line option (using gnulib's
2838         getpass-gnu module).
2839         (main): Include the getpass header.
2840
2841         * init.c: Add "ask-password" to the list of recognized commands.
2842
2843         * options.h: Add an according boolean member to the options
2844         struct.
2845
2846         * sysdep.h: Comment the defines __EXTENSIONS__ and _GNU_SOURCE
2847         out, because they're now defined independently by config.h.
2848
2849 2008-04-27  Rabin Vincent  <rabin@rab.in>
2850
2851         * http.c (http_loop): Fix return for the case where we don't
2852         download a file because of -nc.
2853
2854 2008-04-27  Micah Cowan  <micah@cowan.name>
2855
2856         * url.c (path_simplify): Go back to allowing leading ".." in
2857         paths, but only for FTP URLs.
2858         (test_path_simplify): Add scheme-specificness to tests, adapt for
2859         mu_run_test.
2860
2861         * test.c (all_tests): Add test_path_simplify.
2862
2863         * main.c (main): Downgrade -r, -p with -O to a warning rather than
2864         an error; elaborate just a bit more for other -O combination
2865         cases.
2866
2867 2008-04-26  Micah Cowan  <micah@cowan.name>
2868
2869         * http.c (gethttp): Move proxy CONNECT handling to below the
2870         retry_with_auth label, to deal with properly reconnecting to
2871         proxies when we need to authenticate.
2872
2873 2008-04-25  Micah Cowan  <micah@cowan.name>
2874
2875         * Makefile.am: -I foo -> -Ifoo.
2876
2877 2008-04-24  Micah Cowan  <micah@cowan.name>
2878
2879         * main.c: Revised usage description of --convert-links to apply
2880         to CSS as well as to HTML.
2881
2882 2008-04-23  Micah Cowan  <micah@cowan.name>
2883
2884         * utils.c (test_dir_matches_p): Added a test for the case
2885         described in issue #20518.
2886
2887 2008-04-22  Micah Cowan  <micah@cowan.name>
2888
2889         * Makefile.am, css.lex, css.l: Renamed css.lex to css.l.
2890         * recur.c (retrieve_tree): Fix typo to allow text/css files to
2891         be parsed.
2892
2893 2008-04-22  Ted Mielczarek  <ted.mielczarek@gmail.com>
2894
2895         * css.lex, css-url.c, css-url.h: Added to implement support for
2896         parsing CSS in Wget.
2897         * convert.c: Convert links in CSS files, too.
2898         * convert.h (convert_options): Added for options link_css_p,
2899         link_expect_css.
2900         * convert.h: Added prototype for new register_css function.
2901         * html-parse.c: Added support for parsing element content, in
2902         addition to tag starts and ends.
2903         * html-parse.h (taginfo): Added delimiter fields for element
2904         content.
2905         * html-url.h: Added.
2906         * html-url.c (append_url): No longer internal-linkage only. Now
2907         takes position and size as explicit parameters.
2908         * html-url.c: Use new html-url.h header, add support for
2909         handling of "style" HTML attributes. Mark URIs obtained from
2910         link tags with rel="stylesheet" with link_expect_css. Adapt
2911         uses of append_url to supply the newly-added parameters for
2912         position and size.
2913         * http.c: Add detection for when the content-type is text/css;
2914         and ensure that such files have the ".css" filename extension,
2915         when --convert-links is active.
2916         * recur.h: Remove declarations for functions found in
2917         html-url.c (moved to html-url.h).
2918         * recur.c: Add support for culling links from CSS files, too,
2919         and tracking for when we're expecting the file to be CSS (even
2920         when its content type isn't text/css).
2921         * retr.c (retrieve_url): Add registration of CSS files.
2922         * wget.h: Added TEXTCSS to dt flags enum.
2923         * Makefile.am: Added css.lex, css-url.c, css-url.h, html-url.h
2924         to wget_SOURCES.
2925
2926 2008-04-22  Jim Paris  <jim@jtan.com>
2927
2928         * openssl.c (ssl_init): Enable combined certificate/key in
2929         single file (apparent regression from ~1.9). Resolves issue
2930         #22767.
2931
2932 2008-04-22  Steven Schubiger  <schubiger@gmail.com>
2933
2934         * http.c (print_response_line): Changed to make responses always
2935         be logged, even in --quiet mode, if --server-response was
2936         specified. This is to bring http.c's handling of the situation
2937         in line with ftp.c's.
2938
2939 2008-04-22  Pranab Shenoy  <pranab.loosinit.shenoy@gmail.com>
2940
2941         * init.c: Added test_commands_sorted unit test to check is
2942         commands are sorted.  Fixes bug #21245.
2943
2944         * test.c: Added test_commands_sorted to the test suite.
2945
2946 2008-04-22  Rabin Vincent  <rabin@rab.in>
2947
2948         * ftp.c (ftp_get_listing): Only remove .listing if it has been
2949         created.
2950
2951 2008-04-22  Alain Guibert  <alguibert+bts@free.fr>
2952
2953         * test.h (mu_run_test): Move declaration before statements, for
2954         C90 conformance. Fixes bug #22789.
2955
2956 2008-04-22  Mike Frysinger  <vapier@gentoo.org>
2957
2958         * Makefile.am: Move @LIBS@ after other libraries, for better
2959         static-linking support. Fixes bug #22143.
2960
2961 2008-04-16  Steven Schubiger  <schubiger@gmail.com>
2962
2963         * ftp.c: Use Gnulib's quote function for printing filenames and
2964         such.
2965         * connect.c: Likewise.
2966         * convert.c: Likewise.
2967         * cookies.c: Likewise.
2968         * ftp-opie.c: Likewise.
2969         * gnutls.c: Likewise.
2970         * init.c: Likewise.
2971         * log.c: Likewise.
2972         * mswindows.c: Likewise.
2973         * openssl.c: Likewise.
2974         * progress.c: Likewise.
2975         * recur.c: Likewise.
2976         * res.c: Likewise.
2977         * utils.c: Likewise.
2978
2979 2008-04-16  Steven Schubiger  <schubiger@gmail.com>
2980
2981         * sysdep.h: Comment the defines __EXTENSIONS__ and _GNU_SOURCE
2982         out, because they're now defined independently by config.h.
2983
2984 2008-04-14  Steven Schubiger  <schubiger@gmail.com>
2985
2986         * http.c: Use Gnulib's quote function for printing filenames and
2987         such.
2988         * wget.h: #include "quote.h".
2989
2990 2008-04-12  Rabin Vincent  <rabin@rab.in>
2991
2992         * mswindows.c (fake_fork_child): Don't create a logfile for
2993         --background when --quiet is used, but not --server-response.
2994         Fixes bug #20917.
2995
2996         * utils.c (fork_to_background): Likewise.
2997
2998 2008-04-12  Micah Cowan  <micah@cowan.name>
2999
3000         * utils.c (aprintf): Minor formatting changes to Alex's code (80-
3001         column limit, concatenated string literals, avoiding nesting
3002         levels), and removed invocation of free (since we're aborting
3003         anyway).
3004
3005 2008-04-11  Alexander Dergachev  <cy6erbr4in@gmail.com>
3006
3007         * utils.c (aprintf): Now we are setting limits (1 Mb) for text
3008         buffer when we use non-C99 vsnprintf.
3009
3010 2008-04-11  Micah Cowan  <micah@cowan.name>
3011
3012         * ftp.c (getftp, ftp_loop_internal): Don't append to an existing
3013         .listing when --continue is used.  Fixes bug #22825. Thanks to
3014         Rabin Vincent <rabin@rab.in> for pointing the way with a
3015         suggested fix!
3016
3017 2008-04-10  Alexander Dergachev  <cy6erbr4in@gmail.com>
3018
3019         * xmalloc.c, xmalloc.h (memfatal): Now exported; accepts an
3020         "unknown" value for the attempted allocation size.
3021         * utils.c (aprintf): Now calls memfatal, instead of aborting.
3022
3023 2008-03-19  Micah Cowan  <micah@cowan.name>
3024
3025         * utils.c (test_dir_matches_p): More tests related for
3026         dir_matches_p.
3027
3028 2008-03-17  Micah Cowan  <micah@cowan.name>
3029
3030         * connect.c: Include sys/time.h to support use of the select
3031         function on older systems.
3032
3033 2008-02-11  Benno Schulenberg  <bensberg@justemail.net>
3034
3035         * http.c: More accurate and descriptive messages for when a file
3036         won't be retrieved during spider-mode.
3037
3038 2008-02-10  Micah Cowan  <micah@cowan.name>
3039
3040         * http.c: Added existence_checked member to the http_stat
3041         struct.
3042         (gethttp): Mark hs->existence_checked when we've checked whether
3043         a file-to-download exists; so we don't check it again if the
3044         connection gets lost (and potentially pick a new "unique" name).
3045         This fixes bug 22251.
3046         * progress.c (create_image): Add space for an extra column in
3047         the "eta" portion of the progress bar image; to deal with
3048         too-long Czech translation.
3049         * main.c, http.c, init.c: Added --auth-no-challenge option, to
3050         bring back 1.10.2 unsafe auth behavior when needed. This fixes
3051         bug #22242.
3052
3053 2008-02-07  Micah Cowan  <micah@cowan.name>
3054
3055         * progress.c (create_image): Remove assertion on exceeding
3056         screen width, which given the less-than-robust code there, can
3057         be broken by a number of factors (such as large file downloads).
3058
3059 2008-02-06  Micah Cowan  <micah@cowan.name>
3060
3061         * progress.c (countcols): Use strlen() when mbtowc or wcwidth
3062         not available (or not using NLS).
3063         * utils.c: Ensure we use single-byte separators when not doing
3064         NLS progress-bars.
3065         * wget.h: Determine whether to use NLS for progress-bars, based
3066         on whether wcwidth and mbtowc are available.
3067
3068 2008-02-03  Micah Cowan  <micah@cowan.name>
3069
3070         * progress.c (create_image): Use number of characters/columns
3071         consumed, rather than number of bytes, to determine how much of
3072         a line we've used. Fixes assertion errors and field alignment
3073         bugs (#22161, #20481)
3074         (get_eta, count_cols): Added to support the changes for
3075         create_image.
3076         * http.c (http_loop): Put no-clobber logic back into http_loop,
3077         before starting to fetch, for when we're not doing
3078         content-disposition.
3079
3080 2008-01-31  Micah Cowan  <micah@cowan.name>
3081
3082         * http.c (gethttp): Don't derive hs->contlen from possibly
3083         invalid/missing Content-Length; instead, get the appropriate
3084         value from the Content-Range header values.
3085         (parse_content_range): Handle '*' instance-length field.
3086
3087 2008-01-25  Micah Cowan  <micah@cowan.name>
3088
3089         * main.c: Added notes to translators regarding (C), diacritics
3090         in names.
3091         * Makefile.am, cmpt.c, connect.c, connect.h, convert.c,
3092         cookies.c, cookies.h, ftp-basic.c, ftp-ls.c, ftp-opie.c, ftp.c,
3093         ftp.h, gen-md5.c, gen-md5.h, gnutls.c, hash.c, hash.h, host.c,
3094         host.h, html-parse.c, html-parse.h, html-url.c, http-ntlm.c,
3095         http-ntlm.h, http.c, http.h, init.c, init.h, log.c, log.h,
3096         main.c, mswindows.c, mswindows.h, netrc.c, netrc.h, openssl.c,
3097         options.h, progress.c, progress.h, ptimer.c, ptimer.h, recur.c,
3098         recur.h, res.c, res.h, retr.c, retr.h, spider.c, spider.h,
3099         ssl.h, sysdep.h, test.c, test.h, url.c, url.h, utils.c,
3100         utils.h, wget.h, xmalloc.c, xmalloc.h: Updated copyright year.
3101
3102 2007-12-10  Micah Cowan  <micah@cowan.name>
3103
3104         * main.c: The option is --content-disposition, not
3105         --no-content-disposition (at the moment).
3106
3107 2007-12-08  Hrvoje Niksic  <hniksic@xemacs.org>
3108
3109         * ftp.c (ftp_retrieve_glob): Print both arguments of fnmatch in
3110         fnmatch error message.
3111         (ftp_retrieve_glob): Don't match with fnmatch if we're only
3112         supposed to get one file.
3113
3114 2007-12-07  Micah Cowan  <micah@cowan.name>
3115
3116         * Makefile.am: Plug in vars to include stuff from
3117         $(top_srcdir)/md5 when appropriate.
3118
3119 2007-12-05  Micah Cowan  <micah@cowan.name>
3120
3121         * utils.c (subdir_p): Handle the case where d1 is "".
3122         * convert.c (convert_all_links): Don't return without
3123         deallocating timer.
3124
3125 2007-11-28  Micah Cowan  <micah@cowan.name>
3126
3127         * Makefile.am, cmpt.c, connect.c, connect.h, convert.c,
3128         convert.h, cookies.c, cookies.h, ftp-basic.c, ftp-ls.c,
3129         ftp-opie.c, ftp.c, ftp.h, gen-md5.c, gen-md5.h, gnutls.c,
3130         hash.c, hash.h, host.c, host.h, html-parse.c, html-parse.h,
3131         html-url.c, http-ntlm.c, http-ntlm.h, http.c, http.h, init.c,
3132         init.h, log.c, log.h, main.c, mswindows.c, mswindows.h,
3133         netrc.c, netrc.h, openssl.c, options.h, progress.c, progress.h,
3134         ptimer.c, ptimer.h, recur.c, recur.h, res.c, res.h, retr.c,
3135         retr.h, safe-ctype.c, safe-ctype.h, spider.c, spider.h, ssl.h,
3136         sysdep.h, test.c, test.h, url.c, url.h, utils.c, utils.h,
3137         wget.h, xmalloc.c, xmalloc.h: Updated license exception for
3138         OpenSSL, per the SFLC.
3139
3140 2007-10-30  Micah Cowan  <micah@cowan.name>
3141
3142         * main.c (main): Declare argv parameter as char **argv, rather
3143         than char *const *argv. This fixes usage of getopt_long,
3144         regardless of whether getopt_long has a constified argv or not.
3145
3146 2007-10-22  Gisle Vanem  <gvanem@broadpark.no>
3147
3148         * mswindows.c: Move INHIBIT_WRAP macro definition up with wget.h
3149         inclusion.
3150
3151 2007-10-18  Steven Schweda  <sms@antinode.org>
3152
3153         * sysdep.h: #include <stdint.h> as well as <inttypes.h>, to work
3154         around a glitch on Tru64 systems.
3155
3156 2007-10-18  Micah Cowan  <micah@cowan.name>
3157
3158         * Makefile.am: version.c should not be distributed. Removed
3159         config-post.h. Add version.c dependency and gnulib include path
3160         for libunittest.a.
3161         * sysdep.h: Got contents of config-post.h
3162         * config-post.h: Removed.
3163         * wget.h: #include "config.h".
3164         * alloca.c, cmpt.c, connect.c, convert.c, cookies.c,
3165         ftp-basic.c, ftp-ls.c, ftp-opie.c, ftp.c, gen-md5.c, gnutls.c,
3166         hash.c, host.c, html-parse.c, html-url.c, http-ntlm.c, http.c,
3167         init.c, log.c, main.c, mswindows.c, netrc.c, openssl.c,
3168         progress.c, ptimer.c, recur.c, res.c, retr.c, spider.c, url.c,
3169         utils.c, xmalloc.c: Use wget.h at very top, and instead of
3170         config.h.
3171
3172 2007-10-15  Micah Cowan  <micah@cowan.name>
3173
3174         * Makefile.am: Remove intermediary hg-id file generation, make
3175         version.c-generation more portable.
3176
3177 2007-10-14  Micah Cowan  <micah@cowan.name>
3178
3179         * cmpt.c, cookies.c, ftp-basic.c, ftp-ls.c, ftp.c, hash.c,
3180         host.c, html-parse.c, html-url.c, http-ntlm.c, http.c, init.c,
3181         log.c, main.c, netrc.c, openssl.c, res.c, url.c, utils.c,
3182         wget.h: Replace uses of ISSPACE, etc with c_isspace, etc.
3183         * gnu-md5.c, gnu-md5.h: Removed, in deference to gnulib.
3184         * Makefile.am: Removed gnu-md5.h from wget_SOURCES.
3185         * gen-md5.c: Changed #inclusion of gnu-md5.h to md5.h (gnulib's).
3186         * recur.c (download_child_p): Print error if unlink of
3187         robots.txt fails.
3188         * main.c (main): --spider or --delete-after now implies
3189         --no-directories (thanks, Josh Williams).
3190
3191 2007-10-14  Joshua David Williams  <yurimxpxman@gmail.com>
3192
3193         * recur.c (download_child_p): Remove robots.txt if
3194         --delete-after or --spider is on.
3195
3196 2007-10-13  Micah Cowan  <micah@cowan.name>
3197
3198         * Makefile.am: Make version.c depend on Wget dependencies (source
3199         files, plus such things as LIBOBJS so we get things like
3200         http-ntlm.c). Removed getopt.[ch], as we're now using gnulib for
3201         these.
3202
3203 2007-10-10  Micah Cowan  <micah@cowan.name>
3204
3205         * http-ntlm.c: Include openssl/opensslv.h explicitly, instead of
3206         hoping it'll be included by accident in openssl/des.h.
3207
3208 2007-10-09  Gisle Vanem  <gvanem@broadpark.no>
3209
3210         * mswindows.c: 'argc' and 'argv' in 'windows_main()' are no longer
3211         needed.  Hence simply the prototype. Free 'exec_name' at exit.
3212
3213 2007-10-09  Micah Cowan  <micah@cowan.name>
3214
3215         * gettext.h: Imported from /usr/share/gettext, fuller handling
3216         of --disable-nls.
3217         * wget.h: Remove logic for handling lack of NLS (now in
3218         gettext.h).
3219         * main.c: Use gettext's ENABLE_NLS rather than HAVE_NLS.
3220         * Makefile.am: added @LIBINTL@ to LIBS (though it probably
3221         belongs in LDADD, along with everything else currently assigned
3222         to LIBS).
3223
3224 2007-10-08  Micah Cowan  <micah@cowan.name>
3225
3226         * http.c (http_loop): Add send_head_first conditional back
3227         around code that needs it, but not around the last-modified
3228         header-parsing stuff this time. Removed no-longer-useful (was it
3229         ever?) restart_loop boolean, continuing unconditionally at end
3230         of send_head_first conditional block (if we haven't jumped out).
3231
3232 2007-10-04  Micah Cowan  <micah@cowan.name>
3233
3234         * http.c (http_loop): We've got_name if content_disposition
3235         support isn't on; make sure we continue properly in that case,
3236         even though we're not sending HEAD.
3237         * Makefile.in: Removed, replaced by Makefile.am.
3238         * Makefile.am: Converted from Makefile.in.
3239
3240 2007-10-02  Gisle Vanem  <gvanem@broadpark.no>
3241
3242         * ftp.c: Use "_listing" for MSDOS (".listing" is illegal).
3243
3244         * url.c: Update comment for 'filechr_not_windows'.
3245
3246         * utils.c: Include <process.h> for 'getpid()' on Watcom.
3247
3248 2007-10-02  Micah Cowan  <micah@cowan.name>
3249
3250         * ftp.c (getftp, ftp_loop_internal), http.c (http_loop), main
3251         (main): Use datetime_str instead of time_str, for those who have
3252         potentially long-running sessions. Based on suggestions by Saso
3253         Tomat <miskox@hotmail.com> and Steven M. Schweda
3254         <sms@antinode.org>.
3255         * http.c (gethttp): Warn about host lookup failures. Adjusted
3256         from Stephen Gildea's patch.
3257
3258 2007-10-02  Stephen Gildea  <stepheng+wget@gildea.com>
3259
3260         * connect.c (connect_to_host): Warn about host lookup failures.
3261
3262 2007-09-25  Micah Cowan  <micah@cowan.name>
3263
3264         * Makefile.in: Use EXEEXT instead of exeext.
3265
3266 2007-09-24  Gisle Vanem  <giva@bgnett.no>
3267
3268         * connect.c, init.c, main.c, openssl.c, options.h, sysdep.h,
3269         url.c, utils.c: Added support for building on MS-DOS.
3270
3271 2007-09-24  Jochen Roderburg  <roderburg@uni-koeln.de>
3272
3273         * http.c (http_zero): Remove no-longer-used local_size variable.
3274         Fixes bug #21057.
3275
3276 2007-09-12  Micah Cowan  <micah@cowan.name>
3277
3278         * http.c (http_loop): Remove send_head_first from condition for
3279         parsing timestamp.
3280
3281 2007-08-29  Micah Cowan  <micah@cowan.name>
3282
3283         * openssl.c (ssl_init): Re un-const-ified the meth local
3284         variable, to match current versions of openssl.
3285         * spider.c: Removed visited_url function, as it may be very
3286         inefficient.
3287         (print_broken_links): Removed traversal of referrers, until such
3288         time as a more efficient implementation can be written.
3289         * spider.h: Replaced declaration of visited_url with an
3290         empty-bodied, function-like macro.
3291
3292 2007-08-27  Gisle Vanem  <giva@bgnett.no>
3293
3294         * mswindows.c (run_with_timeout): Ensure that the correct
3295         conversion specification is used for the return result of
3296         the GetLastError function.
3297         * getopt.c: Fix missing (but, accidentally, legal) comment
3298         delimiter after licensing text.
3299         * recur.c (retrieve_tree): Inserted missing cast for strip_auth.
3300         Includes adjustment by Ralf Wildenhues.
3301         * openssl.c (ssl_init): const-ified the meth local variable.
3302         * main.c: Include all the static function definitions in the
3303         "#ifndef TESTING" clause, leaving just the definitions for
3304         exec_name (not set), and opt.
3305         * utils.c (run_with_timeout): Now returns bool, to align with
3306         declaration in utils.h.
3307
3308 2007-08-27  Micah Cowan  <micah@cowan.name>
3309
3310         * wget.h: Added macro replacement for ngettext, for environs
3311         that lack NLS.
3312
3313 2007-08-26  Micah Cowan  <micah@cowan.name>
3314
3315         * spider.c (print_broken_links): Fixed incorrect plurals msgid
3316         usage, switched to use ngettext function.
3317
3318 2007-08-24  Micah Cowan  <micah@cowan.name>
3319
3320         * http.c (http_loop): Introduced time_came_from_head boolean
3321         flag, to help avoid parsing the same Last-Modified header twice.
3322         Replaced spidering returns of RETRUNNEEDED for some situations,
3323         to RETROK, as otherwise it will be interpreted as an error.
3324         RETRUNNEEDED appears never to be referenced outside of
3325         http.c (and wget.h), and, when returned by gethttp, is
3326         translated by http_loop to RETROK.
3327         * url.c (are_urls_equal): Don't call getchar_from_escaped_string
3328         if u2 is shorter than u1.
3329         (getchar_from_escaped_string): Don't decode reserved characters.
3330         Handle illegally appearing '%'s as literal '%'s. Ensure hex
3331         digits before attempting to decode.
3332         (test_are_urls_equal): Added tests to handle u2 shorter than u1,
3333         and %2f not treated the same as /.
3334         * spider.c (in_url_list_p): Don't call are_urls_equal if one of
3335         them is NULL.
3336
3337 2007-08-23  Joshua David Williams  <yurimxpxman@gmail.com>
3338
3339         * spider.c (in_url_list_p): Removed the bool verbose argument
3340
3341 2007-08-22  Mauro Tortonesi  <mauro@ferrara.linux.it>
3342
3343         * http.c (http_loop): Fall back to GET if HEAD fails with a 500 or 501
3344         error code.
3345
3346 2007-08-21  Mauro Tortonesi  <mauro@ferrara.linux.it>
3347
3348         * http.c (http_loop): Send preliminary HEAD request if -N is given and
3349         the destination file exists already.
3350
3351 2007-08-10  Mauro Tortonesi  <mauro@ferrara.linux.it>
3352
3353         * http.c (http_loop): Fixed HTTP HEAD requests logic when --spider is
3354         given.
3355
3356 2007-08-10  Ralf Wildenhues  <Ralf.Wildenhues@gmx.de>
3357
3358         * url.c (append_uri_pathel): Do not assume dest string to be
3359         zero-terminated.
3360         (test_append_uri_pathel): Terminate string to fix test failure.
3361
3362 2007-08-09  Ralf Wildenhues  <Ralf.Wildenhues@gmx.de>
3363
3364         * url.c (url_string): Use comparison, not assignment, in
3365         check for auth_mode == URL_AUTH_HIDE_PASSWD.
3366
3367 2007-08-09  Micah Cowan  <micah@cowan.name>
3368
3369         * http.c (http_loop): If we got a HEAD and then a GET, and the
3370         GET had a timestamp, use that one, not any we may have gotten
3371         from the HEAD.
3372
3373 2007-08-08  Micah Cowan  <micah@cowan.name>
3374
3375         * init.c (defaults): Content disposition will not be default,
3376         since it currently results in extra round-trips.
3377
3378 2007-07-31  Micah Cowan  <micah@cowan.name>
3379
3380         * http.c (gethttp): Set contlen = -1 when we encounter a
3381         negative-valued Content-Length header, so we don't consider it
3382         an internal error later on and call abort().
3383
3384 2007-07-29  Micah Cowan  <micah@cowan.name>
3385
3386         * url.h, url.c (url_string): Replaced bool arg of the url_string
3387         function with enum url_auth_mode, with added option to
3388         completely remove user/pass auth information.
3389         * http.c, ftp.c, url.c, recur.c: Adapted call to url_string
3390         function to fit new usage.
3391         * recur.c (retrieve_tree): Remove auth info from Referer header.
3392
3393 2007-07-28  Micah Cowan  <micah@cowan.name>
3394
3395         * options.h, init.c, retr.c, main.c: renamed opt maxredirect
3396         field to max_redirect, for improved consistency.
3397         * init.c: changed max_redirect parser from cmd_number_inf to
3398         cmd_number, as infinite redirects may not be appropriate.
3399         Alternatively, if cmd_number_inf should be used, then
3400         opt.max_redirect's value should be checked a bit differently in
3401         retr.c, to allow for the "infinite" meaning of zero.
3402
3403 2007-07-25  Micah Cowan  <micah@cowan.name>
3404
3405         * http.c (create_authorization_line)
3406         (basic_authentication_encode, known_authentication_scheme_p)
3407         (load_cookies): Moved declarations up.
3408         (basic_authed_hosts): Added. Tracks what hosts have issued Basic
3409         challenge and been given the global username, password.
3410         (maybe_send_basic_creds): Added. Sends Basic creds for hosts that
3411         have issued Basic challenges.
3412         (register_basic_auth_host): Added. Instantiates
3413         basic_authed_hosts if necessary, then registers the host that
3414         has issued a challenge.
3415         (gethttp) <auth>: Only send authentication credentials after
3416         we've received a challenge from that host. This is a stop-gap
3417         fix until a proper fix can be implemented; still isn't quite
3418         right, as we should only be sending credentials automatically
3419         for authenticated paths and below, and not for the entire host.
3420
3421 2007-07-16  Joshua David Williams  <yurimxpxman@gmail.com>
3422
3423         * options.h: added maxredirect to options struct
3424         * init.c: added maxredirect to list of variables
3425         * retr.c (retrieve_url): replaced MAX_REDIRECTIONS with opt.maxredirect
3426         * main.c: added option --max-redirect
3427
3428 2007-07-16  Joshua David Williams  <yurimxpxman@gmail.com>
3429
3430         * test.h: tests made more verbose; now displays the name
3431         of each test run.
3432
3433 2007-07-10  Mauro Tortonesi  <mauro@ferrara.linux.it>
3434
3435         * http.c (http_loop): Fixed the HTTP requests logic. Now it skips the
3436         preliminary HEAD request if either -O or --no-content-disposition are
3437         given, and neither --spider and -N are given.
3438
3439 2007-07-05  Micah Cowan  <micah@cowan.name>
3440
3441         * cmpt.c, connect.c, connect.h, convert.c, convert.h:
3442         * cookies.c, cookies.h, ftp-basic.c, ftp.c, ftp.h, ftp-ls.c:
3443         * ftp-opie.c, gen-md5.c, gen-md5.h, getopt.c, getopt.h, gnu-md5.c:
3444         * gnu-md5.h, gnutls.c, hash.c, hash.h, host.c, host.h:
3445         * html-parse.c, html-parse.h, html-url.c, http.c, http.h:
3446         * http-ntlm.c, http-ntlm.h, init.c, init.h, log.c, log.h, main.c:
3447         * Makefile.in, mswindows.c, mswindows.h, netrc.c, netrc.h:
3448         * openssl.c, options.h, progress.c, progress.h, ptimer.c:
3449         * ptimer.h, recur.c, recur.h, res.c, res.h, retr.c, retr.h:
3450         * safe-ctype.c, safe-ctype.h, spider.c, spider.h, ssl.h, sysdep.h:
3451         * test.c, test.h, url.c, url.h, utils.c, utils.h, wget.h:
3452         * xmalloc.c, xmalloc.h:
3453         Updated GPL reference to version 3 or later, removed FSF
3454         address.
3455
3456 2007-07-04  Mauro Tortonesi  <mauro@ferrara.linux.it>
3457
3458         * http.c (http_loop): Skip HEAD request and start immediately with GET
3459         if -O is given.
3460
3461 2007-02-02  Hrvoje Niksic  <hniksic@xemacs.org>
3462
3463         * http.c (print_server_response): Escape non-printable characters
3464         in server respone.
3465
3466 2007-02-02  Hrvoje Niksic  <hniksic@xemacs.org>
3467
3468         * netrc.c: Don't make netrc_list static, as it prevents
3469         compilation with DEBUG_MALLOC.
3470
3471         * utils.c (aprintf): Don't use vasprintf when DEBUG_MALLOC is
3472         requested because, in that case, we want the calls to malloc to be
3473         coming from us.
3474
3475 2007-01-23  Hrvoje Niksic  <hniksic@xemacs.org>
3476
3477         * cookies.c (parse_set_cookie): Would erroneously discard cookies
3478         with unparsable expiry time.
3479
3480 2007-01-23  Hrvoje Niksic  <hniksic@xemacs.org>
3481
3482         * progress.c (create_image): Check for ETA overflow.
3483         (print_row_stats): Ditto.
3484
3485 2007-01-09  Mauro Tortonesi  <mauro@ferrara.linux.it>
3486
3487         * init.c (cmd_spec_prefer_family): Small fix to get rid of a gcc
3488         warning about strict-aliasing violation.
3489
3490 2007-01-09  Steven M. Schweda  <sms@antinode.org>
3491
3492         * ftp-basic.c (ftp_syst): Fixed segfault if response text is missing.
3493
3494 2006-12-29  Gisle Vanem  <giva@bgnett.no>
3495
3496         * mswindows.c: Avoid a warning if 'ws_hangup()' is unused.
3497
3498 2006-12-27  Mauro Tortonesi  <mauro@ferrara.linux.it>
3499
3500         * http.c (parse_content_disposition): Consider directory prefix, if
3501         specified.
3502
3503 2006-11-21  Hrvoje Niksic  <hniksic@xemacs.org>
3504
3505         * retr.c (retrieve_from_file): Ditto.
3506         (url_uses_proxy): New function.
3507
3508         * main.c (main): Don't check for opt.use_proxy when deciding
3509         whether to call retrieve_url or retrieve_tree; check whether the
3510         proxy would be used for *this* URL.
3511
3512 2006-10-17  Mike Grant  <mggr@pml.ac.uk>
3513
3514         * ftp.c (ftp_loop_internal): Would incorrectly skip changing
3515         working directory when retrying after a failed FTP attempt.
3516         Originally reported by Nate Eldredge.
3517
3518 2006-10-12  Mauro Tortonesi  <mauro@ferrara.linux.it>
3519
3520         * convert.c (downloaded_file): Fixed bug which used to break -E -k -K
3521         mode.
3522
3523 2006-08-28  Mauro Tortonesi  <mauro@ferrara.linux.it>
3524
3525         * http.c: #include'd spider.h to get rid of compiler warnings.
3526
3527         * main.c: Ditto.
3528
3529         * recur.c: Ditto.
3530
3531 2006-08-24  Mauro Tortonesi  <mauro@ferrara.linux.it>
3532
3533         * Makefile.in: Added spider.c to the list of files to compile and
3534         spider.h to the list of header files. Updated copyright information.
3535
3536         * http.c: Major changes to recursive spider mode. Now for every
3537         resource we are supposed to check, we send a HEAD request to find out
3538         if it exists. If the resource is a HTML file, we retrieve it and parse
3539         it to discover links to other resources.
3540
3541         * recur.c: Ditto.
3542
3543         * res.c (res_retrieve_file): Disable opt.timestamping and opt.spider
3544         when retrieving robots.txt. Updated copyright information.
3545
3546         * convert.c: Moved code tracking broken links to spider.c.
3547
3548         * convert.h: Ditto.
3549
3550         * spider.c: Created new file to keep track of visited URLs in spider
3551         mode.
3552
3553         * spider.h: Ditto.
3554
3555 2006-08-21  Mauro Tortonesi  <mauro@ferrara.linux.it>
3556
3557         * http.c: Fixed timestamping-related bug.
3558
3559 2006-08-16  Mauro Tortonesi  <mauro@ferrara.linux.it>
3560
3561         * http.c: Fixed bug which broke --continue feature. Now if -c is
3562         given, http_loop sends a HEAD request to find out the destination
3563         filename before resuming download.
3564
3565 2006-08-08  Hrvoje Niksic  <hniksic@xemacs.org>
3566
3567         * utils.c (datetime_str): Avoid code repetition with time_str.
3568
3569 2006-07-21  Hrvoje Niksic  <hniksic@xemacs.org>
3570
3571         * init.c (commands): Correctly place "contentdisposition".
3572
3573 2006-07-14  Mauro Tortonesi  <mauro@ferrara.linux.it>
3574
3575         * sysdep.h: If intptr_t isn't defined, simply typedef it to long.
3576
3577         * http.c: Added explicit cast to int in logprintf call to remove
3578         compiler warnings on 64-bit platforms.
3579
3580         * connect.c: Added a few casts to intptr_t to remove compiler warnings
3581         on 64-bit platforms.
3582
3583         * main.c: Disable -r, -p and -N when -O is used. Disable -k when -O is
3584         used and multiple URLs are given. Update maintainer information.
3585
3586         * all: Update copyright information.
3587
3588 2006-07-10  KJKHyperion  <hackbunny@reactos.com>
3589
3590         * url.c (filechr_table): Mark DEL (0x7f) as a control character
3591         and | as a character Windows can't handle.
3592
3593 2006-06-28  Mauro Tortonesi  <mauro@ferrara.linux.it>
3594
3595         * res.c: Implemented is_robots_txt_url function for detection of
3596         robots.txt URLs and related test routine.
3597
3598         * res.h: Ditto.
3599
3600         * url.c: Implemented are_urls_equal function for URL comparison and
3601         related testing routine.
3602
3603         * url.h: Ditto.
3604
3605         * convert.c: Fixes for recursive spider mode: don't consider
3606         non-existing robots.txt as a broken link, and use are_urls_equal
3607         instead of strcasecmp for referrer URLs comparison.
3608
3609         * test.c: Call tests routines for are_urls_equal and
3610         is_robots_txt_url.
3611
3612 2006-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
3613
3614         * wget.h (wgint): Typedef to any 64-bit (or larger) type we can
3615         find, not necessarily off_t or long.
3616
3617 2006-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
3618
3619         * cmpt.c (strtoll): Check for overflow and underflow without
3620         relying on (technically) undefined behavior.  Don't assume that
3621         strtoll_type is 64 bits wide.
3622
3623 2006-06-21  Hrvoje Niksic  <hniksic@xemacs.org>
3624
3625         * utils.c (base64_encode): Cast void pointer to char * before
3626         doing arithmetic.
3627
3628 2006-06-20  Hrvoje Niksic  <hniksic@xemacs.org>
3629
3630         * utils.c (base64_encode): Made TBL const.
3631         (base64_decode): Made the base64_char_to_value table const.
3632
3633 2006-06-19  Hrvoje Niksic  <hniksic@xemacs.org>
3634
3635         * utils.c (base64_encode): Made the DATA pointer void * so the
3636         callers can pass it any kind of pointer (including both signed and
3637         unsigned char pointers).
3638         (base64_decode): Ditto for DEST.
3639
3640 2006-06-19  Hrvoje Niksic  <hniksic@xemacs.org>
3641
3642         * utils.c (base64_encode): Would read past end of STR.
3643         Reported by rick@eckle.org.
3644
3645 2006-06-13  Mauro Tortonesi  <mauro@ferrara.linux.it>
3646
3647         * options.h (struct options): Introduced member restrict_files_case to
3648         keep track of preferences on character case restrictions for
3649         filenames.
3650
3651         * init.c: Modified defaults and cmd_spec_restrict_file_names to
3652         support character case restrictions for filenames. Added
3653         test_cmd_spec_restrict_file_names unit test.
3654
3655         * url.c: Modified append_uri_pathel to support character case
3656         restrictions for filenames. Added test_append_uri_pathel unit test.
3657
3658         * test.c: Added test_cmd_spec_restrict_file_names and
3659         test_append_uri_pathel to the list of unit tests to run.
3660
3661 2006-06-12  Mauro Tortonesi  <mauro@ferrara.linux.it>
3662
3663         * retr.c (retrieve_from_file): Use retrieve_tree and automatically
3664         turn on opt.follow_ftp in case of recursive FTP retrieval through HTTP
3665         proxy.
3666
3667         * main.c: Automatically turn on opt.follow_ftp in case of recursive
3668         FTP retrieval through HTTP proxy.
3669
3670 2006-06-12  Tony Lewis  <tlewis@exelana.com>
3671
3672         * main.c: Improved CHEN Peng's patch by proposing a simpler logic.
3673
3674 2006-06-12  CHEN Peng  <chenpeng@alumni.nus.edu.sg>
3675
3676         * main.c: Use retrieve_tree in case of recursive FTP retrieval through
3677         HTTP proxy.
3678
3679 2006-05-25  Mauro Tortonesi  <mauro@ferrara.linux.it>
3680
3681         * convert.c: Added mechanisms to keep track broken links.
3682
3683         * convert.h: Ditto.
3684
3685         * wget.h: Reordered and enumerated uerr_t constants.
3686
3687         * recur.c: Fixes to support recursive spider mode.
3688
3689         * http.c: Ditto.
3690
3691         * main.c: Print broken links in case of recursive spider mode.
3692
3693         * retr.c: Changed interface of retrieve_url.
3694
3695         * retr.h: Ditto.
3696
3697         * ftp.c: Changed interface of ftp_loop.
3698
3699         * ftp.h: Ditto.
3700
3701         * res.c: Minor change to reflect changes in interface of retrieve_url.
3702
3703 2006-05-18  Lawrence Jones  <lawrence.jones@ugs.com>
3704
3705         * ftp-ls.c (ftp_parse_unix_ls): Correct size parsing, add size
3706         and filename debugging output.
3707
3708 2006-04-28  Mauro Tortonesi  <mauro@ferrara.linux.it>
3709
3710         * http.c: If Content-Disposition header is present, allow unique
3711         filename generation unless -nc is given. Permit to disable parsing of
3712         Content-Disposition header.
3713
3714         * options.h: Added option --no-content-disposition to disable parsing
3715         of HTTP Content-Disposition header.
3716
3717         * init.c: Ditto.
3718
3719         * main.c: Ditto.
3720
3721 2006-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
3722
3723         * hash.c (TOLOWER): Wrap macro arg in parentheses.
3724
3725 2006-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
3726
3727         * http.c (parse_content_disposition): Doc fix.
3728
3729 2006-03-15  Mauro Tortonesi  <mauro@ferrara.linux.it>
3730
3731         * utils.c: Restricted operational semantics of frontcmp and proclist
3732         from generic strings to directory names and them to subdir_p and
3733         dir_matches_p respectively.  Applied George Ogata's one line patch to
3734         restrict algorithm of subdir_p to full directory name matching.  Added
3735         testcases for subdir_p and dir_matches_p.
3736
3737         * utils.h: Changed all frontcmp occurrences to subdir_p.
3738
3739         * recur.c: Ditto.
3740
3741         * test.c: Changed type returned by test functions from char * to const
3742         char *.  Added test_subdir_p and test_dir_matches_p to the list of
3743         tests to run.
3744
3745         * http.c (test_parse_content_disposition): Changed return type from
3746         char * to const char *.
3747
3748 2006-03-14  Mauro Tortonesi  <mauro@ferrara.linux.it>
3749
3750         * recur.c (struct queue_element): Changed type of html_allowed member
3751         to bool.
3752
3753 2006-03-09  Mauro Tortonesi  <mauro@ferrara.linux.it>
3754
3755         * ftp.c (ftp_list): Try `LIST -a' command first and revert to `LIST'
3756         in case of failure.
3757
3758 2006-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
3759
3760         * hash.c (TOLOWER): Fix definition when STANDALONE.
3761         Reported by Beni Serfaty.
3762
3763 2006-03-02  Mauro Tortonesi  <mauro@ferrara.linux.it>
3764
3765         * http.c (http_loop): Fixed recursive HTTP retrieval.
3766
3767 2006-02-28  Hrvoje Niksic  <hniksic@xemacs.org>
3768
3769         * http.c (extract_param): Declare extern so it can be used from
3770         other files.
3771         (extract_param): Return error for empty name.
3772
3773 2006-02-28  Hrvoje Niksic  <hniksic@xemacs.org>
3774
3775         * url.c (find_last_char): Define in terms of memrchr.
3776
3777         * cmpt.c (memrchr): Define it on systems that don't have it.
3778
3779         * http.c (extract_param): New function for parsing header values
3780         with parameters.
3781         (parse_content_disposition): Use it.  Don't allow slashes and
3782         backslashes in the file name.
3783
3784 2006-02-27  Hrvoje Niksic  <hniksic@xemacs.org>
3785
3786         * url.c (path_simplify): Don't preserve ".." at beginning of path.
3787         Suggested by Frank McCown.
3788
3789 2006-02-25  Hrvoje Niksic  <hniksic@xemacs.org>
3790
3791         * http.c (gethttp): Only use FILE.N.html if FILE.html exists.
3792
3793 2006-02-09  Hrvoje Niksic  <hniksic@xemacs.org>
3794
3795         * mswindows.c (run_with_timeout): Made thread_hnd non-static.
3796
3797 2006-02-05  Hrvoje Niksic  <hniksic@xemacs.org>
3798
3799         * retr.c (sleep_between_retrievals): Sleep at a minimum of 1/2 of
3800         the specified wait period.
3801
3802 2006-02-03  Hrvoje Niksic  <hniksic@xemacs.org>
3803
3804         * utils.c (number_to_string): Don't use sprintf for printing
3805         WGINT_MIN; simply divide n by 10 and defer printing the last
3806         digit.
3807         (number_to_string): Removed the SPRINTF_WGINT macro.
3808
3809 2006-02-03  Mauro Tortonesi  <mauro@ferrara.linux.it>
3810
3811         * http.c: Fixed support for Content-Disposition header.
3812
3813         * test.c: Added test_parse_content_disposition to the list of unit
3814         tests to run.
3815
3816 2006-02-02  Hrvoje Niksic  <hniksic@xemacs.org>
3817
3818         * hash.c: Don't define countof if it's already defined.
3819
3820         * hash.c: Obtain the definition of uintptr_t when standalone.
3821
3822 2006-01-30  Mauro Tortonesi  <mauro@ferrara.linux.it>
3823
3824         * http.c: Changed output format. Removed excessively verbose debugging
3825         output.
3826
3827 2005-12-07  Mauro Tortonesi  <mauro@ferrara.linux.it>
3828
3829         * http.c: Fixed pre-download verbose output which was broken by
3830         HTTP code refactoring.
3831
3832 2005-11-23  Mauro Tortonesi  <mauro@ferrara.linux.it>
3833
3834         * http.c: Refactored HTTP code.  If -O is not used, the new code
3835         delays the choice of the file name where the downloaded resource
3836         will be saved until the HTTP headers have been retrieved.
3837         Added support for Content-Disposition header.
3838
3839 2005-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
3840
3841         * hash.c (INVALID_PTR): Use uintptr_t instead of unsigned long.
3842         (hash_pointer): Don't assume a pointer fits in `unsigned long'.
3843
3844 2005-11-02  Mauro Tortonesi  <mauro@ferrara.linux.it>
3845
3846         * Makefile.in: Removed support for unit testing (now it is in
3847         tests/Makefile.in).
3848
3849 2005-10-27  Mauro Tortonesi  <mauro@ferrara.linux.it>
3850
3851         * Makefile.in: Added basic support for unit testing.
3852
3853         * test.c: Ditto.
3854
3855         * test.h: Ditto.
3856
3857 2005-10-13  Daniel Stenberg  <daniel@haxx.se>
3858
3859         * http-ntlm.c (ntlm_output): Fixed buffer overflow vulnerability.
3860
3861 2005-10-09  Russ Allbery  <rra@stanford.edu>
3862
3863         * snprintf.c: Remove round to round_int and pow10 to pow10_int, to
3864         avoid warnings from GCC 4.0.
3865
3866 2005-10-05  Mauro Tortonesi  <mauro@ferrara.linux.it>
3867
3868         * retr.c: Changed semantics of no_proxy_match.
3869
3870 2005-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
3871
3872         * main.c (main): Don't print the summary if nothing has been downloaded.
3873
3874 2005-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
3875
3876         * retr.c (retr_rate): Rename parameter from MSECS to SECS since it
3877         no longer holds milliseconds.
3878
3879 2005-09-01  Hrvoje Niksic  <hniksic@xemacs.org>
3880
3881         * progress.c: Introduce symbolic constants for "magic" values of
3882         0.2 and 0.9, REFRESH_INTERVAL and ETA_REFRESH_INTERVAL.
3883
3884 2005-08-27  Hrvoje Niksic  <hniksic@xemacs.org>
3885
3886         * cmpt.c (strtoll): Correctly handle strtoll("0x", ptr, 0) and
3887         strtoll("0x<nonhexchar>", ptr, 0) -- in both cases *ptr must be
3888         set to the position of 'x', not after it.
3889
3890 2005-08-27  Hrvoje Niksic  <hniksic@xemacs.org>
3891
3892         * hash.c (hash_table_map): Rename to hash_table_for_each and
3893         update callers.
3894         Document the meaning of the callback's return value.
3895         (hash_table_iterate): New function.
3896         (hash_table_iter_next): Likewise.
3897         Update most places that used hash_table_for_each to use the
3898         iteration, which doesn't require a temporary function with
3899         explicit state management.
3900
3901 2005-08-26  Albert Chin  <wget@mlists.thewrittenword.com>
3902
3903         * Makefile.in: Use @datadir@.  Define localedir as $(datadir)/locale.
3904
3905 2005-08-26  Jeremy Shapiro  <jnshapiro@gmail.com>
3906
3907         * openssl.c (ssl_init): Set SSL_MODE_AUTO_RETRY.
3908
3909 2005-08-23  Hrvoje Niksic  <hniksic@xemacs.org>
3910
3911         * host.c (address_list_from_ipv4_addresses): Use IP_INADDR_DATA.
3912
3913 2005-08-12  Hrvoje Niksic  <hniksic@xemacs.org>
3914
3915         * wget.h: Renamed strtoll_return to strtoll_type.
3916
3917 2005-08-11  Hrvoje Niksic  <hniksic@xemacs.org>
3918
3919         * progress.c (eta_to_human_short): Switch to days when printing
3920         more than 48h rather than 100h.  (It's not immediately apparent
3921         how many days there are in 83h.)
3922
3923 2005-08-11  Hrvoje Niksic  <hniksic@xemacs.org>
3924
3925         * cmpt.c (strtoll): Define it if missing on the system and if Wget
3926         needs it.
3927
3928         * mswindows.c (str_to_int64): Move to cmpt.c and rename to strtoll.
3929
3930 2005-08-10  Hrvoje Niksic  <hniksic@xemacs.org>
3931
3932         * host.c (print_address): Always use inet_ntop when IPv6 is
3933         enabled.
3934
3935         * host.h (ip_address): Simplify the data union.
3936
3937 2005-08-09  Hrvoje Niksic  <hniksic@xemacs.org>
3938
3939         * mswindows.c (inet_ntop): Also handle IPv4 addresses for
3940         completeness.
3941
3942 2005-08-09  Hrvoje Niksic  <hniksic@xemacs.org>
3943
3944         * http.c (gethttp): Don't read more than the amount of data
3945         specified by the content-length header.
3946
3947 2005-08-09  Vasil Dimov  <vd@datamax.bg>
3948
3949         * ftp.c (getftp): Don't free RESPLINE if ftp_response returns a
3950         status other than FTPOK.
3951
3952 2005-08-04  Giuseppe Bonacci  <g.bonacci@libero.it>
3953
3954         * ftp-ls.c (ftp_parse_unix_ls): Remember the position of the
3955         previous token instead of backtracking back to it.
3956
3957 2005-07-08  Gisle Vanem  <giva@bgnett.no>
3958
3959         * mswindows.h: Include process.h to get getpid() declaration.
3960
3961 2005-07-08  Hrvoje Niksic  <hniksic@xemacs.org>
3962
3963         * utils.c (aprintf): Use vasprintf where available.
3964
3965 2005-07-08  Hrvoje Niksic  <hniksic@xemacs.org>
3966
3967         * url.c (rewrite_shorthand_url): Simplify code using aprintf and
3968         strspn.
3969
3970 2005-07-07  Hrvoje Niksic  <hniksic@xemacs.org>
3971
3972         * gnutls.c (ssl_check_certificate): Check for the validity of the
3973         presented X509 certificate.
3974
3975 2005-07-07  Hrvoje Niksic  <hniksic@xemacs.org>
3976
3977         * openssl.c (ssl_check_certificate): Print custom error messages
3978         for frequent X509 certificate problems.
3979
3980 2005-07-07  Hrvoje Niksic  <hniksic@xemacs.org>
3981
3982         * mswindows.h: Define an alias for stat and fstat, as requested by
3983         config-compiler.h.
3984         (gai_strerror): Define to windows_strerror if NEED_GAI_STRERROR is
3985         defined.
3986
3987 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
3988
3989         * mswindows.h: Use strtoll where available.
3990
3991 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
3992
3993         * sysdep.h: Add a full declaration of fnmatch.h.
3994
3995 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
3996
3997         * utils.c: Unconditionally include <setjmp.h>.
3998
3999 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
4000
4001         * utils.c (fnmatch_nocase): New function.
4002         (proclist): Use it instead of fnmatch when opt.ignore_case is
4003         requested.
4004         (in_acclist): Respect opt.ignore_case.
4005         (frontcmp): Respect opt.ignore_case.
4006
4007         * options.h (struct options): New flag opt.ignore_case.
4008
4009 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
4010
4011         * ptimer.c: Measure time in seconds rather than milliseconds.
4012         Adjusted all callers.
4013
4014 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
4015
4016         * http.c (gethttp): When freeing MESSAGE, take into account that
4017         it can be NULL.
4018
4019 2005-07-05  Hrvoje Niksic  <hniksic@xemacs.org>
4020
4021         * cmpt.c (timegm): Handle years after 2099.
4022
4023 2005-07-05  Hrvoje Niksic  <hniksic@xemacs.org>
4024
4025         * cmpt.c (timegm): Remove unused variable.
4026
4027 2005-07-05  Hrvoje Niksic  <hniksic@xemacs.org>
4028
4029         * cmpt.c (timegm): Don't call mktime; simply count the seconds
4030         between 1970-01-01 and the specified date.
4031
4032 2005-07-05  Hrvoje Niksic  <hniksic@xemacs.org>
4033
4034         * wget.h (or): Define HAVE_SSL when either HAVE_OPENSSL or
4035         HAVE_GNUTLS are defined.
4036
4037         * gnutls.c: New file.
4038
4039 2005-07-05  Hrvoje Niksic  <hniksic@xemacs.org>
4040
4041         * http.c (gethttp): Don't print the request write error message
4042         twice.
4043
4044 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
4045
4046         * openssl.c (openssl_errstr): Instead of always using a large
4047         static buffer, only allocate the error string when there is an
4048         actual error.
4049
4050 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
4051
4052         * xmalloc.c (debugging_free): Prefix hex pointer value with "0x"
4053         when printing.
4054
4055 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
4056
4057         * utils.c (NEXT_BASE64_CHAR): Rename to NEXT_CHAR and simplify to
4058         get the next non-whitespace character.
4059
4060 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
4061
4062         * utils.c (base64_decode): Don't silently tolerate non-base64
4063         non-white-space characters in the base64 stream.
4064
4065 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
4066
4067         * connect.c (LAZY_RETRIEVE_INFO): Make last_tick unsigned to match
4068         transport_map_modified_tick.
4069
4070 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
4071
4072         * config-post.h (alloca): Updated declaration to not enumerate all
4073         Windows compilers.
4074
4075 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
4076
4077         * openssl.c (openssl_errstr): Separate error messages with "; ".
4078
4079 2005-07-03  Hrvoje Niksic  <hniksic@xemacs.org>
4080
4081         * ftp.c (getftp): Ditto.
4082
4083         * http.c (gethttp): Use fd_errstr.
4084
4085         * connect.c (fd_register_transport): Restructure parameters to
4086         include only a single structure that describes transport
4087         implementation.
4088
4089         * openssl.c (openssl_errstr): New function: dump SSL error strings
4090         into a static buffer and return a pointer to the buffer.
4091
4092         * connect.c (fd_errstr): New function; returns transport-specific
4093         error message, or strerror(errno) if transport doesn't supply one.
4094
4095 2005-07-03  Hrvoje Niksic  <hniksic@xemacs.org>
4096
4097         * mswindows.h: Also wrap accept() and listen().
4098
4099 2005-07-03  Hrvoje Niksic  <hniksic@xemacs.org>
4100
4101         * url.c (path_end): Skip separators appropriate for the scheme.
4102         (strpbrk_or_eos): Remove gcc-specific version, as the optimization
4103         it tried to perform no longer applies.
4104
4105 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
4106
4107         * host.c: Don't include "connect.h" now that we no longer have
4108         socket_has_inet6.
4109
4110 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
4111
4112         * host.c: Remove extraneous definition of netdb.h.
4113
4114 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
4115
4116         * http.c (gethttp): Skip error message body in the keep-alive
4117         case.
4118
4119 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
4120
4121         * url.c (url_parse): Would crash when parsing fragments.  Support
4122         fragments for FTP URLs too.
4123
4124 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
4125
4126         * version.c: Don't use "cvs" in version name, since we're not
4127         using CVS anymore.
4128
4129 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
4130
4131         * progress.c (create_image): Ditto.
4132
4133         * retr.c (retr_rate): Display smaller rate numbers with greater
4134         precision.
4135
4136 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
4137
4138         * http.c (response_head_terminator): Minor optimization.
4139
4140         * retr.c (fd_read_hunk): Call terminator with pointer to the start
4141         of the data and the pointer to the current data.  Changed all
4142         callers.
4143
4144 2005-07-01  Hrvoje Niksic  <hniksic@xemacs.org>
4145
4146         * url.c (url_parse): Make sure u->params is not initialized for
4147         http/https URLs.
4148         (url_parse): Don't crash on garbage following []-delimited IPv6
4149         addresses.
4150
4151 2005-07-01  Hrvoje Niksic  <hniksic@xemacs.org>
4152
4153         * main.c (print_help): Don't refer to the non-existent -nr in
4154         description of --mirror.
4155
4156 2005-06-30  Hrvoje Niksic  <hniksic@xemacs.org>
4157
4158         * host.c (pretty_print_address): Renamed to just print_address.
4159         Clarify documentation.
4160
4161 2005-06-30  Hrvoje Niksic  <hniksic@xemacs.org>
4162
4163         * http.c (gethttp): Explicitly document the different cases when
4164         generating the Host header.
4165
4166 2005-06-30  Hrvoje Niksic  <hniksic@xemacs.org>
4167
4168         * host.c (pretty_print_address): Handle error result from
4169         inet_ntop.
4170
4171 2005-06-30  Gisle Vanem  <giva@bgnett.no>
4172
4173         * mswindows.c (inet_ntop): New function.  Print IPv6 addresses
4174         using WSAAddressToString.
4175
4176 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
4177
4178         * progress.c (dot_update): Remove unused variable row_qty.
4179
4180 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
4181
4182         * main.c: Check for both SIGHUP and SIGUSR1 before using them.
4183
4184 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
4185
4186         * utils.c: Unconditionally include locale.h.
4187
4188 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
4189
4190         * ptimer.c: Include sys/time.h to get struct timeval.
4191
4192 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
4193
4194         * wget.h: Remove obsolete definition of with_thousand_seps_sum.
4195
4196 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
4197
4198         * gnu-md5.h: Unconditionally include limits.h.
4199
4200 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
4201
4202         * utils.c (random_number): Use lrand48 if available.
4203         (random_float): Use drand48 if available.
4204
4205 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
4206
4207         * main.c (secs_to_human_time): Use print_decimal when printing
4208         total download time in seconds.
4209
4210         * progress.c (print_row_stats): Use it to print total download
4211         time at the end of the download.
4212         (create_image): Ditto.
4213
4214         * utils.c (print_decimal): New function; print small decimal
4215         numbers with more precision than large ones.
4216
4217         * progress.c (print_row_stats): New function.  Print ETA after the
4218         download rate at the end of each row.
4219
4220 2005-06-28  Hrvoje Niksic  <hniksic@xemacs.org>
4221
4222         * init.c (parse_line): Check for alphanumerics.
4223
4224 2005-06-28  Hrvoje Niksic  <hniksic@xemacs.org>
4225
4226         * (dot_create): Remove unnecessary casts.
4227
4228 2005-06-28  Hrvoje Niksic  <hniksic@xemacs.org>
4229
4230         * ftp.c (getftp): Delete trailing newlines from LIST output so
4231         lines don't come out with trailing \015\012 with -S.
4232
4233 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
4234
4235         * mswindows.h: Remove superfluous includes.
4236
4237 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
4238
4239         * config-post.h (alloca): Amend alloca declaration to take care of
4240         all Win32 compilers, not just MSVC and MinGW.
4241
4242 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
4243
4244         * utils.c (get_grouping_data): Force separator to "." rather than
4245         " " when "," is taken.
4246
4247 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
4248
4249         * wget.h (PTR_FORMAT): Cast the result of sizeof to int before
4250         passing it to printf's %*.
4251
4252         * retr.h: Declare output_stream and output_stream_regular.
4253
4254         * ftp.h: Declare ftp_last_respline.
4255
4256         * convert.h: Declare dl_url_file_map.
4257
4258         * http.h: New file.
4259
4260 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
4261
4262         * cookies.c: Make cookies_now static.
4263
4264 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
4265
4266         * utils.c (human_readable): Remove intermediary cast to long; MSVC
4267         has problems casting *unsigned* __int64 to double.
4268
4269 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
4270
4271         * sysdep.h: Use the system-provided fnmatch by default.
4272
4273 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
4274
4275         * http.c (mktime_from_utc): Renamed to timegm and moved to cmpt.c.
4276         Don't compile it if GNU timegm is available.
4277         (http_atotm): Use timegm.
4278
4279 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
4280
4281         * http.c (http_atotm): Correctly query the old locale value.
4282
4283 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
4284
4285         * config-post.h (alloca): Don't #define alloca under MinGW32,
4286         which defines it in malloc.h, included from mswindows.h.
4287
4288 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
4289
4290         * utils.c (get_grouping_data): Force the use of separators in C
4291         locale.
4292
4293 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
4294
4295         * main.c (i18n_initialize): Set all locale categories.
4296
4297         * http.c (http_atotm): Temporarily set locale to "C".
4298
4299 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
4300
4301         * http.c (gethttp): Improve "POST data file missing" error
4302         message.
4303
4304 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
4305
4306         * progress.c (set_progress_implementation): Type COLON as const
4307         char *.
4308
4309 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
4310
4311         * utils.c (with_thousand_seps): Handle negative numbers.
4312
4313 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
4314
4315         * progress.c (create_image): Mark the "eta" string for translation.
4316
4317 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
4318
4319         * html-url.c (get_urls_file): Don't explicitly set entry->next to
4320         NULL since entry is already zeroed out.
4321
4322 2005-06-26  Gisle Vanem  <giva@bgnett.no>
4323
4324         * mswindows.h: Define gai_strerror under MinGW.
4325
4326 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
4327
4328         * utils.c (with_thousand_seps): Correctly implement thousand seps
4329         consisting of more than one character.
4330
4331 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
4332
4333         * main.c (secs_to_human_time): Ditto.
4334
4335         * progress.c (create_image): Print more exact duration of very
4336         short downloads.
4337
4338         * main.c (secs_to_human_time): Don't translate time suffixes "h",
4339         "m", and "s", which are not strictly SI, but are "accepted for use
4340         with SI".
4341         (secs_to_human_time): Print really small intervals as 0s, not
4342         0.00s.
4343
4344 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
4345
4346         * config-post.h: Replace the alloca declaration with the one from
4347         the latest Autoconf manual.  This should remove a warning with GCC
4348         on AIX.
4349
4350 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
4351
4352         * ftp.c (getftp): Always invoke SIZE, not only when continuing a
4353         download.
4354
4355         * main.c (main): Ditto here.
4356
4357         * progress.c (create_image): When the download is finished, print
4358         how long it took.
4359
4360 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
4361
4362         * main.c (main): Print the downloaded and quota amounts with the
4363         "human_readable" function.
4364
4365         * ftp.c (print_length): Ditto.
4366
4367         * http.c (gethttp): Don't display thousand separators.
4368
4369         * utils.c (with_thousand_seps): Rewritten to respect locale
4370         settings and to be type size agnostic.
4371
4372 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
4373
4374         * utils.c (human_readable): Divide with 1024 instead of shifting
4375         so the operation can work with non-integer N.
4376
4377 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
4378
4379         * progress.c (eta_to_human): New logic for more human-readable
4380         ETA.
4381
4382 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
4383
4384         * utils.c (with_thousand_seps_sum): Decrease buffer size so it
4385         cannot overrun add_thousand_seps's buffer.
4386
4387 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
4388
4389         * utils.c (SPRINTF_WGINT): The correct format is %I64d, not just
4390         %I64.
4391
4392 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
4393
4394         * http.c (http_loop): Don't warn about wildcards in HTTP URLs if
4395         globbing isn't requested in the first place.
4396
4397         * retr.c (retrieve_url): Temporarily turn off globbing when
4398         processing HTTP->FTP redirects.
4399
4400 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
4401
4402         * utils.c (with_thousand_seps_sum): Now defined only if
4403         SUM_SIZE_INT is double.
4404
4405         * wget.h (SUM_SIZE_INT): Instead of bothering with long, long
4406         long, __int64, and friends, simply either use wgint or double, end
4407         of story.  Since we know how to print either, we no longer need
4408         LARGE_INT_FMT.
4409
4410         * sysdeps.h (LARGE_INT): Renamed to SUM_SIZE_INT to better reflect
4411         its intent, and moved to wget.h.
4412
4413 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
4414
4415         * Makefile.in: No need to clean .libs.
4416
4417 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
4418
4419         * cookies.c (parse_set_cookies): Cast pointer subtraction to int
4420         before using it with %d; AIX compiler warns on this.
4421         Reported by Jens Schleusener.
4422
4423 2005-06-24  Hrvoje Niksic  <hniksic@xemacs.org>
4424
4425         * http.c (gethttp): Don't prepend / here.
4426
4427         * cookies.c (cookie_handle_set_cookie): Prepend / to PATH.
4428         (cookie_header): Ditto.
4429
4430 2005-06-24  Hrvoje Niksic  <hniksic@xemacs.org>
4431
4432         * init.c: opt.verbose must be declared as int.
4433
4434 2005-06-23  Hrvoje Niksic  <hniksic@xemacs.org>
4435
4436         * cmpt.c (strpbrk): Removed.
4437         (mktime): Removed.
4438         Include <time.h>.
4439
4440 2005-06-23  Hrvoje Niksic  <hniksic@xemacs.org>
4441
4442         * utils.c (read_file): Ditto.
4443
4444         * main.c (main): Use struct_fstat.
4445
4446         * mswindows.h (struct_fstat): Define a struct_fstat to deal with
4447         the fact that Borland 5.5 has 64-bit stat, but not 64-bit fstat!
4448
4449 2005-06-23  Hrvoje Niksic  <hniksic@xemacs.org>
4450
4451         * sysdep.h: Remove code that deals with Watcom.
4452
4453 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
4454
4455         * all: Use bool instead of int and false/true instead of 0/non-0
4456         for boolean variables and values.
4457
4458 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
4459
4460         * sysdep.h: Include the stdbool.h/_Bool/bool blurb from Autoconf.
4461
4462 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
4463
4464         * init.c (cmd_lockable_boolean): Removed.
4465
4466 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
4467
4468         * cookies.c (struct cookie): Use 1-bit bitfields for booleans
4469         which makes the structure takes less space at no cost in
4470         complexity.
4471
4472 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
4473
4474         * Makefile.in ($(OBJ)): Add the config.h dependency.
4475
4476 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
4477
4478         * openssl.c, connect.c, host.c: Replace instances of #ifdef
4479         ENABLE_DEBUG if (opt.debug) {...} #endif with IF_DEBUG {...}.
4480
4481         * main.c: Rename the IF_DEBUG defined here to WHEN_DEBUG.
4482
4483         * wget.h (IF_DEBUG): New macro.
4484         (DEBUGP): Define in terms of IF_DEBUG.
4485
4486 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
4487
4488         * http.c (gethttp): Only handle --set-cookies (and assert that
4489         cookie jar exists) if opt.cookies is true.  Failure to do so
4490         triggered the assert when --no-cookies was used and the server
4491         sent a Set-Cookie header.  Ouch!
4492
4493 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
4494
4495         * connect.c (select_fd): Expect select() to exist.
4496
4497         * utils.c (xsleep): Always use select() as sleep fallback on
4498         non-Windows platforms.
4499
4500         * ptimer.c: Delete the implementation of PTIMER_TIME.
4501
4502         * main.c: Assume existence of signal(), test for different signal
4503         names instead.
4504
4505         * cmpt.c: Better document reasons why certain functions are
4506         included.
4507
4508 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
4509
4510         * Makefile.in: Remove the manually maintained dependency list;
4511         make all object files depend on every header.
4512
4513 2005-06-20  Hrvoje Niksic  <hniksic@xemacs.org>
4514
4515         * hash.c: Rename "mapping" to "cell" to avoid confusion with the
4516         term "mapping" (or "map") sometimes being used for the entire hash
4517         table.  Also rename "non-empty" to "occupied" for easier reading
4518         of if (!NON_EMPTY (...)) ... .
4519
4520 2005-06-20  Hrvoje Niksic  <hniksic@xemacs.org>
4521
4522         * main.c, ptimer.c, sysdep.h, utils.c: Use #elif to simplify reading of
4523         chained if-else-else-else-... statements.
4524
4525 2005-06-20  Hrvoje Niksic  <hniksic@xemacs.org>
4526
4527         * all: Return type of signal handlers is `void'.  Include signal.h
4528         unconditionally.
4529
4530         * all: Don't explicitly cast values returned by malloc.  We no
4531         longer support ancient compilers that don't declare malloc, and we
4532         never supported C++ builds.
4533
4534 2005-06-19  Hrvoje Niksic  <hniksic@xemacs.org>
4535
4536         * all: Don't declare errno.  Include both time.h and sys/time.h,
4537         as long as sys/time.h exists.  Don't dereference function pointers
4538         when invoking the functions they point to.
4539
4540         * cmpt.c (memmove): Remove function mandated by C89.
4541         (strerror): Ditto.
4542         (strstr): Ditto.
4543
4544         * all: Undo the K&R-ization changes from 2005-05-03.
4545
4546         * all: Remove support for K&R compilers: use C89 function
4547         declarations, remove definition of PARAMS, remove support for
4548         varargs, and remove ansi2knr.  Assume the presence of time.h,
4549         string.h, and other headers mandated by C89.
4550
4551 2005-06-19  Hrvoje Niksic  <hniksic@xemacs.org>
4552
4553         * init.c (cmd_lockable_boolean): Don't recognize literal "2" and
4554         "-1" values; unlike 0 and 1, those should never be exposed to the
4555         user.  Update the error message to be more self-consistent, as
4556         proposed by Benno Schulenberg.
4557
4558 2005-06-18  Hrvoje Niksic  <hniksic@xemacs.org>
4559
4560         * http.c (gethttp): Don't free "head" before using it to save
4561         headers.
4562
4563 2005-06-18  Hrvoje Niksic  <hniksic@xemacs.org>
4564
4565         * http.c (gethttp): When -E is in use, check for file existence
4566         after appending ".html" to the name and modify the file name if
4567         necessary.
4568
4569 2005-06-17  Hrvoje Niksic  <hniksic@xemacs.org>
4570
4571         * connect.c (socket_has_inet6): Removed.
4572
4573         * host.c (lookup_host): Don't use the AI_ADDRCONFIG getaddrinfo
4574         hint.
4575
4576 2005-06-16  Hrvoje Niksic  <hniksic@xemacs.org>
4577
4578         * init.c (cmd_lockable_boolean): Improve the error message so it
4579         lists the more useful values first.
4580
4581 2005-06-15  Hrvoje Niksic  <hniksic@xemacs.org>
4582
4583         * http.c (gethttp): Also report the system error when the POST
4584         data file is missing.
4585
4586 2005-06-15  Benno Schulenberg  <benno@nietvergeten.nl>
4587
4588         * ftp.c, http.c, connect.c, cookies.c, html-url.c, init.c, res.c:
4589         Gettext-ize messages that were previously missed.
4590
4591 2005-06-15  Hrvoje Niksic  <hniksic@xemacs.org>
4592
4593         * host.h (ip_address): Remove the trailing comma from the type
4594         enum in the no-IPv6 case.
4595
4596         * main.c (struct cmdline_option): Remove the trailing comma from
4597         the enum.
4598
4599         Reported by Jens Schleusener.
4600
4601 2005-05-30  Hrvoje Niksic  <hniksic@xemacs.org>
4602
4603         * url.c (strpbrk_or_eos): Check for a recent GCC version before
4604         using the statement-as-expression extension.
4605
4606 2005-05-30  Hrvoje Niksic  <hniksic@xemacs.org>
4607
4608         * http.c (gethttp): Don't attempt to "skip short body" if we're
4609         issuing a HEAD request (in which case the response head is not
4610         followed by a body).
4611
4612 2005-05-30  Hrvoje Niksic  <hniksic@xemacs.org>
4613
4614         * init.c (cmd_spec_header): Don't split the string along the
4615         commas using cmd_vector; just append the new value using
4616         vec_append instead.
4617
4618         * utils.c (vec_append): New function.
4619
4620 2005-05-27  Andreas Beckmann  <debian@abeckmann.de>
4621
4622         * html-url.c (tag_handle_link): Mark the content from the <link
4623         src="..."> tag as expecting HTML.
4624
4625 2005-05-24  Hrvoje Niksic  <hniksic@xemacs.org>
4626
4627         * http.c (http_atotm): Document the origin of the "cookie date"
4628         format.
4629
4630 2005-05-21  Hrvoje Niksic  <hniksic@xemacs.org>
4631
4632         * init.c (setval_internal): Report exact command name alongside
4633         the "display name".
4634
4635 2005-05-18  Hrvoje Niksic  <hniksic@xemacs.org>
4636
4637         * cookies.c (update_cookie_field): Explicitly cast -1 to time_t to
4638         cope with systems where time_t is unsigned.
4639
4640         * cookies.c: Remove unnecessary casts to time_t from values
4641         already of that type.
4642
4643 2005-05-17  Hrvoje Niksic  <hniksic@xemacs.org>
4644
4645         * ftp.c (ftp_loop_internal): Same here.
4646
4647         * http.c (http_loop): Don't clobber the file when -c is specified
4648         and the first attempt to retrieve the file fails.
4649
4650 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
4651
4652         * openssl.c (ssl_check_certificate): Print all issues with a
4653         certificate.
4654
4655 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
4656
4657         * ftp-basic.c: Don't xfree() the line returned by ftp_response if
4658         the returned code is not FTPOK.
4659
4660 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
4661
4662         * init.c (cleanup): Don't free the non-existent opt.ftp_acc.  Free
4663         the SSL-related stuff.
4664
4665 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
4666
4667         * ftp.c (print_length): Consistently print \n at end of the
4668         "Length" line.
4669
4670 2005-05-14  Hrvoje Niksic  <hniksic@xemacs.org>
4671
4672         * openssl.c (ssl_connect): Announce the beginning and the end of
4673         the SSL handshake when in debug mode.
4674
4675         * wget.h (PTR_FORMAT): New macro for easier printing of pointer
4676         values.  Use %0*lx along with PTR_FORMAT instead of %p.
4677
4678 2005-05-14  Hrvoje Niksic  <hniksic@xemacs.org>
4679
4680         * http.c (gethttp): Would forget to close the connection when
4681         keep_alive was not used.
4682
4683 2005-05-13  Hrvoje Niksic  <hniksic@xemacs.org>
4684
4685         * openssl.c (pattern_match): Document the code that decides
4686         whether "*" matches ".".
4687
4688 2005-05-12  Hrvoje Niksic  <hniksic@xemacs.org>
4689
4690         * ftp-ls.c (ftp_index): Use %d to print the port number, which is
4691         now int.
4692         From Steven M. Schweda's VMS patches.
4693
4694 2005-05-12  Hrvoje Niksic  <hniksic@xemacs.org>
4695
4696         * url.c (rewrite_shorthand_url): Don't rewrite "https://host" to
4697         "ftp://https//host" when SSL is not used.
4698
4699 2005-05-11  Hrvoje Niksic  <hniksic@xemacs.org>
4700
4701         * openssl.c (ssl_check_server_identity): Renamed to
4702         ssl_check_certificate because it does more than just checking the
4703         server's identity.
4704         (ssl_check_certificate): Tell the user about
4705         --no-check-certificate.
4706
4707 2005-05-11  Hrvoje Niksic  <hniksic@xemacs.org>
4708
4709         * openssl.c (ssl_init): Always use SSL_VERIFY_NONE, so that the
4710         handshake finishes even if the certificate is invalid.  That way
4711         ssl_check_server_identity can provide better diagnostics on why
4712         the verification failed.
4713
4714 2005-05-11  Hrvoje Niksic  <hniksic@xemacs.org>
4715
4716         * openssl.c (pattern_match): New function.
4717         (ssl_check_server_identity): Treat peer certificate common name as
4718         wildcard.
4719
4720 2005-05-10  Hrvoje Niksic  <hniksic@xemacs.org>
4721
4722         * openssl.c (ssl_check_server_identity): Print certificate subject
4723         and issuer.
4724
4725 2005-05-10  Hrvoje Niksic  <hniksic@xemacs.org>
4726
4727         * res.c (res_register_specs): Correctly pass pointers to
4728         hash_table_get_pair.
4729
4730 2005-05-10  Hrvoje Niksic  <hniksic@xemacs.org>
4731
4732         * http.c (gethttp): Call ssl_check_server_identity.
4733
4734         * openssl.c (ssl_check_server_identity): New function, verifies
4735         that the host name in the certificate matches the actual host
4736         name.
4737         (verify_cert_callback): Removed, since it didn't do anything
4738         except returning the preverify_ok argument.
4739
4740         * connect.c (fd_transport_context): Allow retrieval of the context
4741         pointer registered with fd_register_transport.
4742
4743 2005-05-09  Hrvoje Niksic  <hniksic@xemacs.org>
4744
4745         * openssl.c (verify_cert_callback): Renamed from verify_callback.
4746         Always return the received "ok" value.  Print the X509 name in
4747         debug mode.
4748         (ssl_init): Enable partial writes in SSL context.
4749
4750 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
4751
4752         * http.c (http_loop): Check for wildcards in the URL path
4753         component, not in the whole URL.
4754
4755         * ftp.c (ftp_loop): Check for wildcards in URL path before
4756         unescaping, so the users can escape globbing metacharacters with %
4757         escapes.
4758
4759 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
4760
4761         * init.c (run_command): Correctly interpret the return value of
4762         parse_line.
4763         (commands): Re-alphabetize.
4764
4765 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
4766
4767         * netrc.c (parse_netrc): Explicitly check for assignment != NULL
4768         to silence warning from Borland C.
4769
4770         * url.c (sync_path): Don't unnecessarily increment p.
4771         (url_parse): Don't unnecessarily set url_encode to NULL just
4772         prior to return from the function.
4773
4774 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
4775
4776         * log.c (escnonprint_internal): Place variable declarations
4777         before other statements.
4778
4779 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
4780
4781         * html-url.c: Include recur.h.
4782
4783         * http.c (request_new): Define as accepting no args.
4784
4785 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
4786
4787         * url.c (strpbrk_or_eos): Made inline.  Use strchr(s, '\0') for
4788         finding the NUL char position.
4789
4790 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
4791
4792         * url.c (decide_copy_method): Renamed to char_needs_escaping.
4793         Since it now returns only two possible values, change it to return
4794         boolean (int).
4795
4796 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
4797
4798         * ftp-basic.c (ftp_request): Prevent newlines in VALUE causing
4799         inadvertent sending of multiple FTP commands.
4800
4801 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
4802
4803         * url.c (decide_copy_method): Never cause reencode_escapes to
4804         decode % escapes; it is too intrusive and breaks some servers.
4805
4806 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
4807
4808         * http.c (gethttp): When tunnelling SSL traffic over proxy with
4809         CONNECT, we're really talking to the remote server directly.
4810         Because of this, the request-line argument must be the URL path
4811         rather than the whole URL, as it would be when using regular
4812         proxies.
4813         Reported by Charles Lane.
4814
4815 2005-05-06  Hrvoje Niksic  <hniksic@xemacs.org>
4816
4817         * init.c (cmd_spec_useragent): Allow empty User-Agent.
4818
4819         * http.c (gethttp): Don't print "unknown authentication scheme"
4820         for failed Basic authentication.
4821         (SET_USER_AGENT): Don't set user-agent if opt.useragent is empty.
4822         (gethttp): Use alloca for allocation of www_authenticate.
4823
4824 2005-05-06  Hrvoje Niksic  <hniksic@xemacs.org>
4825
4826         * main.c (print_help): Fix wording of --secure-protocol help text.
4827
4828 2005-05-06  Hrvoje Niksic  <hniksic@xemacs.org>
4829
4830         * cmpt.c (strstr): Updated from glibc 2.3.5.
4831
4832 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
4833
4834         * http.c (http_atotm): Zero out the whole struct tm being passed
4835         to strptime.
4836
4837 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
4838
4839         * main.c (main): Propagate option name to setoptval.
4840
4841         * init.c (setoptval): Accept another argument, OPTNAME.  Propagate
4842         that argument as the option name independently of the actual
4843         command, determined by command_by_name(com).
4844
4845 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
4846
4847         * init.c (parse_line): Make the return value indicate whether
4848         there was a syntax error or a setter failed.
4849         (run_wgetrc): Return an indication on whether an error has been
4850         encountered.
4851         (initialize): Abort if there have been errors running either
4852         .wgetrc file.
4853
4854 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
4855
4856         * log.c (copy_and_escape): Slightly reduce code repetition between
4857         the two loops.
4858
4859 2005-05-05  Charles C.Fu  <ccwf@bacchus.com>
4860
4861         * utils.c (proclist): Strip leading slash when calling fnmatch
4862         too, otherwise wildcard comparisons always fail.
4863
4864 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
4865
4866         * utils.c (touch): Set access time to current time.
4867
4868 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
4869
4870         * url.c (url_unescape): Don't unescape %00, it effectively
4871         truncates the string.
4872
4873 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
4874
4875         * log.c (copy_and_escape): Replace the FOR_URI argument with a
4876         slightly more general mechanism for specifying different kinds of
4877         escape.
4878
4879 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
4880
4881         * ftp-basic.c (ftp_response): Fix printing FTP server response.
4882
4883 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
4884
4885         * retr.c (limit_bandwidth_reset): Reset sleep_adjust.
4886         (limit_bandwidth): Don't allow huge "adjustment" values that
4887         result from being suspended for a while.
4888
4889 2005-05-04  Hrvoje Niksic  <hniksic@xemacs.org>
4890
4891         * wget.h: If gettext was found but libtintl.h wasn't, declare
4892         gettext's return type to avoid type mismatches.
4893
4894 2005-05-03  Hrvoje Niksic  <hniksic@xemacs.org>
4895
4896         * url.c (url_parse): Rename label `error' to avoid conflict with
4897         identifier.
4898
4899         * retr.c (fd_read_body): Rename label `out' to avoid conflict with
4900         identifier.
4901         (fd_read_hunk): Use explicit double constant.
4902         (retrieve_from_file): Don't use string concatenation.
4903         (sleep_between_retrievals): Make sure xsleep is called with a
4904         `double' argument.
4905         (no_proxy_match): Define as static, like it is declared.
4906
4907         * progress.c (bar_create): Use 0.0 instead of 0 because K&R
4908         compilers can't automatically promote it.
4909
4910         * http-ntlm.c (ntlm_output): Replace \xHH sequences with \OOO for
4911         the sake of old compilers.
4912
4913         * ftp.c (ftp_loop_internal): Don't use string concatenation.
4914
4915         * http.c (request_send): Use explicit double constants when
4916         calling fd_read and fd_write.
4917         (post_file): Ditto.
4918         (gethttp): Ditto.
4919         (skip_short_body): Ditto.
4920
4921         * ftp-basic.c: When calling fd_write, specify the last argument as
4922         a `double' constant for the sake of K&R compilers which don't see
4923         the prototype and therefore can't promote it to double
4924         automatically.
4925
4926         * cookies.c (cookie_jar_load): Rename abort label to abort_cookie
4927         to avoid name conflict in K&R compilers.
4928
4929 2005-04-29  Hrvoje Niksic  <hniksic@xemacs.org>
4930
4931         * ptimer.c (posix_init): Since we allow _POSIX_MONOTONIC_CLOCK==0,
4932         it is not enough to check for _POSIX_MONOTONIC_CLOCK-0, we must
4933         also check for defined(_POSIX_MONOTONIC_CLOCK).
4934
4935 2005-04-28  Hrvoje Niksic  <hniksic@xemacs.org>
4936
4937         * ftp.c, hash.c, connect.c, host.c, http.c: Remove unreached code,
4938         such as "break" following return or abort.
4939
4940 2005-04-28  Hrvoje Niksic  <hniksic@xemacs.org>
4941
4942         * init.c (commands): Wrap the use of opt.random_file in #ifdef
4943         HAVE_SSL.
4944
4945 2005-04-28  Hrvoje Niksic  <hniksic@xemacs.org>
4946
4947         * http.c (gethttp): Correctly set the user agent.
4948
4949 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
4950
4951         * init.c (cmd_spec_useragent): Free the old value of
4952         opt.useragent before setting the new one.
4953
4954 2005-04-27  Mauro Tortonesi  <mauro@ferrara.linux.it>
4955
4956         * main.c: Map --ftp-password, --http-password and --proxy-password to
4957         the new ftppassword, httppassword and proxypassword commands
4958         respectively.  Document the --user and --password options in the help
4959         string.
4960
4961 2005-04-27  Mauro Tortonesi  <mauro@ferrara.linux.it>
4962
4963         * ftp.c: Add support for --user and --password.
4964
4965         * http.c: Add support for --user and --password.
4966
4967         * init.c: Deprecated ftppasswd, httppasswd, login, passwd and
4968         proxypasswd commands.  Added ftppassword, ftpuser, httppassword,
4969         password, proxypassword and user commands.
4970
4971         * main.c: Renamed --ftp-passwd to --ftp-password.  Added --ftp-user,
4972         --http-password, --password, --proxy-password and --user.  Deprecated
4973         --http-passwd and --proxy-passwd.  Added documentation for new options
4974         and removed documentation for deprecated options in the help string.
4975
4976         * options.h (struct options): Added user and passwd members to handle
4977         --user and --password respectively.  Renamed ftp_acc and ftp_pass
4978         members to ftp_user and ftp_passwd for consistency.
4979
4980 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
4981
4982         * main.c (print_help): Advertise "DER", not "ASN1".
4983
4984 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
4985
4986         * openssl.c (init_prng): Disable the weak random seed by default.
4987
4988         * http.c (gethttp): Simplify SSL initialization; disable SSL when
4989         anything goes wrong with the initialization.
4990
4991         * options.h (struct options): New option opt.random_file.
4992
4993 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
4994
4995         * init.c: Wrap private key commands in IF_SSL.
4996
4997 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
4998
4999         * openssl.c (ssl_init): Ditto.
5000
5001         * options.h (struct options): Allow separate specification of key
5002         type and certificate type.
5003
5004         * init.c (cmd_spec_cert_type): Provide a "der" synonym for "asn1"
5005         certificate encoding.
5006
5007 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
5008
5009         * openssl.c: Renamed "gen_sslfunc.c" to "openssl.c" and
5010         "gen_sslfunc.h" to "openssl.h".  This reflects the intent of
5011         openssl.c encapsulating the OpenSSL-specific code.
5012
5013 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
5014
5015         * init.c: Renamed "closure" (a synonym for context in some
5016         cultures) to "place", which more accurately reflects the usage.
5017
5018 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
5019
5020         * gen_sslfunc.c (ssl_init): Use default locations for loading the
5021         certificate bundles.
5022         (ssl_init_prng): Disable the cryptographically weak PRNG
5023         initialization fallback.
5024
5025         * init.c: Renamed SSL command-line arguments and wgetrc commands.
5026         (defaults): Check the server certificate by default.
5027
5028 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
5029
5030         * cookies.c (cookie_handle_set_cookie): Delete the part of the
5031         path after the trailing slash.
5032
5033         * http.c (gethttp): Call cookie_handle_set_cookie with path that
5034         begins with '/'.
5035
5036 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
5037
5038         * http.c (gethttp): Call skip_short_body only if keep_alive is in
5039         use.
5040         (gethttp): Send the User-Agent header with the CONNECT request as
5041         well.
5042
5043 2005-04-25  Hrvoje Niksic  <hniksic@xemacs.org>
5044
5045         * main.c (option_data): Removed support for the undocumented flag
5046         --use-proxy.
5047
5048 2005-04-25  Hrvoje Niksic  <hniksic@xemacs.org>
5049
5050         * main.c (option_data): Don't treat -Y as a boolean switch; treat
5051         it as a value switch instead, so "-Y off" continues to work.
5052
5053 2005-04-24  Hrvoje Niksic  <hniksic@xemacs.org>
5054
5055         * utils.c (aprintf): Delete unreachable statement.
5056
5057 2005-04-24  Hrvoje Niksic  <hniksic@xemacs.org>
5058
5059         * host.c (cmp_prefer_ipv4): New function.
5060         (cmp_prefer_ipv6): New function.
5061         (lookup_host): Use the appropriate comparator according to
5062         opt.prefer_family.
5063
5064         * init.c: New option prefer_family.
5065
5066         * host.c (is_valid_ipv6_address): Spell NS_* constants in lower
5067         case to avoid clash with system headers.
5068         (lookup_host): Reorder the addresses so that IPv4 ones come first.
5069
5070         * utils.c (stable_sort): New function.
5071
5072 2005-04-24  Hrvoje Niksic  <hniksic@xemacs.org>
5073
5074         * connect.c (retryable_socket_connect_error): Return 0 for
5075         ENETUNREACH and EHOSTUNREACH.
5076
5077 2005-04-23  Hrvoje Niksic  <hniksic@xemacs.org>
5078
5079         * cmpt.c: Reenable the memmove implementation for systems that
5080         lack it.
5081
5082         * http.c (gethttp): Store the "authorized" state of the persistent
5083         connection.
5084         (request_remove_header): New function.
5085         (gethttp): Don't send the "Basic" authentication if the connection
5086         is already authorized.
5087
5088 2005-04-23  Hrvoje Niksic  <hniksic@xemacs.org>
5089
5090         * utils.c (base64_encode): Treat input as unsigned chars.
5091         Required for correct encoding of binary stuff.
5092
5093 2005-04-23  Hrvoje Niksic  <hniksic@xemacs.org>
5094
5095         * http-ntlm.c: Format the function definitions in an
5096         ansi2knr-friendly fashion.
5097
5098 2005-04-22  Hrvoje Niksic  <hniksic@xemacs.org>
5099
5100         * http.c (gethttp): Handle multiple WWW-Authentication headers,
5101         only one of which is recognized.  Those are sent by IIS with NTLM
5102         authorization.
5103         (create_authorization_line): Propagate information whether
5104         authorization is finished.
5105         (gethttp): Only stop authorization when it's really finished, not
5106         after fixed two steps.
5107
5108 2005-04-21  Hrvoje Niksic  <hniksic@xemacs.org>
5109
5110         * gen_sslfunc.c (ssl_init): Fix warning message text; mark the
5111         message as translatable.
5112
5113 2005-04-21  Hrvoje Niksic  <hniksic@xemacs.org>
5114
5115         * main.c (print_help): Print the EGD option outside the cluster of
5116         SSL options.
5117
5118 2005-04-21  Hrvoje Niksic  <hniksic@xemacs.org>
5119
5120         * http-ntlm.c (ntlm_output): Fix setting the domain.
5121         Suggested by Sami Krank.
5122
5123 2005-04-20  Mauro Tortonesi  <mauro@ferrara.linux.it>
5124
5125         * connect.c: Set IPV6_V6ONLY socket option when -6 switch is used.
5126
5127 2005-04-20  FUJISHIMA Satsuki  <sf@FreeBSD.org>
5128
5129         * http.c (request_set_header): Fix the check whether a new header
5130         needs to be allocated.
5131
5132 2005-04-18  Hrvoje Niksic  <hniksic@xemacs.org>
5133
5134         * utils.c (base64_encode): Use the parameter order that makes more
5135         sense.  Return the length of the base64 written.  Updated all
5136         callers.
5137
5138 2005-04-17  Hrvoje Niksic  <hniksic@xemacs.org>
5139
5140         * http.c (request_set_header): Free NAME when VALUE is NULL and
5141         freeing the header name is requested.
5142
5143 2005-04-17  Hrvoje Niksic  <hniksic@xemacs.org>
5144
5145         * snprintf.c (fmtstr): Declare VALUE as const char *.
5146         Based on patch by Russ Allbery.
5147
5148 2005-04-17  Hrvoje Niksic  <hniksic@xemacs.org>
5149
5150         * snprintf.c (fmtfp): More correct handling of significant digit
5151         count with %g -- 0.002 has one significant digit, not three.
5152
5153 2005-04-16  Hrvoje Niksic  <hniksic@xemacs.org>
5154
5155         * retr.c (fd_read_body): Respect read timeout with non-interactive
5156         or no progress gauge -- treat ETIMEDOUT specially only when
5157         progress_interactive.
5158         Reported by FUJISHIMA Satsuki.
5159
5160 2005-04-16  FUJISHIMA Satsuki  <sf@FreeBSD.org>
5161
5162         * http.c (gethttp): Don't use HTTP/1.0 persistent connections over
5163         proxy.
5164
5165 2005-04-16  Hrvoje Niksic  <hniksic@xemacs.org>
5166
5167         * snprintf.c: Use the PARAMS macro to handle prototypes.  Write
5168         function definitions in the ansi2knr-friendly way.
5169         (fmtstr): If string precision is specified, don't read VALUE past
5170         it.
5171         (dopr): Actually print %g and %e formats.
5172         (fmtfp): Fix a bug that caused 0.01 to be printed as 0.1.
5173         (fmtfp): Use LLONG in floating point conversions to be able to
5174         convert more digits.
5175         (fmtfp): Interpret precision as number of significant digits with
5176         %g.
5177         (fmtfp): Omit trailing decimal zeros with %g.
5178
5179         * snprintf.c: Don't include <ctype.h> because none of it is used.
5180         Include strings.h/string.h, as per Autoconf.
5181
5182 2005-04-15  Hrvoje Niksic  <hniksic@xemacs.org>
5183
5184         * ptimer.c: Use _POSIX_TIMERS - 0 > 0, which handles the case when
5185         _POSIX_TIMERS is defined but empty, as well as the case when it is
5186         undefined.  Do the same with the check for _POSIX_MONOTONIC_CLOCK.
5187         Suggested by Larry Jones.
5188
5189 2005-04-15  Hrvoje Niksic  <hniksic@xemacs.org>
5190
5191         * ptimer.c: Check that _POSIX_TIMERS is defined as well as > 0.
5192         Problem reported by Steven M. Schweda.
5193
5194 2005-04-14  Hrvoje Niksic  <hniksic@xemacs.org>
5195
5196         * http.c (skip_short_body): Print the skipped body data in debug
5197         mode.
5198         (skip_short_body): Don't skip more than 4k of body data.
5199         (skip_short_body): Return whether the skipping was successful.
5200         (gethttp): If skip_short_body failed, invalidate the connection.
5201
5202 2005-04-12  Gisle Vanem  <giva@bgnett.no>
5203
5204         * ftp.c (getftp): Ditto.
5205
5206         * http.c (gethttp): Open the output file in binary mode.
5207
5208 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
5209
5210         * hash.c: Conditionalize including config.h on HAVE_CONFIG_H
5211         instead of on STANDALONE.
5212
5213 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
5214
5215         * gen_sslfunc.c (ssl_print_errors): Made static.
5216         (ssl_print_errors): Eliminate potentially dangerous fixed-size
5217         error buffer.  Passing NULL to ERR_error_string causes it to use
5218         its own static buffer, which is fine for our purposes.
5219
5220         * gen_sslfunc.c: Include gen_sslfunc.h.  Make the declarations of
5221         ssl_init and ssl_conect match the actual definitions.
5222         (ssl_connect): Simply return a boolean, the SSL context is no
5223         longer useful as a return value.
5224
5225         * retr.c: Don't include SSL headers; we don't need them.
5226
5227 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
5228
5229         * config-post.h: Don't define _VA_LIST under Solaris; it breaks
5230         compilation with GCC 3.4 under Solaris 10.  (It was defined to
5231         avoid a warning with previous versions of GCC.)
5232
5233 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
5234
5235         * xmalloc.c (register_ptr): Warn the user to increase SZ prior to
5236         aborting.
5237
5238 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
5239
5240         * convert.c (convert_cleanup): Free converted_files.
5241
5242 2005-04-10  Hrvoje Niksic  <hniksic@xemacs.org>
5243
5244         * wget.h (DEBUGP): Use __builtin_expect to give a hint to GCC that
5245         opt.debug is false in the vast majority of cases.
5246
5247 2005-04-10  Hrvoje Niksic  <hniksic@xemacs.org>
5248
5249         * config-post.h: Declare alloca as void *, not char *.
5250
5251 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
5252
5253         * recur.c (download_child_p): When -p is used, (temporarily)
5254         ignore accept/reject rules for HTMLs, even when they are at the
5255         maximum recursion depth.  That is because with -p we are, if
5256         necessary, overstepping the max. depth to get the requisites.
5257
5258 2004-06-12  Larry Jones <lawrence.jones@ugsplm.com>
5259
5260         * recur.c (download_child_p): Correct the logic in check number 6:
5261         test opt.reclevel (not DEPTH) against INFINITE_RECURSION.
5262
5263 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
5264
5265         * url.c: Use "static const" in preference to "const static".
5266         Sun's cc warns that "storage class after type is obsolescent".
5267
5268         * url.c (urlchr_table): Don't mark ~ as unsafe, too many broken
5269         web sites are confused when ~ is changed to %7E.  Their servers
5270         redirect /%7Efoo/ to /~foo/, which Wget again accesses using %7E,
5271         causing further redirections, therefore looping infinitely.  See
5272         Debian bug #301624 for an example.
5273
5274 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
5275
5276         * alloca.c: Include wget.h to be able to use xmalloc.  In addition
5277         to defining malloc to xmalloc, also define free to xfree.
5278
5279 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
5280
5281         * http-ntlm.c (ntlm_output): Use "char", not "unsigned char" for
5282         ntlmbuf.  Our base64 functions accept char anyway.
5283         (ntlm_output): Join up the format string, since we nominally
5284         support K&R compilers.
5285         (ntlm_output): Ditto.
5286
5287 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
5288
5289         * ptimer.c: Use Windows timers under Cygwin, whose POSIX timer
5290         implementation is incomplete.
5291
5292 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
5293
5294         * ptimer.c (struct ptimer): Remove the unused initialized field.
5295
5296         * ptimer.c: Renamed function parameters from WT (which used to
5297         stand for wget_timer or wtimer) to PT.
5298
5299 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
5300
5301         * ptimer.c (posix_init): Be smarter about choosing clocks.  In
5302         decreasing order of preference, use CLOCK_MONOTONIC,
5303         CLOCK_HIGHRES, and CLOCK_REALTIME.
5304         (ptimer_allocate): Removed.
5305
5306         * ptimer.c: Refactor the code by cleanly separating the
5307         architecture-dependent code from the architecture-independent
5308         code.
5309
5310 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
5311
5312         * ptimer.c (ptimer_init): Explicitly check that
5313         _POSIX_MONOTONIC_CLOCK is *both* defined and >=0.  (Undefined
5314         symbols are >=0.)
5315
5316 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
5317
5318         * ptimer.c (ptimer_diff): Fix typo affecting Windows build.
5319
5320 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
5321
5322         * ptimer.c (ptimer_init): In fact, _POSIX_MONOTONIC_CLOCK needs to
5323         be >= 0.
5324
5325         * ptimer.c (ptimer_init): Check whether _POSIX_MONOTONIC_CLOCK is
5326         defined instead of whether it's greater than 0.  glibc defines it
5327         to 0, but still makes it available via sysconf.
5328
5329 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
5330
5331         * mswindows.c (str_to_int64): Rename OVERFLOW and UNDERFLOW to
5332         INT64_OVERFLOW and INT64_UNDERFLOW, since those names are used.
5333
5334 2005-04-07  Hrvoje Niksic  <hniksic@xemacs.org>
5335
5336         * ptimer.c: New file.  Move the "wtimer" functions from utils.c to
5337         this file and rename them to ptimer_.
5338
5339 2005-04-07  Hrvoje Niksic  <hniksic@xemacs.org>
5340
5341         * host.c (NO_ADDRESS): Define NO_ADDRESS only after the system
5342         headers have been included.
5343
5344 2005-04-06  Hrvoje Niksic  <hniksic@xemacs.org>
5345
5346         * http.c (pconn): Include NTLM data, which is per-connection.
5347         (known_authentication_scheme_p): Recognize NTLM authorization.
5348         (create_authorization_line): Call ntlm_input and ntlm_output.
5349
5350         * http-ntlm.c: New file, donated by Daniel Stenberg and originally
5351         written for curl, heavily modified for Wget.
5352
5353         * utils.c (base64_encode): Relocated from http.c, since it is now
5354         used by http-ntlm.c, and will possibly be used elsewhere.
5355         (base64_decode): New function, originally based on code from GNU
5356         recode.
5357
5358 2005-04-02  Hrvoje Niksic  <hniksic@xemacs.org>
5359
5360         * ftp.c (ftp_loop): Ditto.
5361
5362         * ftp-basic.c (ftp_pasv): Use the xzero shorthand for memset(0).
5363         (ftp_lpsv): Ditto.
5364
5365 2005-04-05  Mauro Tortonesi  <mauro@ferrara.linux.it>
5366
5367         * Makefile.in: removed string_t.c from list of source files.
5368
5369 2005-04-04  Mauro Tortonesi  <mauro@ferrara.linux.it>
5370
5371         * string_t.c: Removed.
5372
5373         * string_t.h: Removed.
5374
5375 2005-04-02  Hrvoje Niksic  <hniksic@xemacs.org>
5376
5377         * url.c (rewrite_shorthand_url): Only accept recognized schemes.
5378         That way "foo:80" will correctly be rewritten to "http://foo:80"
5379         instead of left unchanged and ultimately rejected because of
5380         "unsupported scheme foo".
5381
5382 2005-03-31  Hrvoje Niksic  <hniksic@xemacs.org>
5383
5384         * utils.c (number_to_string): Avoid explicit 64-bit constants;
5385         construct them by multiplication at compile-time.
5386
5387         * utils.c, elsewhere: Don't append "L" to 32-bit integer
5388         constants; we aren't really compilable on 16-bit systems anyway.
5389
5390         * hash.c (prime_size): Remove primes larger than 2^31, but include
5391         2^31-1, which is prime.
5392
5393 2005-03-30  Hrvoje Niksic  <hniksic@xemacs.org>
5394
5395         * utils.c (string_set_to_array): New function.
5396
5397         * convert.c: Replace the use of "slists" with sets/hash-tables,
5398         which in fact suit the intended purpose much better.
5399         downloaded_html_list is removed altogether.
5400
5401 2005-03-29  Hrvoje Niksic  <hniksic@xemacs.org>
5402
5403         * ftp.h (enum): Rename GLOBALL, GETALL, and GETONE to
5404         GLOB_GLOBALL, GLOB_GETALL, and GLOB_GETONE to avoid conflict with
5405         Linux headers.
5406
5407 2005-03-29  Hrvoje Niksic  <hniksic@xemacs.org>
5408
5409         * utils.c (numdigit): More correct handling of negative numbers.
5410
5411 2005-03-21  Hrvoje Niksic  <hniksic@xemacs.org>
5412
5413         * http.c (gethttp): Print the human-readable size.
5414
5415         * ftp.c (getftp): Print the human-readable size of the file to be
5416         downloaded.
5417
5418         * utils.c (human_readable): New function.
5419
5420         * utils.c: Renamed "legible" to "with_thousand_seps",
5421         "legible_large_int" to "with_thousand_seps_large", and "legible_1"
5422         to "add_thousand_seps".
5423
5424 2005-03-21  Hrvoje Niksic  <hniksic@xemacs.org>
5425
5426         * http.c (gethttp): Inhibit persistent connections when talking to
5427         proxies, as mandated by RFC 2068.
5428
5429 2005-03-20  Hrvoje Niksic  <hniksic@xemacs.org>
5430
5431         * url.c (unescape_single_char): New function.
5432         (url_escape_dir): Use it to unescape slashes in directory
5433         components.
5434         (url_string): Escape unsafe chars in host name, except for the ':'
5435         charaters, which can appear in IPv6 addresses.
5436
5437         * main.c (main): Don't access the cookie jar directly.
5438
5439         * log.c (escnonprint_internal): Correctly calculate the needed
5440         string size.  Don't forget the buffer's new size after having
5441         reallocated it.
5442         (log_cleanup): New function.  Free the escnonprint ring data.
5443
5444         * init.c (cleanup): Don't free the cookie jar explicitly, it is
5445         now done by http_cleanup.
5446         (cleanup): opt.user_headers is now a vector, free it with
5447         free_vec.
5448
5449         * http.c (gethttp): Make sure to free the request data, the status
5450         message, and the response data before returning from the function.
5451         (save_cookies): New function.
5452         (http_cleanup): Free the cookie jar here.
5453
5454         * hash.c: Renamed string_hash to hash_string and ptrhash to
5455         hash_pointer.  Exported hash_pointer.
5456
5457         * xmalloc.c: Organized malloc_table (previously malloc_debug) as a
5458         simple EQ hash table.  register_ptr and unregister_ptr are now of
5459         O(1) complexity.
5460
5461         * xmalloc.c: Renamed "*_debug" to debugging_* and "*_real" to
5462         checking_*.
5463
5464 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
5465
5466         * utils.c (debug_test_md5): Moved to gen-md5.c.
5467
5468         * mswindows.h: Don't declare inet_ntop, since we don't use it.
5469
5470         * mswindows.h: For consistency, also wrap closesocket, it being
5471         a Winsock call.
5472
5473         * mswindows.h: Don't declare sleep and usleep; we're defining
5474         xsleep now.
5475
5476         * mswindows.h (mkdir): Don't special-case Borland C, _mkdir
5477         works there as well.
5478
5479         * host.c: Don't include winsock header files; the correct ones
5480         are already included by mswindows.h.
5481
5482         * mswindows.c (xsleep): Round toward the nearest millisecond
5483         in an attempt to avoid average short sleeps.
5484
5485         * utils.c (wtimer_granularity): Report correct values for
5486         Windows timers and for high-resolution timers.
5487
5488         * utils.c (wtimer_initialize_once): New function, called to
5489         initialize the timer frequency.
5490
5491         * utils.c: Replace the use of GetSystemTime with high-resolution
5492         counters under Windows.  When high-resolution counters are
5493         unavailable, use GetTickCount().
5494
5495 2005-03-15  Hrvoje Niksic  <hniksic@xemacs.org>
5496
5497         * retr.c (fd_read_body): Undo the 2004-11-18 change.  Instead,
5498         always be "exact".
5499
5500 2005-03-17  Hrvoje Niksic  <hniksic@xemacs.org>
5501
5502         * ftp-basic.c (ftp_login): Don't free the string if ftp_response
5503         returned an error status because the line didn't get allocated in
5504         the first place.
5505
5506 2005-03-15  Hrvoje Niksic  <hniksic@xemacs.org>
5507
5508         * http.c (read_http_response_head): Limit the response size to 64k
5509         bytes.
5510
5511         * retr.c (fd_read_hunk): Accept a MAXSIZE argument that limits the
5512         number of bytes the function is allowed to allocate.
5513         (fd_read_line): Limit the line to 4096 bytes.
5514
5515 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
5516
5517         * wget.h: Include options.h after wgint has been defined.
5518
5519         * options.h (struct options): Declare options processed with
5520         cmd_bytes as wgint, not long.
5521
5522 2005-03-18  Hrvoje Niksic  <hniksic@xemacs.org>
5523
5524         * init.c (cmd_file): Use concat_strings.
5525
5526         * http.c (basic_authentication_encode): Use concat_strings.
5527
5528         * ftp-ls.c (ftp_index): Use concat_strings.
5529
5530         * ftp-basic.c (ftp_request): Use concat_strings.
5531
5532         * utils.c (concat_strings): New function.
5533
5534 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
5535
5536         * init.c (simple_atof): Handle negative numbers; skip whitespace
5537         before the number.
5538         (simple_atoi): Ditto.  Also, check for overflow and underflow.
5539         (cmd_number): Bail out on negative numbers.
5540         (parse_bytes_helper): Ditto.
5541
5542 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
5543
5544         * http.c (gethttp): Handle multiple Set-Cookie headers sent by
5545         remote server.
5546
5547 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
5548
5549         * init.c (defaults): Use passive FTP by default.
5550
5551 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
5552
5553         * mswindows.c: Provide wrappers to Winsock functions that set
5554         errno to WSAGetLastError() in case of failure.  Also provide a
5555         Windows-specific version of strerror.
5556
5557         * mswindows.h: Wrap calls to socket, bind, connect, recv, send,
5558         select, getsockname, getpeername, and setsockopt.
5559
5560 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
5561
5562         * url.c (url_parse): Reject port numbers larger than 65535.  We
5563         also check for overflow while parsing port numbers.
5564
5565 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
5566
5567         * utils.c (read_file): Don't use wgint for file size; LFS won't
5568         work since the file is mmap'ed as a whole.
5569
5570         * options.h: Don't include stdio.h.
5571
5572         * log.c: Ditto.
5573
5574         * init.c: Disambiguate assignment from non-zero test to avoid
5575         Borland C warning.
5576
5577         * http.c (response_new): Don't needlessly post-increment count.
5578
5579         * hash.c: Include stdio.h.
5580
5581         * gnu-md5.h: Don't include stdio.h.
5582
5583         * getopt.h (struct option): Always use const.
5584
5585         * ftp.c (getftp): Avoid unnecessary assignment to RES to avoid
5586         Borland C warning.
5587
5588         * ftp-ls.c: Disambiguate assignment from non-zero test to avoid
5589         Borland C warning.
5590
5591         * cmpt.c (strptime_internal): Don't initialize rp_backup when
5592         !_NL_CURRENT to avoid Borland C warning.
5593
5594 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
5595
5596         * utils.c (fopen_excl): Fix parse error when O_BINARY is
5597         available.
5598
5599 2005-03-05  Hrvoje Niksic  <hniksic@xemacs.org>
5600
5601         * url.c (url_file_name): Don't allow hosts named ".." to be
5602         appended as path elements.
5603
5604 2005-03-03  Hrvoje Niksic  <hniksic@xemacs.org>
5605
5606         * retr.c (retrieve_url): Escape location header.
5607
5608         * http.c (print_server_response_1): Escape server response when
5609         printing it.
5610         (gethttp): Escape host name, status message, location header, and
5611         content type.
5612         (http_loop): Escape error message from server.
5613
5614         * host.c (lookup_host): Escape host name when printing it.
5615
5616         * ftp.c (getftp): Escape user name when printing it.
5617         (getftp): Escape remote file and directory for printing.
5618         (getftp): Escape server listing when printing it.
5619         (ftp_retrieve_list): Escape link name and file name.
5620         (ftp_retrieve_glob): Escape file name.
5621
5622         * ftp-basic.c (ftp_response): Escape server response when printing
5623         it.
5624
5625         * cookies.c (parse_set_cookies): Escape the cookie field when
5626         printing it.
5627         (parse_set_cookies): Escape contents of remote header.
5628         (cookie_handle_set_cookie): Escape host name and cookie domain.
5629
5630         * connect.c (connect_to_ip): Escape the host name.
5631
5632         * log.c (escnonprint): New function, used for printing strings
5633         coming from the server that possibly contain non-ASCII characters.
5634         (escnonprint_uri): Ditto.
5635
5636 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
5637
5638         * ftp.c (getftp): Ditto.
5639
5640         * http.c (gethttp): When we're not supposed to overwrite files,
5641         use fopen_excl to open the file and recompute the file name.
5642
5643         * log.c (redirect_output): Use unique_create to avoid a race
5644         condition.
5645
5646         * mswindows.c (fake_fork_child): Use unique_create.
5647
5648         * utils.c (fopen_excl): New function that opens a stdio stream
5649         with the O_EXCL flag (where available).
5650         (unique_create): New function, like unique_name, but also creating
5651         the file and returning a file pointer.
5652         (fork_to_background): Use unique_create to create the file
5653         immediately to avoid race condition with multiple instances of
5654         wget -b.
5655
5656 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
5657
5658         * host.c (lookup_host): Test for AI_ADDRCONFIG directly, instead
5659         of checking for HAVE_GETADDRINFO_AI_ADDRCONFIG.
5660
5661 2005-02-23  Hrvoje Niksic  <hniksic@xemacs.org>
5662
5663         * host.c (is_valid_ipv6_address): Move here from url.c.
5664         (lookup_host): If the address is numeric, don't print the
5665         "resolving..." line, don't set up DNS timeouts, and set the
5666         AI_NUMERICHOST hint, where available.
5667
5668 2005-02-26  Gisle Vanem  <giva@bgnett.no>
5669
5670         * utils.c: Use the nnnLL syntax under GCC.  Define struct_stat to
5671         struct _stati64 under __MINGW32__ as well as under MS VC.
5672
5673 2005-02-26  Hrvoje Niksic  <hniksic@xemacs.org>
5674
5675         * utils.c: Use the nnnI64 syntax for __int64 constants under all
5676         Windows compilers.
5677         (SPRINTF_WGINT): Use "%I64" under all Windows compilers.
5678
5679         * mswindows.h (WGINT_MAX): Use the nnnI64 syntax for
5680         __int64 constants under all Windows compilers.
5681         (struct_stat): Use `struct stati64' under Borland C.
5682         (fstat): Don't redefine to _fstati64 under Borland.
5683
5684         * mswindows.c: Define str_to_int64 under Borland C as well as
5685         under (older) Visual C.
5686
5687 2005-02-25  Hrvoje Niksic  <hniksic@xemacs.org>
5688
5689         * ftp.c (getftp): Initialize err to suppress compiler warning.
5690
5691 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
5692
5693         * ftp.c (ftp_expected_bytes): Fix bug that caused infloop because
5694         of not correctly skipping the '(' character.
5695
5696 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
5697
5698         * mswindows.c (wget_ftello): Removed.
5699
5700         * mswindows.h: Remove bogus definition of stat.
5701         (wget_ftello): Remove the leftover ftello replacement.
5702
5703 2005-02-20  Hrvoje Niksic  <hniksic@xemacs.org>
5704
5705         * mswindows.c (wget_ftello): Wget's replacement for ftello.
5706
5707         * utils.c (file_size): Use ftello where available.
5708
5709         * ftp-ls.c (ftp_parse_unix_ls): Use str_to_wgint to parse the file
5710         size.
5711         (ftp_parse_winnt_ls): Ditto.
5712
5713         * ftp-basic.c (ftp_size): Use str_to_wgint to convert number to
5714         wgint; pass 10 instead of 0 as the BASE argument.
5715
5716         * ftp.c (ftp_expected_bytes): Use str_to_wgint to parse the file
5717         size.
5718
5719         * sysdep.h (LARGE_INT_FMT): Use __int64 as LARGE_INT on
5720         MSVC/Windows; print it with "%I64".
5721
5722         * wget.h: Define a `wgint' type, normally aliased to (the possibly
5723         64-bit variant of) off_t.
5724
5725         * all: Use `wgint' instead of `long' for numeric variables that
5726         can hold file sizes.
5727
5728         * utils.c (number_to_string): Support printing of `wgint'
5729         argument.
5730         (number_to_static_string): New function.
5731
5732         * all: Replace printf("%ld", long_value) with printf("%s",
5733         number_to_static_string(wgint_value)).
5734
5735 2005-02-18  Mauro Tortonesi <mauro@ferrara.linux.it>
5736
5737         * main.c: Added the --ftp-passwd command line option.
5738
5739         * init.c: Renamed command passwd to ftppasswd.
5740
5741 2005-02-11  Mauro Tortonesi <mauro@ferrara.linux.it>
5742
5743         * string_t.c: Fixed a bug in do_escape and triggered escape of
5744         backslashes in string_escape to avoid ambiguities in the result
5745         string.
5746
5747 2005-02-10  Mauro Tortonesi <mauro@ferrara.linux.it>
5748
5749         * string.h: Renamed to string_t.h to fix a compilation conflict
5750         with the string.h header in the standard C library.
5751
5752         * string.c: Renamed to string_t.c for consistency with string.h.
5753
5754         * string_t.c: Ditto.
5755
5756         * string_t.h: Ditto.
5757
5758 2004-12-31  Mauro Tortonesi <mauro@ferrara.linux.it>
5759
5760         * string.c: New file.
5761
5762         * string.h: New file.
5763
5764         * Makefile.in: Added string.c to the list of modules to compile.
5765
5766         * main.c: Updated copyright.
5767
5768 2004-11-18  Ulf Harnhammar <ulf.harnhammar.9485@student.uu.se>
5769
5770         * ftp-ls.c: Fixed a problem in ftp_parse_winnt_ls that could allow a
5771         malicious remote FTP server to crash wget.
5772
5773 2004-11-18  Hans-Andreas Engel <engel@node.ch>
5774
5775         * http.c: Enable --convert-links (-k) when a single page is downloaded
5776         via --output-document (-O).
5777
5778 2004-11-18  Mauro Tortonesi <mauro@deepspace6.net>
5779
5780         * connect.c: Minor correction to the comment in front of fd_peek.
5781
5782 2004-11-18  Leonid Petrov <nouser@lpetrov.net>
5783
5784         * retr.c: Fix a timeout problem in fd_read_body when using http_proxy.
5785
5786 2004-11-15  YAMAZAKI Makoto <Yamazaki.Makoto@fujixerox.co.jp>
5787
5788         * netrc.c: Fix termination by assertion bug in netrc parsing.
5789
5790 2004-05-09  David Fritz  <zeroxdf@att.net>
5791
5792         * mswindows.c (fake_fork): Pass entire command line to the child
5793         process.
5794
5795 2004-03-31  Hrvoje Niksic  <hniksic@xemacs.org>
5796
5797         * http.c (gethttp): Fix typo: SCHEME_SSL -> SCHEME_HTTPS.
5798
5799 2004-03-30  Hrvoje Niksic  <hniksic@xemacs.org>
5800
5801         * http.c (gethttp): Send the Proxy-Authorization header over
5802         non-SSL connections too.
5803
5804 2004-03-25  David Fritz  <zeroxdf@att.net>
5805
5806         * mswindows.c (fake_fork_child): Ignore error code when
5807         OpenFileMapping() fails; assume it failed because the object does
5808         not exist.
5809
5810 2004-03-24  David Fritz  <zeroxdf@att.net>
5811
5812         * mswindows.c (fake_fork): New function.
5813
5814         * mswindows.c (fork_to_background): Use it.
5815
5816 2004-03-19  David Fritz  <zeroxdf@att.net>
5817
5818         * mswindows.c (ws_hangup): Incorporate old fork_to_background()
5819         code.  Add event name argument.
5820         (fork_to_backgorund): Now a simple wrapper around ws_hangup().
5821         (ws_handler): Correctly handle the case when neither CTRLC_BACKGND
5822         nor CTRLBREAK_BACKGND are defined.  Don't bother handling close,
5823         logoff, or shutdown events.  Call ws_hangup() with the correct
5824         event name; don't assume it was CTRL+Break.
5825
5826 2004-03-19  Hrvoje Niksic  <hniksic@xemacs.org>
5827
5828         * url.c (url_parse): Decode %HH sequences in host name.
5829
5830 2004-03-04  Hrvoje Niksic  <hniksic@xemacs.org>
5831
5832         * convert.c (local_quote_string): Quote "#" as "%23" and "%" as
5833         "%25" when creating links to local files.
5834
5835 2004-03-02  David Fritz  <zeroxdf@att.net>
5836
5837         * mswindows.c (ws_percenttitle): Guard against future changes by
5838         doing nothing if the proper variables have not been initialized.
5839         Clamp percentage value.
5840
5841 2004-03-04  Gisle Vanem  <giva@bgnett.no>
5842
5843         * retr.c (fd_read_body): Don't change console title if quiet.
5844
5845 2004-02-25  David Fritz  <zeroxdf@att.net>
5846
5847         * mswindows.c (set_sleep_mode): Remove argument and return value.
5848         Call GetModuleHandle() instead of LoadLibrary()/FreeLibrary() for
5849         kernel32.dll.  Use typedef for function-pointer.  Don't cast
5850         l-value.  Don't use dereference operator when calling through
5851         function-pointer.
5852         (ws_startup): Update call to set_sleep_mode().
5853         (ws_cleanup): Remove call to set_sleep_mode().
5854
5855 2004-02-23  David Fritz  <zeroxdf@att.net>
5856
5857         * http.c (http_loop): Ditto.
5858
5859         * ftp.c (ftp_loop_internal): Update call to ws_changetitle().
5860
5861         * main.c (main): Don't bother calling ws_changetitle().
5862
5863         * mswindows.h (ws_changetitle): Update prototype.
5864
5865         * mswindows.c (ws_changetitle): Remove second argument.  Use
5866         xfree_null().
5867         (ws_percenttitle): Only update title when percentage has changed.
5868
5869 2004-02-23  David Fritz  <zeroxdf@att.net>
5870
5871         * mswindows.h: Ditto.
5872
5873         * mswindows.c: Misc. formatting/comment tweaks throughout.
5874
5875 2004-02-20  David Fritz  <zeroxdf@att.net>
5876
5877         * main.c (print_help): Remove call to ws_help().
5878
5879         * mswindows.c (ws_help): Remove.
5880
5881         * mswindows.h (ws_help): Remove.
5882
5883 2004-02-16  David Fritz  <zeroxdf@att.net>
5884
5885         * init.c (home_dir): Use aprintf() instead of xmalloc()/sprintf().
5886         Under Windows, if $HOME is not defined, use the directory that
5887         contains the Wget binary instead of hard-coded `C:\'.
5888         (wgetrc_file_name): Under Windows, look for $HOME/.wgetrc then, if
5889         not found, look for wget.ini in the directory of the Wget binary.
5890
5891         * mswindows.c (ws_mypath): Employ slightly more robust methodology.
5892         Strip trailing path separator.
5893
5894 2004-02-06  Hrvoje Niksic  <hniksic@xemacs.org>
5895
5896         * http.c (gethttp): Respect --ignore-length.
5897         (gethttp): Inhibit keep-alive if --ignore-length is specified.
5898
5899 2004-02-06  Hrvoje Niksic  <hniksic@xemacs.org>
5900
5901         * connect.c (sockaddr_set_data): Zero out
5902         sockaddr_in/sockaddr_in6.  Apparently BSD-derived stacks need this
5903         when binding a socket to local address.
5904
5905 2004-02-04  Hrvoje Niksic  <hniksic@xemacs.org>
5906
5907         * hash.c: Make the file compilable outside Wget source tree when
5908         -DSTANDALONE is used.
5909
5910 2004-01-29  Hrvoje Niksic  <hniksic@xemacs.org>
5911
5912         * utils.c (determine_screen_width): Return 0 if not running on
5913         Windows or on a TIOCGWINSZ-capable system.
5914
5915 2004-01-28  David Fritz  <zeroxdf@att.net>
5916
5917         * utils.c (determine_screen_width): Correctly determine console
5918         width under Windows.
5919
5920 2004-01-28  Christian Biere  <christianbiere@gmx.de>
5921
5922         * progress.c (bar_set_params): Fixed syntax error when HAVE_ISATTY
5923         was undefined.
5924
5925         * ftp.c (ftp_loop_internal): Allocate a larger buffer in case
5926         "try" gets translated to something large.  Ditto in http_loop in
5927         http.c.
5928
5929         * http.c (response_header_copy): Don't write to buf[BUFSIZE].
5930
5931         * ftp-opie.c (skey_response): Eliminate unnecessary string
5932         concatenation; just call gen_md5_update twice.
5933
5934 2004-01-25  Hrvoje Niksic  <hniksic@xemacs.org>
5935
5936         * utils.c (xsleep): Don't call usleep with values larger than
5937         1,000,000.
5938
5939 2003-12-16  Hrvoje Niksic  <hniksic@xemacs.org>
5940
5941         * http.c (gethttp): Fix generation of `Content-Length'.
5942
5943 2003-12-15  Gisle Vanem  <giva@bgnett.no>
5944
5945         * url.c (url_skip_credentials): Fixed return value; 'url' if no
5946         credentials.
5947
5948 2003-12-14  Hrvoje Niksic  <hniksic@xemacs.org>
5949
5950         * url.c (url_skip_credentials): Return a pointer directly.
5951
5952 2003-12-14  Hrvoje Niksic  <hniksic@xemacs.org>
5953
5954         * url.c (url_file_name): Ditto.
5955         (parse_errors): Ditto.
5956
5957         * retr.c (retr_rate): Ditto.
5958
5959         * progress.c (create_image): Ditto.
5960
5961         * netrc.c (parse_netrc): Ditto.
5962
5963         * main.c (struct cmdline_option): Ditto.
5964         (redirect_output_signal): Ditto.
5965
5966         * init.c (commands): Ditto.
5967
5968         * ftp-ls.c (ftp_index): Ditto.
5969
5970         * cookies.c (check_domain_match): Declare the pointer to a literal
5971         string as `const'.
5972
5973 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
5974
5975         * retr.c (fd_read_body): Pass total size to progress_create, not
5976         the remaining amount.
5977
5978 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
5979
5980         * retr.c (fd_read_body): Don't fiddle with "interactive timeout"
5981         if read timeout is unset.
5982
5983 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
5984
5985         * connect.c (bind_local): Don't set the IPV6_V6ONLY option on the
5986         socket.
5987
5988 2003-12-06  Hrvoje Niksic  <hniksic@xemacs.org>
5989
5990         * url.c (url_file_name): Respect the setting of
5991         opt.protocol_directories.
5992
5993         * main.c (main): Only check for ret=='?' when longindex is unset.
5994         (option_data): New option --protocol-directories.
5995
5996 2003-12-06  Hrvoje Niksic  <hniksic@xemacs.org>
5997
5998         * ftp.c (getftp): Ditto.
5999
6000         * http.c (gethttp): Correctly calculate bandwidth as total data
6001         read divided with download time.
6002
6003         * retr.c (fd_read_body): Separate the return values for data
6004         written and read.
6005
6006 2003-12-05  Hrvoje Niksic  <hniksic@xemacs.org>
6007
6008         * http.c (H_REDIRECTED): Respect the HTTP/1.1 "303 See Other"
6009         response code.
6010         Suggested by Dan Razzell.
6011
6012 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
6013
6014         * retr.c (fd_read_body): Report the amount of data *written* as
6015         amount_read.  This is not entirely logical, but that's what the
6016         callers expect, and it's not easy to change.
6017
6018         * ftp.c (ftp_loop_internal): Ditto.
6019
6020         * http.c (http_loop): Be smarter about assigning restval; if we're
6021         in the nth pass of a download, simply use the information we have
6022         about how much data has been retrieved as restval.
6023
6024         * ftp.c (getftp): Ditto for FTP "REST" command.
6025
6026         * http.c (gethttp): When the server doesn't respect range, skip
6027         the first RESTVAL bytes of the read body.  Never truncate the
6028         output file.
6029
6030         * retr.c (fd_read_body): Support skipping initial STARTPOS octets.
6031
6032 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
6033
6034         * http.c (skip_short_body): Renamed skip_body to skip_short_body;
6035         don't bother calling fd_read_body.
6036
6037 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
6038
6039         * retr.c (fd_read_body): Sanitize arguments and document them
6040         better.  Make sure the timer is created and updated only if
6041         necessary.  Updated callers.
6042
6043 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
6044
6045         * http.c (skip_body): New function.
6046         (gethttp): Use it to skip the body of the responses we don't care
6047         to download.  That allows us to reuse the connection.
6048         (gethttp): Trust that the HEAD requests will not generate body
6049         data.
6050
6051         * retr.c (fd_read_body): Don't write to OUT if it's NULL.
6052
6053 2003-11-29  Hrvoje Niksic  <hniksic@xemacs.org>
6054
6055         * http.c (gethttp): Initialize SSL only the first time when SSL
6056         URL is downloaded.
6057
6058 2003-11-29  Hrvoje Niksic  <hniksic@xemacs.org>
6059
6060         * cookies.c (cookie_header): Only generate the contents of the
6061         header, not the leading "Cookie: " or the trailing "\r\n".
6062
6063         * http.c (gethttp): When adding headers specified with `--header',
6064         allow them to override the headers generated by Wget.
6065
6066         * init.c (cmd_spec_header): Made opt.user_headers a vector.
6067
6068         * http.c (request_new): New function.  Returns a request structure
6069         which can be modified in various ways, most notably by adding HTTP
6070         headers to the request.
6071         (request_set_header): New function for adding the header to the
6072         request.  If the header is already available, it gets replaced.
6073         (request_send): Construct and send the request.
6074         (gethttp): Use the request_* functions to generate the request.
6075
6076 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
6077
6078         * http.c (gethttp): Don't include the Proxy-Authorization header
6079         in the request tunneled through proxy.
6080
6081 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
6082
6083         * http.c (gethttp): Use the CONNECT handle to establish SSL
6084         passthrough through non-SSL proxies.
6085
6086 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
6087
6088         * init.c: Don't #include netinet/Winsock stuff.
6089
6090 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
6091
6092         * http.c: Deleted the old functions header_process,
6093         header_extract_number, header_exists, header_strdup,
6094         http_process_range, http_process_none, http_process_type, and
6095         http_process_connection.
6096
6097         * http.c (response_new): New function.
6098         (response_header_bounds): Ditto.
6099         (response_header_copy): Ditto.
6100         (response_header_strdup): Ditto.
6101         (response_status): Ditto.
6102         (gethttp): Use the new response_* functions to parse the response.
6103         Support HTTP/0.9 responses.
6104
6105 2003-11-27  Hrvoje Niksic  <hniksic@xemacs.org>
6106
6107         * progress.c (create_image): Don't calculate ETA if nothing has
6108         been downloaded yet, because it causes division by zero.
6109
6110 2003-11-27  Hrvoje Niksic  <hniksic@xemacs.org>
6111
6112         * connect.c (bind_local): Rename sa_len to addrlen because IRIX
6113         headers define sa_len as a macro.
6114
6115 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
6116
6117         * html-parse.c (convert_and_copy): Remove embedded newlines when
6118         AP_TRIM_BLANKS is specified.
6119
6120 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
6121
6122         * ftp.c: Set con->csock to -1 where rbuf_uninitialize was
6123         previously used.
6124
6125 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
6126
6127         * Makefile.in (http$o): Added the trailing backslash that was
6128         missing.
6129
6130 2003-11-21  Hrvoje Niksic  <hniksic@xemacs.org>
6131
6132         * headers.c: Removed.  The file is no longer relevant, now that no
6133         special handling of headers is done by the rbuf code.  Moved
6134         portions to http.c.
6135
6136 2003-11-21  Hrvoje Niksic  <hniksic@xemacs.org>
6137
6138         * rbuf.c: Removed.
6139
6140         * ftp-basic.c (ftp_response): Use fd_read_line.  No longer use
6141         struct rbuf.  Updated all callers.
6142
6143         * http.c (gethttp): Use fd_read_head to read all the headers in
6144         one go.
6145         (next_header): New function.
6146
6147         * retr.c (fd_read_line): New function: reads a line from FD,
6148         leaving the rest of the data unread.
6149         (fd_read_head): New function.
6150
6151         * connect.c (fd_peek): New function, implements peeking.
6152         (poll_internal): New function.
6153         (fd_read): Use it.
6154         (fd_write): Ditto.
6155         (fd_peek): Ditto.
6156         (fd_register_transport): Allow registering a "peeker" callback.
6157
6158 2003-11-20  Hrvoje Niksic  <hniksic@xemacs.org>
6159
6160         * connect.c: Renamed xread/xwrite/xclose to
6161         fd_read/fd_write/fd_close.  The "x" prefix is not appropriate
6162         because the semantics have diverged from read/write/close too
6163         significantly.  Updated all callers.
6164
6165 2003-11-20  Hrvoje Niksic  <hniksic@xemacs.org>
6166
6167         * connect.c (sock_write): It's not necessary to initialize RES.
6168
6169 2003-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
6170
6171         * main.c (main): Don't reference opt.ipv4_only and opt.ipv6_only
6172         if IPv6 is disabled.
6173
6174 2003-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
6175
6176         * connect.c (socket_has_inet6): Only compile it if IPv6 is enabled
6177         and AI_ADDRCONFIG is missing.
6178
6179 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
6180
6181         * gen_sslfunc.c (ssl_init_prng): Warn the user when using a weak
6182         random seed.
6183
6184 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
6185
6186         * host.c (address_list_contains): Renamed address_list_find to
6187         address_list_contains because its result is boolean.
6188
6189 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
6190
6191         * connect.c (select_fd): Return 1 if select is not available.
6192
6193 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
6194
6195         * connect.c (connect_to_host): Don't reference address list after
6196         releasing it.
6197
6198 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
6199
6200         * main.c (print_help): Fix alignment of FTP options output.
6201
6202 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
6203
6204         * host.c (lookup_host): Check for the ability to create IPv6
6205         sockets here.
6206
6207         * init.c (defaults): Don't auto-set --inet4-only on IPv6-less
6208         systems.
6209
6210 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
6211
6212         * main.c (print_help): Fix typo in `-O' help message.  Fix docs of
6213         -Y/--proxy.  Fix docs of `--cookies' and `--glob'.  Improve docs
6214         of --convert-links.  Fix docs of SSL options.
6215
6216 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
6217
6218         * ftp-basic.c: Don't include <arpa/inet.h> and others because
6219         they're no longer needed.
6220
6221 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
6222
6223         * main.c (main): Don't allow setting of both opt.ipv4_only and
6224         opt.ipv6_only.
6225
6226         * init.c (defaults): Mark opt.ipv4_only specially when set
6227         automatically.
6228
6229 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
6230
6231         * host.c (lookup_host): Use AI_ADDRCONFIG only if the family is
6232         unspecified.  This ensures that specifying `--no-inet4' on systems
6233         where IPv6 resolves, but doesn't work behaves the same regardless
6234         of the availability of AI_ADDRCONFIG.
6235
6236 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
6237
6238         * host.c: Don't refer to the now-removed function
6239         forget_host_lookup in the documentation of lookup_host.
6240
6241 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
6242
6243         * http.c (persistent_available_p): Correctly specify the endpoint
6244         argument to socket_ip_address.
6245         (gethttp): When printing the "reusing connection to..." message,
6246         specify the host name of the reused connection, not the current
6247         host name.  That makes more sense because it provides a useful
6248         piece of information -- we know to which host we're supposed to
6249         connect anyway!
6250
6251 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
6252
6253         * init.c: Make sure the options are in alphabetic order!
6254
6255         * host.c (lookup_host): Merge lookup_host_passive and lookup_host
6256         after all -- having both would result in some code duplication.
6257         (lookup_host): Set hints.ai_family to AF_INET if ipv4_only is
6258         requested.  Likewise, set it to AF_INET6 for ipv6_only.  Specify
6259         AI_ADDRCONFIG where available.
6260         (lookup_host): New flag LH_REFRESH that specifies that a cached
6261         entry for HOST should be refreshed.
6262         (cache_query): New function.
6263         (cache_store): Ditto.
6264         (cache_remove): Ditto.
6265         (forget_host_lookup): No longer necessary, replaced with static
6266         function cache_remove.
6267
6268 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
6269
6270         * main.c: Enable -4 and -6 only if IPv6 is enabled.
6271
6272 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
6273
6274         * connect.c (register_transport): Renamed from register_extended.
6275         Explain the intended usage.
6276
6277 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
6278
6279         * url.c (uri_merge): Merging "foo" and "bar" should result in
6280         "bar", not in "foo/bar".
6281         (path_simplify): Don't remove empty path elements; don't
6282         special-case leading slash.
6283         (path_simplify): Don't swallow ".."'s at the beginning of string.
6284         E.g. simplify "foo/../../bar" as "../bar", not as "bar".
6285         (append_uri_pathel): Defang ".." path element upon encountering
6286         it.
6287
6288 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
6289
6290         * http.c (persistent_available_p): Don't attempt to talk to two
6291         different SSL sites over the same secure connection.
6292
6293 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
6294
6295         * http.c (gethttp): Ditto.
6296
6297         * ftp.c (getftp): Use retryable_socket_connect_error instead of
6298         CONNECT_ERROR.
6299
6300         * wget.h (CONNECT_ERROR): Removed.
6301
6302         * connect.c (retryable_socket_connect_error): New function instead
6303         of unsupported_socket_family_error.
6304
6305 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
6306
6307         * wget.h (CONNECT_ERROR): Use it.
6308
6309         * connect.c (unsupported_socket_family_error): New function.
6310
6311 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
6312
6313         * connect.c (bind_local): Renamed bindport to bind_local; return
6314         the socket directly.  Updated callers.
6315         (accept_connection): Renamed acceptport to accept_connection;
6316         return the created socket directly.  Updated callers.
6317
6318 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
6319
6320         * init.c (defaults): Turn on opt.ipv4_only if we're compiling with
6321         IPv6, and AI_ADDRINFO is not available, and AF_INET6 sockets can't
6322         be created.
6323
6324 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
6325
6326         * host.c (lookup_host): Document the fact that the addresses are
6327         returned in order.
6328
6329 2003-11-12  Hrvoje Niksic  <hniksic@xemacs.org>
6330
6331         * utils.c: Use limits.h only where available.
6332
6333         * hash.c: Use INVALID_PTR and INVALID_PTR_BYTE.  Include limits.h.
6334
6335 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
6336
6337         * main.c: Added options --inet4-only and --inet6-only.
6338
6339 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
6340
6341         * host.c (host_errstr): Use the more standard message "Unknown
6342         host".
6343
6344 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
6345
6346         * connect.c (connect_to_host): Use that flag to decide whether to
6347         re-resolve the host name.
6348
6349         * host.c (struct address_list): Added a flag that maintains
6350         whether the connection worked at some point.
6351
6352 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
6353
6354         * host.c (lookup_host): Special-case the numeric addresses only in
6355         the non-IPv6 case.
6356
6357 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
6358
6359         * connect.c (resolve_bind_address): Call lookup_host_passive.
6360         Make sure that opt.bind_address is resolved only once.
6361
6362         * host.c (lookup_host_passive): New function, handles "passive"
6363         lookups.
6364         (lookup_host): Remove the passive flags.  Remove the
6365         family-related flags -- use ip_default_family instead.
6366
6367 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
6368
6369         * html-url.c: Get URLs from <object data="...">.
6370
6371 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
6372
6373         * main.c (option_data): Specify the command to use for --mirror.
6374
6375 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
6376
6377         * cookies.c (cookie_handle_set_cookie): Specify exact match for
6378         unspecified domains.
6379
6380 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
6381
6382         * main.c (main): Removed one-letter options `-C', `-g', `-G', and
6383         `-s'.
6384
6385 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
6386
6387         * main.c (main): Add --dont-remove-listing for backward
6388         compatibility with previous versions.
6389         (print_help): Fix typo, spotted by Dennis Smit.
6390
6391 2003-11-08  Gisle Vanem  <giva@bgnett.no>
6392
6393         * ftp-basic.c: Support Windows-2000 ftp servers. Win-2000 *is*
6394         Win-NT 5.0 so calling it ST_WINNT is okay I guess.
6395
6396 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
6397
6398         * progress.c (update_speed_ring): Clear the speed ring when the
6399         download stalls.
6400
6401         * retr.c (get_contents): Specify 0.95s read timeout, so that the
6402         progress gauge can be updated even when data arrives very slowly
6403         or stalls.
6404
6405 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
6406
6407         * utils.c (wtimer_allocate): Bless the use of wtimer_read on a
6408         timer that has merely been allocated because get_contents() does
6409         that.
6410         (wtimer_update): Abort if the timer is not initialized.
6411
6412 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
6413
6414         * retr.c (get_contents): Pass the timer to limit_bandwidth().
6415
6416         * utils.c (wtimer_update): New function instead of wget_elapsed;
6417         just update the timer, but don't return anything.
6418         (wtimer_read): Read and return the last known value of the timer.
6419
6420 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
6421
6422         * http.c (persistent_available_p): Instead of matching all the
6423         addresses of HOST and last host, determine the peer's IP address
6424         with socket_ip_address and see if that address is one of those
6425         HOST resolves to.
6426
6427         * host.c (address_list_match_all): Removed.
6428         (address_list_find): New function, finds an IP address in the
6429         address list.
6430
6431         * ftp.c (ftp_do_pasv): Get the peer's address here, and pass it to
6432         ftp_epsv so it doesn't need to call getpeername.
6433
6434         * ftp-basic.c (ftp_port): Use socket_ip_address instead of
6435         getpeername.
6436         (ftp_lprt): Ditto.
6437
6438         * connect.c (socket_ip_address): Replaces conaddr, generalized to
6439         either get peer's or local address.
6440         (sockaddr_get_data): Made local to this file.
6441
6442 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
6443
6444         * hash.c (HASH_POSITION): Explicitly accept the hash function.
6445         (grow_hash_table): Extract ht->hash_function outside the loop.
6446         (hash_table_remove): Ditto.
6447         (hash_table_clear): Fill entries with 0xff to clear them.
6448         (hash_table_remove): Mark entries as deleted with the correct
6449         marker.
6450
6451 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
6452
6453         * http.c (persistent_available_p): No reason for the host lookup
6454         to be silent -- it's a lookup like any other.
6455
6456 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
6457
6458         * connect.c (register_extended): Check that fd >= 0.
6459
6460 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
6461
6462         * connect.c (LAZY_RETRIEVE_INFO): Set LAST_INFO.
6463
6464 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
6465
6466         * hash.c (NON_EMPTY): Use the all-bit-set value as the marker that
6467         the field is empty.  This allows NULL pointer and 0 value to be
6468         used as keys, which is necessary for the connect.c code to work
6469         when fd==0.
6470         (hash_table_new): Fill mappings with 0xff.
6471         (grow_hash_table): Ditto.
6472
6473 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
6474
6475         * url.c (url_parse): Allow empty ports.
6476
6477 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
6478
6479         * main.c (print_help): Break the help string into multiple chunks.
6480         (cmdline_option): New option handler OPT_FUNCALL.  Generalized
6481         HANDLE_CMD to generic DATA.
6482         (option_data): Use the new OPT_FUNCALL feature.
6483
6484 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
6485
6486         * log.h: Declare log_init, log_close, and
6487         log_request_redirect_output here.
6488
6489 2003-11-05  Dennis Smit  <ds@nerds-incorporated.org>
6490
6491         * main.c: (main): added --preserve-permissions option.
6492
6493         * ftp.c (ftp_retrieve_list): added support for
6494         --preserve-permissions option.
6495
6496         * init.c: added support for --preserve-permission option.
6497
6498         * option.h: added support for --preserve-permission option.
6499
6500 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
6501
6502         * main.c (init_switches): New function.  Convert option_data to
6503         long_options and short_options, which can be fed to getopt_long.
6504         (main): Execute command-line options by consulting option_data.
6505
6506 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
6507
6508         * gen_sslfunc.c (ssl_read): Implement a more correct check for
6509         EINTR.
6510         (ssl_write): Ditto.
6511         (init_ssl): Use a global SSL context.
6512
6513 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
6514
6515         * connect.c (xclose): Free INFO even if it doesn't provide a
6516         closer.
6517
6518 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
6519
6520         * connect.c: Updated all callers of
6521         iread/ssl_iread/iwrite/ssl_iwrite to use xread and xwrite instead.
6522
6523         * rbuf.h (struct rbuf): Removed the SSL member because SSL is
6524         handled automatically by xread.
6525
6526         * hash.c (ptrhash): Made private.
6527         (ptrcmp): Ditto.
6528         (inthash): Removed.
6529
6530         * connect.c (select_fd): Don't set errno, leave it to the caller.
6531
6532         * gen_sslfunc.c (connect_ssl): Use register_extended to register
6533         SSL callbacks for communication with SSL-enabled endpoints.
6534         (ssl_read): New function.
6535         (ssl_write): Ditto.
6536         (ssl_poll): Ditto.
6537         (ssl_close): Ditto.
6538
6539         * connect.c (register_extended): New function -- register
6540         callbacks for basic socket operations.
6541         (xread): Ditto.
6542         (xwrite): Ditto.
6543         (xclose): Ditto.
6544         (sock_read): New function, default implementation for reading.
6545         (sock_write): Ditto for writing.
6546         (sock_poll): Ditto for polling.
6547         (sock_close): Ditto for closing.
6548
6549 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
6550
6551         * connect.c (bindport): Fix compilation under pre-C99 compilers.
6552
6553 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
6554
6555         * connect.c (connect_to_ip): More compact error checking.
6556         (bindport): Don't treat failed setsockopt as a fatal error.
6557
6558 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
6559
6560         * connect.c (resolve_bind_address): Use a more accurate error
6561         message -- we're not binding to ANY, we're disabling bind
6562         altogether.
6563
6564 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
6565
6566         * cookies.c (save_cookies_mapper): Respect the setting of
6567         keep-session-cookies.
6568         (cookie_jar_load): Import session cookies.
6569         Based on code submitted by Nicolas Schodet.
6570
6571         * utils.c (datetime_str): Use information in TM when it's
6572         non-NULL.
6573
6574         * main.c (main): New option `--keep-session-cookies'.
6575
6576 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
6577
6578         * Makefile.in (realclean): Delete config.h.in.
6579
6580 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
6581
6582         * config-post.h: New file, included from now autogenerated
6583         config.h.in.
6584
6585 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
6586
6587         * progress.c (progress_handle_sigwinch): Don't call
6588         determine_screen_width() from the signal handler.  Instead, just
6589         set a volatile variable.
6590         (bar_create): Check whether SIGWINCH was received.
6591         (bar_update): Ditto.
6592
6593         * sysdep.h: Define SYSTEM_FNMATCH only if HAVE_FNMATCH_H is true.
6594
6595 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
6596
6597         * utils.c (xsleep): New function.  Uses nanosleep where available,
6598         resuming sleeps interrupted by signals.  Updated callers of sleep
6599         and usleep to use xsleep.
6600
6601 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
6602
6603         * ftp-basic.c (ftp_login): Remove shadowing (and bogus)
6604         declaration of SEED.
6605
6606 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
6607
6608         * log.c (logvprintf): Documented better.  Renamed to
6609         log_vprintf_internal to avoid confusion with the public API
6610         functions logprintf and logputs.
6611
6612 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
6613
6614         * wget.h (N_): Don't parenthesize argument.
6615
6616 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
6617
6618         * host.h (ADDRESS_IPV4_DATA): Don't take the address of in.s_addr
6619         because that doesn't work on machines that define it as bitfield.
6620
6621 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
6622
6623         * connect.c (select_fd): Generalize the third argument into WAIT,
6624         so that the caller can request waiting for both read and write.
6625         Updated callers.
6626
6627 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
6628
6629         * html-url.c (cleanup_html_url): Destroy the hash tables, don't
6630         just call free on them.
6631         (init_interesting): Use hash_table_put instead of string_set_add
6632         because we don't need the strdup that the latter function
6633         performs.
6634
6635         * init.c (cleanup): Don't pass NULL to cookie_jar_delete.
6636
6637         * xmalloc.c (xfree_real): Abort when passed a NULL pointer.
6638         (xfree_debug): Print at the file and line of the offending call to
6639         free.
6640
6641 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
6642
6643         * wget.h: Retired the `boolean' type.  Moved the DEFAULT_LOGFILE
6644         define to log.h.  Moved the INFINITE_RECURSION define to recur.h.
6645
6646         * xmalloc.h: Renamed FREE_MAYBE to xfree_null and moved the
6647         definition from wget.h to xmalloc.h.
6648
6649 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
6650
6651         * html-parse.c (decode_entity): New function; split the decoding
6652         of entities here.
6653         (convert_and_copy): Use it to decode entities.
6654         (decode_entity): Handle the &apos entity.
6655         (decode_entity): Don't decode Latin 1 numeric entities.  Don't
6656         decode &#0.
6657
6658 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
6659
6660         * ftp-opie.c (calculate_skey_response): Use uint32_t instead of
6661         `unsigned long' for the cheksum array.  Document the function.
6662
6663 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
6664
6665         * connect.c (acceptport): Don't call select_fd when timeout is not
6666         requested.
6667
6668 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
6669
6670         * host.c: Removed the ip_default_family global variable.
6671
6672         * host.c (lookup_host): Document the function.  Fixed declaration
6673         of VEC.
6674
6675 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
6676
6677         * various: Use new macros xnew, xnew0, xnew_array, and xnew0_array
6678         in various places.
6679
6680 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
6681
6682         * wget.h: Move declarations of malloc and logging code to
6683         xmalloc.h and log.h respectively to unclutter this file.
6684         (STRDUP_ALLOCA): Made it side-effect free.
6685
6686         * xmalloc.h: New files.  Define macros xnew, xnew0, xnew_array,
6687         and xnew0_array.
6688
6689         * xmalloc.c: New file.  Move the xmalloc routines here.
6690
6691 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
6692
6693         * connect.c (sockaddr_set_data): Remove the broken code that
6694         checked for NULL address.
6695
6696 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
6697
6698         * host.c (address_list_from_single): Removed.
6699         (address_list_from_ipv4_addresses): Renamed from
6700         address_list_from_vector.
6701
6702 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
6703
6704         * sysdep.h (CLOSE): Don't call close on file descriptors less than
6705         0, i.e. on uncreated sockets.
6706
6707         * connect.c (resolve_bind_address): Work on struct sockaddr
6708         directly.
6709         (connect_to_host): Replacement for connect_to_many.  Resolve HOST
6710         and connect to any of its addresses.  If we can't connect and the
6711         host name lookup was cached, try to resolve it again.  This should
6712         fix problems with hosts behind dynamic DNS.  Updated all callers.
6713         (connect_to_ip): Replacement for connect_to_one.  Removed SILENT;
6714         added the argument PRINT instead.  Updated all callers.
6715         (set_connection_host_name): Removed.
6716
6717         * host.c (address_list_address_at): New function instead of
6718         address_list_copy_one. It returns a pointer to ip_address *, so
6719         it's not necessary to copy the data.
6720         (address_list_cached_p): New function.
6721         (forget_host_lookup): Ditto.
6722
6723         * connect.c: Got rid of the MSOCK global variable.  Made bindport
6724         return the local socket it creates.  Added a new argument to
6725         acceptport, the socket to call accept on.  Updated callers.
6726         (closeport): Removed.
6727
6728         * connect.c: Moved the sockaddr code from host.c to this file,
6729         because most of that stuff is used for connecting, and has nothing
6730         to do with host names anyway.
6731         (sockaddr_set_data, sockaddr_get_data): New functions, replace the
6732         old sockaddr_set_address, sockaddr_set_port, sockaddr_get_address,
6733         and sockaddr_get_port.
6734
6735 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
6736
6737         * sysdep.h: Use `S >= 8' rather than `S == 8' when looking for
6738         large integers.
6739
6740 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
6741
6742         * url.c (append_uri_pathel): New argument ESCAPED_P that says
6743         whether [B, E) is to be treated as URL-escaped or not.  If
6744         ESCAPED_P is false, don't unescape the region.
6745         (url_file_name): u->file is not URL-escaped.
6746
6747 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
6748
6749         * retr.c (retrieve_from_file): Use retrieve_tree for
6750         page-requisites.
6751
6752         * main.c (main): Don't define opt.recursive when -p is used.
6753         Instead, make sure that recursion is used for HTTP in that case.
6754
6755 2003-10-29  Hrvoje Niksic  <hniksic@xemacs.org>
6756
6757         * host.h: Defined accessors for elements of ip_address.  Updated
6758         all callers.
6759         (address_list_match_all): Use memcmp in the non-IPv6 case.
6760
6761         * wget.h (CONNECT_ERROR): Don't retry connecting if connect()
6762         returned EAFNOSUPPORT.
6763
6764 2003-10-27  Mauro Tortonesi <mauro@deepspace6.net>
6765
6766         * connect.h: changed bindport prototype and added the related
6767         BIND_ON_IPV4_ONLY and BIND_ON_IPV6_ONLY flags.
6768
6769         * connect.c: changed bindport and resolve_bind_address to allow
6770         protocol-version specific DNS resolution. modified conaddr,
6771         acceptport and connect_to_one to make use of struct
6772         sockaddr_storage and of the new ip_address structure.
6773
6774         * ftp-basic.c: added LPRT/LPSV (RFC1639) support, refactored
6775         PORT/PASV (RFC959) and EPRT/EPSV (RFC2428) support code.
6776
6777         * ftp.c: added the ftp_do_port and ftp_do_pasv functions to
6778         handle FTP over IPv6.
6779
6780         * ftp.h: changed prototype of ftp_epsv and added prototypes for
6781         ftp_lpsv, ftp_lprt and ftp_eprt.
6782
6783         * host.c: renamed the
6784         wget_sockaddr_set_address and wget_sockaddr_get_addr, and
6785         wget_sockaddr_{s,g}et_port couples to sockaddr_{s,g}et_address and
6786         sockaddr_{g,s}et_port respectively.  changed
6787         address_list_match_all, address_list_from_addrinfo sockaddr_len,
6788         pretty_print_address, lookup_host, sockaddr_{s,g}et_address and
6789         sockaddr_{g,s}et_port to make use of struct sockaddr_storage and
6790         of the new ip_address structure.  removed map_ipv4_to_ip and
6791         map_ip_to_ipv4.
6792
6793         * host.h: redefined structure ip_address and removed structure
6794         wget_sockaddr.
6795
6796 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
6797
6798         * sysdep.h: Include inttypes.h where available.
6799
6800         * host.c: Switch from u_int32_t to uint32_t.
6801
6802 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
6803
6804         * netrc.c (parse_netrc): Reset the QUOTE flag after the closing
6805         quote.
6806
6807 2003-10-25  Hrvoje Niksic  <hniksic@xemacs.org>
6808
6809         * url.c (is_valid_ipv6_address): Reformat to GNU coding style.
6810         Use enums for NS_IN* constants.  Use ISXDIGIT.
6811
6812         * convert.c (construct_relative): Document better how the function
6813         works.
6814
6815 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
6816
6817         * config.h.in: Deploy preprocessor magic to avoid Ultrix's
6818         <netdb.h> include <bitypes.h> which defines its own u_int32_t.
6819         Reported by Bernhard Simon.
6820
6821 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
6822
6823         * version.c: Bump version.
6824
6825 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
6826
6827         * url.c: Ditto.
6828
6829         * html-parse.c (advance_declaration): Don't use trailing comma in
6830         enum because older compilers don't support it.
6831
6832         * utils.c: Don't redefine HAVE_SIGSETJMP.
6833
6834 2003-10-16  Hrvoje Niksic  <hniksic@xemacs.org>
6835
6836         * convert.c (construct_relative): Don't handle absolute files
6837         specially -- for example, -P/tmp/foo shouldn't imply that
6838         converted files must refer to "/tmp/foo/..."!
6839
6840 2003-10-15  Hrvoje Niksic  <hniksic@xemacs.org>
6841
6842         * http.c: Consider status 307 a valid redirect.
6843
6844 2003-10-15  Philip Stadermann  <philip.stadermann@credativ.de>
6845
6846         * ftp.c (ftp_retrieve_glob): Correctly loop through the list whose
6847         elements might have been deleted.
6848
6849 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
6850
6851         * html-url.c (tag_handle_meta): Set the Refresh link to expect
6852         HTML.
6853         (append_one_url): Renamed to append_url.
6854
6855 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
6856
6857         * sysdep.h: Only define u_int32_t.
6858
6859 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
6860
6861         * utils.c (large_int_to_string): Use snprintf() to print the
6862         number.  This will work even on systems where libc doesn't
6863         understand %lld, but the compiler does, because it will use our
6864         snprintf replacement.
6865
6866         * init.c (parse_bytes_helper): New function.
6867         (cmd_bytes): Use it to parse bytes, but cast the result to long.
6868         (cmd_bytes_large): Ditto, but store the result to LARGE_INT.  Used
6869         for --quota so that --quota=10G works even on machines without
6870         long long.
6871
6872         * options.h (struct options): Declare quota as LARGE_INT.
6873
6874         * retr.c (downloaded_exceeds_quota): Removed.
6875         (downloaded_increase): Ditto.
6876         (total_downloaded_bytes): New variable, replaces opt.downloaded,
6877         which was the wrong place for it anyway.  Updated callers of
6878         downloaded_exceeds_quota and downloaded_increase to check this
6879         variable directly.
6880
6881         * sysdep.h: Get rid of VERY_LONG_TYPE.  Use LARGE_INT for the same
6882         purpose, defined as `long', `long long' or `double', depending on
6883         size of long and whether long long is available.
6884
6885 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
6886
6887         * sysdep.h: Also check size of short for int32_t.
6888
6889 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
6890
6891         * host.c (lookup_host): Use u_int32_t to store the result of
6892         inet_addr().  That removes the need for offset fiddling, caring
6893         about endian-ness, etc.
6894
6895         * sysdep.h: Define int32_t and u_int32_t if not available.
6896
6897 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
6898
6899         * ftp-basic.c (ftp_epsv): Use socklen_t * as the third argument to
6900         getpeername.
6901
6902         * config.h.in: Define socklen_t stub.
6903
6904         * host.c (sockaddr_len): Return socklen_t.
6905
6906         * connect.c (conaddr): Use socklen_t as the third argument to
6907         accept, getsockname, and connect.
6908
6909 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
6910
6911         * recur.c (retrieve_tree): Don't descend into documents that are
6912         not expected to contain HTML, regardless of their content-type.
6913
6914         * html-url.c (tag_url_attributes): Record which attributes are
6915         supposed to yield HTML links that can be followed.
6916         (tag_find_urls): Propagate that information to the caller through
6917         struct urlpos.
6918
6919 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
6920
6921         * hash.c (find_mapping): Return the next available mapping when
6922         the key is not found, not NULL.
6923         (hash_table_put): Use find_mapping to find the storage for the new
6924         data.
6925         (hash_table_put): Grow the table before exceeding maximum
6926         fullness, not afterwards.
6927
6928 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
6929
6930         * hash.c (hash_table_new): Slightly change the meaning of the
6931         first parameter.  Instead of being the minimum initial size, it is
6932         now the minimum number of items that the hash table can take
6933         without needing to resize.
6934
6935 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
6936
6937         * html-url.c (init_interesting): Initialize interesting_tags and
6938         interesting_attributes as hash tables.  This simplifies the code
6939         immensely because hash tables handle allocation and remove
6940         duplicates automatically.
6941         (find_tag): Removed.
6942         (collect_tags_mapper): Instead of calling find_tag, simply get the
6943         entry from interesting_tags hash table, which is both simpler and
6944         faster.
6945
6946 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
6947
6948         * hash.c (hash_table_get): Declare hash-table argument as const.
6949         (find_mapping): Ditto.
6950         (hash_table_get_pair): Ditto.
6951         (hash_table_contains): Ditto.
6952         (hash_table_count): Ditto.
6953
6954 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
6955
6956         * html-url.c (get_urls_html): Parse the appropriate flags to
6957         html-parse.c.
6958
6959         * html-parse.c (map_html_tags): Accept FLAGS from the caller
6960         instead of examining OPT.
6961
6962 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
6963
6964         * html-url.c (find_tag): Switch to binary search.
6965
6966 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
6967
6968         * main.c (print_help): Fix typo; stured -> stored.
6969
6970 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
6971
6972         * getopt.c: Add definitions of getopt_long and getopt_long_only.
6973
6974 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
6975
6976         * config.h.in: Renamed DEBUG to ENABLE_DEBUG.  ENABLE_DEBUG is, I
6977         think, a better name, because it implies that debugging output is
6978         merely possible, not "on by default", as might be construed from
6979         just DEBUG.
6980
6981 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
6982
6983         * ftp.c (has_insecure_name_p): Define it here.
6984
6985         * utils.c (has_wildcards_p): Define it here.
6986
6987         * sysdep.h: Declare fnmatch-related macros here, if not using
6988         system fnmatch().  Update .c files to not declare fnmatch.h
6989         directly.
6990
6991         * cmpt.c (fnmatch): Moved here.  Use it only under non-GNU libc.
6992
6993 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
6994
6995         * getopt.c: Newer version, imported from Free libit.
6996
6997 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
6998
6999         * cookies.c (struct cookie): Remove unused backpointer to cookie
7000         jar.
7001
7002 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
7003
7004         * cmpt.c (memmove): Comment out, since it's no longer used.
7005
7006         * cookies.c (cookie_jar_generate_cookie_header): Allocate room for
7007         chains in one pass.
7008         (find_chains_of_host): Assume that the caller has allocated DEST
7009         to be sufficiently large to take all the data.
7010         (eliminate_dups): Run through the array and eliminate dups on the
7011         fly instead of using memmove.
7012         (cookie_jar_process_set_cookie): Free cookie->domain before
7013         re-setting it.
7014
7015 2003-10-05  Gisle Vanem  <giva@bgnett.no>
7016
7017         * mswindows.c (set_sleep_mode): Fix type of
7018         _SetThreadExecutionState.
7019
7020 2003-10-05  Hrvoje Niksic  <hniksic@xemacs.org>
7021
7022         * utils.c (file_size): Return -1 if fopen() returns NULL.  Prior
7023         to this patch, wget --post-file=nosuchfile dumped core.
7024
7025 2003-10-04  Gisle Vanem  <giva@bgnett.no>
7026
7027         * mswindows.c (run_with_timeout): Use WaitForSingleObject to wait
7028         for thread termination.
7029
7030 2003-10-04  Hrvoje Niksic  <hniksic@xemacs.org>
7031
7032         * log.c: Use `...' in function definitions; ansi2knr will convert
7033         them to va_dcl.  This allowed removal of the ugly VA_START_1 and
7034         VA_START_2 macros.
7035
7036 2003-10-03  Gisle Vanem  <giva@bgnett.no>
7037
7038         * connect.c: And don't include them here.
7039
7040         * mswindows.h: Include winsock headers here.
7041
7042 2003-10-03  Hrvoje Niksic  <hniksic@xemacs.org>
7043
7044         * html-parse.c (convert_and_copy): Move variable declarations
7045         before statements.
7046
7047 2003-10-02  Gisle Vanem  <giva@bgnett.no>
7048
7049         * mswindows.c (run_with_timeout): For Windows: Run the 'fun' in a
7050         thread via a helper function. Continually query the thread's
7051         exit-code until finished or timed out.
7052
7053 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
7054
7055         * wget.h (XMALLOC_ARRAY): Removed.
7056         (ALLOCA_ARRAY): Ditto.
7057
7058         * html-parse.c: Renamed alloca_p to resized.
7059         (GROW_ARRAY): Renamed DO_REALLOC_FROM_ALLOCA to GROW_ARRAY and
7060         returned it to html-parse.c, since nothing else was using it.
7061
7062 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
7063
7064         * retr.c (retrieve_url): Initialize DUMMY storage for DT.  Caught
7065         by valgrind.
7066
7067 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
7068
7069         * html-parse.c (convert_and_copy): Handle numeric entities in
7070         hexadecimal, &#xHH.
7071         (convert_and_copy): Copy the contents directly to the pool without
7072         a stack-allocated intermediary.
7073
7074 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
7075
7076         * utils.c (alarm_set): New function; use either setitimer or alarm
7077         to set up the alarm.
7078         (alarm_cancel): New function; cancel the alarm set up by
7079         alarm_set.
7080         (run_with_timeout): Use them.
7081
7082 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
7083
7084         * url.c (url_parse): Don't leak memory when a reencoded URL turns
7085         out to be invalid.
7086
7087         * url.c (parse_errors): Mark error messages for translation.
7088         (url_error): Translate error messages returned to the caller.
7089
7090 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
7091
7092         * ftp.c (ftp_loop_internal): Initialize TMRATE to NULL to shut up
7093         the compiler.
7094
7095 2003-09-26  Gisle Vanem  <giva@bgnett.no>
7096
7097         * src/mswindows.c: Added ws_percenttitle() showing progress in the
7098         window titlebar. Called from retr.c. Secured ws_mypath().
7099
7100         * windows/config.h.ms: alloca() prototype not needed.  Removed
7101         "#undef ENABLE_NLS"; should be in Makefile IMHO. Moved
7102         WGET_USE_STDARG from mswindows.h to config.ms.h because of #ifdef
7103         in log.c. (MSVC's vararg.h and stdarg.h are incompatible).
7104
7105 2003-09-29  Aaron Hawley <Aaron.Hawley@uvm.edu>
7106
7107         * ftp.c (getftp): --spider option should now work with FTP
7108         downloads.
7109         (ftp_loop_internal): quiet reports and calculations of downloads
7110         when --spider option set, nor try deleting when --delete-after
7111         also set.
7112         (ftp_loop): --spider will skip HTML-ification of .listing file.
7113
7114 2003-09-26  Gisle Vanem  <giva@bgnett.no>
7115
7116         * mswindows.c (read_registry): Removed.
7117         (set_sleep_mode): New function.
7118         (windows_main_junk): Call it.
7119
7120 2003-09-26  Gisle Vanem  <giva@bgnett.no>
7121
7122         * mswindows.c (read_registry): Fix invocation of registry
7123         functions.
7124
7125         * mswindows.c (read_registry): Condition definitions of sleep and
7126         usleep with not HAVE_SLEEP and HAVE_USLEEP respectively.  Define
7127         HAVE_SLEEP and HAVE_USLEEP under __DMC__.
7128
7129 2003-09-24  Hrvoje Niksic  <hniksic@xemacs.org>
7130
7131         * url.c (url_escape_1): Revert unintentional change to lowercase
7132         xdigit escapes.
7133         (url_escape_dir): Document that this function depends on the
7134         output of url_escape_1.
7135
7136 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
7137
7138         * progress.c (create_image): Print the current ETA if we're done
7139         with the download.
7140         (create_image): Change '-' display char to '+' in the progress bar.
7141
7142         * Makefile.in (clean): Remove .libs.
7143
7144 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
7145
7146         * cookies.c (struct cookie): New flag domain_exact.
7147         (update_cookie_field): Skip leading dot in domain.
7148         (find_matching_chains): Match numeric addresses exactly; don't
7149         needlessly copy HOST to the stack.
7150         (matching_cookie): Added argument HOST.  If cookie->domain_exact
7151         is set, check that HOST is equal to cookie->domain.
7152         (cookie_jar_load): Only use TAB as delimiter.  Document the
7153         meaning of DOMAIN-FLAG.  Skip leading dot in domain.
7154         (cookie_jar_load): Don't ignore DOMAIN-FLAG -- instead, set
7155         domain_exact to true if DOMAIN-FLAG is false.
7156         (save_cookies_mapper): If domain_exact is false, prepend the
7157         domain with dot, like Mozilla does.
7158
7159 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
7160
7161         * progress.c (create_image): Print the initial part of the
7162         download with '-' characters, analogous to how dot progress prints
7163         the initial part with ','.
7164
7165         * hash.c (ptrhash): New function.
7166         (ptrcmp): Ditto.
7167         (hash_table_new): Default to identity hash table.
7168
7169 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
7170
7171         * safe-ctype.h (_sch_test): The cast of BIT to unsigned char was
7172         broken -- _sch_istable bitmasks are 16-bit, not 8-bit!  Cast BIT
7173         to unsigned short instead.
7174
7175 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
7176
7177         * url.c (path_simplify): Instead of calls to memmove, handle "./"
7178         and "../" by advancing pointers.
7179
7180 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
7181
7182         * retr.c (getproxy): Moved from url.c.
7183
7184         * convert.c: Split off link conversion from url.c into separate
7185         file.  Also included the book-keeping stuff from recur.c.
7186
7187 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
7188
7189         * init.c: Improved documentation of functions.
7190         (cmd_boolean): Attempt to make code that tries to avoid calling
7191         strcmp for "speed" a bit more readable.
7192
7193         * init.c (simple_atof): Report error on encountering non-digit,
7194         non-"." character.
7195         (simple_atoi): Replacement for myatoi(), calling interface
7196         compatible with simple_atof.  Updated myatoi's callers.
7197
7198 2003-09-21  Bertrand Demiddelaer  <bert@b3rt.org>
7199
7200         * url.c (path_simplify): Would read two bytes past the end of the
7201         string in the "./" case.
7202
7203 2003-09-21  Matthew J. Mellon  <mellon@tymenet.com>
7204
7205         * http.c (gethttp): Recognize content-type "application/xhtml+xml"
7206         as what Wget considers "text/html".
7207
7208 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
7209
7210         * connect.c (connect_with_timeout): Made timeout type double.
7211
7212         * options.h (struct options): New members read_timeout,
7213         dns_timeout, and connect_timeout.
7214         Use them.
7215
7216 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
7217
7218         * init.c (simple_atof): New function.
7219         (cmd_time): Use it.
7220         (cmd_bytes): Accept things like "1.5k" and such.  Use simple_atof
7221         to parse decimals.
7222
7223         * retr.c (limit_bandwidth): Adjust each sleep by the error of the
7224         previous one.
7225
7226 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
7227
7228         * main.c (main): Use setoptval() for setting the options.  Use
7229         run_command for `-e'.
7230
7231         * init.c (parse_line): Rewritten to return COMIND right away.
7232         Changed linkage to static.
7233         (run_wgetrc): Use the available comind when calling setval, so it
7234         doesn't have to be computed twice.
7235         (setval_internal): New function, runs the command's action without
7236         any error checking.
7237         (setoptval): New function, does what setval used to do, but exits
7238         in case of error.
7239         (run_command): New function.
7240
7241 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
7242
7243         * connect.c (select_fd): Change MAXTIME's type to double.  Handle
7244         its decimal part.
7245
7246         * retr.c (sleep_between_retrievals): In the random-wait case, use
7247         random_float() to wait between 0 and 2*opt.wait seconds.
7248
7249         * utils.c (run_with_timeout): Accept `double' timeouts.  Correctly
7250         handle timeout values in (0, 1) range.
7251         (random_float): New function.
7252
7253         * options.h (struct options): Change the types of wait, waitretry,
7254         and timeout to double.
7255
7256         * init.c (cmd_time): Accept floating point time.
7257
7258 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
7259
7260         * retr.c (get_contents): Cosmetic fixes.
7261
7262 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
7263
7264         * url.c (uri_merge): Get rid of uri_merge_1.
7265         (uri_merge): Merge "foo//", "bar" as "foo//bar", not "foo///bar",
7266         i.e. don't add an extra slash merely because BASE ends with two
7267         slashes.
7268         (parse_credentials): Renamed from parse_uname.  Rewrittern in
7269         standard [beg, end) calling style.
7270         (url_skip_credentials): Renamed from url_skip_uname.  Made static.
7271         (url_skip_credentials): Include # and ; as terminators.  Old code
7272         would mistakenly consider "http://foo.com#hniksic@iskon.hr" to
7273         contain a username.
7274         (url_skip_scheme): Removed because it was unused.
7275         (url_has_scheme): Require "scheme" to be at least one char long.
7276
7277 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
7278
7279         * url.c (url_file_name): Expect NULL dir_prefix.
7280
7281         * init.c (cmd_file): Use a macro to prevent multiple #ifdef
7282         WINDOWS.
7283         (defaults): Set dir_prefix to NULL by default.
7284
7285 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
7286
7287         * safe-ctype.h (_sch_test): Cast BIT to unsigned char, like latest
7288         gcc does.
7289
7290 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
7291
7292         * wget.h (BOUNDED_TO_ALLOCA): Evaluate PLACE only once.
7293         (ARRAY_SIZE): Renamed to countof.  All callers updated.
7294
7295 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
7296
7297         * main.c (main): New option --strict-comments.
7298
7299         * html-parse.c (find_comment_end): New function: simple BM search
7300         for "-->".
7301         (map_html_tags): Use it if looking at a comment and not in strict
7302         comments mode.
7303
7304 2003-09-17  Aurelien Marchand  <artaxerxes@users.sf.net>
7305
7306         * ftp.h: Added OS400 system in enum
7307         * ftp-basic.c: recognize OS400 systems
7308         * ftp.c: don't prepend the CWD if talking to OS400, since it
7309         breaks the change in library
7310
7311 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
7312
7313         * retr.c (get_contents): Pass the correct argument to ssl_iread.
7314
7315 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
7316
7317         * safe-ctype.h: Don't #define ctype.h macros to errors because
7318         that loses when someone #include's ctype.h after safe-ctype.h.
7319
7320 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
7321
7322         * url.c: Undef U, W, C after use.
7323
7324 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
7325
7326         * init.c (cmd_spec_restrict_file_names): Allow the OS setting to
7327         be augmented by ",nocontrol" which means don't escape the control
7328         characters, but otherwise keep OS settings.
7329
7330         * url.c (file_unsafe_char): Deleted.
7331         (append_uri_pathel): Query filechr_table directly.
7332         (filechr_table): Separated Unix, Windows, and control-unsafe
7333         characters.
7334
7335 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
7336
7337         * url.c (url_escape_1): New function.
7338         (url_escape): Use it.
7339         (sync_path): Handle pathological cases where u->file and u->dir
7340         contain really strange characters.
7341         (ENCODE): Deleted.
7342         (REENCODE): Deleted.
7343
7344 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
7345
7346         * url.c (url_file_name): Don't reallocate FNAME if the file
7347         doesn't exist, as is usually the case.
7348
7349         * utils.c (unique_name): New flag allow_passthrough.
7350
7351 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
7352
7353         * utils.c (wtimer_sys_diff): Convert the time difference to signed
7354         __int64, then to double.  This works around MS VC++ 6 which can't
7355         convert unsigned __int64 to double directly.
7356
7357 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
7358
7359         * Makefile.in (clean): Also remove the core.<number> files
7360         produced by recent Linux systems.
7361
7362 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
7363
7364         * http.c (post_file): Don't pad the file if it's not large
7365         enough.  Bail out instead.
7366
7367 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
7368
7369         * retr.c (get_contents): Reduce the buffer size to the amount of
7370         data that may pass through for one second.  This prevents long
7371         sleeps when limiting bandwidth.
7372
7373         * connect.c (connect_to_one): Reduce the socket's RCVBUF when
7374         bandwidth limitation to small values is requested.
7375
7376 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
7377
7378         * progress.c (update_speed_ring): Moved the speed ring update to a
7379         separate function and documented it better.
7380
7381         * progress.c: Use `double' for most timers to support granularity
7382         smaller than 1ms.
7383
7384 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
7385
7386         * wget.h (XDIGIT_TO_XCHAR): Implement as index into a literal
7387         string.
7388         (XDIGIT_TO_xchar): Ditto.
7389
7390 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
7391
7392         * utils.c: Change the type of timer-related functions from long to
7393         double, for better precision.  On machines supporting gettimeofday
7394         the timers now work with granularity of less than one millisecond.
7395
7396 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
7397
7398         * cookies.c (parse_set_cookies): Fixed the parser to handle more
7399         edge conditions.
7400         (test_cookies): New function, contains a test suite for
7401         parse_set_cookies.
7402
7403 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
7404
7405         * url.c (strpbrk_or_eos): Implement as a macro under Gcc.
7406
7407 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
7408
7409         * cookies.c (parse_set_cookies): Allow trailing space in
7410         set-cookies header.  Also, allow any amount of whitespace, not
7411         only one character.  Allow empty set-cookies header without
7412         spewing an error.
7413
7414 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
7415
7416         * url.c (append_uri_pathel): Use opt.restrict_file_names when
7417         calling file_unsafe_char.
7418
7419         * init.c: New command restrict_file_names.
7420
7421         * main.c (main): New option --restrict-file-names[=windows,unix].
7422
7423         * url.c (url_file_name): Renamed from url_filename.
7424         (url_file_name): Add directory and hostdir prefix here, not in
7425         mkstruct.
7426         (append_dir_structure): New function, does part of the work that
7427         used to be in mkstruct.  Iterates over path elements in u->path,
7428         calling append_uri_pathel on each one to append it to the file
7429         name.
7430         (append_uri_pathel): URL-unescape a path element and reencode it
7431         with a different set of rules, more appropriate for handling of
7432         files.
7433         (file_unsafe_char): New function, uses a lookup table to decide
7434         whether a character should be escaped for use in file name.
7435         (append_string): New utility function.
7436         (append_char): Ditto.
7437         (file_unsafe_char): New argument restrict_for_windows, decide
7438         whether Windows file names should be escaped in run-time.
7439
7440         * connect.c: Include <stdlib.h> to get prototype for abort().
7441
7442 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
7443
7444         * utils.c (wtimer_sys_set): Extracted the code that sets the
7445         current time here.
7446         (wtimer_reset): Call it.
7447         (wtimer_sys_diff): Extracted the code that calculates the
7448         difference between two system times here.
7449         (wtimer_elapsed): Call it.
7450         (wtimer_elapsed): Don't return a value smaller than the previous
7451         one, which could previously happen when system time is set back.
7452         Instead, reset start time to current time and note the elapsed
7453         offset for future calculations.  The returned times are now
7454         guaranteed to be monotonically nondecreasing.
7455
7456 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
7457
7458         * host.c (lookup_host): Print the result of the DNS lookup.
7459
7460 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
7461
7462         * init.c (cmd_boolean): Accept yes/no along with on/off.
7463         (cmd_lockable_boolean): Ditto.
7464
7465 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
7466
7467         * init.c: New command dns_cache.
7468
7469         * main.c (main): New option --dns-cache[=off].
7470
7471 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
7472
7473         * config.h.in: Initialize HAVE_GETADDRINFO and ENABLE_IPV6.
7474
7475         * all: Use #ifdef ENABLE_IPV6 instead of the older INET6.  Use
7476         HAVE_GETADDRINFO for getaddrinfo-related stuff.
7477
7478 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
7479
7480         * url.c (url_parse): Return an error if the URL contains a [...]
7481         IPv6 numeric address and we don't support IPv6.
7482
7483 2003-09-05  Hrvoje Niksic  <hniksic@xemacs.org>
7484
7485         * url.c (is_valid_ipv6_address): Modified to not require
7486         zero-terminated strings.
7487         (is_valid_ipv4_address): Ditto.
7488
7489 2003-09-05  Mauro Tortonesi <mauro@deepspace6.net>
7490
7491         src/url.c: added RFC 2732 compliance for URL parsing. The
7492         functions is_*_address valid are a modified version of
7493         glibc 2.3.2 inet_pton's code.
7494
7495 2003-09-03  Ahmon Dancy  <dancy@dancysoft.com>
7496
7497         * main.c init.c options.h: Added --retry-connrefused option so
7498         that Connection Refused failures are treated as non-fatal (when
7499         trying to retrieve from busy servers).
7500
7501         * wget.h: New CONNECT_ERROR macro for encapsulating this
7502         modification.
7503
7504         * ftp.c http.c : Use CONNECT_ERROR macro in places where
7505         ECONNREFUSED was checked.
7506
7507 2003-01-11  Ian Abbott  <abbotti@mev.co.uk>
7508
7509         * ftp.c (ftp_retrieve_glob): Reject insecure filenames as determined
7510         by calling new function has_insecure_name_p.  This is based on a
7511         patch by Red Hat.
7512
7513         * fnmatch.c (has_insecure_name_p): New function: returns non-zero
7514         if filename starts with `/' or contains `../' and is therefore
7515         considered insecure.
7516
7517         * fnmatch.h: Declare has_insecure_name_p().
7518
7519 2002-08-03  Hrvoje Niksic  <hniksic@xemacs.org>
7520
7521         * init.c (cmd_file): Allocate RESULT correctly.
7522
7523 2002-07-24  Hrvoje Niksic  <hniksic@xemacs.org>
7524
7525         * recur.c (retrieve_tree): Check whether downloaded_html_set is
7526         non-NULL before using it.
7527
7528 2002-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
7529
7530         * html-parse.c (NAME_CHAR_P): Allow almost any character here.
7531
7532 2002-05-24  Hrvoje Niksic  <hniksic@arsdigita.com>
7533
7534         * progress.c (bar_set_params): Fall back to dot progress if the
7535         terminal type is "emacs".
7536
7537 2002-05-20  Hrvoje Niksic  <hniksic@arsdigita.com>
7538
7539         * log.c: Don't #undef WGET_USE_STDARG.
7540
7541 2002-05-16  Hrvoje Niksic  <hniksic@arsdigita.com>
7542
7543         * hash.c (prime_size): Store the offset of the prime number in the
7544         prime table.  When searching, start with the given offset.
7545         (hash_table_new): Pass the pointer to ht->prime_offset to
7546         prime_size.
7547         (grow_hash_table): Ditto.
7548         (prime_size): Make 13 the first prime to make empty hash tables
7549         slightly smaller.
7550
7551 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
7552
7553         * recur.c (download_child_p): Minor optimization to avoid an
7554         unnecessary additional call to schemes_are_similar_p function.
7555
7556 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
7557
7558         * url.c (schemes_are_similar_p): New function to test enumerated
7559         scheme codes for similarity.
7560
7561         * url.h: Declare it.
7562
7563         * recur.c (download_child_p): Use it to compare schemes.  This
7564         also fixes a bug that allows hosts to be spanned (without the
7565         -H option) when the parent scheme is https and the child's is
7566         http or vice versa.
7567
7568 2002-05-14  Bill Richardson  <bill@riverstonenet.com>
7569
7570         * ftp.c (getftp): Don't ftruncate stdout.
7571
7572         * http.c (gethttp): Don't ftruncate stdout.
7573
7574 2002-05-09  Ian Abbott  <abbotti@mev.co.uk>
7575
7576         * cmpt.c (strptime_internal): Synched with glibc-2.1.3.
7577         (get_number): Ditto.
7578         (get_alt_number): Ditto.
7579         (__isleap): New function-like macro used by strptime.
7580         (day_of_the_week): New function used by strptime.
7581         (day_of_the_year): Ditto.
7582         (__mon_yday): Now shared by mktime and strptime implementations.
7583
7584 2002-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
7585
7586         * cookies.c (check_domain_match): Use match_tail in case
7587         insensitive mode.
7588
7589         * utils.c (match_tail): Allow the caller to specify case
7590         insensitive mode.
7591
7592         * cookies.c (store_cookie): When expiry_time is 0, print it as
7593         undefined, not indefinite.
7594
7595 2002-05-07  Ian Abbott  <abbotti@mev.co.uk>
7596
7597         * cookies.c (cookie_jar_process_set_cookie): Do not store
7598         discarded cookie.
7599
7600 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
7601
7602         * cookies.c (check_domain_match): Allow cookies to be set for
7603         subdomains of unknown top-level domains under some circumstances.
7604
7605 2002-04-21  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
7606
7607         * gen_ssl.c:
7608         - allow checking of server cert
7609         - allow defining client cert type
7610         - allow limit of ssl protocol
7611         - check more return values
7612         - added debug message on break
7613
7614 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
7615
7616         * recur.c (download_child_p): Revert order of items in check
7617         number 6 for clarity.
7618
7619 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
7620
7621         * init.c: Ditto.
7622
7623         * main.c: Ditto.
7624
7625         * http.c: Use the new interface.
7626
7627         * cookies.c: Provide an OO-style "cookie jar" interface to enable
7628         separate cookie jars.
7629
7630         * http.c (http_atotm): Declare argument as const.
7631
7632 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
7633
7634         * cookies.c (cookie_new): Default to PORT_ANY.
7635         (find_cookie_chain_exact): Only search by DOMAIN.
7636         (find_matching_cookie): Also check that PORT matches.
7637         (store_cookie): Only match the domain.
7638         (set_cookie_header_cb): When a cookie "fakes" a domain, assume it
7639         is valid for that host rather than discarding it completely.
7640         (find_matching_chains): Don't search by PORT.
7641         (matching_cookie): Also match PORT.
7642         (load_cookies): Set the port if specified, otherwise leave it as
7643         ANY.
7644         (save_cookies_mapper): Save the port if specified, otherwise leave
7645         it empty.
7646
7647 2002-04-19  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
7648
7649         * init.c: The option `egdfile' was not in sort order.
7650
7651 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
7652
7653         * ftp.c (getftp): Treat directories that begin with <letter>: as
7654         absolute.
7655         (getftp): Strip trailing slashes from con->id before merging it
7656         with TARGET.
7657
7658 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
7659
7660         * http.c (gethttp): If Content-Type is not given, assume
7661         text/html.
7662
7663 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
7664
7665         * recur.c (download_child_p): Don't ignore rejection of HTML
7666         documents that are themselves leaves of recursion.
7667
7668 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
7669
7670         Makefile.in: Updated several dependencies for object files to take
7671         account of nested include files.
7672
7673 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
7674
7675         Makefile.in: The target `connect$o' (connect.o) now depends on
7676         `utils.h'
7677
7678 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
7679
7680         * host.c (SET_H_ERRNO): New function-like macro to set `h_errno'.
7681         (gethostbyname_with_timeout): Use it.
7682
7683         * utils.c: Don't define `SETJMP()', `run_with_timeout_env' or
7684         `abort_run_with_timeout()' when `USE_SIGNAL_TIMEOUT' is undefined.
7685
7686 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
7687
7688         * host.c (getaddrinfo_with_timeout): New function.
7689         (gethostbyname_with_timeout): Ditto.
7690         (lookup_host): Use them.
7691
7692 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
7693
7694         * utils.c (number_to_string): Handle the case when n < -INT_MAX.
7695
7696 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
7697
7698         * init.c (comind): Use a marginally faster implementation of
7699         binary search.  To quote Martin Buchholz, "a nanosecond saved is a
7700         nanosecond earned."
7701
7702 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
7703
7704         * main.c (print_help): Document `--post-data' and `--post-file'.
7705
7706 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
7707
7708         * http.c (gethttp): Ditto.
7709
7710         * retr.c (retrieve_url): Initialize variables to appease the
7711         compiler.
7712
7713         * gen_sslfunc.c (ssl_iread): Don't handle EINTR when calling
7714         select_fd.
7715         (ssl_iwrite): Ditto.
7716
7717         * connect.c (select_fd): Rewrite to handle EINTR.  Set errno to
7718         ETIMEDOUT in case of timeout.
7719         (iread): No need to handle EINTR when calling select_fd.
7720         (iwrite): Ditto.
7721
7722 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
7723
7724         * retr.c (retrieve_url): Make sure that POST is not honored for
7725         redirections.
7726
7727         * http.c (gethttp): Send the POST data when requested.
7728         (post_file): New function.
7729         (gethttp): Use it.
7730
7731         * main.c (main): Ditto.
7732
7733         * init.c: Add new options.
7734
7735         * options.h (struct options): New options post_data and
7736         post_file_name.
7737
7738 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
7739
7740         * connect.c (connect_with_timeout): Firing SIGALRM can result in
7741         connect() exiting with EINTR.  Treat EINTR the same as ETIMEDOUT.
7742
7743 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
7744
7745         * connect.c (connect_with_timeout): Use it.
7746
7747         * utils.c (run_with_timeout): New function.
7748
7749 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
7750
7751         * url.c (getproxy): Accept a struct url argument.  This obviates
7752         the need for USE_PROXY_P.
7753
7754         * retr.c (retrieve_url): Allow proxy to be a non-FTP URL.
7755
7756         * ftp.c (getftp): Recognize FWTK-style proxy.
7757
7758 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
7759
7760         * config.h.in: Only define _VA_LIST when compiled with gcc.
7761
7762 2002-04012  Ian Abbott  <abbotti@mev.co.uk>
7763
7764         * http.c (http_loop): Compensate for MS Windows two-second
7765         granularity of file modification time when comparing timestamps.
7766
7767         * ftp.c (ftp_retrieve_list): Ditto.
7768
7769 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
7770
7771         * utils.c (has_html_suffix_p): New function to test filename for
7772         common html extensions.
7773
7774         * utils.h: Declare it.
7775
7776         * http.c (http_loop): Use it instead of previous test.
7777
7778         * retr.c (retrieve_url): Ditto.
7779
7780         * recur.c (download_child_p): Ditto.
7781
7782 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
7783
7784         * config.h.in: Define _VA_LIST on Solaris to prevent stdio.h from
7785         declaring va_list.
7786         From Kevin Rodgers <kevinr@ihs.com>.
7787
7788 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
7789
7790         * Makefile.in: Specify libtool mode explicitly when linking.
7791
7792 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
7793
7794         * connect.c (connect_with_timeout): New function.
7795         (connect_to_one): Use it.
7796
7797         * config.h.in: Add stubs for HAVE_SIGSETJMP, HAVE_SIGBLOCK, and
7798         HAVE_SETJMP_H.
7799
7800 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
7801
7802         * log.c: Set WGET_USE_STDARG if __STDC__ is defined and stdarg.h
7803         is present.
7804
7805 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
7806
7807         * progress.c (bar_create): If INITIAL is larger than TOTAL, fix
7808         TOTAL.
7809         (bar_finish): Likewise.
7810
7811 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
7812
7813         * html-url.c (tag_handle_form): New function.  Pick up form
7814         actions and mark them for conversion only.
7815
7816 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
7817
7818         * progress.c (struct progress_implementation): Use PARAMS when
7819         declaring the parameters of *create, *update, *finish, and
7820         *set_params.
7821
7822         * netrc.c: Ditto.
7823
7824         * http.c: Reformat some function definitions so that ansi2knr can
7825         read them.
7826
7827         * hash.c (struct hash_table): Use the PARAMS macro around
7828         parameters in the declaration of hash_function and test_function.
7829         (prime_size): Spell 2580823717UL and 3355070839UL as (unsigned
7830         long)0x99d43ea5 and (unsigned long)0xc7fa5177 respectively, so
7831         that pre-ANSI compilers can read them.
7832         (find_mapping): Use PARAMS when declaring EQUALS.
7833         (hash_table_put): Ditto.
7834
7835         * ftp.h: Wrap the parameters of ftp_index declaration in PARAMS.
7836
7837         * cookies.c (cookie_new): Use (unsigned long)0 instead of 0UL,
7838         which was unsupported by pre-ANSI compilers.
7839
7840         From Nelson H. F. Beebe <beebe@math.utah.edu>, for the most part.
7841
7842 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
7843
7844         * url.c (url_filename): Use compose_file_name regardless of
7845         whether opt.dirstruct is set.
7846         (mkstruct): Don't handle the query and the reencoding of DIR; that
7847         is done in compose_file_name.
7848
7849 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
7850
7851         * wget.h: Ditto for extern char *exec_name.
7852
7853         * options.h: Don't guard against OPTIONS_DEFINED_HERE -- it is
7854         perfectly legal to follow an `extern' with a non-`extern' ones,
7855         provided the types match.
7856
7857         * main.c: Don't define OPTIONS_DEFINED_HERE.
7858
7859 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
7860
7861         * progress.c (create_image): Revert to calculating ETA based on
7862         average download speed.
7863         (create_image): Don't print ETA until the download has been active
7864         for at least 3 seconds.
7865         (create_image): When ETA is not available, don't print anything.
7866         The previous version would print --:--.
7867
7868 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
7869
7870         * progress.c (bar_update): Keep updating a subinterval until it
7871         reaches or exceeds a watermark.  That way the measurement will be
7872         guaranteed to span a configurable minimum of time.  The current
7873         default is 3s in 30 100ms intervals.
7874
7875 2002-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
7876
7877         * progress.c (bar_update): Maintain an array of the time it took
7878         to perform previous 30 network reads.
7879         (create_image): Calculate the download speed and ETA based on the
7880         last 30 reads, not the entire download.
7881         (create_image): Make sure that the ETA is not changed more than
7882         once per second.
7883
7884 2002-04-09  Ian Abbott  <abbotti@mev.co.uk>
7885
7886         * mswindows.c (borland_utime): New function conditionally defined
7887         when `HACK_BCC_UTIME_BUG' is defined.  A reimplementation of
7888         `utime()' as Borland's `utime()' function is broken on Windows 9x
7889         systems.  (Original patch by Chin-yuan Kuo <sr1111111@yahoo.com.tw>.)
7890
7891 2002-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
7892
7893         * ftp.c (ftp_loop): Propagate the result of ftp_retrieve_glob.
7894
7895 2002-03-26  Ian Abbott  <abbotti@mev.co.uk>
7896
7897         * Makefile.in: Updated several dependencies for object files.
7898
7899 2002-03-20  Ian Abbott  <abbotti@mev.co.uk>
7900
7901         * mswindows.c: Include "utils.h".
7902
7903 2002-03-18  Ian Abbott  <abbotti@mev.co.uk>
7904
7905         * host.h: Don't include netdb.h on windows.
7906
7907 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
7908
7909         * recur.c (retrieve_tree): Handle the case when start_url doesn't
7910         parse.
7911
7912 2002-02-19  Andreas Damm  <andreas-sourceforge@radab.org>
7913
7914         * wget.h (DO_REALLOC_FROM_ALLOCA): Multiply with sizeof(type) when
7915         calling xmalloc and memcpy.
7916
7917 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
7918
7919         * host.h: Include Unix-specific includes #ifndef WINDOWS.
7920         Patch originally provided by Christian Lackas.
7921
7922 2002-02-11  Christian Lackas  <delta@lackas.net>
7923
7924         * recur.c: recurive downloading for https fixed.
7925
7926 2002-02-19  Alan Eldridge  <alane@geeksrus.net>
7927
7928         * host.h: Also include <netinet/in.h> and <sys/socket.h>.
7929
7930         * ftp-basic.c: Also include <netinet/in.h>.
7931
7932 2002-02-05  Ian Abbott  <abbotti@mev.co.uk>
7933
7934         * http.c (gethttp): when -c used, mark already fully retrieved
7935         file as successfully retrieved.
7936
7937 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
7938
7939         * url.c (url_parse): Don't treat '?' as query string separator
7940         when parsing FTP URLs.
7941
7942 2002-02-01  Hrvoje Niksic  <hniksic@arsdigita.com>
7943
7944         * html-url.c (tag_handle_meta): Don't crash on <meta
7945         http-equiv=refresh> where content is missing.
7946
7947 2002-01-31  Herold Heiko  <Heiko.Herold@previnet.it>
7948
7949         * ftp-basic.c, host.c: don't include sys/socket.h, arpa/inet.h,
7950         netdb.h on windows.
7951
7952 2002-01-30  Hrvoje Niksic  <hniksic@arsdigita.com>
7953
7954         * retr.c (retrieve_url): Remove redirection cycle detection.  This
7955         is because some sites legitimately redirect the user back to the
7956         same location, e.g. after an authorization check performed by
7957         another page.  MAX_REDIRECTIONS is still used to prevent infinite
7958         redirection loops.
7959
7960 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
7961
7962         * http.c (gethttp): Wrap host name in square brackets if it
7963         contains a colon.
7964
7965 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
7966
7967         * url.c (url_parse): Allow all hex digits, not only decimal ones,
7968         to form an IP address.
7969
7970 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
7971
7972         * url.c (urlchr_table): Make square braces reserved, so we can
7973         parse http://[::1]/.
7974         (url_parse): Handle host in braces.
7975         (url_string): If url->host contains colons, wrap it in braces.
7976
7977 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
7978
7979         * connect.c (resolve_bind_address): New function.
7980         (connect_to_one): Use it.
7981         (bindport): Ditto.
7982
7983         * init.c: Don't resolve bind-address here.
7984
7985         * host.c (wget_sockaddr_set_address): Would bug out with ADDR == NULL.
7986
7987 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
7988
7989         * host.c (lookup_host): Use sizeof(ip4_address) to calculate the
7990         offset.
7991         (address_list_new): Use map_ipv4_to_ip.
7992         (wget_sockaddr_set_address): Convert ADDR to IPv4 before using it
7993         in IPv4 context.
7994
7995 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
7996
7997         * source: Integrated IPv6 support.
7998         Written by Thomas Lussnig <thomas.lussnig@bewegungsmelder.de>.
7999
8000 2002-01-15  Ian Abbott  <abbotti@mev.co.uk>
8001
8002         * init.c (cmd_file): Change `\' to `/' for Windows (yes, really!)
8003         (cmd_directory): New function. Like cmd_file(), but strips
8004         trailing directory separators.
8005         (commands): Change action for "dirprefix" from `cmd_file' to
8006         `cmd_directory'.
8007
8008         * utils.c (make_directory): Allow intermediate `mkdir' calls to
8009         fail, as not all path components that do not exist should be
8010         directory components, especially under Windows.
8011
8012 2002-01-17  Hrvoje Niksic  <hniksic@arsdigita.com>
8013
8014         * netrc.c (parse_netrc): Skip leading whitespace before testing
8015         whether the line is empty.  Empty lines still contain the line
8016         terminator.
8017
8018 2002-01-15  Hrvoje Niksic  <hniksic@arsdigita.com>
8019
8020         * gen_sslfunc.c (ssl_iread): Call select on the file descriptor
8021         only if no data is pending in SSL buffers.
8022         From tony@bluetail.com.
8023
8024 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
8025
8026         * headers.c (header_get): Strip trailing whitespace from the
8027         header.
8028
8029 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
8030
8031         * url.c (parse_uname): URL-decode *USER and *PASSWD.
8032
8033 2002-01-07  Ian Abbott <abbotti@mev.co.uk>
8034
8035         * url.c (uri_merge_1): Deal with "net path" relative URL (one that
8036         starts with "//").
8037
8038 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
8039
8040         * http.c (gethttp): Invalidate SOCK if get_contents encountered an
8041         error.
8042
8043 2001-12-24  Hrvoje Niksic  <hniksic@arsdigita.com>
8044
8045         * version.c: Wget 1.8.1 is released.
8046
8047 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
8048
8049         * version.c: Wget 1.8.1-pre3 is released.
8050
8051 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
8052
8053         * recur.c (retrieve_tree): Enqueue the canonical representation of
8054         start_url, so that the test against dl_url_file_map works.
8055
8056 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
8057
8058         * log.c (logputs): Check for requested verbosity before printing
8059         anything.
8060
8061 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
8062
8063         * html-url.c (tag_handle_link): Treat the "shortcut icon" link as
8064         inline.
8065
8066 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
8067
8068         * recur.c (retrieve_tree): Make a copy of file obtained from
8069         dl_url_file_map because the code calls xfree(file) later.
8070
8071 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
8072
8073         * recur.c (register_html): Maintain a hash table of HTML files
8074         along with the list.  Disallow duplicates.
8075         (retrieve_tree): Use downloaded_html_set to check whether the file
8076         found in dl_url_file_map is an HTML file, and descend into it if
8077         so.
8078         (convert_all_links): Don't guard against duplicates in
8079         downloaded_html_list, since they are no longer possible.
8080
8081 2001-12-18  Ian Abbott  <abbotti@mev.co.uk>
8082
8083         * recur.c (retrieve_tree): Pass on referring URL when retrieving
8084         recursed URL.
8085
8086 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
8087
8088         * version.c: Wget 1.8.1-pre2 is released.
8089
8090 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
8091
8092         * retr.c (sleep_between_retrievals): Simplify indentation.
8093
8094 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
8095
8096         * gen_sslfunc.c (ssl_init_prng): Use random_number to get a byte
8097         of "randomness" at a time.
8098         (ssl_init_prng): Don't seed the PRNG; random_number will do that.
8099
8100         * retr.c (sleep_between_retrievals): Use it.  Make sure that the
8101         random amount averages in opt.wait.
8102         (sleep_between_retrievals): Don't seed the PRNG; random_number
8103         will do that.
8104
8105         * utils.c (random_number): New function.
8106
8107 2001-12-14  Hrvoje Niksic  <hniksic@arsdigita.com>
8108
8109         * url.c (path_simplify): Move here from utils.c, and make static.
8110
8111 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
8112
8113         * init.c (wgetrc_file_name): Print correct message when loading
8114         getenv("WGETRC") fails.
8115
8116 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
8117
8118         * recur.c (register_download): Don't abort when one URL references
8119         two different files.
8120
8121 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
8122
8123         * http.c (gethttp): Check for conn->scheme, not u->scheme, before
8124         calling ssl_iwrite.
8125
8126 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
8127
8128         * version.c: Wget 1.8.1-pre1 is released.
8129
8130 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
8131
8132         * res.c (matches): Fix broken URL in the docstring.
8133
8134 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
8135
8136         * html-url.c (tag_url_attributes): Mark <embed href=...> as
8137         external.
8138
8139 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
8140
8141         * url.c (get_urls_file): Cosmetic changes.
8142
8143 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
8144
8145         * html-url.c (append_one_url): Resurrect warning when unable to
8146         resolve a relative link.
8147
8148 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
8149
8150         * html-url.c (collect_tags_mapper): Break into several functions.
8151         (tag_url_attributes): Collect <embed href=...>.
8152
8153 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
8154
8155         * host.c: New type ipv4_address.  Use it consistently instead of
8156         `unsigned char[4]' and `unsigned char *'.
8157         (pretty_print_address): Accept a `const void *', to require even
8158         less casting.
8159
8160 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
8161
8162         * ftp-ls.c (ftp_parse_vms_ls): Fix obvious memory leaks.
8163
8164 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
8165
8166         * main.c (main): Initialize progress after fork_to_background, so
8167         that it knows when to use dots.
8168
8169         * mswindows.c (ws_hangup): Call log_request_redirect_output.
8170
8171         * utils.c (fork_to_background): Print the PID of the child
8172         process.
8173
8174         * log.c (log_request_redirect_output): Set a flag that output
8175         redirection has been requested.  Doing anything else in a signal
8176         handler is unsafe.
8177         (check_redirect_output): New function: check whether redirection
8178         has been requested and, if so, call redirect_output().
8179         (logputs): Call check_redirect_output.
8180         (logprintf): Ditto.
8181         (debug_logprintf): Ditto.
8182         (redirect_output): Print clearer messages.
8183
8184         * main.c (redirect_output_signal): Don't call
8185         redirect_output_signal directly.  Instead, call
8186         log_request_redirect_output.
8187
8188         * utils.c (memfatal): Ditto.
8189
8190         * progress.c (display_image): Use it.
8191
8192         * log.c (log_set_save_context): New function: allow the caller to
8193         turn off saving log context lines.
8194
8195 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
8196
8197         * host.c (address_list_set_faulty): Uncomment a sanity check.
8198
8199 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
8200
8201         * utils.c (long_to_string): Return a pointer after where the
8202         number ends.
8203         (long_to_string): Rename to number_to_string.
8204
8205 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
8206
8207         * utils.c (path_simplify): Correctly handle the unlikely case that
8208         b starts out as path + 1.
8209
8210 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
8211
8212         * utils.c (path_simplify): Rewrite, with better comments, and
8213         without the use of strcpy to move overlapping blocks.
8214
8215 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
8216
8217         * init.c (cmd_spec_progress): Resurrect.  Check whether VAL is a
8218         valid progress type before setting it.
8219
8220 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
8221
8222         * main.c (main): Remove stray debugging message.
8223
8224 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
8225
8226         * progress.c (create_image): Fix ETA padding when hours are prined.
8227
8228 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
8229
8230         * version.c: Wget 1.8 is released.
8231
8232 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
8233
8234         * url.c (reencode_string): Declare static.
8235
8236         * res.c (registered_specs): Declare static.
8237
8238         * progress.c (current_impl_locked): Declare static.
8239
8240         * log.c (flush_log_p): Declare static.
8241         (needs_flushing): Ditto.
8242
8243         * http.c (digest_authentication_encode): Declare static.
8244
8245         * html-url.c (init_interesting): Declare static.
8246
8247         * host.c (host_name_addresses_map): Declare static.
8248
8249         * cookies.c (find_matching_chains): Declare static.
8250
8251         * ftp-ls.c (ftp_parse_vms_ls): Warn about the memory leak
8252         indicated by lint.
8253
8254         * utils.c (path_simplify): Remove unused variable STUB_CHAR.
8255
8256         * host.c (address_list_set_faulty): Document that INDEX is
8257         currently unused.
8258
8259         * url.c (rewrite_shorthand_url): Remove unused variable PATH.
8260
8261 2001-12-08  Hrvoje Niksic  <hniksic@arsdigita.com>
8262
8263         * version.c: Wget 1.8-pre2 is released.
8264
8265 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
8266
8267         * progress.c (progress_handle_sigwinch): Set up the signal again.
8268
8269         * utils.c: Include <sys/termios.h>, where Solaris defines
8270         TIOCGWINSZ.
8271
8272         * progress.c (bar_create): Don't use the last column on the screen.
8273         (create_image): Pad ETA to constant size.  Pad SIZE to nine digits
8274         only until it exceeded them.
8275
8276 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
8277
8278         * version.c: Wget 1.8-pre1 is released.
8279
8280 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
8281
8282         * progress.c (progress_create): Make sure that, when the output is
8283         redirected, the progress implementation gets changed to the
8284         fallback one.
8285         (bar_set_params): Set current_impl_locked to 1 when "force" is
8286         specified.
8287         (progress_create): Don't change the progress implementation if
8288         current_impl_locked is non-zero.
8289
8290         * main.c (redirect_output_signal): Call
8291         progress_schedule_redirect.
8292
8293         * progress.c (progress_schedule_redirect): New function.
8294
8295 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
8296
8297         * log.c (logvprintf): Restructure to allow being called multiple
8298         times.
8299         (logprintf): Call logvprintf in a loop.
8300         (debug_logprintf): Ditto.
8301
8302 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
8303
8304         * gen_sslfunc.c (ssl_init_prng): Allow the user to disable EGD by
8305         setting egd_file it to empty string.
8306
8307         * main.c (main): Change the option name from --sslegdsock to
8308         --egd-file.
8309
8310 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
8311
8312         * gen_sslfunc.c (ssl_init_prng): Make the printed message
8313         translatable.
8314
8315 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
8316
8317         * url.c (scheme_disable): New function.
8318
8319         * main.c (main): Call ssl_init_prng from here rather than from
8320         init_ssl, so that it has a chance to disable support for https
8321         before a URL has been resolved.
8322
8323         * gen_sslfunc.c (ssl_init_prng): Seed with rand() if all else
8324         failed.
8325         (ssl_init_prng): Disable support for https if seeding the PRNG
8326         fails.
8327
8328 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
8329
8330         * utils.c (read_whole_line): Handle lines beginning with \0.
8331
8332 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
8333
8334         * recur.c (convert_all_links): Guard against duplicates in
8335         downloaded_html_files.
8336         (register_download): Don't invalidate similar-looking URLs.
8337         (match_except_index): New function.
8338
8339 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
8340
8341         * utils.c (path_simplify): Document with test cases.
8342
8343 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
8344
8345         * gen_sslfunc.c: Ditto.
8346
8347         * rbuf.c: Include <string.h>.
8348
8349 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
8350
8351         * recur.c (retrieve_tree): Check whether the URL was already
8352         downloaded before downloading it again.
8353         (descend_child_p): Renamed to download_child_p.
8354         (register_download): When one URL is downloaded to a file already
8355         "owned" by another URL, delete all references that map any URL to
8356         that file.
8357         (register_delete_file): New function.
8358         (retrieve_tree): Use it after deleting a file.
8359
8360         * url.c (url_parse): Re-canonicalize the URL also if the path is
8361         empty, so that e.g. "http://www.server.com" ->
8362         "http://www.server.com/".
8363         (lowercase_str): Use ISUPPER instead of !ISLOWER.
8364
8365         * retr.c (retrieve_url): Use the canonical URL form when calling
8366         register_download().
8367
8368 2001-12-04  Ian Abbott <abbotti@mev.co.uk>
8369
8370         * snprintf.c (dopr): Use `unsigned int' as the second argument to
8371         va_arg when casting to `unsigned short' is intended.
8372
8373 2001-12-04  Herold Heiko  <Heiko.Herold@previnet.it>
8374
8375         * gen_sslfunc.c: on windows provide ssl crypto random
8376           initialization through RAND_screen(); could possibly
8377           be not enough for strong ssl communication (see the
8378           relevant manual page from the openssl package).
8379
8380 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
8381
8382         * url.c (local_quote_string): Reenable quoting of question marks,
8383         but only when `--html-extension' is used.
8384
8385 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
8386
8387         * version.c: Wget 1.8-beta3 is released.
8388
8389 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
8390
8391         * snprintf.c (dopr): Cast the result of va_arg to short int and
8392         short unsigned int where these types are expected to be used.
8393
8394 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
8395
8396         * snprintf.c (dopr): Replace `short int' and `unsigned short int'
8397         with `int' when using it as the second argument to `va_arg'.
8398
8399 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
8400
8401         * host.c (address_list_new_one): New function.
8402         (lookup_host): Use it.
8403
8404 2001-12-03  Andre Majorel  <amajorel@teaser.fr>
8405
8406         * host.c (lookup_host): Don't initialize TMPSTORE directly because
8407         it's not legal C.
8408
8409 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
8410
8411         * ftp-basic.c (ftp_port): Don't return HOSTERR if we fail getting
8412         the socket data.
8413
8414         * ftp.c: Ditto.
8415
8416         * http.c: No need to declare h_errno.
8417
8418         * host.c: Declare h_errno.
8419
8420 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
8421
8422         * utils.c (file_merge): If BASE doesn't contain a slash, just
8423         return a copy of FILE.
8424
8425 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
8426
8427         * version.c: Wget 1.8-beta2 is released.
8428
8429 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
8430
8431         * ftp.c (getftp): When PWD fails, assume "/".
8432
8433         * ftp-basic.c (ftp_syst): Fix indentation.
8434
8435 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
8436
8437         * url.c (get_urls_file): If opt.base_href is specified, merge each
8438         URL with the base.
8439
8440 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
8441
8442         * main.c (print_help): Don't document the removed `-nh'.
8443
8444 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
8445
8446         * url.c (url_full_path): Document better.
8447
8448         * http.c (gethttp): Use the full path when creating digest
8449         authorization.
8450
8451 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
8452
8453         * cookies.c (path_matches): Return 0 if PREFIX doesn't begin with
8454         '/'.
8455
8456 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
8457
8458         * cookies.c (path_matches): FULL_PATH doesn't begin with '/', but
8459         PREFIX does.
8460
8461 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
8462
8463         * cookies.c (check_domain_match): Reimplement to match Netscape's
8464         "preliminary specification" for cookies.
8465
8466 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
8467
8468         * url.c (replace_attr_refresh_hack): New function.
8469         (convert_links): Call replace_attr_refresh_hack for Refresh
8470         links.  It will add the "TMOUT; URL=" junk before the link.
8471
8472         * html-url.c (collect_tags_mapper): Set ID to the ID of the
8473         "content" attribute, not "http-equiv".
8474         (collect_tags_mapper): Don't use OFFSET to hack the raw_* values;
8475         instead, store the information that this entry belongs to a
8476         "refresh" link.
8477
8478 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
8479
8480         * version.c: Wget 1.8-beta1 is released.
8481
8482 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
8483
8484         * recur.c (retrieve_tree): Allow -p retrievals to exceed maximum
8485         depth by more than one.
8486
8487 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
8488
8489         * retr.c (retrieve_url): Don't allow more than 20 redirections.
8490
8491 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
8492
8493         * recur.c (retrieve_tree): Skip the non-inline entries when
8494         enqueuing the children of a leaf HTML node in -p mode.
8495         (descend_url_p): Ignore opt.no_parent when in -p mode and UPOS is
8496         "inline".
8497
8498         * html-url.c (get_urls_html): Don't accept dash_p_leaf_HTML.
8499         (collect_tags_mapper): When an entry is "inline", mark it as such.
8500
8501         * recur.c (descend_url_p): Fix test when checking for
8502         acceptance/rejection rules.
8503
8504 2001-10-31 Daniel BODEA <dali@dali-designs.com>
8505
8506         * netrc.c (search_netrc): When slack_default is 0, still look for
8507         an account with matching password, just not the "default account".
8508         HTTP Authorization using .netrc should now work as expected.
8509
8510 2001-11-30  T. Bharath  <TBharath@responsenetworks.com>
8511
8512         * http.c (persistent_available_p): Call SHUTDOWN_SSL if
8513         test_socket_open fails.
8514
8515 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
8516
8517         * progress.c (display_image): Just print one CR to reset the
8518         cursor position.
8519
8520 2001-11-30  Christian Fraenkel  <c.fraenkel@gmx.net>
8521
8522         * init.c: New command `ssl_egd_sock'.
8523
8524         * main.c (main): New option `--sslegdsock'.
8525
8526         * gen_sslfunc.c (ssl_init_prng): Seed the RNG using EGD.
8527
8528 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
8529
8530         * cmpt.c (memmove): Include a simple memmove implementation.
8531
8532 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
8533
8534         * headers: Guard against header files being included twice.
8535
8536 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
8537
8538         * gen-md5.c: Use unsigned char * as the buffer argument to
8539         gen_md5_update.
8540
8541 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
8542
8543         * connect.h: Declare select_fd.
8544
8545 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
8546
8547         * recur.c (descend_url_p): When resolving no_parent, compare with
8548         start_url, not parent url.  Otherwise link from /a/b/ to /a/c/
8549         wouldn't be followed, although the download started from /a/.
8550
8551 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
8552
8553         * config.h.ms, mswindows.h: defined HAVE_ISATTY, use _isatty for
8554         MS VC; somebody with Borland compiler please check and provide
8555         patch if possible;
8556
8557         * cmpt.c: provided a usleep emulation.
8558
8559 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
8560
8561         * host.c (address_list_new): Initialize al->faulty.
8562
8563 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
8564
8565         * http.c (http_process_range): Accept the broken output of
8566         "JavaWebServer/1.1.1".
8567
8568 2001-11-28  Hrvoje Niksic  <hniksic@arsdigita.com>
8569
8570         * progress.c (dot_set_params): If PARAMS is unspecified, use
8571         dot_style, if available.
8572
8573         * init.c: Ditto.
8574
8575         * main.c (main): Resurect --dot-style.
8576
8577         * progress.c (dot_finish): Print the quantity if we're left at the
8578         beginning of a row.
8579
8580 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
8581
8582         * cmpt.c (random): Removed.
8583
8584         * retr.c (sleep_between_retrievals): Use the more portable rand()
8585         instead of random().
8586
8587 2001-11-27  Ian Abbott <abbotti@mev.co.uk>
8588
8589         * retr.c (retrieve_from_file): Initialize `new_file' to NULL to
8590         prevent seg fault.
8591
8592 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
8593
8594         * connect.c (connect_to_many): Use address_list_set_faulty to
8595         prevent the faulty address from being reused.
8596
8597         * host.c (address_list_set_faulty): New function.
8598         (address_list_get_bounds): New function, instead of
8599         address_list_count.
8600
8601 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
8602
8603         * url.c (convert_links): Don't translate %d-%d.
8604
8605         * main.c (print_help): Remove stray HAVE_RANDOM code.
8606
8607 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
8608
8609         * ftp.c (getftp): Improve output after sending PASV.  Don't
8610         attempt to "look up" the IP address we already know; call
8611         connect_to_one directly.
8612
8613 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
8614
8615         * progress.c: Change the default progress implementation to "bar".
8616
8617 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
8618
8619         * progress.c (bar_create): Print two newlines.
8620
8621 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
8622
8623         * cmpt.c (random): New function, a simple-minded replacement for
8624         random() on systems that don't have it.
8625
8626 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
8627
8628         * config.h.in: Put a HAVE_USLEEP stub.
8629
8630         * cmpt.c (usleep): Replacement implementation of usleep using
8631         select.
8632
8633         * init.c: New option init_rate.
8634
8635         * main.c (main): New option --limit-rate.
8636
8637         * retr.c (limit_bandwidth): New function.
8638         (get_contents): Call it to limit the bandwidth used when
8639         downloading.
8640
8641         * progress.c (dot_update): Would print the wrong download speed on
8642         rows other than the first one when the download was continued.
8643         (dot_finish): Ditto.
8644
8645 2001-11-26  Ian Abbott <abbotti@mev.co.uk>
8646
8647         * http.c (gethttp): fix undeclared variable 'err' when compiled
8648         with HAVE_SSL.
8649
8650 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
8651
8652         * progress.c: Don't allocate new timers; use the timing data
8653         propagated from the caller.
8654
8655         * retr.c (get_contents): Allocate and use a timer.
8656
8657 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
8658
8659         * http.c (last_host_ip): Made into an address_list.
8660         (invalidate_persistent): Release pc_last_host_ip.
8661         (register_persistent): Use lookup_host.
8662         (persistent_available_p): Check for equality of hosts using
8663         address_list_match_all.  Call address_list_release.
8664         (http_cleanup): New function.
8665
8666         * ftp.c (getftp): Use lookup_host and connect_to_many.
8667
8668         * http.c (gethttp): Use lookup_host and connect_to_many.
8669
8670         * connect.c (make_connection): Removed.
8671         (connect_to_one): New function.
8672         (connect_to_many): Ditto.
8673         (set_connection_host_name): Ditto.
8674
8675         * host.c (lookup_host): New function; new return type.
8676         (address_list_new): New function.
8677         (address_list_count): Ditto.
8678         (address_list_copy_one): Ditto.
8679         (address_list_delete): Ditto.
8680         (address_list_release): Ditto.
8681         (pretty_print_address): Ditto.
8682
8683 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
8684
8685         * recur.c (retrieve_tree): In case of followed redirection,
8686         blacklist the pre-redirection URL.
8687
8688 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
8689
8690         * recur.c (descend_redirect_p): New function.
8691         (retrieve_tree): Make sure redirections are not blindly followed.
8692
8693 2001-11-04  Alan Eldridge  <alane@geeksrus.net>
8694
8695         * config.h.in: added HAVE_RANDOM.
8696
8697         * options.h: added random_wait to struct options.
8698
8699         * main.c (print_help [HAVE_RANDOM], main): added arg parsing, help
8700         for --random-wait.
8701
8702         * retr.c (sleep_between_retrievals) [HAVE_RANDOM]: added
8703         implementation of random wait times.
8704
8705         * init.c (commands): added "randomwait" keyword.
8706
8707 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
8708
8709         * recur.c (descend_url_p): Be more conservative with blacklisting
8710         URLs.
8711         (convert_all_links): Print how many files have been converted, and
8712         how long it took.
8713
8714         * progress.c (create_image): Place the number of downloaded bytes
8715         right after the progress bar.
8716
8717         * utils.c (suffix): Return a pointer into the string.
8718
8719 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
8720
8721         * url.c (convert_links): Handle CO_NULLIFY_BASE.
8722
8723         * recur.c (retrieve_tree): Ignore download-ignorable children.
8724         (convert_all_links): Specify CO_NULLIFY_BASE when link_base_p.
8725
8726         * html-url.c (handle_link): Return the newly created urlpos.
8727         (collect_tags_mapper): When dealing with BASE, store the base
8728         reference and mark it as download-ignorable.
8729
8730 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
8731
8732         * url.c (convert_links): Attempt to quote '?' as "%3F" when
8733         linking to local files.  Given up on the attempt, as it breaks
8734         local browsing.
8735
8736 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
8737
8738         * main.c (private_initialize): Removed.
8739         (main): Don't call private_initialize.
8740
8741         * http.c: Call lookup_host.
8742
8743         * host.c (host_init): Removed.
8744         (add_host_to_cache): Initialize host_name_address_map here, on
8745         demand.
8746         (ngethostbyname): Commented out.
8747
8748         * connect.c (make_connection): Remove dead code; use lookup_host.
8749
8750         * host.c (store_hostaddress): Renamed to lookup_host and reversed
8751         the args.
8752         Removed host_address_name_map and host_slave_master_map.
8753
8754 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
8755
8756         * progress.c (dot_create): Align the "[ skipping ... ]" string
8757         with the dots.
8758
8759         * retr.c (rate): Split into two functions: calc_rate and
8760         retr_rate.
8761
8762         * progress.c (create_image): Draw a dummy progress bar even when
8763         total size is unknown.
8764         (display_image): Place the text cursor at the end of the "image".
8765
8766 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
8767
8768         * url.c (reencode_string): Use unsigned char, not char --
8769         otherwise the hex digits come out wrong for 8-bit chars such as
8770         nbsp.
8771         (lowercase_str): New function.
8772         (url_parse): Canonicalize u->url if needed.
8773         (get_urls_file): Parse each URL, and return only the valid ones.
8774         (free_urlpos): Call url_free.
8775         (mkstruct): Add :port if the port is non-standard.
8776         (mkstruct): Append the query string to the file name, if any.
8777         (urlpath_length): Use strpbrk_or_eos.
8778         (uri_merge_1): Handle the cases where LINK is an empty string,
8779         where LINK consists only of query, and where LINK consists only of
8780         fragment.
8781         (convert_links): Count and report both kinds of conversion.
8782         (downloaded_file): Use a hash table, not a list.
8783         (downloaded_files_free): Free the hash table.
8784
8785         * retr.c (retrieve_from_file): Ditto.
8786
8787         * main.c (main): Call either retrieve_url or retrieve_tree
8788         for each URL, not both.
8789
8790         * retr.c (register_all_redirections): New function.
8791         (register_redirections_mapper): Ditto.
8792         (retrieve_url): Register the redirections.
8793         (retrieve_url): Make the string "Error parsing proxy ..."
8794         translatable.
8795
8796         * res.c (add_path): Strip leading slash from robots.txt paths so
8797         that the path representations are "compatible".
8798         (free_specs): Free each individual path, too.
8799         (res_cleanup): New function.
8800         (cleanup_hash_table_mapper): Ditto.
8801
8802         * recur.c (url_queue_new): New function.
8803         (url_queue_delete): Ditto.
8804         (url_enqueue): Ditto.
8805         (url_dequeue): Ditto.
8806         (retrieve_tree): New function, replacement for recursive_retrieve.
8807         (descend_url_p): New function.
8808         (register_redirection): New function.
8809
8810         * progress.c (create_image): Cosmetic changes.
8811
8812         * init.c (cleanup): Do all those complex cleanups only if
8813         DEBUG_MALLOC is defined.
8814
8815         * main.c: Removed --simple-check and the corresponding
8816         simple_host_check in init.c.
8817
8818         * html-url.c (handle_link): Parse the URL here, and propagate the
8819         parsed URL to the caller, who would otherwise have to parse it
8820         again.
8821
8822         * host.c (xstrdup_lower): Moved to utils.c.
8823         (realhost): Removed.
8824         (same_host): Ditto.
8825
8826 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
8827
8828         * utils.c (path_simplify): Preserver the (non-)existence of
8829         leading slash.  Return non-zero if changes were made.
8830
8831 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
8832
8833         * progress.c (bar_update): Don't modify bp->total_length if it is
8834         zero.
8835
8836 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
8837
8838         * retr.c (retrieve_url): When the redirection URL doesn't parse,
8839         print the correct error message rather than "UNKNOWN".
8840
8841 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
8842
8843         * progress.c (bar_finish): If the timer didn't record any time
8844         since the download beginning, fake 1ms.
8845
8846 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
8847
8848         * recur.c (recursive_retrieve): Fix typo.
8849
8850 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
8851
8852         * progress.c (create_image): Don't translate "%ld ".
8853
8854 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
8855
8856         * progress.c (bar_set_params): Allow the user to force the use of
8857         the bar.
8858
8859 2001-11-23  Lemble Gregory  <gregory.lemble@st.com>
8860
8861         * gen_sslfunc.c (ssl_init_prng): New function; seed the SSL RNG.
8862
8863 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
8864
8865         * progress.c: Renamed dp_* functions to dot_* for greater clarity
8866         and consistency with bar_*.
8867         (print_download_speed): Get rid of the unneeded '@' character.
8868         (create_image): Fix download rate geometry.
8869
8870         * progress.c (print_elapsed): Remove spurious space.
8871         (print_elapsed): Renamed to print_download_speed, since that's
8872         what it does.
8873
8874 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
8875
8876         * progress.c (bar_update): If the downloaded amount becomes larger
8877         than the expected amount, adjust the expected amount accordingly.
8878
8879 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
8880
8881         * utils.c (determine_screen_width): New function.
8882
8883         * main.c (main): New option `--progress=TYPE'.
8884         (main): Implement compatibility with the old option `--dot-style'.
8885
8886         * init.c: Removed cmd_spec_dotstyle -- that logic is now in
8887         dp_set_params.
8888         (cmd_spec_progress): New function.
8889
8890         * retr.c (get_contents): Use the progress_* functions instead of
8891         the old show_progress().
8892         (show_progress): Removed.
8893         (rate): Print "xxxx.xx K/s" instead of "KB/s".  Ditto for MB/s,
8894         etc.
8895
8896         * progress.c (set_progress_implementation): New function.
8897         (valid_progress_implementation_p): Ditto.
8898         (progress_create): Ditto.
8899         (progress_update): Ditto.
8900         (progress_finish): Ditto.
8901         (dp_create): Ditto.
8902         (dp_update): Ditto.
8903         (dp_finish): Ditto.
8904         (dp_set_params): Ditto.
8905         (print_elapsed): Ditto.
8906
8907 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
8908
8909         * retr.c (show_progress): Use it.
8910
8911         * log.c (log_set_flush): New function.
8912
8913 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
8914
8915         * utils.c (path_simplify): Don't remove trailing slashes.
8916
8917         * ftp.c (ftp_get_listing): Use it.
8918
8919         * utils.c (file_merge): New function.
8920
8921         * url.c (opt_url): Removed.
8922
8923         * recur.c (recursive_retrieve): Inline "opt_url" logic.
8924
8925         * main.c (main): Use xfree(), not free().
8926
8927         * url.c (rewrite_url_maybe): Renamed to rewrite_shorthand_url.
8928
8929         * ftp.c (ccon): Move `ccon' typedef here, since it's only used
8930         internally.
8931
8932         * config.h.in: Include a stub for HAVE_STRPBRK.
8933
8934         * cmpt.c (strpbrk): Include a replacement for systems without
8935         strpbrk().
8936
8937         * ftp.c: Use url_set_dir and url_set_file when modifying the URL.
8938
8939         * url.c (url_set_dir): New function.
8940         (url_set_file): Ditto.
8941
8942         * ftp-basic.c (ftp_process_type): Process FTP type here; the URL
8943         parser makes the URL "params" available, so we can do that in this
8944         function.
8945
8946         * retr.c: Ditto.
8947
8948         * ftp.c: Ditto; pass the local file information in `ccon'.
8949
8950         * http.c: Get rid of the ugly kludge that had URL being replaced
8951         with the proxy URL when proxy retrieval was requested.  Use a
8952         separate parameter to http_loop and gethttp for the proxy URL.
8953
8954         * http.c: Changed to reflect the fact that local file, proxy, and
8955         referer information are no longer stored in struct url.  The local
8956         file information is passed in `struct hstat' now.
8957
8958         * url.c: Reworked URL parsing to be more regular.  Reencode the
8959         URL using reencode_string.
8960         Removed non-URL-related information from struct url.  This
8961         includes fields `proxy', `local', and `referer'.
8962
8963 2001-11-22  Jochen Hein  <jochen@jochen.org>
8964
8965         * main.c (main): Split the copyright notice for easier
8966         translation.
8967
8968 2001-08-21  Dave Turner <dct25@hermes.cam.ac.uk>
8969
8970         * ftp-basic.c (ftp_size): New function to send non-standard SIZE
8971           command to server to request file size.
8972         * ftp.h (ftp_size): Export it.
8973         * ftp.c (getftp): Use new ftp_size function if restoring
8974           transfer of a file with unknown size.
8975
8976 2001-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
8977
8978         * url.c (parseurl): Don't depend on the now-obsolete TYPE.
8979
8980 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
8981
8982         * url.c (getproxy): Handle URL shorthands.
8983
8984 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
8985
8986         * main.c: Remove --wait / --waitretry backwards compatibility
8987         code.
8988
8989 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
8990
8991         * main.c (main): Use it.
8992
8993         * url.c (rewrite_url_maybe): New function.
8994
8995 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
8996
8997         * url.c: Clean up handling of URL schemes.
8998
8999 2001-05-13  Hrvoje Niksic  <hniksic@arsdigita.com>
9000
9001         * url.c: Get rid of `protostrings'.
9002         (skip_proto): Don't use protostrings.
9003         (has_proto): Ditto.
9004
9005 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
9006
9007         * Makefile.in: Conditionally compile getopt.o.
9008
9009 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
9010
9011         * md5.h: Renamed to gnu-md5.h.
9012
9013         * md5.c: Renamed to gnu-md5.c.
9014
9015         * http.c: Ditto.
9016
9017         * ftp-opie.c: Use the new macros.
9018
9019         * sysdep.h: Define md5-related macros.
9020
9021         * config.h.in: Define HAVE_SOLARIS_MD5 or HAVE_BUILTIN_MD5
9022         depending on which md5 implementation is used.
9023
9024 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
9025
9026         * res.c (res_register_specs): Initialize OLD and HP_OLD to appease
9027         the compiler.
9028
9029 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
9030
9031         * http.c (gethttp): Print the whole response line when printing
9032         headers is requested.
9033
9034 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
9035
9036         * res.c: New file.  Implement all RES-related code here.
9037
9038 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
9039
9040         * version.c: Wget 1.7.1 is released.
9041
9042 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
9043
9044         * headers.c (header_extract_number): Ignore trailing whitespace.
9045
9046 2001-08-24  Ian Abbott  <abbotti@mev.co.uk>
9047
9048         * html-url.c (collect_tags_mapper): Fix bug converting links
9049         with -k option for tags with multiple link attributes by
9050         handling links in the order they appear.
9051
9052 2001-08-15  Ian Abbott  <abbotti@mev.co.uk>
9053
9054         * ftp.c (ftp_loop_internal): Avoid a potential buffer overflow in
9055           the call to the 'rate' function by moving it past the error
9056           checking for the 'getftp' function return value.
9057
9058 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
9059
9060         * html-parse.c (advance_declaration): Use 0x22 instead of '"' or
9061         '\"'.  Different compilers' assert macros are broken in different
9062         ways.
9063
9064 2001-09-29  Christian Fraenkel  <c.fraenkel@gmx.net>
9065
9066         * http.c (gethttp): print debug output for errors occuring during
9067         the ssl handshake.
9068
9069 2001-11-16  Chris Seawood  <cls@seawood.org>
9070
9071         * init.c: Ditto.
9072
9073         * host.c: Ditto.
9074
9075         * connect.c: Ditto.
9076
9077         * sysdep.h: Support compilation under BEOS.
9078
9079 2001-06-08  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
9080
9081         * url.c (url_equal): Fix a memory leak when parseurl returns an
9082         error on the second URL. Also, since url_equal is not used at the
9083         moment, do not compile it.
9084
9085         * url.h: Ditto for the prototype of url_equal.
9086
9087 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
9088
9089         * html-parse.c (map_html_tags): Support XML-style empty tags.
9090
9091 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
9092
9093         * wget.h (DO_REALLOC_FROM_ALLOCA): Check for do_realloc_newsize in
9094         loop condition because we're no longer setting SIZEVAR here.
9095
9096 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
9097
9098         * wget.h (DO_REALLOC_FROM_ALLOCA): Set SIZEVAR after the memcpy()
9099         call because it needs the old value.
9100
9101 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
9102
9103         * cookies.c (ATTR_NAME_CHAR): Allow almost any character to be in
9104         an attribute name.
9105
9106 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
9107
9108         * url.c (url_filename): Make sure that slashes that sneak in to
9109         u->file via query string get protected.
9110         (file_name_protect_query_string): New function.
9111
9112 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
9113
9114         * recur.c (recursive_retrieve): Also check undesirable_urls with
9115         canonicalized URL.
9116
9117 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
9118
9119         * http.c (gethttp): Search `.netrc' with real host, not the proxy
9120         one.
9121
9122 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
9123
9124         * sysdep.h (MAP_FAILED): Provide MAP_FAILED for systems that don't
9125         define it.
9126
9127 2001-06-09  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
9128
9129         * ftp.h: Provide correct prototype for ftp_parse_ls().
9130
9131 2001-06-04  Hrvoje Niksic  <hniksic@arsdigita.com>
9132
9133         * version.c: Wget 1.7 is released.
9134
9135 2001-06-03  Karl Eichwalder  <ke@suse.de>
9136
9137         * ftp-ls.c (ftp_parse_ls): Fix typo.
9138
9139 2001-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
9140
9141         * all: Update copyright information.
9142
9143 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
9144
9145         * http.c (gethttp): Indicate that the continued download failed
9146         for *this* file.
9147
9148 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
9149
9150         * version.c: Wget 1.7-pre1 is released.
9151
9152 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
9153
9154         * version.c: Updated version to 1.7-pre1.
9155
9156 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
9157
9158         * gen_sslfunc.c: Don't include <sys/time.h> directly.
9159
9160 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
9161
9162         * http.c (gethttp): Use real URL data for cookies, not the proxy
9163         stuff.
9164
9165 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
9166
9167         * main.c (print_help): Document `--no-http-keep-alive'.
9168
9169         * utils.c (numdigit): Handle negative numbers *correctly*.
9170
9171         * hash.c (make_nocase_string_hash_table): Use term "nocase" rather
9172         than the confusing "unsigned".
9173
9174         * utils.c (string_set_contains): Renamed from string_set_exists.
9175
9176         * hash.c (hash_table_contains): Renamed from hash_table_exists.
9177
9178         * cookies.c: Move case-insensitive hash tables to hash.c.
9179
9180 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
9181
9182         * http.c (gethttp): Before concluding that the file is already
9183         fully retrieved, make sure that the file existed and `Range' was
9184         actually requested.
9185
9186 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
9187
9188         * cookies.c (eliminate_dups): New function.
9189         (build_cookies_request): Use it.
9190         (build_cookies_request): Set chain_store_size after reallocating
9191         all_chains.
9192         (check_domain_match): Annotated for easier future debugging.
9193         (store_cookie): In the debug message, print whether the cookie is
9194         permanent.
9195
9196 2001-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
9197
9198         * http.c (http_loop): Reset no_truncate before deciding whether to
9199         set it.
9200         (gethttp): Further clarify "-c conflicts with existing file" error
9201         message, based on input from Herold Heiko.
9202
9203 2001-05-07  Hrvoje Niksic  <hniksic@arsdigita.com>
9204
9205         * http.c (http_loop): If restval is set, set no_truncate to 1
9206         unconditionally.
9207
9208 2001-05-02  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
9209
9210         * ftp-ls.c (ftp_parse_winnt_ls): Assure months are being correctly
9211         converted. Pointed out by <Stefan.Weil@de.heidelberg.com>.
9212         (ftp_parse_vms_ls): Ditto.
9213
9214 2001-04-30  Hrvoje Niksic  <hniksic@arsdigita.com>
9215
9216         * init.c (cmd_address): Zero SIN before using it; apparently
9217         needed on *BSD.
9218
9219 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
9220
9221         * ftp.c (ftp_loop_internal): Don't set NO_TRUNCATE if the file is
9222         empty.
9223
9224 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
9225
9226         * main.c (main): Make `--cookies' respect its argument.
9227
9228 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
9229
9230         * main.c (main): Removed undocumented option `--email-address'.
9231
9232         * netrc.c: Use the latest read_whole_line.
9233
9234         * init.c (defaults): Set opt.ftp_pass to "-wget@".
9235
9236         * mswindows.c (pwd_cuserid): Ditto.
9237
9238         * utils.c (pwd_cuserid): Removed.
9239
9240         * host.c (ftp_getaddress): Removed.
9241
9242 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
9243
9244         (http_loop): Allocate space for filename_plus_orig_suffix with
9245         alloca; this is more efficient and removes the need to free it
9246         before each and every return.
9247
9248 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
9249
9250         * http.c (gethttp): Return RETRUNNEEDED when the retrieval is
9251         unneeded because the file is already there and fully downloaded,
9252         and -c is specified.
9253         (http_loop): Handle RETRUNNEEDED.
9254
9255         * wget.h (uerr_t): New value RETRUNNEEDED.
9256
9257         * http.c (http_loop): Set no_truncate for files that both exist
9258         and are non-empty.
9259         (gethttp): Consider the download finished when restval >= contlen,
9260         not only when restval==contlen.
9261         (gethttp): Handle redirection before giving up due to -c.
9262         (gethttp): Clarify error message which explains that -c will not
9263         truncate the file.
9264         (gethttp): When returning CONTNOTSUPPORTED, don't forget to free
9265         the stuff that needs freeing and release the socket.
9266
9267 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
9268
9269         * main.c (print_help): Wget booleans accept "off", not "no".
9270
9271 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
9272
9273         * http.c (http_loop): If allow_cache is zero, always disable
9274         caching, not only when retrieving through proxy.
9275
9276         * init.c: Ditto.
9277
9278         * options.h (struct options): Rename proxy_cache to allow_cache.
9279
9280 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
9281
9282         * http.c (mktime_from_utc): Improve documentation.
9283         (http_atotm): Put format strings into a separate array.
9284
9285 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
9286
9287         * safe-ctype.h: Instead of throwing #error when isalpha is
9288         defined, redefine it to something that will throw a compile-time
9289         error if actually *used*.  Do the same for the rest of the
9290         standard C macros.
9291
9292 2001-04-26  Hrvoje Niksic  <hniksic@arsdigita.com>
9293
9294         * url.c (getproxy): Ignore empty proxy vars.
9295
9296 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
9297
9298         * http.c (http_loop): Would load cookies every time.
9299
9300         * cookies.c (load_cookies): Handle cookies whose values contain
9301         embedded spaces.
9302
9303 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
9304
9305         * utils.c: Define each DIGITS_* in one line.
9306
9307 2001-04-25  Roger L. Beeman  <beeman@cisco.com>
9308
9309         * http.c (http_atotm): Initialize t.tm_isdst to 0.
9310         (mktime_from_utc): Prevent mktime() from having discontinuities at
9311         DST transition points.
9312
9313 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
9314
9315         * html-url.c (get_urls_html): Fix documentation.
9316
9317 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
9318
9319         * url.c (UNSAFE_CHAR): Reimplement using a static table.
9320         (url_init): Removed.
9321         (init_unsafe_char_table): Removed.
9322
9323 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
9324
9325         * snprintf.c (dopr): Replace ISDIGIT with '0' <= ch && ch <= '9'.
9326
9327 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
9328
9329         * utils.c: Document timer functions.
9330
9331         * retr.c (rate): Use it.
9332         (rate): Print in GB/s if transfer rate exceeds 1 GB/s.
9333
9334         * utils.c (wtimer_granularity): New function.
9335
9336 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
9337
9338         * retr.c (show_progress): Ditto.
9339
9340         * ftp.c (getftp): Ditto.
9341
9342         * http.c (gethttp): Use new timer functions.
9343
9344         * utils.c (wtimer_allocate): New function.
9345         (wtimer_new): Ditto.
9346         (wtimer_delete): Ditto.
9347         (wtimer_reset): Ditto.
9348         (wtimer_elapsed): Ditto.
9349
9350 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
9351
9352         * utils.c (long_to_string): New, faster version.  Favors smaller
9353         numbers; much of the calculation is now done at compile-time.
9354
9355 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
9356
9357         * utils.c (numdigit): Handle negative numbers.
9358
9359 2001-04-23  Hrvoje Niksic  <hniksic@arsdigita.com>
9360
9361         * retr.c (show_progress): Print the download rate even when the
9362         percentages are not available.
9363
9364 2001-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
9365
9366         * ftp.c (getftp): Adjust expected_bytes if the length is
9367         authoritative.
9368
9369 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
9370
9371         * url.c: Don't declare `construct'.
9372
9373         * hash.c (grow_hash_table): Speed up rehashing; inline storing of
9374         mappings to new locations.
9375         (hash_table_new): Make resize_threshold a field in the hash table,
9376         so we don't have to recalculate it in each hash_table_put.
9377         (grow_hash_table): Update resize_threshold.
9378         (MAX): Remove unused macro.
9379         (prime_size): Made static.
9380
9381 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
9382
9383         * retr.c (retrieve_url): Call uri_merge, not url_concat.
9384
9385         * html-url.c (collect_tags_mapper): Call uri_merge, not
9386         url_concat.
9387
9388         * url.c (mkstruct): Use encode_string instead of xstrdup followed
9389         by URL_CLEANSE.
9390         (path_simplify_with_kludge): Deleted.
9391         (contains_unsafe): Deleted.
9392         (construct): Renamed to uri_merge_1.
9393         (url_concat): Renamed to uri_merge.
9394
9395 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
9396
9397         * url.c (str_url): Use encode_string instead of the unnecessary
9398         CLEANDUP.
9399         (encode_string_maybe): New function, returns input string if no
9400         encoding is needed.
9401         (encode_string): Call encode_string_maybe to do the dirty work,
9402         xstrdup if no work needed.
9403
9404 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
9405
9406         * wget.h (XDIGIT_TO_xchar): Define here.
9407
9408         * url.c (decode_string): Use new name.
9409         (encode_string): Ditto.
9410
9411         * http.c (XDIGIT_TO_xchar): Rename HEXD2asc to XDIGIT_TO_xchar.
9412         (dump_hash): Use new name.
9413
9414         * wget.h: Rename ASC2HEXD and HEXD2ASC to XCHAR_TO_XDIGIT and
9415         XDIGIT_TO_XCHAR respectively.
9416
9417 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
9418
9419         * init.c: Include cookies.h.
9420
9421         * cookies.h: Declare cookies_cleanup.
9422
9423         * cookies.c (check_domain_match): Remove unused variable.
9424         (save_cookies): Remove extraneous argument from debug statement.
9425
9426         * host.c (same_host): Don't call skip_url.
9427
9428         * url.c (skip_url): Removed.  Removed its calls from various
9429         functions in url.c.
9430
9431 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
9432
9433         * cookies.c (unsigned_string_hash): Use the new code in
9434         string_hash as reference.
9435
9436         * hash.c (hash_table_map): Allow deletion and change of the
9437         element processed by MAPFUN.
9438         (string_hash): Use the function from glib.
9439
9440 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
9441
9442         * config.h.in: Include #undef stub.
9443
9444         * hash.c (hash_table_remove): Rewrite to actually clear deleted
9445         entries instead of just marking them as deleted.
9446
9447 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
9448
9449         * hash.h: Declare hash_table_get_pair and hash_table_count.
9450
9451 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
9452
9453         * cookies.c: Declare http_atotm.
9454
9455 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
9456
9457         * ftp-ls.c (ftp_parse_unix_ls): Use octal constants for
9458         permissions.  A compiler that doesn't accept octal constants is
9459         seriously broken and shouldn't be used -- octal constants were
9460         present in K&R C!
9461
9462 2001-01-20  Karl Eichwalder  <ke@suse.de>
9463
9464         * Makefile.in: Provide and use DESTDIR according to the Coding
9465         Standards.
9466
9467 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
9468
9469         * ftp-ls.c (ftp_parse_vms_ls): Make seconds optional in time
9470         specification.
9471
9472 2001-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
9473
9474         * url.c (parseurl): Don't strip trailing slash when u->dir is "/"
9475         because that strips the *leading* slash, thus forcing relative
9476         FTP retrieval.
9477
9478 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
9479
9480         * ftp.c (getftp): Convert initial FTP directory from VMS to UNIX
9481         notation for VMS servers.
9482         (ftp_retrieve_dirs): Do not prepend '/' to f->name when
9483         odir is an empty string.
9484
9485 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
9486
9487         * ftp-ls.c (ftp_parse_winnt_ls): Made the fix for AM/PM more
9488         effective. Suggested by Edward J. Sabol.
9489
9490 2001-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
9491
9492         * cookies.c (build_cookies_request): Use and sort cookies from all
9493         matching domains.
9494         (build_cookies_request): Check for duplicates before generating
9495         the `Cookies' header.
9496
9497         * main.c (main): Don't load cookies here.
9498         (main): Make loadcookies and savecookies call the correct command.
9499
9500         * http.c (http_loop): Load cookies on-demand.
9501
9502 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
9503
9504         * http.c (gethttp): Fix indentation of SSL ifdef.
9505
9506 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
9507
9508         * ftp.c (ftp_retrieve_dirs): Don't forcibly prepend "/" to u->dir;
9509         that hack is no longer necessary.
9510         (getftp): Prepend initial directory to *non*-absolute u->dir's.
9511
9512 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
9513
9514         * init.c (cmd_file): New function.
9515         (enable_tilde_expansion): New variable.
9516         (run_wgetrc): Use it.
9517         (cmd_file): Use it.
9518
9519 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
9520
9521         * init.c: Include cookie-related options.
9522
9523         * main.c (main): Include cookie-specific options.
9524         (main): Load cookies before download is finished.
9525         (main): Save cookies when done.
9526
9527         * http.c (gethttp): Process the `Set-Cookie' header.
9528         (gethttp): Include cookies in the response.
9529
9530         * cookies.c: New file.
9531
9532 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
9533
9534         * utils.c (datetime_str): New function.
9535
9536 2001-04-08  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
9537
9538         * ftp-ls.c (ftp_parse_winnt_ls): The AM/PM change did assume
9539         12:01PM == 00:01, which was obviously wrong. Taken care of this
9540         anomaly.
9541
9542         * ChangeLog: Removed an excess conflict marker. Reformatted the
9543         entry by Philipp Thomas from 2001-03-09.
9544
9545         * ftp-ls.c (ftp_parse_winnt_ls): Ensure that adjusted PM hours lay
9546         between 0 and 23. Elminate unused variable `sec'.
9547
9548 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
9549
9550         * hash.c (hash_table_count): New function.
9551
9552 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
9553
9554         * utils.c (read_file): Cast MAP_FAILED to char *.  Enforced by
9555         Digital Unix cc.
9556
9557 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
9558
9559         * config.h.in: Oops, do the namespace tweaks only on systems we
9560         know about.
9561
9562 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
9563
9564         * hash.c: Include <string.h>.
9565
9566 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
9567
9568         * config.h.in: Define "compilation environment" options that work
9569         under Linux and Solaris.  To be reviewed on other OS'es.
9570
9571 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
9572
9573         * http.c (gethttp): Prepend literal newline with `\n\'.
9574
9575 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
9576
9577         * sysdep.h: Don't define VERY_LONG_FORMAT.
9578
9579         * utils.c (very_long_to_string): New function.
9580         (legible_very_long): Use it; don't use VERY_LONG_FORMAT.
9581
9582 2001-04-04  Christian Fraenkel  <christian.fraenkel@gmx.net>
9583
9584         * url.c (parse_uname): Would run past the end of the string if the
9585         username was present, but the URL did not contain a slash, e.g.
9586         http://foo:bar@myhost.
9587
9588 2001-04-03  KOJIMA Hajime  <kjm@rins.ryukoku.ac.jp>
9589
9590         * http.c (http_atotm): Use %A instead of %a to match full
9591         weekday.  (On most systems there is no difference.)
9592
9593 2001-04-03  Paul Bludov  <paul@ozero.net>
9594
9595         * mswindows.c (sleep): Use SleepEx() instead of Sleep().
9596         (ws_changetitle): Use alloca() instead of malloc() to avoid memory
9597         leak.
9598         (ws_mypath): Use GetModuleFileName instead of argv[0].
9599         (ws_startup): Use data.wVersion for comparison.
9600
9601 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
9602
9603         * http.c (http_loop): Ditto.
9604
9605         * ftp.c (ftp_loop_internal): Made the check whether to continue
9606         retrieval `-O'-friendly.
9607
9608 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
9609
9610         * netrc.c (parse_netrc): Don't trim the line endings explicitly;
9611         they will be handled as whitespace.
9612         (parse_netrc): Correctly handle lines that end with whitespace.
9613
9614 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
9615
9616         * retr.c (retrieve_url): New variable global_download_count used
9617         to identify first retrieval.
9618
9619         * ftp.c (getftp): Ditto.
9620
9621         * http.c (gethttp): Rewind opt.dfp only on first retrieval.
9622
9623 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
9624
9625         * init.c (cmd_address): Heap-allocate the address that gets stored
9626         to CLOSURE.  Old code would simply assign an address on the stack.
9627
9628 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
9629
9630         * ftp.c (ftp_get_listing): Propagate error status.
9631         (ftp_retrieve_glob): Use it.
9632         (ftp_loop): Ditto.
9633
9634 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
9635
9636         * main.c (main): Add -C to the string that is the third arg to
9637         getopt_long().
9638
9639 2001-04-01  Hrvoje Niksic  <hniksic@arsdigita.com>
9640
9641         * ftp.c (getftp): Don't start the download from scratch if `-c'
9642         was specified, but the file is already fully downloaded.
9643
9644         * http.c (gethttp): Don't truncate a pre-existing file if `-c' was
9645         specified and the server doesn't support continued download.
9646         (gethttp): Don't start the download from scratch if `-c' was
9647         specified, but the file is already fully downloaded.
9648
9649 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
9650
9651         (recursive_retrieve): Don't clear the hash tables at this point at
9652         all; it interferes with the normal operation of register_download.
9653
9654 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
9655
9656         * recur.c (recursive_retrieve): Clear the hash tables only when
9657         they are defined.
9658
9659 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
9660
9661         * http.c (gethttp): Make sure the socket is closed with
9662         CLOSE_INVALIDATE before we have drained the body.
9663
9664 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
9665
9666         * retr.c (retrieve_url): Call register_download() for downloaded
9667         files and register_html() for downloaded HTML files.
9668
9669         * recur.c (register_download): New function; register here that a
9670         file has been downloaded, rather than in recursive_retrieve().
9671         (register_html): New function; enqueue the location of HTML files
9672         here rather than in recursive_retrieve().
9673
9674 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
9675
9676         * main.c (print_help): Use multiple fputs instead of a single ugly
9677         printf().
9678         (main): Consistently assign numbers >128 to options without a
9679         corresponding character.
9680
9681 2001-03-09  Philipp Thomas  <pthomas@suse.de>
9682
9683         * safe-ctype.h: New file. Locale independent ctype.h replacement
9684         taken from libiberty.
9685
9686         * safe-ctype.c: New file. Tables for above.
9687
9688         * Makefile.in: Add safe-ctype$o to OBJS.  Add dependencies for
9689         safe-ctype$o.
9690
9691         * cmpt.c: Remove include of ctype.h. Use ISSPACE instead of
9692         isspace.
9693
9694         * ftp-basic.c: Don't include ctype.h.
9695
9696         * ftp-ls.c: Likewise.
9697
9698         * ftp.c: Likewise.
9699
9700         * headers.c: Likewise.
9701
9702         * host.c: Likewise.
9703
9704         * html-parse.c: Likewise.
9705
9706         * html-url.c: Likewise.
9707
9708         * http.c: Likewise.
9709
9710         * init.c: Likewise.
9711
9712         * main.c: Likewise. Set LC_CTYPE along with LC_MESSAGES.
9713
9714         * netrc.c: Likewise.
9715
9716         * recur.c: Likewise.
9717
9718         * retr.c: Likewise.
9719
9720         * snprintf.c: Replace ctype.h with safe-ctype.h. Use ISDIGIT
9721         instead of isdigit.
9722
9723         * sysdep.h: Remove defines of ctype macros as they aren't needed
9724         for safe-ctype-h.
9725
9726         * url.c: Don't include ctype.h.
9727
9728         * utils.c: Likewise.
9729
9730         * wget.h: Include safe-ctype.h.
9731
9732 2001-03-27  Dan Harkless  <wget@harkless.org>
9733
9734         * Makefile.in: Moved top_builddir out of "User configuration
9735         section" of top Makefile and analogous spot in this one.
9736
9737 2001-03-17  Dan Harkless  <wget@harkless.org>
9738
9739         * Makefile.in: Include @SSL_INCLUDES@ substition in INCLUDES.
9740         Define top_builddir.  Link wget with libtool so the user doesn't
9741         have to supply a bunch of custom environment variables to
9742         correctly link with the OpenSSL shared libraries.
9743
9744 2001-03-06  Hack Kampbjorn  <hack@hackdata.com>
9745
9746         * http.c (gethttp): skip :port in host header if it is the
9747         DEFAULT_HTTPS_PORT when using SSL.
9748
9749         * url.c: move the #define of DEFAULT_HTTP_PORT, DEFAULT_FTP_PORT
9750         and DEFAULT_HTTPS_PORT to the header file so it can be use in the
9751         rest of the code.
9752         * url.h: Ditto
9753
9754 2001-03-01  Jonas Jensen  <bones@huleboer.dk>
9755
9756         * retr.c (show_progress): Correctly calculate the number of bytes
9757         in the first line of the download that have been actually
9758         downloaded in this run.
9759
9760 2001-02-23  Dan Harkless  <wget@harkless.org>
9761
9762         * main.c (print_help): --help documentation for -N said it would
9763         re-download files if they had the _same_ timestamp on server.
9764         (print_help): -nr belongs in "FTP options" section of --help
9765         output, not "Recursive retrieval" section.  Alphabetized FTP
9766         options by long option name.
9767
9768 2001-02-16  Dan Harkless  <wget@harkless.org>
9769
9770         * init.c (commands): Hack Kampbjørn <hack@hackdata.com> discovered
9771         that "httpsproxy" had been inserted into commands[] out of
9772         alphabetical order, causing "BUG: unknown command `httpuser'".
9773
9774 2001-02-13  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
9775
9776         * ftp-ls.c (ftp_parse_ls): Added support of ST_MACOS (Unix-like
9777         listing without correct permissons).
9778
9779         * ftp.h (stype): Added ST_MACOS to identify the NetPresenz MacOS
9780         FTP server.
9781
9782         * ftp.c (ftp_retrieve_list): New mirroring logic: A remote file
9783         shall be donwloaded only when it's newer than the local copy or
9784         when it has the same timeestamp but its size is different. ST_VMS
9785         and ST_MACOS as special cases that lie about file size.
9786
9787         * ftp-ls.c (ftp_parse_ls): Support for ST_MACOS.
9788
9789         * Makefile.in: Removed dependency on ftpparse library due to unclear
9790         copyright issues and absence of any feedback to our queries.
9791
9792         * ftp-ls.c: Removed dependency on ftpparse library due to unclear
9793         copyright issues and absence of any feedback to our queries.
9794         (ftp_parse_ls): Added a warning message when remote server system
9795         does not seem to be suported by wget.
9796         (ftp_parse_vms_ls): New function for parsing VMS ftp
9797         server listing output.
9798         (clean_line): New function responsible for removing
9799         end-of-line characters from FTP listing texts.
9800
9801         * ftp.c (getftp): Global variables pwd and host_type are now
9802         member of the ccon structure under names ccon.id and ccon.rs.
9803
9804         * ftp.h (struct ccon): Added formed global variables from ftp.c,
9805         enum stype rs (remote system identification) and char *id (initial
9806         working directory), as suggested by Hrvoje.
9807
9808         * url.c (parse_uname): Added support for passwords containing '@'
9809         characters.
9810         (skip_uname): Ditto.
9811
9812 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
9813
9814         * ftp.c (ftp_loop): Reset con.
9815
9816 2001-01-06  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
9817
9818         * url.c (parse_uname): Added support for passwords containing '@'
9819         characters.
9820         (skip_uname): Ditto.
9821
9822 2001-02-11  Hack Kampbjørn  <hack@hackdata.com>
9823
9824         * url.c (parseurl): Debug-print u->ftp_type.
9825
9826 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
9827
9828         * ftp.c (ftp_loop_internal): Disable padding.
9829         (getftp): Ditto.
9830
9831         * http.c (http_loop): Disable padding.
9832
9833         * retr.c (show_progress): Use it to enable padding.
9834
9835         * retr.c (rate): Optional parameter PAD for padding the rate.
9836
9837 2001-02-10  Hrvoje Niksic  <hniksic@arsdigita.com>
9838
9839         * retr.c (show_progress): Make sure that the last output line
9840         includes progress.
9841
9842 2001-02-10  Jonas Jensen  <bones@huleboer.dk>
9843
9844         * retr.c (show_progress): Print the download rate along with the
9845         percentages.
9846         Along with Anders Thorsby <anders@thorsby.dk>.
9847
9848 2001-02-10  Tim Mooney  <mooney@dogbert.cc.ndsu.NoDak.edu>
9849
9850         * ftp.h: Rename enums `command' to `wget_ftp_command' and
9851         `fstatus' to `wget_ftp_status' because old names clash with Tru64
9852         net/if.h.
9853
9854 2001-02-08  Christian Fraenkel <christian.fraenkel@gmx.net>
9855
9856         * gen_sslfunc.c: verify_callback is now static
9857
9858         * gen_sslfunc.c (init_ssl): load certificate if specified
9859
9860         * gen_sslfunc.c (ssl_printerr): new function
9861
9862         * init.c: added new --sslcertfile and --sslcertkey switches
9863
9864         * main.c: ditto
9865
9866         * options.h: ditto
9867
9868         * http.c (gethttp): abort when init_ssl fails
9869
9870 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
9871
9872         * mswindows.h: Include <malloc.h>; it's needed for alloca().
9873
9874 2001-01-10  Dan Harkless  <wget@harkless.org>
9875
9876         * url.c (str_url): Clarified this function's comment header after
9877         Hrvoje answered my question on the list as to when hide != 1.
9878         Also Hrvoje pointed out I need to use xstrdup() on the string literal.
9879
9880 2001-01-06  Hrvoje Niksic  <hniksic@arsdigita.com>
9881
9882         * connect.c (bindport): Declare addrlen as int.  Diagnosed by
9883         Drazen Kacar <dave@arsdigita.com>.
9884         (conaddr): Ditto.
9885
9886 2001-01-09  Dan Harkless  <wget@harkless.org>
9887
9888         * html-url.c: A bunch of fixup of `--page-requisites'-related
9889         comments to reflect Hrvoje's changes to my code when transplanting
9890         it into this new file, to fix spelling mistakes, to clarify, etc.
9891
9892         * url.c (write_backup_file): Clarified a comment.
9893         (str_url): Henrik van Ginhoven pointed out on the list that we
9894         shouldn't give away the number of characters in the password by
9895         replacing each character with a 'x'.  Use "<password>" instead.
9896
9897         * ftp.c (ftp_retrieve_dirs): The bug where recursion into FTP
9898         directories didn't work if logging in put you in a directory other
9899         than "/" is fixed now.  Removed the comment here warning of the bug.
9900
9901         * main.c (print_help): --continue's description was misleading.
9902         We don't "restart", we "resume".  Also, better to say
9903         "partially-downloaded file" rather than just "existing file".
9904
9905 2001-01-06  Dan Harkless  <wget@harkless.org>
9906
9907         * ChangeLog: The '[Not in 1.6 branch.]'s were decided not to be
9908         the best way to go about my aim.  Removed them in favor of:
9909
9910         * ChangeLog-branches/1.6_branch.ChangeLog: New file.
9911
9912 2001-01-04  Hrvoje Niksic  <hniksic@arsdigita.com>
9913
9914         * url.c (replace_attr): New function, to be used by both
9915         TO_COMPLETE and TO_RELATIVE case in convert_links.
9916         (find_fragment): New function for finding URL fragments.
9917         (replace_attr): Better handle the case where the original string
9918         is not quoted.  Use find_fragment.
9919         (convert_links): Use replace_attr().
9920
9921 2000-12-31  Dan Harkless  <wget@harkless.org>
9922
9923         * ChangeLog: Since this flat file doesn't have multiple branches,
9924         looking at the dates would make you think that things went into
9925         1.6 that actually just went into the 1.7-dev branch.  Added "[Not
9926         in 1.6 branch.]" where appropriate to clarify.
9927
9928 2000-12-30  Dan Harkless  <wget@harkless.org>
9929
9930         * ftp.c, http.c:  Applied Hack Kampbjørn <hack@hackdata.com>'s
9931         patch to deal with h_errno not being defined in netdb.h under Cygwin.
9932
9933 2000-12-18  Csaba Raduly  <csaba.raduly@sophos.com>
9934
9935         * sysdep.h: Include <malloc.h> and <io.h> under Watcom.
9936
9937 2000-12-17  Igor Khristophorov  <igor@atdot.org>
9938
9939         * http.c (check_end): Fix test for '+' or '-'.
9940
9941 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
9942
9943         * url.c (parseurl): Rename inner loop var from i to ind to avoid
9944         clash with the function top-level-declared variable i.
9945         (str_url): Likewise, rename inner-loop i to j.
9946
9947         * recur.c (parse_robots): Don't declare LEN at top of function.
9948         (robots_match): Renamed parameter FORBIDDEN to avoid hiding of
9949         global variable.
9950
9951         * main.c (main): Change erroneous use of bitwise and to logical.
9952
9953         * init.c (cmd_address): Don't heap-allocate `sin'; it can be on
9954         the stack because it will be copied to closure.
9955
9956         Thanks to Csaba Raduly's run of PC-LINT over the sources.
9957
9958 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
9959
9960         * http.c (basic_authentication_encode): Use xmalloc(), not
9961         malloc().  Thanks to Csaba Raduly's run of PC-LINT over the
9962         sources.
9963
9964 2000-12-17  Csaba Raduly  <csaba.raduly@sophos.com>
9965
9966         * sysdep.h: Test for __EMX__ rather than for EMXOS2 for OS/2
9967         compilation.
9968
9969 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
9970
9971         * mswindows.c: Include <errno.h>.
9972
9973         * gen_sslfunc.c: Include <errno.h>.
9974
9975         * ftp-basic.c: Don't attempt to declare errno or h_errno because
9976         they're not used.
9977
9978         * main.c: Include <errno.h> because errno is used.
9979
9980         * ftp.c: Ditto.
9981
9982         * http.c: Include <netdb.h> for h_errno.
9983
9984 2000-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
9985
9986         * html-parse.c (advance_declaration): MSVC assert() chokes on
9987         '\"'.  Use '"' instead.
9988
9989 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
9990
9991         * utils.c (xfree_real): Removed.
9992         (xfree_debug): Just call free().
9993
9994         * wget.h (xfree): Make it an alias for free.
9995
9996 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
9997
9998         * http.c (http_loop): Furthermore, touch output_document only if
9999         it is known to be an existing regular file.
10000
10001 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
10002
10003         * ftp.c (ftp_retrieve_list): Ditto.
10004
10005         * http.c (http_loop): Touch output_document if that is used for
10006         output.
10007
10008 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
10009
10010         * http.c: Include gen_sslfunc.h after including Wget's headers.
10011         (persistent_available_p): Needed coma before `int ssl'.
10012
10013 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
10014
10015         * ftp.c (ftp_loop_internal): Ditto.
10016
10017         * http.c (http_loop): Use it.
10018
10019         * retr.c (sleep_between_retrievals): New function that handles the
10020         logic of opt.wait and opt.waitretry.
10021
10022 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
10023
10024         * rbuf.h: Implement only a single version of RBUF_READCHAR, using
10025         rbuf_read_bufferful when the buffer is depleted.
10026
10027         * rbuf.c (rbuf_read_bufferful): New function.
10028
10029 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
10030
10031         * gen_sslfunc.h: Use ansi2knr style function declarations.
10032
10033         * gen_sslfunc.c: Reformat according to the GNU coding standards.
10034         More should be done.
10035
10036         * http.c (persistent_available_p): Place the cheap SSL test nearer
10037         the top of the function.
10038         (CLOSE_FINISH, CLOSE_INVALIDATE): Define only one version of each.
10039
10040 2000-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
10041
10042         * url.c (init_unsafe_char_table): Reinstate space as an unsafe
10043         char.
10044
10045 2000-12-03  Christian Fraenkel <christian.fraenkel@gmx.net>
10046
10047         * Makefile.in: added gen_sslfunc object
10048         * config.h.in: added HAVE_SSL define
10049         * connect.c: changed select_fd from static int to int
10050         * connect.h: ditto
10051         * gen_sslfunc.h: New file
10052         * gen_sslfunc.c: ditto
10053         * http.c: added HTTPS fuctionality
10054         * retrc.c: ditto
10055         * url.c: ditto
10056         * init.c: added opt.httpsproxy
10057         * options.h: ditto
10058         * rbuf.h: added alternate rbuf struct
10059         * wget.h: added CONSSLERR
10060         * rbuf.c: ditto
10061
10062         * http.c: Added HTTPS fuctionality.
10063
10064         * retrc.c: Ditto.
10065
10066         * url.c: Ditto.
10067
10068         * init.c: Added opt.httpsproxy.
10069
10070         * options.h: Ditto.
10071
10072         * rbuf.h: Added alternate rbuf struct.
10073
10074         * wget.h: Added CONSSLERR.
10075
10076         * rbuf.c: Ditto.
10077
10078 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
10079
10080         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
10081         "ignore_perms" to ignore file and directory permissions for
10082         Windows NT FTP server listings.
10083         (ftp_parse_winnt_ls): New function.
10084         (ftp_parse_ls): Parses UNIX and Windows NT listings
10085         separately. Simple heuristics for distinguishing between UNIX and
10086         MS-DOS-like FTP listing provided by Windows NT FTP service.
10087
10088 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
10089
10090         * ftpparse.c, ftpparse.h: New files.
10091
10092         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
10093         only. Use ftp_parse_nonunix_ls otherwise.
10094         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
10095         exotic FTP servers.
10096
10097         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
10098         FTP servers.
10099
10100         * ftp.c: New static wariables host_type, pwd, and pwd_len.
10101         (getftp): Support for VMS. Support for FTP servers that do not
10102         place you in the root directory after login.
10103         (ftp_retrieve_list): VMS is silent about the real file size, issue
10104         a more appropriate message.
10105         (ftp_get_listing): Pass host_type to ftp_parse_ls.
10106
10107         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
10108
10109 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
10110
10111         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
10112         "ignore_perms" to ignore file and directory permissions for
10113         Windows NT FTP server listings.
10114         (ftp_parse_winnt_ls): New function.
10115         (ftp_parse_ls): Parses UNIX and Windows NT listings
10116         separately. Simple heuristics for distinguishing between UNIX
10117         and MS-DOS-like FTP listing provided by Windows NT FTP service.
10118
10119 2000-11-29  John Summerfield  <summer@OS2.ami.com.au>
10120
10121         * netrc.c (parse_netrc): Get rid of line ending.
10122
10123 2000-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
10124
10125         * ftp.c (ftp_retrieve_list): Undo typo "fix" until resolution by
10126         Dan.
10127
10128 2000-11-24  Karl Eichwalder  <ke@suse.de>
10129
10130         * main.c (print_help): Untabify.
10131
10132 2000-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
10133
10134         * utils.c (xrealloc_debug): Do the unregister/register thing only
10135         if the pointer has actually changed.
10136         (xmalloc_real): Declare `static' in DEBUG_MALLOC builds.
10137         (xfree_real): Ditto.
10138         (xrealloc_real): Ditto.
10139         (xstrdup_real): Ditto.
10140
10141 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
10142
10143         * ftp.c (getftp): ftp_getaddress() returns a malloc'ed copy of the
10144         string; no need to strdup() it.
10145         (getftp): Make pwd_len a local variable.
10146         (ftp_loop): Free PWD before returning.
10147
10148         * init.c (cleanup): Free opt.ftp_pass only if it's non-NULL.
10149
10150 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
10151
10152         * all: Use xfree() instead of free.
10153
10154         * utils.c (xfree): New function.
10155
10156 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
10157
10158         * url.c (convert_links): HTML-quote the converted string.
10159
10160         * utils.c (html_quote_string): Move here from ftp-ls.c
10161         (html_quote_string): Make non-static; declare in utils.h.
10162         (html_quote_string): Convert SP to &#32;.
10163
10164 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
10165
10166         * ftp.c (getftp): Reformat Jan's code according to GNU coding
10167         standards; remove (debugging?) printf's; use '\0' for the ASCII
10168         zero character.  Use alloca() instead of malloc() for
10169         inter-function temporary allocations.
10170
10171 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
10172
10173         * ftpparse.c, ftpparse.h: New files.
10174
10175         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
10176         only. Use ftp_parse_nonunix_ls otherwise.
10177         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
10178         exotic FTP servers.
10179
10180         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
10181         FTP servers.
10182
10183         * ftp.c: New static wariables host_type, pwd, and pwd_len.
10184         (getftp): Support for VMS. Support for FTP servers that do not
10185         place you in the root directory after login.
10186         (ftp_retrieve_list): VMS is silent about the real file size, issue
10187         a more appropriate message.
10188         (ftp_get_listing): Pass host_type to ftp_parse_ls.
10189
10190         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
10191
10192 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
10193
10194         * hash.c (hash_table_put): Don't overwrite deleted mappings.
10195
10196 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
10197
10198         * hash.c (find_mapping): New function.
10199         (hash_table_get): Use it.
10200         (hash_table_get_pair): Ditto.
10201         (hash_table_exists): Ditto.
10202         (hash_table_remove): Ditto.
10203         (hash_table_remove): Really delete the entry if the mapping
10204         following LOCATION is empty.
10205
10206         * utils.c (string_set_add): Check whether the element has existed
10207         before.
10208
10209         * hash.c (hash_table_get_pair): New function.
10210
10211 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
10212
10213         * http.c (http_process_type): Ignore trailing whitespace; use
10214         strdupdelim().
10215
10216         * recur.c (recursive_retrieve): Use the new `convert' field.
10217         (convert_all_links): Ditto.
10218         (convert_all_links): Don't respect meta_disallow_follow.
10219
10220         * html-url.c (handle_link): Fill out link_relative_p and
10221         link_complete_p.
10222
10223         * url.h (struct _urlpos): Make elements more readable.
10224
10225         * recur.c (recursive_retrieve): Call slist_prepend instead of
10226         slist_append.
10227         (convert_all_links): Call slist_nreverse before iterating through
10228         urls_html.
10229
10230         * utils.c (slist_prepend): New function.
10231         (slist_nreverse): Ditto.
10232
10233 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
10234
10235         * http.c (check_end): Constify.
10236
10237 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
10238
10239         * http.c (http_loop): If username and password are known, try the
10240         `Basic' authentication scheme by default.
10241
10242         * connect.h: Declare test_socket_open.
10243
10244 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
10245
10246         * version.c: Bump version from 1.5.3+dev to 1.7-dev.
10247
10248 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
10249
10250         * http.c (gethttp): Don't use the return value of sprintf().
10251         (gethttp): Inhibit keep-alive if opt.http_keep_alive is 0.
10252
10253 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
10254
10255         * recur.c (recursive_retrieve): Print the "so we don't load"
10256         debugging message only if we really don't load.
10257
10258         * http.c (gethttp): Inhibit keep-alive if proxy is being used.
10259         (gethttp): Don't request keep-alive if keep-alive is inhibited.
10260
10261 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
10262
10263         * http.c (gethttp): Make the HTTP persistent connections more
10264         robust.
10265
10266 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
10267
10268         * retr.c (get_contents): If use_expected, make sure that the
10269         appropriate amount of data is being read.
10270
10271         * http.c (gethttp): Check for both `Keep-Alive: ...' and
10272         `Connection: Keep-Alive'.
10273
10274         * wget.h (DEBUGP): Call debug_logprintf only if opt.debug is
10275         turned on.
10276
10277 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
10278
10279         * http.c (connection_available_p): Use it.
10280
10281         * connect.c (test_socket_open): New function.
10282
10283         * http.c (gethttp): Support persistent connections.  Based on the
10284         ideas, and partly on code, by Sam Horrocks <sam@daemoninc.com>.
10285         (register_persistent): New function.
10286         (connection_available_p): Ditto.
10287         (invalidate_connection): Ditto.
10288
10289 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
10290
10291         * url.c (convert_links): Handle UREL2ABS case.
10292
10293         * recur.c (recursive_retrieve): Instead of the list
10294         urls_downloaded, use hash tables dl_file_url_map and
10295         dl_url_file_map.
10296         (convert_all_links): Use them to retrieve data.
10297
10298         * host.c (clean_hosts): Free the hash tables.
10299
10300         * main.c (private_initialize): Call host_init().
10301
10302         * host.c (store_hostaddress): Use a saner, hash table-based data
10303         model.
10304         (realhost): Ditto.
10305         (host_init): Initialize the hash tables.
10306
10307 2000-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
10308
10309         * utils.c (slist_append): Eviscerate NOSORT.  Hash tables are now
10310         used for what the sorted slists used to be used for.
10311         (slist_contains): Don't rely on the list being sorted.
10312         (slist_append): Simplify the code.
10313
10314         * recur.c (recursive_cleanup): Use free_string_set.
10315
10316         * utils.c (string_set_add, string_set_exists, string_set_free):
10317         New functions for easier freeing of hash tables whose keys are
10318         strdup'ed strings.
10319
10320         * recur.c (recursive_retrieve): Use the hash table functions for
10321         storing undesirable URLs.
10322
10323         * hash.c: New file.
10324
10325 2000-11-17  Hrvoje Niksic  <hniksic@arsdigita.com>
10326
10327         * main.c (private_initialize): Call url_init.
10328         (main): Call private_initialize.
10329
10330         * url.c (unsafe_char_table): New table.
10331         (UNSAFE_CHAR): Use it.
10332         (init_unsafe_char_table): New function.
10333         (url_init): New function; call init_unsafe_char_table.
10334
10335 2000-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
10336
10337         * mswindows.h: Define snprintf and vsnprintf to _snprintf and
10338         _vsnprintf respectively.
10339
10340 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
10341
10342         * config.h.in: Do the _XOPEN_SOURCE and _SVID_SOURCE things only
10343         on Linux.
10344
10345 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
10346
10347         * html-url.c (handle_link): Handle HTML fragment identifiers.
10348
10349         * recur.c (recursive_retrieve): If norobot info is respected and
10350         the file is specified not to be followed by robots, respect that.
10351
10352         * html-url.c (collect_tags_mapper): Handle <meta name=robots
10353         content=X>.  For us the important cases are where X is NONE or
10354         where X contains NOFOLLOW.
10355         (get_urls_html): Propagate that information to the caller.
10356
10357 2000-11-13  Hrvoje Niksic  <hniksic@arsdigita.com>
10358
10359         * url.c (convert_links): Unlink the file we might be reading from
10360         before writing to it.
10361         (convert_links): Use alloca instead of malloc for
10362         filename_plus_orig_suffix.
10363
10364 2000-11-12  Hrvoje Niksic  <hniksic@arsdigita.com>
10365
10366         * host.c (realhost): Add HOST to the list with quality==0 only if
10367         it wasn't already there.
10368         Based on analysis by Lu Guohan <feng@public.bjnet.edu.cn>.
10369
10370 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
10371
10372         * url.c (get_urls_file): Ditto.
10373         (convert_links): Ditto.
10374
10375         * html-url.c (get_urls_html): Use read_file() instead of
10376         load_file().
10377
10378         * utils.c (read_file): New function, instead of the old
10379         load_file().
10380         (read_file_free): Ditto.
10381
10382         * url.c (findurl): Search only for the supported protocols.
10383         (convert_links): Use fwrite() when writing out a region of
10384         characters.
10385
10386 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
10387
10388         * ftp-ls.c: Move html_quote_string and ftp_index here.
10389
10390         * url.c: Remove get_urls_html, since that's now in html-url.c.
10391
10392         * html-url.c: New file.
10393
10394         * html-parse.c: New file.
10395
10396 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
10397
10398         * init.c (run_wgetrc): Don't bother killing off '\r' since
10399         pars_line() skips whitespace at end of line anyway.
10400         (parse_line): Oops, it didn't.  Now it does.
10401
10402         * recur.c (parse_robots): Ditto here.
10403
10404         * ftp-ls.c (ftp_parse_unix_ls): Kill off the newline character
10405         manually because read_whole_line no longer does.
10406
10407         * utils.c (read_whole_line): Rewrite to: a) use less memory
10408         (reallocates to needed size after work), b) work faster -->
10409         fgets() instead of getc, c) be more correct --> doesn't kill the
10410         newline character at the end of line.
10411
10412 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
10413
10414         * init.c (comind): Initialize MAX to array size - 1.
10415
10416 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
10417
10418         * url.c (construct): Changed last_slash[-1] to *(last_slash - 1).
10419         Suggested by Edward J. Sabol.
10420
10421 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
10422
10423         * url.c (construct): Handle the case where host name is not
10424         followed by a slash.
10425
10426 2000-11-06  Hrvoje Niksic  <hniksic@arsdigita.com>
10427
10428         * init.c: commands[] need to be sorted!  ("base" wasn't.)
10429
10430 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
10431
10432         * wget.h (DO_REALLOC_FROM_ALLOCA): Use braces to disambiguate
10433         `if'.
10434
10435 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
10436
10437         * url.c (construct): Insert unneeded initialization for the
10438         compiler to shut up.
10439
10440         * config.h.in: Define _XOPEN_SOURCE to 500 to get the prototype
10441         for strptime() (*duh*).  Define _SVID_SOURCE to get S_IFLNK which
10442         otherwise gets lost when you define _XOPEN_SOURCE.
10443
10444         * utils.c (touch): Include the file name in the error message.
10445         From Debian.
10446
10447 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
10448
10449         * log.c (logvprintf): Use vsnprintf() in all cases.  If necessary,
10450         resize the buffer to fit the formated message.  That way, messages
10451         of arbitrary size may be printed.
10452         (logvprintf): Use saved_append() to optionally log the last
10453         several lines of output.
10454         (logputs): Ditto.
10455         (log_close): Adapt to new data structures.
10456         (log_dump): Ditto.
10457         (redirect_output): Print messages to stderr, not to stdout.
10458
10459         * log.c (saved_append_1): New function.  Replaces the old logging
10460         system ("log all output until 10M characters") with a new, much
10461         more reasonable one ("log last screenful of text").
10462         (saved_append): New function; call saved_append_1.
10463         (free_log_line): New function.
10464
10465 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
10466
10467         * url.c (construct): Fix comment.
10468         (find_last_char): Document.
10469
10470 2000-11-04  Hrvoje Niksic  <hniksic@arsdigita.com>
10471
10472         * snprintf.c: New file.
10473
10474 2000-11-03  Hrvoje Niksic  <hniksic@arsdigita.com>
10475
10476         * wget.h: If HAVE_STDARG_H is not defined, don't declare argument
10477         types to logprintf() and debug_logprintf().
10478
10479 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
10480
10481         * ftp.c (ftp_loop_internal): Hide the password from the URL when
10482         printing non-verbose.  Problem spotted by Dariusz Mlynarczyk
10483         <darekm@bydg.lomac.com.pl>.
10484
10485 2000-11-02  Junio Hamano  <junio@twinsun.com>
10486
10487         * ftp-basic.c (ftp_login): Make comparison case-insensitive.
10488
10489 2000-11-02  Tyler Riddle  <triddle@liquidmarket.com>
10490
10491         * http.c (known_authentication_scheme_p): Recognize NTML
10492         authentication.
10493         (create_authorization_line): Treat NTML the same as `Basic'.
10494
10495 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
10496
10497         * retr.c (retrieve_url): Free url before returning.
10498         (retrieve_url): Free mynewloc before returning.
10499         Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
10500
10501 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
10502
10503         * url.c (parseurl): Remove possible reading past the end of
10504         sup_protos[].  Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
10505
10506 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
10507
10508         * main.c (main): In case of opt.downloaded overflowing, print
10509         <overflow> instead of a totally bogus random value.
10510
10511         * retr.c (retrieve_from_file): Ditto.
10512
10513         * recur.c (recursive_retrieve): Ditto.
10514
10515         * main.c (main): Ditto.
10516
10517         * http.c (http_loop): Ditto.
10518
10519         * ftp.c (ftp_loop_internal): Use downloaded_increase() instead of
10520         `+=', and downloaded_exceeds_quota() instead of the simple-minded
10521         check.
10522         (ftp_retrieve_list): Ditto.
10523         (ftp_retrieve_dirs): Ditto.
10524         (ftp_retrieve_glob): Ditto.
10525
10526         * retr.c (downloaded_increase): New function.  Notice overflows of
10527         opt.downloaded.
10528         (downloaded_exceeds_quota): Make sure that opt.downloaded is not
10529         used if it overflowed.
10530
10531         * options.h (struct options): New member downloaded_overflow.
10532
10533 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
10534
10535         * wget.h (enum): Remove extra space after last enumeration.
10536
10537 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
10538
10539         * main.c (main): Use legible_very_long() for printing
10540         opt.downloaded.
10541
10542         * utils.c (legible_1): New function that operates on strings and
10543         does the brunt of legible()'s work.
10544         (legible): Use legible_1().
10545         (legible_very_long): New function; dump the argument with
10546         sprintf(), and call legible_1().
10547
10548         * options.h (struct options): Use VERY_LONG_TYPE for
10549         opt.downloaded.
10550
10551         * sysdep.h (VERY_LONG_TYPE): Define it to have a 64-bit or greater
10552         type.
10553
10554         * config.h.in: Make sure that SIZEOF_LONG and SIZEOF_LONG_LONG get
10555         defined.  Define HAVE_LONG_LONG if long long is available.
10556
10557 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
10558
10559         * utils.c (long_to_string): Update with a later, better version.
10560
10561 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
10562
10563         * url.c (path_simplify_with_kludge): New function.
10564         (path_simplify_with_kludge): Disable it.  Instead...
10565         (parse_dir): ...make sure that at this point the right thing is
10566         done, i.e. that "query" part of the URL (?...) is always assigned
10567         to the file, never to the directory portion of the path.
10568
10569 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
10570
10571         * retr.c (retrieve_url): Detect redirection cycles.
10572
10573 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
10574
10575         * url.c (get_urls_html): Decode HTML entities using
10576         html_decode_entities.
10577
10578         * html.c (htmlfindurl): Don't count the `#' in numeric entities
10579         (&#NNN;) as an HTML fragemnt.
10580         (html_decode_entities): New function.
10581
10582 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
10583
10584         * html.c (htmlfindurl): Fix recognition of # HTML fragments.
10585
10586 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
10587
10588         * url.c (construct): Rewritten for clarity.  Avoids the
10589         unnecessary copying and stack-allocation the old version
10590         performed.
10591
10592 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
10593
10594         * ftp.c (getftp): Ditto.
10595
10596         * http.c (gethttp): Rewind the stream when retrying from scratch.
10597
10598 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
10599
10600         * retr.c (retrieve_url): Use url_concat() to handle relative
10601         redirections instead of /ad hoc/ code.
10602
10603         * url.c (url_concat): New function encapsulating weird
10604         construct().
10605         (urllen_http_hack): New function.
10606         (construct): When constructing new URLs, recognize that `?' does
10607         not form part of the file name in HTTP.
10608
10609 2000-10-13  Adrian Aichner  <adrian@xemacs.org>
10610
10611         * retr.c: Add msec timing support for WINDOWS.
10612         * retr.c (reset_timer): GetSystemTime() on WINDOWS.
10613         * retr.c (elapsed_time): Calculate delta time to msec on WINDOWS.
10614
10615 2000-10-27  Dan Harkless  <wget@harkless.org>
10616
10617         * retr.c (retrieve_url): Manually applied T. Bharath
10618         <TBharath@responsenetworks.com>'s patch to get wget to grok
10619         illegal relative URL redirects.  Reformatted and re-commented it.
10620
10621 2000-10-23  Dan Harkless  <wget@harkless.org>
10622
10623         * connect.c (make_connection and bindport): Manually applied Rob
10624         Mayoff <mayoff@dqd.com>'s 1.5.3 patch to add --bind-address,
10625         changing coding style to GNU's.
10626
10627         * ftp.c (ftp_loop_internal): --delete-after wasn't implemented for
10628         files downloaded via FTP.  Per a comment, .listing files were not
10629         counted towards number of bytes and files downloaded because they're
10630         deleted anyway.  Well, they aren't under -nr, so count them then.
10631
10632         * init.c: Manually applied Rob Mayoff's 1.5.3 patch to add
10633         --bind-address, alphabetizing, changing coding style to GNU's,
10634         commenting, and renaming cmd_ip_address() to cmd_address() to
10635         imply hostnames also okay.
10636
10637         * main.c (main): --delete-after didn't delete the root of the
10638         tree.  Ignore --convert-links if --delete-after was specified.
10639         Manually applied Rob Mayoff's 1.5.3 patch to add --bind-address,
10640         fixing duplicate use of added-since-1.5.3 case value.
10641         (print_help): Clarified that --delete-after deletes local files.
10642         Rob forgot to add a line for his new --bind-address option.
10643
10644         * options.h (struct options): Manually applied Rob Mayoff's patch
10645         to add --bind-address (bind_address structure member).
10646
10647         * recur.c (recursive_retrieve): Improved comment; added DEBUGP().
10648         Ignore --convert-links if --delete-after was specified.
10649
10650         * retr.c (retrieve_from_file): Just added a DEBUGP().
10651
10652 2000-10-19  Dan Harkless  <wget@harkless.org>
10653
10654         * ftp.c (ftp_loop_internal): downloaded_file() enumerators changed.
10655         (getftp): Applied Piotr Sulecki <Piotr.Sulecki@ios.krakow.pl>'s
10656         patch to work around FTP servers that incorrectly respond to the
10657         "REST" command with the remaining size rather than the total file size.
10658
10659         * http.c (gethttp): Improved a comment and added code to tack on
10660         ".html" to text/html files without that extension when -E specified.
10661         (http_loop): Use new downloaded_file() enumerators and deal with
10662         the case of gethttp() called xrealloc() on u->local.
10663
10664         * init.c (commands): Added new "htmlextension" command.
10665         Also renamed John Daily's cmd_quad() to the more descriptive
10666         cmd_lockable_boolean(), alpha-sorted the CMD_DECLARE()s and
10667         removed duplicate cmd_boolean() declaration.
10668
10669         * main.c (print_help): Added my new -E / --html-extension option.
10670         (main): Undocumented --email-address option previously used -E synonym.
10671         Stole it away for the much more deserving --html-extension's use.
10672
10673         * options.h (struct options): Added html_extension field.
10674
10675         * url.c (convert_links): URL X that we saved as X.html locally due
10676         to -E needs to be backed up as X.orig, not X.html.orig.  Added comments.
10677         (downloaded_file): Now remembers if we added .html extension to a file.
10678
10679         * url.h (downloaded_file_t): Added extra enumerators to support above.
10680         (downloaded_file): Now takes and returns a downloaded_file_t.
10681
10682         * wget.h (unnamed "dt" enum): Added ADDED_HTML_EXTENSION enumerator.
10683
10684 2000-10-09  Dan Harkless  <wget@harkless.org>
10685
10686         * html.c (htmlfindurl): Added unneeded initialization to quiet warning.
10687
10688         * main.c (print_help): Clarified what --retr-symlinks does.
10689
10690 2000-09-15  John Daily  <jdaily@cyberdude.com>
10691
10692         * init.c: Add support for "always" and "never" values to allow
10693         .wgetrc to override commandline (useful e.g. with .pm files
10694         calling `wget --passive-ftp' when your firewall doesn't allow that).
10695
10696         * ftp.c (getftp): passive_ftp is first option to support always/never.
10697
10698 2000-08-30  Dan Harkless  <wget@harkless.org>
10699
10700         * ftp.c (ftp_retrieve_list): Use new INFINITE_RECURSION #define.
10701
10702         * html.c: htmlfindurl() now takes final `dash_p_leaf_HTML' parameter.
10703         Wrapped some > 80-column lines.  When -p is specified and we're at a
10704         leaf node, do not traverse <A>, <AREA>, or <LINK> tags other than
10705         <LINK REL="stylesheet">.
10706
10707         * html.h (htmlfindurl): Now takes final `dash_p_leaf_HTML' parameter.
10708
10709         * init.c: Added new -p / --page-requisites / page_requisites option.
10710
10711         * main.c (print_help): Clarified that -l inf and -l 0 both allow
10712         infinite recursion.  Changed the unhelpful --mirrior description
10713         to simply give the options it's equivalent to.  Added new -p option.
10714         (main): Added some comments; handle new -p / --page-requisites.
10715
10716         * options.h (struct options): Added new page_requisites field.
10717
10718         * recur.c: Changed "URL-s" to "URLs" and "HTML-s" to "HTMLs".
10719         Calculate and pass down new `dash_p_leaf_HTML' parameter to
10720         get_urls_html().  Use new INFINITE_RECURSION #define.
10721
10722         * retr.c: Changed "URL-s" to "URLs".  get_urls_html() now takes
10723         final `dash_p_leaf_HTML' parameter.
10724
10725         * url.c: get_urls_html() and htmlfindurl() now take final
10726         `dash_p_leaf_HTML' parameter.
10727
10728         * url.h (get_urls_html): Now takes final `dash_p_leaf_HTML' parameter.
10729
10730         * wget.h: Added some comments and new INFINITE_RECURSION #define.
10731
10732 2000-08-23  Dan Harkless  <wget@harkless.org>
10733
10734         * main.c (print_help): -B / --base was not mentioned.
10735
10736 2000-08-22  Dan Harkless  <wget@harkless.org>
10737
10738         * main.c (print_help): Modified -nc description to mention that it
10739         also prevents the creation of multiple versions of the same file
10740         with ".<number>" suffixes.
10741
10742 2000-07-14  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
10743
10744         * retr.c (retrieve_url): Consistently strdup opt.referer when
10745         setting u->referer.
10746
10747 2000-06-09  Dan Harkless  <wget@harkless.org>
10748
10749         * main.c (print_help): --help output for --waitretry was over 80 cols.
10750
10751 2000-06-09  Hrvoje Niksic  <hniksic@iskon.hr>
10752
10753         * url.c (encode_string): Fix comment.
10754         Suggested by Herold Heiko <Heiko.Herold@previnet.it>.
10755
10756 2000-06-01  Const Kaplinsky  <const@ce.cctpu.edu.ru>
10757
10758         * ftp.c (ftp_retrieve_list): Change permissions only on plain
10759         files.
10760
10761 2000-06-01  Hrvoje Niksic  <hniksic@iskon.hr>
10762
10763         * url.c (str_url): Print the port number only if it's different
10764         from the default port number for that protocol.
10765
10766 2000-05-22  Dan Harkless  <wget@harkless.org>
10767
10768         * main.c (print_help): Added --help line for Damir Dzeko
10769         <ddzeko@zesoi.fer.hr>'s until-now-undocumented --referer option.
10770         Removed comments that --referer and --waitretry were undocumented.
10771         Changed "`.wgetrc' command" to "`.wgetrc'-style command" on --help
10772         line for --execute.
10773
10774 2000-05-18  Hrvoje Niksic  <hniksic@iskon.hr>
10775
10776         * ftp.c (getftp): Ditto.
10777
10778         * http.c (gethttp): Check for return value of fclose/fflush.
10779
10780 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
10781
10782         * host.c (store_hostaddress): Instead of shifting ADDR, start
10783         copying from the correct address.
10784
10785 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
10786
10787         * http.c (gethttp): Don't free REQUEST -- it was allocated with
10788         alloca().
10789         Pointed out by Gisle Vanem <gvanem@eunet.no>.
10790
10791 2000-04-04  Dan Harkless  <wget@harkless.org>
10792
10793         * host.c (store_hostaddress): R. K. Owen's patch introduces a
10794         "left shift count >= width of type" warning on 32-bit
10795         architectures.  Got rid of it by tricking the compiler w/ a variable.
10796
10797         * url.c (UNSAFE_CHAR): The macro didn't include all the illegal
10798         characters per RFC1738, namely everything above '~'.  It also
10799         generated a warning on OSes where char =~ unsigned char.  Fixed.
10800
10801 1998-10-17  Hrvoje Niksic  <hniksic@srce.hr>
10802
10803         * http.c (http_process_type): Removed needless strdup(), a memory
10804         leak.
10805
10806 1998-09-25  Hrvoje Niksic  <hniksic@srce.hr>
10807
10808         * html.c (htmlfindurl): Set PH to the first occurrence of `#'.
10809
10810 1998-09-25  Simon Munton  <simonm@m4data.co.uk>
10811
10812         * init.c (wgetrc_file_name): Don't free HOME under Windows.
10813
10814 1998-12-01  "R. K. Owen"  <rkowen@Nersc.GOV>
10815
10816         * host.c (store_hostaddress): Fix for big endian 64-bit machines.
10817
10818 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
10819
10820         * url.c (UNSAFE_CHAR): New macro.
10821         (contains_unsafe): Use it.
10822         (encode_string): Ditto.
10823
10824 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
10825
10826         * main.c (i18n_initialize): Use LC_MESSAGES only if available.
10827
10828 2000-03-31  Hrvoje Niksic  <hniksic@srce.hr>
10829
10830         * Use TOUPPER/TOLOWER.
10831
10832 1998-12-22  Alexander V. Lukyanov  <lav@yars.free.net>
10833
10834         * ftp-opie.c (btoe): Zero-terminate OSTORE.
10835
10836 2000-03-21  Hrvoje Niksic  <hniksic@iskon.hr>
10837
10838         * wget.h (DO_REALLOC_FROM_ALLOCA): Ditto.
10839
10840         * sysdep.h (ISALNUM): New macro.
10841         (TOLOWER): Ditto.
10842         (TOUPPER): Ditto.
10843
10844 2000-03-10  Dan Harkless  <wget@harkless.org>
10845
10846         * html.c (idmatch): Implemented checking of my new --follow-tags
10847         and --ignore-tags options.
10848
10849         * init.c (commands): Added comment reminding people adding new
10850         entries doing allocation to add corresponding freeing in cleanup().
10851         (commands): Added new followtags and ignoretags commands.
10852         (cleanup): Free storage for new followtags and ignoretags.
10853
10854         * main.c: Use of "comma-separated list" was random -- normalized
10855         it.  Did some alphabetization.  Added comments pointing out
10856         "Options without arguments" and "Options accepting an argument"
10857         sections of long_options[].  Added new options --follow-tags and
10858         -G / --ignore-tags.  Added comment that Damir's --referer is
10859         currently undocumented.  Added comment that Heiko's --waitretry is
10860         partially undocumented (mentioned in --help but not in
10861         wget.texi).  Moved improperly sorted 24, 129, and 'G' cases.
10862
10863         * options.h (struct options): Added new fields follow_tags and
10864         ignore_tags.
10865
10866         * wget.h: Added "#define EQ 0" so we can say "strcmp(a, b) == EQ".
10867
10868 2000-03-02  Dan Harkless  <wget@harkless.org>
10869
10870         * ftp.c (ftp_loop_internal): Heiko introduced "suggest explicit
10871         braces to avoid ambiguous `else'" warnings.  Eliminated them.
10872
10873         * http.c (gethttp): Dan Berger's query string patch is totally
10874         bogus.  If you have two different URLs, gen_page.cgi?page1 and
10875         get_page.cgi?page2, they'll both be saved as get_page.cgi and the
10876         second will overwrite the first.  Also, parameters to implicit
10877         CGIs, like "http://www.host.com/db/?2000-03-02" cause the URLs to
10878         be printed with trailing garbage characters, and could seg fault.
10879         Backing out the patch, which Dan B. informed me by email was just
10880         a kludge to download StarOffice from Sun made necessary due to
10881         wget's unconditional escaping of certain characters (room for an
10882         option there?).
10883         (http_loop): Heiko introduced "suggest explicit braces to avoid
10884         ambiguous `else'" warnings.  Eliminated them.
10885
10886         * main.c: Heiko's --wait / --waitretry backwards compatibility
10887         code looks to have been totally untested -- automatic variable
10888         'wr' was used without being initialized, and a long int was passed
10889         into setval()'s char* val parameter.
10890
10891         * recur.c (parse_robots): Applied Edward J. Sabol
10892         <sabol@alderaan.gsfc.nasa.gov>'s patch for Guan Yang's reported
10893         problem with "User-agent:<space>*<space>" lines in robots.txt.
10894
10895         * url.c (parseurl, str_url): Removing Dan Berger's code (see
10896         http.c above for explanation).
10897
10898 1999-08-25  Heiko Herold  <Heiko.Herold@previnet.it>
10899
10900         * ftp.c: Respect new option waitretry.
10901
10902 2000-01-30  Damir Dzeko  <ddzeko@zesoi.fer.hr>
10903
10904         * http.c (gethttp): Send custom Referer, if required.
10905
10906 1999-09-24  Charles G Waldman  <cgw@fnal.gov>
10907
10908         * netrc.c (parse_netrc): Allow passwords to contain spaces.
10909
10910         * netrc.c (parse_netrc): New function.
10911
10912 1999-09-17  Dan Berger  <dberger@ix.netcom.com>
10913
10914         * http.c (gethttp): Send it.
10915
10916         * url.c (parseurl): Detect query string in HTTP URL-s.
10917         (str_url): Print it.
10918
10919 2000-03-02  HIROSE Masaaki  <hirose31@t3.rim.or.jp>
10920
10921         * html.c (html_allow): Add <link href=...> and <script src=...>.
10922
10923 1999-05-02  andrew deryabin  <djsf@softhome.net>
10924
10925         * http.c (gethttp): Specify port in `Host' header only if it's
10926         different from 80.
10927
10928 1998-11-03  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
10929
10930         * recur.c (recursive_retrieve): If a finite maximum depth is
10931         specified, and we're are already at that depth, don't download the
10932         HTML file for parsing.
10933
10934 2000-03-01  Dan Harkless  <wget@harkless.org>
10935
10936         * ftp.c (ftp_loop_internal): Call new downloaded_file() function,
10937         even though we don't do conversion on HTML files retrieved via
10938         FTP, so _current_ usage of downloaded_file() makes this call unneeded.
10939         (ftp_retrieve_list): Added a comment saying where we need to
10940         stat() a .orig file if FTP'd HTML file conversion is ever implemented.
10941         (ftp_retrieve_list): "Local file '%s' is more recent," is sometimes
10942         a lie -- reworded as "Server file no newer than local file '%s' --".
10943
10944         * http.c (http_loop): Fixed a typo and clarified a comment.
10945         (http_loop): When -K and -N are specified together, compare size
10946         and timestamp of server file X against local file X.orig (if
10947         extant) rather than converted local file X.
10948         (http_loop): "Local file '%s' is more recent," is sometimes a lie
10949         -- reworded as "Server file no newer than local file '%s' --".
10950         (http_loop): Call new downloaded_file() function to prevent
10951         wrongful overwriting of .orig file when -N is specified.
10952
10953         * url.c (convert_links): When -K specified, only rename X to
10954         X.orig if downloaded_file() returns TRUE.  Otherwise when we skip
10955         file X due to -N, we clobber an X.orig from a previous invocation.
10956         (convert_links): Call the failsafe xstrdup(), not the real strdup().
10957         (convert_links): Added a note asking anyone who understands how
10958         multiple URLs can correspond to a single file to comment it.
10959         (downloaded_file): Added this new function.
10960
10961         * url.h (downloaded_file): Added prototype for this new function
10962         as well as its downloaded_file_t enum type.
10963
10964         * wget.h (boolean): Added this new typedef and TRUE and FALSE #defines.
10965
10966 2000-02-29  Dan Harkless  <wget@harkless.org>
10967
10968         * version.c: Upped version to developer-only "1.5.3+dev".
10969
10970 2000-02-18  Dan Harkless  <wget@harkless.org>
10971
10972         * init.c (backup_converted): Added this new option.
10973
10974         * main.c (-K / --backup-converted): Added this new option.
10975
10976         * options.h (backup_converted): Added this new option.
10977
10978         * url.c (convert_links): When backup_converted is specified, save
10979         file X as X.orig before converting.
10980
10981         * url.h (urlpos): Fixed typo -- said "Rekative" instead of "Relative".
10982
10983 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
10984
10985         * version.c: Wget 1.5.3 is released.
10986
10987 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
10988
10989         * host.c (ftp_getaddress): Don't warn when reverse-lookup of local
10990         address doesn't yield FQDN.
10991
10992 1998-09-21  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
10993
10994         * cmpt.c (strerror): Fix declaration of sys_errlist.
10995
10996 1998-09-11  Hrvoje Niksic  <hniksic@srce.hr>
10997
10998         * main.c (main): Don't use an array subscript as the first
10999         argument to STRDUP_ALLOCA.
11000         From Kaveh R. Ghazi.
11001
11002 1998-09-11  Szakacsits Szabolcs  <szaka@sienet.hu>
11003
11004         * html.c (htmlfindurl): Download table background.
11005
11006 1998-09-11  Hans Grobler  <grobh@conde.ee.sun.ac.za>
11007
11008         * init.c (parse_line): Would free *com before allocating it.
11009         (parse_line): Would free com instead of *com.
11010
11011 1998-09-10  Howard Gayle  <howard@fjst.com>
11012
11013         * url.c (get_urls_html): Would drop the last character of the
11014         link.
11015
11016 1998-09-10  Hrvoje Niksic  <hniksic@srce.hr>
11017
11018         * http.c (http_loop): Don't print status code if quiet.
11019
11020 1998-09-10  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
11021
11022         * log.c: Use <stdarg.h> only when __STDC__.
11023
11024 1998-09-10  Adam D. Moss  <adam@foxbox.org>
11025
11026         * html.c (htmlfindurl): Download <layer src=...>.
11027
11028 1998-09-10  Howard Gayle  <howard@fjst.com>
11029
11030         * ftp.c (ftp_retrieve_list): Don't update the time stamp of a file
11031         not retrieved.
11032
11033 1998-06-27  Hrvoje Niksic  <hniksic@srce.hr>
11034
11035         * utils.c: Include <libc.h> on NeXT.
11036
11037 1998-06-26  Heinz Salzmann  <heinz.salzmann@intermetall.de>
11038
11039         * url.c (get_urls_html): Fix calculation of URL position.
11040
11041 1998-06-23  Hrvoje Niksic  <hniksic@srce.hr>
11042
11043         * version.c: Wget 1.5.2 is released.
11044
11045 1998-06-23  Dave Love  <d.love@dl.ac.uk>
11046
11047         * ftp.c, init.c, netrc.c: Include errno.h.
11048
11049         * http.c: Include errno.h and time header.
11050
11051         * Makefile.in (exext): Define.
11052         (install.bin, uninstall.bin): Use it.
11053
11054 1998-06-21  Hrvoje Niksic  <hniksic@srce.hr>
11055
11056         * http.c (http_loop): Don't attempt to compare local and remote
11057         sizes if the remote size is unknown.
11058
11059 1998-06-16  Hrvoje Niksic  <hniksic@srce.hr>
11060
11061         * url.c (get_urls_html): Use malloc() instead of alloca in the
11062         loop.
11063
11064 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
11065
11066         * version.c: Wget 1.5.2-b4 is released.
11067
11068 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
11069
11070         * url.c (get_urls_html): Ignore spaces before and after the URI.
11071
11072 1998-06-08  Wanderlei Antonio Cavassin  <cavassin@conectiva.com.br>
11073
11074         * ftp.c (getftp): Translate `done'.
11075
11076 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
11077
11078         * version.c: Wget 1.5.2-b3 is released.
11079
11080 1998-06-06  Alexander Kourakos  <awk@bnt.com>
11081
11082         * init.c (cleanup): Close dfp, don't free it.
11083
11084 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
11085
11086         * utils.c (make_directory): Twiddle.
11087
11088         * config.h.in: Added template for access().
11089
11090 1998-06-05  Mathieu Guillaume  <mat@cythere.com>
11091
11092         * html.c (htmlfindurl): Download <input src=...>
11093
11094 1998-06-03  Hrvoje Niksic  <hniksic@srce.hr>
11095
11096         * utils.c (file_exists_p): Use access() with two arguments.
11097
11098 1998-05-27  Martin Kraemer  <Martin.Kraemer@mch.sni.de>
11099
11100         * netrc.c (parse_netrc): Correct logic.
11101
11102 1998-05-27  Hrvoje Niksic  <hniksic@srce.hr>
11103
11104         * ftp.c (getftp): Added `break'; suggested by Lin Zhe Min
11105         <ljm@ljm.wownet.net>.
11106
11107 1998-05-24  Hrvoje Niksic  <hniksic@srce.hr>
11108
11109         * version.c: Wget 1.5.2-b2 is released.
11110
11111 1998-05-18  Juan Jose Rodriguez  <jcnsoft@jal1.telmex.net.mx>
11112
11113         * mswindows.h: Don't translate mkdir to _mkdir under Borland.
11114
11115 1998-05-17  Hrvoje Niksic  <hniksic@srce.hr>
11116
11117         * retr.c (elapsed_time): Return correct value when
11118         HAVE_GETTIMEOFDAY is undefined.
11119
11120 1998-05-13  Hrvoje Niksic  <hniksic@srce.hr>
11121
11122         * version.c: Wget 1.5.2-b1 is released.
11123
11124 1998-05-08  Hrvoje Niksic  <hniksic@srce.hr>
11125
11126         * getopt.c (_getopt_internal): Use exec_name instead of argv[0].
11127         (_getopt_internal): Don't translate `#if 0'-ed strings.
11128
11129 1998-05-06  Douglas E. Wegscheid  <wegscd@whirlpool.com>
11130
11131         * mswindows.c (ws_handler): Use fork_to_background().
11132
11133 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
11134
11135         * version.c: Wget 1.5.1 is released.
11136
11137 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
11138
11139         * http.c (parse_http_status_line): Avoid `minor' and `major'
11140         names.
11141
11142 1998-05-02  Hrvoje Niksic  <hniksic@srce.hr>
11143
11144         * utils.c (mkdirhier): Renamed to make_directory.
11145
11146 1998-05-01  Hrvoje Niksic  <hniksic@srce.hr>
11147
11148         * mswindows.c (fork_to_background): Define under Windows.
11149
11150         * utils.c (fork_to_background): New function.
11151
11152         * html.c (htmlfindurl): Removed rerdundant casts.
11153
11154 1998-05-01  Douglas E. Wegscheid  <wegscd@whirlpool.com>
11155
11156         * mswindows.c (ws_mypath): Cache the path.
11157
11158 1998-04-30  Douglas E. Wegscheid  <wegscd@whirlpool.com>
11159
11160         * ftp.h: Prefix enum ftype members with FT_.
11161
11162         * ftp-ls.c, ftp.c, html.h: Adjust accordingly.
11163
11164         * mswindows.h: Use stat under Borland, _stat under MSVC.
11165
11166 1998-04-28  Hrvoje Niksic  <hniksic@srce.hr>
11167
11168         * http.c (known_authentication_scheme_p): New function.
11169         (gethttp): Handle authorization more correctly.
11170
11171         * ftp-basic.h: Removed.
11172
11173         * cmpt.h: Removed.
11174
11175         * utils.c: Include <unistd.h> before <pwd.h>; needed under SunOS
11176         with gcc 2.8.
11177         (numdigit): Use `while' loop.
11178
11179         * http.c (create_authorization_line): Detect authentication
11180         schemes case-insensitively.
11181
11182         * http.c (extract_header_attr): Use strdupdelim().
11183         (digest_authentication_encode): Move declaration of local
11184         variables to smaller scope.
11185         (digest_authentication_encode): Reset REALM, OPAQUE and NONCE.
11186         (create_authorization_line): Detect authentication schemes
11187         case-insensitively.
11188
11189         * utils.c (touch): Constify.
11190
11191         * http.c (gethttp): Report a nicer error when no data is received.
11192
11193         * rbuf.h (RBUF_READCHAR): Ditto.
11194
11195         * ftp-basic.c (ftp_response): Use sizeof.
11196
11197 1998-04-27  Hrvoje Niksic  <hniksic@srce.hr>
11198
11199         * retr.c (print_percentage): EXPECTED is long, not int.
11200         (print_percentage): Use floating-point arithmetic to avoid
11201         overflow with large files' sizes multiplied with 100.
11202
11203 1998-04-27  Gregor Hoffleit  <flight@mathi.uni-heidelberg.de>
11204
11205         * config.h.in: Added pid_t stub.
11206
11207         * sysdep.h (S_ISREG): Moved here from mswindows.h (NeXT doesn't
11208         define it).
11209
11210 1998-04-20  Hrvoje Niksic  <hniksic@srce.hr>
11211
11212         * version.c: Wget 1.5.0 is released.
11213
11214 1998-04-18  Hrvoje Niksic  <hniksic@srce.hr>
11215
11216         * url.c (str_url): Ditto.
11217
11218         * ftp-basic.c (ftp_rest): Use new name.
11219
11220         * utils.c (long_to_string): Renamed from prnum().
11221
11222 1998-04-16  Hrvoje Niksic  <hniksic@srce.hr>
11223
11224         * version.c: Wget 1.5-b17 is released.
11225
11226 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
11227
11228         * headers.c (header_get): New argument FLAGS.
11229
11230         * http.c (gethttp): If request is malformed, bail out of the
11231         header loop.
11232         (gethttp): Check for empty header *after* the status line checks.
11233         (gethttp): Disallow continuations for status line.
11234
11235 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
11236
11237         * version.c: Wget 1.5-b16 is released.
11238
11239 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
11240
11241         * init.c (commands): Renamed `always_rest' to `continue'.
11242
11243 1998-04-05  Hrvoje Niksic  <hniksic@srce.hr>
11244
11245         * all: Use it.
11246
11247         * log.c (logputs): New argument.
11248         (logvprintf): Ditto.
11249         (logprintf): Ditto.
11250
11251 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
11252
11253         * http.c (http_atotm): Update comment.
11254
11255         * main.c (i18n_initialize): Set LC_MESSAGES, not LC_ALL.
11256
11257         * wget.h: Renamed ENABLED_NLS to HAVE_NLS.
11258
11259         * main.c (i18n_initialize): New function.
11260         (main): Use it.
11261
11262         * log.c: Include <unistd.h>.
11263
11264         * retr.c (show_progress): Cast alloca to char *.
11265
11266 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
11267
11268         * version.c: Wget 1.5-b15 is released.
11269
11270 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
11271
11272         * utils.h: Declare file_non_directory_p().
11273
11274 1998-04-03  Hrvoje Niksic  <hniksic@srce.hr>
11275
11276         * main.c (main): It's `tries', not `numtries' now.
11277
11278 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
11279
11280         * init.c (getperms): Removed.
11281
11282 1998-04-01  Tim Charron  <tcharron@interlog.com>
11283
11284         * log.c (logvprintf): Don't use ARGS twice.
11285
11286 1998-04-01  John  <john@futuresguide.com>
11287
11288         * mswindows.c: Cleaned up.
11289
11290 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
11291
11292         * version.c: Wget 1.5-b14 is released.
11293
11294 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
11295
11296         * ftp-opie.c (STRLEN4): New macro.
11297         (btoe): Use it.
11298
11299 1998-04-01  Junio Hamano  <junio@twinsun.com>
11300
11301         * http.c: Document all the Digest functions.
11302
11303 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
11304
11305         * utils.c (file_non_directory_p): Renamed from isfile().
11306
11307         * mswindows.h (S_ISREG): New macro, suggested by Tim Adam.
11308
11309 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
11310
11311         * utils.c (mkdirhier): Use 0777 instead of opt.dirmode.
11312
11313         * init.c (cmd_spec_dotstyle): Use 48 dots per line for binary
11314         style.
11315         (cmd_permissions): Removed.
11316
11317         * config.h.in: Add template for WORDS_BIGENDIAN.
11318
11319 1998-03-31  Junio Hamano  <junio@twinsun.com>
11320
11321         * http.c (HEXD2asc): New macro.
11322         (dump_hash): Use it.
11323
11324 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
11325
11326         * version.c: Wget 1.5-b13 is released.
11327
11328 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
11329
11330         * main.c (main): Don't try to use `com'.
11331
11332 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
11333
11334         * init.c (cmd_permissions): New function.
11335
11336 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
11337
11338         * version.c: Wget 1.5-b12 is released.
11339
11340 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
11341
11342         * init.c (commands): Renamed `numtries' to `tries'.
11343         (cmd_spec_debug): Removed.
11344         (home_dir): Under Windows, return `C:\' if HOME is undefined.
11345
11346 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
11347
11348         * config.h.in: Define _XOPEN_SOURCE.
11349
11350         * init.c (check_user_specified_header): New function.
11351         (cmd_spec_header): Use it.
11352         (cmd_spec_useragent): New function.
11353
11354 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
11355
11356         * version.c: Wget 1.5-b11 is released.
11357
11358 1998-03-28  Hrvoje Niksic  <hniksic@srce.hr>
11359
11360         * wget.h: Include <libintl.h> only if NLS is enabled.
11361
11362 1998-03-26  Hrvoje Niksic  <hniksic@srce.hr>
11363
11364         * options.h (struct options): Made `wait' a long.
11365         (struct options): Ditto for `timeout'.
11366
11367 1998-03-19  Hrvoje Niksic  <hniksic@srce.hr>
11368
11369         * utils.c (exists): Renamed to file_exists_p.
11370         (file_exists_p): Use access() if available.
11371
11372 1998-03-17  Hrvoje Niksic  <hniksic@srce.hr>
11373
11374         * utils.c (memfatal): Set save_log_p to 0 to avoid potential
11375         infloop.
11376
11377         * log.c: do_logging -> save_log_p.
11378
11379         * config.h.in: Added template for HAVE_VSNPRINTF.
11380
11381 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
11382
11383         * init.c: Ditto.
11384
11385         * http.c: Protect declaration against non-ANSI compiler.
11386
11387         * log.c (logvprintf): Use vsnprintf() if available.
11388
11389         * getopt.c (main): Don't translate test stuff.
11390
11391 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
11392
11393         * version.c: Wget 1.5-b10 is released.
11394
11395 1998-03-11  Hrvoje Niksic  <hniksic@srce.hr>
11396
11397         * ftp.c (getftp): Don't translate "CWD %s".
11398
11399         * wget.h (GCC_FORMAT_ATTR): Renamed from FORMAT_ATTR.
11400
11401 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
11402
11403         * ftp-opie.c (btoe): Use memcpy() instead of strncat().
11404
11405         * log.c (logputs): New function.
11406         (logvprintf): Renamed from vlogmsg; use logputs().
11407
11408         * retr.c (show_progress): Print `[100%]' when the retrieval is
11409         finished.
11410
11411         * init.c (run_wgetrc): Use FILE, not PATH.
11412         (wgetrc_file_name): Ditto.
11413
11414 1998-03-07  Tim Adam  <tma@osa.com.au>
11415
11416         * recur.c (parse_robots): Correctly reset `entries' on empty
11417         disallow.
11418
11419 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
11420
11421         * init.c (cmd_spec_debug): Use cmd_boolean().
11422
11423 1998-02-23  Hrvoje Niksic  <hniksic@srce.hr>
11424
11425         * http.c (gethttp): Create proxy-authorization correctly.
11426
11427 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
11428
11429         * md5.c: Ditto.
11430
11431         * getopt.c: Use ANSI function definitions.
11432
11433         * ftp-opie.c: New file.
11434
11435         * options.h: Don't redefine EXTERN.
11436
11437         * init.c: Sort it correctly.
11438
11439 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
11440
11441         * version.c: Wget 1.5-b9 is released.
11442
11443 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
11444
11445         * recur.c (recursive_retrieve): Reset `first_time'.
11446
11447         * ftp.c (getftp): Added `default' clause to switches of uerr_t.
11448
11449         * rbuf.c (rbuf_peek): Simplified.
11450         (rbuf_flush): Use MINVAL.
11451
11452         * wget.h (MINVAL): Moved from url.h.
11453
11454         * rbuf.h (RBUF_FD): New macro.
11455
11456         * url.c (add_url): Add to the head of the list.
11457
11458         * ftp.c (ftp_retrieve_list): Set the permissions to downloaded
11459         file.
11460         (getftp): Set the default permissions to 0600.
11461
11462 1998-02-21  Hrvoje Niksic  <hniksic@srce.hr>
11463
11464         * url.c (get_urls_html): Ditto.
11465         (convert_links): Ditto.
11466
11467         * recur.c (parse_robots): Ditto.
11468
11469         * html.c (ftp_index): Ditto.
11470
11471         * ftp-ls.c (ftp_parse_unix_ls): Open file as binary.
11472
11473         * init.c (defaults): Initialize `opt' to zero via memset.
11474
11475         * http.c (digest_authentication_encode): goto considered harmful.
11476
11477 1998-02-19  Hrvoje Niksic  <hniksic@srce.hr>
11478
11479         * ftp.c (delelement): Simplify and fix leak.
11480
11481 1998-02-18  Hrvoje Niksic  <hniksic@srce.hr>
11482
11483         * http.c (dump_hash): Use HEXD2ASC instead of home-grown stuff.
11484
11485         * url.h (HEXD2ASC): Removed warning.
11486
11487         * init.c (comind): Use binary search.
11488         (commands): Reorganized.
11489         (setval): Ditto.
11490         (cmd_boolean): New function.
11491         (cmd_number): Ditto.
11492         (cmd_number_inf): Ditto.
11493         (cmd_string): Ditto.
11494         (cmd_vector): Ditto.
11495         (cmd_directory_vector): Ditto.
11496         (cmd_bytes): Ditto.
11497         (cmd_time): Ditto.
11498         (cmd_spec_debug): Ditto.
11499         (cmd_spec_dirmode): Ditto.
11500         (cmd_spec_dirstruct): Ditto.
11501         (cmd_spec_dotstyle): Ditto.
11502         (cmd_spec_header): Ditto.
11503         (cmd_spec_htmlify): Ditto.
11504         (cmd_spec_mirror): Ditto.
11505         (cmd_spec_outputdocument): Ditto.
11506         (cmd_spec_recursive): Ditto.
11507         (settime): Merged with cmd_time().
11508         (setbytes): Merged with cmd_bytes().
11509         (setonoff): Merged with cmd_boolean().
11510         (onoff): Ditto.
11511
11512 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
11513
11514         * Makefile.in (distclean): Remove `config.h'.
11515
11516 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
11517
11518         * version.c: Wget 1.5-b8 is released.
11519
11520 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
11521
11522         * http.c (digest_authentication_encode): New function.
11523         (create_authorization_line): Use it.
11524         (dump_hash): New function.
11525         (digest_authentication_encode): Use it.
11526
11527         * fnmatch.c: Renamed from `mtch.c'.
11528
11529 1998-02-15  Karl Eichwalder  <ke@suse.de>
11530
11531         * main.c (main): Tag "Written by..." string as translatable.
11532
11533 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
11534
11535         * wget.h (FREE_MAYBE): New macro.
11536
11537         * http.c (create_authorization_line): Don't use ANSI C string
11538         concatenation feature.
11539         (basic_authentication_encode): Use alloca() for temporary
11540         variables.
11541
11542         * recur.h: Ditto.
11543
11544         * http.c: Ditto.
11545
11546         * headers.h: Ditto.
11547
11548         * ftp-basic.c: Protect declaration against non-ANSI compiler.
11549
11550         * http.c (create_authorization_line): Cast `unsigned char *' to
11551         `char *' for sprintf, to shut up the noisy Digital Unix cc.
11552
11553 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
11554
11555         * version.c: Wget 1.5-b7 is released.
11556
11557 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
11558
11559         * cmpt.c (strstr): Synched with glibc-2.0.6.
11560
11561         * ftp-basic.c (calculate_skey_response): Ditto.
11562         (calculate_skey_response): Use alloca().
11563
11564         * http.c (create_authorization_line): Work with FSF's version of
11565         md5.c.
11566
11567         * md5.c: New file, from GNU libc.
11568
11569 1998-02-14  Hrvoje Niksic  <hniksic@srce.hr>
11570
11571         * url.h (URL_CLEANSE): Name the temporary variable more carefully.
11572
11573 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
11574
11575         * http.c (basic_authentication_encode): New function, instead of
11576         the macro.
11577
11578 1998-02-13  Junio Hamano  <junio@twinsun.com>
11579
11580         * http.c: Add HTTP-DA support.
11581         * ftp-basic.c: Add Opie/S-key support.
11582         * config.h.in, Makefile.in: Add HTTP-DA and Opie/S-key support.
11583         * md5.c, md5.h: New files.
11584
11585 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
11586
11587         * http.c (http_process_range): Renamed from hprocrange().
11588         (http_process_range): Parse the whole header.
11589
11590         * headers.c: New file.
11591         (header_process): New function.
11592         (header_get): Renamed from fetch_next_header.
11593
11594         * all: Include utils.h only where necessary.
11595
11596         * wget.h: Declare xmalloc(), xrealloc() and xstrdup() here.
11597
11598         * wget.h: Add provisions for dmalloc.
11599
11600 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
11601
11602         * version.c: Wget 1.5-b6 is released.
11603
11604 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
11605
11606         * ftp.c (ftp_loop): Determine `filename' more precisely.
11607
11608         * init.c (setval): Don't set `opt.quiet' if output-document is
11609         `-'.
11610
11611         * log.c (log_init): Print to STDERR instead of STDOUT.
11612         (vlogmsg): Use STDERR by default.
11613         (logflush): Ditto.
11614
11615 1998-02-11  Simon Josefsson  <jas@pdc.kth.se>
11616
11617         * host.c: Use addr_in again.
11618
11619 1998-02-08  Karl Eichwalder  <karl@suse.de>
11620
11621         * http.c (gethttp): Fixed typo.
11622
11623 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
11624
11625         * version.c: Wget 1.5-b5 is released.
11626
11627 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
11628
11629         * retr.c (show_progress): Use it.
11630
11631         * log.c (logflush): New function.
11632
11633         * wget.h: Utilize __attribute__ if on gcc.
11634
11635 1998-02-07  Hrvoje Niksic  <hniksic@srce.hr>
11636
11637         * http.c (base64_encode_line): New argument LENGTH.
11638         (BASIC_AUTHENTICATION_ENCODE): Use it.
11639         (BASIC_AUTHENTICATION_ENCODE): Take length of HEADER into account.
11640
11641         * main.c (main): Fixed fprintf() format mismatch.
11642
11643 1998-02-06  Hrvoje Niksic  <hniksic@srce.hr>
11644
11645         * version.c: Wget 1.5-b4 is released.
11646
11647 1998-02-03  Simon Josefsson  <jas@pdc.kth.se>
11648
11649         * host.c: use sockaddr_in instead of addr_in.
11650
11651 1998-02-04  Hrvoje Niksic  <hniksic@srce.hr>
11652
11653         * init.c (cleanup): Use it.
11654
11655         * recur.c (recursive_cleanup): New function.
11656
11657         * retr.c (retrieve_from_file): Ditto.
11658
11659         * main.c (main): Use it.
11660
11661         * recur.c (recursive_reset): New function.
11662
11663         * retr.c (retrieve_from_file): Ditto.
11664
11665         * main.c (main): Simplify call to recursive_retrieve().
11666
11667         * recur.c (recursive_retrieve): Removed FLAGS argument.
11668
11669         * http.c (gethttp): Changed call to iwrite().
11670
11671 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
11672
11673         * url.c (get_urls_html): Ditto.
11674         (free_urlpos): Ditto.
11675         (mkstruct): Ditto.
11676         (construct): Ditto.
11677
11678         * retr.c (retrieve_url): Move declaration of local variables to
11679         smaller scope.
11680
11681         * url.c (urlproto): Use it.
11682         (parseurl): Ditto.
11683         (str_url): Ditto.
11684         (get_urls_html): Ditto.
11685
11686         * utils.h (ARRAY_SIZE): New macro.
11687
11688         * url.c (proto): Moved from url.h.
11689
11690         * url.h (URL_CLEANSE): Reformatted.
11691         (USE_PROXY_P): Renamed from USE_PROXY.
11692
11693         * ftp-basic.c: Adjust to the new interface of iwrite().
11694
11695         * ftp-basic.c (ftp_port): Use alloca().
11696
11697 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
11698
11699         * version.c: Wget 1.5-b3 is released.
11700
11701         * host.c (ftp_getaddress): Don't print to stderr directly.
11702
11703         * init.c (setbytes): Support `g' for gigabytes.
11704         (cmdtype): New specification CTIME.
11705         (setval): Use it with settime().
11706         (commands): Use it for WAIT and TIMEOUT.
11707
11708 1998-02-02  Hrvoje Niksic  <hniksic@srce.hr>
11709
11710         * http.c (BASIC_AUTHENTICATION_ENCODE): New macro.
11711         (gethttp): Use it.
11712
11713         * utils.c (unique_name_1): Moved from url.c.
11714         (unique_name): Ditto.
11715
11716         * url.c (url_filename): Ditto.
11717
11718         * log.c (redirect_output): Changed call to unique_name().
11719
11720         * url.c (unique_name_1): Renamed from unique_name().
11721         (unique_name): Changed interface.
11722
11723         * init.c (enum cmdid): Moved from init.h.
11724         (cmdtype): Ditto.
11725         (struct cmd): Ditto.
11726
11727         * main.c (main): Use it.
11728         (main): Moved `--backups' to not have a short option.
11729
11730         * options.h (struct options): New member BACKGROUND.
11731
11732         * main.c (print_help): Rearranged.
11733         (main): New long options for -n* short options: --no-directories,
11734         --no-host-directories, --non-verbose, --no-host-lookup and
11735         --dont-remove-listing.
11736
11737 1998-02-01  Hrvoje Niksic  <hniksic@srce.hr>
11738
11739         * main.c (main): Use log_close().
11740
11741         * log.c: New variable LOGFP.
11742         (vlogmsg): Use it.
11743         (redirect_output): Don't open /dev/null; set LOGFP to stdin
11744         instead.
11745         (log_close): New function.
11746
11747         * options.h (struct options): Removed LFILE.
11748
11749         * log.c (log_enable): Removed.
11750
11751         * main.c (main): Use it.
11752
11753         * log.c (log_init): New function.
11754
11755         * url.c (get_urls_html): Removed needless assignment to BASE.
11756
11757         * host.c (add_hlist): Don't set CMP needlessly.
11758
11759         * utils.c (match_backwards): Ditto.
11760         (in_acclist): Ditto.
11761
11762         * url.c (findurl): Ditto.
11763
11764         * netrc.c (parse_netrc): Ditto.
11765
11766         * log.c (log_dump): Ditto.
11767
11768         * html.c (html_quote_string): Ditto.
11769
11770         * ftp-basic.c (ftp_request): Made static.
11771
11772         * connect.c: Made global variables static.
11773
11774         * url.c (construct): Ditto.
11775
11776         * init.c (init_path): Avoid assignment inside `if'-condition.
11777
11778         * ftp.c: Don't include in.h or winsock.h.
11779
11780         * ftp.c (ftp_loop): Use SZ.
11781
11782         * connect.c (bindport): Cast &addrlen to int *.
11783         (conaddr): Ditto.
11784
11785         * init.c (initialize): Don't use SYSTEM_WGETRC unconditionally.
11786
11787 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
11788
11789         * ftp.c (getftp): Initialize opt.ftp_pass here.
11790         (ftp_retrieve_dirs): Use alloca().
11791
11792         * init.c (defaults): Don't initialize opt.ftp_pass.
11793
11794         * sysdep.h (S_ISLNK): Declare for OS/2; ditto for lstat.
11795         From Ivan F. Martinez <ivanfm@ecodigit.com.br>.
11796
11797 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
11798
11799         * recur.c (parse_robots): Check for comments more correctly.
11800
11801         * host.c (ftp_getaddress): Use STRDUP_ALLOCA.
11802         (ftp_getaddress): Add diagnostics when reverse-lookup yields only
11803         hostname.
11804
11805 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
11806
11807         * version.c: Wget 1.5-b2 is released.
11808
11809         * netrc.c (NETRC_FILE_NAME): Moved from netrc.h.
11810
11811         * utils.c (proclist): Pass FNM_PATHNAME to fnmatch().
11812
11813         * ftp-basic.c (ftp_pasv): Avoid unnecessary casting to unsigned
11814         char.
11815
11816         * log.c: Don't attempt to hide arguments from ansi2knr.
11817
11818         * cmpt.c: Synched strptime() and mktime() with glibc-2.0.6.
11819
11820         * ansi2knr.c: Use a later version, from fileutils-3.16l alpha.
11821
11822         * ftp.c (getftp): Ditto.
11823
11824         * http.c (gethttp): Use it.
11825
11826         * retr.c (get_contents): New argument EXPECTED; pass it to
11827         show_progress().
11828         (show_progress): New argument EXPECTED; use it to display
11829         percentages.
11830
11831         * init.c (setval): Ditto.
11832
11833         * http.c (gethttp): Ditto.
11834         (http_loop): Ditto.
11835
11836         * ftp.c (getftp): Ditto.
11837         (ftp_loop_internal): Ditto.
11838
11839         * ftp-ls.c (ftp_parse_unix_ls): Use abort() instead of assert(0).
11840
11841         * sysdep.h (CLOSE): Simplify; use DEBUGP.
11842
11843         * netrc.c (search_netrc): Use alloca().
11844
11845         * init.c (defaults): Initialize no_flush.
11846
11847         * log.c (vlogmsg): Don't flush if no_flush.
11848
11849         * options.h (struct options): New variable no_flush.
11850
11851         * main.c (main): Don't play games with buffering.
11852
11853         * log.c (vlogmsg): Flush the output after every message.
11854
11855 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
11856
11857         * init.c (parse_line): Ditto.
11858
11859         * url.c (get_urls_html): Ditto.
11860
11861         * main.c (main): Don't cast to unsigned char.
11862
11863         * init.c (run_wgetrc): Don't cast to unsigned char.
11864         (parse_line): Accept char instead of unsigned char.
11865
11866         * html.c (htmlfindurl): Use char instead of unsigned char.
11867
11868         * all: Use them.
11869
11870         * sysdep.h: Add wrappers to ctype macros to make them
11871         eight-bit-clean:
11872
11873 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
11874
11875         * html.c (htmlfindurl): Download <img lowsrc=...>
11876
11877         * main.c (main): Ignore SIGPIPE.
11878
11879         * connect.c (select_fd): New argument WRITEP.
11880         (iwrite): Call select_fd().
11881
11882 1997-02-27  Fila Kolodny <fila@ibi.com>
11883
11884         * ftp.c (ftp_retrieve_list): If retrieving symlink and the proper
11885         one already exists, just skip it.
11886
11887 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
11888
11889         * http.c (gethttp): Cosmetic changes.
11890
11891         * http.c (check_end): Allow `+D...' instead of `GMT'.
11892         From Fabrizio Pollastri <pollastri@cstv.to.cnr.it>.
11893
11894         * url.c (process_ftp_type): New function.
11895         (parseurl): Use it.
11896
11897         * connect.c (iwrite): Allow writing in a few chunks.
11898         (bindport): Made SRV static, so addr can point to it.
11899         (select_fd): Removed HPUX kludge.
11900
11901         * host.c (free_hlist): Incorporated into clean_hosts().
11902
11903 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
11904
11905         * host.c (hlist): Made static.
11906         (search_address): Cosmetic change.
11907
11908 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
11909
11910         * version.c: Wget v1.5-b1 is released.
11911
11912         * http.c (hgetlen): Use sizeof() to get the header length.
11913         (hgetrange): Ditto.
11914         (hgettype): Ditto.
11915         (hgetlocation): Ditto.
11916         (hgetmodified): Ditto.
11917         (haccepts_none): Ditto.
11918
11919         * main.c (main): Updated `--version' and `--help' output, as per
11920         Francois Pinard's suggestions.
11921
11922         * main.c: Include locale.h; call setlocale(), bindtextdomain() and
11923         textdomain().
11924
11925         * config.h.in: Define stubs for I18N3.
11926
11927         * wget.h: Include libintl.h.
11928
11929 1998-01-28  Hrvoje Niksic  <hniksic@srce.hr>
11930
11931         * url.c (mkstruct): Check for opt.cut_dirs.
11932         (mkstruct): alloca()-te more, xmalloc() less.
11933
11934         * utils.c (load_file): Check for ferror().
11935
11936         * url.c (get_urls_file): Close only the files we opened.
11937         (get_urls_html): Ditto.
11938         (count_slashes): New function.
11939
11940         * http.h: Removed.
11941
11942         * http.c (gethttp): Respect username and password provided by
11943         proxy URL.
11944         (base64_encode_line): Write into an existing buffer instead of
11945         malloc-ing a new one.
11946         (struct http_stat): Moved from http.h
11947
11948         * retr.c (retrieve_url): Free SUF.
11949
11950         * all: Removed lots of unnecessary .h dependencies.
11951
11952         * html.c (global_state): Made static.
11953
11954         * utils.h (ALLOCA_ARRAY): New macro.
11955
11956         * main.c (main): New option `--cut-dirs'.
11957
11958         * url.c (construct): Use alloca() for T.
11959
11960         * utils.c (mkdirhier): Use STRDUP_ALLOCA.
11961
11962         * host.c (_host_t): Moved from host.h.
11963         (struct host): Renamed from _host_t.
11964         (store_hostaddress): Use STRDUP_ALLOCA for INET_S.
11965         (realhost): Ditto.
11966
11967         * host.h: Don't include url.h.
11968
11969         * ftp.c (LIST_FILENAME): Moved from ftp.h.
11970
11971         * init.c (DEFAULT_FTP_ACCT): Moved from ftp.h.
11972
11973         * main.c (main): Enable log if the output goes to a TTY.
11974
11975         * connect.h: Removed unused constant `BACKLOG'.
11976
11977         * config.h.in: Check for isatty().
11978
11979         * Makefile.in (LINK): Use CFLAGS when linking.
11980
11981 1998-01-27  Hrvoje Niksic  <hniksic@srce.hr>
11982
11983         * mswindows.c (ws_hangup): Use redirect_output().
11984
11985         * main.c (redirect_output_signal): New function; use
11986         redirect_output().
11987
11988         * log.c (redirect_output): New function, based on hangup(), which
11989         is deleted.
11990
11991         * log.c (vlogmsg): New function.
11992
11993         * wget.h (DEBUGP): Use debug_logmsg().
11994
11995         * main.c (hangup): Use it.
11996
11997         * log.c (log_dump): New function.
11998
11999         * utils.h (DO_REALLOC): Use `long' for various sizes.
12000
12001         * http.c (hskip_lws): Use `while', for clarity.
12002         (HTTP_DYNAMIC_LINE_BUFFER): New constant.
12003         (fetch_next_header): Use it instead of DYNAMIC_LINE_BUFFER.
12004
12005         * ftp-basic.c (FTP_DYNAMIC_LINE_BUFFER): New constant.
12006         (ftp_response): Use it instead of DYNAMIC_LINE_BUFFER.
12007
12008         * utils.c (DYNAMIC_LINE_BUFFER): Moved from utils.c.
12009         (LEGIBLE_SEPARATOR): Ditto.
12010         (FILE_BUFFER_SIZE): Ditto.
12011
12012         * retr.c (BUFFER_SIZE): Moved from retr.h.
12013
12014         * log.c: New file.
12015         (logmsg): Moved from utils.c.
12016         (debug_logmsg): New function.
12017
12018         * mswindows.h: Include it here.
12019
12020         * init.c: Ditto.
12021
12022         * utils.c: Don't include <windows.h>.
12023
12024 1998-01-25  Hrvoje Niksic  <hniksic@srce.hr>
12025
12026         * host.c (ftp_getaddress): Ditto.
12027
12028         * main.c (main): Use it.
12029
12030         * utils.h (STRDUP_ALLOCA): New macro.
12031
12032         * init.c: Prepend `wget: ' to error messages printed on stderr.
12033
12034         * utils.c (mkdirhier): Renamed from mymkdir.
12035         (touch): Renamed from my_touch.
12036         (pwd_cuserid): Renamed from my_cuserid().
12037
12038 1998-01-24  Andy Eskilsson  <andy.eskilsson@telelogic.se>
12039
12040         * utils.c (accdir): Process wildcards.
12041         (proclist): New function.
12042         (accdir): Use it to avoid code repetition.
12043
12044 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
12045
12046         * recur.c (parse_robots): Respect opt.useragent; use alloca().
12047
12048         * http.c (gethttp): Construct useragent accordingly.
12049
12050         * version.c: Changed version string to numbers-only.
12051
12052         * main.c (print_help): List all the options.
12053
12054         * mswindows.c (windows_main_junk): Initialize argv0 here.
12055
12056 1998-01-24  Karl Heuer  <kwzh@gnu.org>
12057
12058         * netrc.c (search_netrc): Initialize `l' only after processing
12059         netrc.
12060
12061         * main.c (main): Don't trap SIGHUP if it's being ignored.
12062
12063 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
12064
12065         * all: Use logmsg().
12066
12067         * utils.c (time_str): Moved from retr.c.
12068         (logmsg): New function.
12069         (logmsg_noflush): Ditto.
12070
12071         * rbuf.c: New file, moved buf_* functions here.
12072
12073         * ftp.c (ftp_expected_bytes): Moved from ftp-basic.c.
12074
12075         * ftp-basic.c (ftp_rest): Use prnum().
12076
12077         * ftp-basic.c: Ditto.
12078
12079         * ftp.c: Use the new reading functions and macros.
12080
12081         * retr.c (buf_initialize): New function.
12082         (buf_initialized_p): Ditto.
12083         (buf_uninitialize): Ditto.
12084         (buf_fd): Ditto.
12085
12086         * http.c (fetch_next_header): Use the BUF_READCHAR macro for
12087         efficiency.
12088         (gethttp): Use alloca() where appropriate.
12089
12090         * retr.c (buf_readchar): Use it.
12091         (buf_peek): Use rstreams.
12092
12093         * retr.h (BUF_READCHAR): New macro.
12094
12095         * init.c (home_dir): Rewritten for clarity.
12096         (init_path): Ditto.
12097
12098         * mswindows.c (ws_backgnd): Made static.
12099         (read_registry): Ditto.
12100         (ws_cleanup): Ditto.
12101         (ws_handler): Ditto.
12102
12103 1998-01-23  Hrvoje Niksic  <hniksic@srce.hr>
12104
12105         * alloca.c: New file.
12106
12107         * Makefile.in (ALLOCA): Define.
12108
12109         * mswindows.c (ws_help): Constify.
12110         (ws_help): Use alloca.
12111
12112         * mswindows.c: Reformat.
12113
12114         * all: Added _(...) annotations for I18N snarfing and translation.
12115
12116         * host.c (ftp_getaddress): Nuke SYSINFO.
12117         (ftp_getaddress): Don't use getdomainname().
12118         (ftp_getaddress): Use uname(), where available.
12119
12120         * http.c (gethttp): Protect a stray fprintf().
12121
12122         * init.c (settime): New function.
12123         (setval): Treat WAIT specially, allowing suffixes like `m' for
12124         minutes, etc.
12125
12126 1998-01-21  Hrvoje Niksic  <hniksic@srce.hr>
12127
12128         * url.c (get_urls_html): Use alloca() for TEMP.
12129
12130 1998-01-21  Jordan Mendelson  <jordy@wserv.com>
12131
12132         * url.c (rotate_backups): New function.
12133
12134         * http.c (gethttp): Ditto.
12135
12136         * ftp.c (getftp): Rotate backups.
12137
12138 1997-12-18  Hrvoje Niksic  <hniksic@srce.hr>
12139
12140         * all: Renamed nmalloc(), nrealloc() and nstrdup() to xmalloc(),
12141         xrealloc() and xstrdup().  Use the new functions.
12142
12143         * url.c (decode_string): Made static.
12144         (has_proto): Ditto.
12145         (parse_dir): Ditto.
12146         (parse_uname): Ditto.
12147         (mkstruct): Ditto.
12148         (construct): Ditto.
12149         (construct_relative): Ditto.
12150
12151         * retr.c (show_progress): Made static.
12152
12153         * recur.c (robots_url): Made static.
12154         (retrieve_robots): Ditto.
12155         (parse_robots): Ditto.
12156         (robots_match): Ditto.
12157
12158         * main.h: Removed.
12159
12160         * main.c (printhelp): Made static.
12161         (hangup): Ditto.
12162
12163         * init.c (comind): Made static.
12164         (defaults): Ditto.
12165         (init_path): Ditto.
12166         (run_wgetrc): Ditto.
12167         (onoff): Ditto.
12168         (setonoff): Ditto.
12169         (setnum): Ditto.
12170         (myatoi): Ditto.
12171         (getperms): Ditto.
12172         (setbytes): Ditto.
12173
12174         * http.c (fetch_next_header): Made static.
12175         (hparsestatline): Ditto.
12176         (hskip_lws): Ditto.
12177         (hgetlen): Ditto.
12178         (hgetrange): Ditto.
12179         (hgettype): Ditto.
12180         (hgetlocation): Ditto.
12181         (hgetmodified): Ditto.
12182         (haccepts_none): Ditto.
12183         (gethttp): Ditto.
12184         (base64_encode_line): Ditto.
12185         (mktime_from_utc): Ditto.
12186         (http_atotm): Ditto.
12187
12188         * html.c (idmatch): Made static.
12189
12190         * host.c (search_host): Made static.
12191         (search_address): Ditto.
12192         (free_hlist): Ditto.
12193
12194         * ftp.c (getftp): Made static.
12195         (ftp_loop_internal): Ditto.
12196         (ftp_get_listing): Ditto.
12197         (ftp_retrieve_list): Ditto.
12198         (ftp_retrieve_dirs): Ditto.
12199         (ftp_retrieve_glob): Ditto.
12200         (freefileinfo): Ditto.
12201         (delelement): Ditto.
12202
12203         * ftp-ls.c (symperms): Made static.
12204         (ftp_parse_unix_ls): Ditto.
12205
12206         * connect.c (select_fd): Made static.
12207
12208         * utils.c (xmalloc): Renamed from nmalloc.
12209         (xrealloc): Renamed from nrealloc.
12210         (xstrdup): Renamed from nstrdup.
12211
12212         * getopt.c (exchange): Use alloca.
12213
12214         * mswindows.c (mycuserid): Use strncpy.
12215
12216         * New files mswindows.c, mswindows.h, sysdep.h.  winjunk.c,
12217         systhings.h, windecl.h and winjunk.h removed.
12218
12219         * mswindows.c (sleep): New function.
12220
12221         * utils.c: Include <windows.h> under Windows.
12222
12223 1997-06-12  Darko Budor  <dbudor@zesoi.fer.hr>
12224
12225         * url.h (URL_UNSAFE): Change default under Windows.
12226
12227         * retr.c (retrieve_from_file): Respect opt.delete_after.
12228
12229         * main.c (main): Call ws_help on Windows.
12230
12231         * winjunk.c (windows_main_junk): New function.
12232
12233         * main.c (main): Junk-process argv[0].
12234
12235         * http.c (mktime_from_utc): Return -1 if mktime failed.
12236
12237         * http.c (http_loop): Ditto.
12238
12239         * ftp.c (ftp_loop_internal): Change title on Windows when using a
12240         new URL.
12241
12242         * winjunk.c (getdomainname): Lots of functions.
12243
12244 1997-06-12  Hrvoje Niksic  <hniksic@srce.hr>
12245
12246         * cmpt.c (strptime_internal): Handle years more correctly for
12247         `%y'.
12248
12249 1997-06-09  Mike Thomas <mthomas@reality.ctron.com>
12250
12251         * http.c (gethttp): Allocate enough space for
12252         `Proxy-Authorization' header.
12253
12254 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
12255
12256         * version.c: Wget/1.4.5 is released.
12257
12258 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
12259
12260         * retr.c (get_contents): Check return value of fwrite more
12261         carefully.
12262
12263 1997-03-30  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
12264
12265         * cmpt.c (strptime_internal) [case 'Y']: Always subtract 1900 from
12266         year, regardless of century.
12267
12268 1997-03-30  Hrvoje Niksic  <hniksic@srce.hr>
12269
12270         * utils.c (isfile): Use `lstat' instead of `stat'.
12271
12272 1997-03-29  Hrvoje Niksic  <hniksic@srce.hr>
12273
12274         * utils.c (numdigit): Use explicit test.
12275
12276 1997-03-21  Hrvoje Niksic  <hniksic@srce.hr>
12277
12278         * http.c (http_loop): Always use `url_filename' to get u->local.
12279
12280 1997-03-20  Hrvoje Niksic  <hniksic@srce.hr>
12281
12282         * url.c: Recognize https.
12283
12284 1997-03-13  Hrvoje Niksic  <hniksic@srce.hr>
12285
12286         * recur.c (recursive_retrieve): Lowercase just the host name.
12287
12288 1997-03-09  Hrvoje Niksic  <hniksic@srce.hr>
12289
12290         * url.c (get_urls_file): Use the correct test.
12291         (get_urls_html): Ditto.
12292
12293 1997-03-07  Hrvoje Niksic  <hniksic@srce.hr>
12294
12295         * connect.c: Reverted addrlen to int.
12296
12297         * init.c (parse_line): Check for -1 instead of NONE.
12298
12299         * version.c: Changed version to 1.4.5.
12300
12301 1997-02-17  Hrvoje Niksic  <hniksic@srce.hr>
12302
12303         * init.c: New option netrc.
12304         (initialize): Don't parse .netrc.
12305
12306         * cmpt.c (recursive): Return rp.
12307         (strptime_internal): Match the long strings first, the abbreviated
12308         second.
12309
12310 1997-02-16  Hrvoje Niksic  <hniksic@srce.hr>
12311
12312         * http.c (check_end): New function.
12313         (http_atotm): Use it.
12314
12315 1997-02-13  gilles Cedoc  <gilles@cedocar.fr>
12316
12317         * http.c (gethttp): Use them.
12318
12319         * init.c: New options proxy_user and proxy_passwd.
12320
12321 1997-02-14  Hrvoje Niksic  <hniksic@srce.hr>
12322
12323         * ftp.c (ftp_retrieve_list): Create links even if not relative.
12324
12325 1997-02-10  Hrvoje Niksic  <hniksic@srce.hr>
12326
12327         * recur.c (recursive_retrieve): Lowercase the host name, if the
12328         URL is not "optimized".
12329
12330         * host.c (realhost): Return l->hostname, even if it matches with
12331         host.
12332
12333 1997-02-10  Marin Purgar  <pmc@asgard.hr>
12334
12335         * connect.c: Make addrlen size_t instead of int.
12336         (conaddr): Ditto.
12337
12338 1997-02-09  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
12339
12340         * systhings.h: Define S_ISLNK on NeXT too.
12341
12342 1997-02-09  Hrvoje Niksic  <hniksic@srce.hr>
12343
12344         * version.c: Released 1.4.3.
12345
12346         * url.c: Futher update to list of protostrings.
12347         (skip_proto): Skip `//' correctly for FTP and HTTP.
12348
12349         * url.c (get_urls_html): Handle bogus `http:' things a little
12350         different.
12351
12352         * main.c (main): Removed `follow-ftp' from `f'.
12353         (main): Dumped the `prefix-files' and `file-prefix' options and
12354         features; old and bogus.
12355         (main): Exit on failed setval() in `-e'.
12356
12357         * http.c (fetch_next_header): Use it to detect header continuation
12358         correctly.
12359
12360         * retr.c (buf_peek): New function.
12361
12362 1997-02-08  Hrvoje Niksic  <hniksic@srce.hr>
12363
12364         * wget.h: Include time.h and stuff.
12365
12366 1997-02-08  Roger Beeman  <beeman@cisco.com>
12367
12368         * ftp.c: Include <time.h>
12369
12370 1997-02-07  Hrvoje Niksic  <hniksic@srce.hr>
12371
12372         * url.c (findurl): Would read over buffer limits.
12373
12374 1997-02-06  Hrvoje Niksic  <hniksic@srce.hr>
12375
12376         * ftp-ls.c (ftp_parse_unix_ls): Allow spaces in file names.
12377
12378 1997-02-05  Hrvoje Niksic  <hniksic@srce.hr>
12379
12380         * http.c (http_atotm): Initialize tm.is_dst.
12381
12382 1997-02-02  Hrvoje Niksic  <hniksic@srce.hr>
12383
12384         * http.c (gethttp): Don't print the number of retrieved headers.
12385
12386         * main.c (main): New option `--no-clobber', alias for `-nc'.
12387
12388         * url.c: Recognize `https://'.
12389
12390 1997-02-01  Hrvoje Niksic  <hniksic@srce.hr>
12391
12392         * host.c (herrmsg): Don't use h_errno.
12393
12394 1997-01-30  Hrvoje Niksic  <hniksic@srce.hr>
12395
12396         * host.c (accept_domain): Use it.
12397
12398         * main.c (main): New option `--exclude-domains'.
12399
12400         * retr.c (retrieve_url): Use it.
12401         (retrieve_url): Bail out when an URL is redirecting to itself.
12402
12403         * url.c (url_equal): New function.
12404
12405 1997-01-29  Hrvoje Niksic  <hniksic@srce.hr>
12406
12407         * connect.c: Include arpa/inet.h instead of arpa/nameser.h.
12408
12409         * http.c (mk_utc_time): New function.
12410         (http_atotm): Use it; handle time zones correctly.
12411
12412 1997-01-28  Hrvoje Niksic  <hniksic@srce.hr>
12413
12414         * http.c: Ditto.
12415
12416         * ftp-basic.c: Use it instead of WRITE.
12417
12418         * connect.c (iwrite): New function.
12419
12420 1997-01-27  Hrvoje Niksic  <hniksic@srce.hr>
12421
12422         * cmpt.c (mktime): New function.
12423
12424         * netrc.c: Include <sys/types.h>.
12425
12426         * main.c (main): Wouldn't recognize --spider.
12427
12428         * retr.c (rate): Use `B', `KB' and `MB'.
12429         (reset_timer,elapsed_time): Moved from utils.c.
12430
12431         * ftp.c (ftp_retrieve_list): Ditto.
12432
12433         * http.c (http_loop): Don't touch the file if opt.dfp.
12434
12435 1997-01-24  Hrvoje Niksic  <hniksic@srce.hr>
12436
12437         * cmpt.c: New file.
12438
12439         * ftp.c (ftp_retrieve_glob): New argument semantics.
12440         (ftp_retrieve_dirs): Use it.
12441         (ftp_loop): Ditto.
12442
12443         * html.c (htmlfindurl): Recognize `'' as the quote char.
12444
12445 1997-01-23  Hrvoje Niksic  <hniksic@srce.hr>
12446
12447         * ftp.c (ftp_loop_internal): Use it.
12448
12449         * utils.c (remove_link): New function.
12450
12451 1997-01-22  Hrvoje Niksic  <hniksic@srce.hr>
12452
12453         * retr.c (retrieve_url): Require STRICT redirection URL.
12454
12455         * url.c (parseurl): New argument STRICT.
12456
12457         * http.c (hparsestatline): Be a little-bit less strict about
12458         status line format.
12459
12460 1997-01-21  Hrvoje Niksic  <hniksic@srce.hr>
12461
12462         * http.c (gethttp): Use it.
12463
12464         * main.c (main): Don't use '<digit>' as options.
12465
12466         * init.c: New option ignore_length.
12467
12468         * http.c (gethttp): Ditto.
12469         (http_loop): Check for redirection without Location:.
12470         (gethttp): Don't print Length unless RETROKF.
12471
12472         * ftp.c (getftp): Use it.
12473
12474         * url.c (mkalldirs): New function.
12475
12476         * utils.c (mymkdir): Don't check for existing non-directory.
12477
12478         * url.c (mkstruct): Don't create the directory.
12479
12480 1997-01-20  Hrvoje Niksic  <hniksic@srce.hr>
12481
12482         * init.c (setval): Removed NO_RECURSION checks.
12483
12484 1997-01-19  Hrvoje Niksic  <hniksic@srce.hr>
12485
12486         * version.c: "Released" 1.4.3-pre2.
12487
12488         * recur.c (recursive_retrieve): Bypass host checking only if URL
12489         is ftp AND parent URL is not ftp.
12490
12491         * ftp-basic.c (ftp_request): Print out Turtle Power.
12492
12493         * ftp.c (ftp_loop): Call ftp_retrieve_glob with 0 if there's no
12494         wildcard.
12495         (ftp_retrieve_glob): Call ftp_loop_internal even on empty list, if
12496         not glob.
12497
12498         * http.c (gethttp): Be a little bit smarter about status codes.
12499
12500         * recur.c (recursive_retrieve): Always reset opt.recursive when
12501         dealing with FTP.
12502
12503 1997-01-18  Hrvoje Niksic  <hniksic@srce.hr>
12504
12505         * retr.c (retrieve_url): New variable location_changed; use it for
12506         tests instead of mynewloc.
12507         (retrieve_url): Allow heuristic adding of html.
12508
12509         * url.c (url_filename): Don't use the `%' in Windows file names.
12510
12511         * http.c (http_loop): Always time-stamp the local file.
12512
12513         * http.c (http_loop): Ditto.
12514
12515         * ftp.c (ftp_retrieve_list): Use it.
12516
12517         * utils.c (my_touch): New function.
12518
12519         * ftp.c (ftp_retrieve_list): Use #ifdef HAVE_STRUCT_UTIMBUF
12520         instead of #ifndef NeXT.
12521
12522         * utils.c (strptime): New version, by Ulrich Drepper.
12523
12524 1997-01-17  Hrvoje Niksic  <hniksic@srce.hr>
12525
12526         * http.c (haccepts_none): Renamed from `haccepts_bytes'.
12527         (gethttp): If haccepts_none(), disable ACCEPTRANGES.
12528         (http_loop): Would remove ACCEPTRANGES.
12529
12530         * ftp.c (getftp): Call ftp_list with NULL.
12531
12532 1997-01-15  Hrvoje Niksic  <hniksic@srce.hr>
12533
12534         * html.c (ftp_index): Don't print minutes and seconds if we don't
12535         know them; beautify the output.
12536
12537         * ftp.c (getftp): Don't close the socket on FTPNSFOD.
12538
12539 1997-01-14  Hrvoje Niksic  <hniksic@srce.hr>
12540
12541         * utils.c (strptime): New function.
12542         (strptime): Don't use get_alt_number.
12543         (strptime): Don't use locale.
12544         (match_string): Made it a function.
12545
12546 1997-01-12  Hrvoje Niksic  <hniksic@srce.hr>
12547
12548         * http.c (http_atotm): New function.
12549         (http_loop): Use it.
12550
12551         * atotm.c: Removed from the distribution.
12552
12553         * http.c (base64_encode_line): Rewrite.
12554
12555 1997-01-09  Hrvoje Niksic  <hniksic@srce.hr>
12556
12557         * ftp.c (getftp): Use ftp_expected_bytes; print size.
12558
12559         * ftp-basic.c (ftp_response): Use ftp_last_respline.
12560         (ftp_expected_bytes): New function.
12561
12562         * ftp.c (getftp): Print the unauthoritative file length.
12563
12564         * ftp-ls.c: Renamed from ftp-unix.c.
12565         (ftp_parse_ls): Moved from ftp.c.
12566         (ftp_parse_unix_ls): Recognize seconds in time spec.
12567         (ftp_parse_unix_ls): Recognize year-less dates of the previous
12568         year.
12569
12570 1997-01-08  Hrvoje Niksic  <hniksic@srce.hr>
12571
12572         * ftp-basic.c: Don't declare errno if #defined.
12573
12574         * host.c (ftp_getaddress): Check for sysinfo legally.
12575
12576 1997-01-08  Darko Budor  <dbudor@diana.zems.fer.hr>
12577
12578         * connect.c (iread): Use READ.
12579
12580 1996-12-23  Hrvoje Niksic  <hniksic@srce.hr>
12581
12582         * url.c: Recognize finger, rlogin, tn3270, mid and cid as valid
12583         schemes.
12584
12585 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
12586
12587         * host.c (ftp_getaddress): Allow `.' in hostname.
12588
12589 1996-12-26  Darko Budor <dbudor@zems.fer.hr>
12590
12591         * wget.h: READ and WRITE macros for use instead of read and write
12592         on sockets, grep READ *.c, grep WRITE *.c
12593
12594         * wsstartup.c: new file - startup for winsock
12595
12596         * wsstartup.h: new file
12597
12598         * win32decl.h: new file - fixup for <errno.h> and winsock trouble
12599
12600         * configure.bat: Configure utility for MSVC
12601
12602         * src/Makefile.ms,config.h.ms: new files for use with MSVC 4.x
12603
12604 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
12605
12606         * version.c: Released 1.4.3-pre.
12607
12608         * utils.c (prnum): Accept long.
12609         (legible): Use prnum().
12610
12611         * connect.c (make_connection): Accept port as short.
12612         (bindport): Ditto.
12613
12614         * http.c (gethttp): Use search_netrc.
12615
12616 1996-12-21  Hrvoje Niksic  <hniksic@srce.hr>
12617
12618         * ftp.c (getftp): Use search_netrc.
12619
12620         * netrc.c (free_netrc): New function.
12621
12622         * init.c (home_dir): New function.
12623
12624         * url.c (convert_links): Allow REL2ABS changes.
12625
12626 1996-12-21  Gordon Matzigkeit  <gord@gnu.ai.mit.edu>
12627
12628         * netrc.c: New file.
12629         (parse_netrc, maybe_add_to_list): New functions.
12630
12631 1996-12-17  Hrvoje Niksic  <hniksic@srce.hr>
12632
12633         * retr.c (retrieve_url): Reset opt.recursion before calling
12634         ftp_loop if it is reached through newloc.
12635
12636         * init.c (run_wgetrc): Print the wgetrc path too, when reporting
12637         error; don't use "Syntax error", since we don't know if it is
12638         really a syntax error.
12639
12640 1996-12-16  Hrvoje Niksic  <hniksic@srce.hr>
12641
12642         * utils.c (acceptable): Extract the filename part of the path.
12643
12644         * recur.c (recursive_retrieve): Call acceptable() with the right
12645         argument; would bug out on wildcards.
12646
12647         * init.c (parse_line): Likewise.
12648
12649         * html.c (htmlfindurl): Cast to char * when calling stuff.
12650
12651 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
12652
12653         * ftp.c (getftp): Use ftp_pasv.
12654
12655         * ftp-basic.c (ftp_request): Accept NULL value.
12656         (ftp_pasv): New function.
12657
12658         * options.h (struct options): Add passive FTP option.
12659
12660 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
12661
12662         * url.c (parseurl): Debug output.
12663
12664         * utils.c (path_simplify): New one, adapted from bash's
12665         canonicalize_pathname().
12666
12667 1996-12-14  Hrvoje Niksic  <hniksic@srce.hr>
12668
12669         * ftp.c (getftp): Don't discard the buffer.
12670
12671         * retr.c (get_contents): New parameter nobuf.
12672
12673 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
12674
12675         * html.c (htmlfindurl): Recognize <meta contents="d; URL=...".
12676
12677         * init.c (setval): Strip the trailing slashes on CVECDIR.
12678
12679 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
12680
12681         * init.c: Make excludes and includes under CVECDIR instead of
12682         CVEC.
12683
12684 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
12685
12686         * url.c (get_urls_html): Skip "http:".
12687
12688 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
12689
12690         * utils.c (strcasecmp): From glibc.
12691         (strncasecmp): Also.
12692         (strstr): Also.
12693
12694         * url.c: Added javascript: to the list of URLs prefixes.
12695
12696 1996-12-12  Shawn McHorse  <riffraff@txdirect.net>
12697
12698         * recur.c (retrieve_robots): Print the warning message only if
12699         verbose.
12700
12701 1996-12-12  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
12702
12703         * ftp.c (ftp_retrieve_list): Use NeXT old utime interface.
12704
12705 1996-12-12  Hrvoje Niksic  <hniksic@srce.hr>
12706
12707         * systhings.h: New file.
12708
12709         * ../configure.in: Check for utime.h
12710
12711         * ftp.c: Check whether we have unistd.h.
12712
12713 1996-11-27  Hrvoje Niksic  <hniksic@srce.hr>
12714
12715         * recur.c (recursive_retrieve): Send the canonical URL as referer.
12716         (recursive_retrieve): Call get_urls_html with the canonical URL.
12717
12718 1996-12-13  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
12719
12720         * (configure.in, config.h.in, src/Makefile.in, src/*.[ch]): Add
12721         ansi2knr support for compilers which don't support ANSI style
12722         function prototypes and signatures.
12723
12724         * (aclocal.m4, src/ansi2knr.c, src/ansi2knr.1): New files.
12725
12726 1996-11-26  Hrvoje Niksic  <hniksic@srce.hr>
12727
12728         * url.c: Use it; Recognize paths ending with "." and ".." as
12729         directories.
12730         (url_filename): Append .n whenever file exists and could be a
12731         directory.
12732
12733         * url.h (ISDDOT): New macro.
12734
12735         * init.c (parse_line): Use unsigned char.
12736
12737         * url.c (get_urls_html): Cast to unsigned char * when calling
12738         htmlfindurl.
12739
12740         * html.c (htmlfindurl): Use unsigned char.
12741
12742         * version.c: Changed version to 1.4.3.
12743
12744 1996-11-25  Hrvoje Niksic  <hniksic@srce.hr>
12745
12746         * version.c: Released 1.4.2.
12747
12748         * ftp.c (getftp): Simplified assertion.
12749         (ftp_loop_internal): Remove symlink before downloading.
12750         (ftp_retrieve_list): Unlink the symlink name before attempting to
12751         create a symlink!
12752
12753         * options.h (struct options): Renamed print_server_response to
12754         server_response.
12755
12756         * ftp.c (rel_constr): Removed.
12757         (ftp_retrieve_list): Don't use it.
12758         (ftp_retrieve_list): Use opt.retr_symlinks.
12759
12760 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
12761
12762         * main.c (main): New option retr_symlinks.
12763
12764         * url.c (convert_links): Print verbose message.
12765
12766 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
12767
12768         * http.c (http_loop): Reset newloc in the beginning of function;
12769         would cause FMR in retrieve_url.
12770
12771 1996-11-23  Hrvoje Niksic  <hniksic@srce.hr>
12772
12773         * recur.c (convert_all_links): Find the URL of each HTML document,
12774         and feed it to get_urls_html; would bug out.
12775         (convert_all_links): Check for l2 instead of dl; removed dl.
12776
12777         * url.c (convert_links): Don't refer to freed newname.
12778
12779         * recur.c (recursive_retrieve): Add this_url to urls_downloaded.
12780
12781         * main.c (main): Print the OS_TYPE in the debug output, too.
12782
12783         * recur.c (recursive_retrieve): Check for opt.delete_after.
12784
12785         * main.c (main): New option delete-after.
12786
12787         * init.c (setval): Cleaned up.
12788
12789 1996-11-21  Hrvoje Niksic  <hniksic@srce.hr>
12790
12791         * Makefile.in (wget): Make `wget' the default target.
12792
12793         * ftp.c (ftp_loop_internal): Move noclobber checking out of the
12794         loop.
12795         (ftp_retrieve_list): Warn about non-matching sizes.
12796
12797         * http.c (http_loop): Made -nc non-dependent on opt.recursive.
12798
12799         * init.c (setnum): Renamed from setnuminf; New argument flags.
12800         (setval): Use it.
12801
12802         * main.c (main): Sorted the options.
12803         (main): New option --wait.
12804
12805 1996-11-21  Shawn McHorse  <riffraff@txdirect.net>
12806
12807         * html.c (htmlfindurl): Reset s->in_quote after getting out of
12808         quotes.
12809
12810 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
12811
12812         * version.c: Changed version to 1.4.2.
12813
12814 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
12815
12816         * version.c: Released 1.4.1.
12817
12818         * html.c (html_quote_string): New function.
12819         (ftp_index): Use it.
12820         (htmlfindurl): A more gentle ending debug message.
12821
12822         * ftp.c (ftp_loop): Check for opt.htmlify.
12823
12824         * init.c: New command htmlify.
12825
12826         * ftp.c (getftp): Nicer error messages, with `'-encapsulated
12827         strings.
12828         (ftp_loop): Print size of index.html.
12829
12830         * init.c (setval): Implement "styles".
12831
12832         * main.c (main): New option dotstyle.
12833
12834 1996-11-19  Hrvoje Niksic  <hniksic@srce.hr>
12835
12836         * ftp.c (getftp): Close the master socket in case of errors, after
12837         bindport().
12838
12839         * connect.c (bindport): Initialize msock to -1.
12840
12841         * ftp.c (getftp): Initialize dtsock to -1.
12842
12843         * connect.c (closeport): Don't close sock if sock == -1.
12844
12845 1996-11-18  Hrvoje Niksic  <hniksic@srce.hr>
12846
12847         * init.c (setnuminf): Nuked default value -- just leave unchanged.
12848         (setval): Don't send default values.
12849         (defaults): Use DEFAULT_TIMEOUT -- aaargh.
12850
12851         * options.h (struct options): Use long for dot_bytes.
12852
12853         * init.c (setquota): Renamed to setbytes.
12854         (setval): Use setbytes on DOTBYTES.
12855
12856 1996-11-17  Hrvoje Niksic  <hniksic@srce.hr>
12857
12858         * ftp.c (getftp): Initialize con->dltime.
12859
12860         * recur.c (recursive_retrieve): Use same_host instead of
12861         try_robots; simply load robots_txt whenever the host is changed.
12862         (recursive_retrieve): Free forbidden before calling parse_robots.
12863
12864 1996-11-16  Hrvoje Niksic  <hniksic@srce.hr>
12865
12866         * retr.c (show_progress): Use them.
12867
12868         * options.h (struct options): New options dot_bytes, dots_on_line
12869         and dot_spacing.
12870
12871 1996-11-16  Mark Boyns  <boyns@sdsu.edu>
12872
12873         * recur.c (recursive_retrieve): Retrieve directories regardless of
12874         acc/rej rules; check for empty u->file.
12875
12876 1996-11-14  Hrvoje Niksic  <hniksic@srce.hr>
12877
12878         * init.c (setval): Use it.
12879
12880         * utils.c (merge_vecs): New function.
12881
12882         * init.c (setval): Reset the list-type functions when encountering
12883         "".
12884
12885 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
12886
12887         * recur.c (recursive_retrieve): Use base_url instead of this_url
12888         for no_parent.
12889
12890 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
12891
12892         * html.c (htmlfindurl): Reset s->in_quote after exiting the quote.
12893
12894 1996-11-13  Hrvoje Niksic  <hniksic@srce.hr>
12895
12896         * utils.c (sepstring): Rewrote; don't use strtok.
12897
12898         * recur.c (recursive_retrieve): Enter assorted this_url to slist
12899         when running the first time.
12900         (retrieve_robots): Warn to ignore errors when robots are loaded.
12901
12902         * utils.c (load_file): Moved from url.c.
12903
12904         * http.c: Made static variables const too in h* functions.
12905
12906         * main.c (main): Renamed --continue-ftp to --continue.
12907
12908         * recur.c (recursive_retrieve): Use it.
12909
12910         * utils.c (frontcmp): New function.
12911
12912         * url.c (accdir): New function.
12913
12914         * html.c (htmlfindurl): Recognize <area href=...>.
12915
12916         * ftp.c (ftp_retrieve_dirs): Implemented opt.includes.
12917
12918         * init.c (setval): Free the existing opt.excludes and
12919         opt.includes, if available.
12920
12921         * main.c (main): New option -I.
12922
12923 1996-11-12  Hrvoje Niksic  <hniksic@srce.hr>
12924
12925         * ftp.c (ftp_retrieve_glob): Do not weed out directories.
12926
12927         * version.c: Changed version to 1.4.1.
12928
12929 1996-11-11  Hrvoje Niksic  <hniksic@srce.hr>
12930
12931         * version.c: Released 1.4.0.
12932
12933 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
12934
12935         * main.c (main): Free com and val after parse_line.
12936         (printhelp): Reorder the listing.
12937
12938         * http.c: More robust header parsing.
12939
12940         * http.c: Allow any number of spaces, or no spaces, precede ':'.
12941         (hskip_lws): New function.
12942         (haccepts_bytes): New function.
12943         (gethttp): Use it.
12944
12945         * init.c (setval): Check header sanity.
12946         (setval): Allow resetting of headers.
12947
12948 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
12949
12950         * http.c (http_loop): Don't use has_wildcards.
12951
12952         * http.c (gethttp): Free all_headers -- would leak.
12953
12954         * recur.c (recursive_retrieve): Initialize depth to 1 instead of
12955         0 -- this fixes a long-standing bug in -rl.
12956
12957 1996-11-09  Hrvoje Niksic  <hniksic@srce.hr>
12958
12959         * ftp.c: Use -1 as "impossible" value for con->fd.
12960
12961         * url.h (URL_SEPARATOR): Don't treat `*' and `+' as separators.
12962
12963         * init.c (parse_line): Use isalpha.
12964
12965         * ftp-unix.c: Use HAVE_UNISTD_H.
12966
12967         * mtch.c (has_wildcards): Don't match \.
12968
12969         * http.c (http_loop): Warn on HTTP wildcard usage.
12970
12971 1996-11-08  Hrvoje Niksic  <hniksic@srce.hr>
12972
12973         * url.c (url_filename): Do not create numbered suffixes if
12974         opt.noclobber -- would bug out on -nc.
12975
12976 1996-11-07  Hrvoje Niksic  <hniksic@srce.hr>
12977
12978         * recur.c (parse_robots): Don't chuck out the commands without
12979         arguments (`Disallow:<empty>' didn't work).
12980         (parse_robots): Compare versions lowercase.
12981         (parse_robots): Match on base_version, not version_string!
12982         (parse_robots): Handle comments properly.
12983         (parse_robots): Match versions in a sane way.
12984
12985         * init.c: Print nicer error messages.
12986
12987         * version.c: Changed version to 1.4.0.
12988
12989 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
12990
12991         * version.c: Released 1.4.0-test2.
12992
12993         * init.c (run_wgetrc): Close fp.
12994
12995         * ftp.c (ftp_retrieve_dirs): Allocate the correct length for
12996         u->dir.
12997
12998 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
12999
13000         * init.c (setquota): Allow inf as quota specification.
13001
13002 1996-11-05  Hrvoje Niksic  <hniksic@srce.hr>
13003
13004         * ftp.c (ftp_retrieve_dirs): Return QUOTEXC if quota exceeded.
13005         (ftp_retrieve_glob): Return QUOTEXC on quota exceeded.
13006
13007         * main.c (main): Check for quota by comparison with downloaded
13008         stuff, not from status.
13009
13010         * connect.c (select_fd): Should compile on HPUX without warnings now.
13011
13012         * ftp.c (ftp_get_listing): Check whether ftp_loop_internal
13013         returned RETROK.
13014
13015 1996-11-04  Hrvoje Niksic  <hniksic@srce.hr>
13016
13017         * ftp.c (ftp_retrieve_glob): Print the pattern nicely.
13018         (getftp): Return FTPRETRINT on control connection error.
13019
13020         * html.c (htmlfindurl): Recognize <embed src=...> and
13021         <bgsound src=...>.
13022         (ftp_index): Handle username and password correctly.
13023
13024         * main.c (main): Made `-np' a synonim for --no-parent.
13025
13026 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
13027
13028         * ftp.c (ftp_loop): Check for opt.ftp_glob too before calling
13029         ftp_retrieve_glob.
13030
13031         * version.c: Changed version to 1.4.0-test2.
13032
13033 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
13034
13035         * version.c: Released 1.4.0-test1.
13036
13037         * url.c (str_url): Don't use sprintf when creating %2F-prefixed
13038         directory.
13039         (convert_links): Removed definition of make_backup.
13040
13041         * http.h: Removed definition of MAX_ERROR_LENGTH.
13042
13043         * host.c (ftp_getaddress): Check for "(none)" domains.
13044
13045         * ftp.c (ftp_retrieve_dirs): Docfix.
13046
13047         * http.c (gethttp): Use ou->referer instead of u->referer.
13048
13049         * retr.c (retrieve_url): Reset u to avoid freeing pointers twice;
13050         this was known to cause coredumps on Linux.
13051
13052         * html.c (ftp_index): Cast the argument to local_time to time_t *.
13053
13054 1996-11-01  Hrvoje Niksic  <hniksic@srce.hr>
13055
13056         * connect.c (select_fd): Use exceptfds -- once and for all.
13057
13058         * retr.c (retrieve_from_file): Free filename after
13059         recursive_retrieve.
13060         (retrieve_from_file): Send RFIRST_TIME to recursive_retrieve on
13061         first-time retrieval.
13062         (retrieve_from_file): Return uerr_t; new argument, count.
13063         (retrieve_from_file): Break on QUOTEXC.
13064
13065         * init.c (setquota): Fixed a bug that caused rejection of
13066         non-postfixed values..
13067
13068 1996-10-30  Hrvoje Niksic  <hniksic@srce.hr>
13069
13070         * version.c: Changed name to wget.
13071
13072         * connect.c (iread): Smarter use of select.
13073         (select_fd): Set errno on timeout.  If not timeout, return 1
13074         instead of 0.
13075
13076 1996-10-29  Hrvoje Niksic  <hniksic@srce.hr>
13077
13078         * ftp.c (ftp_loop_internal): Don't use con->cmd before
13079         establishing it.
13080
13081 1996-10-26  Hrvoje Niksic  <hniksic@srce.hr>
13082
13083         * http.c (gethttp): Send correct referer when using proxy.
13084         (gethttp): Use struct urlinfo ou to access the relevant data; send
13085         correct authorization in all cases.
13086
13087         * host.c (same_host): Use skip_uname to skip username and
13088         password.
13089
13090         * url.c (skip_uname): New function.
13091         (parseurl): Use it.
13092
13093         * host.c (same_host): Do not assume HTTP -- same_host should now
13094         be totally foolproof.
13095
13096         * url.c (skip_proto): New function.
13097         (parse_uname): Use it.
13098
13099         * http.c (gethttp): Create local user and passwd from what is
13100         given.
13101
13102         * url.c (parseurl): Check for HTTP username and password too.
13103
13104 1996-10-25  Hrvoje Niksic  <hniksic@srce.hr>
13105
13106         * config.h.in: Removed #define gethostbyname R...
13107
13108 1996-10-22  Hrvoje Niksic  <hniksic@srce.hr>
13109
13110         * version.c: Changed version to 1.4.0-test1.
13111
13112 1996-10-21  Hrvoje Niksic  <hniksic@srce.hr>
13113
13114         * version.c: "Released" 1.4b29.
13115
13116         * recur.c (recursive_retrieve): Check for no_parent.
13117
13118         * init.c (setval): Option update.
13119
13120         * main.c (main): New option no-parent.
13121
13122         * options.h (struct options): New variable no_parent.
13123
13124         * recur.c (recursive_retrieve): Only files are checked for
13125         opt.accepts and opt.rejects.
13126         (recursive_retrieve): Check directories for opt.excludes.
13127         (recursive_retrieve): Make the dir absolute when checking
13128         opt.excludes.
13129
13130         * html.c (htmlfindurl): Recognize <applet code=...> and <script
13131         src=...>
13132
13133 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
13134
13135         * ftp.c (getftp): Do not line-break assert entries at all.
13136         (ftp_retrieve_dirs): docfix.
13137
13138         * connect.c (select_fd): Use fd + 1 as nfds.
13139
13140         * version.c: Changed version to 1.4b29.
13141
13142 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
13143
13144         * version.c: "Released" 1.4b28.
13145
13146         * ftp.c (ftp_loop_internal): Check whether f->size == len and
13147         don't continue the loop if it is.
13148         (ftp_get_listing): Remove list_filename on unsuccesful loop.
13149
13150 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
13151
13152         * ftp.c (ftp_loop_internal): Use strcpy to initialize tmp.
13153         (getftp): Do not use multiline assert.
13154
13155         * http.c (hparsestatline): Use mjr and mnr instead of major and
13156         minor, which don't compile on Ultrix.
13157         (http_loop): Use strcpy() to initialize tmp.
13158
13159         * all: Geturl -> Fetch
13160
13161 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
13162
13163         * recur.c (parse_robots): Fixed an off-by-one bug when looking for
13164         ':'.
13165
13166         * html.c (htmlfindurl): Fixed several possible off-by-one bugs by
13167         moving `bufsize &&' to the beginning of each check in for-loops.
13168
13169         * recur.c (parse_robots): Close fp on exit.
13170
13171         * url.c (mymkdir): Check for each directory before creating.
13172
13173 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
13174
13175         * version.c: Changed version to 1.4b28.
13176
13177 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
13178
13179         * version.c: "Released" 1.4b27.
13180
13181         * init.c (parse_line): Use isspace.
13182         (parse_line): Free *com on all errors.
13183
13184         * ftp.c (ftp_loop): Change FTPOK to RETROK before exiting.
13185         (delelement): Use next instead of f->next and prev instead of
13186         f->prev.
13187         (delelement): Free the members of the deleted element.
13188
13189         * http.c (http_loop): Do not return RETROK on code != 20x.
13190
13191         * init.c (cleanup): Free opt.user_header.
13192         (cleanup): Free opt.domains.
13193
13194         * url.c (freelists): Moved to cleanup().
13195
13196         * http.c (hparsestatline): Docfix.
13197
13198         * main.c (main): Return with error status on unsuccesful
13199         retrieval.
13200
13201         * init.c (setval): Do not remove listing when mirroring.
13202
13203         * url.c (url_filename): Use opt.fileprefix.
13204
13205         * ftp.c (ftp_get_listing): Use url_filename to get filename for
13206         .listing.
13207
13208         * main.c (main): New option: -rn.
13209
13210 1996-10-15  Hrvoje Niksic  <hniksic@srce.hr>
13211
13212         * Makefile.in (RM): Added RM = rm -f.
13213
13214         * host.c (clean_hosts): New function.
13215         (free_hlist): Just free the list, no reset.
13216
13217         * version.c: Changed version to 1.4b27.
13218
13219 1996-10-13  Hrvoje Niksic  <hniksic@srce.hr>
13220
13221         * version.c: "Released" 1.4b26.
13222
13223         * retr.c (retrieve_from_file): If call get_urls_html with
13224         opt.spider to make it silent in spider mode.
13225
13226         * url.c (str_url): Use CLEANDUP instead of URL_CLEANSE.
13227
13228         * url.h (CLEANDUP): New macro.
13229
13230         * http.c (gethttp): Fixed a bug that freed location only when it
13231         was NULL.
13232
13233         * retr.c (retrieve_url): Free url if it will not be stored,
13234         i.e. newloc is NULL.
13235
13236         * html.c (htmlfindurl): Handle exiting from quotes correctly; the
13237         old version would bug out on <a href="x#a"href="y">.
13238
13239         * html.h (state_t): New member in_quote.
13240
13241         * html.c (htmlfindurl): Free s->attr at the beginning of
13242         attr-loop.
13243
13244         * recur.c (recursive_retrieve): Recognize RCLEANUP.
13245         (tried_robots): Make hosts a global variable.
13246         (recursive_retrieve): Free constr after URL host optimization.
13247         (tried_robots): Free urlinfo before exiting.
13248
13249         * utils.c (free_slist): New function.
13250
13251         * recur.c (recursive_retrieve): Use flags to add cleanup
13252         possibility.
13253
13254         * main.c (main): Free filename after recursive_retrieve.
13255
13256         * http.c (gethttp): Store successful responses too.
13257
13258 1996-10-12  Hrvoje Niksic  <hniksic@srce.hr>
13259
13260         * all: Constified the whole source.  This required some minor
13261         changes in many functions in url.c, possibly introducing bugs -- I
13262         hope not.
13263
13264         * ftp-basic.c: Removed last_respline.
13265
13266         * http.c (gethttp): Free type.
13267
13268         * host.c (same_host): Free real1 and real2.
13269
13270         * main.c (main): New option --spider.
13271
13272         * retr.c (get_contents): Don't reset errno.
13273
13274         * main.c (main): Sorted the options.
13275
13276         * connect.c (iread): Set errno to ETIMEDOUT only if it was left
13277         uninitialized by select().
13278
13279         * http.c (http_loop): Print the time when the connection is
13280         closed.
13281         (gethttp): Debug-print the HTTP request.
13282
13283 1996-10-11  Hrvoje Niksic  <hniksic@srce.hr>
13284
13285         * connect.c (iread): Do not try reading after timeout.
13286
13287         * main.c (main): Would bug out on -T.
13288
13289         * connect.c (select_fd): Do not use exceptfds.
13290         (iread): Set ETIMEDOUT on select_fd <= 0.
13291
13292         * version.c: Changed version to 1.4b26.
13293
13294 1996-10-10  Hrvoje Niksic  <hniksic@srce.hr>
13295
13296         * version.c: "Released" 1.4b25.
13297
13298         * ftp-unix.c (ftp_parse_unix_ls): Ignore lines without file name
13299         or link name.
13300
13301         * http.c (gethttp): Add errcode to struct hstat.
13302         (http_loop): Use it.
13303
13304         * url.c (no_proxy_match): Simplify using char** for no_proxy.
13305
13306         * options.h (struct options): Make opt.no_proxy a vector.
13307
13308         * utils.c (sepstring): Use !*s instead of !strlen(s).
13309
13310         * init.c (setval): Set opt.maxreclevel to 0 on --mirror.
13311         (getperms): Use ISODIGIT instead of isdigit.
13312
13313         * ftp.c (getftp): Print time.
13314
13315         * main.c (main): Use legible output of downloaded quantity.
13316
13317         * ftp.c (getftp): Use elapsed_time().
13318         (ftp_loop_internal): Use rate().
13319
13320         * http.c (http_loop): Add download ratio output; Use rate().
13321
13322         * utils.c (rate): New function.
13323
13324 1996-10-09  Hrvoje Niksic  <hniksic@srce.hr>
13325
13326         * http.c (http_loop): Use timer.
13327
13328         * ftp.c: Split to ftp-basic.c and ftp.c
13329
13330         * utils.c (reset_timer): New function.
13331         (elapsed_time): New function.
13332
13333         * retr.c (show_progress): Make bytes_in_line and offs long; should
13334         work on 16-bit machines.
13335
13336 1996-10-08  Hrvoje Niksic  <hniksic@srce.hr>
13337
13338         * url.c (in_acclist): New argument backward.
13339
13340         * ftp.c (ftp_retrieve_glob): Use acceptable() to determine whether
13341         a file should be retrieved according to suffix.
13342         (ftp_get_listing): Check the return value of unlink; Do not call
13343         ftp_retrieve_dirs if depth reached maxreclevel.
13344         (ftp_retrieve_dirs): Check whether the directory is in
13345         exclude-list.
13346
13347         * main.c (main): Print the version number at the beginning of
13348         DEBUG output.
13349         (main): Use strrchr when creating exec_name.
13350
13351         * ftp.c (ftp_retrieve_glob): Do not close control connection.
13352
13353         * version.c: Changed version to 1.4b25.
13354
13355 1996-10-07  Hrvoje Niksic  <hniksic@srce.hr>
13356
13357         * version.c: "Released" 1.4b24.
13358
13359         * Makefile.in: Rewrite.
13360
13361         * ftp.c (ftp_loop_internal): Likewise.
13362
13363         * retr.c (time_str): Check for failed time().
13364
13365         * html.c (htmlfindurl): Recognize <fig src> and <overlay src> from
13366         HTML3.0.
13367
13368         * retr.c (time_str): Return time_t *.
13369
13370         * connect.c (bindport): Close msock on unsuccesful bind.
13371         (bindport): The same for getsockname and listen.
13372
13373         * retr.c (retrieve_url): Allow any number of retries on
13374         proxy.
13375
13376         * http.c (gethttp): Do not treat errno == 0 as timeout.
13377         (http_loop): Likewise.
13378         (http_loop): Cosmetic changes.
13379
13380         * connect.c (iread): Set errno to ETIMEDOUT in case of timeout.
13381
13382         * retr.c (get_contents): Reset errno.
13383
13384         * ftp.c (getftp): Minor fixes.
13385
13386 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
13387
13388         * http.c: Do not use backups.
13389
13390         * geturl.1 (WARNING): Warn that man-page could be obsolete.
13391
13392         * getopt.c (getopt_long): Moved to getopt.c
13393
13394         * geturl.texi: Enhanced.
13395
13396         * main.c (main): Use it.
13397
13398         * recur.c (convert_all_links): New function.
13399
13400         * utils.c (add_slist): New argument flags.
13401
13402         * recur.c (recursive_retrieve): Update a list of downloaded URLs.
13403         (parse_robots): Do not chuck out empty value fields.
13404         (parse_robots): Make yourself welcome on empty Disallow.
13405
13406         * version.c: Changed version to 1.4b24.
13407
13408 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
13409
13410         * version.c: "Released" 1.4b23.
13411
13412         * ftp.c (ftp_loop_internal): Get the time after getftp.
13413
13414         * Makefile.in (install.info): New target.
13415         (install): Use it.
13416
13417         * http.c (http_loop): Fix output when doing -O.
13418
13419 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
13420
13421         * geturl.texi: New file.
13422
13423         * main.c (main): Do not print the warnings and download summary if
13424         opt.quiet is set.
13425
13426         * version.c: Changed version to 1.4b23.
13427
13428 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
13429
13430         * "Released" 1.4b22.
13431
13432         * atotm.c (atotm): Use True and False instead of TRUE and FALSE,
13433         to avoid redefinition warnings.
13434
13435         * host.c (store_hostaddress): Use memcpy() to copy the address
13436         returned by inet_addr.
13437
13438         * version.c: Changed version to 1.4b22.
13439
13440 1996-10-04  Hrvoje Niksic  <hniksic@srce.hr>
13441
13442         * version.c: "Released" 1.4b21.
13443
13444         * ftp-unix.c (ftp_parse_ls): Renamed to ftp_parse_unix_ls.
13445
13446         * ftp.c (ftp_port): Use conaddr.
13447         (getftp): Print the file length.
13448         (ftp_retrieve_list): Check the stamps of plain files only.
13449
13450         * connect.c (closeport): Do not call shutdown().
13451         (conaddr): New function.
13452
13453         * html.c (ftp_index): Made it dfp-aware.
13454
13455         * init.c (cleanup): New name of freemem. Close opt.dfp.
13456
13457         * ftp.c (getftp): Use opt.dfp if it is set.
13458
13459         * ftp-unix.c (ftp_parse_ls): Recognize time in h:mm format.
13460
13461         * ftp.c (ftp_retrieve_dirs): Fixed a bug that caused incorrect
13462         CWDs to be sent with recursive FTP retrievals.
13463
13464 1996-10-03  Hrvoje Niksic  <hniksic@srce.hr>
13465
13466         * recur.c (parse_robots): Made it more compliant with "official"
13467         specifications.
13468
13469         * http.c: New function.
13470
13471         * ftp-unix.c (ftp_parse_ls): Added better debug output.
13472
13473         * ftp.c (getftp): Print out the LIST in case of
13474         opt.print_server_response.
13475
13476         * version.c: Changed version to 1.4b21.
13477
13478 1996-10-01  Hrvoje Niksic  <hniksic@srce.hr>
13479
13480         * version.c: "Released" 1.4b20.
13481
13482         * README: Update.
13483
13484         * http.c (gethttp): Preset lengths of various headers instead of
13485         calculating them dynamically.
13486         (gethttp): Check for 206 partial contents.
13487
13488 1996-09-30  Hrvoje Niksic  <hniksic@srce.hr>
13489
13490         * configure.in: Set SYSTEM_GETURLRC to $libdir/geturlrc
13491
13492         * http.c (gethttp): Send the port number in the Host: header.
13493
13494 1996-09-29  Hrvoje Niksic  <hniksic@srce.hr>
13495
13496         * http.c (gethttp): Send host: header.
13497         (gethttp): Add the possibility of user-defined headers.
13498         (gethttp): Move decision about pragma: no-cache to http_loop,
13499         where it belongs.
13500         (gethttp): Pass a struct instead of enormous argument list.
13501         (http_loop): Use a new, fancier display format.
13502         (ftp_loop): Likewise.
13503
13504         * main.c: (hangup): Turn off buffering of the new log file.
13505
13506         * install-sh: Likewise.
13507
13508         * config.sub: Replace with the one in autoconf-2.10
13509
13510         * geturl.1: Update.
13511
13512         * init.c: New options httpuser and httppasswd.
13513
13514         * http.c: (base64_encode_line): New function.
13515         (gethttp): Send authentication.
13516
13517         * connect.c (make_connection): Use store_hostaddress.
13518
13519 1996-09-28  Hrvoje Niksic  <hniksic@srce.hr>
13520
13521         * host.c (store_hostaddress): New function.
13522
13523         * NEWS: Update.
13524
13525         * http.c (hgetrange): New function.
13526         (gethttp): Use ranges.
13527
13528         * utils.c (numdigit): Accept long instead of int.
13529
13530         * http.c (http_loop): Add restart capabilities.
13531
13532         * ftp.c (ftp_retrieve_glob): Fixed a bug that could cause matchres
13533         being used uninitialized.
13534         (ftp_retrieve_list): Similar fix.
13535
13536         * host.c (add_hlist): Fixed a bug that could cause cmp being used
13537         uninitialized.
13538
13539         * url.c (construct_relative): New function.
13540
13541         * recur.c (recursive_retrieve): Use it.
13542
13543         * retr.c (convert_links): New function.
13544
13545 1996-09-27  Hrvoje Niksic  <hniksic@srce.hr>
13546
13547         * url.c (free_urlpos): New function.
13548
13549         * recur.c (recursive_retrieve): Adapt.
13550
13551         * url.c (get_urls_html): Return a linked list instead of a vector.
13552
13553         * url.c (get_urls_file): Return a linked list instead of a vector.
13554
13555         * geturl.1: Update.
13556
13557         * http.c (gethttp): Implement it.
13558
13559         * init.c (setval): New option: SAVEHEADERS
13560
13561         * ftp.c (ftp_loop_internal): Do not set restval if listing is to
13562         be retrieved. Lack of this test caused bugs when the connection
13563         was lost during listing.
13564
13565         * retr.c (retrieve_url): Fixed a bug that caused
13566         coredumps. *newloc is now reset by default.
13567         (retrieve_url): Lift the twenty-tries limit on proxies.
13568
13569         * version.c: Changed version to 1.4b20.
13570
13571 1996-09-20  Hrvoje Niksic  <hniksic@srce.hr>
13572
13573         * version.c: "Released" 1.4b19.
13574
13575 1996-09-19  Hrvoje Niksic  <hniksic@srce.hr>
13576
13577         * ftp.c (ftp_loop_internal): Renamed from ftp_1fl_loop.
13578         (getftp): Changed prototype to accept ccon *.
13579
13580 1996-09-17  Hrvoje Niksic  <hniksic@srce.hr>
13581
13582         * ftp.c (ftp_retrieve_list): Fixed a bug that caused setting
13583         incorrect values to files pointed to by symbolic links.
13584         (ftp_1fl_loop): Do not count listings among the downloaded URL-s.
13585
13586 1996-09-16  Hrvoje Niksic  <hniksic@srce.hr>
13587
13588         * url.c (mkstruct): Do not prepend "./" in front of a pathname.
13589
13590         * main.c (main): New option: --user-agent.
13591
13592         * geturl.1: Ditto.
13593
13594         * init.h: Ditto.
13595
13596         * init.c (setval): Ditto.
13597
13598         * main.c (main): Rename "server-headers" to "server-response".
13599
13600         * ftp-unix.c (ftp_parse_ls): Check for asterisks at the end of
13601         executables in 'ls -F' listings.
13602
13603 1996-09-15  Hrvoje Niksic  <hniksic@srce.hr>
13604
13605         * url.c (parseurl): Remove realloc() and sprintf().
13606         (str_url): Get rid of sprintf().
13607
13608         * recur.c (recursive_retrieve): Enable FTP recursion through proxy
13609         servers.
13610
13611         * url.h (URL_CLEANSE): Made it else-resistant.
13612         (USE_PROXY): New macro.
13613
13614 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
13615
13616         * NEWS: Update.
13617
13618         * version.c: Changed version to 1.4b19.
13619
13620 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
13621
13622         * version.c: "Released" 1.4b18.
13623
13624         * url.c: Made it reallocate space exponentially.
13625
13626 1996-09-14  Drazen Kacar  <dave@fly.cc.fer.hr>
13627
13628         * html.c (htmlfindurl): Added <frame src> and <iframe src> among
13629         the list of stuff to fetch.
13630
13631 1996-09-13  Hrvoje Niksic  <hniksic@srce.hr>
13632
13633         * url.c (get_urls_html): Fixed a bug that caused SIGSEGV's with
13634         -Fi.
13635
13636         * html.c (htmlfindurl): Rewrite.
13637
13638         * http.c (gethttp): Use opt.proxy_cache.
13639
13640         * main.c (main): Added --cache option.
13641
13642         * ftp.c (ftp_response): Print server response if opt.print_server
13643         response is set.
13644         (getftp): Print newlines after each request if the server response
13645         is to be printed.
13646         (ftp_response): Copy the last response line to last_respline.
13647
13648         * http.c (gethttp): Add Pragma: nocache for retried
13649         proxy-retrievals.
13650
13651         * ftp.c (getftp): Use it.
13652
13653         * retr.c (buf_discard): New function.
13654
13655         * ftp.c (ftp_response): Use buf_readchar().
13656         (getftp): Flush the control connection buffer before calling
13657         get_contents().
13658
13659         * retr.c (buf_readchar): New function.
13660         (buf_flush): New function.
13661         (get_contents): Use buf_readchar() instead of read(x, x, 1).
13662         (get_contents): Use buf_flush.
13663
13664 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
13665
13666         * ftp.c: Incorporate changes to ftp_response.
13667
13668         * ftp.c (ftp_response): Allocate the server response dynamically,
13669         as in read_whole_line and fetch_next_header.
13670
13671         * utils.c (read_whole_line): Fixed a bug that prevented reading
13672         the last line if it is not \n-terminated. Also fixed a possible
13673         memory overflow.
13674
13675         * http.c (fetch_next_header): Return malloc-ed string as large as
13676         needed.
13677         (gethttp): Use new fetch_next_header.
13678
13679 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
13680
13681         * http.c (hgetlen): Compute the header length the first time only.
13682         (hgettype): Ditto.
13683         (hgetlocation): Ditto.
13684         (hgetmodified): Ditto.
13685
13686 1996-09-11  Hrvoje Niksic  <hniksic@srce.hr>
13687
13688         * sample.geturlrc: Update.
13689
13690 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
13691
13692         * http.c (http_loop): Ditto.
13693
13694         * ftp.c (getftp): Open the output file as binary.
13695
13696         * version.c: Changed version to 1.4b18.
13697
13698 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
13699
13700         * version.c: "Released" 1.4b17.
13701
13702         * ftp-unix.c (ftp_parse_ls): If unable to open file, return NULL
13703         instead of failed assertion.
13704
13705 1996-09-09  Hrvoje Niksic  <hniksic@srce.hr>
13706
13707         * ftp.c (ftp_get_listing): Add a numbered suffix to LIST_FILENAME
13708         if a file of that name already exists.
13709
13710 1996-09-05  Hrvoje Niksic  <hniksic@srce.hr>
13711
13712         * ftp.c (ftp_1fl_loop): Handler FTPPORTERR and FOPENERR correctly.
13713
13714         * config.h.in: Define gethostbyname as Rgethostbyname when using
13715         Socks.
13716
13717         * configure.in: Check for -lresolv if using Socks.
13718
13719         * version.c: Changed version to 1.4b17.
13720
13721 1996-07-15  Hrvoje Niksic  <hniksic@srce.hr>
13722
13723         * version.c: "Released" 1.4b16.
13724
13725         * http.c (gethttp): More intelligent check for first line of HTTP
13726         response.
13727         (gethttp): Would bug out on time-stamping.
13728
13729         * version.c: Changed version to 1.4b16.
13730
13731 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
13732
13733         * version.c: Released 1.4b15.
13734
13735         * http.c (http_loop): Print \n after the loop entry, not before.
13736
13737         * url.c (url_filename): Use ISDOT.
13738
13739         * url.h (ISDOT): New macro.
13740
13741         * recur.c (recursive_retrieve): Change only opt.recursive for
13742         following FTP.
13743
13744 1996-07-11  Antonio Rosella <antonio.rosella@agip.it>
13745
13746         * socks/geturl.cgi: Fixed version No.
13747
13748         * socks/download-netscape.html: Ditto.
13749
13750         * socks/download.html: Changed socks.html to download.html.
13751
13752 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
13753
13754         * url.c (url_filename): Check for opt.dirstruct instead for
13755         opt.recursive && opt.dirstruct.
13756
13757         * init.c (defaults): Ditto.
13758         (defaults): Reset dirstruct by default.
13759         (setval): Set opt.dirstruct whenever setting recursive.
13760
13761         * init.h: Removed FORCEDIRHIER.
13762
13763         * INSTALL: Added -L to socks-description.
13764
13765         * version.c: Changed version to 1.4b15.
13766
13767 1996-07-10  Hrvoje Niksic  <hniksic@srce.hr>
13768
13769         * version.c: "Released" 1.4b14.
13770
13771         * geturl.1: Update AUTHOR to include Rosella as contributor.
13772
13773         * NEWS: Update.
13774
13775         * socks/geturl.cgi: Simplified command creation, nuked <blink>.
13776
13777         * socks/geturl.cgi: Wrap nutscape extensions within if $netscape.
13778         (cal_time): Fix == to eq.
13779
13780         * socks/geturl.cgi: GPL-ized with permission of A. Rosella.
13781
13782         * geturl.1 (hostname): Moved URL CONVENTIONS to the beginning.
13783
13784         * Makefile.in: Use @VERSION@.
13785
13786         * configure.in: Check version from version.c.
13787
13788         * socks/geturl.cgi: Changed /pub/bin/perl to /usr/bin/perl.
13789
13790         * socks/download.html: Created from download-netscape.html, made
13791         HTML-2.0 compliant.
13792
13793         * recur.c (recursive_retrieve): Set opt.force_dir_hier when
13794         following FTP links from recursions.
13795
13796 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
13797
13798         * url.c (mymkdir): Fixed a bug that prevented mymkdir() to create
13799         absolute directories correctly.
13800
13801         * version.c: Changed version to 1.4b14.
13802
13803 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
13804
13805         * version.c: "Released" 1.4b13.
13806
13807         * url.c (make_backup): New function.
13808
13809         * http.c (http_loop): Make a backup copy of the local file (using
13810         rename(2)) before opening it.
13811
13812         * main.c (main): Added --backups.
13813
13814         * host.c (ftp_getaddress): Bail out on failed mycuserid().
13815         (ftp_getaddress): Check for leading dot on MY_DOMAIN.
13816         (ftp_getaddress): Check for empty, null or (null) domain.
13817
13818         * url.c (get_urls_html): If this_url is NULL, the base must have a
13819         protocol.
13820         (parseurl): Use has_proto.
13821
13822         * retr.c (retrieve_url): Warn when proxy is used with more than 20
13823         retries.
13824
13825         * url.c (mkstruct): Create the directory (calling mymkdir()) only
13826         if it is not already there.
13827         (has_proto): New function.
13828         (get_urls_html): Eliminate the remaining call to findurl -- use
13829         has_proto.
13830
13831         * geturl.1: Ditto.
13832
13833         * main.c: Change -X to -x.
13834
13835         * url.c (url_filename): Simplify creation of filename if
13836         prefix_files is set.
13837         (url_filename): Simplify everything. And I do mean *everything*.
13838         (mkstruct): Add dir_prefix before hostname.
13839         (path_simplify): Fixed a bug that caused writing outside the path
13840         string in case of "." and ".." path strings.
13841
13842 1996-07-06  Hrvoje Niksic  <hniksic@srce.hr>
13843
13844         * init.c: Added --mirror.
13845
13846         * main.c (main): Added -X to force saving of directory hierarchy.
13847
13848         * ftp.c (ftp_retrieve_list): Added recursion depth counter.
13849         (ftp_retrieve_list): Check whether quota is exceeded.
13850
13851         * url.c (get_urls_html): Skip leading blanks for absolute URIs.
13852
13853         * http.c (gethttp): Use referer if present.
13854
13855         * recur.c (recursive_retrieve): Set u->referer before calling
13856         retrieve_url.
13857
13858         * url.c (newurl): Use memset to nullify the struct members.
13859         (freeurl): Free the referer field too.
13860
13861         * url.h: Added referer to urlinfo.
13862
13863         * geturl.1: Updated the manual to document some of the new features.
13864
13865         * utils.c (numdigit): Moved from url.c.
13866
13867         * README: Rewritten.
13868
13869         * config.h.in: Add the support for socks.
13870
13871         * configure.in: Add the support for socks.
13872
13873         * url.c (url_filename): If the dir_prefix is ".", work with just
13874         the file name.
13875         (url_filename): Do not look for .n extensions if timestamping if
13876         turned on.
13877
13878         * retr.c (show_progress): Skip the over-abundant restval data, and
13879         print the rest of it with ',' instead of '.'.
13880
13881 1996-07-05  Hrvoje Niksic  <hniksic@srce.hr>
13882
13883         * retr.c (show_progress): Changed second arg. to long (as it
13884         should be).
13885         (show_progress): Moved to retr.c.
13886         (get_contents): Moved to retr.c.
13887
13888         * version.c: Change version to 1.4b13.
13889
13890 1996-07-05  Hrvoje Lacko <hlacko@fly.cc.fer.hr>
13891
13892         * url.c (in_acclist): Would return after the first suffix.
13893
13894 1996-07-04  Hrvoje Niksic  <hniksic@srce.hr>
13895
13896         * version.c: "Released" 1.4b12.
13897
13898         * url.c (path_simplify): More kludgifications.
13899         (get_urls_html): Use new parameters for htmlfindurl.
13900
13901         * html.c: Removed memorizing "parser states", since the new
13902         organization does not require them.
13903
13904         * init.c (run_geturlrc): Use read_whole_line.
13905
13906         * ftp-unix.c (ftp_parse_ls): Use read_whole_line.
13907
13908         * recur.c (parse_robots): Use read_whole_line.
13909
13910         * utils.c (read_whole_line): New function.
13911
13912         * recur.c (tried_robots): Use add_slist/in_slist, *much* cleaner.
13913
13914         * host.c (ngethostbyname): Call inet_addr just once. Yet to be
13915         tested on OSF and Ultrix.
13916         (add_hlist): New function.
13917         (free_hlist): New function.
13918         (search_host): New function.
13919         (search_address): New function.
13920         (realhost): Use search_host, search_address and add_hlist.
13921         (same_host): Replaced realloc() with strdupdelim(), made
13922         case-insensitive, fixed a memory leak.
13923
13924         * html.c (ftp_index): Fixed tm_min and tm_sec to be tm_hour and
13925         tm_min, like intended.
13926
13927         * version.c: Change user agent information to
13928         Geturl/version.
13929
13930 1996-07-03  Hrvoje Niksic  <hniksic@srce.hr>
13931
13932         * utils.c: Renamed nmalloc.c to utils.c, .h likewise.
13933
13934         * url.c (acceptable): Always accept directories.
13935
13936         * ftp-unix.c (ftp_parse_ls): Support brain-damaged "ls -F"-loving
13937         servers by stripping trailing @ from symlinks and trailing / from
13938         directories.
13939
13940         * ftp.c (ftp_loop): Debugged the "enhanced" heuristics. :-)
13941
13942         * url.c (skip_url): Use toupper instead of UCASE.
13943
13944         * host.c (sufmatch): Made it case-insensitive.
13945
13946         * url.c (match_backwards_or_pattern): Fixed i == -1 to j == -1.
13947         (match_backwards): New function, instead of
13948         match_backwards_or_pattern.
13949
13950         * recur.c (recursive_retrieve): Increased performance by
13951         introducing inl, which reduces number of calls to in_slist to only
13952         one.
13953
13954         * ftp.c (ftp_loop): Enhanced the heuristics that decides which
13955         routine to use.
13956
13957         * main.c (printhelp): Removed the warranty stuff.
13958
13959 1996-07-02  Hrvoje Niksic  <hniksic@srce.hr>
13960
13961         * url.c (add_slist): Simplify.
13962         (match_backwards_or_pattern): New function.
13963         (in_acclist): Use match_backwards_or_pattern.
13964         (matches): Remove.
13965
13966 1996-06-30  Hrvoje Niksic  <hniksic@srce.hr>
13967
13968         * ftp.c (ftp_loop): Call ftp_index on empty file names, if not
13969         recursive.
13970
13971         * html.c (ftp_index): Fixed to work. Beautified the output.
13972
13973         * ftp.c (ftp_retrieve_glob): Another argument to control whether
13974         globbing is to be used.
13975         (ftp_retrieve_list): Compare the time-stamps of local and remote
13976         files to determine whether to download.
13977
13978 1996-06-29  Hrvoje Niksic  <hniksic@srce.hr>
13979
13980         * ftp.c (rel_constr): New function.
13981
13982         * retr.c (retrieve_from_file): Check for text/html before
13983         retrieving recursively.
13984
13985         * main.c (main): Check whether the file is HTML before going into
13986         recursive HTML retrieving.
13987
13988         * ftp.c (ftp_retrieve_list): Manage directories.
13989         (ftp_retrieve_glob): Pass all the file-types to ftp_retrieve_list.
13990         (ftp_1fl_loop): Fixed a bug that caused con->com to be incorrectly
13991         initialized, causing bugchecks in getftp to fail.
13992
13993         * configure.in: Check for symlink.
13994
13995         * ftp.c (ftp_retrieve_list): Added support for symlinks.
13996
13997         * version.c: "Released" 1.4b10.
13998
13999         * atotm.c (atotm): Redeclared as time_t.
14000
14001         * init.c: New variable "timestamping".
14002
14003         * main.c (main): New option 'N'.
14004
14005         * http.c (hgetlocation): Case-insensitive match.
14006         (hgetmodified): New function.
14007         (http_loop): Implement time-stamping.
14008
14009 1996-06-28  Hrvoje Niksic  <hniksic@srce.hr>
14010
14011         * version.c: Changed version to 1.4b10
14012
14013         * atotm.c: New file, from phttpd.
14014
14015         * options.h (struct options): New parameter timestamping.
14016
14017         * version.c: 1.4b9 "released".
14018
14019         * recur.c (recursive_retrieve): Used linked list (ulist) for
14020         faster storing of URLs.
14021
14022         * url.c (get_urls_html): Removed the old kludge with comparing the
14023         outputs of htmlfindurl and findurl.
14024         (get_urls_html): Added better protocol support here.
14025         (create_hash): Removed, as well as add_hash and in_hash.
14026         (addslist): New function.
14027         (in_slist): ditto
14028
14029         * version.c: Released 1.4b8, changed version to b9.
14030
14031 1996-06-27  Hrvoje Niksic  <hniksic@srce.hr>
14032
14033         * ftp.c (freefileinfo): New function.
14034         (delelement): New function.
14035
14036         * everywhere: GPL!
14037
14038         * ftp.c (ftp_loop): Use ccon.
14039         (ftp_retrieve_glob): Likewise.
14040
14041         * ftp.h: Define ccon, to define status of control connection.
14042
14043         * ftp.c (ftp_get_listing): New function.
14044         (ftp_retrieve_more): New function.
14045         (ftp_retrieve_glob): New function.
14046
14047 1996-06-25  Hrvoje Niksic  <hniksic@srce.hr>
14048
14049         * configure.in: Removed the search for cuserid().
14050
14051         * init.c (getmode): Renamed to getperms.
14052
14053 1996-06-24  Hrvoje Niksic  <hniksic@srce.hr>
14054
14055         * version.c: New version.
14056
14057         * main.c (hangup): New function, that handles hangup. Hangup
14058         signal now causes geturl to stop writing on stdout, and to write
14059         to a log file.
14060
14061         * ftp.c (getftp): "Released" 1.4b7.
14062
14063         * html.c (htmlfindurl): Ignore everything inside <head>...</head>.
14064         (ftp_index): Use fileinfo/urlinfo.
14065
14066         * ftp-unix.c (ftp_parse_ls): New function.
14067         (symperms): New function.
14068
14069         * ftp.c (ftp_1fl_loop): New function, to handle 1-file loops.
14070
14071         * retr.c (retrieve_url): Added FTP support.
14072
14073 1996-06-23  Hrvoje Niksic  <hniksic@srce.hr>
14074
14075         * geturl.h: Removed NOTFTP2HTML enum.
14076         Added DO_LOGIN, DO_CWD and DO_LIST. LIST_ONLY is obsolete.
14077
14078         * ftp.c (getftp): Resynched with urlinfo.
14079         (getftp): Removed HMTL-ization of index.html from getftp.
14080
14081         * version.c: 1.4b6 "released".
14082
14083         * options.h (options): New struct, to keep options in.
14084
14085         * http.c (http_loop,gethttp): Synched with proxy.
14086
14087         * retr.c (retrieve_url): Implemented proxy retrieval.
14088
14089         * main.c (main): Use retrieve_from_file.
14090
14091 1996-06-22  Hrvoje Niksic  <hniksic@srce.hr>
14092
14093         * retr.c (retrieve_from_file): New function.
14094
14095         * url.c (parseurl): Modified to return URLOK if all OK. Protocol
14096         can be found in u->proto.
14097
14098         * ftp.c (ftp_response): Fixed to accept multi-line responses as
14099         per RFC 959.
14100
14101         * recr.c (recursive_retrieve): Take newloc from retrieve_url.
14102
14103         * url.c (mymkdir): Removed the file of the same name, if one
14104         exists.
14105         (isfile): New function.
14106         (mkstruct): Fixed the '/' glitches.
14107         (path_simplify): Hacked to treat something/.. correctly.
14108
14109 1996-06-21  Hrvoje Niksic  <hniksic@srce.hr>
14110
14111         * http.c (gethttp): Close the socket after error in headers.
14112         (http_loop): HEOF no longer a fatal header.
14113
14114         * loop.c (retrieve_url): When dt is NULL, do not modify it. This
14115         simplifies the syntax of calling retrieve_url.
14116
14117         * recr.c (recursive_retrieve): Modified to use get_urls_html.
14118
14119         * url.c (get_urls_file): New function.
14120         (get_urls_html): New function.
14121
14122         * recr.c (recursive_retrieve): Patched up to conform to the
14123         standards.
14124
14125         * http.c (gethttp): Synched with the rest...
14126         (gethttp): Treat only CONREFUSED specially, with connection
14127         errors.
14128
14129         * init.c,geturl.1,http.c (http_loop): Removed kill_error.
14130
14131 1996-06-20  Hrvoje Niksic  <hniksic@srce.hr>
14132
14133         * http.c (http_loop): New function.
14134
14135         * loop.c: Removed *lots* of stuff from retrieve_url.
14136
14137         * url.c (parseurl): Changed to work with urlinfo. Integrated
14138         username finding and path parsing.
14139         (newurl): New function.
14140         (freeurl): New function.
14141         (mkstruct): Removed the old bogosities, made it urlinfo-compliant.
14142         (url_filename): Likewise.
14143         (path_simplify): Accept relative paths too.
14144         (opt_url): Made urlinfo-compliant, removed bogosities.
14145         (path_simplify): Expanded to accept relative paths.
14146         (str_url): A replacement for hide_url
14147         (decode_string): Fixed a bug that caused malfunctioning when
14148         encountering an illegal %.. combination.
14149         (opt_url): Removed the argument. Dot-optimizations are now default.
14150
14151         * nmalloc.c (strdupdelim): New function.
14152
14153         * url.h: Added the urlinfo structure
14154
14155 1996-06-19  Hrvoje Niksic  <hniksic@srce.hr>
14156
14157         * url.c (hide_url): Thrown out the protocol assertion. Do not
14158         change the URL if the protocol if not recognized.
14159         (findurl): Put continue instead of break.
14160
14161 1996-06-18  Hrvoje Niksic  <hniksic@srce.hr>
14162
14163         * sample.geturlrc: Changed the defaults to be commented out and
14164         harmless (previous defaults caused pains if copied to
14165         ~/.geturlrc).
14166
14167         * http.c (gethttp): Print the HTTP request in debug mode.
14168
14169         * connect.c (iread): Added EINTR check loop to select-ing
14170         too. EINTR is now correctly handled with select().
14171
14172         * TODO: new file
14173
14174 1996-05-07  Hrvoje Niksic  <hniksic@srce.hr>
14175
14176         * host.c (same_host): Made the function a little bit more
14177         intelligent regarding diversified URL syntaxes.
14178
14179         * url.c (skip_url): Spaces are now skipped after URL:
14180
14181         * Released 1.3.1 with the patch to prevent crashing when sending
14182         NULL to robot* functions and the patch to compile "out of the box"
14183         on AIX.
14184
14185         * recr.c (recursive_retrieve): Added checking whether this_url is
14186         NULL when calling the robot functions.
14187
14188         * ChangeLog: New file.