]> sjero.net Git - wget/blob - src/ChangeLog
* fix a few little dissonances
[wget] / src / ChangeLog
1 2012-06-04  Tim Ruehsen  <tim.ruehsen@gmx.de>
2
3         * main.c (main): Check for filename != NULL.
4         * warc.c (warc_process_cdx_line): Fix memory leak.
5         * utils.c (match_posix_regex, compile_posix_regex): Remove dead
6    assignment.
7         * openssl.c (ssl_init): Fix old-style function definition.
8
9 2012-06-02  Giuseppe Scrivano  <gscrivano@gnu.org>
10
11         * connect.c: Include <sys/socket.h> and <sys/select.h>.
12
13 2012-05-30  Gijs van Tulder  <gvtulder@gmail.com>
14
15         * warc.c: Fix segfault if CDX record is not found.
16
17 2011-05-26  Steven Schweda  <sms@antinode.info>
18         * connect.c [HAVE_SYS_SOCKET_H]: Include <sys/socket.h>.
19         [HAVE_SYS_SELECT_H]: Include <sys/select.h>.
20
21 2012-05-26  Mike Frysinger <vapier@gentoo.org>
22
23         * warc.c: Change type of `warc_current_gzfile' to gzFile.
24
25 2012-05-26  Giuseppe Scrivano  <gscrivano@gnu.org>
26
27         * warc.c (warc_load_cdx_dedup_file): Change type of `line_length' to
28         ssize_t.
29         Suggested by: Ángel González <keisial@gmail.com>
30
31 2012-05-18  Tim Ruehsen  <tim.ruehsen@gmx.de>
32
33         * gnutls.c (wgnutls_poll): Honor the specified `timeout' value.
34         (wgnutls_peek): Likewise.
35
36 2012-05-19  illusionoflife  <illusion.of.life92@gmail.com> (tiny change)
37
38         * convert.c (register_html,register_css): Fixed functions signature to
39         not accept unused argument
40         * retr.c (retrieve_url): Changed register_{css,html} usage according
41         new signature.
42
43 2012-05-16  Giuseppe Scrivano  <gscrivano@gnu.org>
44
45         * warc.h: Cut length lines to 80 columns.
46         * warc.c: Likewise.
47
48 2012-05-14  Tim Ruehsen  <tim.ruehsen@gmx.de>
49
50         * gnutls.c (wgnutls_read_timeout): removed warnings, moved fcntl stuff
51         outside loop.
52
53         * hash.h (hash_table_put): Make argument "value" const.
54         * hash.c (hash_table_put): Make argument value const.  Cast `value' to
55         void.
56         * http.c (request_set_header): Make argument `name' const.  Cast `value'
57         and `name' to void*.
58         (request_remove_header): Make argument `name' const.
59         * url.c (url_file_name): Make `index_filename' static.
60         * warc.h (warc_write_cdx_record): Make `url', `timestamp', `mime_type',
61         `payload_digest', `redirect_location', `warc_filename', response_uuid'
62         arguments const. Make `checksum' const.
63         * warc.c (warc_write_date_header): Make the `timestamp' argument const.
64         Make `extension' const.
65         (warc_write_cdx_record): Make `url', `timestamp', `mime_type',
66         `payload_digest', `redirect_location', `warc_filename', response_uuid'
67         arguments const. Make `checksum' const.
68
69 2012-05-13  Tim Ruehsen  <tim.ruehsen@gmx.de>
70
71         * gnutls.c (credentials): Change type to
72         gnutls_certificate_credentials_t.
73         (ssl_init): Do not use deprecated types.
74         (ssl_connect_wget): Likewise.
75
76 2012-04-11  Gijs van Tulder  <gvtulder@gmail.com>
77
78         * init.c: Add --accept-regex, --reject-regex and --regex-type.
79         * main.c: Likewise.
80         * options.c: Likewise.
81         * recur.c: Likewise.
82         * utils.c: Add regex-related functions.
83         * utils.h: Add regex-related functions.
84
85 2012-03-30  Tim Ruehsen  <tim.ruehsen@gmx.de>
86
87         * convert.c (convert_links_in_hashtable): Mmake it static.
88         * cookies.c (parse_set_cookie): Remove empty else branches.
89         * css-url.c: Include "css-url.h".
90         (get_uri_string): Make it static.
91         * css-url.h (get_urls_css): Add protoype.
92         * gnutls.c (ssl_init): Add prototype.
93         * html-parse.c (tagstack_push): Make it static.
94         * html-parse.c (tagstack_pop): Make it static.
95         * html-parse.c (tagstack_find): Make it static.
96         * html-url.c (cleanup_html_url): Make it static.
97         * progress.c (count_cols): Make it static.
98         * progress.c (get_eta): Make it static.
99         * retr.h (convert_to_bits): Remove prototype.
100         * util.h (convert_to_bits): Add prototype.
101         * spider.c (spider_cleanup): Make it static.
102         * warc.c (warc_write_start_record): Add prototype.
103         * warc.c (warc_write_end_record): Add prototype.
104         * warc.c (warc_start_cdx_file): Add prototype.
105         * warc.c (warc_init): Add prototype.
106         * warc.c (warc_load_cdx_dedup_file): Add prototype.
107         * warc.c (warc_write_metadata): Add prototype.
108         * warc.c (warc_close): Add prototype.
109         * warc.c (warc_tempfile): Add prototype.
110         * warc.c (warc_write_warcinfo_record): Make it static.
111         * warc.c (warc_load_cdx_dedup_file): Make it static.
112         * warc.c (warc_write_metadata): Make it static.
113         * warc.h (warc_init): Fix prototype.
114         * warc.h (warc_close): Fix prototype.
115         * warc.h (warc_tempfile): Fix prototype.
116
117 2012-03-30  Tim Ruehsen  <tim.ruehsen@gmx.de>
118
119         * url.c: Use empty query in local filenames.
120
121 2012-04-22  Tim Ruehsen <tim.ruehsen@gmx.de>
122
123         * main.c (main): Dynamically allocate `opt.progress_type'.
124
125 2012-04-21  Tim Ruehsen  <tim.ruehsen@gmx.de>
126
127         * ftp-basic.c (ftp_pasv): Fix memory leak.
128
129         * http.c (gethttp): Fix memory leak.
130
131         * ftp.c (getftp): Silent compiler warning.
132
133 2009-06-14  Phil Pennock  <mutt-dev@spodhuis.org> (tiny change)
134         * host.h: Declare `is_valid_ip_address'.
135         * host.c (is_valid_ip_address): New function.
136         * http.c (gethttp): Specify the hostname to ssl_connect_wget.
137         * gnutls.c (ssl_connect_wget): Specify the server name.
138         * openssl.c (ssl_connect_wget): Likewise.
139         * ssl.h: Change method signature for ssl_connect_wget.
140
141 2012-04-13  Tim Ruehsen  <tim.ruehsen@gmx.de> (tiny change)
142
143         * warc.c (warc_load_cdx_dedup_file): Fix a memory leak by freeing
144         `lineptr'.
145
146 2012-04-07  Daniel Kahn Gillmor <dkg@fifthhorseman.net> (tiny change)
147
148         * gnutls.c (key_type_to_gnutls_type): New function.
149         (ssl_init): Use correctly the specified gnutls certificate.
150
151 2012-04-01  Gijs van Tulder  <gvtulder@gmail.com>
152
153         * html-url.c: Prevent crash on incomplete STYLE tag.
154
155 2012-04-01  Giuseppe Scrivano  <gscrivano@gnu.org>
156
157         * gnutls.c (wgnutls_read_timeout): Ensure timer is freed.
158
159         * gnutls.c (wgnutls_read_timeout): Do not use timer if it is not
160         allocated.
161         Reported by: Xu Zhongxing <xu_zhong_xing@163.com>
162
163 2012-03-30  Tim Ruehsen  <tim.ruehsen@gmx.de> (tiny change)
164
165         * warc.c: make warc_uuid_str() implementation depend on HAVE_LIBUUID.
166
167 2012-03-29  Tim Ruehsen <tim.ruehsen@gmx.de> (tiny change)
168
169         * utils.c (library): Include <sys/time.h>.
170
171 2012-03-25  Giuseppe Scrivano  <gscrivano@gnu.org>
172
173         * utils.c: Include <sys/ioctl.h>.
174
175         * ptimer.c: Include <sys/time.h>.
176
177         * connect.c: Include <sys/socket.h>, <sys/select.h>, <sys/time.h>.
178         Reported by: Ray Satiro <raysatiro@yahoo.com>.
179
180 2012-03-25 Ray Satiro <raysatiro@yahoo.com>
181
182         * build_info.c.in: Check that HAVE_LIBSSL32 is defined when OpenSSL
183         is used.
184
185 2012-03-07  Steven Schubiger  <stsc@member.fsf.org>
186
187         * init.c (wgetrc_user_file_name): Correct typo.
188
189 2012-03-06   Sasikantha Babu   <sasikanth.v19@gmail.com>
190
191         * utils.c (convert_to_bits): Added new function convert_to_bits to
192         convert bytes to bits.
193         * retr.c (calc_rate): Modified the function to handle --bits
194         option and download rate calculated as bits per sec (SI-prefix)
195         for --bits otherwise bytes (IEC-prefix).
196         (retr_rate): Rates will display in bits per sec for --bits.
197         * options.h (struct opt): Added --bit option bool variable bits_fmt.
198         * main.c (print_help) : Added help for --bit.
199         * init.c: Defined command for --bit option.
200         * retr.h: Added function prototype.
201
202 2012-02-26  Giuseppe Scrivano  <gscrivano@gnu.org>
203
204         * main.c: Include "closeout.h"
205         (main): Register close_stdout at exit.
206
207 2012-02-01  Gijs van Tulder  <gvtulder@gmail.com>
208
209         * warc.c: Fix large file support with ftello, fseeko.
210         * warc.h: Fix large file support.
211         * http.c: Fix large file support.
212
213 2012-02-23  Giuseppe Scrivano  <giuseppe@southpole.se>
214
215         * main.c (main): Write diagnostic messages to `stderr' not to `stdout'.
216
217         * main.c (main): Fail gracefully if `malloc' fails.
218
219         * gnutls.c (wgnutls_read): Remove unused variables `timer' and `flags'.
220
221 2012-02-17  Steven Schubiger  <stsc@member.fsf.org>
222
223         * warc.c: Add license header.
224
225 2012-01-27  Gijs van Tulder  <gvtulder@gmail.com>
226
227         * retr.c (fd_read_body): If the response is chunked, the chunk
228         headers are now written to the WARC file, making the WARC file
229         an exact copy of the HTTP response.
230
231 2012-01-27  Gijs van Tulder  <gvtulder@gmail.com>
232
233         * retr.c (fd_read_body): Fix a memory leak with chunked responses.
234         * http.c (skip_short_body): Fix the same memory leak.
235
236 2012-01-09  Gijs van Tulder  <gvtulder@gmail.com>
237
238         * init.c: Disable WARC compression if zlib is disabled.
239         * main.c: Do not show the 'no-warc-compression' option if zlib is
240         disabled.
241         * warc.c: Do not compress WARC files if zlib is disabled.
242
243 2012-01-09  Sasikantha Babu   <sasikanth.v19@gmail.com> (tiny change)
244         * connect.c (connect_to_ip): properly formatted ipv6 address display.
245         (socket_family): New function - returns socket family type.
246         * http.c (gethttp): properly formatted ipv6 address display.
247
248 2011-11-09  Gijs van Tulder  <address@hidden>
249
250         * warc.c: Call gzdopen() with wb9 instead of wb+9, which fails on
251         zlib version >= 1.2.4.
252
253 2011-11-04  Steven Schweda  <address@hidden>
254
255         * warc.c [! WINDOWS]: Include <libgen.h>.
256         (warc_write_warcinfo_record): Assign a new allocated buffer and
257         free it on errors.
258
259 2011-11-01  Steven Schweda  <address@hidden>
260
261         * gnutls.c (ssl_init): Ensure GNU TLS is loaded only once.
262
263 2011-10-07  Steven Schweda  <address@hidden>
264
265         * connect.c: Add HAVE_SYS_SELECT_H and HAVE_SYS_SOCKET_H conditions
266         on includes of <sys/select.h> and <sys/socket.h>, respectively.
267         * ftp.c (getftp): Move BIN_TYPE_TRANSFER macro into VMS-specific
268         section.  On VMS, use Stream_LF attributes for listing files.  Pass
269         BIN_TYPE_FILE to fopen_excl() instead of constant-everywhere "true".
270         * ftp.c (ftp_retrieve_list): Restore lost test of opt.preserve_perm
271         (--preserve-permissions) on the chmod() operation.
272         * init.c, main.c: Remove "deprecated" from opt.preserve_perm
273         (--preserve-permissions).
274         * init.c (initialize): Use distinct messages for errors in C macro
275         SYSTEM_WGETRC and environment-variable SYSTEM_WGETRC.  Avoid use of
276         C macro SYSTEM_WGETRC when it's not defined.
277         * log.c (log_close): Avoid closing logfp when it's stderr.
278         * main.c (print_help):  Restore --preserve-permissions.
279         * main.c (main): Avoid using a negative value of longindex as a
280         subscript (for long_options[]) when searching for "--config".
281         * main.c (main): Exit the program using exit() instead of "return".
282         (VMS handles these differently, and exit() is better.)
283         * openssl.c (ssl_init): Add type cast (SSL_METHOD *) to newly "const"
284         "meth" argument to accommodate OpenSSL version 0.9.8, where that
285         argument is not "const" in the OpenSSL function (SSL_CTX_new).
286         * test.c: Declare "program_argstring".
287         * utils.c (fopen_excl): Comment typography.
288         * warc.h: New file.
289         * warc.c: New file.
290
291 2011-10-02  Henrik Holst <henrik.holst@millistream.com> (tiny change)
292         * http.c (gethttp): If 'contentonerror' is used then do not
293         skip the http body on 4xx and 5xx errors.
294
295         * init.c (commands): Add 'contentonerror'.
296
297         * main.c (print_help, option_data): Add new option 'contentonerror'
298         to make wget not skip the http content on 4xx and 5xx errors.
299
300         * options.h: New variable 'content_on_error'.
301
302 2011-09-19  Giuseppe Scrivano  <gscrivano@gnu.org>
303
304         * main.c (print_version): Update copyright year.
305         (print_version): Fix typo.
306
307 2011-09-13  Giuseppe Scrivano  <gscrivano@gnu.org>
308
309         * ftp.c (ftp_retrieve_glob): Propagate correctly the `res' error
310         code.
311
312 2011-09-07  Giuseppe Scrivano  <gscrivano@gnu.org>
313
314         * http.c (gethttp): Don't inhibit arest request if opt.timestamping is
315         set.
316         Reported by <natrio@list.ru>
317
318 2011-09-06  Jakob Matthes <jakob.matthes@gmail.com> (tiny change)
319
320         * main.c (print_version): Do not exit prematurely when --help is passed.
321
322 2011-09-04  Christian Jullien <eligis@orange.fr> (tiny change)
323
324         * gnutls.c: Include <sys/fcntl.h>.
325
326 2011-09-02  Mojca Miklavec <mojca.miklavec.lists@gmail.com> (tiny change)
327
328         * main.c (print_version): Do not exit prematurely when --version is passed.
329
330 2011-08-30  Giuseppe Scrivano  <gscrivano@gnu.org>
331
332         * gnutls.c (wgnutls_read_timeout): Use the non blocking socket only for
333         `gnutls_record_recv'.  Set errno to ETIMEDOUT on a read timeout.
334
335 2011-08-29  Giuseppe Scrivano  <gscrivano@gnu.org>
336
337         * gnutls.c (wgnutls_read_timeout): New function.
338         (wgnutls_read): Use wgnutls_read_timeout.
339         (wgnutls_peek): Likewise.
340
341 2011-08-27  Giuseppe Scrivano  <gscrivano@gnu.org>
342
343         * main.c (print_help): Exit with an error status if print to stdout
344         fails.
345         (print_usage): Change method signature and return a status code.
346         (print_version): Likewise.
347
348 2011-08-26  Giuseppe Scrivano  <gscrivano@gnu.org>
349
350         * gnutls.c: Include "ptimer.h".
351         (wgnutls_read): Honor read timeout.
352
353         * openssl.c (ssl_init): Make `meth' const.
354
355 2011-08-25  Giuseppe Scrivano  <gscrivano@gnu.org>
356
357         * utils.c [HAVE_UTIME && HAVE_UTIME_H]: Include <utime.h>.
358         [HAVE_UTIME && HAVE_SYS_UTIME_H]: Include <sys/utime.h>.
359         (touch) [HAVE_UTIME: Prefers utime over futimens when it is available.
360         It was reported that Cygwin has a not working futimens.
361
362 2011-08-19  Giuseppe Scrivano  <gscrivano@gnu.org>
363
364         * init.c (home_dir) [MSDOS]: Move local variable `len' here.
365
366 2011-08-18  Giuseppe Scrivano  <giuseppe@southpole.se>
367
368         * http.c (gethttp): Fix a memory leak on some errors.  Free the head
369         buffer.
370
371         * Makefile.am: Use an additional file "css_.c" which in turn includes
372         "wget.h" and immediately "css.c".
373
374         * http.c (gethttp): Reset chunked_transfer_encoding on redirections.
375
376 2011-08-13  Giuseppe Scrivano  <gscrivano@gnu.org>
377
378         * retr.c (fd_read_body): Ensure max is not already defined.
379
380         * mswindows.h (snprintf): Remove definition.
381         (vsnprintf): Likewise.
382
383 2011-08-12  Giuseppe Scrivano  <gscrivano@gnu.org>
384
385         * css.l: Remove include "wget.h".
386         Reported by: Perry Smith <pedzsan@gmail.com>.
387
388 2011-08-11  Giuseppe Scrivano  <gscrivano@gnu.org>
389
390         * utils.c (abort_run_with_timeout): Use sigprocmask instead of
391         sigsetmask.
392
393         * gnutls.c (ssl_connect_wget): Remove call to deprecated function
394         `gnutls_certificate_type_set_priority'.
395
396         * Makefile.am (version.c): Don't invoke hg to set version string.
397
398 2011-08-10  Giuseppe Scrivano  <gscrivano@gnu.org>
399
400         Fix a linker error on systems with an older gnutls version.
401         * gnutls.c (ssl_connect_wget)
402         [HAVE_GNUTLS_PRIORITY_SET_DIRECT]:  Use gnutls_priority_set_direct.
403         [! HAVE_GNUTLS_PRIORITY_SET_DIRECT]:  Use gnutls_protocol_set_priority.
404         Reported by: Karl Berry <karl@freefriends.org>
405
406 2011-08-06  Jochen Roderburg <Roderburg@Uni-Koeln.DE>
407
408         * host.c (lookup_host): Ensure it doesn't print more IPs than available
409         ones.
410
411 2011-08-06  Giuseppe Scrivano  <gscrivano@gnu.org>
412
413         * init.c (defaults): Set default value for show_all_dns_entries.
414
415         * host.c (lookup_host): If `showalldnsentries' is used then print all
416         the IP corresponding to a DNS entry.
417         * init.c (commands): Add `showalldnsentries'.
418         Suggested by: Witold Baryluk <baryluk@smp.if.uj.edu.pl>
419
420         * http.c (gethttp): Add the Cache-Control HTTP header when --no-cache
421         is specified.
422         Reported by: Коренберг Марк <socketpair@gmail.com>.
423
424 2011-08-05  Giuseppe Scrivano  <gscrivano@gnu.org>
425
426         * utils.c (acceptable): Accept always the file if it is the specified
427         output destination.
428         Reported by: Shai Berger <shai@platonix.com>
429
430 2011-08-05  Giuseppe Scrivano  <giuseppe@southpole.se>
431
432         * gnutls.c (ssl_connect_wget): Use `gnutls_priority_set_direct' instead
433         of the deprecated `gnutls_protocol_set_priority'.
434
435 2011-08-02  Giuseppe Scrivano  <giuseppe@southpole.se>
436
437         * cookies.c (parse_set_cookie): If the value is quoted, do not modify
438         it.
439         Reported by: Nirgal Vourgère <jmv_deb@nirgal.com>
440
441 2011-07-29  Giuseppe Scrivano  <giuseppe@southpole.se>
442
443         * log.c (logprintf): Exit immediately on a SIGPIPE error.
444         Reported by: Noèl Köthe  <noel@debian.org>.
445
446 2011-07-26  Carlos Martín Nieto  <carlos@cmartin.tk>  (tiny change)
447
448         * init.c (home_dir): Allocate path buffer dinamically.
449
450 2011-07-26  Giuseppe Scrivano  <giuseppe@southpole.se>
451
452         * retr.c (retrieve_url): Do not register redirects when in spider mode.
453
454 2011-07-20 Merinov Nikolay <kim.roader@gmail.com>
455
456         * iri.c (remote_to_utf8): Add test for non-ASCII symbols with
457         UTF-8 URI encoding.
458         * res.c (res_retrieve_file): Fix url_parse call.
459
460 2011-06-08  Giuseppe Scrivano  <giuseppe@southpole.se>
461
462         * retr.c (retrieve_from_file): Parse the url careless if IRI is enabled.
463         Reported by: Volker Kuhlmann <list0570@paradise.net.nz>.
464
465 2011-05-24  Giuseppe Scrivano  <gscrivano@gnu.org>
466
467         * retr.c (fd_read_body): Define max.
468
469 2010-12-28  Adrien Nader  <adrien@notk.org> (tiny change)
470
471         * main.c [WINDOWS]: Include <io.h> and <fcntl.h>.
472         (main) [WINDOWS]: Set the stdout file mode to binary.
473         Submitted also by: Martin Panter <vadmium@gmail.com>
474
475 2011-05-23  Giuseppe Scrivano  <gscrivano@gnu.org>
476
477         * retr.c (fd_read_body): Be sure the buffer size is at least 8Kb.
478         BUFSIZ may assume very small values with a negative impact on the
479         performances.
480
481         * mswindows.h [NEED_GAI_STRERROR]: remove definition for gai_strerror.
482
483 2011-05-15  Ray Satiro <raysatiro@yahoo.com>
484
485         * connect.c (select_fd) [WINDOWS]: Ensure the socket is blocking.
486         * mswindows.h: Add declaration for set_windows_fd_as_blocking_socket.
487         * mswindows.c (set_windows_fd_as_blocking_socket): New function.
488
489         * openssl.c (openssl_read): Prevent loops on read errors.
490
491 2011-04-24  Giuseppe Scrivano  <gscrivano@gnu.org>
492
493         * html-url.c: Include "exists.h".
494         * gnutls.c (wgnutls_peek): Remove local variable `ret'.
495
496 2011-04-21  Daniel Manrique <roadmr@tomechangosubanana.com> (tiny change)
497         * main.c (main): Set exit status when invalid host name given in
498         command line.
499         * html-url.c (get_urls_file): Set exit status when invalid host
500         name given in input file.
501
502 2011-04-19  Giuseppe Scrivano  <gscrivano@gnu.org>
503
504         * gnutls.c: Do not include <fcntl.h>.
505         * gnutls.c (wgnutls_peek): Ensure there is data available before attempt
506         a read on the blocking socket.
507
508         * Makefile.am (LIBS): Add $(LIB_CLOCK_GETTIME)
509         * utils.c: Include <sys/stat.h>.  Do not include <sys/time.h>.
510         (touch): Use `futimens' instead of `utimes'.
511
512         * mswindows.h: Do not include <direct.h>.  Remove macro definition for
513         mkdir.
514
515 2011-04-18  Giuseppe Scrivano  <gscrivano@gnu.org>
516
517         * utils.c: Include <sys/time.h>.  Do not include <sys/utime.h>.
518         (touch): Use `utimes' instead of `utime'.
519
520         * openssl.c (openssl_read): Fix build error.
521
522 2011-04-17  Giuseppe Scrivano  <gscrivano@gnu.org>
523
524         * wget.h [HAVE_LIBSSL32]: Define HAVE_SSL.
525
526         * gnutls.c (wgnutls_peek): Use correctly FIONBIO codes under Mingw32.
527         Reported by: Ray Satiro <raysatiro@yahoo.com>
528
529 2011-04-13  Giuseppe Scrivano  <gscrivano@gnu.org>
530
531         * openssl.c (openssl_poll): Check if the specified timeout is zero after
532         SSL_pending.
533         (openssl_peek): Make the call non-blocking.
534
535 2011-04-11  Cristian Rodríguez  <crrodriguez@opensuse.org> (tiny change)
536
537         * openssl.c (ssl_init) [! OPENSSL_NO_SSL2]: Use SSLv2 only when
538         available.
539
540 2011-04-07  Giuseppe Scrivano  <gscrivano@gnu.org>
541
542         * gnutls.c (ssl_init): Allow X509 v1 certificates.
543         Suggested by: Ray Satiro <raysatiro@yahoo.com>
544
545         (wgnutls_peek): Remove tight loop around gnutls_record_recv.
546
547 2011-04-07  Ray Satiro  <raysatiro@yahoo.com> (tiny change)
548
549         (wgnutls_read): Check for the GNUTLS_E_AGAIN return code in the recv
550         tight loop.
551         (wgnutls_write): Likewise.
552         (wgnutls_peek): Likewise.
553
554 2011-04-07  Giuseppe Scrivano  <gscrivano@gnu.org>
555
556         * gnutls.c (wgnutls_peek): New local variable `read'.
557         Use `read' instead of `ret' to store the number of read bytes.
558         Reported by: Ray Satiro <raysatiro@yahoo.com>
559
560 2011-04-04  Giuseppe Scrivano  <gscrivano@gnu.org>
561
562         * openssl.c [WINDOWS]: Include <w32sock.h>.
563         (openssl_read): Retry the read on SSL_ERROR_WANT_READ.
564
565         * host.c [WINDOWS]: Include <winsock2.h> and <ws2tcpip.h>.
566         Suggested by: Ray Satiro <raysatiro@yahoo.com>.
567
568         * Makefile.am (LIBS): Remove  @LIBSSL@ @W32LIBS@
569
570 2011-04-03  Giuseppe Scrivano  <gscrivano@gnu.org>
571
572         * gnutls.c: Include <fcntl.h>.
573         (wgnutls_peek): Make the socket non blocking before attempt a read.
574
575         * gnutls.c: Include <sys/ioctl.h>.
576         (wgnutls_peek) [F_GETFL]: Use fcntl.
577         (wgnutls_peek) [! F_GETFL]: Use ioctl.
578
579
580 2011-03-31  Giuseppe Scrivano  <gscrivano@gnu.org>
581
582         * recur.c (download_child_p): When --no-parent is used, check that the
583         ports are the same only in case the same protocol is used.
584         Reported by: Karl Berry <karl@freefriends.org>
585
586         * res.c (res_parse): Add new line to debug messages.
587
588 2011-03-21  Giuseppe Scrivano  <gscrivano@gnu.org>
589
590         * iri.h (parse_charset) [!ENABLE_IRI]: Use the parameter to avoid a
591         compiler warning.
592
593         * iri.h: Declare `dummy_iri' as extern not static.
594         * main.c [!ENABLE_IRI]: Define `dummy_iri'.
595         (main) [!ENABLE_IRI]: Initialize `dummy_iri'.
596
597 2011-03-11  Giuseppe Scrivano  <gscrivano@gnu.org>
598
599         * ftp.c (getftp): Fix some memory leaks.
600         * ftp-ls.c (ftp_parse_winnt_ls): Likewise.
601         Reported by: Zhenbo Xu <zhenbo1987@gmail.com>.
602
603 2010-11-20  Filipe Brandenburger <filbranden@gmail.com> (tiny change)
604
605         * http.c (gethttp): Repeat a POST request on a 307 response.
606         * retr.c (retrieve_url): Use NEWLOCATION_KEEP_POST.
607         * wget.h: Define NEWLOCATION_KEEP_POST.
608
609 2011-03-02  Tomasz Buchert <tomek.buchert@gmail.com> (tiny change)
610
611         * http.c (ensure_extension): Do not adjust the extension if the file
612         ends in .htm.
613
614 2011-02-22  Gilles Carry  <gilles.carry@st.com>
615
616         * main.c (prompt_for_password): Use stderr instead of stdout
617         to prompt password. This allows to use --output-document=- and
618         --ask-password simultaneously. Without this, redirecting stdout
619         makes password prompt invisible and mucks up payload such as in
620         this example:
621         wget --output-document=- --ask-password -user=foo \
622                 http://foo.com/tarball.tgz | tar zxf -
623
624 2011-02-22  Steven Schubiger  <stsc@member.fsf.org>
625
626         * http.c (gethttp, http_loop): Move duplicated code which is run
627         when an existing file is not to be clobbered to a function.
628         (get_file_flags): New static function.
629
630 2010-12-10  Evgeniy Philippov <egphilippov@googlemail.com> (tiny change)
631
632         * main.c (main): Initialize `total_downloaded_bytes'.
633
634 2010-12-09  Giuseppe Scrivano  <gscrivano@gnu.org>
635
636         * main.c (main): If --no-clobber and --convert-links are used at the
637         same time, use only the latter.
638         Reported by: Romain Vimont <rom@rom1v.com>
639
640 2010-12-07  Jessica McKellar <jesstess@mit.edu> (tiny change)
641
642         * main.c: Make help message clearer.
643
644 2010-12-02  Giuseppe Scrivano  <gscrivano@gnu.org>
645
646         * build_info.c.in: Do not list md5.
647
648 2010-12-01  Giuseppe Scrivano  <gscrivano@gnu.org>
649
650         * cmpt.c: Include <unistd.h> inconditionally.
651         * connect.c: Likewise.
652         * convert.c: Likewise.
653         * ftp-basic.c: Likewise.
654         * ftp-ls.c: Likewise.
655         * ftp.c: Likewise.
656         * gnutls.c: Likewise.
657         * http.c: Likewise.
658         * init.c: Likewise.
659         * log.c: Likewise.
660         * main.c: Likewise.
661         * openssl.c: Likewise.
662         * progress.c: Likewise.
663         * ptimer.c: Likewise.
664         * recur.c: Likewise.
665         * retr.c: Likewise.
666         * url.c: Likewise.
667         * utils.c: Likewise.
668
669         * retr.c (fd_read_body): Dinamically allocate `dlbuf'.
670
671 2010-11-27  Reza Snowdon  <vivi@mage.me.uk>
672
673         * init.c (initialize): If 'ok' is not zero; exit, as this
674         indicates there was a problem parsing 'SYSTEM_WGETRC'.
675         Fixes bug #20370.
676
677 2010-11-22  Giuseppe Scrivano  <gscrivano@gnu.org>
678
679         Revert last commit.
680         * ftp.c (getftp): When count > 0, don't append to the existing file.
681         * http.c (gethttp): Likewise.
682
683 2010-11-21  Giuseppe Scrivano  <gscrivano@gnu.org>
684
685         * ftp.c (getftp): If `count' is bigger than zero, try to resume the
686         download, not restart it.
687         * http.c (gethttp): Likewise.
688         Suggested by: Evgeny Kapun <abacabadabacaba@gmail.com>.
689
690 2010-11-19  Giuseppe Scrivano  <gscrivano@gnu.org>
691
692         * ftp.c (getftp): Accept new argument `count'.  When `count' is
693         bigger than zero, assume the file can be overwritten.
694         (ftp_loop_internal): Pass new argument `count' to `getftp'.
695
696         * http.c (gethttp): Accept new argument `count'.  When `count' is
697         bigger than zero, assume the file can be overwritten.
698         (http_loop): Pass new argument `count' to `gethttp'.
699         Reported by: Evgeny Kapun <abacabadabacaba@gmail.com>.
700
701 2010-08-08  Reza Snowdon <vivi@mage.me.uk>
702
703         * main.c (main): inserted 'defaults'.
704           Added additional 'getopt_long' while loop to search and apply a
705           user specified config file before any other options.
706           New variables 'retconf', 'use_userconfig',
707           'confval', 'userrc_ret', 'config_opt'.
708         * init.c: Include stdbool.h.
709           (commands): Added config details.
710           (defaults): Removed static.
711           (wgetrc): Removed static.
712           (initialize): Removed 'defaults ()',
713           changed 'int ok' to 'bool ok'.
714         * options.h: New variable 'choose_config'.
715         * init.h (defaults): exported function.
716           (run_wgetrc): exported function.
717
718 2010-10-24  Jessica McKellar <jesstess@mit.edu> (tiny change)
719
720         * main.c (main): Print the total download time as part of the
721         summary for downloads using the recursive or page requisites
722         options. Fixes bug #21359.
723
724 2010-10-24  Giuseppe Scrivano  <gscrivano@gnu.org>
725
726         * gnutls.c (wgnutls_peek): Do not return an error when
727         `gnutls_record_recv' fails but some data is already available.
728
729 2010-10-23  Giuseppe Scrivano  <gscrivano@gnu.org>
730
731         * Makefile.am (LIBS): Remove @LIBGNUTLS@ and use @W32LIBS@ as last
732         component.
733
734         * gnutls.c (wgnutls_peek): Block until data is available.
735
736 2010-10-21  Giuseppe Scrivano  <gscrivano@gnu.org>
737
738         * retr.c (retrieve_url): Do not register HTML files twice.
739         Reported by: Manfred Koizar <mkoi-pg@aon.at>.
740
741 2010-10-18  Manfred Koizar <mkoi-pg@aon.at> (tiny change)
742
743         * html-url.c (tag_handle_link): Do not assume external links type
744         to be always "text/html".
745
746 2010-10-16  Giuseppe Scrivano  <gscrivano@gnu.org>
747
748         * connect.c (socket_ip_address): Initialize `sockaddr' to zero.
749         * ftp-basic.c (ftp_epsv): Remove dead assignment to `s'.
750         * ftp-ls.c (ftp_parse_vms_ls): Remove dead assignment to `len'.
751         * http.c (skip_short_body): Remove dead assignment to `ret'.
752         * init.c (wgetrc_user_file_name): Remove dead assignment to `home'.
753         * main.c (main): Silent warning reported by clang.
754         (http_loop): Silent warning reported by clang.
755         * retr.c (retrieve_url): Likewise.
756         * url.c (init_seps): Remove dead assignment to `p'.
757
758 2010-10-11  Giuseppe Scrivano  <gscrivano@gnu.org>
759
760         * ftp.c (getftp): Fix indentation.
761
762 2010-10-11  Steven Schubiger <stsc@member.fsf.org>
763
764         * ftp.c (getftp): Initialize `targ'.
765
766 2010-10-08  Ivanov Anton <x86mail@gmail.com> (tiny change)
767
768     * src/html-url.c (check_style_attr): Skip quotes when they are present.
769
770 2010-10-06  Giuseppe Scrivano  <gscrivano@gnu.org>
771
772         * main.c (main): Remove unused variable `status'.
773
774 2010-09-25  Merinov Nikolay  <kim.roader@gmail.com>
775
776         * init.c: Add "unlink" command into command list.
777         * main.c: Add "unlink" option into option_data list.
778         * options.h: Adding unlink field into struct options.
779         * wget.h: Addind UNLINKERR error into uerr_t enum.
780         * exits.c (get_status_for_err): define status for UNLINKERR.
781         * ftp.c (getftp): unlink file if exists, instead clobbering.
782         (ftp_loop_internal): processing UNLINKERR.
783         * http.c (gethttp): unlink file if exists, instead clobbering.
784         (http_loop): processing UNLINKERR.
785
786 2010-09-24  Dennis, CHENG Renquan <crquan@fedoraproject.org>
787
788         Fix problem when content-disposition is used with recursive downloading.
789         * url.h (url_file_name): Add a new argument `replaced_filename'.
790         * url.c (url_file_name): Likewise.
791         * http.c (parse_content_disposition): Do not add a prefix to the return
792         value.
793         (test_parse_content_disposition): Adjust tests.
794         (gethttp): Pass additional parameter to `url_file_name'.
795         (http_loop): Likewise.
796         * ftp.c (ftp_loop_internal, ftp_get_listing, ftp_retrieve_list)
797         (ftp_loop): Likewise.
798
799 2010-09-14  Giuseppe Scrivano  <gscrivano@gnu.org>
800
801         * convert.c (local_quote_string): Accept new parameter `no_html_quote'.
802         Inhibit HTML quoting when `no_html_quote'.
803         (convert_links): Disable HTML quoting in CSS files.
804         Reported by: Manuel Reinhardt <reinhardt@syslab.com>.
805
806 2010-09-12  Giuseppe Scrivano  <gscrivano@gnu.org>
807
808         * main.c (print_help): Align --trust-server-names help text with
809         the rest of the text.
810         Suggested by: Mike Frysinger  <vapier@gentoo.org>.
811
812 2010-08-20  Giuseppe Scrivano  <gscrivano@gnu.org>
813
814         * convert.c: Include "iri.h".
815         (convert_links_in_hashtable): Parse the url, if
816         necessary, before check if it is present in the dowloaded url
817         map.
818         Reported by: <sk.random@gmail.com>.
819
820 2010-08-09  Giuseppe Scrivano  <gscrivano@gnu.org>
821
822         Fix a problem with HTTP/1.0 proxies.
823         * http.c (gethttp): Specify the connection header when keep alive
824         connections are not used.
825
826         Use persistent connections with proxies supporting them.
827         * http.c (gethttp): Specify Proxy-Connection to the HTTP proxy.
828
829 2010-08-06  Giuseppe Scrivano  <gscrivano@gnu.org>
830
831         * css-url.c (get_uri_string): Skip empty urls.
832
833 2010-07-25  John Trengrove  <jtrengrove@gmail.com> (tiny change)
834
835         * ftp.h: Added enum `parsetype'.  Modified struct to hold parsetype.
836
837         * ftp-ls.c (ftp_parse_unix_ls): Default to TT_DAY. Change to TT_HOUR_MIN
838         if hours/minutes parsed.
839         (ftp_parse_winnt_ls): Default to TT_HOUR_MIN.
840         (ftp_parse_vms_ls): Default to TT_HOUR_MIN.
841         (ftp_index): Print only if fileinfo struct value ttype set to TT_HOUR_MIN.
842
843 2010-07-30  Giuseppe Scrivano  <gscrivano@gnu.org>
844
845         * html-url.h (struct map_context): Remove member `tail'.
846
847         * html-url.c (append_url): Append the new url ordered by `position'.
848         (get_urls_html): Do not initialize `ctx.tail'.
849
850         * css-url.c (get_urls_css_file): Do not initialize `ctx.tail'.
851
852 2010-07-29  Giuseppe Scrivano  <gscrivano@gnu.org>
853
854         * gnutls.c (wgnutls_peek): Don't read more data if the buffered peek
855         data is sufficient.
856
857 2010-07-28  Giuseppe Scrivano  <gscrivano@gnu.org>
858
859         * http.h (http_loop): Add new argument `original_url'
860         * http.c (http_loop): Add new argument `original_url'.  Use
861         `original_url' to get a filename if `trustservernames' is false.
862
863         * init.c (commands): Add "trustservernames".
864
865         * options.h (library): Add variable `trustservernames'.
866
867         * main.c (option_data): Add trust-server-names.
868         (print_help): Describe --trust-server-names.
869
870         * retr.c (retrieve_url): Pass new argument to `http_loop'.
871
872 2010-07-20  Alan Jenkins <alan-jenkins@tuffmail.co.uk> (tiny change)
873
874         * http.c (gethttp): Check content-length was set before trying to
875         compare it with the already downloded filesize.
876
877 2010-07-20  Leonid Petrov <nouser@lpetrov.net>
878
879         * ftp.c (getftp): Don't attempt to retrieve the file if it is already
880         completely.
881         (ftp_loop_internal): Force the length to be zero for symlinks.
882
883 2010-07-18  Giuseppe Scrivano  <gscrivano@gnu.org>
884
885         * http.c (gethttp): If -N is used, don't exit immediately if the content
886         length is less or equal than the existing file size.  Specify "Range"
887         only if -N is not used.
888         Reported by: Caleb Cushing <xenoterracide@gmail.com>.
889
890 2010-07-14  Giuseppe Scrivano  <gscrivano@gnu.org>
891
892         * ftp.c (max): Remove definition.
893         (getftp): New variable `got_expected_bytes'.  Let `expected_bytes' be
894         the value SIZE returns, otherwise use the bytes count returned by RETR.
895         Suggested by Daniel Stenberg <daniel@haxx.se>.
896
897 2010-07-14  Giuseppe Scrivano  <gscrivano@gnu.org>
898
899         * ftp.c (max): Add definition.
900         (getftp): Consider for `expected_bytes' the greatest value between the
901         bytes count returned by SIZE and the bytes count returned by RETR.
902         Reported by: Jozua <jozua@sparky.za.net>.
903
904 2010-07-11  Giuseppe Scrivano  <gscrivano@gnu.org>
905
906         * http.c (http_loop): New variable `force_full_retrieve'.  If the remote
907         file is newer that the local one then inhibit -c.
908         Reported by: Caleb Cushing <xenoterracide@gmail.com>.
909
910 2010-07-09  Giuseppe Scrivano  <gscrivano@gnu.org>
911
912         * css-url.c (get_urls_css_file): Use `wget_read_file' instead of
913         `read_file'.  Use `wget_read_file_free' instead of `read_file_free'.
914         * convert.c (convert_links): Likewise.
915         * html-url.c (get_urls_html, get_urls_file): Likewise.
916         * res.c (res_parse_from_file): Likewise.
917
918         * utils.h: Rename `read_file' to `wget_read_file'.  Rename
919         `read_file_free' to `wget_read_file_free'.
920
921         * utils.c (wget_read_file): Renamed from `read_file'.
922         (wget_read_file_free): Renamed from `read_file_free'.
923
924 2010-07-05  Giuseppe Scrivano  <gscrivano@gnu.org>
925
926         * gnutls.c (ssl_init): New local variables `ca_directory' and `dir'.
927         Load default root certificates under the `ca_directory' directory.
928
929 2010-07-03  Giuseppe Scrivano  <gscrivano@gnu.org>
930
931         * gnutls.c (ssl_connect_wget): New local variable `allowed_protocols'.
932         Honor the --secure-protocol flag.
933
934 2010-06-20  Giuseppe Scrivano  <gscrivano@gnu.org>
935
936         * main.c (print_help): Fix help string for --random-wait.  Its range is
937         [0.5*wait, 1.5*wait) not [0, 2*wait).
938         Reported by: Tom Mizutani <gombei1970@gmail.com>.
939
940 2010-06-15  Giuseppe Scrivano  <gscrivano@gnu.org>
941
942         * gnutls.c [WIN32]: Include "w32sock.h".
943         (FD_TO_SOCKET): Add definition.
944         (ssl_connect_wget): Get the real socket handle by FD_TO_SOCKET.
945         Define FD_TO_SOCKET if it is not yet defined.
946
947 2010-06-14  Giuseppe Scrivano  <gscrivano@gnu.org>
948
949         * gnutls.c: Include <stdlib.h>.
950         (struct wgnutls_transport_context): Remove `peekstart'.
951         (ssl_connect_wget): Renamed from `ssl_connect'.
952         (wgnutls_poll): New variable `ctx'.
953         (wgnutls_read): Don't use `ctx->peekstart'.
954         (wgnutls_peek): Likewise.  Don't attempt to read if there is not
955         ready data.
956
957 2010-06-14  Giuseppe Scrivano  <gscrivano@gnu.org>
958         * http.c (http_loop): Always send a HEAD request when -N is used
959         together with --content-disposition.
960         Reported by: Jochen Roderburg <Roderburg@Uni-Koeln.DE>.
961
962 2010-06-10  Muthu Subramanian K <muthusuba@gmail.com> (tiny change)
963
964         * http.c (http_loop): Increase `total_downloaded_bytes' by
965         `hstat.rd_size', not `hstat.len'.
966
967 2010-06-10  Giuseppe Scrivano  <gscrivano@gnu.org>
968
969         * main.c (print_version): Drop the current maintainer line.
970
971 2010-06-10  Giuseppe Scrivano  <gscrivano@gnu.org>
972
973         * Makefile.am (build_info.c): Generate the `build_info.c' file under
974         the build directory.
975         Patch by: Daniel Stenberg <daniel@haxx.se>.
976
977 2010-06-03  Giuseppe Scrivano  <gscrivano@gnu.org>
978
979         * http.c (http_loop): Do not send a HEAD request before the GET request
980         when --content-disposition is used.
981         Reported by: alex_wh@mail.ru.
982
983 2010-05-31  Giuseppe Scrivano  <gscrivano@gnu.org>
984
985         * css.l: Use option "nounput".
986         (YY_NO_INPUT): Add macro definition.
987
988 2010-05-31  Giuseppe Scrivano  <gscrivano@gnu.org>
989
990         * html-parse.c (map_html_tags): Fix condition for closed tag.  Handle
991         the case '>' is not specified after '/'.
992
993 2010-05-31  Giuseppe Scrivano  <gscrivano@gnu.org>
994
995         * sysdep.h (_SVID_SOURCE): Remove definition.
996         (_BSD_SOURCE): Remove definition.
997
998 2010-05-31  Giuseppe Scrivano  <gscrivano@gnu.org>
999
1000         * recur.c (retrieve_tree): Remove variable `up_error_code'.
1001
1002         * iri.c (open_locale_to_utf8): Remove function.
1003
1004 2010-05-30  Giuseppe Scrivano  <gscrivano@gnu.org>
1005
1006         * html-parse.c (NAME_CHAR_P): Consider '<' an invalid character.
1007         (advance_declaration): Close the tag if '<' is found.
1008         (map_html_tags): Likewise.
1009
1010 2010-05-27  Giuseppe Scrivano  <gscrivano@gnu.org>
1011
1012         * main.c (print_usage): Accept a new parameter `error'.
1013         (main): Print diagnostic messages to stderr, not stdout.
1014
1015 2010-05-27  Giuseppe Scrivano  <gscrivano@gnu.org>
1016
1017         * Makefile.am (wget_SOURCES): Remove `snprintf.c'.
1018
1019         * snprintf.c: Remove file.
1020
1021 2010-05-27  Giuseppe Scrivano  <gscrivano@gnu.org>
1022
1023         * main.c (main): Exit with failure when -k is specified and -O is not
1024         a regular file.
1025
1026 2010-05-27  Giuseppe Scrivano  <gscrivano@gnu.org>
1027
1028         * http.c (gethttp): Consider new cookies retrieved when the
1029         authorization fails.
1030
1031 2010-05-25  Giuseppe Scrivano  <gscrivano@gnu.org>
1032
1033         * host.c (sufmatch): Do not consider zero length entries.
1034
1035         * http.c (H_10X): New macro.
1036         (gethttp): Silently ignore 1xx responses.
1037
1038 2010-05-24  Giuseppe Scrivano  <gscrivano@gnu.org>
1039
1040         * iri.h (dummy_iri): Define static.
1041
1042         * css-tokens.h (css_tokens): Remove variable.
1043
1044 2010-05-23  Giuseppe Scrivano  <gscrivano@gnu.org>
1045
1046         * http.c (http_atotm): Count the NUL character when copying the locale
1047         string.
1048         Reported by: Florian Weimer <fw@deneb.enyo.de>
1049
1050 2010-05-16  Giuseppe Scrivano  <gscrivano@gnu.org>
1051
1052         * Makefile.am (LDADD): Remove MD5_LDADD.
1053         (MD5_LDADD): Remove definition.
1054         (AM_CPPFLAGS): Remove MD5_CPPFLAGS.
1055         (version.c): Remove dependency from MD5_LDADD.
1056         (../md5/libmd5.a): Remove rule.
1057
1058         * ftp-opie.c: Include "md5.h".  Do not include "gen-md5.h".
1059         (skey_response): New variable ctx.  Use md5 functions from the gnulib
1060         module instead of functions defined previously in the "gen-md5.h" file.
1061
1062         * gen-md5.h: Remove file.
1063         * gen-md5.c: Likewise.
1064
1065         * http.c: Include "md5.h".  Do not include "gen-md5.h".
1066         (digest_authentication_encode): New variable ctx.  Use md5 functions
1067         from the gnulib module instead of functions defined previously in the
1068         "gen-md5.h" file.
1069
1070 2010-05-15  Giuseppe Scrivano  <gscrivano@gnu.org>
1071
1072         * Makefile.am: Quote any path using $(top_srcdir) or $(top_builddir).
1073         (version.c): Remove dependency from configure.ac and Makefile.am.
1074
1075         * css.l: Include "wget.h".
1076
1077 2010-05-08  Giuseppe Scrivano  <gscrivano@gnu.org>
1078
1079         * Makefile.am: Update copyright years.
1080         * cmpt.c: Likewise.
1081         * connect.h: Likewise.
1082         * convert.c: Likewise.
1083         * convert.h: Likewise.
1084         * cookies.c: Likewise.
1085         * cookies.h: Likewise.
1086         * css-tokens.h: Likewise.
1087         * css-url.c: Likewise.
1088         * css-url.h: Likewise.
1089         * css.l: Likewise.
1090         * exits.c: Likewise.
1091         * exits.h: Likewise.
1092         * ftp-basic.c: Likewise.
1093         * ftp-ls.c: Likewise.
1094         * ftp-opie.c: Likewise.
1095         * ftp.c: Likewise.
1096         * ftp.h: Likewise.
1097         * gen-md5.c: Likewise.
1098         * gen-md5.h: Likewise.
1099         * gettext.h: Likewise.
1100         * gnutls.c: Likewise.
1101         * hash.c: Likewise.
1102         * hash.h: Likewise.
1103         * host.c: Likewise.
1104         * host.h: Likewise.
1105         * html-parse.c: Likewise.
1106         * html-parse.h: Likewise.
1107         * html-url.c: Likewise.
1108         * html-url.h: Likewise.
1109         * http-ntlm.c: Likewise.
1110         * http-ntlm.h: Likewise.
1111         * http.c: Likewise.
1112         * http.h: Likewise.
1113         * init.c: Likewise.
1114         * init.h: Likewise.
1115         * iri.c: Likewise.
1116         * iri.h: Likewise.
1117         * log.c: Likewise.
1118         * log.h: Likewise.
1119         * main.c: Likewise.
1120         * mswindows.c: Likewise.
1121         * mswindows.h: Likewise.
1122         * netrc.c: Likewise.
1123         * netrc.h: Likewise.
1124         * openssl.c: Likewise.
1125         * options.h: Likewise.
1126         * progress.c: Likewise.
1127         * progress.h: Likewise.
1128         * ptimer.c: Likewise.
1129         * ptimer.h: Likewise.
1130         * recur.c: Likewise.
1131         * recur.h: Likewise.
1132         * res.c: Likewise.
1133         * res.h: Likewise.
1134         * retr.c: Likewise.
1135         * retr.h: Likewise.
1136         * spider.c: Likewise.
1137         * spider.h: Likewise.
1138         * ssl.h: Likewise.
1139         * sysdep.h: Likewise.
1140         * test.c: Likewise.
1141         * test.h: Likewise.
1142         * url.c: Likewise.
1143         * url.h: Likewise.
1144         * utils.c: Likewise.
1145         * utils.h: Likewise.
1146         * wget.h: Likewise.
1147
1148 2010-05-07  Giuseppe Scrivano  <gscrivano@gnu.org>
1149
1150         * gnutls.c (wgnutls_close): Use always `close', not `closesocket'.
1151         * openssl.c (openssl_close): Use always `close', not `closesocket'.
1152         (ssl_connect_wget): Get the real socket handle by FD_TO_SOCKET.
1153         Define FD_TO_SOCKET if it is not yet defined.
1154         * Makefile.am (libunittest_a_CPPFLAGS): Add -I$(top_builddir)/lib.
1155         * mswindows.h: Always include <winsock2.h> and <ws2tcpip.h>.  Do not
1156         include <winsock.h>.
1157         [! INHIBIT_WRAP]: Remove macro's socket, bind, connect, accept, recv,
1158         send, select, getsockname, getpeername, setsockopt, closesocket.
1159         Remove wrapped_socket, wrapped_bind, wrapped_connect, wrapped_listen,
1160         wrapped_accept, wrapped_recv, wrapped_send, wrapped_select,
1161         wrapped_getsockname, wrapped_getpeername, wrapped_setsockopt,
1162         wrapped_closesocket prototypes.
1163         * mswindows.c:  Remove wrapped_socket, wrapped_bind, wrapped_connect,
1164         wrapped_listen, wrapped_accept, wrapped_recv, wrapped_send,
1165         wrapped_select, wrapped_getsockname, wrapped_getpeername,
1166         wrapped_setsockopt, wrapped_closesocket functions.  Remove WRAP macro.
1167         * host.h [WINDOWS]: Include <winsock2.h> not <winsock.h>.
1168         * connect.c: Include <sys/socket.h> and <sys/select.h> on any platform,
1169         gnulib ensures they exist.  Remove `read', `write', `close' macros.
1170         * Makefile.am: Copy build_info.c.in only if we are working in a VPATH.
1171         (AM_CPPFLAGS): Add directory with generated gnulib files.
1172
1173 2010-05-06  Giuseppe Scrivano  <gscrivano@gnu.org>
1174
1175         * Makefile.am (build_info.c): Generate build_info.c in the builddir,
1176         not srcdir.
1177
1178 2010-05-05  Giuseppe Scrivano  <gscrivano@gnu.org>
1179
1180         * http.c (gethttp): Give a nicer message on a malformed status line.
1181
1182 2010-05-04  Giuseppe Scrivano  <gscrivano@gnu.org>
1183
1184         * http.c (gethttp): Check `resp_status' return code and handle
1185         errors.
1186
1187 2010-05-01  Giuseppe Scrivano <gscrivano@gnu.org>
1188
1189         * http.c (request_send): Specify 1.1 as HTTP version for requests.
1190         (skip_short_body): Accept new parameter `chunked'.  New variable
1191         `remaining_chunk_size'.  Handle the chunked transfer encoding.
1192         (gethttp): New variable `chunked_transfer_encoding`.  Set `keepalive'
1193         by default to true.  Check if the server is using the chunked transfer
1194         encoding.
1195
1196         * retr.h: Define `rb_chunked_transfer_encoding'.
1197
1198         * retr.c (fd_read_body): New variable `chunked'.  New variable
1199         `remaining_chunk_size'.  Handle the chunked transfer encoding.
1200
1201 2010-03-04  Steven Schubiger  <stsc@member.fsf.org>
1202
1203         * ftp.c (ftp_loop_internal): Omit input file from being
1204         deleted after retrieval.
1205
1206         * retr.c (input_file_url): New function.
1207
1208         * retr.h: Add declaration for input_file_url.
1209
1210 2010-03-02  Steven Schubiger  <stsc@member.fsf.org>
1211
1212         * retr.c (retrieve_from_file): Improve checking for a URL
1213         by invoking url_valid_scheme instead of url_has_scheme.
1214
1215         * url.c (url_valid_scheme): New function.
1216
1217         * url.h: Add declaration for url_valid_scheme.
1218
1219 2010-03-02  Steven Schubiger  <stsc@member.fsf.org>
1220
1221         * retr.c (retrieve_from_file): Free memory of input file.
1222
1223 2010-03-01  Steven Schubiger  <stsc@member.fsf.org>
1224
1225         * retr.c (retrieve_url): Retrieve the local filename from ftp_loop.
1226         (retrieve_from_file): Return if there's no input file.
1227
1228         * ftp.c (ftp_loop_internal): Duplicate the local filename into
1229         retrieve_url's scope when a valid reference is being passed.
1230         (ftp_loop): Call ftp_loop_internal here with passing a
1231         reference to the local filename, elsewhere with NULL.
1232
1233         * ftp.h: Adjust declaration of ftp_loop.
1234
1235 2010-01-27  Paul Townsend  <aab@purdue.edu>  (tiny change)
1236
1237         * retr.c (fd_read_body): Be sure to measure timer when time has
1238         elapsed, too, not just when we've made progress.
1239
1240 2010-01-13  Micah Cowan  <micah@cowan.name>
1241
1242         * openssl.c: Fixed some mixed declarations-and-code.
1243
1244 2010-01-09  Micah Cowan  <micah@cowan.name>
1245
1246         * init.c, main.c, http.c, ftp.c, options.h: Renamed
1247         --no-match-server-timestamps to --no-use-server-timestamps, and
1248         add it to print_help.
1249
1250 2010-01-09  David Holman  <holman.david@gmail.com>  (tiny change)
1251
1252         * init.c, main.c, http.c, ftp.c, options.h: Added support for
1253         --no-match-server-timestamps.
1254
1255 2009-12-03  Peter Rosin  <peda@lysator.liu.se>
1256
1257         * snprintf.c (dopr): Output %p as unsigned.
1258
1259 2010-01-09  Jeremy Olexa  <darkside@gentoo.org>  (tiny change)
1260
1261         * init.c: Deal with systems which provide PATH_MAX in
1262         sys/param.h rather than limits.h.
1263
1264 2009-10-09  Steven Schweda  <sms@antinode.info>
1265
1266         * utils.c: Added characters " : \ | to the list of normal
1267         caret-escaped (ODS5) characters in the char_prop[] table.
1268
1269 2009-09-22  Arvind Jamuna Dixit  <ardsrk@gmail.com>
1270
1271         * http.c (extract_param, parse_content_disposition): Support
1272         RFC 2231 while parsing Content-Disposition header
1273
1274 2009-10-24  Petr Pisar  <petr.pisar@atlas.cz>
1275
1276         * openssl.c: Implement support for (multiple) subjectAltNames in
1277         X509 certificates, not just the commonName.
1278
1279 2009-10-09  Micah Cowan  <micah@cowan.name>
1280
1281         * main.c: Fix declaration of compiled_features.
1282
1283         * build_info.c.in: Adapt to new input format. Added a check for
1284         large-file support. Replaced the "openssl" and "gnutls"
1285         advertisements with a single "ssl/foo" advertisement.
1286
1287 2009-09-30  Micah Cowan  <micah@cowan.name>
1288
1289         * sysdep.h: Unconditionally include stdbool.h (gnulib has it for
1290         systems that don't supply it.)
1291
1292         * vms.c: Added functions vms_basename(), used to extract the
1293         bare executable name from argv[0], and vms_getpass(), a
1294         VMS-specific replacement for GNU getpass().
1295
1296          vms.c: Added global string constants: compilation_string
1297         (NULL), link_string (NULL), and version_string (real).
1298
1299 2009-09-24  Micah Cowan  <micah@cowan.name>
1300
1301         * vms.c: Moved from vms/vms.c.
1302
1303         * sysdep.h: Use proper prototypes for snprintf, vsnprintf (thanks
1304         to Steven Schweda).
1305
1306 2009-09-24  Steven Schweda  <sms@antinode.info>
1307
1308         * main.c (print_version): Remove VMS-conditional build info
1309         string; the new VMS builders use OS_TYPE.
1310
1311         * ftp.c (getftp): Fix accidental use of target -> targ.
1312
1313 2009-09-24  Micah Cowan  <micah@cowan.name>
1314
1315         * host.c (host_errstr): host_errstr should return const char *.
1316
1317 2009-09-22  Micah Cowan  <micah@cowan.name>
1318
1319         * Makefile.am (version.c): Explicitly tell Mercurial where the
1320         top-source repository should be, so it doesn't accidentally use
1321         the repository for a containing directory (for instance, if the
1322         user's home directory is managed by a Mercurial repo). Also
1323         ensures we find the repository, even if the build directory is
1324         outside the source directory.
1325
1326         * wget.h: define WINDOWS if _WIN32 or __WIN32__ is defined, but
1327         not __CYGWIN__.
1328
1329         * mswindows.c (xsleep): Check for availability of the sleep
1330         function, in addition to the usleep function.
1331         (get_winsock_error, windows_strerror): Removed (gnulib already
1332         supplies this functionality).
1333
1334         * mswindows.h [NEED_GAI_STRERROR]: define gai_strerror
1335         to (gnulib's) strerror, rather than windows_strerror. Removed
1336         error macro definitions provided by gnulib.
1337         (windows_strerror): Removed (gnulib already supplies this
1338         functionality).
1339
1340         * host.c: Don't declare h_errno when building on Windows.
1341
1342         * Makefile.am (LIBS): Added @W32LIBS@.
1343         (EXTRA_wget_SOURCES): Removed (it's in LIBOBJ now).
1344         (version.c): Removed dependency on $(LDADD), since it may include
1345         dependencies that are not part of the Wget sources (-lwsock32, for
1346         instance).
1347
1348         * openssl.c (ssl_check_certificate): Avoid reusing the same buffer
1349         space for successive quoted arguments. Thanks to Steven Schweda
1350         for pointing out the problem.
1351
1352 2009-09-21  Micah Cowan  <micah@cowan.name>
1353
1354         * progress.c (update_speed_ring): "the the" -> "the".
1355
1356         * css-url.c, iri.c, mswindows.c: Removed assert.h inclusion (not
1357         using it).
1358
1359 2009-09-11  Steven Schweda  <sms@antinode.info>
1360
1361         * utils.c, utils.h (fopen_excl): Make second argument an int,
1362         rather than a bool (so it can handle the appropriate VMS version
1363         of the flag).
1364
1365         * main.c (print_version): Don't print LOCALEDIR unless NLS is
1366         enabled.
1367
1368         * http.c (gethttp): Pass FOPEN_BIN_FLAG, instead of true.
1369
1370         * ftp.c (ftp_retrieve_glob): Cast strcmp to assign to cmp, for a
1371         silly HP build environment.
1372
1373 2009-09-08  Steven Schubiger  <stsc@member.fsf.org>
1374
1375         * main.c, init.c: Mark the --preserve-permissions and
1376         --html-extension option as deprecated.
1377
1378 2009-09-06  Micah Cowan  <micah@cowan.name>
1379
1380         * ftp.c (getftp, ftp_loop_internal): Separate "len" input/output
1381         parameter (with different meanings for input and output), into two
1382         separate parameters, one input (passed_expected_bytes) and one
1383         output (qtyread). Fixes bug #26870.
1384
1385 2009-09-05  Steven Schubiger  <stsc@member.fsf.org>
1386
1387         * retr.h: Declare set_local_file() to avoid build warnings.
1388
1389 2009-09-05  Gisle Vanem  <gvanem@broadpark.no>
1390
1391         * connect.c, init.c, main.c, openssl.c, options.h:  Replace
1392         "ifdef MSDOS" with "ifdef USE_WATT32" since DOS-targets in fact
1393         use the Watt-32 tcp/ip stack.
1394
1395 2009-09-04  Micah Cowan  <micah@cowan.name>
1396
1397         * Makefile.am: Move build_info.c to wget_SOURCES from
1398         nodist_wget_SOURCES, reduce dependencies, and invoke build_info.pl
1399         in its new home, $(top_srcdir)/build-aux.
1400
1401 2009-09-03  Micah Cowan  <micah@cowan.name>
1402
1403         * ftp-ls.c (ftp_parse_vms_ls): Replace use of localtime_r with
1404         localtime, as not all platforms have localtime_r.
1405
1406         * Makefile.am (wget_SOURCES): Rearranged some of the file order,
1407         so .c files and .h files are apart. Added gettext.h, so that it
1408         shows up in the dist.
1409
1410 2009-09-02  Micah Cowan  <micah@cowan.name>
1411
1412         * gettext.h: Refreshed from gettext 0.17.
1413
1414         * test.c: Added definition of program_name variable, required by
1415         lib/error.c (libgnu.a). Doesn't cause problems until you try to
1416         build on a non-GNU system...
1417
1418         * build_info.c.in: Removed useless "+gettext" feature ad.
1419
1420 2009-08-29  Steven Schubiger  <stsc@member.fsf.org>
1421
1422         * convert.c (local_quote_string): Percent-encode semicolons
1423         in local file strings.
1424
1425 2009-08-27  Micah Cowan  <micah@cowan.name>
1426
1427         * wget.h (uerr_t): added new VERIFCERTERR code for SSL certificate
1428         problems. Marked exit codes that are defined but never used (at
1429         least, the ones I could find).
1430
1431         * retr.c, retr.h (retrieve_url): Added a new boolean argument to
1432         determine whether an exit status should be recorded.
1433         (retrieve_from_file): Adjust to new retrieve_url signature.
1434
1435         * res.c (res_retrieve_file): Don't have retrieve_url record an
1436         exit status for robots.txt.
1437
1438         * recur.c (retrieve_tree): Adjust to new retrieve_url signature.
1439
1440         * main.c (main): Use the exit status stored by retrieve_url.
1441
1442         * http.c (gethttp): Distinguish certificate verification problems
1443         from SSL connection issues.
1444         (http_loop): Handle newly-created VERIFCERTERR error code.
1445
1446         * exits.c, exits.h: Newly added.
1447
1448         * Makefile.am (wget_SOURCES): Add exits.c and exits.h.
1449
1450 2009-08-27  Micah Cowan  <micah@cowan.name>
1451
1452         * http.c (gethttp): Make sure Wget heeds cookies when they
1453         are sent with a 401 response; or any other sort of response for
1454         that matter (#26775).
1455
1456 2009-08-19  Micah Cowan  <micah@cowan.name>
1457
1458         * openssl.c (ssl_check_certificate): Only warn about an attack if
1459         the hostname would otherwise have matched. Also some formatting
1460         cleanup.
1461
1462 2009-08-19  Joao Ferreira  <joao@joaoff.com>
1463
1464         * openssl.c (ssl_check_certificate): Detect embedded NUL
1465         characters in the SSL certificate common name.
1466
1467 2009-08-17  Tony Lewis  <tlewis@exelana.com>
1468
1469         * http.c (gethttp): Ensure that we parse Content-Length before we
1470         attempt to refer to its value. Without this fix, NTLM support was
1471         completely buggered. #27192
1472
1473 2009-08-09  Michael Baeuerle  <michael.baeuerle@gmx.net>
1474
1475         * ftp.c: #include <strings.h> for strcasecmp.
1476
1477 2009-07-28  Micah Cowan  <micah@cowan.name>
1478
1479         * main.c (option_data): Rename --html-extension to
1480         --adjust-extension.
1481         (print_help): Ditto.
1482
1483         * options.h (struct option): Rename html_extension to
1484         adjust_extension.
1485         * http.c (gethttp): Ditto.
1486         * convert.c (local_quote_string): Ditto.
1487
1488         * init.c (commands): Add "adjustextension", and reflect rename
1489         change for opt.adjust_extension, for both "adjustextension" and
1490         "htmlextension".
1491
1492 2009-07-27  Micah Cowan  <micah@cowan.name>
1493
1494         * options.h (struct options): Added restrict_files_nonascii
1495         boolean field.
1496
1497         * url.c (FILE_CHAR_TEST): Add check for chars outside the ASCII
1498         range.
1499
1500         * init.c (defaults): Add restrict_files_nonascii to initialization.
1501         (cmd_spec_restrict_file_names): Allow parsing of "ascii" keyword.
1502
1503 2009-07-27  Marcel Telka  <marcel@telka.sk>
1504
1505         * iri.c (do_conversion): Typo: invalide -> invalid
1506
1507 2009-07-27  Petr Pisar  <petr.pisar@atlas.cz>
1508
1509         * main.c (print_help): Fixed a couple typos.
1510
1511 2009-07-26  Micah Cowan  <micah@cowan.name>
1512
1513         * main.c (option_data): Rename --locale option to --local-encoding
1514         (print_help): Document --no-iri, --local-encoding, and
1515         --remote-encoding, within usage message. Remove defunct
1516         --preserve-permissions.
1517
1518 2009-07-23  Micah Cowan  <micah@cowan.name>
1519
1520         * progress.c (get_eta): Change "Translation note" in comment to
1521         "TRANSLATORS", so it actually appears in wget.pot.
1522
1523 2009-07-06  Micah Cowan  <micah@cowan.name>
1524
1525         * main.c (print_help): Improve documentation of --base.
1526
1527 2009-07-05  Micah Cowan  <micah@cowan.name>
1528
1529         * html-url.c (tag_handle_meta): Handle meta name="robots"
1530         properly: deal with whitespace, commas after...
1531
1532         * netrc.c (parse_netrc): Rename local-scope variable "quote" to
1533         "qmark", to avoid conflict with the function name.
1534
1535 2009-07-05  Petr Pisar  <petr.pisar@atlas.cz>
1536
1537         * main.c (print_version): Mark initial line for translation, along
1538         with (env), (user), and (system). Change copyright year to 2009.
1539
1540         * http.c (http_loop): Space after colon.
1541
1542         * gnutls.c (ssl_check_certificate): Use quote function, rather
1543         than explicit quotes.
1544
1545 2009-07-05  Micah Cowan  <micah@cowan.name>
1546
1547         * Makefile.am (version.c): Add dependency on configure.ac.
1548
1549         * iri.c: Mark some strings for translation.
1550
1551 2009-07-04  Steven Schweda  <sms@antinode.info>
1552
1553         * wget.h (ORIG_SFX): Macro added, to supply an alternative "_orig"
1554         suffix on VMS.
1555
1556         * connect.c, host.c, host.h, main.c: Include "vms_ip.h" rather
1557         than <netdb.h> on VMS systems.
1558
1559         * convert.c (write_backup_file): Use "_orig" rather than ".orig"
1560         on VMS.
1561
1562         * ftp-basic.c (ftp_list): Don't use LIST -a on VMS servers.
1563
1564         * ftp.c [__VMS]: Include "vms.h"
1565         * ftp.c (getftp): Disable some unhelpful "for VMS" code. Pass the
1566         OS type to ftp_list.
1567         (getftp) [__VMS]: Alter the filename as required, and invoke fopen
1568         with extra optional arguments.
1569         (ftp_retrieve_list): Set permissions before setting the times.
1570
1571         * ftp-ls.c [__VMS]: Various improvements.
1572
1573         * http.c (SET_USER_AGENT): Added. Include operating-system info in
1574         the User-Agent header.
1575         (gethttp): Use ORIG_SFX macro.
1576         (gethttp) [__VMS]: invoke fopen with extra arguments to
1577         communicate file type.
1578         (http_loop): Add cast to time_t.
1579
1580         * init.c (wgetrc_user_file_name) [__VMS]: Adjustments for where to
1581         find the .wgetrc.
1582
1583         * log.c: Adjustments to improve handling of log files on VMS.
1584
1585         * main.c [__VMS]: Added --ftp-stmlf option (and associated
1586         documentation). Adjust description of backup-suffixes, as they now
1587         differ for VMS.
1588         (print_help, print_version): Include OS type in version
1589         information.
1590         (main) [__VMS]: Invoke fopen with extra options, to specify file
1591         type information.
1592
1593         * netrc.c (search_netrc) [__VMS]: Fix .netrc-finding.
1594
1595         * openssl.c, openssl.h (ssl_connect_wget): Renamed from ssl_connect.
1596
1597         * options.h (struct options): Add ftp_stmlf field.
1598
1599         * retr.c (write_data) [__VMS]: Avoid fflush.
1600
1601         * url.c [__VMS]: Include vms.h.
1602         * url.c (url_file_name) [__VMS]: Handle naming as required for VMS.
1603
1604         * utils.c [__VMS]: Include vms.h. Various added facilities for VMS
1605         needs.
1606
1607 2009-07-04  Micah Cowan  <micah@cowan.name>
1608
1609         * main.c (print_version): Allow localization of the version-info
1610         labels, eschew attempts at alignment (which is complicated when
1611         handling translated strings), and avoid using printf() with
1612         variable-stored format strings that lack conversion
1613         specifications.
1614         (format_and_print_line): For similar reasons, don't calculate
1615         line-continuation tabulation based on the number of bytes in a
1616         string.
1617
1618 2009-07-04  Steven Schubiger  <stsc@member.fsf.org>
1619
1620         * url.c (url_parse): If an URL scheme is invalid, distinguish
1621         between an unsupported or missing scheme.
1622
1623         * url.c: Add a "missing scheme" entry to parse_errors.
1624
1625 2009-07-03  Micah Cowan  <micah@cowan.name>
1626
1627         * iri.h (iri_dup): Provide macro definition for when IRIs are
1628         disabled.
1629
1630         * Makefile.am (LIBS): Added @LIBICONV@.
1631         (wget_SOURCES): Added iri.h.
1632         (EXTRA_wget_SOURCES): Added iri.c, so it gets packaged even if IRI
1633         support was disabled.
1634
1635 2009-07-02  Micah Cowan  <micah@cowan.name>
1636
1637         * recur.c (url_enqueue): Quote enqueue/dequeue debug messages.
1638
1639         * html-url.c (append_url): Change "merge()" quoting style from
1640         locale_quoting_style to escape_quoting_style.
1641
1642 2009-07-01  Micah Cowan  <micah@cowan.name>
1643
1644         * retr.c (retrieve_url): Use the existing "redirect" label,
1645         instead of superfluous "second_try". Removed no-longer-accurate
1646         debug statement. Use the "newloc" parameter to store the fallback
1647         URL, when IRI version was rejected.
1648
1649         * recur.c (retrieve_tree): Always use the parsed URL for tracking
1650         the Referer, since that's the one we actually requested (if
1651         there's a difference in terms of percent-encodings and such).
1652
1653 2009-07-01  Steven Schubiger  <stsc@member.fsf.org>
1654
1655         * Makefile.am: Add a rule to generate build_info.c and list
1656         the build_info.c.in file in EXTRA_DIST. Adjust elsewhere
1657         where needed.
1658
1659         * build_info.c: Remove this static source file.
1660
1661         * build_info.c.in: Data for generation of build_info.c.
1662
1663 2009-06-29  Micah Cowan  <micah@cowan.name>
1664
1665         * html-url.c (append_url): Quote some more arguments that might
1666         contain characters that are inappropriate to display for the
1667         current locale.
1668
1669         * retr.c (retrieve_from_file): Be sure to pass iri information
1670         when parsing an input-fle url, and be sure to hand a clean iri
1671         struct, off to retrieve_tree and retrieve_url.
1672
1673         * iri.c, iri.h (iri_dup): Added.
1674
1675         * retr.c (retrieve_url): Re-parse for IRI fallback.
1676
1677         * main.c (main): Set up iri before the url_parse invocation (so we
1678         can use it).
1679
1680 2009-06-20  Jay Krell  <jay.krell@cornell.edu>
1681
1682         * sysdep.h (_ALL_SOURCE): (small change) Define the _ALL_SOURCE
1683         macro on INTERIX systems. (I switched the location from ftp.c to
1684         sysdep.h --mjc)
1685
1686 2009-06-15  Micah Cowan  <micah@cowan.name>
1687
1688         * ftp.c (getftp): If we can't accept the connection, return
1689         CONERROR, not whatever the contents of err happens to be. Fixes
1690         bug #25015.
1691
1692         * retr.c (fd_read_body): Make both args to progress_create
1693         consistent, resulting in an accurate progress display. Fixes bug
1694         #24948.
1695
1696 2009-06-14  Micah Cowan  <micah@cowan.name>
1697
1698         * Makefile.am (wget_SOURCES): css-tokens.h needs to ship with
1699         dist, too.
1700
1701 2009-06-13  Micah Cowan  <micah@cowan.name>
1702
1703         * init.c: Rename setval_internal_wrapper to setval_internal_tilde,
1704         ensure we don't "replace" the tilde unless it's actually
1705         present. Clean up some minor GNU style issues.
1706
1707 2009-06-13  Julien Pichon  <julienpichon7@gmail.com>
1708
1709         * init.c: Handle tilde-expansion in wgetrc commands, without
1710         resorting to setting/unsetting globals to change behavior in one
1711         call location.
1712
1713 2009-06-12  Micah Cowan  <micah@cowan.name>
1714
1715         * host.c: Include <sys/types.h> before <sys/socket.h>. Not
1716         required by POSIX any more, but some older systems (such as
1717         FreeBSD 4.1) still need it, and it doesn't seem like it could
1718         hurt...
1719
1720         * build_info.c (library): Handle "https" as a feature in its own
1721         right, apart from "gnutls" and "openssl".
1722
1723         * host.c: Declare h_errno if no declaration is provided. Idea
1724         thanks to Maciej W. Rozycki.
1725
1726 2009-06-11  Xin Zou  <zouxin2008@gmail.com>
1727
1728         * http.c (gethttp): Fix some memory leaks.
1729
1730 2009-06-11  Micah Cowan  <micah@cowan.name>
1731
1732         * http.c (http_atotm): Handle potential for setlocale's return
1733         value to be static storage. Thanks to Benjamin Wolsey
1734         <bwy@benjaminwolsey.de>.
1735
1736         * sysdep.h: Need NAMESPACE_TWEAKS on non-Linux glibc-based
1737         systems, too. Thanks to Robert Millan.
1738
1739 2009-05-28  Steven Schubiger  <stsc@member.fsf.org>
1740
1741         * ftp.c (ftp_get_listing): Update the "listing file"
1742         string after calling ftp_loop_internal().
1743
1744 2009-05-27  Steven Schubiger  <stsc@member.fsf.org>
1745
1746         * ftp.c (ftp_get_listing): Duplicate the "listing file"
1747         string to avoid memory corruption when FOPEN_EXCL_ERR is
1748         encountered.
1749
1750 2009-05-17  Steven Schubiger  <stsc@member.fsf.org>
1751
1752         * progress.c (eta_to_human_short): Fix the remaining hours
1753         to be displayed. Spotted by Tadeu Martins (#26411).
1754
1755 2009-04-24  Micah Cowan  <micah@cowan.name>
1756
1757         * hash.c: Change stdint.h inclusion to use HAVE_STDINT_H, not C99
1758         check.
1759
1760         * connect.c: stdint.h inclusion added.
1761
1762         Thanks to Markus Duft <mduft@gentoo.org> for a similar patch.
1763
1764 2009-04-20  Micah Cowan  <micah@cowan.name>
1765
1766         * Makefile.am (version.c): Fix unportable use of "echo -n".
1767
1768 2009-04-13  Steven Schubiger  <stsc@member.fsf.org>
1769
1770         * ftp.c (ftp_retrieve_list): Move the duplicated code that
1771         determines the local file to a function.
1772
1773         * http.c (http_loop): Likewise.
1774
1775         * retr.c (set_local_file): New function.
1776
1777 2009-04-11  Steven Schubiger  <stsc@member.fsf.org>
1778
1779         * init.c (initialize): Run a custom SYSTEM_WGETRC when
1780         provided as an environment variable.
1781
1782 2009-02-27  Gisle Vanem  <gvanem@broadpark.no>
1783
1784         * main.c (main): "freopen (NULL,.." causes an assertion in MSVC
1785         debug-mode.  I.e. NULL isn't legal. But the "CONOUT$" device works
1786         fine.
1787
1788 2009-02-27  Steven Schubiger  <stsc@member.fsf.org>
1789
1790         * ftp.c (ftp_loop_internal): Don't claim for FTP retrievals
1791         when writing to standard output either that the document
1792         has been saved. Addresses bug #20520 again.
1793
1794 2009-02-21  Steven Schubiger  <stsc@member.fsf.org>
1795
1796         * http.c (http_loop): When a document is written to
1797         standard output, don't claim it has been saved to a file.
1798         Addresses bug #20520.
1799
1800 2009-02-18  Steven Schubiger  <stsc@members.fsf.org>
1801
1802         * recur.h: Remove the dangling declaration for recursive_cleanup().
1803
1804 2009-02-01  Gerardo E. Gidoni  <gerel@gnu.org>
1805
1806         * main.c, recur.c, recur.h, res.c, retr.c, retr.h: restructured code to
1807         avoid multiple 'url_parse' calls.
1808
1809 2008-11-13  Micah Cowan  <micah@cowan.name>
1810
1811         * http.c (gethttp): Don't do anything when content-length >= our
1812         requested range.
1813
1814 2008-11-27  Saint Xavier  <wget@sxav.eu>
1815
1816         * http.c (gethttp): Move authentication code before filename
1817         allocation avoiding fallbacking on default filename because
1818         "Content-Disposition" header wasn't present before authentcation
1819         has been completed. Fixes bug #24862.
1820
1821 2008-11-16  Steven Schubiger  <stsc@members.fsf.org>
1822
1823         * main.c: Declare and initialize the numurls counter.
1824
1825         * ftp.c, http.c: Make the counter visible here and use it.
1826
1827         * options.h: Remove old declaration from options struct.
1828
1829 2008-11-15  Steven Schubiger  <stsc@members.fsf.org>
1830
1831         * init.c (defaults): Set default waitretry value.
1832
1833 2008-11-14  Steven Schubiger  <stsc@members.fsf.org>
1834
1835         * main.c (format_and_print_line): Use a custom format
1836         string for printing leading spaces.
1837
1838 2008-11-12  Micah Cowan  <micah@cowan.name>
1839
1840         * ftp-ls.c (ftp_index): HTML-escape dir name in title, h1, a:href.
1841
1842 2008-11-12  Alexander Belopolsky  <alexander.belopolsky@gmail.com>
1843
1844         * url.c, url.h (url_escape_unsafe_and_reserved): Added.
1845
1846         * ftp-ls.c (ftp_index): URL-escape, rather than HTML-escape, the
1847         filename appearing in the link.
1848
1849 2008-11-12  Steven Schubiger  <stsc@members.fsf.org>
1850
1851         * main.c (print_version): Hand the relevant
1852         xstrdup/xfree calls back to format_and_print_line().
1853
1854 2008-11-11  Steven Schubiger  <stsc@members.fsf.org>
1855
1856         * main.c (format_and_print_line): Move both the memory
1857         allocating and freeing bits upwards to print_version().
1858
1859 2008-11-10  Saint Xavier  <wget@sxav.eu>
1860
1861         * http.c: Make --auth-no-challenge works with user:pass@ in URLs.
1862
1863 2008-11-05  Micah Cowan  <micah@cowan.name>
1864
1865         * ftp.c (print_length): Should print humanized "size remaining"
1866         only when it's at least 1k.
1867
1868 2008-10-31  Micah Cowan  <micah@cowan.name>
1869
1870         * main.c (print_version): Add information about the mailing list.
1871
1872 2008-10-31  Alexander Drozdov  <dzal_mail@mtu-net.ru>
1873
1874         * retr.c (fd_read_hunk): Make assert deal with maxsize == 0.
1875
1876         * ftp-ls.c (clean_line): Prevent underflow on empty lines.
1877
1878 2008-10-26  Gisle Vanem  <gvanem@broadpark.no>
1879
1880         * main.c (format_and_print_line): Put variables on top of
1881         blocks (not all compilers are C99). Add an extra '\n' if
1882         SYSTEM_WGETRC isn't defined and printed.
1883
1884 2008-09-09  Gisle Vanem  <gvanem@broadpark.no>
1885
1886         * url.c (url_error): Use aprintf, not asprintf.
1887
1888 2008-09-09  Micah Cowan  <micah@cowan.name>
1889
1890         * init.c (home_dir): Save the calculated value for home,
1891         to avoid duplicated work on repeated calls.
1892         (wgetrc_file_name) [WINDOWS]: Define and initialize home var.
1893
1894         * build_info.c, main.c: Remove unnecessary extern vars
1895         system_wgetrc and locale_dir.
1896
1897         * main.c: Define program_name for lib/error.c.
1898
1899 2008-09-02  Gisle Vanem  <gvanem@broadpark.no>
1900
1901         * mswindows.h: Must ensure <stdio.h> is included before
1902         we redefine ?vsnprintf().
1903
1904 2008-08-08  Steven Schubiger  <stsc@members.fsf.org>
1905
1906         * main.c, utils.h: Removed some dead conditional DEBUG_MALLOC code.
1907
1908 2008-08-03  Micah Cowan  <micah@cowan.name>
1909
1910         * main.c (print_help): Added --default-page.
1911
1912 2008-08-01  Joao Ferreira  <joao@joaoff.com>
1913
1914         * init.c, main.c, options.h, url.c: Added option --default-page
1915         to support alternative default names for index.html
1916
1917 2008-08-03  Micah Cowan  <micah@cowan.name>
1918
1919         * build_info.c, css-url.c: #include wget.h, not config.h.
1920
1921 2008-08-03  Steven Schubiger  <stsc@members.fsf.org>
1922
1923         * url.c, url.h (url_error): Better messages for unsupported
1924         schemes, especially https.
1925
1926         * html-url.c, recur.c, retr.c: Adjust to new url_error
1927         invocation, and free result.
1928
1929 2008-07-17  Steven Schubiger  <stsc@members.fsf.org>
1930
1931         * retr.c (retrieve_from_file): When given an URL as input file,
1932         use it as baseref if none was specified and treat the input file
1933         as HTML if its content type is text/html.
1934
1935         * init.c (cleanup): Free the memory associated with the base
1936         option (when DEBUG_MALLOC is defined).
1937
1938 2008-07-02  Xavier Saint  <wget@sxav.eu>
1939
1940         * iri.c, iri.h  : New function idn_decode() to decode ASCII
1941         encoded hostname to the locale.
1942
1943         * host.c : Show hostname to be resolved both in locale and
1944         ASCII encoded.
1945
1946 2008-06-28  Steven Schubiger  <stsc@members.fsf.org>
1947
1948         * retr.c (retrieve_from_file): Allow for reading the links from
1949         an external file (HTTP/FTP).
1950
1951 2008-06-26  Xavier Saint  <wget@sxav.eu>
1952
1953         * iri.c, iri.h : New functions locale_to_utf8() and
1954         idn_encode() adding basic capabilities of IRI/IDN.
1955
1956         * url.c : Convert URLs from locale to UTF-8 allowing a basic
1957         support of IRI/IDN
1958
1959 2008-06-25  Steven Schubiger  <stsc@members.fsf.org>
1960
1961         * ftp.c (getftp): When spidering a FTP URL, emit a diagnostic
1962         message if the remote file exists.
1963
1964 2008-06-24  Steven Schubiger  <stsc@members.fsf.org>
1965
1966         * http.c (http_loop): Replace escnonprint() occurence with
1967         a quotearg_style() call.
1968
1969 2008-06-24  Micah Cowan  <micah@cowan.name>
1970
1971         * ftp-ls.c (ftp_index): Don't assume time_t* is compatible with
1972         long*. Fixes crash on Windows, and probably other systems.
1973
1974 2008-06-22  Steven Schubiger  <stsc@members.fsf.org>
1975
1976         * http.c: Explicitly initialize and deallocate the message
1977         string used by the -nv --spider functionality.
1978
1979 2008-06-22  Steven Schubiger  <schubiger@gmail.com>
1980
1981         * http.c: Make -nv --spider include the file's name when it
1982         exists.
1983
1984 2008-06-22  Micah Cowan  <micah@cowan.name>
1985
1986         * Makefile.am (version.c): Fixed version string invocation so it
1987         once again can't result in unterminated strings, made all the
1988         string vars pointers-to-const, and moved line lengths
1989         below 80 (in Makefile.am, not in version.c).
1990
1991 2008-06-19  Xavier Saint  <wget@sxav.eu>
1992
1993         * iri.c, iri.h : New function check_encoding_name() as
1994         a preliminary encoding name check.
1995
1996         * main.c, iri.c : Make use of check_encoding_name().
1997
1998 2008-06-19  Xavier Saint  <wget@sxav.eu>
1999
2000         * iri.c : Include missing stringprep.h file and add a
2001         cast.
2002
2003         * init.c : set a default initial value for opt.enable_iri,
2004         opt.locale and opt.encoding_remote.
2005
2006 2008-06-19  Xavier Saint  <wget@sxav.eu>
2007
2008         * iri.c, iri.h : Add a new function find_locale() to find
2009         out the local system encoding.
2010
2011         * main.c : Make use of find_locale().
2012
2013 2008-06-19  Xavier Saint  <wget@sxav.eu>
2014
2015         * html-url.c : Add "content-type" meta tag parsing for
2016         retrieving page encoding.
2017
2018         * iri.h : Make no-op version of parse_charset() return
2019         NULL.
2020
2021 2008-06-16  Micah Cowan  <micah@cowan.name>
2022
2023         * http.c (http_loop): When hstat.len is higher than the
2024         successfully completed content's length, but it's because we
2025         _set_ it that way, don't abort.
2026
2027 2008-06-14  Xavier Saint  <wget@sxav.eu>
2028
2029         * iri.c, iri.h : New files.
2030
2031         * Makefile.am : Add files iri.h and conditional iri.c.
2032
2033         * build_info.c : Add compiled feature "iri".
2034
2035         * http.c : include iri.h and parse charset from Content-Type
2036         header.
2037
2038         * init.c, main.c, options.h : if an options isn't supported
2039         at compiled time, don't get rid off it and show a dummy
2040         message instead if they are used.
2041
2042 2008-06-13  Micah Cowan  <micah@cowan.name>
2043
2044         * build_info.c: ENABLE_NTLM, not HAVE_NTLM; distinguish OpenSSL
2045         from "ssl".
2046
2047 2008-06-13  Madhusudan Hosaagrahara <com.gmail.hrmadhu>
2048
2049         * Makefile.am, main.c, init.c, init.h, build_info.c: Adds build
2050         information to the --version command line option. Fixes bug
2051         #20636.
2052
2053 2008-06-01  Micah Cowan  <micah@cowan.name>
2054
2055         * main.c [WINDOWS]: Reopen stdout in binary mode, when -O - is
2056         given.
2057
2058 2008-05-31 Micah Cowan  <micah@cowan.name>
2059
2060         * html-url.c, http.c: Avoid casts in a couple spots.
2061
2062 2008-05-30 Henri Häkkinen  <henux@users.sourceforge.net>
2063
2064         * cookies.c, ftp-basic.c, hash.c, html-url.c, http-ntlm.c, http.c,
2065         init.c, log.c, main.c, progress.c, ptimer.c, spider.c, url.c,
2066         utils.c: Minor changes to silence warnings when using -Wall.
2067
2068 2008-05-26  Steven Schubiger  <schubiger@gmail.com>
2069
2070         * ftp.c (getftp): Replace last remaining invocation of escnonprint
2071         with gnulib quote.
2072
2073 2008-05-19  Micah Cowan  <micah@cowan.name>
2074
2075         * main.c (main): Password prompt should be done only once (not
2076         once per argument), and should be done prior to the background
2077         fork.
2078
2079 2008-05-17  Steven Schubiger  <schubiger@gmail.com>
2080
2081         * init.c (defaults): Set the preferred IP family to `none' by
2082         default.
2083
2084 2008-05-17  Kenny Parnell  <k.parnell@gmail.com>
2085
2086         (cmd_spec_prefer_family): Initialize prefer_family to prefer_none.
2087
2088 2008-05-17  Micah Cowan  <micah@cowan.name>
2089
2090         * main.c (main): Handle Ctrl-D on command-line.
2091
2092 2008-05-15  Steven Schubiger  <schubiger@gmail.com>
2093
2094         * ftp.c (getftp): Verify that the file actually exists in FTP, by
2095         checking it against the listing.
2096
2097 2008-05-15  Micah Cowan  <micah@cowan.name>
2098
2099         * main.c (prompt_for_password): Use the quote module.
2100
2101 2008-05-14  Micah Cowan  <micah@cowan.name>
2102
2103         * ftp.c (ftp_retrieve_list): Symlinks and other filenames
2104         should be fully quoted.
2105
2106 2008-05-12  Micah Cowan  <micah@cowan.name>
2107
2108         * main.c (main): Downgrade "-N with -O" to a warning, and switch
2109         it off to avoid confusing messages.
2110
2111 2008-04-30  Micah Cowan  <micah@cowan.name>
2112
2113         * progress.c (create_image): Fix glitch where too many spaces are
2114         printed on lines that don't display the ETA, in multibyte
2115         locales.
2116
2117 2008-04-30  Steven Schubiger  <stsc@members.fsf.org>
2118
2119         * main.c (main): New code that handles prompting for passwords
2120         when specified explicitly via command-line option (using gnulib's
2121         getpass-gnu module).
2122         (main): Include the getpass header.
2123
2124         * init.c: Add "ask-password" to the list of recognized commands.
2125
2126         * options.h: Add an according boolean member to the options
2127         struct.
2128
2129         * sysdep.h: Comment the defines __EXTENSIONS__ and _GNU_SOURCE
2130         out, because they're now defined independently by config.h.
2131
2132 2008-04-27  Rabin Vincent  <rabin@rab.in>
2133
2134         * http.c (http_loop): Fix return for the case where we don't
2135         download a file because of -nc.
2136
2137 2008-04-27  Micah Cowan  <micah@cowan.name>
2138
2139         * url.c (path_simplify): Go back to allowing leading ".." in
2140         paths, but only for FTP URLs.
2141         (test_path_simplify): Add scheme-specificness to tests, adapt for
2142         mu_run_test.
2143
2144         * test.c (all_tests): Add test_path_simplify.
2145
2146         * main.c (main): Downgrade -r, -p with -O to a warning rather than
2147         an error; elaborate just a bit more for other -O combination
2148         cases.
2149
2150 2008-04-26  Micah Cowan  <micah@cowan.name>
2151
2152         * http.c (gethttp): Move proxy CONNECT handling to below the
2153         retry_with_auth label, to deal with properly reconnecting to
2154         proxies when we need to authenticate.
2155
2156 2008-04-25  Micah Cowan  <micah@cowan.name>
2157
2158         * Makefile.am: -I foo -> -Ifoo.
2159
2160 2008-04-24  Micah Cowan  <micah@cowan.name>
2161
2162         * main.c: Revised usage description of --convert-links to apply
2163         to CSS as well as to HTML.
2164
2165 2008-04-23  Micah Cowan  <micah@cowan.name>
2166
2167         * utils.c (test_dir_matches_p): Added a test for the case
2168         described in issue #20518.
2169
2170 2008-04-22  Micah Cowan  <micah@cowan.name>
2171
2172         * Makefile.am, css.lex, css.l: Renamed css.lex to css.l.
2173         * recur.c (retrieve_tree): Fix typo to allow text/css files to
2174         be parsed.
2175
2176 2008-04-22  Ted Mielczarek  <ted.mielczarek@gmail.com>
2177
2178         * css.lex, css-url.c, css-url.h: Added to implement support for
2179         parsing CSS in Wget.
2180         * convert.c: Convert links in CSS files, too.
2181         * convert.h (convert_options): Added for options link_css_p,
2182         link_expect_css.
2183         * convert.h: Added prototype for new register_css function.
2184         * html-parse.c: Added support for parsing element content, in
2185         addition to tag starts and ends.
2186         * html-parse.h (taginfo): Added delimiter fields for element
2187         content.
2188         * html-url.h: Added.
2189         * html-url.c (append_url): No longer internal-linkage only. Now
2190         takes position and size as explicit parameters.
2191         * html-url.c: Use new html-url.h header, add support for
2192         handling of "style" HTML attributes. Mark URIs obtained from
2193         link tags with rel="stylesheet" with link_expect_css. Adapt
2194         uses of append_url to supply the newly-added parameters for
2195         position and size.
2196         * http.c: Add detection for when the content-type is text/css;
2197         and ensure that such files have the ".css" filename extension,
2198         when --convert-links is active.
2199         * recur.h: Remove declarations for functions found in
2200         html-url.c (moved to html-url.h).
2201         * recur.c: Add support for culling links from CSS files, too,
2202         and tracking for when we're expecting the file to be CSS (even
2203         when its content type isn't text/css).
2204         * retr.c (retrieve_url): Add registration of CSS files.
2205         * wget.h: Added TEXTCSS to dt flags enum.
2206         * Makefile.am: Added css.lex, css-url.c, css-url.h, html-url.h
2207         to wget_SOURCES.
2208
2209 2008-04-22  Jim Paris  <jim@jtan.com>
2210
2211         * openssl.c (ssl_init): Enable combined certificate/key in
2212         single file (apparent regression from ~1.9). Resolves issue
2213         #22767.
2214
2215 2008-04-22  Steven Schubiger  <schubiger@gmail.com>
2216
2217         * http.c (print_response_line): Changed to make responses always
2218         be logged, even in --quiet mode, if --server-response was
2219         specified. This is to bring http.c's handling of the situation
2220         in line with ftp.c's.
2221
2222 2008-04-22  Pranab Shenoy  <pranab.loosinit.shenoy@gmail.com>
2223
2224         * init.c: Added test_commands_sorted unit test to check is
2225         commands are sorted.  Fixes bug #21245.
2226
2227         * test.c: Added test_commands_sorted to the test suite.
2228
2229 2008-04-22  Rabin Vincent  <rabin@rab.in>
2230
2231         * ftp.c (ftp_get_listing): Only remove .listing if it has been
2232         created.
2233
2234 2008-04-22  Alain Guibert  <alguibert+bts@free.fr>
2235
2236         * test.h (mu_run_test): Move declaration before statements, for
2237         C90 conformance. Fixes bug #22789.
2238
2239 2008-04-22  Mike Frysinger  <vapier@gentoo.org>
2240
2241         * Makefile.am: Move @LIBS@ after other libraries, for better
2242         static-linking support. Fixes bug #22143.
2243
2244 2008-04-16  Steven Schubiger  <schubiger@gmail.com>
2245
2246         * ftp.c: Use Gnulib's quote function for printing filenames and
2247         such.
2248         * connect.c: Likewise.
2249         * convert.c: Likewise.
2250         * cookies.c: Likewise.
2251         * ftp-opie.c: Likewise.
2252         * gnutls.c: Likewise.
2253         * init.c: Likewise.
2254         * log.c: Likewise.
2255         * mswindows.c: Likewise.
2256         * openssl.c: Likewise.
2257         * progress.c: Likewise.
2258         * recur.c: Likewise.
2259         * res.c: Likewise.
2260         * utils.c: Likewise.
2261
2262 2008-04-16  Steven Schubiger  <schubiger@gmail.com>
2263
2264         * sysdep.h: Comment the defines __EXTENSIONS__ and _GNU_SOURCE
2265         out, because they're now defined independently by config.h.
2266
2267 2008-04-14  Steven Schubiger  <schubiger@gmail.com>
2268
2269         * http.c: Use Gnulib's quote function for printing filenames and
2270         such.
2271         * wget.h: #include "quote.h".
2272
2273 2008-04-12  Rabin Vincent  <rabin@rab.in>
2274
2275         * mswindows.c (fake_fork_child): Don't create a logfile for
2276         --background when --quiet is used, but not --server-response.
2277         Fixes bug #20917.
2278
2279         * utils.c (fork_to_background): Likewise.
2280
2281 2008-04-12  Micah Cowan  <micah@cowan.name>
2282
2283         * utils.c (aprintf): Minor formatting changes to Alex's code (80-
2284         column limit, concatenated string literals, avoiding nesting
2285         levels), and removed invocation of free (since we're aborting
2286         anyway).
2287
2288 2008-04-11  Alexander Dergachev  <cy6erbr4in@gmail.com>
2289
2290         * utils.c (aprintf): Now we are setting limits (1 Mb) for text
2291         buffer when we use non-C99 vsnprintf.
2292
2293 2008-04-11  Micah Cowan  <micah@cowan.name>
2294
2295         * ftp.c (getftp, ftp_loop_internal): Don't append to an existing
2296         .listing when --continue is used.  Fixes bug #22825. Thanks to
2297         Rabin Vincent <rabin@rab.in> for pointing the way with a
2298         suggested fix!
2299
2300 2008-04-10  Alexander Dergachev  <cy6erbr4in@gmail.com>
2301
2302         * xmalloc.c, xmalloc.h (memfatal): Now exported; accepts an
2303         "unknown" value for the attempted allocation size.
2304         * utils.c (aprintf): Now calls memfatal, instead of aborting.
2305
2306 2008-03-19  Micah Cowan  <micah@cowan.name>
2307
2308         * utils.c (test_dir_matches_p): More tests related for
2309         dir_matches_p.
2310
2311 2008-03-17  Micah Cowan  <micah@cowan.name>
2312
2313         * connect.c: Include sys/time.h to support use of the select
2314         function on older systems.
2315
2316 2008-02-11  Benno Schulenberg  <bensberg@justemail.net>
2317
2318         * http.c: More accurate and descriptive messages for when a file
2319         won't be retrieved during spider-mode.
2320
2321 2008-02-10  Micah Cowan  <micah@cowan.name>
2322
2323         * http.c: Added existence_checked member to the http_stat
2324         struct.
2325         (gethttp): Mark hs->existence_checked when we've checked whether
2326         a file-to-download exists; so we don't check it again if the
2327         connection gets lost (and potentially pick a new "unique" name).
2328         This fixes bug 22251.
2329         * progress.c (create_image): Add space for an extra column in
2330         the "eta" portion of the progress bar image; to deal with
2331         too-long Czech translation.
2332         * main.c, http.c, init.c: Added --auth-no-challenge option, to
2333         bring back 1.10.2 unsafe auth behavior when needed. This fixes
2334         bug #22242.
2335
2336 2008-02-07  Micah Cowan  <micah@cowan.name>
2337
2338         * progress.c (create_image): Remove assertion on exceeding
2339         screen width, which given the less-than-robust code there, can
2340         be broken by a number of factors (such as large file downloads).
2341
2342 2008-02-06  Micah Cowan  <micah@cowan.name>
2343
2344         * progress.c (countcols): Use strlen() when mbtowc or wcwidth
2345         not available (or not using NLS).
2346         * utils.c: Ensure we use single-byte separators when not doing
2347         NLS progress-bars.
2348         * wget.h: Determine whether to use NLS for progress-bars, based
2349         on whether wcwidth and mbtowc are available.
2350
2351 2008-02-03  Micah Cowan  <micah@cowan.name>
2352
2353         * progress.c (create_image): Use number of characters/columns
2354         consumed, rather than number of bytes, to determine how much of
2355         a line we've used. Fixes assertion errors and field alignment
2356         bugs (#22161, #20481)
2357         (get_eta, count_cols): Added to support the changes for
2358         create_image.
2359         * http.c (http_loop): Put no-clobber logic back into http_loop,
2360         before starting to fetch, for when we're not doing
2361         content-disposition.
2362
2363 2008-01-31  Micah Cowan  <micah@cowan.name>
2364
2365         * http.c (gethttp): Don't derive hs->contlen from possibly
2366         invalid/missing Content-Length; instead, get the appropriate
2367         value from the Content-Range header values.
2368         (parse_content_range): Handle '*' instance-length field.
2369
2370 2008-01-25  Micah Cowan  <micah@cowan.name>
2371
2372         * main.c: Added notes to translators regarding (C), diacritics
2373         in names.
2374         * Makefile.am, cmpt.c, connect.c, connect.h, convert.c,
2375         cookies.c, cookies.h, ftp-basic.c, ftp-ls.c, ftp-opie.c, ftp.c,
2376         ftp.h, gen-md5.c, gen-md5.h, gnutls.c, hash.c, hash.h, host.c,
2377         host.h, html-parse.c, html-parse.h, html-url.c, http-ntlm.c,
2378         http-ntlm.h, http.c, http.h, init.c, init.h, log.c, log.h,
2379         main.c, mswindows.c, mswindows.h, netrc.c, netrc.h, openssl.c,
2380         options.h, progress.c, progress.h, ptimer.c, ptimer.h, recur.c,
2381         recur.h, res.c, res.h, retr.c, retr.h, spider.c, spider.h,
2382         ssl.h, sysdep.h, test.c, test.h, url.c, url.h, utils.c,
2383         utils.h, wget.h, xmalloc.c, xmalloc.h: Updated copyright year.
2384
2385 2007-12-10  Micah Cowan  <micah@cowan.name>
2386
2387         * main.c: The option is --content-disposition, not
2388         --no-content-disposition (at the moment).
2389
2390 2007-12-08  Hrvoje Niksic  <hniksic@xemacs.org>
2391
2392         * ftp.c (ftp_retrieve_glob): Print both arguments of fnmatch in
2393         fnmatch error message.
2394         (ftp_retrieve_glob): Don't match with fnmatch if we're only
2395         supposed to get one file.
2396
2397 2007-12-07  Micah Cowan  <micah@cowan.name>
2398
2399         * Makefile.am: Plug in vars to include stuff from
2400         $(top_srcdir)/md5 when appropriate.
2401
2402 2007-12-05  Micah Cowan  <micah@cowan.name>
2403
2404         * utils.c (subdir_p): Handle the case where d1 is "".
2405         * convert.c (convert_all_links): Don't return without
2406         deallocating timer.
2407
2408 2007-11-28  Micah Cowan  <micah@cowan.name>
2409
2410         * Makefile.am, cmpt.c, connect.c, connect.h, convert.c,
2411         convert.h, cookies.c, cookies.h, ftp-basic.c, ftp-ls.c,
2412         ftp-opie.c, ftp.c, ftp.h, gen-md5.c, gen-md5.h, gnutls.c,
2413         hash.c, hash.h, host.c, host.h, html-parse.c, html-parse.h,
2414         html-url.c, http-ntlm.c, http-ntlm.h, http.c, http.h, init.c,
2415         init.h, log.c, log.h, main.c, mswindows.c, mswindows.h,
2416         netrc.c, netrc.h, openssl.c, options.h, progress.c, progress.h,
2417         ptimer.c, ptimer.h, recur.c, recur.h, res.c, res.h, retr.c,
2418         retr.h, safe-ctype.c, safe-ctype.h, spider.c, spider.h, ssl.h,
2419         sysdep.h, test.c, test.h, url.c, url.h, utils.c, utils.h,
2420         wget.h, xmalloc.c, xmalloc.h: Updated license exception for
2421         OpenSSL, per the SFLC.
2422
2423 2007-10-30  Micah Cowan  <micah@cowan.name>
2424
2425         * main.c (main): Declare argv parameter as char **argv, rather
2426         than char *const *argv. This fixes usage of getopt_long,
2427         regardless of whether getopt_long has a constified argv or not.
2428
2429 2007-10-22  Gisle Vanem  <gvanem@broadpark.no>
2430
2431         * mswindows.c: Move INHIBIT_WRAP macro definition up with wget.h
2432         inclusion.
2433
2434 2007-10-18  Steven Schweda  <sms@antinode.org>
2435
2436         * sysdep.h: #include <stdint.h> as well as <inttypes.h>, to work
2437         around a glitch on Tru64 systems.
2438
2439 2007-10-18  Micah Cowan  <micah@cowan.name>
2440
2441         * Makefile.am: version.c should not be distributed. Removed
2442         config-post.h. Add version.c dependency and gnulib include path
2443         for libunittest.a.
2444         * sysdep.h: Got contents of config-post.h
2445         * config-post.h: Removed.
2446         * wget.h: #include "config.h".
2447         * alloca.c, cmpt.c, connect.c, convert.c, cookies.c,
2448         ftp-basic.c, ftp-ls.c, ftp-opie.c, ftp.c, gen-md5.c, gnutls.c,
2449         hash.c, host.c, html-parse.c, html-url.c, http-ntlm.c, http.c,
2450         init.c, log.c, main.c, mswindows.c, netrc.c, openssl.c,
2451         progress.c, ptimer.c, recur.c, res.c, retr.c, spider.c, url.c,
2452         utils.c, xmalloc.c: Use wget.h at very top, and instead of
2453         config.h.
2454
2455 2007-10-15  Micah Cowan  <micah@cowan.name>
2456
2457         * Makefile.am: Remove intermediary hg-id file generation, make
2458         version.c-generation more portable.
2459
2460 2007-10-14  Micah Cowan  <micah@cowan.name>
2461
2462         * cmpt.c, cookies.c, ftp-basic.c, ftp-ls.c, ftp.c, hash.c,
2463         host.c, html-parse.c, html-url.c, http-ntlm.c, http.c, init.c,
2464         log.c, main.c, netrc.c, openssl.c, res.c, url.c, utils.c,
2465         wget.h: Replace uses of ISSPACE, etc with c_isspace, etc.
2466         * gnu-md5.c, gnu-md5.h: Removed, in deference to gnulib.
2467         * Makefile.am: Removed gnu-md5.h from wget_SOURCES.
2468         * gen-md5.c: Changed #inclusion of gnu-md5.h to md5.h (gnulib's).
2469         * recur.c (download_child_p): Print error if unlink of
2470         robots.txt fails.
2471         * main.c (main): --spider or --delete-after now implies
2472         --no-directories (thanks, Josh Williams).
2473
2474 2007-10-14  Joshua David Williams  <yurimxpxman@gmail.com>
2475
2476         * recur.c (download_child_p): Remove robots.txt if
2477         --delete-after or --spider is on.
2478
2479 2007-10-13  Micah Cowan  <micah@cowan.name>
2480
2481         * Makefile.am: Make version.c depend on Wget dependencies (source
2482         files, plus such things as LIBOBJS so we get things like
2483         http-ntlm.c). Removed getopt.[ch], as we're now using gnulib for
2484         these.
2485
2486 2007-10-10  Micah Cowan  <micah@cowan.name>
2487
2488         * http-ntlm.c: Include openssl/opensslv.h explicitly, instead of
2489         hoping it'll be included by accident in openssl/des.h.
2490
2491 2007-10-09  Gisle Vanem  <gvanem@broadpark.no>
2492
2493         * mswindows.c: 'argc' and 'argv' in 'windows_main()' are no longer
2494         needed.  Hence simply the prototype. Free 'exec_name' at exit.
2495
2496 2007-10-09  Micah Cowan  <micah@cowan.name>
2497
2498         * gettext.h: Imported from /usr/share/gettext, fuller handling
2499         of --disable-nls.
2500         * wget.h: Remove logic for handling lack of NLS (now in
2501         gettext.h).
2502         * main.c: Use gettext's ENABLE_NLS rather than HAVE_NLS.
2503         * Makefile.am: added @LIBINTL@ to LIBS (though it probably
2504         belongs in LDADD, along with everything else currently assigned
2505         to LIBS).
2506
2507 2007-10-08  Micah Cowan  <micah@cowan.name>
2508
2509         * http.c (http_loop): Add send_head_first conditional back
2510         around code that needs it, but not around the last-modified
2511         header-parsing stuff this time. Removed no-longer-useful (was it
2512         ever?) restart_loop boolean, continuing unconditionally at end
2513         of send_head_first conditional block (if we haven't jumped out).
2514
2515 2007-10-04  Micah Cowan  <micah@cowan.name>
2516
2517         * http.c (http_loop): We've got_name if content_disposition
2518         support isn't on; make sure we continue properly in that case,
2519         even though we're not sending HEAD.
2520         * Makefile.in: Removed, replaced by Makefile.am.
2521         * Makefile.am: Converted from Makefile.in.
2522
2523 2007-10-02  Gisle Vanem  <gvanem@broadpark.no>
2524
2525         * ftp.c: Use "_listing" for MSDOS (".listing" is illegal).
2526
2527         * url.c: Update comment for 'filechr_not_windows'.
2528
2529         * utils.c: Include <process.h> for 'getpid()' on Watcom.
2530
2531 2007-10-02  Micah Cowan  <micah@cowan.name>
2532
2533         * ftp.c (getftp, ftp_loop_internal), http.c (http_loop), main
2534         (main): Use datetime_str instead of time_str, for those who have
2535         potentially long-running sessions. Based on suggestions by Saso
2536         Tomat <miskox@hotmail.com> and Steven M. Schweda
2537         <sms@antinode.org>.
2538         * http.c (gethttp): Warn about host lookup failures. Adjusted
2539         from Stephen Gildea's patch.
2540
2541 2007-10-02  Stephen Gildea  <stepheng+wget@gildea.com>
2542
2543         * connect.c (connect_to_host): Warn about host lookup failures.
2544
2545 2007-09-25  Micah Cowan  <micah@cowan.name>
2546
2547         * Makefile.in: Use EXEEXT instead of exeext.
2548
2549 2007-09-24  Gisle Vanem  <giva@bgnett.no>
2550
2551         * connect.c, init.c, main.c, openssl.c, options.h, sysdep.h,
2552         url.c, utils.c: Added support for building on MS-DOS.
2553
2554 2007-09-24  Jochen Roderburg  <roderburg@uni-koeln.de>
2555
2556         * http.c (http_zero): Remove no-longer-used local_size variable.
2557         Fixes bug #21057.
2558
2559 2007-09-12  Micah Cowan  <micah@cowan.name>
2560
2561         * http.c (http_loop): Remove send_head_first from condition for
2562         parsing timestamp.
2563
2564 2007-08-29  Micah Cowan  <micah@cowan.name>
2565
2566         * openssl.c (ssl_init): Re un-const-ified the meth local
2567         variable, to match current versions of openssl.
2568         * spider.c: Removed visited_url function, as it may be very
2569         inefficient.
2570         (print_broken_links): Removed traversal of referrers, until such
2571         time as a more efficient implementation can be written.
2572         * spider.h: Replaced declaration of visited_url with an
2573         empty-bodied, function-like macro.
2574
2575 2007-08-27  Gisle Vanem  <giva@bgnett.no>
2576
2577         * mswindows.c (run_with_timeout): Ensure that the correct
2578         conversion specification is used for the return result of
2579         the GetLastError function.
2580         * getopt.c: Fix missing (but, accidentally, legal) comment
2581         delimiter after licensing text.
2582         * recur.c (retrieve_tree): Inserted missing cast for strip_auth.
2583         Includes adjustment by Ralf Wildenhues.
2584         * openssl.c (ssl_init): const-ified the meth local variable.
2585         * main.c: Include all the static function definitions in the
2586         "#ifndef TESTING" clause, leaving just the definitions for
2587         exec_name (not set), and opt.
2588         * utils.c (run_with_timeout): Now returns bool, to align with
2589         declaration in utils.h.
2590
2591 2007-08-27  Micah Cowan  <micah@cowan.name>
2592
2593         * wget.h: Added macro replacement for ngettext, for environs
2594         that lack NLS.
2595
2596 2007-08-26  Micah Cowan  <micah@cowan.name>
2597
2598         * spider.c (print_broken_links): Fixed incorrect plurals msgid
2599         usage, switched to use ngettext function.
2600
2601 2007-08-24  Micah Cowan  <micah@cowan.name>
2602
2603         * http.c (http_loop): Introduced time_came_from_head boolean
2604         flag, to help avoid parsing the same Last-Modified header twice.
2605         Replaced spidering returns of RETRUNNEEDED for some situations,
2606         to RETROK, as otherwise it will be interpreted as an error.
2607         RETRUNNEEDED appears never to be referenced outside of
2608         http.c (and wget.h), and, when returned by gethttp, is
2609         translated by http_loop to RETROK.
2610         * url.c (are_urls_equal): Don't call getchar_from_escaped_string
2611         if u2 is shorter than u1.
2612         (getchar_from_escaped_string): Don't decode reserved characters.
2613         Handle illegally appearing '%'s as literal '%'s. Ensure hex
2614         digits before attempting to decode.
2615         (test_are_urls_equal): Added tests to handle u2 shorter than u1,
2616         and %2f not treated the same as /.
2617         * spider.c (in_url_list_p): Don't call are_urls_equal if one of
2618         them is NULL.
2619
2620 2007-08-23  Joshua David Williams  <yurimxpxman@gmail.com>
2621
2622         * spider.c (in_url_list_p): Removed the bool verbose argument
2623
2624 2007-08-22  Mauro Tortonesi  <mauro@ferrara.linux.it>
2625
2626         * http.c (http_loop): Fall back to GET if HEAD fails with a 500 or 501
2627         error code.
2628
2629 2007-08-21  Mauro Tortonesi  <mauro@ferrara.linux.it>
2630
2631         * http.c (http_loop): Send preliminary HEAD request if -N is given and
2632         the destination file exists already.
2633
2634 2007-08-10  Mauro Tortonesi  <mauro@ferrara.linux.it>
2635
2636         * http.c (http_loop): Fixed HTTP HEAD requests logic when --spider is
2637         given.
2638
2639 2007-08-10  Ralf Wildenhues  <Ralf.Wildenhues@gmx.de>
2640
2641         * url.c (append_uri_pathel): Do not assume dest string to be
2642         zero-terminated.
2643         (test_append_uri_pathel): Terminate string to fix test failure.
2644
2645 2007-08-09  Ralf Wildenhues  <Ralf.Wildenhues@gmx.de>
2646
2647         * url.c (url_string): Use comparison, not assignment, in
2648         check for auth_mode == URL_AUTH_HIDE_PASSWD.
2649
2650 2007-08-09  Micah Cowan  <micah@cowan.name>
2651
2652         * http.c (http_loop): If we got a HEAD and then a GET, and the
2653         GET had a timestamp, use that one, not any we may have gotten
2654         from the HEAD.
2655
2656 2007-08-08  Micah Cowan  <micah@cowan.name>
2657
2658         * init.c (defaults): Content disposition will not be default,
2659         since it currently results in extra round-trips.
2660
2661 2007-07-31  Micah Cowan  <micah@cowan.name>
2662
2663         * http.c (gethttp): Set contlen = -1 when we encounter a
2664         negative-valued Content-Length header, so we don't consider it
2665         an internal error later on and call abort().
2666
2667 2007-07-29  Micah Cowan  <micah@cowan.name>
2668
2669         * url.h, url.c (url_string): Replaced bool arg of the url_string
2670         function with enum url_auth_mode, with added option to
2671         completely remove user/pass auth information.
2672         * http.c, ftp.c, url.c, recur.c: Adapted call to url_string
2673         function to fit new usage.
2674         * recur.c (retrieve_tree): Remove auth info from Referer header.
2675
2676 2007-07-28  Micah Cowan  <micah@cowan.name>
2677
2678         * options.h, init.c, retr.c, main.c: renamed opt maxredirect
2679         field to max_redirect, for improved consistency.
2680         * init.c: changed max_redirect parser from cmd_number_inf to
2681         cmd_number, as infinite redirects may not be appropriate.
2682         Alternatively, if cmd_number_inf should be used, then
2683         opt.max_redirect's value should be checked a bit differently in
2684         retr.c, to allow for the "infinite" meaning of zero.
2685
2686 2007-07-25  Micah Cowan  <micah@cowan.name>
2687
2688         * http.c (create_authorization_line)
2689         (basic_authentication_encode, known_authentication_scheme_p)
2690         (load_cookies): Moved declarations up.
2691         (basic_authed_hosts): Added. Tracks what hosts have issued Basic
2692         challenge and been given the global username, password.
2693         (maybe_send_basic_creds): Added. Sends Basic creds for hosts that
2694         have issued Basic challenges.
2695         (register_basic_auth_host): Added. Instantiates
2696         basic_authed_hosts if necessary, then registers the host that
2697         has issued a challenge.
2698         (gethttp) <auth>: Only send authentication credentials after
2699         we've received a challenge from that host. This is a stop-gap
2700         fix until a proper fix can be implemented; still isn't quite
2701         right, as we should only be sending credentials automatically
2702         for authenticated paths and below, and not for the entire host.
2703
2704 2007-07-16  Joshua David Williams  <yurimxpxman@gmail.com>
2705
2706         * options.h: added maxredirect to options struct
2707         * init.c: added maxredirect to list of variables
2708         * retr.c (retrieve_url): replaced MAX_REDIRECTIONS with opt.maxredirect
2709         * main.c: added option --max-redirect
2710
2711 2007-07-16  Joshua David Williams  <yurimxpxman@gmail.com>
2712
2713         * test.h: tests made more verbose; now displays the name
2714         of each test run.
2715
2716 2007-07-10  Mauro Tortonesi  <mauro@ferrara.linux.it>
2717
2718         * http.c (http_loop): Fixed the HTTP requests logic. Now it skips the
2719         preliminary HEAD request if either -O or --no-content-disposition are
2720         given, and neither --spider and -N are given.
2721
2722 2007-07-05  Micah Cowan  <micah@cowan.name>
2723
2724         * cmpt.c, connect.c, connect.h, convert.c, convert.h:
2725         * cookies.c, cookies.h, ftp-basic.c, ftp.c, ftp.h, ftp-ls.c:
2726         * ftp-opie.c, gen-md5.c, gen-md5.h, getopt.c, getopt.h, gnu-md5.c:
2727         * gnu-md5.h, gnutls.c, hash.c, hash.h, host.c, host.h:
2728         * html-parse.c, html-parse.h, html-url.c, http.c, http.h:
2729         * http-ntlm.c, http-ntlm.h, init.c, init.h, log.c, log.h, main.c:
2730         * Makefile.in, mswindows.c, mswindows.h, netrc.c, netrc.h:
2731         * openssl.c, options.h, progress.c, progress.h, ptimer.c:
2732         * ptimer.h, recur.c, recur.h, res.c, res.h, retr.c, retr.h:
2733         * safe-ctype.c, safe-ctype.h, spider.c, spider.h, ssl.h, sysdep.h:
2734         * test.c, test.h, url.c, url.h, utils.c, utils.h, wget.h:
2735         * xmalloc.c, xmalloc.h:
2736         Updated GPL reference to version 3 or later, removed FSF
2737         address.
2738
2739 2007-07-04  Mauro Tortonesi  <mauro@ferrara.linux.it>
2740
2741         * http.c (http_loop): Skip HEAD request and start immediately with GET
2742         if -O is given.
2743
2744 2007-02-02  Hrvoje Niksic  <hniksic@xemacs.org>
2745
2746         * http.c (print_server_response): Escape non-printable characters
2747         in server respone.
2748
2749 2007-02-02  Hrvoje Niksic  <hniksic@xemacs.org>
2750
2751         * netrc.c: Don't make netrc_list static, as it prevents
2752         compilation with DEBUG_MALLOC.
2753
2754         * utils.c (aprintf): Don't use vasprintf when DEBUG_MALLOC is
2755         requested because, in that case, we want the calls to malloc to be
2756         coming from us.
2757
2758 2007-01-23  Hrvoje Niksic  <hniksic@xemacs.org>
2759
2760         * cookies.c (parse_set_cookie): Would erroneously discard cookies
2761         with unparsable expiry time.
2762
2763 2007-01-23  Hrvoje Niksic  <hniksic@xemacs.org>
2764
2765         * progress.c (create_image): Check for ETA overflow.
2766         (print_row_stats): Ditto.
2767
2768 2007-01-09  Mauro Tortonesi  <mauro@ferrara.linux.it>
2769
2770         * init.c (cmd_spec_prefer_family): Small fix to get rid of a gcc
2771         warning about strict-aliasing violation.
2772
2773 2007-01-09  Steven M. Schweda  <sms@antinode.org>
2774
2775         * ftp-basic.c (ftp_syst): Fixed segfault if response text is missing.
2776
2777 2006-12-29  Gisle Vanem  <giva@bgnett.no>
2778
2779         * mswindows.c: Avoid a warning if 'ws_hangup()' is unused.
2780
2781 2006-12-27  Mauro Tortonesi  <mauro@ferrara.linux.it>
2782
2783         * http.c (parse_content_disposition): Consider directory prefix, if
2784         specified.
2785
2786 2006-11-21  Hrvoje Niksic  <hniksic@xemacs.org>
2787
2788         * retr.c (retrieve_from_file): Ditto.
2789         (url_uses_proxy): New function.
2790
2791         * main.c (main): Don't check for opt.use_proxy when deciding
2792         whether to call retrieve_url or retrieve_tree; check whether the
2793         proxy would be used for *this* URL.
2794
2795 2006-10-17  Mike Grant  <mggr@pml.ac.uk>
2796
2797         * ftp.c (ftp_loop_internal): Would incorrectly skip changing
2798         working directory when retrying after a failed FTP attempt.
2799         Originally reported by Nate Eldredge.
2800
2801 2006-10-12  Mauro Tortonesi  <mauro@ferrara.linux.it>
2802
2803         * convert.c (downloaded_file): Fixed bug which used to break -E -k -K
2804         mode.
2805
2806 2006-08-28  Mauro Tortonesi  <mauro@ferrara.linux.it>
2807
2808         * http.c: #include'd spider.h to get rid of compiler warnings.
2809
2810         * main.c: Ditto.
2811
2812         * recur.c: Ditto.
2813
2814 2006-08-24  Mauro Tortonesi  <mauro@ferrara.linux.it>
2815
2816         * Makefile.in: Added spider.c to the list of files to compile and
2817         spider.h to the list of header files. Updated copyright information.
2818
2819         * http.c: Major changes to recursive spider mode. Now for every
2820         resource we are supposed to check, we send a HEAD request to find out
2821         if it exists. If the resource is a HTML file, we retrieve it and parse
2822         it to discover links to other resources.
2823
2824         * recur.c: Ditto.
2825
2826         * res.c (res_retrieve_file): Disable opt.timestamping and opt.spider
2827         when retrieving robots.txt. Updated copyright information.
2828
2829         * convert.c: Moved code tracking broken links to spider.c.
2830
2831         * convert.h: Ditto.
2832
2833         * spider.c: Created new file to keep track of visited URLs in spider
2834         mode.
2835
2836         * spider.h: Ditto.
2837
2838 2006-08-21  Mauro Tortonesi  <mauro@ferrara.linux.it>
2839
2840         * http.c: Fixed timestamping-related bug.
2841
2842 2006-08-16  Mauro Tortonesi  <mauro@ferrara.linux.it>
2843
2844         * http.c: Fixed bug which broke --continue feature. Now if -c is
2845         given, http_loop sends a HEAD request to find out the destination
2846         filename before resuming download.
2847
2848 2006-08-08  Hrvoje Niksic  <hniksic@xemacs.org>
2849
2850         * utils.c (datetime_str): Avoid code repetition with time_str.
2851
2852 2006-07-21  Hrvoje Niksic  <hniksic@xemacs.org>
2853
2854         * init.c (commands): Correctly place "contentdisposition".
2855
2856 2006-07-14  Mauro Tortonesi  <mauro@ferrara.linux.it>
2857
2858         * sysdep.h: If intptr_t isn't defined, simply typedef it to long.
2859
2860         * http.c: Added explicit cast to int in logprintf call to remove
2861         compiler warnings on 64-bit platforms.
2862
2863         * connect.c: Added a few casts to intptr_t to remove compiler warnings
2864         on 64-bit platforms.
2865
2866         * main.c: Disable -r, -p and -N when -O is used. Disable -k when -O is
2867         used and multiple URLs are given. Update maintainer information.
2868
2869         * all: Update copyright information.
2870
2871 2006-07-10  KJKHyperion  <hackbunny@reactos.com>
2872
2873         * url.c (filechr_table): Mark DEL (0x7f) as a control character
2874         and | as a character Windows can't handle.
2875
2876 2006-06-28  Mauro Tortonesi  <mauro@ferrara.linux.it>
2877
2878         * res.c: Implemented is_robots_txt_url function for detection of
2879         robots.txt URLs and related test routine.
2880
2881         * res.h: Ditto.
2882
2883         * url.c: Implemented are_urls_equal function for URL comparison and
2884         related testing routine.
2885
2886         * url.h: Ditto.
2887
2888         * convert.c: Fixes for recursive spider mode: don't consider
2889         non-existing robots.txt as a broken link, and use are_urls_equal
2890         instead of strcasecmp for referrer URLs comparison.
2891
2892         * test.c: Call tests routines for are_urls_equal and
2893         is_robots_txt_url.
2894
2895 2006-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
2896
2897         * wget.h (wgint): Typedef to any 64-bit (or larger) type we can
2898         find, not necessarily off_t or long.
2899
2900 2006-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
2901
2902         * cmpt.c (strtoll): Check for overflow and underflow without
2903         relying on (technically) undefined behavior.  Don't assume that
2904         strtoll_type is 64 bits wide.
2905
2906 2006-06-21  Hrvoje Niksic  <hniksic@xemacs.org>
2907
2908         * utils.c (base64_encode): Cast void pointer to char * before
2909         doing arithmetic.
2910
2911 2006-06-20  Hrvoje Niksic  <hniksic@xemacs.org>
2912
2913         * utils.c (base64_encode): Made TBL const.
2914         (base64_decode): Made the base64_char_to_value table const.
2915
2916 2006-06-19  Hrvoje Niksic  <hniksic@xemacs.org>
2917
2918         * utils.c (base64_encode): Made the DATA pointer void * so the
2919         callers can pass it any kind of pointer (including both signed and
2920         unsigned char pointers).
2921         (base64_decode): Ditto for DEST.
2922
2923 2006-06-19  Hrvoje Niksic  <hniksic@xemacs.org>
2924
2925         * utils.c (base64_encode): Would read past end of STR.
2926         Reported by rick@eckle.org.
2927
2928 2006-06-13  Mauro Tortonesi  <mauro@ferrara.linux.it>
2929
2930         * options.h (struct options): Introduced member restrict_files_case to
2931         keep track of preferences on character case restrictions for
2932         filenames.
2933
2934         * init.c: Modified defaults and cmd_spec_restrict_file_names to
2935         support character case restrictions for filenames. Added
2936         test_cmd_spec_restrict_file_names unit test.
2937
2938         * url.c: Modified append_uri_pathel to support character case
2939         restrictions for filenames. Added test_append_uri_pathel unit test.
2940
2941         * test.c: Added test_cmd_spec_restrict_file_names and
2942         test_append_uri_pathel to the list of unit tests to run.
2943
2944 2006-06-12  Mauro Tortonesi  <mauro@ferrara.linux.it>
2945
2946         * retr.c (retrieve_from_file): Use retrieve_tree and automatically
2947         turn on opt.follow_ftp in case of recursive FTP retrieval through HTTP
2948         proxy.
2949
2950         * main.c: Automatically turn on opt.follow_ftp in case of recursive
2951         FTP retrieval through HTTP proxy.
2952
2953 2006-06-12  Tony Lewis  <tlewis@exelana.com>
2954
2955         * main.c: Improved CHEN Peng's patch by proposing a simpler logic.
2956
2957 2006-06-12  CHEN Peng  <chenpeng@alumni.nus.edu.sg>
2958
2959         * main.c: Use retrieve_tree in case of recursive FTP retrieval through
2960         HTTP proxy.
2961
2962 2006-05-25  Mauro Tortonesi  <mauro@ferrara.linux.it>
2963
2964         * convert.c: Added mechanisms to keep track broken links.
2965
2966         * convert.h: Ditto.
2967
2968         * wget.h: Reordered and enumerated uerr_t constants.
2969
2970         * recur.c: Fixes to support recursive spider mode.
2971
2972         * http.c: Ditto.
2973
2974         * main.c: Print broken links in case of recursive spider mode.
2975
2976         * retr.c: Changed interface of retrieve_url.
2977
2978         * retr.h: Ditto.
2979
2980         * ftp.c: Changed interface of ftp_loop.
2981
2982         * ftp.h: Ditto.
2983
2984         * res.c: Minor change to reflect changes in interface of retrieve_url.
2985
2986 2006-05-18  Lawrence Jones  <lawrence.jones@ugs.com>
2987
2988         * ftp-ls.c (ftp_parse_unix_ls): Correct size parsing, add size
2989         and filename debugging output.
2990
2991 2006-04-28  Mauro Tortonesi  <mauro@ferrara.linux.it>
2992
2993         * http.c: If Content-Disposition header is present, allow unique
2994         filename generation unless -nc is given. Permit to disable parsing of
2995         Content-Disposition header.
2996
2997         * options.h: Added option --no-content-disposition to disable parsing
2998         of HTTP Content-Disposition header.
2999
3000         * init.c: Ditto.
3001
3002         * main.c: Ditto.
3003
3004 2006-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
3005
3006         * hash.c (TOLOWER): Wrap macro arg in parentheses.
3007
3008 2006-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
3009
3010         * http.c (parse_content_disposition): Doc fix.
3011
3012 2006-03-15  Mauro Tortonesi  <mauro@ferrara.linux.it>
3013
3014         * utils.c: Restricted operational semantics of frontcmp and proclist
3015         from generic strings to directory names and them to subdir_p and
3016         dir_matches_p respectively.  Applied George Ogata's one line patch to
3017         restrict algorithm of subdir_p to full directory name matching.  Added
3018         testcases for subdir_p and dir_matches_p.
3019
3020         * utils.h: Changed all frontcmp occurrences to subdir_p.
3021
3022         * recur.c: Ditto.
3023
3024         * test.c: Changed type returned by test functions from char * to const
3025         char *.  Added test_subdir_p and test_dir_matches_p to the list of
3026         tests to run.
3027
3028         * http.c (test_parse_content_disposition): Changed return type from
3029         char * to const char *.
3030
3031 2006-03-14  Mauro Tortonesi  <mauro@ferrara.linux.it>
3032
3033         * recur.c (struct queue_element): Changed type of html_allowed member
3034         to bool.
3035
3036 2006-03-09  Mauro Tortonesi  <mauro@ferrara.linux.it>
3037
3038         * ftp.c (ftp_list): Try `LIST -a' command first and revert to `LIST'
3039         in case of failure.
3040
3041 2006-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
3042
3043         * hash.c (TOLOWER): Fix definition when STANDALONE.
3044         Reported by Beni Serfaty.
3045
3046 2006-03-02  Mauro Tortonesi  <mauro@ferrara.linux.it>
3047
3048         * http.c (http_loop): Fixed recursive HTTP retrieval.
3049
3050 2006-02-28  Hrvoje Niksic  <hniksic@xemacs.org>
3051
3052         * http.c (extract_param): Declare extern so it can be used from
3053         other files.
3054         (extract_param): Return error for empty name.
3055
3056 2006-02-28  Hrvoje Niksic  <hniksic@xemacs.org>
3057
3058         * url.c (find_last_char): Define in terms of memrchr.
3059
3060         * cmpt.c (memrchr): Define it on systems that don't have it.
3061
3062         * http.c (extract_param): New function for parsing header values
3063         with parameters.
3064         (parse_content_disposition): Use it.  Don't allow slashes and
3065         backslashes in the file name.
3066
3067 2006-02-27  Hrvoje Niksic  <hniksic@xemacs.org>
3068
3069         * url.c (path_simplify): Don't preserve ".." at beginning of path.
3070         Suggested by Frank McCown.
3071
3072 2006-02-25  Hrvoje Niksic  <hniksic@xemacs.org>
3073
3074         * http.c (gethttp): Only use FILE.N.html if FILE.html exists.
3075
3076 2006-02-09  Hrvoje Niksic  <hniksic@xemacs.org>
3077
3078         * mswindows.c (run_with_timeout): Made thread_hnd non-static.
3079
3080 2006-02-05  Hrvoje Niksic  <hniksic@xemacs.org>
3081
3082         * retr.c (sleep_between_retrievals): Sleep at a minimum of 1/2 of
3083         the specified wait period.
3084
3085 2006-02-03  Hrvoje Niksic  <hniksic@xemacs.org>
3086
3087         * utils.c (number_to_string): Don't use sprintf for printing
3088         WGINT_MIN; simply divide n by 10 and defer printing the last
3089         digit.
3090         (number_to_string): Removed the SPRINTF_WGINT macro.
3091
3092 2006-02-03  Mauro Tortonesi  <mauro@ferrara.linux.it>
3093
3094         * http.c: Fixed support for Content-Disposition header.
3095
3096         * test.c: Added test_parse_content_disposition to the list of unit
3097         tests to run.
3098
3099 2006-02-02  Hrvoje Niksic  <hniksic@xemacs.org>
3100
3101         * hash.c: Don't define countof if it's already defined.
3102
3103         * hash.c: Obtain the definition of uintptr_t when standalone.
3104
3105 2006-01-30  Mauro Tortonesi  <mauro@ferrara.linux.it>
3106
3107         * http.c: Changed output format. Removed excessively verbose debugging
3108         output.
3109
3110 2005-12-07  Mauro Tortonesi  <mauro@ferrara.linux.it>
3111
3112         * http.c: Fixed pre-download verbose output which was broken by
3113         HTTP code refactoring.
3114
3115 2005-11-23  Mauro Tortonesi  <mauro@ferrara.linux.it>
3116
3117         * http.c: Refactored HTTP code.  If -O is not used, the new code
3118         delays the choice of the file name where the downloaded resource
3119         will be saved until the HTTP headers have been retrieved.
3120         Added support for Content-Disposition header.
3121
3122 2005-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
3123
3124         * hash.c (INVALID_PTR): Use uintptr_t instead of unsigned long.
3125         (hash_pointer): Don't assume a pointer fits in `unsigned long'.
3126
3127 2005-11-02  Mauro Tortonesi  <mauro@ferrara.linux.it>
3128
3129         * Makefile.in: Removed support for unit testing (now it is in
3130         tests/Makefile.in).
3131
3132 2005-10-27  Mauro Tortonesi  <mauro@ferrara.linux.it>
3133
3134         * Makefile.in: Added basic support for unit testing.
3135
3136         * test.c: Ditto.
3137
3138         * test.h: Ditto.
3139
3140 2005-10-13  Daniel Stenberg  <daniel@haxx.se>
3141
3142         * http-ntlm.c (ntlm_output): Fixed buffer overflow vulnerability.
3143
3144 2005-10-09  Russ Allbery  <rra@stanford.edu>
3145
3146         * snprintf.c: Remove round to round_int and pow10 to pow10_int, to
3147         avoid warnings from GCC 4.0.
3148
3149 2005-10-05  Mauro Tortonesi  <mauro@ferrara.linux.it>
3150
3151         * retr.c: Changed semantics of no_proxy_match.
3152
3153 2005-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
3154
3155         * main.c (main): Don't print the summary if nothing has been downloaded.
3156
3157 2005-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
3158
3159         * retr.c (retr_rate): Rename parameter from MSECS to SECS since it
3160         no longer holds milliseconds.
3161
3162 2005-09-01  Hrvoje Niksic  <hniksic@xemacs.org>
3163
3164         * progress.c: Introduce symbolic constants for "magic" values of
3165         0.2 and 0.9, REFRESH_INTERVAL and ETA_REFRESH_INTERVAL.
3166
3167 2005-08-27  Hrvoje Niksic  <hniksic@xemacs.org>
3168
3169         * cmpt.c (strtoll): Correctly handle strtoll("0x", ptr, 0) and
3170         strtoll("0x<nonhexchar>", ptr, 0) -- in both cases *ptr must be
3171         set to the position of 'x', not after it.
3172
3173 2005-08-27  Hrvoje Niksic  <hniksic@xemacs.org>
3174
3175         * hash.c (hash_table_map): Rename to hash_table_for_each and
3176         update callers.
3177         Document the meaning of the callback's return value.
3178         (hash_table_iterate): New function.
3179         (hash_table_iter_next): Likewise.
3180         Update most places that used hash_table_for_each to use the
3181         iteration, which doesn't require a temporary function with
3182         explicit state management.
3183
3184 2005-08-26  Albert Chin  <wget@mlists.thewrittenword.com>
3185
3186         * Makefile.in: Use @datadir@.  Define localedir as $(datadir)/locale.
3187
3188 2005-08-26  Jeremy Shapiro  <jnshapiro@gmail.com>
3189
3190         * openssl.c (ssl_init): Set SSL_MODE_AUTO_RETRY.
3191
3192 2005-08-23  Hrvoje Niksic  <hniksic@xemacs.org>
3193
3194         * host.c (address_list_from_ipv4_addresses): Use IP_INADDR_DATA.
3195
3196 2005-08-12  Hrvoje Niksic  <hniksic@xemacs.org>
3197
3198         * wget.h: Renamed strtoll_return to strtoll_type.
3199
3200 2005-08-11  Hrvoje Niksic  <hniksic@xemacs.org>
3201
3202         * progress.c (eta_to_human_short): Switch to days when printing
3203         more than 48h rather than 100h.  (It's not immediately apparent
3204         how many days there are in 83h.)
3205
3206 2005-08-11  Hrvoje Niksic  <hniksic@xemacs.org>
3207
3208         * cmpt.c (strtoll): Define it if missing on the system and if Wget
3209         needs it.
3210
3211         * mswindows.c (str_to_int64): Move to cmpt.c and rename to strtoll.
3212
3213 2005-08-10  Hrvoje Niksic  <hniksic@xemacs.org>
3214
3215         * host.c (print_address): Always use inet_ntop when IPv6 is
3216         enabled.
3217
3218         * host.h (ip_address): Simplify the data union.
3219
3220 2005-08-09  Hrvoje Niksic  <hniksic@xemacs.org>
3221
3222         * mswindows.c (inet_ntop): Also handle IPv4 addresses for
3223         completeness.
3224
3225 2005-08-09  Hrvoje Niksic  <hniksic@xemacs.org>
3226
3227         * http.c (gethttp): Don't read more than the amount of data
3228         specified by the content-length header.
3229
3230 2005-08-09  Vasil Dimov  <vd@datamax.bg>
3231
3232         * ftp.c (getftp): Don't free RESPLINE if ftp_response returns a
3233         status other than FTPOK.
3234
3235 2005-08-04  Giuseppe Bonacci  <g.bonacci@libero.it>
3236
3237         * ftp-ls.c (ftp_parse_unix_ls): Remember the position of the
3238         previous token instead of backtracking back to it.
3239
3240 2005-07-08  Gisle Vanem  <giva@bgnett.no>
3241
3242         * mswindows.h: Include process.h to get getpid() declaration.
3243
3244 2005-07-08  Hrvoje Niksic  <hniksic@xemacs.org>
3245
3246         * utils.c (aprintf): Use vasprintf where available.
3247
3248 2005-07-08  Hrvoje Niksic  <hniksic@xemacs.org>
3249
3250         * url.c (rewrite_shorthand_url): Simplify code using aprintf and
3251         strspn.
3252
3253 2005-07-07  Hrvoje Niksic  <hniksic@xemacs.org>
3254
3255         * gnutls.c (ssl_check_certificate): Check for the validity of the
3256         presented X509 certificate.
3257
3258 2005-07-07  Hrvoje Niksic  <hniksic@xemacs.org>
3259
3260         * openssl.c (ssl_check_certificate): Print custom error messages
3261         for frequent X509 certificate problems.
3262
3263 2005-07-07  Hrvoje Niksic  <hniksic@xemacs.org>
3264
3265         * mswindows.h: Define an alias for stat and fstat, as requested by
3266         config-compiler.h.
3267         (gai_strerror): Define to windows_strerror if NEED_GAI_STRERROR is
3268         defined.
3269
3270 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
3271
3272         * mswindows.h: Use strtoll where available.
3273
3274 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
3275
3276         * sysdep.h: Add a full declaration of fnmatch.h.
3277
3278 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
3279
3280         * utils.c: Unconditionally include <setjmp.h>.
3281
3282 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
3283
3284         * utils.c (fnmatch_nocase): New function.
3285         (proclist): Use it instead of fnmatch when opt.ignore_case is
3286         requested.
3287         (in_acclist): Respect opt.ignore_case.
3288         (frontcmp): Respect opt.ignore_case.
3289
3290         * options.h (struct options): New flag opt.ignore_case.
3291
3292 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
3293
3294         * ptimer.c: Measure time in seconds rather than milliseconds.
3295         Adjusted all callers.
3296
3297 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
3298
3299         * http.c (gethttp): When freeing MESSAGE, take into account that
3300         it can be NULL.
3301
3302 2005-07-05  Hrvoje Niksic  <hniksic@xemacs.org>
3303
3304         * cmpt.c (timegm): Handle years after 2099.
3305
3306 2005-07-05  Hrvoje Niksic  <hniksic@xemacs.org>
3307
3308         * cmpt.c (timegm): Remove unused variable.
3309
3310 2005-07-05  Hrvoje Niksic  <hniksic@xemacs.org>
3311
3312         * cmpt.c (timegm): Don't call mktime; simply count the seconds
3313         between 1970-01-01 and the specified date.
3314
3315 2005-07-05  Hrvoje Niksic  <hniksic@xemacs.org>
3316
3317         * wget.h (or): Define HAVE_SSL when either HAVE_OPENSSL or
3318         HAVE_GNUTLS are defined.
3319
3320         * gnutls.c: New file.
3321
3322 2005-07-05  Hrvoje Niksic  <hniksic@xemacs.org>
3323
3324         * http.c (gethttp): Don't print the request write error message
3325         twice.
3326
3327 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
3328
3329         * openssl.c (openssl_errstr): Instead of always using a large
3330         static buffer, only allocate the error string when there is an
3331         actual error.
3332
3333 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
3334
3335         * xmalloc.c (debugging_free): Prefix hex pointer value with "0x"
3336         when printing.
3337
3338 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
3339
3340         * utils.c (NEXT_BASE64_CHAR): Rename to NEXT_CHAR and simplify to
3341         get the next non-whitespace character.
3342
3343 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
3344
3345         * utils.c (base64_decode): Don't silently tolerate non-base64
3346         non-white-space characters in the base64 stream.
3347
3348 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
3349
3350         * connect.c (LAZY_RETRIEVE_INFO): Make last_tick unsigned to match
3351         transport_map_modified_tick.
3352
3353 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
3354
3355         * config-post.h (alloca): Updated declaration to not enumerate all
3356         Windows compilers.
3357
3358 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
3359
3360         * openssl.c (openssl_errstr): Separate error messages with "; ".
3361
3362 2005-07-03  Hrvoje Niksic  <hniksic@xemacs.org>
3363
3364         * ftp.c (getftp): Ditto.
3365
3366         * http.c (gethttp): Use fd_errstr.
3367
3368         * connect.c (fd_register_transport): Restructure parameters to
3369         include only a single structure that describes transport
3370         implementation.
3371
3372         * openssl.c (openssl_errstr): New function: dump SSL error strings
3373         into a static buffer and return a pointer to the buffer.
3374
3375         * connect.c (fd_errstr): New function; returns transport-specific
3376         error message, or strerror(errno) if transport doesn't supply one.
3377
3378 2005-07-03  Hrvoje Niksic  <hniksic@xemacs.org>
3379
3380         * mswindows.h: Also wrap accept() and listen().
3381
3382 2005-07-03  Hrvoje Niksic  <hniksic@xemacs.org>
3383
3384         * url.c (path_end): Skip separators appropriate for the scheme.
3385         (strpbrk_or_eos): Remove gcc-specific version, as the optimization
3386         it tried to perform no longer applies.
3387
3388 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
3389
3390         * host.c: Don't include "connect.h" now that we no longer have
3391         socket_has_inet6.
3392
3393 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
3394
3395         * host.c: Remove extraneous definition of netdb.h.
3396
3397 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
3398
3399         * http.c (gethttp): Skip error message body in the keep-alive
3400         case.
3401
3402 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
3403
3404         * url.c (url_parse): Would crash when parsing fragments.  Support
3405         fragments for FTP URLs too.
3406
3407 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
3408
3409         * version.c: Don't use "cvs" in version name, since we're not
3410         using CVS anymore.
3411
3412 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
3413
3414         * progress.c (create_image): Ditto.
3415
3416         * retr.c (retr_rate): Display smaller rate numbers with greater
3417         precision.
3418
3419 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
3420
3421         * http.c (response_head_terminator): Minor optimization.
3422
3423         * retr.c (fd_read_hunk): Call terminator with pointer to the start
3424         of the data and the pointer to the current data.  Changed all
3425         callers.
3426
3427 2005-07-01  Hrvoje Niksic  <hniksic@xemacs.org>
3428
3429         * url.c (url_parse): Make sure u->params is not initialized for
3430         http/https URLs.
3431         (url_parse): Don't crash on garbage following []-delimited IPv6
3432         addresses.
3433
3434 2005-07-01  Hrvoje Niksic  <hniksic@xemacs.org>
3435
3436         * main.c (print_help): Don't refer to the non-existent -nr in
3437         description of --mirror.
3438
3439 2005-06-30  Hrvoje Niksic  <hniksic@xemacs.org>
3440
3441         * host.c (pretty_print_address): Renamed to just print_address.
3442         Clarify documentation.
3443
3444 2005-06-30  Hrvoje Niksic  <hniksic@xemacs.org>
3445
3446         * http.c (gethttp): Explicitly document the different cases when
3447         generating the Host header.
3448
3449 2005-06-30  Hrvoje Niksic  <hniksic@xemacs.org>
3450
3451         * host.c (pretty_print_address): Handle error result from
3452         inet_ntop.
3453
3454 2005-06-30  Gisle Vanem  <giva@bgnett.no>
3455
3456         * mswindows.c (inet_ntop): New function.  Print IPv6 addresses
3457         using WSAAddressToString.
3458
3459 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
3460
3461         * progress.c (dot_update): Remove unused variable row_qty.
3462
3463 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
3464
3465         * main.c: Check for both SIGHUP and SIGUSR1 before using them.
3466
3467 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
3468
3469         * utils.c: Unconditionally include locale.h.
3470
3471 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
3472
3473         * ptimer.c: Include sys/time.h to get struct timeval.
3474
3475 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
3476
3477         * wget.h: Remove obsolete definition of with_thousand_seps_sum.
3478
3479 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
3480
3481         * gnu-md5.h: Unconditionally include limits.h.
3482
3483 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
3484
3485         * utils.c (random_number): Use lrand48 if available.
3486         (random_float): Use drand48 if available.
3487
3488 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
3489
3490         * main.c (secs_to_human_time): Use print_decimal when printing
3491         total download time in seconds.
3492
3493         * progress.c (print_row_stats): Use it to print total download
3494         time at the end of the download.
3495         (create_image): Ditto.
3496
3497         * utils.c (print_decimal): New function; print small decimal
3498         numbers with more precision than large ones.
3499
3500         * progress.c (print_row_stats): New function.  Print ETA after the
3501         download rate at the end of each row.
3502
3503 2005-06-28  Hrvoje Niksic  <hniksic@xemacs.org>
3504
3505         * init.c (parse_line): Check for alphanumerics.
3506
3507 2005-06-28  Hrvoje Niksic  <hniksic@xemacs.org>
3508
3509         * (dot_create): Remove unnecessary casts.
3510
3511 2005-06-28  Hrvoje Niksic  <hniksic@xemacs.org>
3512
3513         * ftp.c (getftp): Delete trailing newlines from LIST output so
3514         lines don't come out with trailing \015\012 with -S.
3515
3516 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
3517
3518         * mswindows.h: Remove superfluous includes.
3519
3520 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
3521
3522         * config-post.h (alloca): Amend alloca declaration to take care of
3523         all Win32 compilers, not just MSVC and MinGW.
3524
3525 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
3526
3527         * utils.c (get_grouping_data): Force separator to "." rather than
3528         " " when "," is taken.
3529
3530 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
3531
3532         * wget.h (PTR_FORMAT): Cast the result of sizeof to int before
3533         passing it to printf's %*.
3534
3535         * retr.h: Declare output_stream and output_stream_regular.
3536
3537         * ftp.h: Declare ftp_last_respline.
3538
3539         * convert.h: Declare dl_url_file_map.
3540
3541         * http.h: New file.
3542
3543 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
3544
3545         * cookies.c: Make cookies_now static.
3546
3547 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
3548
3549         * utils.c (human_readable): Remove intermediary cast to long; MSVC
3550         has problems casting *unsigned* __int64 to double.
3551
3552 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
3553
3554         * sysdep.h: Use the system-provided fnmatch by default.
3555
3556 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
3557
3558         * http.c (mktime_from_utc): Renamed to timegm and moved to cmpt.c.
3559         Don't compile it if GNU timegm is available.
3560         (http_atotm): Use timegm.
3561
3562 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
3563
3564         * http.c (http_atotm): Correctly query the old locale value.
3565
3566 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
3567
3568         * config-post.h (alloca): Don't #define alloca under MinGW32,
3569         which defines it in malloc.h, included from mswindows.h.
3570
3571 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
3572
3573         * utils.c (get_grouping_data): Force the use of separators in C
3574         locale.
3575
3576 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
3577
3578         * main.c (i18n_initialize): Set all locale categories.
3579
3580         * http.c (http_atotm): Temporarily set locale to "C".
3581
3582 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
3583
3584         * http.c (gethttp): Improve "POST data file missing" error
3585         message.
3586
3587 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
3588
3589         * progress.c (set_progress_implementation): Type COLON as const
3590         char *.
3591
3592 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
3593
3594         * utils.c (with_thousand_seps): Handle negative numbers.
3595
3596 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
3597
3598         * progress.c (create_image): Mark the "eta" string for translation.
3599
3600 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
3601
3602         * html-url.c (get_urls_file): Don't explicitly set entry->next to
3603         NULL since entry is already zeroed out.
3604
3605 2005-06-26  Gisle Vanem  <giva@bgnett.no>
3606
3607         * mswindows.h: Define gai_strerror under MinGW.
3608
3609 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
3610
3611         * utils.c (with_thousand_seps): Correctly implement thousand seps
3612         consisting of more than one character.
3613
3614 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
3615
3616         * main.c (secs_to_human_time): Ditto.
3617
3618         * progress.c (create_image): Print more exact duration of very
3619         short downloads.
3620
3621         * main.c (secs_to_human_time): Don't translate time suffixes "h",
3622         "m", and "s", which are not strictly SI, but are "accepted for use
3623         with SI".
3624         (secs_to_human_time): Print really small intervals as 0s, not
3625         0.00s.
3626
3627 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
3628
3629         * config-post.h: Replace the alloca declaration with the one from
3630         the latest Autoconf manual.  This should remove a warning with GCC
3631         on AIX.
3632
3633 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
3634
3635         * ftp.c (getftp): Always invoke SIZE, not only when continuing a
3636         download.
3637
3638         * main.c (main): Ditto here.
3639
3640         * progress.c (create_image): When the download is finished, print
3641         how long it took.
3642
3643 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
3644
3645         * main.c (main): Print the downloaded and quota amounts with the
3646         "human_readable" function.
3647
3648         * ftp.c (print_length): Ditto.
3649
3650         * http.c (gethttp): Don't display thousand separators.
3651
3652         * utils.c (with_thousand_seps): Rewritten to respect locale
3653         settings and to be type size agnostic.
3654
3655 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
3656
3657         * utils.c (human_readable): Divide with 1024 instead of shifting
3658         so the operation can work with non-integer N.
3659
3660 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
3661
3662         * progress.c (eta_to_human): New logic for more human-readable
3663         ETA.
3664
3665 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
3666
3667         * utils.c (with_thousand_seps_sum): Decrease buffer size so it
3668         cannot overrun add_thousand_seps's buffer.
3669
3670 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
3671
3672         * utils.c (SPRINTF_WGINT): The correct format is %I64d, not just
3673         %I64.
3674
3675 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
3676
3677         * http.c (http_loop): Don't warn about wildcards in HTTP URLs if
3678         globbing isn't requested in the first place.
3679
3680         * retr.c (retrieve_url): Temporarily turn off globbing when
3681         processing HTTP->FTP redirects.
3682
3683 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
3684
3685         * utils.c (with_thousand_seps_sum): Now defined only if
3686         SUM_SIZE_INT is double.
3687
3688         * wget.h (SUM_SIZE_INT): Instead of bothering with long, long
3689         long, __int64, and friends, simply either use wgint or double, end
3690         of story.  Since we know how to print either, we no longer need
3691         LARGE_INT_FMT.
3692
3693         * sysdeps.h (LARGE_INT): Renamed to SUM_SIZE_INT to better reflect
3694         its intent, and moved to wget.h.
3695
3696 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
3697
3698         * Makefile.in: No need to clean .libs.
3699
3700 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
3701
3702         * cookies.c (parse_set_cookies): Cast pointer subtraction to int
3703         before using it with %d; AIX compiler warns on this.
3704         Reported by Jens Schleusener.
3705
3706 2005-06-24  Hrvoje Niksic  <hniksic@xemacs.org>
3707
3708         * http.c (gethttp): Don't prepend / here.
3709
3710         * cookies.c (cookie_handle_set_cookie): Prepend / to PATH.
3711         (cookie_header): Ditto.
3712
3713 2005-06-24  Hrvoje Niksic  <hniksic@xemacs.org>
3714
3715         * init.c: opt.verbose must be declared as int.
3716
3717 2005-06-23  Hrvoje Niksic  <hniksic@xemacs.org>
3718
3719         * cmpt.c (strpbrk): Removed.
3720         (mktime): Removed.
3721         Include <time.h>.
3722
3723 2005-06-23  Hrvoje Niksic  <hniksic@xemacs.org>
3724
3725         * utils.c (read_file): Ditto.
3726
3727         * main.c (main): Use struct_fstat.
3728
3729         * mswindows.h (struct_fstat): Define a struct_fstat to deal with
3730         the fact that Borland 5.5 has 64-bit stat, but not 64-bit fstat!
3731
3732 2005-06-23  Hrvoje Niksic  <hniksic@xemacs.org>
3733
3734         * sysdep.h: Remove code that deals with Watcom.
3735
3736 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
3737
3738         * all: Use bool instead of int and false/true instead of 0/non-0
3739         for boolean variables and values.
3740
3741 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
3742
3743         * sysdep.h: Include the stdbool.h/_Bool/bool blurb from Autoconf.
3744
3745 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
3746
3747         * init.c (cmd_lockable_boolean): Removed.
3748
3749 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
3750
3751         * cookies.c (struct cookie): Use 1-bit bitfields for booleans
3752         which makes the structure takes less space at no cost in
3753         complexity.
3754
3755 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
3756
3757         * Makefile.in ($(OBJ)): Add the config.h dependency.
3758
3759 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
3760
3761         * openssl.c, connect.c, host.c: Replace instances of #ifdef
3762         ENABLE_DEBUG if (opt.debug) {...} #endif with IF_DEBUG {...}.
3763
3764         * main.c: Rename the IF_DEBUG defined here to WHEN_DEBUG.
3765
3766         * wget.h (IF_DEBUG): New macro.
3767         (DEBUGP): Define in terms of IF_DEBUG.
3768
3769 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
3770
3771         * http.c (gethttp): Only handle --set-cookies (and assert that
3772         cookie jar exists) if opt.cookies is true.  Failure to do so
3773         triggered the assert when --no-cookies was used and the server
3774         sent a Set-Cookie header.  Ouch!
3775
3776 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
3777
3778         * connect.c (select_fd): Expect select() to exist.
3779
3780         * utils.c (xsleep): Always use select() as sleep fallback on
3781         non-Windows platforms.
3782
3783         * ptimer.c: Delete the implementation of PTIMER_TIME.
3784
3785         * main.c: Assume existence of signal(), test for different signal
3786         names instead.
3787
3788         * cmpt.c: Better document reasons why certain functions are
3789         included.
3790
3791 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
3792
3793         * Makefile.in: Remove the manually maintained dependency list;
3794         make all object files depend on every header.
3795
3796 2005-06-20  Hrvoje Niksic  <hniksic@xemacs.org>
3797
3798         * hash.c: Rename "mapping" to "cell" to avoid confusion with the
3799         term "mapping" (or "map") sometimes being used for the entire hash
3800         table.  Also rename "non-empty" to "occupied" for easier reading
3801         of if (!NON_EMPTY (...)) ... .
3802
3803 2005-06-20  Hrvoje Niksic  <hniksic@xemacs.org>
3804
3805         * main.c, ptimer.c, sysdep.h, utils.c: Use #elif to simplify reading of
3806         chained if-else-else-else-... statements.
3807
3808 2005-06-20  Hrvoje Niksic  <hniksic@xemacs.org>
3809
3810         * all: Return type of signal handlers is `void'.  Include signal.h
3811         unconditionally.
3812
3813         * all: Don't explicitly cast values returned by malloc.  We no
3814         longer support ancient compilers that don't declare malloc, and we
3815         never supported C++ builds.
3816
3817 2005-06-19  Hrvoje Niksic  <hniksic@xemacs.org>
3818
3819         * all: Don't declare errno.  Include both time.h and sys/time.h,
3820         as long as sys/time.h exists.  Don't dereference function pointers
3821         when invoking the functions they point to.
3822
3823         * cmpt.c (memmove): Remove function mandated by C89.
3824         (strerror): Ditto.
3825         (strstr): Ditto.
3826
3827         * all: Undo the K&R-ization changes from 2005-05-03.
3828
3829         * all: Remove support for K&R compilers: use C89 function
3830         declarations, remove definition of PARAMS, remove support for
3831         varargs, and remove ansi2knr.  Assume the presence of time.h,
3832         string.h, and other headers mandated by C89.
3833
3834 2005-06-19  Hrvoje Niksic  <hniksic@xemacs.org>
3835
3836         * init.c (cmd_lockable_boolean): Don't recognize literal "2" and
3837         "-1" values; unlike 0 and 1, those should never be exposed to the
3838         user.  Update the error message to be more self-consistent, as
3839         proposed by Benno Schulenberg.
3840
3841 2005-06-18  Hrvoje Niksic  <hniksic@xemacs.org>
3842
3843         * http.c (gethttp): Don't free "head" before using it to save
3844         headers.
3845
3846 2005-06-18  Hrvoje Niksic  <hniksic@xemacs.org>
3847
3848         * http.c (gethttp): When -E is in use, check for file existence
3849         after appending ".html" to the name and modify the file name if
3850         necessary.
3851
3852 2005-06-17  Hrvoje Niksic  <hniksic@xemacs.org>
3853
3854         * connect.c (socket_has_inet6): Removed.
3855
3856         * host.c (lookup_host): Don't use the AI_ADDRCONFIG getaddrinfo
3857         hint.
3858
3859 2005-06-16  Hrvoje Niksic  <hniksic@xemacs.org>
3860
3861         * init.c (cmd_lockable_boolean): Improve the error message so it
3862         lists the more useful values first.
3863
3864 2005-06-15  Hrvoje Niksic  <hniksic@xemacs.org>
3865
3866         * http.c (gethttp): Also report the system error when the POST
3867         data file is missing.
3868
3869 2005-06-15  Benno Schulenberg  <benno@nietvergeten.nl>
3870
3871         * ftp.c, http.c, connect.c, cookies.c, html-url.c, init.c, res.c:
3872         Gettext-ize messages that were previously missed.
3873
3874 2005-06-15  Hrvoje Niksic  <hniksic@xemacs.org>
3875
3876         * host.h (ip_address): Remove the trailing comma from the type
3877         enum in the no-IPv6 case.
3878
3879         * main.c (struct cmdline_option): Remove the trailing comma from
3880         the enum.
3881
3882         Reported by Jens Schleusener.
3883
3884 2005-05-30  Hrvoje Niksic  <hniksic@xemacs.org>
3885
3886         * url.c (strpbrk_or_eos): Check for a recent GCC version before
3887         using the statement-as-expression extension.
3888
3889 2005-05-30  Hrvoje Niksic  <hniksic@xemacs.org>
3890
3891         * http.c (gethttp): Don't attempt to "skip short body" if we're
3892         issuing a HEAD request (in which case the response head is not
3893         followed by a body).
3894
3895 2005-05-30  Hrvoje Niksic  <hniksic@xemacs.org>
3896
3897         * init.c (cmd_spec_header): Don't split the string along the
3898         commas using cmd_vector; just append the new value using
3899         vec_append instead.
3900
3901         * utils.c (vec_append): New function.
3902
3903 2005-05-27  Andreas Beckmann  <debian@abeckmann.de>
3904
3905         * html-url.c (tag_handle_link): Mark the content from the <link
3906         src="..."> tag as expecting HTML.
3907
3908 2005-05-24  Hrvoje Niksic  <hniksic@xemacs.org>
3909
3910         * http.c (http_atotm): Document the origin of the "cookie date"
3911         format.
3912
3913 2005-05-21  Hrvoje Niksic  <hniksic@xemacs.org>
3914
3915         * init.c (setval_internal): Report exact command name alongside
3916         the "display name".
3917
3918 2005-05-18  Hrvoje Niksic  <hniksic@xemacs.org>
3919
3920         * cookies.c (update_cookie_field): Explicitly cast -1 to time_t to
3921         cope with systems where time_t is unsigned.
3922
3923         * cookies.c: Remove unnecessary casts to time_t from values
3924         already of that type.
3925
3926 2005-05-17  Hrvoje Niksic  <hniksic@xemacs.org>
3927
3928         * ftp.c (ftp_loop_internal): Same here.
3929
3930         * http.c (http_loop): Don't clobber the file when -c is specified
3931         and the first attempt to retrieve the file fails.
3932
3933 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
3934
3935         * openssl.c (ssl_check_certificate): Print all issues with a
3936         certificate.
3937
3938 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
3939
3940         * ftp-basic.c: Don't xfree() the line returned by ftp_response if
3941         the returned code is not FTPOK.
3942
3943 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
3944
3945         * init.c (cleanup): Don't free the non-existent opt.ftp_acc.  Free
3946         the SSL-related stuff.
3947
3948 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
3949
3950         * ftp.c (print_length): Consistently print \n at end of the
3951         "Length" line.
3952
3953 2005-05-14  Hrvoje Niksic  <hniksic@xemacs.org>
3954
3955         * openssl.c (ssl_connect): Announce the beginning and the end of
3956         the SSL handshake when in debug mode.
3957
3958         * wget.h (PTR_FORMAT): New macro for easier printing of pointer
3959         values.  Use %0*lx along with PTR_FORMAT instead of %p.
3960
3961 2005-05-14  Hrvoje Niksic  <hniksic@xemacs.org>
3962
3963         * http.c (gethttp): Would forget to close the connection when
3964         keep_alive was not used.
3965
3966 2005-05-13  Hrvoje Niksic  <hniksic@xemacs.org>
3967
3968         * openssl.c (pattern_match): Document the code that decides
3969         whether "*" matches ".".
3970
3971 2005-05-12  Hrvoje Niksic  <hniksic@xemacs.org>
3972
3973         * ftp-ls.c (ftp_index): Use %d to print the port number, which is
3974         now int.
3975         From Steven M. Schweda's VMS patches.
3976
3977 2005-05-12  Hrvoje Niksic  <hniksic@xemacs.org>
3978
3979         * url.c (rewrite_shorthand_url): Don't rewrite "https://host" to
3980         "ftp://https//host" when SSL is not used.
3981
3982 2005-05-11  Hrvoje Niksic  <hniksic@xemacs.org>
3983
3984         * openssl.c (ssl_check_server_identity): Renamed to
3985         ssl_check_certificate because it does more than just checking the
3986         server's identity.
3987         (ssl_check_certificate): Tell the user about
3988         --no-check-certificate.
3989
3990 2005-05-11  Hrvoje Niksic  <hniksic@xemacs.org>
3991
3992         * openssl.c (ssl_init): Always use SSL_VERIFY_NONE, so that the
3993         handshake finishes even if the certificate is invalid.  That way
3994         ssl_check_server_identity can provide better diagnostics on why
3995         the verification failed.
3996
3997 2005-05-11  Hrvoje Niksic  <hniksic@xemacs.org>
3998
3999         * openssl.c (pattern_match): New function.
4000         (ssl_check_server_identity): Treat peer certificate common name as
4001         wildcard.
4002
4003 2005-05-10  Hrvoje Niksic  <hniksic@xemacs.org>
4004
4005         * openssl.c (ssl_check_server_identity): Print certificate subject
4006         and issuer.
4007
4008 2005-05-10  Hrvoje Niksic  <hniksic@xemacs.org>
4009
4010         * res.c (res_register_specs): Correctly pass pointers to
4011         hash_table_get_pair.
4012
4013 2005-05-10  Hrvoje Niksic  <hniksic@xemacs.org>
4014
4015         * http.c (gethttp): Call ssl_check_server_identity.
4016
4017         * openssl.c (ssl_check_server_identity): New function, verifies
4018         that the host name in the certificate matches the actual host
4019         name.
4020         (verify_cert_callback): Removed, since it didn't do anything
4021         except returning the preverify_ok argument.
4022
4023         * connect.c (fd_transport_context): Allow retrieval of the context
4024         pointer registered with fd_register_transport.
4025
4026 2005-05-09  Hrvoje Niksic  <hniksic@xemacs.org>
4027
4028         * openssl.c (verify_cert_callback): Renamed from verify_callback.
4029         Always return the received "ok" value.  Print the X509 name in
4030         debug mode.
4031         (ssl_init): Enable partial writes in SSL context.
4032
4033 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
4034
4035         * http.c (http_loop): Check for wildcards in the URL path
4036         component, not in the whole URL.
4037
4038         * ftp.c (ftp_loop): Check for wildcards in URL path before
4039         unescaping, so the users can escape globbing metacharacters with %
4040         escapes.
4041
4042 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
4043
4044         * init.c (run_command): Correctly interpret the return value of
4045         parse_line.
4046         (commands): Re-alphabetize.
4047
4048 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
4049
4050         * netrc.c (parse_netrc): Explicitly check for assignment != NULL
4051         to silence warning from Borland C.
4052
4053         * url.c (sync_path): Don't unnecessarily increment p.
4054         (url_parse): Don't unnecessarily set url_encode to NULL just
4055         prior to return from the function.
4056
4057 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
4058
4059         * log.c (escnonprint_internal): Place variable declarations
4060         before other statements.
4061
4062 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
4063
4064         * html-url.c: Include recur.h.
4065
4066         * http.c (request_new): Define as accepting no args.
4067
4068 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
4069
4070         * url.c (strpbrk_or_eos): Made inline.  Use strchr(s, '\0') for
4071         finding the NUL char position.
4072
4073 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
4074
4075         * url.c (decide_copy_method): Renamed to char_needs_escaping.
4076         Since it now returns only two possible values, change it to return
4077         boolean (int).
4078
4079 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
4080
4081         * ftp-basic.c (ftp_request): Prevent newlines in VALUE causing
4082         inadvertent sending of multiple FTP commands.
4083
4084 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
4085
4086         * url.c (decide_copy_method): Never cause reencode_escapes to
4087         decode % escapes; it is too intrusive and breaks some servers.
4088
4089 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
4090
4091         * http.c (gethttp): When tunnelling SSL traffic over proxy with
4092         CONNECT, we're really talking to the remote server directly.
4093         Because of this, the request-line argument must be the URL path
4094         rather than the whole URL, as it would be when using regular
4095         proxies.
4096         Reported by Charles Lane.
4097
4098 2005-05-06  Hrvoje Niksic  <hniksic@xemacs.org>
4099
4100         * init.c (cmd_spec_useragent): Allow empty User-Agent.
4101
4102         * http.c (gethttp): Don't print "unknown authentication scheme"
4103         for failed Basic authentication.
4104         (SET_USER_AGENT): Don't set user-agent if opt.useragent is empty.
4105         (gethttp): Use alloca for allocation of www_authenticate.
4106
4107 2005-05-06  Hrvoje Niksic  <hniksic@xemacs.org>
4108
4109         * main.c (print_help): Fix wording of --secure-protocol help text.
4110
4111 2005-05-06  Hrvoje Niksic  <hniksic@xemacs.org>
4112
4113         * cmpt.c (strstr): Updated from glibc 2.3.5.
4114
4115 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
4116
4117         * http.c (http_atotm): Zero out the whole struct tm being passed
4118         to strptime.
4119
4120 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
4121
4122         * main.c (main): Propagate option name to setoptval.
4123
4124         * init.c (setoptval): Accept another argument, OPTNAME.  Propagate
4125         that argument as the option name independently of the actual
4126         command, determined by command_by_name(com).
4127
4128 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
4129
4130         * init.c (parse_line): Make the return value indicate whether
4131         there was a syntax error or a setter failed.
4132         (run_wgetrc): Return an indication on whether an error has been
4133         encountered.
4134         (initialize): Abort if there have been errors running either
4135         .wgetrc file.
4136
4137 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
4138
4139         * log.c (copy_and_escape): Slightly reduce code repetition between
4140         the two loops.
4141
4142 2005-05-05  Charles C.Fu  <ccwf@bacchus.com>
4143
4144         * utils.c (proclist): Strip leading slash when calling fnmatch
4145         too, otherwise wildcard comparisons always fail.
4146
4147 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
4148
4149         * utils.c (touch): Set access time to current time.
4150
4151 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
4152
4153         * url.c (url_unescape): Don't unescape %00, it effectively
4154         truncates the string.
4155
4156 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
4157
4158         * log.c (copy_and_escape): Replace the FOR_URI argument with a
4159         slightly more general mechanism for specifying different kinds of
4160         escape.
4161
4162 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
4163
4164         * ftp-basic.c (ftp_response): Fix printing FTP server response.
4165
4166 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
4167
4168         * retr.c (limit_bandwidth_reset): Reset sleep_adjust.
4169         (limit_bandwidth): Don't allow huge "adjustment" values that
4170         result from being suspended for a while.
4171
4172 2005-05-04  Hrvoje Niksic  <hniksic@xemacs.org>
4173
4174         * wget.h: If gettext was found but libtintl.h wasn't, declare
4175         gettext's return type to avoid type mismatches.
4176
4177 2005-05-03  Hrvoje Niksic  <hniksic@xemacs.org>
4178
4179         * url.c (url_parse): Rename label `error' to avoid conflict with
4180         identifier.
4181
4182         * retr.c (fd_read_body): Rename label `out' to avoid conflict with
4183         identifier.
4184         (fd_read_hunk): Use explicit double constant.
4185         (retrieve_from_file): Don't use string concatenation.
4186         (sleep_between_retrievals): Make sure xsleep is called with a
4187         `double' argument.
4188         (no_proxy_match): Define as static, like it is declared.
4189
4190         * progress.c (bar_create): Use 0.0 instead of 0 because K&R
4191         compilers can't automatically promote it.
4192
4193         * http-ntlm.c (ntlm_output): Replace \xHH sequences with \OOO for
4194         the sake of old compilers.
4195
4196         * ftp.c (ftp_loop_internal): Don't use string concatenation.
4197
4198         * http.c (request_send): Use explicit double constants when
4199         calling fd_read and fd_write.
4200         (post_file): Ditto.
4201         (gethttp): Ditto.
4202         (skip_short_body): Ditto.
4203
4204         * ftp-basic.c: When calling fd_write, specify the last argument as
4205         a `double' constant for the sake of K&R compilers which don't see
4206         the prototype and therefore can't promote it to double
4207         automatically.
4208
4209         * cookies.c (cookie_jar_load): Rename abort label to abort_cookie
4210         to avoid name conflict in K&R compilers.
4211
4212 2005-04-29  Hrvoje Niksic  <hniksic@xemacs.org>
4213
4214         * ptimer.c (posix_init): Since we allow _POSIX_MONOTONIC_CLOCK==0,
4215         it is not enough to check for _POSIX_MONOTONIC_CLOCK-0, we must
4216         also check for defined(_POSIX_MONOTONIC_CLOCK).
4217
4218 2005-04-28  Hrvoje Niksic  <hniksic@xemacs.org>
4219
4220         * ftp.c, hash.c, connect.c, host.c, http.c: Remove unreached code,
4221         such as "break" following return or abort.
4222
4223 2005-04-28  Hrvoje Niksic  <hniksic@xemacs.org>
4224
4225         * init.c (commands): Wrap the use of opt.random_file in #ifdef
4226         HAVE_SSL.
4227
4228 2005-04-28  Hrvoje Niksic  <hniksic@xemacs.org>
4229
4230         * http.c (gethttp): Correctly set the user agent.
4231
4232 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
4233
4234         * init.c (cmd_spec_useragent): Free the old value of
4235         opt.useragent before setting the new one.
4236
4237 2005-04-27  Mauro Tortonesi  <mauro@ferrara.linux.it>
4238
4239         * main.c: Map --ftp-password, --http-password and --proxy-password to
4240         the new ftppassword, httppassword and proxypassword commands
4241         respectively.  Document the --user and --password options in the help
4242         string.
4243
4244 2005-04-27  Mauro Tortonesi  <mauro@ferrara.linux.it>
4245
4246         * ftp.c: Add support for --user and --password.
4247
4248         * http.c: Add support for --user and --password.
4249
4250         * init.c: Deprecated ftppasswd, httppasswd, login, passwd and
4251         proxypasswd commands.  Added ftppassword, ftpuser, httppassword,
4252         password, proxypassword and user commands.
4253
4254         * main.c: Renamed --ftp-passwd to --ftp-password.  Added --ftp-user,
4255         --http-password, --password, --proxy-password and --user.  Deprecated
4256         --http-passwd and --proxy-passwd.  Added documentation for new options
4257         and removed documentation for deprecated options in the help string.
4258
4259         * options.h (struct options): Added user and passwd members to handle
4260         --user and --password respectively.  Renamed ftp_acc and ftp_pass
4261         members to ftp_user and ftp_passwd for consistency.
4262
4263 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
4264
4265         * main.c (print_help): Advertise "DER", not "ASN1".
4266
4267 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
4268
4269         * openssl.c (init_prng): Disable the weak random seed by default.
4270
4271         * http.c (gethttp): Simplify SSL initialization; disable SSL when
4272         anything goes wrong with the initialization.
4273
4274         * options.h (struct options): New option opt.random_file.
4275
4276 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
4277
4278         * init.c: Wrap private key commands in IF_SSL.
4279
4280 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
4281
4282         * openssl.c (ssl_init): Ditto.
4283
4284         * options.h (struct options): Allow separate specification of key
4285         type and certificate type.
4286
4287         * init.c (cmd_spec_cert_type): Provide a "der" synonym for "asn1"
4288         certificate encoding.
4289
4290 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
4291
4292         * openssl.c: Renamed "gen_sslfunc.c" to "openssl.c" and
4293         "gen_sslfunc.h" to "openssl.h".  This reflects the intent of
4294         openssl.c encapsulating the OpenSSL-specific code.
4295
4296 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
4297
4298         * init.c: Renamed "closure" (a synonym for context in some
4299         cultures) to "place", which more accurately reflects the usage.
4300
4301 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
4302
4303         * gen_sslfunc.c (ssl_init): Use default locations for loading the
4304         certificate bundles.
4305         (ssl_init_prng): Disable the cryptographically weak PRNG
4306         initialization fallback.
4307
4308         * init.c: Renamed SSL command-line arguments and wgetrc commands.
4309         (defaults): Check the server certificate by default.
4310
4311 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
4312
4313         * cookies.c (cookie_handle_set_cookie): Delete the part of the
4314         path after the trailing slash.
4315
4316         * http.c (gethttp): Call cookie_handle_set_cookie with path that
4317         begins with '/'.
4318
4319 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
4320
4321         * http.c (gethttp): Call skip_short_body only if keep_alive is in
4322         use.
4323         (gethttp): Send the User-Agent header with the CONNECT request as
4324         well.
4325
4326 2005-04-25  Hrvoje Niksic  <hniksic@xemacs.org>
4327
4328         * main.c (option_data): Removed support for the undocumented flag
4329         --use-proxy.
4330
4331 2005-04-25  Hrvoje Niksic  <hniksic@xemacs.org>
4332
4333         * main.c (option_data): Don't treat -Y as a boolean switch; treat
4334         it as a value switch instead, so "-Y off" continues to work.
4335
4336 2005-04-24  Hrvoje Niksic  <hniksic@xemacs.org>
4337
4338         * utils.c (aprintf): Delete unreachable statement.
4339
4340 2005-04-24  Hrvoje Niksic  <hniksic@xemacs.org>
4341
4342         * host.c (cmp_prefer_ipv4): New function.
4343         (cmp_prefer_ipv6): New function.
4344         (lookup_host): Use the appropriate comparator according to
4345         opt.prefer_family.
4346
4347         * init.c: New option prefer_family.
4348
4349         * host.c (is_valid_ipv6_address): Spell NS_* constants in lower
4350         case to avoid clash with system headers.
4351         (lookup_host): Reorder the addresses so that IPv4 ones come first.
4352
4353         * utils.c (stable_sort): New function.
4354
4355 2005-04-24  Hrvoje Niksic  <hniksic@xemacs.org>
4356
4357         * connect.c (retryable_socket_connect_error): Return 0 for
4358         ENETUNREACH and EHOSTUNREACH.
4359
4360 2005-04-23  Hrvoje Niksic  <hniksic@xemacs.org>
4361
4362         * cmpt.c: Reenable the memmove implementation for systems that
4363         lack it.
4364
4365         * http.c (gethttp): Store the "authorized" state of the persistent
4366         connection.
4367         (request_remove_header): New function.
4368         (gethttp): Don't send the "Basic" authentication if the connection
4369         is already authorized.
4370
4371 2005-04-23  Hrvoje Niksic  <hniksic@xemacs.org>
4372
4373         * utils.c (base64_encode): Treat input as unsigned chars.
4374         Required for correct encoding of binary stuff.
4375
4376 2005-04-23  Hrvoje Niksic  <hniksic@xemacs.org>
4377
4378         * http-ntlm.c: Format the function definitions in an
4379         ansi2knr-friendly fashion.
4380
4381 2005-04-22  Hrvoje Niksic  <hniksic@xemacs.org>
4382
4383         * http.c (gethttp): Handle multiple WWW-Authentication headers,
4384         only one of which is recognized.  Those are sent by IIS with NTLM
4385         authorization.
4386         (create_authorization_line): Propagate information whether
4387         authorization is finished.
4388         (gethttp): Only stop authorization when it's really finished, not
4389         after fixed two steps.
4390
4391 2005-04-21  Hrvoje Niksic  <hniksic@xemacs.org>
4392
4393         * gen_sslfunc.c (ssl_init): Fix warning message text; mark the
4394         message as translatable.
4395
4396 2005-04-21  Hrvoje Niksic  <hniksic@xemacs.org>
4397
4398         * main.c (print_help): Print the EGD option outside the cluster of
4399         SSL options.
4400
4401 2005-04-21  Hrvoje Niksic  <hniksic@xemacs.org>
4402
4403         * http-ntlm.c (ntlm_output): Fix setting the domain.
4404         Suggested by Sami Krank.
4405
4406 2005-04-20  Mauro Tortonesi  <mauro@ferrara.linux.it>
4407
4408         * connect.c: Set IPV6_V6ONLY socket option when -6 switch is used.
4409
4410 2005-04-20  FUJISHIMA Satsuki  <sf@FreeBSD.org>
4411
4412         * http.c (request_set_header): Fix the check whether a new header
4413         needs to be allocated.
4414
4415 2005-04-18  Hrvoje Niksic  <hniksic@xemacs.org>
4416
4417         * utils.c (base64_encode): Use the parameter order that makes more
4418         sense.  Return the length of the base64 written.  Updated all
4419         callers.
4420
4421 2005-04-17  Hrvoje Niksic  <hniksic@xemacs.org>
4422
4423         * http.c (request_set_header): Free NAME when VALUE is NULL and
4424         freeing the header name is requested.
4425
4426 2005-04-17  Hrvoje Niksic  <hniksic@xemacs.org>
4427
4428         * snprintf.c (fmtstr): Declare VALUE as const char *.
4429         Based on patch by Russ Allbery.
4430
4431 2005-04-17  Hrvoje Niksic  <hniksic@xemacs.org>
4432
4433         * snprintf.c (fmtfp): More correct handling of significant digit
4434         count with %g -- 0.002 has one significant digit, not three.
4435
4436 2005-04-16  Hrvoje Niksic  <hniksic@xemacs.org>
4437
4438         * retr.c (fd_read_body): Respect read timeout with non-interactive
4439         or no progress gauge -- treat ETIMEDOUT specially only when
4440         progress_interactive.
4441         Reported by FUJISHIMA Satsuki.
4442
4443 2005-04-16  FUJISHIMA Satsuki  <sf@FreeBSD.org>
4444
4445         * http.c (gethttp): Don't use HTTP/1.0 persistent connections over
4446         proxy.
4447
4448 2005-04-16  Hrvoje Niksic  <hniksic@xemacs.org>
4449
4450         * snprintf.c: Use the PARAMS macro to handle prototypes.  Write
4451         function definitions in the ansi2knr-friendly way.
4452         (fmtstr): If string precision is specified, don't read VALUE past
4453         it.
4454         (dopr): Actually print %g and %e formats.
4455         (fmtfp): Fix a bug that caused 0.01 to be printed as 0.1.
4456         (fmtfp): Use LLONG in floating point conversions to be able to
4457         convert more digits.
4458         (fmtfp): Interpret precision as number of significant digits with
4459         %g.
4460         (fmtfp): Omit trailing decimal zeros with %g.
4461
4462         * snprintf.c: Don't include <ctype.h> because none of it is used.
4463         Include strings.h/string.h, as per Autoconf.
4464
4465 2005-04-15  Hrvoje Niksic  <hniksic@xemacs.org>
4466
4467         * ptimer.c: Use _POSIX_TIMERS - 0 > 0, which handles the case when
4468         _POSIX_TIMERS is defined but empty, as well as the case when it is
4469         undefined.  Do the same with the check for _POSIX_MONOTONIC_CLOCK.
4470         Suggested by Larry Jones.
4471
4472 2005-04-15  Hrvoje Niksic  <hniksic@xemacs.org>
4473
4474         * ptimer.c: Check that _POSIX_TIMERS is defined as well as > 0.
4475         Problem reported by Steven M. Schweda.
4476
4477 2005-04-14  Hrvoje Niksic  <hniksic@xemacs.org>
4478
4479         * http.c (skip_short_body): Print the skipped body data in debug
4480         mode.
4481         (skip_short_body): Don't skip more than 4k of body data.
4482         (skip_short_body): Return whether the skipping was successful.
4483         (gethttp): If skip_short_body failed, invalidate the connection.
4484
4485 2005-04-12  Gisle Vanem  <giva@bgnett.no>
4486
4487         * ftp.c (getftp): Ditto.
4488
4489         * http.c (gethttp): Open the output file in binary mode.
4490
4491 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
4492
4493         * hash.c: Conditionalize including config.h on HAVE_CONFIG_H
4494         instead of on STANDALONE.
4495
4496 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
4497
4498         * gen_sslfunc.c (ssl_print_errors): Made static.
4499         (ssl_print_errors): Eliminate potentially dangerous fixed-size
4500         error buffer.  Passing NULL to ERR_error_string causes it to use
4501         its own static buffer, which is fine for our purposes.
4502
4503         * gen_sslfunc.c: Include gen_sslfunc.h.  Make the declarations of
4504         ssl_init and ssl_conect match the actual definitions.
4505         (ssl_connect): Simply return a boolean, the SSL context is no
4506         longer useful as a return value.
4507
4508         * retr.c: Don't include SSL headers; we don't need them.
4509
4510 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
4511
4512         * config-post.h: Don't define _VA_LIST under Solaris; it breaks
4513         compilation with GCC 3.4 under Solaris 10.  (It was defined to
4514         avoid a warning with previous versions of GCC.)
4515
4516 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
4517
4518         * xmalloc.c (register_ptr): Warn the user to increase SZ prior to
4519         aborting.
4520
4521 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
4522
4523         * convert.c (convert_cleanup): Free converted_files.
4524
4525 2005-04-10  Hrvoje Niksic  <hniksic@xemacs.org>
4526
4527         * wget.h (DEBUGP): Use __builtin_expect to give a hint to GCC that
4528         opt.debug is false in the vast majority of cases.
4529
4530 2005-04-10  Hrvoje Niksic  <hniksic@xemacs.org>
4531
4532         * config-post.h: Declare alloca as void *, not char *.
4533
4534 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
4535
4536         * recur.c (download_child_p): When -p is used, (temporarily)
4537         ignore accept/reject rules for HTMLs, even when they are at the
4538         maximum recursion depth.  That is because with -p we are, if
4539         necessary, overstepping the max. depth to get the requisites.
4540
4541 2004-06-12  Larry Jones <lawrence.jones@ugsplm.com>
4542
4543         * recur.c (download_child_p): Correct the logic in check number 6:
4544         test opt.reclevel (not DEPTH) against INFINITE_RECURSION.
4545
4546 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
4547
4548         * url.c: Use "static const" in preference to "const static".
4549         Sun's cc warns that "storage class after type is obsolescent".
4550
4551         * url.c (urlchr_table): Don't mark ~ as unsafe, too many broken
4552         web sites are confused when ~ is changed to %7E.  Their servers
4553         redirect /%7Efoo/ to /~foo/, which Wget again accesses using %7E,
4554         causing further redirections, therefore looping infinitely.  See
4555         Debian bug #301624 for an example.
4556
4557 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
4558
4559         * alloca.c: Include wget.h to be able to use xmalloc.  In addition
4560         to defining malloc to xmalloc, also define free to xfree.
4561
4562 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
4563
4564         * http-ntlm.c (ntlm_output): Use "char", not "unsigned char" for
4565         ntlmbuf.  Our base64 functions accept char anyway.
4566         (ntlm_output): Join up the format string, since we nominally
4567         support K&R compilers.
4568         (ntlm_output): Ditto.
4569
4570 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
4571
4572         * ptimer.c: Use Windows timers under Cygwin, whose POSIX timer
4573         implementation is incomplete.
4574
4575 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
4576
4577         * ptimer.c (struct ptimer): Remove the unused initialized field.
4578
4579         * ptimer.c: Renamed function parameters from WT (which used to
4580         stand for wget_timer or wtimer) to PT.
4581
4582 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
4583
4584         * ptimer.c (posix_init): Be smarter about choosing clocks.  In
4585         decreasing order of preference, use CLOCK_MONOTONIC,
4586         CLOCK_HIGHRES, and CLOCK_REALTIME.
4587         (ptimer_allocate): Removed.
4588
4589         * ptimer.c: Refactor the code by cleanly separating the
4590         architecture-dependent code from the architecture-independent
4591         code.
4592
4593 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
4594
4595         * ptimer.c (ptimer_init): Explicitly check that
4596         _POSIX_MONOTONIC_CLOCK is *both* defined and >=0.  (Undefined
4597         symbols are >=0.)
4598
4599 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
4600
4601         * ptimer.c (ptimer_diff): Fix typo affecting Windows build.
4602
4603 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
4604
4605         * ptimer.c (ptimer_init): In fact, _POSIX_MONOTONIC_CLOCK needs to
4606         be >= 0.
4607
4608         * ptimer.c (ptimer_init): Check whether _POSIX_MONOTONIC_CLOCK is
4609         defined instead of whether it's greater than 0.  glibc defines it
4610         to 0, but still makes it available via sysconf.
4611
4612 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
4613
4614         * mswindows.c (str_to_int64): Rename OVERFLOW and UNDERFLOW to
4615         INT64_OVERFLOW and INT64_UNDERFLOW, since those names are used.
4616
4617 2005-04-07  Hrvoje Niksic  <hniksic@xemacs.org>
4618
4619         * ptimer.c: New file.  Move the "wtimer" functions from utils.c to
4620         this file and rename them to ptimer_.
4621
4622 2005-04-07  Hrvoje Niksic  <hniksic@xemacs.org>
4623
4624         * host.c (NO_ADDRESS): Define NO_ADDRESS only after the system
4625         headers have been included.
4626
4627 2005-04-06  Hrvoje Niksic  <hniksic@xemacs.org>
4628
4629         * http.c (pconn): Include NTLM data, which is per-connection.
4630         (known_authentication_scheme_p): Recognize NTLM authorization.
4631         (create_authorization_line): Call ntlm_input and ntlm_output.
4632
4633         * http-ntlm.c: New file, donated by Daniel Stenberg and originally
4634         written for curl, heavily modified for Wget.
4635
4636         * utils.c (base64_encode): Relocated from http.c, since it is now
4637         used by http-ntlm.c, and will possibly be used elsewhere.
4638         (base64_decode): New function, originally based on code from GNU
4639         recode.
4640
4641 2005-04-02  Hrvoje Niksic  <hniksic@xemacs.org>
4642
4643         * ftp.c (ftp_loop): Ditto.
4644
4645         * ftp-basic.c (ftp_pasv): Use the xzero shorthand for memset(0).
4646         (ftp_lpsv): Ditto.
4647
4648 2005-04-05  Mauro Tortonesi  <mauro@ferrara.linux.it>
4649
4650         * Makefile.in: removed string_t.c from list of source files.
4651
4652 2005-04-04  Mauro Tortonesi  <mauro@ferrara.linux.it>
4653
4654         * string_t.c: Removed.
4655
4656         * string_t.h: Removed.
4657
4658 2005-04-02  Hrvoje Niksic  <hniksic@xemacs.org>
4659
4660         * url.c (rewrite_shorthand_url): Only accept recognized schemes.
4661         That way "foo:80" will correctly be rewritten to "http://foo:80"
4662         instead of left unchanged and ultimately rejected because of
4663         "unsupported scheme foo".
4664
4665 2005-03-31  Hrvoje Niksic  <hniksic@xemacs.org>
4666
4667         * utils.c (number_to_string): Avoid explicit 64-bit constants;
4668         construct them by multiplication at compile-time.
4669
4670         * utils.c, elsewhere: Don't append "L" to 32-bit integer
4671         constants; we aren't really compilable on 16-bit systems anyway.
4672
4673         * hash.c (prime_size): Remove primes larger than 2^31, but include
4674         2^31-1, which is prime.
4675
4676 2005-03-30  Hrvoje Niksic  <hniksic@xemacs.org>
4677
4678         * utils.c (string_set_to_array): New function.
4679
4680         * convert.c: Replace the use of "slists" with sets/hash-tables,
4681         which in fact suit the intended purpose much better.
4682         downloaded_html_list is removed altogether.
4683
4684 2005-03-29  Hrvoje Niksic  <hniksic@xemacs.org>
4685
4686         * ftp.h (enum): Rename GLOBALL, GETALL, and GETONE to
4687         GLOB_GLOBALL, GLOB_GETALL, and GLOB_GETONE to avoid conflict with
4688         Linux headers.
4689
4690 2005-03-29  Hrvoje Niksic  <hniksic@xemacs.org>
4691
4692         * utils.c (numdigit): More correct handling of negative numbers.
4693
4694 2005-03-21  Hrvoje Niksic  <hniksic@xemacs.org>
4695
4696         * http.c (gethttp): Print the human-readable size.
4697
4698         * ftp.c (getftp): Print the human-readable size of the file to be
4699         downloaded.
4700
4701         * utils.c (human_readable): New function.
4702
4703         * utils.c: Renamed "legible" to "with_thousand_seps",
4704         "legible_large_int" to "with_thousand_seps_large", and "legible_1"
4705         to "add_thousand_seps".
4706
4707 2005-03-21  Hrvoje Niksic  <hniksic@xemacs.org>
4708
4709         * http.c (gethttp): Inhibit persistent connections when talking to
4710         proxies, as mandated by RFC 2068.
4711
4712 2005-03-20  Hrvoje Niksic  <hniksic@xemacs.org>
4713
4714         * url.c (unescape_single_char): New function.
4715         (url_escape_dir): Use it to unescape slashes in directory
4716         components.
4717         (url_string): Escape unsafe chars in host name, except for the ':'
4718         charaters, which can appear in IPv6 addresses.
4719
4720         * main.c (main): Don't access the cookie jar directly.
4721
4722         * log.c (escnonprint_internal): Correctly calculate the needed
4723         string size.  Don't forget the buffer's new size after having
4724         reallocated it.
4725         (log_cleanup): New function.  Free the escnonprint ring data.
4726
4727         * init.c (cleanup): Don't free the cookie jar explicitly, it is
4728         now done by http_cleanup.
4729         (cleanup): opt.user_headers is now a vector, free it with
4730         free_vec.
4731
4732         * http.c (gethttp): Make sure to free the request data, the status
4733         message, and the response data before returning from the function.
4734         (save_cookies): New function.
4735         (http_cleanup): Free the cookie jar here.
4736
4737         * hash.c: Renamed string_hash to hash_string and ptrhash to
4738         hash_pointer.  Exported hash_pointer.
4739
4740         * xmalloc.c: Organized malloc_table (previously malloc_debug) as a
4741         simple EQ hash table.  register_ptr and unregister_ptr are now of
4742         O(1) complexity.
4743
4744         * xmalloc.c: Renamed "*_debug" to debugging_* and "*_real" to
4745         checking_*.
4746
4747 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
4748
4749         * utils.c (debug_test_md5): Moved to gen-md5.c.
4750
4751         * mswindows.h: Don't declare inet_ntop, since we don't use it.
4752
4753         * mswindows.h: For consistency, also wrap closesocket, it being
4754         a Winsock call.
4755
4756         * mswindows.h: Don't declare sleep and usleep; we're defining
4757         xsleep now.
4758
4759         * mswindows.h (mkdir): Don't special-case Borland C, _mkdir
4760         works there as well.
4761
4762         * host.c: Don't include winsock header files; the correct ones
4763         are already included by mswindows.h.
4764
4765         * mswindows.c (xsleep): Round toward the nearest millisecond
4766         in an attempt to avoid average short sleeps.
4767
4768         * utils.c (wtimer_granularity): Report correct values for
4769         Windows timers and for high-resolution timers.
4770
4771         * utils.c (wtimer_initialize_once): New function, called to
4772         initialize the timer frequency.
4773
4774         * utils.c: Replace the use of GetSystemTime with high-resolution
4775         counters under Windows.  When high-resolution counters are
4776         unavailable, use GetTickCount().
4777
4778 2005-03-15  Hrvoje Niksic  <hniksic@xemacs.org>
4779
4780         * retr.c (fd_read_body): Undo the 2004-11-18 change.  Instead,
4781         always be "exact".
4782
4783 2005-03-17  Hrvoje Niksic  <hniksic@xemacs.org>
4784
4785         * ftp-basic.c (ftp_login): Don't free the string if ftp_response
4786         returned an error status because the line didn't get allocated in
4787         the first place.
4788
4789 2005-03-15  Hrvoje Niksic  <hniksic@xemacs.org>
4790
4791         * http.c (read_http_response_head): Limit the response size to 64k
4792         bytes.
4793
4794         * retr.c (fd_read_hunk): Accept a MAXSIZE argument that limits the
4795         number of bytes the function is allowed to allocate.
4796         (fd_read_line): Limit the line to 4096 bytes.
4797
4798 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
4799
4800         * wget.h: Include options.h after wgint has been defined.
4801
4802         * options.h (struct options): Declare options processed with
4803         cmd_bytes as wgint, not long.
4804
4805 2005-03-18  Hrvoje Niksic  <hniksic@xemacs.org>
4806
4807         * init.c (cmd_file): Use concat_strings.
4808
4809         * http.c (basic_authentication_encode): Use concat_strings.
4810
4811         * ftp-ls.c (ftp_index): Use concat_strings.
4812
4813         * ftp-basic.c (ftp_request): Use concat_strings.
4814
4815         * utils.c (concat_strings): New function.
4816
4817 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
4818
4819         * init.c (simple_atof): Handle negative numbers; skip whitespace
4820         before the number.
4821         (simple_atoi): Ditto.  Also, check for overflow and underflow.
4822         (cmd_number): Bail out on negative numbers.
4823         (parse_bytes_helper): Ditto.
4824
4825 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
4826
4827         * http.c (gethttp): Handle multiple Set-Cookie headers sent by
4828         remote server.
4829
4830 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
4831
4832         * init.c (defaults): Use passive FTP by default.
4833
4834 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
4835
4836         * mswindows.c: Provide wrappers to Winsock functions that set
4837         errno to WSAGetLastError() in case of failure.  Also provide a
4838         Windows-specific version of strerror.
4839
4840         * mswindows.h: Wrap calls to socket, bind, connect, recv, send,
4841         select, getsockname, getpeername, and setsockopt.
4842
4843 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
4844
4845         * url.c (url_parse): Reject port numbers larger than 65535.  We
4846         also check for overflow while parsing port numbers.
4847
4848 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
4849
4850         * utils.c (read_file): Don't use wgint for file size; LFS won't
4851         work since the file is mmap'ed as a whole.
4852
4853         * options.h: Don't include stdio.h.
4854
4855         * log.c: Ditto.
4856
4857         * init.c: Disambiguate assignment from non-zero test to avoid
4858         Borland C warning.
4859
4860         * http.c (response_new): Don't needlessly post-increment count.
4861
4862         * hash.c: Include stdio.h.
4863
4864         * gnu-md5.h: Don't include stdio.h.
4865
4866         * getopt.h (struct option): Always use const.
4867
4868         * ftp.c (getftp): Avoid unnecessary assignment to RES to avoid
4869         Borland C warning.
4870
4871         * ftp-ls.c: Disambiguate assignment from non-zero test to avoid
4872         Borland C warning.
4873
4874         * cmpt.c (strptime_internal): Don't initialize rp_backup when
4875         !_NL_CURRENT to avoid Borland C warning.
4876
4877 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
4878
4879         * utils.c (fopen_excl): Fix parse error when O_BINARY is
4880         available.
4881
4882 2005-03-05  Hrvoje Niksic  <hniksic@xemacs.org>
4883
4884         * url.c (url_file_name): Don't allow hosts named ".." to be
4885         appended as path elements.
4886
4887 2005-03-03  Hrvoje Niksic  <hniksic@xemacs.org>
4888
4889         * retr.c (retrieve_url): Escape location header.
4890
4891         * http.c (print_server_response_1): Escape server response when
4892         printing it.
4893         (gethttp): Escape host name, status message, location header, and
4894         content type.
4895         (http_loop): Escape error message from server.
4896
4897         * host.c (lookup_host): Escape host name when printing it.
4898
4899         * ftp.c (getftp): Escape user name when printing it.
4900         (getftp): Escape remote file and directory for printing.
4901         (getftp): Escape server listing when printing it.
4902         (ftp_retrieve_list): Escape link name and file name.
4903         (ftp_retrieve_glob): Escape file name.
4904
4905         * ftp-basic.c (ftp_response): Escape server response when printing
4906         it.
4907
4908         * cookies.c (parse_set_cookies): Escape the cookie field when
4909         printing it.
4910         (parse_set_cookies): Escape contents of remote header.
4911         (cookie_handle_set_cookie): Escape host name and cookie domain.
4912
4913         * connect.c (connect_to_ip): Escape the host name.
4914
4915         * log.c (escnonprint): New function, used for printing strings
4916         coming from the server that possibly contain non-ASCII characters.
4917         (escnonprint_uri): Ditto.
4918
4919 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
4920
4921         * ftp.c (getftp): Ditto.
4922
4923         * http.c (gethttp): When we're not supposed to overwrite files,
4924         use fopen_excl to open the file and recompute the file name.
4925
4926         * log.c (redirect_output): Use unique_create to avoid a race
4927         condition.
4928
4929         * mswindows.c (fake_fork_child): Use unique_create.
4930
4931         * utils.c (fopen_excl): New function that opens a stdio stream
4932         with the O_EXCL flag (where available).
4933         (unique_create): New function, like unique_name, but also creating
4934         the file and returning a file pointer.
4935         (fork_to_background): Use unique_create to create the file
4936         immediately to avoid race condition with multiple instances of
4937         wget -b.
4938
4939 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
4940
4941         * host.c (lookup_host): Test for AI_ADDRCONFIG directly, instead
4942         of checking for HAVE_GETADDRINFO_AI_ADDRCONFIG.
4943
4944 2005-02-23  Hrvoje Niksic  <hniksic@xemacs.org>
4945
4946         * host.c (is_valid_ipv6_address): Move here from url.c.
4947         (lookup_host): If the address is numeric, don't print the
4948         "resolving..." line, don't set up DNS timeouts, and set the
4949         AI_NUMERICHOST hint, where available.
4950
4951 2005-02-26  Gisle Vanem  <giva@bgnett.no>
4952
4953         * utils.c: Use the nnnLL syntax under GCC.  Define struct_stat to
4954         struct _stati64 under __MINGW32__ as well as under MS VC.
4955
4956 2005-02-26  Hrvoje Niksic  <hniksic@xemacs.org>
4957
4958         * utils.c: Use the nnnI64 syntax for __int64 constants under all
4959         Windows compilers.
4960         (SPRINTF_WGINT): Use "%I64" under all Windows compilers.
4961
4962         * mswindows.h (WGINT_MAX): Use the nnnI64 syntax for
4963         __int64 constants under all Windows compilers.
4964         (struct_stat): Use `struct stati64' under Borland C.
4965         (fstat): Don't redefine to _fstati64 under Borland.
4966
4967         * mswindows.c: Define str_to_int64 under Borland C as well as
4968         under (older) Visual C.
4969
4970 2005-02-25  Hrvoje Niksic  <hniksic@xemacs.org>
4971
4972         * ftp.c (getftp): Initialize err to suppress compiler warning.
4973
4974 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
4975
4976         * ftp.c (ftp_expected_bytes): Fix bug that caused infloop because
4977         of not correctly skipping the '(' character.
4978
4979 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
4980
4981         * mswindows.c (wget_ftello): Removed.
4982
4983         * mswindows.h: Remove bogus definition of stat.
4984         (wget_ftello): Remove the leftover ftello replacement.
4985
4986 2005-02-20  Hrvoje Niksic  <hniksic@xemacs.org>
4987
4988         * mswindows.c (wget_ftello): Wget's replacement for ftello.
4989
4990         * utils.c (file_size): Use ftello where available.
4991
4992         * ftp-ls.c (ftp_parse_unix_ls): Use str_to_wgint to parse the file
4993         size.
4994         (ftp_parse_winnt_ls): Ditto.
4995
4996         * ftp-basic.c (ftp_size): Use str_to_wgint to convert number to
4997         wgint; pass 10 instead of 0 as the BASE argument.
4998
4999         * ftp.c (ftp_expected_bytes): Use str_to_wgint to parse the file
5000         size.
5001
5002         * sysdep.h (LARGE_INT_FMT): Use __int64 as LARGE_INT on
5003         MSVC/Windows; print it with "%I64".
5004
5005         * wget.h: Define a `wgint' type, normally aliased to (the possibly
5006         64-bit variant of) off_t.
5007
5008         * all: Use `wgint' instead of `long' for numeric variables that
5009         can hold file sizes.
5010
5011         * utils.c (number_to_string): Support printing of `wgint'
5012         argument.
5013         (number_to_static_string): New function.
5014
5015         * all: Replace printf("%ld", long_value) with printf("%s",
5016         number_to_static_string(wgint_value)).
5017
5018 2005-02-18  Mauro Tortonesi <mauro@ferrara.linux.it>
5019
5020         * main.c: Added the --ftp-passwd command line option.
5021
5022         * init.c: Renamed command passwd to ftppasswd.
5023
5024 2005-02-11  Mauro Tortonesi <mauro@ferrara.linux.it>
5025
5026         * string_t.c: Fixed a bug in do_escape and triggered escape of
5027         backslashes in string_escape to avoid ambiguities in the result
5028         string.
5029
5030 2005-02-10  Mauro Tortonesi <mauro@ferrara.linux.it>
5031
5032         * string.h: Renamed to string_t.h to fix a compilation conflict
5033         with the string.h header in the standard C library.
5034
5035         * string.c: Renamed to string_t.c for consistency with string.h.
5036
5037         * string_t.c: Ditto.
5038
5039         * string_t.h: Ditto.
5040
5041 2004-12-31  Mauro Tortonesi <mauro@ferrara.linux.it>
5042
5043         * string.c: New file.
5044
5045         * string.h: New file.
5046
5047         * Makefile.in: Added string.c to the list of modules to compile.
5048
5049         * main.c: Updated copyright.
5050
5051 2004-11-18  Ulf Harnhammar <ulf.harnhammar.9485@student.uu.se>
5052
5053         * ftp-ls.c: Fixed a problem in ftp_parse_winnt_ls that could allow a
5054         malicious remote FTP server to crash wget.
5055
5056 2004-11-18  Hans-Andreas Engel <engel@node.ch>
5057
5058         * http.c: Enable --convert-links (-k) when a single page is downloaded
5059         via --output-document (-O).
5060
5061 2004-11-18  Mauro Tortonesi <mauro@deepspace6.net>
5062
5063         * connect.c: Minor correction to the comment in front of fd_peek.
5064
5065 2004-11-18  Leonid Petrov <nouser@lpetrov.net>
5066
5067         * retr.c: Fix a timeout problem in fd_read_body when using http_proxy.
5068
5069 2004-11-15  YAMAZAKI Makoto <Yamazaki.Makoto@fujixerox.co.jp>
5070
5071         * netrc.c: Fix termination by assertion bug in netrc parsing.
5072
5073 2004-05-09  David Fritz  <zeroxdf@att.net>
5074
5075         * mswindows.c (fake_fork): Pass entire command line to the child
5076         process.
5077
5078 2004-03-31  Hrvoje Niksic  <hniksic@xemacs.org>
5079
5080         * http.c (gethttp): Fix typo: SCHEME_SSL -> SCHEME_HTTPS.
5081
5082 2004-03-30  Hrvoje Niksic  <hniksic@xemacs.org>
5083
5084         * http.c (gethttp): Send the Proxy-Authorization header over
5085         non-SSL connections too.
5086
5087 2004-03-25  David Fritz  <zeroxdf@att.net>
5088
5089         * mswindows.c (fake_fork_child): Ignore error code when
5090         OpenFileMapping() fails; assume it failed because the object does
5091         not exist.
5092
5093 2004-03-24  David Fritz  <zeroxdf@att.net>
5094
5095         * mswindows.c (fake_fork): New function.
5096
5097         * mswindows.c (fork_to_background): Use it.
5098
5099 2004-03-19  David Fritz  <zeroxdf@att.net>
5100
5101         * mswindows.c (ws_hangup): Incorporate old fork_to_background()
5102         code.  Add event name argument.
5103         (fork_to_backgorund): Now a simple wrapper around ws_hangup().
5104         (ws_handler): Correctly handle the case when neither CTRLC_BACKGND
5105         nor CTRLBREAK_BACKGND are defined.  Don't bother handling close,
5106         logoff, or shutdown events.  Call ws_hangup() with the correct
5107         event name; don't assume it was CTRL+Break.
5108
5109 2004-03-19  Hrvoje Niksic  <hniksic@xemacs.org>
5110
5111         * url.c (url_parse): Decode %HH sequences in host name.
5112
5113 2004-03-04  Hrvoje Niksic  <hniksic@xemacs.org>
5114
5115         * convert.c (local_quote_string): Quote "#" as "%23" and "%" as
5116         "%25" when creating links to local files.
5117
5118 2004-03-02  David Fritz  <zeroxdf@att.net>
5119
5120         * mswindows.c (ws_percenttitle): Guard against future changes by
5121         doing nothing if the proper variables have not been initialized.
5122         Clamp percentage value.
5123
5124 2004-03-04  Gisle Vanem  <giva@bgnett.no>
5125
5126         * retr.c (fd_read_body): Don't change console title if quiet.
5127
5128 2004-02-25  David Fritz  <zeroxdf@att.net>
5129
5130         * mswindows.c (set_sleep_mode): Remove argument and return value.
5131         Call GetModuleHandle() instead of LoadLibrary()/FreeLibrary() for
5132         kernel32.dll.  Use typedef for function-pointer.  Don't cast
5133         l-value.  Don't use dereference operator when calling through
5134         function-pointer.
5135         (ws_startup): Update call to set_sleep_mode().
5136         (ws_cleanup): Remove call to set_sleep_mode().
5137
5138 2004-02-23  David Fritz  <zeroxdf@att.net>
5139
5140         * http.c (http_loop): Ditto.
5141
5142         * ftp.c (ftp_loop_internal): Update call to ws_changetitle().
5143
5144         * main.c (main): Don't bother calling ws_changetitle().
5145
5146         * mswindows.h (ws_changetitle): Update prototype.
5147
5148         * mswindows.c (ws_changetitle): Remove second argument.  Use
5149         xfree_null().
5150         (ws_percenttitle): Only update title when percentage has changed.
5151
5152 2004-02-23  David Fritz  <zeroxdf@att.net>
5153
5154         * mswindows.h: Ditto.
5155
5156         * mswindows.c: Misc. formatting/comment tweaks throughout.
5157
5158 2004-02-20  David Fritz  <zeroxdf@att.net>
5159
5160         * main.c (print_help): Remove call to ws_help().
5161
5162         * mswindows.c (ws_help): Remove.
5163
5164         * mswindows.h (ws_help): Remove.
5165
5166 2004-02-16  David Fritz  <zeroxdf@att.net>
5167
5168         * init.c (home_dir): Use aprintf() instead of xmalloc()/sprintf().
5169         Under Windows, if $HOME is not defined, use the directory that
5170         contains the Wget binary instead of hard-coded `C:\'.
5171         (wgetrc_file_name): Under Windows, look for $HOME/.wgetrc then, if
5172         not found, look for wget.ini in the directory of the Wget binary.
5173
5174         * mswindows.c (ws_mypath): Employ slightly more robust methodology.
5175         Strip trailing path separator.
5176
5177 2004-02-06  Hrvoje Niksic  <hniksic@xemacs.org>
5178
5179         * http.c (gethttp): Respect --ignore-length.
5180         (gethttp): Inhibit keep-alive if --ignore-length is specified.
5181
5182 2004-02-06  Hrvoje Niksic  <hniksic@xemacs.org>
5183
5184         * connect.c (sockaddr_set_data): Zero out
5185         sockaddr_in/sockaddr_in6.  Apparently BSD-derived stacks need this
5186         when binding a socket to local address.
5187
5188 2004-02-04  Hrvoje Niksic  <hniksic@xemacs.org>
5189
5190         * hash.c: Make the file compilable outside Wget source tree when
5191         -DSTANDALONE is used.
5192
5193 2004-01-29  Hrvoje Niksic  <hniksic@xemacs.org>
5194
5195         * utils.c (determine_screen_width): Return 0 if not running on
5196         Windows or on a TIOCGWINSZ-capable system.
5197
5198 2004-01-28  David Fritz  <zeroxdf@att.net>
5199
5200         * utils.c (determine_screen_width): Correctly determine console
5201         width under Windows.
5202
5203 2004-01-28  Christian Biere  <christianbiere@gmx.de>
5204
5205         * progress.c (bar_set_params): Fixed syntax error when HAVE_ISATTY
5206         was undefined.
5207
5208         * ftp.c (ftp_loop_internal): Allocate a larger buffer in case
5209         "try" gets translated to something large.  Ditto in http_loop in
5210         http.c.
5211
5212         * http.c (response_header_copy): Don't write to buf[BUFSIZE].
5213
5214         * ftp-opie.c (skey_response): Eliminate unnecessary string
5215         concatenation; just call gen_md5_update twice.
5216
5217 2004-01-25  Hrvoje Niksic  <hniksic@xemacs.org>
5218
5219         * utils.c (xsleep): Don't call usleep with values larger than
5220         1,000,000.
5221
5222 2003-12-16  Hrvoje Niksic  <hniksic@xemacs.org>
5223
5224         * http.c (gethttp): Fix generation of `Content-Length'.
5225
5226 2003-12-15  Gisle Vanem  <giva@bgnett.no>
5227
5228         * url.c (url_skip_credentials): Fixed return value; 'url' if no
5229         credentials.
5230
5231 2003-12-14  Hrvoje Niksic  <hniksic@xemacs.org>
5232
5233         * url.c (url_skip_credentials): Return a pointer directly.
5234
5235 2003-12-14  Hrvoje Niksic  <hniksic@xemacs.org>
5236
5237         * url.c (url_file_name): Ditto.
5238         (parse_errors): Ditto.
5239
5240         * retr.c (retr_rate): Ditto.
5241
5242         * progress.c (create_image): Ditto.
5243
5244         * netrc.c (parse_netrc): Ditto.
5245
5246         * main.c (struct cmdline_option): Ditto.
5247         (redirect_output_signal): Ditto.
5248
5249         * init.c (commands): Ditto.
5250
5251         * ftp-ls.c (ftp_index): Ditto.
5252
5253         * cookies.c (check_domain_match): Declare the pointer to a literal
5254         string as `const'.
5255
5256 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
5257
5258         * retr.c (fd_read_body): Pass total size to progress_create, not
5259         the remaining amount.
5260
5261 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
5262
5263         * retr.c (fd_read_body): Don't fiddle with "interactive timeout"
5264         if read timeout is unset.
5265
5266 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
5267
5268         * connect.c (bind_local): Don't set the IPV6_V6ONLY option on the
5269         socket.
5270
5271 2003-12-06  Hrvoje Niksic  <hniksic@xemacs.org>
5272
5273         * url.c (url_file_name): Respect the setting of
5274         opt.protocol_directories.
5275
5276         * main.c (main): Only check for ret=='?' when longindex is unset.
5277         (option_data): New option --protocol-directories.
5278
5279 2003-12-06  Hrvoje Niksic  <hniksic@xemacs.org>
5280
5281         * ftp.c (getftp): Ditto.
5282
5283         * http.c (gethttp): Correctly calculate bandwidth as total data
5284         read divided with download time.
5285
5286         * retr.c (fd_read_body): Separate the return values for data
5287         written and read.
5288
5289 2003-12-05  Hrvoje Niksic  <hniksic@xemacs.org>
5290
5291         * http.c (H_REDIRECTED): Respect the HTTP/1.1 "303 See Other"
5292         response code.
5293         Suggested by Dan Razzell.
5294
5295 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
5296
5297         * retr.c (fd_read_body): Report the amount of data *written* as
5298         amount_read.  This is not entirely logical, but that's what the
5299         callers expect, and it's not easy to change.
5300
5301         * ftp.c (ftp_loop_internal): Ditto.
5302
5303         * http.c (http_loop): Be smarter about assigning restval; if we're
5304         in the nth pass of a download, simply use the information we have
5305         about how much data has been retrieved as restval.
5306
5307         * ftp.c (getftp): Ditto for FTP "REST" command.
5308
5309         * http.c (gethttp): When the server doesn't respect range, skip
5310         the first RESTVAL bytes of the read body.  Never truncate the
5311         output file.
5312
5313         * retr.c (fd_read_body): Support skipping initial STARTPOS octets.
5314
5315 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
5316
5317         * http.c (skip_short_body): Renamed skip_body to skip_short_body;
5318         don't bother calling fd_read_body.
5319
5320 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
5321
5322         * retr.c (fd_read_body): Sanitize arguments and document them
5323         better.  Make sure the timer is created and updated only if
5324         necessary.  Updated callers.
5325
5326 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
5327
5328         * http.c (skip_body): New function.
5329         (gethttp): Use it to skip the body of the responses we don't care
5330         to download.  That allows us to reuse the connection.
5331         (gethttp): Trust that the HEAD requests will not generate body
5332         data.
5333
5334         * retr.c (fd_read_body): Don't write to OUT if it's NULL.
5335
5336 2003-11-29  Hrvoje Niksic  <hniksic@xemacs.org>
5337
5338         * http.c (gethttp): Initialize SSL only the first time when SSL
5339         URL is downloaded.
5340
5341 2003-11-29  Hrvoje Niksic  <hniksic@xemacs.org>
5342
5343         * cookies.c (cookie_header): Only generate the contents of the
5344         header, not the leading "Cookie: " or the trailing "\r\n".
5345
5346         * http.c (gethttp): When adding headers specified with `--header',
5347         allow them to override the headers generated by Wget.
5348
5349         * init.c (cmd_spec_header): Made opt.user_headers a vector.
5350
5351         * http.c (request_new): New function.  Returns a request structure
5352         which can be modified in various ways, most notably by adding HTTP
5353         headers to the request.
5354         (request_set_header): New function for adding the header to the
5355         request.  If the header is already available, it gets replaced.
5356         (request_send): Construct and send the request.
5357         (gethttp): Use the request_* functions to generate the request.
5358
5359 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
5360
5361         * http.c (gethttp): Don't include the Proxy-Authorization header
5362         in the request tunneled through proxy.
5363
5364 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
5365
5366         * http.c (gethttp): Use the CONNECT handle to establish SSL
5367         passthrough through non-SSL proxies.
5368
5369 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
5370
5371         * init.c: Don't #include netinet/Winsock stuff.
5372
5373 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
5374
5375         * http.c: Deleted the old functions header_process,
5376         header_extract_number, header_exists, header_strdup,
5377         http_process_range, http_process_none, http_process_type, and
5378         http_process_connection.
5379
5380         * http.c (response_new): New function.
5381         (response_header_bounds): Ditto.
5382         (response_header_copy): Ditto.
5383         (response_header_strdup): Ditto.
5384         (response_status): Ditto.
5385         (gethttp): Use the new response_* functions to parse the response.
5386         Support HTTP/0.9 responses.
5387
5388 2003-11-27  Hrvoje Niksic  <hniksic@xemacs.org>
5389
5390         * progress.c (create_image): Don't calculate ETA if nothing has
5391         been downloaded yet, because it causes division by zero.
5392
5393 2003-11-27  Hrvoje Niksic  <hniksic@xemacs.org>
5394
5395         * connect.c (bind_local): Rename sa_len to addrlen because IRIX
5396         headers define sa_len as a macro.
5397
5398 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
5399
5400         * html-parse.c (convert_and_copy): Remove embedded newlines when
5401         AP_TRIM_BLANKS is specified.
5402
5403 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
5404
5405         * ftp.c: Set con->csock to -1 where rbuf_uninitialize was
5406         previously used.
5407
5408 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
5409
5410         * Makefile.in (http$o): Added the trailing backslash that was
5411         missing.
5412
5413 2003-11-21  Hrvoje Niksic  <hniksic@xemacs.org>
5414
5415         * headers.c: Removed.  The file is no longer relevant, now that no
5416         special handling of headers is done by the rbuf code.  Moved
5417         portions to http.c.
5418
5419 2003-11-21  Hrvoje Niksic  <hniksic@xemacs.org>
5420
5421         * rbuf.c: Removed.
5422
5423         * ftp-basic.c (ftp_response): Use fd_read_line.  No longer use
5424         struct rbuf.  Updated all callers.
5425
5426         * http.c (gethttp): Use fd_read_head to read all the headers in
5427         one go.
5428         (next_header): New function.
5429
5430         * retr.c (fd_read_line): New function: reads a line from FD,
5431         leaving the rest of the data unread.
5432         (fd_read_head): New function.
5433
5434         * connect.c (fd_peek): New function, implements peeking.
5435         (poll_internal): New function.
5436         (fd_read): Use it.
5437         (fd_write): Ditto.
5438         (fd_peek): Ditto.
5439         (fd_register_transport): Allow registering a "peeker" callback.
5440
5441 2003-11-20  Hrvoje Niksic  <hniksic@xemacs.org>
5442
5443         * connect.c: Renamed xread/xwrite/xclose to
5444         fd_read/fd_write/fd_close.  The "x" prefix is not appropriate
5445         because the semantics have diverged from read/write/close too
5446         significantly.  Updated all callers.
5447
5448 2003-11-20  Hrvoje Niksic  <hniksic@xemacs.org>
5449
5450         * connect.c (sock_write): It's not necessary to initialize RES.
5451
5452 2003-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
5453
5454         * main.c (main): Don't reference opt.ipv4_only and opt.ipv6_only
5455         if IPv6 is disabled.
5456
5457 2003-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
5458
5459         * connect.c (socket_has_inet6): Only compile it if IPv6 is enabled
5460         and AI_ADDRCONFIG is missing.
5461
5462 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
5463
5464         * gen_sslfunc.c (ssl_init_prng): Warn the user when using a weak
5465         random seed.
5466
5467 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
5468
5469         * host.c (address_list_contains): Renamed address_list_find to
5470         address_list_contains because its result is boolean.
5471
5472 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
5473
5474         * connect.c (select_fd): Return 1 if select is not available.
5475
5476 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
5477
5478         * connect.c (connect_to_host): Don't reference address list after
5479         releasing it.
5480
5481 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
5482
5483         * main.c (print_help): Fix alignment of FTP options output.
5484
5485 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
5486
5487         * host.c (lookup_host): Check for the ability to create IPv6
5488         sockets here.
5489
5490         * init.c (defaults): Don't auto-set --inet4-only on IPv6-less
5491         systems.
5492
5493 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
5494
5495         * main.c (print_help): Fix typo in `-O' help message.  Fix docs of
5496         -Y/--proxy.  Fix docs of `--cookies' and `--glob'.  Improve docs
5497         of --convert-links.  Fix docs of SSL options.
5498
5499 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
5500
5501         * ftp-basic.c: Don't include <arpa/inet.h> and others because
5502         they're no longer needed.
5503
5504 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
5505
5506         * main.c (main): Don't allow setting of both opt.ipv4_only and
5507         opt.ipv6_only.
5508
5509         * init.c (defaults): Mark opt.ipv4_only specially when set
5510         automatically.
5511
5512 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
5513
5514         * host.c (lookup_host): Use AI_ADDRCONFIG only if the family is
5515         unspecified.  This ensures that specifying `--no-inet4' on systems
5516         where IPv6 resolves, but doesn't work behaves the same regardless
5517         of the availability of AI_ADDRCONFIG.
5518
5519 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
5520
5521         * host.c: Don't refer to the now-removed function
5522         forget_host_lookup in the documentation of lookup_host.
5523
5524 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
5525
5526         * http.c (persistent_available_p): Correctly specify the endpoint
5527         argument to socket_ip_address.
5528         (gethttp): When printing the "reusing connection to..." message,
5529         specify the host name of the reused connection, not the current
5530         host name.  That makes more sense because it provides a useful
5531         piece of information -- we know to which host we're supposed to
5532         connect anyway!
5533
5534 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
5535
5536         * init.c: Make sure the options are in alphabetic order!
5537
5538         * host.c (lookup_host): Merge lookup_host_passive and lookup_host
5539         after all -- having both would result in some code duplication.
5540         (lookup_host): Set hints.ai_family to AF_INET if ipv4_only is
5541         requested.  Likewise, set it to AF_INET6 for ipv6_only.  Specify
5542         AI_ADDRCONFIG where available.
5543         (lookup_host): New flag LH_REFRESH that specifies that a cached
5544         entry for HOST should be refreshed.
5545         (cache_query): New function.
5546         (cache_store): Ditto.
5547         (cache_remove): Ditto.
5548         (forget_host_lookup): No longer necessary, replaced with static
5549         function cache_remove.
5550
5551 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
5552
5553         * main.c: Enable -4 and -6 only if IPv6 is enabled.
5554
5555 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
5556
5557         * connect.c (register_transport): Renamed from register_extended.
5558         Explain the intended usage.
5559
5560 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
5561
5562         * url.c (uri_merge): Merging "foo" and "bar" should result in
5563         "bar", not in "foo/bar".
5564         (path_simplify): Don't remove empty path elements; don't
5565         special-case leading slash.
5566         (path_simplify): Don't swallow ".."'s at the beginning of string.
5567         E.g. simplify "foo/../../bar" as "../bar", not as "bar".
5568         (append_uri_pathel): Defang ".." path element upon encountering
5569         it.
5570
5571 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
5572
5573         * http.c (persistent_available_p): Don't attempt to talk to two
5574         different SSL sites over the same secure connection.
5575
5576 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
5577
5578         * http.c (gethttp): Ditto.
5579
5580         * ftp.c (getftp): Use retryable_socket_connect_error instead of
5581         CONNECT_ERROR.
5582
5583         * wget.h (CONNECT_ERROR): Removed.
5584
5585         * connect.c (retryable_socket_connect_error): New function instead
5586         of unsupported_socket_family_error.
5587
5588 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
5589
5590         * wget.h (CONNECT_ERROR): Use it.
5591
5592         * connect.c (unsupported_socket_family_error): New function.
5593
5594 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
5595
5596         * connect.c (bind_local): Renamed bindport to bind_local; return
5597         the socket directly.  Updated callers.
5598         (accept_connection): Renamed acceptport to accept_connection;
5599         return the created socket directly.  Updated callers.
5600
5601 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
5602
5603         * init.c (defaults): Turn on opt.ipv4_only if we're compiling with
5604         IPv6, and AI_ADDRINFO is not available, and AF_INET6 sockets can't
5605         be created.
5606
5607 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
5608
5609         * host.c (lookup_host): Document the fact that the addresses are
5610         returned in order.
5611
5612 2003-11-12  Hrvoje Niksic  <hniksic@xemacs.org>
5613
5614         * utils.c: Use limits.h only where available.
5615
5616         * hash.c: Use INVALID_PTR and INVALID_PTR_BYTE.  Include limits.h.
5617
5618 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
5619
5620         * main.c: Added options --inet4-only and --inet6-only.
5621
5622 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
5623
5624         * host.c (host_errstr): Use the more standard message "Unknown
5625         host".
5626
5627 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
5628
5629         * connect.c (connect_to_host): Use that flag to decide whether to
5630         re-resolve the host name.
5631
5632         * host.c (struct address_list): Added a flag that maintains
5633         whether the connection worked at some point.
5634
5635 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
5636
5637         * host.c (lookup_host): Special-case the numeric addresses only in
5638         the non-IPv6 case.
5639
5640 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
5641
5642         * connect.c (resolve_bind_address): Call lookup_host_passive.
5643         Make sure that opt.bind_address is resolved only once.
5644
5645         * host.c (lookup_host_passive): New function, handles "passive"
5646         lookups.
5647         (lookup_host): Remove the passive flags.  Remove the
5648         family-related flags -- use ip_default_family instead.
5649
5650 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
5651
5652         * html-url.c: Get URLs from <object data="...">.
5653
5654 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
5655
5656         * main.c (option_data): Specify the command to use for --mirror.
5657
5658 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
5659
5660         * cookies.c (cookie_handle_set_cookie): Specify exact match for
5661         unspecified domains.
5662
5663 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
5664
5665         * main.c (main): Removed one-letter options `-C', `-g', `-G', and
5666         `-s'.
5667
5668 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
5669
5670         * main.c (main): Add --dont-remove-listing for backward
5671         compatibility with previous versions.
5672         (print_help): Fix typo, spotted by Dennis Smit.
5673
5674 2003-11-08  Gisle Vanem  <giva@bgnett.no>
5675
5676         * ftp-basic.c: Support Windows-2000 ftp servers. Win-2000 *is*
5677         Win-NT 5.0 so calling it ST_WINNT is okay I guess.
5678
5679 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
5680
5681         * progress.c (update_speed_ring): Clear the speed ring when the
5682         download stalls.
5683
5684         * retr.c (get_contents): Specify 0.95s read timeout, so that the
5685         progress gauge can be updated even when data arrives very slowly
5686         or stalls.
5687
5688 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
5689
5690         * utils.c (wtimer_allocate): Bless the use of wtimer_read on a
5691         timer that has merely been allocated because get_contents() does
5692         that.
5693         (wtimer_update): Abort if the timer is not initialized.
5694
5695 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
5696
5697         * retr.c (get_contents): Pass the timer to limit_bandwidth().
5698
5699         * utils.c (wtimer_update): New function instead of wget_elapsed;
5700         just update the timer, but don't return anything.
5701         (wtimer_read): Read and return the last known value of the timer.
5702
5703 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
5704
5705         * http.c (persistent_available_p): Instead of matching all the
5706         addresses of HOST and last host, determine the peer's IP address
5707         with socket_ip_address and see if that address is one of those
5708         HOST resolves to.
5709
5710         * host.c (address_list_match_all): Removed.
5711         (address_list_find): New function, finds an IP address in the
5712         address list.
5713
5714         * ftp.c (ftp_do_pasv): Get the peer's address here, and pass it to
5715         ftp_epsv so it doesn't need to call getpeername.
5716
5717         * ftp-basic.c (ftp_port): Use socket_ip_address instead of
5718         getpeername.
5719         (ftp_lprt): Ditto.
5720
5721         * connect.c (socket_ip_address): Replaces conaddr, generalized to
5722         either get peer's or local address.
5723         (sockaddr_get_data): Made local to this file.
5724
5725 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
5726
5727         * hash.c (HASH_POSITION): Explicitly accept the hash function.
5728         (grow_hash_table): Extract ht->hash_function outside the loop.
5729         (hash_table_remove): Ditto.
5730         (hash_table_clear): Fill entries with 0xff to clear them.
5731         (hash_table_remove): Mark entries as deleted with the correct
5732         marker.
5733
5734 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
5735
5736         * http.c (persistent_available_p): No reason for the host lookup
5737         to be silent -- it's a lookup like any other.
5738
5739 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
5740
5741         * connect.c (register_extended): Check that fd >= 0.
5742
5743 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
5744
5745         * connect.c (LAZY_RETRIEVE_INFO): Set LAST_INFO.
5746
5747 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
5748
5749         * hash.c (NON_EMPTY): Use the all-bit-set value as the marker that
5750         the field is empty.  This allows NULL pointer and 0 value to be
5751         used as keys, which is necessary for the connect.c code to work
5752         when fd==0.
5753         (hash_table_new): Fill mappings with 0xff.
5754         (grow_hash_table): Ditto.
5755
5756 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
5757
5758         * url.c (url_parse): Allow empty ports.
5759
5760 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
5761
5762         * main.c (print_help): Break the help string into multiple chunks.
5763         (cmdline_option): New option handler OPT_FUNCALL.  Generalized
5764         HANDLE_CMD to generic DATA.
5765         (option_data): Use the new OPT_FUNCALL feature.
5766
5767 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
5768
5769         * log.h: Declare log_init, log_close, and
5770         log_request_redirect_output here.
5771
5772 2003-11-05  Dennis Smit  <ds@nerds-incorporated.org>
5773
5774         * main.c: (main): added --preserve-permissions option.
5775
5776         * ftp.c (ftp_retrieve_list): added support for
5777         --preserve-permissions option.
5778
5779         * init.c: added support for --preserve-permission option.
5780
5781         * option.h: added support for --preserve-permission option.
5782
5783 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
5784
5785         * main.c (init_switches): New function.  Convert option_data to
5786         long_options and short_options, which can be fed to getopt_long.
5787         (main): Execute command-line options by consulting option_data.
5788
5789 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
5790
5791         * gen_sslfunc.c (ssl_read): Implement a more correct check for
5792         EINTR.
5793         (ssl_write): Ditto.
5794         (init_ssl): Use a global SSL context.
5795
5796 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
5797
5798         * connect.c (xclose): Free INFO even if it doesn't provide a
5799         closer.
5800
5801 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
5802
5803         * connect.c: Updated all callers of
5804         iread/ssl_iread/iwrite/ssl_iwrite to use xread and xwrite instead.
5805
5806         * rbuf.h (struct rbuf): Removed the SSL member because SSL is
5807         handled automatically by xread.
5808
5809         * hash.c (ptrhash): Made private.
5810         (ptrcmp): Ditto.
5811         (inthash): Removed.
5812
5813         * connect.c (select_fd): Don't set errno, leave it to the caller.
5814
5815         * gen_sslfunc.c (connect_ssl): Use register_extended to register
5816         SSL callbacks for communication with SSL-enabled endpoints.
5817         (ssl_read): New function.
5818         (ssl_write): Ditto.
5819         (ssl_poll): Ditto.
5820         (ssl_close): Ditto.
5821
5822         * connect.c (register_extended): New function -- register
5823         callbacks for basic socket operations.
5824         (xread): Ditto.
5825         (xwrite): Ditto.
5826         (xclose): Ditto.
5827         (sock_read): New function, default implementation for reading.
5828         (sock_write): Ditto for writing.
5829         (sock_poll): Ditto for polling.
5830         (sock_close): Ditto for closing.
5831
5832 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
5833
5834         * connect.c (bindport): Fix compilation under pre-C99 compilers.
5835
5836 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
5837
5838         * connect.c (connect_to_ip): More compact error checking.
5839         (bindport): Don't treat failed setsockopt as a fatal error.
5840
5841 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
5842
5843         * connect.c (resolve_bind_address): Use a more accurate error
5844         message -- we're not binding to ANY, we're disabling bind
5845         altogether.
5846
5847 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
5848
5849         * cookies.c (save_cookies_mapper): Respect the setting of
5850         keep-session-cookies.
5851         (cookie_jar_load): Import session cookies.
5852         Based on code submitted by Nicolas Schodet.
5853
5854         * utils.c (datetime_str): Use information in TM when it's
5855         non-NULL.
5856
5857         * main.c (main): New option `--keep-session-cookies'.
5858
5859 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
5860
5861         * Makefile.in (realclean): Delete config.h.in.
5862
5863 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
5864
5865         * config-post.h: New file, included from now autogenerated
5866         config.h.in.
5867
5868 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
5869
5870         * progress.c (progress_handle_sigwinch): Don't call
5871         determine_screen_width() from the signal handler.  Instead, just
5872         set a volatile variable.
5873         (bar_create): Check whether SIGWINCH was received.
5874         (bar_update): Ditto.
5875
5876         * sysdep.h: Define SYSTEM_FNMATCH only if HAVE_FNMATCH_H is true.
5877
5878 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
5879
5880         * utils.c (xsleep): New function.  Uses nanosleep where available,
5881         resuming sleeps interrupted by signals.  Updated callers of sleep
5882         and usleep to use xsleep.
5883
5884 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
5885
5886         * ftp-basic.c (ftp_login): Remove shadowing (and bogus)
5887         declaration of SEED.
5888
5889 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
5890
5891         * log.c (logvprintf): Documented better.  Renamed to
5892         log_vprintf_internal to avoid confusion with the public API
5893         functions logprintf and logputs.
5894
5895 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
5896
5897         * wget.h (N_): Don't parenthesize argument.
5898
5899 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
5900
5901         * host.h (ADDRESS_IPV4_DATA): Don't take the address of in.s_addr
5902         because that doesn't work on machines that define it as bitfield.
5903
5904 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
5905
5906         * connect.c (select_fd): Generalize the third argument into WAIT,
5907         so that the caller can request waiting for both read and write.
5908         Updated callers.
5909
5910 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
5911
5912         * html-url.c (cleanup_html_url): Destroy the hash tables, don't
5913         just call free on them.
5914         (init_interesting): Use hash_table_put instead of string_set_add
5915         because we don't need the strdup that the latter function
5916         performs.
5917
5918         * init.c (cleanup): Don't pass NULL to cookie_jar_delete.
5919
5920         * xmalloc.c (xfree_real): Abort when passed a NULL pointer.
5921         (xfree_debug): Print at the file and line of the offending call to
5922         free.
5923
5924 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
5925
5926         * wget.h: Retired the `boolean' type.  Moved the DEFAULT_LOGFILE
5927         define to log.h.  Moved the INFINITE_RECURSION define to recur.h.
5928
5929         * xmalloc.h: Renamed FREE_MAYBE to xfree_null and moved the
5930         definition from wget.h to xmalloc.h.
5931
5932 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
5933
5934         * html-parse.c (decode_entity): New function; split the decoding
5935         of entities here.
5936         (convert_and_copy): Use it to decode entities.
5937         (decode_entity): Handle the &apos entity.
5938         (decode_entity): Don't decode Latin 1 numeric entities.  Don't
5939         decode &#0.
5940
5941 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
5942
5943         * ftp-opie.c (calculate_skey_response): Use uint32_t instead of
5944         `unsigned long' for the cheksum array.  Document the function.
5945
5946 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
5947
5948         * connect.c (acceptport): Don't call select_fd when timeout is not
5949         requested.
5950
5951 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
5952
5953         * host.c: Removed the ip_default_family global variable.
5954
5955         * host.c (lookup_host): Document the function.  Fixed declaration
5956         of VEC.
5957
5958 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
5959
5960         * various: Use new macros xnew, xnew0, xnew_array, and xnew0_array
5961         in various places.
5962
5963 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
5964
5965         * wget.h: Move declarations of malloc and logging code to
5966         xmalloc.h and log.h respectively to unclutter this file.
5967         (STRDUP_ALLOCA): Made it side-effect free.
5968
5969         * xmalloc.h: New files.  Define macros xnew, xnew0, xnew_array,
5970         and xnew0_array.
5971
5972         * xmalloc.c: New file.  Move the xmalloc routines here.
5973
5974 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
5975
5976         * connect.c (sockaddr_set_data): Remove the broken code that
5977         checked for NULL address.
5978
5979 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
5980
5981         * host.c (address_list_from_single): Removed.
5982         (address_list_from_ipv4_addresses): Renamed from
5983         address_list_from_vector.
5984
5985 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
5986
5987         * sysdep.h (CLOSE): Don't call close on file descriptors less than
5988         0, i.e. on uncreated sockets.
5989
5990         * connect.c (resolve_bind_address): Work on struct sockaddr
5991         directly.
5992         (connect_to_host): Replacement for connect_to_many.  Resolve HOST
5993         and connect to any of its addresses.  If we can't connect and the
5994         host name lookup was cached, try to resolve it again.  This should
5995         fix problems with hosts behind dynamic DNS.  Updated all callers.
5996         (connect_to_ip): Replacement for connect_to_one.  Removed SILENT;
5997         added the argument PRINT instead.  Updated all callers.
5998         (set_connection_host_name): Removed.
5999
6000         * host.c (address_list_address_at): New function instead of
6001         address_list_copy_one. It returns a pointer to ip_address *, so
6002         it's not necessary to copy the data.
6003         (address_list_cached_p): New function.
6004         (forget_host_lookup): Ditto.
6005
6006         * connect.c: Got rid of the MSOCK global variable.  Made bindport
6007         return the local socket it creates.  Added a new argument to
6008         acceptport, the socket to call accept on.  Updated callers.
6009         (closeport): Removed.
6010
6011         * connect.c: Moved the sockaddr code from host.c to this file,
6012         because most of that stuff is used for connecting, and has nothing
6013         to do with host names anyway.
6014         (sockaddr_set_data, sockaddr_get_data): New functions, replace the
6015         old sockaddr_set_address, sockaddr_set_port, sockaddr_get_address,
6016         and sockaddr_get_port.
6017
6018 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
6019
6020         * sysdep.h: Use `S >= 8' rather than `S == 8' when looking for
6021         large integers.
6022
6023 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
6024
6025         * url.c (append_uri_pathel): New argument ESCAPED_P that says
6026         whether [B, E) is to be treated as URL-escaped or not.  If
6027         ESCAPED_P is false, don't unescape the region.
6028         (url_file_name): u->file is not URL-escaped.
6029
6030 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
6031
6032         * retr.c (retrieve_from_file): Use retrieve_tree for
6033         page-requisites.
6034
6035         * main.c (main): Don't define opt.recursive when -p is used.
6036         Instead, make sure that recursion is used for HTTP in that case.
6037
6038 2003-10-29  Hrvoje Niksic  <hniksic@xemacs.org>
6039
6040         * host.h: Defined accessors for elements of ip_address.  Updated
6041         all callers.
6042         (address_list_match_all): Use memcmp in the non-IPv6 case.
6043
6044         * wget.h (CONNECT_ERROR): Don't retry connecting if connect()
6045         returned EAFNOSUPPORT.
6046
6047 2003-10-27  Mauro Tortonesi <mauro@deepspace6.net>
6048
6049         * connect.h: changed bindport prototype and added the related
6050         BIND_ON_IPV4_ONLY and BIND_ON_IPV6_ONLY flags.
6051
6052         * connect.c: changed bindport and resolve_bind_address to allow
6053         protocol-version specific DNS resolution. modified conaddr,
6054         acceptport and connect_to_one to make use of struct
6055         sockaddr_storage and of the new ip_address structure.
6056
6057         * ftp-basic.c: added LPRT/LPSV (RFC1639) support, refactored
6058         PORT/PASV (RFC959) and EPRT/EPSV (RFC2428) support code.
6059
6060         * ftp.c: added the ftp_do_port and ftp_do_pasv functions to
6061         handle FTP over IPv6.
6062
6063         * ftp.h: changed prototype of ftp_epsv and added prototypes for
6064         ftp_lpsv, ftp_lprt and ftp_eprt.
6065
6066         * host.c: renamed the
6067         wget_sockaddr_set_address and wget_sockaddr_get_addr, and
6068         wget_sockaddr_{s,g}et_port couples to sockaddr_{s,g}et_address and
6069         sockaddr_{g,s}et_port respectively.  changed
6070         address_list_match_all, address_list_from_addrinfo sockaddr_len,
6071         pretty_print_address, lookup_host, sockaddr_{s,g}et_address and
6072         sockaddr_{g,s}et_port to make use of struct sockaddr_storage and
6073         of the new ip_address structure.  removed map_ipv4_to_ip and
6074         map_ip_to_ipv4.
6075
6076         * host.h: redefined structure ip_address and removed structure
6077         wget_sockaddr.
6078
6079 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
6080
6081         * sysdep.h: Include inttypes.h where available.
6082
6083         * host.c: Switch from u_int32_t to uint32_t.
6084
6085 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
6086
6087         * netrc.c (parse_netrc): Reset the QUOTE flag after the closing
6088         quote.
6089
6090 2003-10-25  Hrvoje Niksic  <hniksic@xemacs.org>
6091
6092         * url.c (is_valid_ipv6_address): Reformat to GNU coding style.
6093         Use enums for NS_IN* constants.  Use ISXDIGIT.
6094
6095         * convert.c (construct_relative): Document better how the function
6096         works.
6097
6098 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
6099
6100         * config.h.in: Deploy preprocessor magic to avoid Ultrix's
6101         <netdb.h> include <bitypes.h> which defines its own u_int32_t.
6102         Reported by Bernhard Simon.
6103
6104 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
6105
6106         * version.c: Bump version.
6107
6108 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
6109
6110         * url.c: Ditto.
6111
6112         * html-parse.c (advance_declaration): Don't use trailing comma in
6113         enum because older compilers don't support it.
6114
6115         * utils.c: Don't redefine HAVE_SIGSETJMP.
6116
6117 2003-10-16  Hrvoje Niksic  <hniksic@xemacs.org>
6118
6119         * convert.c (construct_relative): Don't handle absolute files
6120         specially -- for example, -P/tmp/foo shouldn't imply that
6121         converted files must refer to "/tmp/foo/..."!
6122
6123 2003-10-15  Hrvoje Niksic  <hniksic@xemacs.org>
6124
6125         * http.c: Consider status 307 a valid redirect.
6126
6127 2003-10-15  Philip Stadermann  <philip.stadermann@credativ.de>
6128
6129         * ftp.c (ftp_retrieve_glob): Correctly loop through the list whose
6130         elements might have been deleted.
6131
6132 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
6133
6134         * html-url.c (tag_handle_meta): Set the Refresh link to expect
6135         HTML.
6136         (append_one_url): Renamed to append_url.
6137
6138 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
6139
6140         * sysdep.h: Only define u_int32_t.
6141
6142 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
6143
6144         * utils.c (large_int_to_string): Use snprintf() to print the
6145         number.  This will work even on systems where libc doesn't
6146         understand %lld, but the compiler does, because it will use our
6147         snprintf replacement.
6148
6149         * init.c (parse_bytes_helper): New function.
6150         (cmd_bytes): Use it to parse bytes, but cast the result to long.
6151         (cmd_bytes_large): Ditto, but store the result to LARGE_INT.  Used
6152         for --quota so that --quota=10G works even on machines without
6153         long long.
6154
6155         * options.h (struct options): Declare quota as LARGE_INT.
6156
6157         * retr.c (downloaded_exceeds_quota): Removed.
6158         (downloaded_increase): Ditto.
6159         (total_downloaded_bytes): New variable, replaces opt.downloaded,
6160         which was the wrong place for it anyway.  Updated callers of
6161         downloaded_exceeds_quota and downloaded_increase to check this
6162         variable directly.
6163
6164         * sysdep.h: Get rid of VERY_LONG_TYPE.  Use LARGE_INT for the same
6165         purpose, defined as `long', `long long' or `double', depending on
6166         size of long and whether long long is available.
6167
6168 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
6169
6170         * sysdep.h: Also check size of short for int32_t.
6171
6172 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
6173
6174         * host.c (lookup_host): Use u_int32_t to store the result of
6175         inet_addr().  That removes the need for offset fiddling, caring
6176         about endian-ness, etc.
6177
6178         * sysdep.h: Define int32_t and u_int32_t if not available.
6179
6180 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
6181
6182         * ftp-basic.c (ftp_epsv): Use socklen_t * as the third argument to
6183         getpeername.
6184
6185         * config.h.in: Define socklen_t stub.
6186
6187         * host.c (sockaddr_len): Return socklen_t.
6188
6189         * connect.c (conaddr): Use socklen_t as the third argument to
6190         accept, getsockname, and connect.
6191
6192 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
6193
6194         * recur.c (retrieve_tree): Don't descend into documents that are
6195         not expected to contain HTML, regardless of their content-type.
6196
6197         * html-url.c (tag_url_attributes): Record which attributes are
6198         supposed to yield HTML links that can be followed.
6199         (tag_find_urls): Propagate that information to the caller through
6200         struct urlpos.
6201
6202 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
6203
6204         * hash.c (find_mapping): Return the next available mapping when
6205         the key is not found, not NULL.
6206         (hash_table_put): Use find_mapping to find the storage for the new
6207         data.
6208         (hash_table_put): Grow the table before exceeding maximum
6209         fullness, not afterwards.
6210
6211 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
6212
6213         * hash.c (hash_table_new): Slightly change the meaning of the
6214         first parameter.  Instead of being the minimum initial size, it is
6215         now the minimum number of items that the hash table can take
6216         without needing to resize.
6217
6218 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
6219
6220         * html-url.c (init_interesting): Initialize interesting_tags and
6221         interesting_attributes as hash tables.  This simplifies the code
6222         immensely because hash tables handle allocation and remove
6223         duplicates automatically.
6224         (find_tag): Removed.
6225         (collect_tags_mapper): Instead of calling find_tag, simply get the
6226         entry from interesting_tags hash table, which is both simpler and
6227         faster.
6228
6229 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
6230
6231         * hash.c (hash_table_get): Declare hash-table argument as const.
6232         (find_mapping): Ditto.
6233         (hash_table_get_pair): Ditto.
6234         (hash_table_contains): Ditto.
6235         (hash_table_count): Ditto.
6236
6237 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
6238
6239         * html-url.c (get_urls_html): Parse the appropriate flags to
6240         html-parse.c.
6241
6242         * html-parse.c (map_html_tags): Accept FLAGS from the caller
6243         instead of examining OPT.
6244
6245 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
6246
6247         * html-url.c (find_tag): Switch to binary search.
6248
6249 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
6250
6251         * main.c (print_help): Fix typo; stured -> stored.
6252
6253 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
6254
6255         * getopt.c: Add definitions of getopt_long and getopt_long_only.
6256
6257 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
6258
6259         * config.h.in: Renamed DEBUG to ENABLE_DEBUG.  ENABLE_DEBUG is, I
6260         think, a better name, because it implies that debugging output is
6261         merely possible, not "on by default", as might be construed from
6262         just DEBUG.
6263
6264 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
6265
6266         * ftp.c (has_insecure_name_p): Define it here.
6267
6268         * utils.c (has_wildcards_p): Define it here.
6269
6270         * sysdep.h: Declare fnmatch-related macros here, if not using
6271         system fnmatch().  Update .c files to not declare fnmatch.h
6272         directly.
6273
6274         * cmpt.c (fnmatch): Moved here.  Use it only under non-GNU libc.
6275
6276 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
6277
6278         * getopt.c: Newer version, imported from Free libit.
6279
6280 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
6281
6282         * cookies.c (struct cookie): Remove unused backpointer to cookie
6283         jar.
6284
6285 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
6286
6287         * cmpt.c (memmove): Comment out, since it's no longer used.
6288
6289         * cookies.c (cookie_jar_generate_cookie_header): Allocate room for
6290         chains in one pass.
6291         (find_chains_of_host): Assume that the caller has allocated DEST
6292         to be sufficiently large to take all the data.
6293         (eliminate_dups): Run through the array and eliminate dups on the
6294         fly instead of using memmove.
6295         (cookie_jar_process_set_cookie): Free cookie->domain before
6296         re-setting it.
6297
6298 2003-10-05  Gisle Vanem  <giva@bgnett.no>
6299
6300         * mswindows.c (set_sleep_mode): Fix type of
6301         _SetThreadExecutionState.
6302
6303 2003-10-05  Hrvoje Niksic  <hniksic@xemacs.org>
6304
6305         * utils.c (file_size): Return -1 if fopen() returns NULL.  Prior
6306         to this patch, wget --post-file=nosuchfile dumped core.
6307
6308 2003-10-04  Gisle Vanem  <giva@bgnett.no>
6309
6310         * mswindows.c (run_with_timeout): Use WaitForSingleObject to wait
6311         for thread termination.
6312
6313 2003-10-04  Hrvoje Niksic  <hniksic@xemacs.org>
6314
6315         * log.c: Use `...' in function definitions; ansi2knr will convert
6316         them to va_dcl.  This allowed removal of the ugly VA_START_1 and
6317         VA_START_2 macros.
6318
6319 2003-10-03  Gisle Vanem  <giva@bgnett.no>
6320
6321         * connect.c: And don't include them here.
6322
6323         * mswindows.h: Include winsock headers here.
6324
6325 2003-10-03  Hrvoje Niksic  <hniksic@xemacs.org>
6326
6327         * html-parse.c (convert_and_copy): Move variable declarations
6328         before statements.
6329
6330 2003-10-02  Gisle Vanem  <giva@bgnett.no>
6331
6332         * mswindows.c (run_with_timeout): For Windows: Run the 'fun' in a
6333         thread via a helper function. Continually query the thread's
6334         exit-code until finished or timed out.
6335
6336 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
6337
6338         * wget.h (XMALLOC_ARRAY): Removed.
6339         (ALLOCA_ARRAY): Ditto.
6340
6341         * html-parse.c: Renamed alloca_p to resized.
6342         (GROW_ARRAY): Renamed DO_REALLOC_FROM_ALLOCA to GROW_ARRAY and
6343         returned it to html-parse.c, since nothing else was using it.
6344
6345 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
6346
6347         * retr.c (retrieve_url): Initialize DUMMY storage for DT.  Caught
6348         by valgrind.
6349
6350 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
6351
6352         * html-parse.c (convert_and_copy): Handle numeric entities in
6353         hexadecimal, &#xHH.
6354         (convert_and_copy): Copy the contents directly to the pool without
6355         a stack-allocated intermediary.
6356
6357 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
6358
6359         * utils.c (alarm_set): New function; use either setitimer or alarm
6360         to set up the alarm.
6361         (alarm_cancel): New function; cancel the alarm set up by
6362         alarm_set.
6363         (run_with_timeout): Use them.
6364
6365 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
6366
6367         * url.c (url_parse): Don't leak memory when a reencoded URL turns
6368         out to be invalid.
6369
6370         * url.c (parse_errors): Mark error messages for translation.
6371         (url_error): Translate error messages returned to the caller.
6372
6373 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
6374
6375         * ftp.c (ftp_loop_internal): Initialize TMRATE to NULL to shut up
6376         the compiler.
6377
6378 2003-09-26  Gisle Vanem  <giva@bgnett.no>
6379
6380         * src/mswindows.c: Added ws_percenttitle() showing progress in the
6381         window titlebar. Called from retr.c. Secured ws_mypath().
6382
6383         * windows/config.h.ms: alloca() prototype not needed.  Removed
6384         "#undef ENABLE_NLS"; should be in Makefile IMHO. Moved
6385         WGET_USE_STDARG from mswindows.h to config.ms.h because of #ifdef
6386         in log.c. (MSVC's vararg.h and stdarg.h are incompatible).
6387
6388 2003-09-29  Aaron Hawley <Aaron.Hawley@uvm.edu>
6389
6390         * ftp.c (getftp): --spider option should now work with FTP
6391         downloads.
6392         (ftp_loop_internal): quiet reports and calculations of downloads
6393         when --spider option set, nor try deleting when --delete-after
6394         also set.
6395         (ftp_loop): --spider will skip HTML-ification of .listing file.
6396
6397 2003-09-26  Gisle Vanem  <giva@bgnett.no>
6398
6399         * mswindows.c (read_registry): Removed.
6400         (set_sleep_mode): New function.
6401         (windows_main_junk): Call it.
6402
6403 2003-09-26  Gisle Vanem  <giva@bgnett.no>
6404
6405         * mswindows.c (read_registry): Fix invocation of registry
6406         functions.
6407
6408         * mswindows.c (read_registry): Condition definitions of sleep and
6409         usleep with not HAVE_SLEEP and HAVE_USLEEP respectively.  Define
6410         HAVE_SLEEP and HAVE_USLEEP under __DMC__.
6411
6412 2003-09-24  Hrvoje Niksic  <hniksic@xemacs.org>
6413
6414         * url.c (url_escape_1): Revert unintentional change to lowercase
6415         xdigit escapes.
6416         (url_escape_dir): Document that this function depends on the
6417         output of url_escape_1.
6418
6419 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
6420
6421         * progress.c (create_image): Print the current ETA if we're done
6422         with the download.
6423         (create_image): Change '-' display char to '+' in the progress bar.
6424
6425         * Makefile.in (clean): Remove .libs.
6426
6427 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
6428
6429         * cookies.c (struct cookie): New flag domain_exact.
6430         (update_cookie_field): Skip leading dot in domain.
6431         (find_matching_chains): Match numeric addresses exactly; don't
6432         needlessly copy HOST to the stack.
6433         (matching_cookie): Added argument HOST.  If cookie->domain_exact
6434         is set, check that HOST is equal to cookie->domain.
6435         (cookie_jar_load): Only use TAB as delimiter.  Document the
6436         meaning of DOMAIN-FLAG.  Skip leading dot in domain.
6437         (cookie_jar_load): Don't ignore DOMAIN-FLAG -- instead, set
6438         domain_exact to true if DOMAIN-FLAG is false.
6439         (save_cookies_mapper): If domain_exact is false, prepend the
6440         domain with dot, like Mozilla does.
6441
6442 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
6443
6444         * progress.c (create_image): Print the initial part of the
6445         download with '-' characters, analogous to how dot progress prints
6446         the initial part with ','.
6447
6448         * hash.c (ptrhash): New function.
6449         (ptrcmp): Ditto.
6450         (hash_table_new): Default to identity hash table.
6451
6452 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
6453
6454         * safe-ctype.h (_sch_test): The cast of BIT to unsigned char was
6455         broken -- _sch_istable bitmasks are 16-bit, not 8-bit!  Cast BIT
6456         to unsigned short instead.
6457
6458 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
6459
6460         * url.c (path_simplify): Instead of calls to memmove, handle "./"
6461         and "../" by advancing pointers.
6462
6463 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
6464
6465         * retr.c (getproxy): Moved from url.c.
6466
6467         * convert.c: Split off link conversion from url.c into separate
6468         file.  Also included the book-keeping stuff from recur.c.
6469
6470 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
6471
6472         * init.c: Improved documentation of functions.
6473         (cmd_boolean): Attempt to make code that tries to avoid calling
6474         strcmp for "speed" a bit more readable.
6475
6476         * init.c (simple_atof): Report error on encountering non-digit,
6477         non-"." character.
6478         (simple_atoi): Replacement for myatoi(), calling interface
6479         compatible with simple_atof.  Updated myatoi's callers.
6480
6481 2003-09-21  Bertrand Demiddelaer  <bert@b3rt.org>
6482
6483         * url.c (path_simplify): Would read two bytes past the end of the
6484         string in the "./" case.
6485
6486 2003-09-21  Matthew J. Mellon  <mellon@tymenet.com>
6487
6488         * http.c (gethttp): Recognize content-type "application/xhtml+xml"
6489         as what Wget considers "text/html".
6490
6491 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
6492
6493         * connect.c (connect_with_timeout): Made timeout type double.
6494
6495         * options.h (struct options): New members read_timeout,
6496         dns_timeout, and connect_timeout.
6497         Use them.
6498
6499 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
6500
6501         * init.c (simple_atof): New function.
6502         (cmd_time): Use it.
6503         (cmd_bytes): Accept things like "1.5k" and such.  Use simple_atof
6504         to parse decimals.
6505
6506         * retr.c (limit_bandwidth): Adjust each sleep by the error of the
6507         previous one.
6508
6509 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
6510
6511         * main.c (main): Use setoptval() for setting the options.  Use
6512         run_command for `-e'.
6513
6514         * init.c (parse_line): Rewritten to return COMIND right away.
6515         Changed linkage to static.
6516         (run_wgetrc): Use the available comind when calling setval, so it
6517         doesn't have to be computed twice.
6518         (setval_internal): New function, runs the command's action without
6519         any error checking.
6520         (setoptval): New function, does what setval used to do, but exits
6521         in case of error.
6522         (run_command): New function.
6523
6524 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
6525
6526         * connect.c (select_fd): Change MAXTIME's type to double.  Handle
6527         its decimal part.
6528
6529         * retr.c (sleep_between_retrievals): In the random-wait case, use
6530         random_float() to wait between 0 and 2*opt.wait seconds.
6531
6532         * utils.c (run_with_timeout): Accept `double' timeouts.  Correctly
6533         handle timeout values in (0, 1) range.
6534         (random_float): New function.
6535
6536         * options.h (struct options): Change the types of wait, waitretry,
6537         and timeout to double.
6538
6539         * init.c (cmd_time): Accept floating point time.
6540
6541 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
6542
6543         * retr.c (get_contents): Cosmetic fixes.
6544
6545 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
6546
6547         * url.c (uri_merge): Get rid of uri_merge_1.
6548         (uri_merge): Merge "foo//", "bar" as "foo//bar", not "foo///bar",
6549         i.e. don't add an extra slash merely because BASE ends with two
6550         slashes.
6551         (parse_credentials): Renamed from parse_uname.  Rewrittern in
6552         standard [beg, end) calling style.
6553         (url_skip_credentials): Renamed from url_skip_uname.  Made static.
6554         (url_skip_credentials): Include # and ; as terminators.  Old code
6555         would mistakenly consider "http://foo.com#hniksic@iskon.hr" to
6556         contain a username.
6557         (url_skip_scheme): Removed because it was unused.
6558         (url_has_scheme): Require "scheme" to be at least one char long.
6559
6560 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
6561
6562         * url.c (url_file_name): Expect NULL dir_prefix.
6563
6564         * init.c (cmd_file): Use a macro to prevent multiple #ifdef
6565         WINDOWS.
6566         (defaults): Set dir_prefix to NULL by default.
6567
6568 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
6569
6570         * safe-ctype.h (_sch_test): Cast BIT to unsigned char, like latest
6571         gcc does.
6572
6573 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
6574
6575         * wget.h (BOUNDED_TO_ALLOCA): Evaluate PLACE only once.
6576         (ARRAY_SIZE): Renamed to countof.  All callers updated.
6577
6578 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
6579
6580         * main.c (main): New option --strict-comments.
6581
6582         * html-parse.c (find_comment_end): New function: simple BM search
6583         for "-->".
6584         (map_html_tags): Use it if looking at a comment and not in strict
6585         comments mode.
6586
6587 2003-09-17  Aurelien Marchand  <artaxerxes@users.sf.net>
6588
6589         * ftp.h: Added OS400 system in enum
6590         * ftp-basic.c: recognize OS400 systems
6591         * ftp.c: don't prepend the CWD if talking to OS400, since it
6592         breaks the change in library
6593
6594 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
6595
6596         * retr.c (get_contents): Pass the correct argument to ssl_iread.
6597
6598 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
6599
6600         * safe-ctype.h: Don't #define ctype.h macros to errors because
6601         that loses when someone #include's ctype.h after safe-ctype.h.
6602
6603 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
6604
6605         * url.c: Undef U, W, C after use.
6606
6607 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
6608
6609         * init.c (cmd_spec_restrict_file_names): Allow the OS setting to
6610         be augmented by ",nocontrol" which means don't escape the control
6611         characters, but otherwise keep OS settings.
6612
6613         * url.c (file_unsafe_char): Deleted.
6614         (append_uri_pathel): Query filechr_table directly.
6615         (filechr_table): Separated Unix, Windows, and control-unsafe
6616         characters.
6617
6618 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
6619
6620         * url.c (url_escape_1): New function.
6621         (url_escape): Use it.
6622         (sync_path): Handle pathological cases where u->file and u->dir
6623         contain really strange characters.
6624         (ENCODE): Deleted.
6625         (REENCODE): Deleted.
6626
6627 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
6628
6629         * url.c (url_file_name): Don't reallocate FNAME if the file
6630         doesn't exist, as is usually the case.
6631
6632         * utils.c (unique_name): New flag allow_passthrough.
6633
6634 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
6635
6636         * utils.c (wtimer_sys_diff): Convert the time difference to signed
6637         __int64, then to double.  This works around MS VC++ 6 which can't
6638         convert unsigned __int64 to double directly.
6639
6640 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
6641
6642         * Makefile.in (clean): Also remove the core.<number> files
6643         produced by recent Linux systems.
6644
6645 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
6646
6647         * http.c (post_file): Don't pad the file if it's not large
6648         enough.  Bail out instead.
6649
6650 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
6651
6652         * retr.c (get_contents): Reduce the buffer size to the amount of
6653         data that may pass through for one second.  This prevents long
6654         sleeps when limiting bandwidth.
6655
6656         * connect.c (connect_to_one): Reduce the socket's RCVBUF when
6657         bandwidth limitation to small values is requested.
6658
6659 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
6660
6661         * progress.c (update_speed_ring): Moved the speed ring update to a
6662         separate function and documented it better.
6663
6664         * progress.c: Use `double' for most timers to support granularity
6665         smaller than 1ms.
6666
6667 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
6668
6669         * wget.h (XDIGIT_TO_XCHAR): Implement as index into a literal
6670         string.
6671         (XDIGIT_TO_xchar): Ditto.
6672
6673 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
6674
6675         * utils.c: Change the type of timer-related functions from long to
6676         double, for better precision.  On machines supporting gettimeofday
6677         the timers now work with granularity of less than one millisecond.
6678
6679 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
6680
6681         * cookies.c (parse_set_cookies): Fixed the parser to handle more
6682         edge conditions.
6683         (test_cookies): New function, contains a test suite for
6684         parse_set_cookies.
6685
6686 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
6687
6688         * url.c (strpbrk_or_eos): Implement as a macro under Gcc.
6689
6690 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
6691
6692         * cookies.c (parse_set_cookies): Allow trailing space in
6693         set-cookies header.  Also, allow any amount of whitespace, not
6694         only one character.  Allow empty set-cookies header without
6695         spewing an error.
6696
6697 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
6698
6699         * url.c (append_uri_pathel): Use opt.restrict_file_names when
6700         calling file_unsafe_char.
6701
6702         * init.c: New command restrict_file_names.
6703
6704         * main.c (main): New option --restrict-file-names[=windows,unix].
6705
6706         * url.c (url_file_name): Renamed from url_filename.
6707         (url_file_name): Add directory and hostdir prefix here, not in
6708         mkstruct.
6709         (append_dir_structure): New function, does part of the work that
6710         used to be in mkstruct.  Iterates over path elements in u->path,
6711         calling append_uri_pathel on each one to append it to the file
6712         name.
6713         (append_uri_pathel): URL-unescape a path element and reencode it
6714         with a different set of rules, more appropriate for handling of
6715         files.
6716         (file_unsafe_char): New function, uses a lookup table to decide
6717         whether a character should be escaped for use in file name.
6718         (append_string): New utility function.
6719         (append_char): Ditto.
6720         (file_unsafe_char): New argument restrict_for_windows, decide
6721         whether Windows file names should be escaped in run-time.
6722
6723         * connect.c: Include <stdlib.h> to get prototype for abort().
6724
6725 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
6726
6727         * utils.c (wtimer_sys_set): Extracted the code that sets the
6728         current time here.
6729         (wtimer_reset): Call it.
6730         (wtimer_sys_diff): Extracted the code that calculates the
6731         difference between two system times here.
6732         (wtimer_elapsed): Call it.
6733         (wtimer_elapsed): Don't return a value smaller than the previous
6734         one, which could previously happen when system time is set back.
6735         Instead, reset start time to current time and note the elapsed
6736         offset for future calculations.  The returned times are now
6737         guaranteed to be monotonically nondecreasing.
6738
6739 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
6740
6741         * host.c (lookup_host): Print the result of the DNS lookup.
6742
6743 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
6744
6745         * init.c (cmd_boolean): Accept yes/no along with on/off.
6746         (cmd_lockable_boolean): Ditto.
6747
6748 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
6749
6750         * init.c: New command dns_cache.
6751
6752         * main.c (main): New option --dns-cache[=off].
6753
6754 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
6755
6756         * config.h.in: Initialize HAVE_GETADDRINFO and ENABLE_IPV6.
6757
6758         * all: Use #ifdef ENABLE_IPV6 instead of the older INET6.  Use
6759         HAVE_GETADDRINFO for getaddrinfo-related stuff.
6760
6761 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
6762
6763         * url.c (url_parse): Return an error if the URL contains a [...]
6764         IPv6 numeric address and we don't support IPv6.
6765
6766 2003-09-05  Hrvoje Niksic  <hniksic@xemacs.org>
6767
6768         * url.c (is_valid_ipv6_address): Modified to not require
6769         zero-terminated strings.
6770         (is_valid_ipv4_address): Ditto.
6771
6772 2003-09-05  Mauro Tortonesi <mauro@deepspace6.net>
6773
6774         src/url.c: added RFC 2732 compliance for URL parsing. The
6775         functions is_*_address valid are a modified version of
6776         glibc 2.3.2 inet_pton's code.
6777
6778 2003-09-03  Ahmon Dancy  <dancy@dancysoft.com>
6779
6780         * main.c init.c options.h: Added --retry-connrefused option so
6781         that Connection Refused failures are treated as non-fatal (when
6782         trying to retrieve from busy servers).
6783
6784         * wget.h: New CONNECT_ERROR macro for encapsulating this
6785         modification.
6786
6787         * ftp.c http.c : Use CONNECT_ERROR macro in places where
6788         ECONNREFUSED was checked.
6789
6790 2003-01-11  Ian Abbott  <abbotti@mev.co.uk>
6791
6792         * ftp.c (ftp_retrieve_glob): Reject insecure filenames as determined
6793         by calling new function has_insecure_name_p.  This is based on a
6794         patch by Red Hat.
6795
6796         * fnmatch.c (has_insecure_name_p): New function: returns non-zero
6797         if filename starts with `/' or contains `../' and is therefore
6798         considered insecure.
6799
6800         * fnmatch.h: Declare has_insecure_name_p().
6801
6802 2002-08-03  Hrvoje Niksic  <hniksic@xemacs.org>
6803
6804         * init.c (cmd_file): Allocate RESULT correctly.
6805
6806 2002-07-24  Hrvoje Niksic  <hniksic@xemacs.org>
6807
6808         * recur.c (retrieve_tree): Check whether downloaded_html_set is
6809         non-NULL before using it.
6810
6811 2002-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
6812
6813         * html-parse.c (NAME_CHAR_P): Allow almost any character here.
6814
6815 2002-05-24  Hrvoje Niksic  <hniksic@arsdigita.com>
6816
6817         * progress.c (bar_set_params): Fall back to dot progress if the
6818         terminal type is "emacs".
6819
6820 2002-05-20  Hrvoje Niksic  <hniksic@arsdigita.com>
6821
6822         * log.c: Don't #undef WGET_USE_STDARG.
6823
6824 2002-05-16  Hrvoje Niksic  <hniksic@arsdigita.com>
6825
6826         * hash.c (prime_size): Store the offset of the prime number in the
6827         prime table.  When searching, start with the given offset.
6828         (hash_table_new): Pass the pointer to ht->prime_offset to
6829         prime_size.
6830         (grow_hash_table): Ditto.
6831         (prime_size): Make 13 the first prime to make empty hash tables
6832         slightly smaller.
6833
6834 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
6835
6836         * recur.c (download_child_p): Minor optimization to avoid an
6837         unnecessary additional call to schemes_are_similar_p function.
6838
6839 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
6840
6841         * url.c (schemes_are_similar_p): New function to test enumerated
6842         scheme codes for similarity.
6843
6844         * url.h: Declare it.
6845
6846         * recur.c (download_child_p): Use it to compare schemes.  This
6847         also fixes a bug that allows hosts to be spanned (without the
6848         -H option) when the parent scheme is https and the child's is
6849         http or vice versa.
6850
6851 2002-05-14  Bill Richardson  <bill@riverstonenet.com>
6852
6853         * ftp.c (getftp): Don't ftruncate stdout.
6854
6855         * http.c (gethttp): Don't ftruncate stdout.
6856
6857 2002-05-09  Ian Abbott  <abbotti@mev.co.uk>
6858
6859         * cmpt.c (strptime_internal): Synched with glibc-2.1.3.
6860         (get_number): Ditto.
6861         (get_alt_number): Ditto.
6862         (__isleap): New function-like macro used by strptime.
6863         (day_of_the_week): New function used by strptime.
6864         (day_of_the_year): Ditto.
6865         (__mon_yday): Now shared by mktime and strptime implementations.
6866
6867 2002-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
6868
6869         * cookies.c (check_domain_match): Use match_tail in case
6870         insensitive mode.
6871
6872         * utils.c (match_tail): Allow the caller to specify case
6873         insensitive mode.
6874
6875         * cookies.c (store_cookie): When expiry_time is 0, print it as
6876         undefined, not indefinite.
6877
6878 2002-05-07  Ian Abbott  <abbotti@mev.co.uk>
6879
6880         * cookies.c (cookie_jar_process_set_cookie): Do not store
6881         discarded cookie.
6882
6883 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
6884
6885         * cookies.c (check_domain_match): Allow cookies to be set for
6886         subdomains of unknown top-level domains under some circumstances.
6887
6888 2002-04-21  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
6889
6890         * gen_ssl.c:
6891         - allow checking of server cert
6892         - allow defining client cert type
6893         - allow limit of ssl protocol
6894         - check more return values
6895         - added debug message on break
6896
6897 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
6898
6899         * recur.c (download_child_p): Revert order of items in check
6900         number 6 for clarity.
6901
6902 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
6903
6904         * init.c: Ditto.
6905
6906         * main.c: Ditto.
6907
6908         * http.c: Use the new interface.
6909
6910         * cookies.c: Provide an OO-style "cookie jar" interface to enable
6911         separate cookie jars.
6912
6913         * http.c (http_atotm): Declare argument as const.
6914
6915 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
6916
6917         * cookies.c (cookie_new): Default to PORT_ANY.
6918         (find_cookie_chain_exact): Only search by DOMAIN.
6919         (find_matching_cookie): Also check that PORT matches.
6920         (store_cookie): Only match the domain.
6921         (set_cookie_header_cb): When a cookie "fakes" a domain, assume it
6922         is valid for that host rather than discarding it completely.
6923         (find_matching_chains): Don't search by PORT.
6924         (matching_cookie): Also match PORT.
6925         (load_cookies): Set the port if specified, otherwise leave it as
6926         ANY.
6927         (save_cookies_mapper): Save the port if specified, otherwise leave
6928         it empty.
6929
6930 2002-04-19  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
6931
6932         * init.c: The option `egdfile' was not in sort order.
6933
6934 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
6935
6936         * ftp.c (getftp): Treat directories that begin with <letter>: as
6937         absolute.
6938         (getftp): Strip trailing slashes from con->id before merging it
6939         with TARGET.
6940
6941 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
6942
6943         * http.c (gethttp): If Content-Type is not given, assume
6944         text/html.
6945
6946 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
6947
6948         * recur.c (download_child_p): Don't ignore rejection of HTML
6949         documents that are themselves leaves of recursion.
6950
6951 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
6952
6953         Makefile.in: Updated several dependencies for object files to take
6954         account of nested include files.
6955
6956 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
6957
6958         Makefile.in: The target `connect$o' (connect.o) now depends on
6959         `utils.h'
6960
6961 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
6962
6963         * host.c (SET_H_ERRNO): New function-like macro to set `h_errno'.
6964         (gethostbyname_with_timeout): Use it.
6965
6966         * utils.c: Don't define `SETJMP()', `run_with_timeout_env' or
6967         `abort_run_with_timeout()' when `USE_SIGNAL_TIMEOUT' is undefined.
6968
6969 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
6970
6971         * host.c (getaddrinfo_with_timeout): New function.
6972         (gethostbyname_with_timeout): Ditto.
6973         (lookup_host): Use them.
6974
6975 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
6976
6977         * utils.c (number_to_string): Handle the case when n < -INT_MAX.
6978
6979 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
6980
6981         * init.c (comind): Use a marginally faster implementation of
6982         binary search.  To quote Martin Buchholz, "a nanosecond saved is a
6983         nanosecond earned."
6984
6985 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
6986
6987         * main.c (print_help): Document `--post-data' and `--post-file'.
6988
6989 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
6990
6991         * http.c (gethttp): Ditto.
6992
6993         * retr.c (retrieve_url): Initialize variables to appease the
6994         compiler.
6995
6996         * gen_sslfunc.c (ssl_iread): Don't handle EINTR when calling
6997         select_fd.
6998         (ssl_iwrite): Ditto.
6999
7000         * connect.c (select_fd): Rewrite to handle EINTR.  Set errno to
7001         ETIMEDOUT in case of timeout.
7002         (iread): No need to handle EINTR when calling select_fd.
7003         (iwrite): Ditto.
7004
7005 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
7006
7007         * retr.c (retrieve_url): Make sure that POST is not honored for
7008         redirections.
7009
7010         * http.c (gethttp): Send the POST data when requested.
7011         (post_file): New function.
7012         (gethttp): Use it.
7013
7014         * main.c (main): Ditto.
7015
7016         * init.c: Add new options.
7017
7018         * options.h (struct options): New options post_data and
7019         post_file_name.
7020
7021 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
7022
7023         * connect.c (connect_with_timeout): Firing SIGALRM can result in
7024         connect() exiting with EINTR.  Treat EINTR the same as ETIMEDOUT.
7025
7026 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
7027
7028         * connect.c (connect_with_timeout): Use it.
7029
7030         * utils.c (run_with_timeout): New function.
7031
7032 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
7033
7034         * url.c (getproxy): Accept a struct url argument.  This obviates
7035         the need for USE_PROXY_P.
7036
7037         * retr.c (retrieve_url): Allow proxy to be a non-FTP URL.
7038
7039         * ftp.c (getftp): Recognize FWTK-style proxy.
7040
7041 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
7042
7043         * config.h.in: Only define _VA_LIST when compiled with gcc.
7044
7045 2002-04012  Ian Abbott  <abbotti@mev.co.uk>
7046
7047         * http.c (http_loop): Compensate for MS Windows two-second
7048         granularity of file modification time when comparing timestamps.
7049
7050         * ftp.c (ftp_retrieve_list): Ditto.
7051
7052 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
7053
7054         * utils.c (has_html_suffix_p): New function to test filename for
7055         common html extensions.
7056
7057         * utils.h: Declare it.
7058
7059         * http.c (http_loop): Use it instead of previous test.
7060
7061         * retr.c (retrieve_url): Ditto.
7062
7063         * recur.c (download_child_p): Ditto.
7064
7065 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
7066
7067         * config.h.in: Define _VA_LIST on Solaris to prevent stdio.h from
7068         declaring va_list.
7069         From Kevin Rodgers <kevinr@ihs.com>.
7070
7071 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
7072
7073         * Makefile.in: Specify libtool mode explicitly when linking.
7074
7075 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
7076
7077         * connect.c (connect_with_timeout): New function.
7078         (connect_to_one): Use it.
7079
7080         * config.h.in: Add stubs for HAVE_SIGSETJMP, HAVE_SIGBLOCK, and
7081         HAVE_SETJMP_H.
7082
7083 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
7084
7085         * log.c: Set WGET_USE_STDARG if __STDC__ is defined and stdarg.h
7086         is present.
7087
7088 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
7089
7090         * progress.c (bar_create): If INITIAL is larger than TOTAL, fix
7091         TOTAL.
7092         (bar_finish): Likewise.
7093
7094 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
7095
7096         * html-url.c (tag_handle_form): New function.  Pick up form
7097         actions and mark them for conversion only.
7098
7099 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
7100
7101         * progress.c (struct progress_implementation): Use PARAMS when
7102         declaring the parameters of *create, *update, *finish, and
7103         *set_params.
7104
7105         * netrc.c: Ditto.
7106
7107         * http.c: Reformat some function definitions so that ansi2knr can
7108         read them.
7109
7110         * hash.c (struct hash_table): Use the PARAMS macro around
7111         parameters in the declaration of hash_function and test_function.
7112         (prime_size): Spell 2580823717UL and 3355070839UL as (unsigned
7113         long)0x99d43ea5 and (unsigned long)0xc7fa5177 respectively, so
7114         that pre-ANSI compilers can read them.
7115         (find_mapping): Use PARAMS when declaring EQUALS.
7116         (hash_table_put): Ditto.
7117
7118         * ftp.h: Wrap the parameters of ftp_index declaration in PARAMS.
7119
7120         * cookies.c (cookie_new): Use (unsigned long)0 instead of 0UL,
7121         which was unsupported by pre-ANSI compilers.
7122
7123         From Nelson H. F. Beebe <beebe@math.utah.edu>, for the most part.
7124
7125 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
7126
7127         * url.c (url_filename): Use compose_file_name regardless of
7128         whether opt.dirstruct is set.
7129         (mkstruct): Don't handle the query and the reencoding of DIR; that
7130         is done in compose_file_name.
7131
7132 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
7133
7134         * wget.h: Ditto for extern char *exec_name.
7135
7136         * options.h: Don't guard against OPTIONS_DEFINED_HERE -- it is
7137         perfectly legal to follow an `extern' with a non-`extern' ones,
7138         provided the types match.
7139
7140         * main.c: Don't define OPTIONS_DEFINED_HERE.
7141
7142 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
7143
7144         * progress.c (create_image): Revert to calculating ETA based on
7145         average download speed.
7146         (create_image): Don't print ETA until the download has been active
7147         for at least 3 seconds.
7148         (create_image): When ETA is not available, don't print anything.
7149         The previous version would print --:--.
7150
7151 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
7152
7153         * progress.c (bar_update): Keep updating a subinterval until it
7154         reaches or exceeds a watermark.  That way the measurement will be
7155         guaranteed to span a configurable minimum of time.  The current
7156         default is 3s in 30 100ms intervals.
7157
7158 2002-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
7159
7160         * progress.c (bar_update): Maintain an array of the time it took
7161         to perform previous 30 network reads.
7162         (create_image): Calculate the download speed and ETA based on the
7163         last 30 reads, not the entire download.
7164         (create_image): Make sure that the ETA is not changed more than
7165         once per second.
7166
7167 2002-04-09  Ian Abbott  <abbotti@mev.co.uk>
7168
7169         * mswindows.c (borland_utime): New function conditionally defined
7170         when `HACK_BCC_UTIME_BUG' is defined.  A reimplementation of
7171         `utime()' as Borland's `utime()' function is broken on Windows 9x
7172         systems.  (Original patch by Chin-yuan Kuo <sr1111111@yahoo.com.tw>.)
7173
7174 2002-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
7175
7176         * ftp.c (ftp_loop): Propagate the result of ftp_retrieve_glob.
7177
7178 2002-03-26  Ian Abbott  <abbotti@mev.co.uk>
7179
7180         * Makefile.in: Updated several dependencies for object files.
7181
7182 2002-03-20  Ian Abbott  <abbotti@mev.co.uk>
7183
7184         * mswindows.c: Include "utils.h".
7185
7186 2002-03-18  Ian Abbott  <abbotti@mev.co.uk>
7187
7188         * host.h: Don't include netdb.h on windows.
7189
7190 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
7191
7192         * recur.c (retrieve_tree): Handle the case when start_url doesn't
7193         parse.
7194
7195 2002-02-19  Andreas Damm  <andreas-sourceforge@radab.org>
7196
7197         * wget.h (DO_REALLOC_FROM_ALLOCA): Multiply with sizeof(type) when
7198         calling xmalloc and memcpy.
7199
7200 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
7201
7202         * host.h: Include Unix-specific includes #ifndef WINDOWS.
7203         Patch originally provided by Christian Lackas.
7204
7205 2002-02-11  Christian Lackas  <delta@lackas.net>
7206
7207         * recur.c: recurive downloading for https fixed.
7208
7209 2002-02-19  Alan Eldridge  <alane@geeksrus.net>
7210
7211         * host.h: Also include <netinet/in.h> and <sys/socket.h>.
7212
7213         * ftp-basic.c: Also include <netinet/in.h>.
7214
7215 2002-02-05  Ian Abbott  <abbotti@mev.co.uk>
7216
7217         * http.c (gethttp): when -c used, mark already fully retrieved
7218         file as successfully retrieved.
7219
7220 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
7221
7222         * url.c (url_parse): Don't treat '?' as query string separator
7223         when parsing FTP URLs.
7224
7225 2002-02-01  Hrvoje Niksic  <hniksic@arsdigita.com>
7226
7227         * html-url.c (tag_handle_meta): Don't crash on <meta
7228         http-equiv=refresh> where content is missing.
7229
7230 2002-01-31  Herold Heiko  <Heiko.Herold@previnet.it>
7231
7232         * ftp-basic.c, host.c: don't include sys/socket.h, arpa/inet.h,
7233         netdb.h on windows.
7234
7235 2002-01-30  Hrvoje Niksic  <hniksic@arsdigita.com>
7236
7237         * retr.c (retrieve_url): Remove redirection cycle detection.  This
7238         is because some sites legitimately redirect the user back to the
7239         same location, e.g. after an authorization check performed by
7240         another page.  MAX_REDIRECTIONS is still used to prevent infinite
7241         redirection loops.
7242
7243 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
7244
7245         * http.c (gethttp): Wrap host name in square brackets if it
7246         contains a colon.
7247
7248 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
7249
7250         * url.c (url_parse): Allow all hex digits, not only decimal ones,
7251         to form an IP address.
7252
7253 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
7254
7255         * url.c (urlchr_table): Make square braces reserved, so we can
7256         parse http://[::1]/.
7257         (url_parse): Handle host in braces.
7258         (url_string): If url->host contains colons, wrap it in braces.
7259
7260 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
7261
7262         * connect.c (resolve_bind_address): New function.
7263         (connect_to_one): Use it.
7264         (bindport): Ditto.
7265
7266         * init.c: Don't resolve bind-address here.
7267
7268         * host.c (wget_sockaddr_set_address): Would bug out with ADDR == NULL.
7269
7270 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
7271
7272         * host.c (lookup_host): Use sizeof(ip4_address) to calculate the
7273         offset.
7274         (address_list_new): Use map_ipv4_to_ip.
7275         (wget_sockaddr_set_address): Convert ADDR to IPv4 before using it
7276         in IPv4 context.
7277
7278 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
7279
7280         * source: Integrated IPv6 support.
7281         Written by Thomas Lussnig <thomas.lussnig@bewegungsmelder.de>.
7282
7283 2002-01-15  Ian Abbott  <abbotti@mev.co.uk>
7284
7285         * init.c (cmd_file): Change `\' to `/' for Windows (yes, really!)
7286         (cmd_directory): New function. Like cmd_file(), but strips
7287         trailing directory separators.
7288         (commands): Change action for "dirprefix" from `cmd_file' to
7289         `cmd_directory'.
7290
7291         * utils.c (make_directory): Allow intermediate `mkdir' calls to
7292         fail, as not all path components that do not exist should be
7293         directory components, especially under Windows.
7294
7295 2002-01-17  Hrvoje Niksic  <hniksic@arsdigita.com>
7296
7297         * netrc.c (parse_netrc): Skip leading whitespace before testing
7298         whether the line is empty.  Empty lines still contain the line
7299         terminator.
7300
7301 2002-01-15  Hrvoje Niksic  <hniksic@arsdigita.com>
7302
7303         * gen_sslfunc.c (ssl_iread): Call select on the file descriptor
7304         only if no data is pending in SSL buffers.
7305         From tony@bluetail.com.
7306
7307 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
7308
7309         * headers.c (header_get): Strip trailing whitespace from the
7310         header.
7311
7312 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
7313
7314         * url.c (parse_uname): URL-decode *USER and *PASSWD.
7315
7316 2002-01-07  Ian Abbott <abbotti@mev.co.uk>
7317
7318         * url.c (uri_merge_1): Deal with "net path" relative URL (one that
7319         starts with "//").
7320
7321 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
7322
7323         * http.c (gethttp): Invalidate SOCK if get_contents encountered an
7324         error.
7325
7326 2001-12-24  Hrvoje Niksic  <hniksic@arsdigita.com>
7327
7328         * version.c: Wget 1.8.1 is released.
7329
7330 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
7331
7332         * version.c: Wget 1.8.1-pre3 is released.
7333
7334 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
7335
7336         * recur.c (retrieve_tree): Enqueue the canonical representation of
7337         start_url, so that the test against dl_url_file_map works.
7338
7339 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
7340
7341         * log.c (logputs): Check for requested verbosity before printing
7342         anything.
7343
7344 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
7345
7346         * html-url.c (tag_handle_link): Treat the "shortcut icon" link as
7347         inline.
7348
7349 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
7350
7351         * recur.c (retrieve_tree): Make a copy of file obtained from
7352         dl_url_file_map because the code calls xfree(file) later.
7353
7354 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
7355
7356         * recur.c (register_html): Maintain a hash table of HTML files
7357         along with the list.  Disallow duplicates.
7358         (retrieve_tree): Use downloaded_html_set to check whether the file
7359         found in dl_url_file_map is an HTML file, and descend into it if
7360         so.
7361         (convert_all_links): Don't guard against duplicates in
7362         downloaded_html_list, since they are no longer possible.
7363
7364 2001-12-18  Ian Abbott  <abbotti@mev.co.uk>
7365
7366         * recur.c (retrieve_tree): Pass on referring URL when retrieving
7367         recursed URL.
7368
7369 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
7370
7371         * version.c: Wget 1.8.1-pre2 is released.
7372
7373 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
7374
7375         * retr.c (sleep_between_retrievals): Simplify indentation.
7376
7377 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
7378
7379         * gen_sslfunc.c (ssl_init_prng): Use random_number to get a byte
7380         of "randomness" at a time.
7381         (ssl_init_prng): Don't seed the PRNG; random_number will do that.
7382
7383         * retr.c (sleep_between_retrievals): Use it.  Make sure that the
7384         random amount averages in opt.wait.
7385         (sleep_between_retrievals): Don't seed the PRNG; random_number
7386         will do that.
7387
7388         * utils.c (random_number): New function.
7389
7390 2001-12-14  Hrvoje Niksic  <hniksic@arsdigita.com>
7391
7392         * url.c (path_simplify): Move here from utils.c, and make static.
7393
7394 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
7395
7396         * init.c (wgetrc_file_name): Print correct message when loading
7397         getenv("WGETRC") fails.
7398
7399 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
7400
7401         * recur.c (register_download): Don't abort when one URL references
7402         two different files.
7403
7404 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
7405
7406         * http.c (gethttp): Check for conn->scheme, not u->scheme, before
7407         calling ssl_iwrite.
7408
7409 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
7410
7411         * version.c: Wget 1.8.1-pre1 is released.
7412
7413 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
7414
7415         * res.c (matches): Fix broken URL in the docstring.
7416
7417 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
7418
7419         * html-url.c (tag_url_attributes): Mark <embed href=...> as
7420         external.
7421
7422 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
7423
7424         * url.c (get_urls_file): Cosmetic changes.
7425
7426 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
7427
7428         * html-url.c (append_one_url): Resurrect warning when unable to
7429         resolve a relative link.
7430
7431 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
7432
7433         * html-url.c (collect_tags_mapper): Break into several functions.
7434         (tag_url_attributes): Collect <embed href=...>.
7435
7436 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
7437
7438         * host.c: New type ipv4_address.  Use it consistently instead of
7439         `unsigned char[4]' and `unsigned char *'.
7440         (pretty_print_address): Accept a `const void *', to require even
7441         less casting.
7442
7443 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
7444
7445         * ftp-ls.c (ftp_parse_vms_ls): Fix obvious memory leaks.
7446
7447 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
7448
7449         * main.c (main): Initialize progress after fork_to_background, so
7450         that it knows when to use dots.
7451
7452         * mswindows.c (ws_hangup): Call log_request_redirect_output.
7453
7454         * utils.c (fork_to_background): Print the PID of the child
7455         process.
7456
7457         * log.c (log_request_redirect_output): Set a flag that output
7458         redirection has been requested.  Doing anything else in a signal
7459         handler is unsafe.
7460         (check_redirect_output): New function: check whether redirection
7461         has been requested and, if so, call redirect_output().
7462         (logputs): Call check_redirect_output.
7463         (logprintf): Ditto.
7464         (debug_logprintf): Ditto.
7465         (redirect_output): Print clearer messages.
7466
7467         * main.c (redirect_output_signal): Don't call
7468         redirect_output_signal directly.  Instead, call
7469         log_request_redirect_output.
7470
7471         * utils.c (memfatal): Ditto.
7472
7473         * progress.c (display_image): Use it.
7474
7475         * log.c (log_set_save_context): New function: allow the caller to
7476         turn off saving log context lines.
7477
7478 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
7479
7480         * host.c (address_list_set_faulty): Uncomment a sanity check.
7481
7482 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
7483
7484         * utils.c (long_to_string): Return a pointer after where the
7485         number ends.
7486         (long_to_string): Rename to number_to_string.
7487
7488 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
7489
7490         * utils.c (path_simplify): Correctly handle the unlikely case that
7491         b starts out as path + 1.
7492
7493 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
7494
7495         * utils.c (path_simplify): Rewrite, with better comments, and
7496         without the use of strcpy to move overlapping blocks.
7497
7498 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
7499
7500         * init.c (cmd_spec_progress): Resurrect.  Check whether VAL is a
7501         valid progress type before setting it.
7502
7503 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
7504
7505         * main.c (main): Remove stray debugging message.
7506
7507 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
7508
7509         * progress.c (create_image): Fix ETA padding when hours are prined.
7510
7511 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
7512
7513         * version.c: Wget 1.8 is released.
7514
7515 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
7516
7517         * url.c (reencode_string): Declare static.
7518
7519         * res.c (registered_specs): Declare static.
7520
7521         * progress.c (current_impl_locked): Declare static.
7522
7523         * log.c (flush_log_p): Declare static.
7524         (needs_flushing): Ditto.
7525
7526         * http.c (digest_authentication_encode): Declare static.
7527
7528         * html-url.c (init_interesting): Declare static.
7529
7530         * host.c (host_name_addresses_map): Declare static.
7531
7532         * cookies.c (find_matching_chains): Declare static.
7533
7534         * ftp-ls.c (ftp_parse_vms_ls): Warn about the memory leak
7535         indicated by lint.
7536
7537         * utils.c (path_simplify): Remove unused variable STUB_CHAR.
7538
7539         * host.c (address_list_set_faulty): Document that INDEX is
7540         currently unused.
7541
7542         * url.c (rewrite_shorthand_url): Remove unused variable PATH.
7543
7544 2001-12-08  Hrvoje Niksic  <hniksic@arsdigita.com>
7545
7546         * version.c: Wget 1.8-pre2 is released.
7547
7548 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
7549
7550         * progress.c (progress_handle_sigwinch): Set up the signal again.
7551
7552         * utils.c: Include <sys/termios.h>, where Solaris defines
7553         TIOCGWINSZ.
7554
7555         * progress.c (bar_create): Don't use the last column on the screen.
7556         (create_image): Pad ETA to constant size.  Pad SIZE to nine digits
7557         only until it exceeded them.
7558
7559 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
7560
7561         * version.c: Wget 1.8-pre1 is released.
7562
7563 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
7564
7565         * progress.c (progress_create): Make sure that, when the output is
7566         redirected, the progress implementation gets changed to the
7567         fallback one.
7568         (bar_set_params): Set current_impl_locked to 1 when "force" is
7569         specified.
7570         (progress_create): Don't change the progress implementation if
7571         current_impl_locked is non-zero.
7572
7573         * main.c (redirect_output_signal): Call
7574         progress_schedule_redirect.
7575
7576         * progress.c (progress_schedule_redirect): New function.
7577
7578 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
7579
7580         * log.c (logvprintf): Restructure to allow being called multiple
7581         times.
7582         (logprintf): Call logvprintf in a loop.
7583         (debug_logprintf): Ditto.
7584
7585 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
7586
7587         * gen_sslfunc.c (ssl_init_prng): Allow the user to disable EGD by
7588         setting egd_file it to empty string.
7589
7590         * main.c (main): Change the option name from --sslegdsock to
7591         --egd-file.
7592
7593 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
7594
7595         * gen_sslfunc.c (ssl_init_prng): Make the printed message
7596         translatable.
7597
7598 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
7599
7600         * url.c (scheme_disable): New function.
7601
7602         * main.c (main): Call ssl_init_prng from here rather than from
7603         init_ssl, so that it has a chance to disable support for https
7604         before a URL has been resolved.
7605
7606         * gen_sslfunc.c (ssl_init_prng): Seed with rand() if all else
7607         failed.
7608         (ssl_init_prng): Disable support for https if seeding the PRNG
7609         fails.
7610
7611 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
7612
7613         * utils.c (read_whole_line): Handle lines beginning with \0.
7614
7615 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
7616
7617         * recur.c (convert_all_links): Guard against duplicates in
7618         downloaded_html_files.
7619         (register_download): Don't invalidate similar-looking URLs.
7620         (match_except_index): New function.
7621
7622 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
7623
7624         * utils.c (path_simplify): Document with test cases.
7625
7626 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
7627
7628         * gen_sslfunc.c: Ditto.
7629
7630         * rbuf.c: Include <string.h>.
7631
7632 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
7633
7634         * recur.c (retrieve_tree): Check whether the URL was already
7635         downloaded before downloading it again.
7636         (descend_child_p): Renamed to download_child_p.
7637         (register_download): When one URL is downloaded to a file already
7638         "owned" by another URL, delete all references that map any URL to
7639         that file.
7640         (register_delete_file): New function.
7641         (retrieve_tree): Use it after deleting a file.
7642
7643         * url.c (url_parse): Re-canonicalize the URL also if the path is
7644         empty, so that e.g. "http://www.server.com" ->
7645         "http://www.server.com/".
7646         (lowercase_str): Use ISUPPER instead of !ISLOWER.
7647
7648         * retr.c (retrieve_url): Use the canonical URL form when calling
7649         register_download().
7650
7651 2001-12-04  Ian Abbott <abbotti@mev.co.uk>
7652
7653         * snprintf.c (dopr): Use `unsigned int' as the second argument to
7654         va_arg when casting to `unsigned short' is intended.
7655
7656 2001-12-04  Herold Heiko  <Heiko.Herold@previnet.it>
7657
7658         * gen_sslfunc.c: on windows provide ssl crypto random
7659           initialization through RAND_screen(); could possibly
7660           be not enough for strong ssl communication (see the
7661           relevant manual page from the openssl package).
7662
7663 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
7664
7665         * url.c (local_quote_string): Reenable quoting of question marks,
7666         but only when `--html-extension' is used.
7667
7668 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
7669
7670         * version.c: Wget 1.8-beta3 is released.
7671
7672 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
7673
7674         * snprintf.c (dopr): Cast the result of va_arg to short int and
7675         short unsigned int where these types are expected to be used.
7676
7677 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
7678
7679         * snprintf.c (dopr): Replace `short int' and `unsigned short int'
7680         with `int' when using it as the second argument to `va_arg'.
7681
7682 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
7683
7684         * host.c (address_list_new_one): New function.
7685         (lookup_host): Use it.
7686
7687 2001-12-03  Andre Majorel  <amajorel@teaser.fr>
7688
7689         * host.c (lookup_host): Don't initialize TMPSTORE directly because
7690         it's not legal C.
7691
7692 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
7693
7694         * ftp-basic.c (ftp_port): Don't return HOSTERR if we fail getting
7695         the socket data.
7696
7697         * ftp.c: Ditto.
7698
7699         * http.c: No need to declare h_errno.
7700
7701         * host.c: Declare h_errno.
7702
7703 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
7704
7705         * utils.c (file_merge): If BASE doesn't contain a slash, just
7706         return a copy of FILE.
7707
7708 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
7709
7710         * version.c: Wget 1.8-beta2 is released.
7711
7712 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
7713
7714         * ftp.c (getftp): When PWD fails, assume "/".
7715
7716         * ftp-basic.c (ftp_syst): Fix indentation.
7717
7718 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
7719
7720         * url.c (get_urls_file): If opt.base_href is specified, merge each
7721         URL with the base.
7722
7723 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
7724
7725         * main.c (print_help): Don't document the removed `-nh'.
7726
7727 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
7728
7729         * url.c (url_full_path): Document better.
7730
7731         * http.c (gethttp): Use the full path when creating digest
7732         authorization.
7733
7734 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
7735
7736         * cookies.c (path_matches): Return 0 if PREFIX doesn't begin with
7737         '/'.
7738
7739 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
7740
7741         * cookies.c (path_matches): FULL_PATH doesn't begin with '/', but
7742         PREFIX does.
7743
7744 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
7745
7746         * cookies.c (check_domain_match): Reimplement to match Netscape's
7747         "preliminary specification" for cookies.
7748
7749 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
7750
7751         * url.c (replace_attr_refresh_hack): New function.
7752         (convert_links): Call replace_attr_refresh_hack for Refresh
7753         links.  It will add the "TMOUT; URL=" junk before the link.
7754
7755         * html-url.c (collect_tags_mapper): Set ID to the ID of the
7756         "content" attribute, not "http-equiv".
7757         (collect_tags_mapper): Don't use OFFSET to hack the raw_* values;
7758         instead, store the information that this entry belongs to a
7759         "refresh" link.
7760
7761 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
7762
7763         * version.c: Wget 1.8-beta1 is released.
7764
7765 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
7766
7767         * recur.c (retrieve_tree): Allow -p retrievals to exceed maximum
7768         depth by more than one.
7769
7770 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
7771
7772         * retr.c (retrieve_url): Don't allow more than 20 redirections.
7773
7774 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
7775
7776         * recur.c (retrieve_tree): Skip the non-inline entries when
7777         enqueuing the children of a leaf HTML node in -p mode.
7778         (descend_url_p): Ignore opt.no_parent when in -p mode and UPOS is
7779         "inline".
7780
7781         * html-url.c (get_urls_html): Don't accept dash_p_leaf_HTML.
7782         (collect_tags_mapper): When an entry is "inline", mark it as such.
7783
7784         * recur.c (descend_url_p): Fix test when checking for
7785         acceptance/rejection rules.
7786
7787 2001-10-31 Daniel BODEA <dali@dali-designs.com>
7788
7789         * netrc.c (search_netrc): When slack_default is 0, still look for
7790         an account with matching password, just not the "default account".
7791         HTTP Authorization using .netrc should now work as expected.
7792
7793 2001-11-30  T. Bharath  <TBharath@responsenetworks.com>
7794
7795         * http.c (persistent_available_p): Call SHUTDOWN_SSL if
7796         test_socket_open fails.
7797
7798 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
7799
7800         * progress.c (display_image): Just print one CR to reset the
7801         cursor position.
7802
7803 2001-11-30  Christian Fraenkel  <c.fraenkel@gmx.net>
7804
7805         * init.c: New command `ssl_egd_sock'.
7806
7807         * main.c (main): New option `--sslegdsock'.
7808
7809         * gen_sslfunc.c (ssl_init_prng): Seed the RNG using EGD.
7810
7811 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
7812
7813         * cmpt.c (memmove): Include a simple memmove implementation.
7814
7815 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
7816
7817         * headers: Guard against header files being included twice.
7818
7819 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
7820
7821         * gen-md5.c: Use unsigned char * as the buffer argument to
7822         gen_md5_update.
7823
7824 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
7825
7826         * connect.h: Declare select_fd.
7827
7828 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
7829
7830         * recur.c (descend_url_p): When resolving no_parent, compare with
7831         start_url, not parent url.  Otherwise link from /a/b/ to /a/c/
7832         wouldn't be followed, although the download started from /a/.
7833
7834 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
7835
7836         * config.h.ms, mswindows.h: defined HAVE_ISATTY, use _isatty for
7837         MS VC; somebody with Borland compiler please check and provide
7838         patch if possible;
7839
7840         * cmpt.c: provided a usleep emulation.
7841
7842 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
7843
7844         * host.c (address_list_new): Initialize al->faulty.
7845
7846 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
7847
7848         * http.c (http_process_range): Accept the broken output of
7849         "JavaWebServer/1.1.1".
7850
7851 2001-11-28  Hrvoje Niksic  <hniksic@arsdigita.com>
7852
7853         * progress.c (dot_set_params): If PARAMS is unspecified, use
7854         dot_style, if available.
7855
7856         * init.c: Ditto.
7857
7858         * main.c (main): Resurect --dot-style.
7859
7860         * progress.c (dot_finish): Print the quantity if we're left at the
7861         beginning of a row.
7862
7863 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
7864
7865         * cmpt.c (random): Removed.
7866
7867         * retr.c (sleep_between_retrievals): Use the more portable rand()
7868         instead of random().
7869
7870 2001-11-27  Ian Abbott <abbotti@mev.co.uk>
7871
7872         * retr.c (retrieve_from_file): Initialize `new_file' to NULL to
7873         prevent seg fault.
7874
7875 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
7876
7877         * connect.c (connect_to_many): Use address_list_set_faulty to
7878         prevent the faulty address from being reused.
7879
7880         * host.c (address_list_set_faulty): New function.
7881         (address_list_get_bounds): New function, instead of
7882         address_list_count.
7883
7884 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
7885
7886         * url.c (convert_links): Don't translate %d-%d.
7887
7888         * main.c (print_help): Remove stray HAVE_RANDOM code.
7889
7890 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
7891
7892         * ftp.c (getftp): Improve output after sending PASV.  Don't
7893         attempt to "look up" the IP address we already know; call
7894         connect_to_one directly.
7895
7896 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
7897
7898         * progress.c: Change the default progress implementation to "bar".
7899
7900 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
7901
7902         * progress.c (bar_create): Print two newlines.
7903
7904 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
7905
7906         * cmpt.c (random): New function, a simple-minded replacement for
7907         random() on systems that don't have it.
7908
7909 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
7910
7911         * config.h.in: Put a HAVE_USLEEP stub.
7912
7913         * cmpt.c (usleep): Replacement implementation of usleep using
7914         select.
7915
7916         * init.c: New option init_rate.
7917
7918         * main.c (main): New option --limit-rate.
7919
7920         * retr.c (limit_bandwidth): New function.
7921         (get_contents): Call it to limit the bandwidth used when
7922         downloading.
7923
7924         * progress.c (dot_update): Would print the wrong download speed on
7925         rows other than the first one when the download was continued.
7926         (dot_finish): Ditto.
7927
7928 2001-11-26  Ian Abbott <abbotti@mev.co.uk>
7929
7930         * http.c (gethttp): fix undeclared variable 'err' when compiled
7931         with HAVE_SSL.
7932
7933 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
7934
7935         * progress.c: Don't allocate new timers; use the timing data
7936         propagated from the caller.
7937
7938         * retr.c (get_contents): Allocate and use a timer.
7939
7940 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
7941
7942         * http.c (last_host_ip): Made into an address_list.
7943         (invalidate_persistent): Release pc_last_host_ip.
7944         (register_persistent): Use lookup_host.
7945         (persistent_available_p): Check for equality of hosts using
7946         address_list_match_all.  Call address_list_release.
7947         (http_cleanup): New function.
7948
7949         * ftp.c (getftp): Use lookup_host and connect_to_many.
7950
7951         * http.c (gethttp): Use lookup_host and connect_to_many.
7952
7953         * connect.c (make_connection): Removed.
7954         (connect_to_one): New function.
7955         (connect_to_many): Ditto.
7956         (set_connection_host_name): Ditto.
7957
7958         * host.c (lookup_host): New function; new return type.
7959         (address_list_new): New function.
7960         (address_list_count): Ditto.
7961         (address_list_copy_one): Ditto.
7962         (address_list_delete): Ditto.
7963         (address_list_release): Ditto.
7964         (pretty_print_address): Ditto.
7965
7966 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
7967
7968         * recur.c (retrieve_tree): In case of followed redirection,
7969         blacklist the pre-redirection URL.
7970
7971 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
7972
7973         * recur.c (descend_redirect_p): New function.
7974         (retrieve_tree): Make sure redirections are not blindly followed.
7975
7976 2001-11-04  Alan Eldridge  <alane@geeksrus.net>
7977
7978         * config.h.in: added HAVE_RANDOM.
7979
7980         * options.h: added random_wait to struct options.
7981
7982         * main.c (print_help [HAVE_RANDOM], main): added arg parsing, help
7983         for --random-wait.
7984
7985         * retr.c (sleep_between_retrievals) [HAVE_RANDOM]: added
7986         implementation of random wait times.
7987
7988         * init.c (commands): added "randomwait" keyword.
7989
7990 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
7991
7992         * recur.c (descend_url_p): Be more conservative with blacklisting
7993         URLs.
7994         (convert_all_links): Print how many files have been converted, and
7995         how long it took.
7996
7997         * progress.c (create_image): Place the number of downloaded bytes
7998         right after the progress bar.
7999
8000         * utils.c (suffix): Return a pointer into the string.
8001
8002 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
8003
8004         * url.c (convert_links): Handle CO_NULLIFY_BASE.
8005
8006         * recur.c (retrieve_tree): Ignore download-ignorable children.
8007         (convert_all_links): Specify CO_NULLIFY_BASE when link_base_p.
8008
8009         * html-url.c (handle_link): Return the newly created urlpos.
8010         (collect_tags_mapper): When dealing with BASE, store the base
8011         reference and mark it as download-ignorable.
8012
8013 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
8014
8015         * url.c (convert_links): Attempt to quote '?' as "%3F" when
8016         linking to local files.  Given up on the attempt, as it breaks
8017         local browsing.
8018
8019 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
8020
8021         * main.c (private_initialize): Removed.
8022         (main): Don't call private_initialize.
8023
8024         * http.c: Call lookup_host.
8025
8026         * host.c (host_init): Removed.
8027         (add_host_to_cache): Initialize host_name_address_map here, on
8028         demand.
8029         (ngethostbyname): Commented out.
8030
8031         * connect.c (make_connection): Remove dead code; use lookup_host.
8032
8033         * host.c (store_hostaddress): Renamed to lookup_host and reversed
8034         the args.
8035         Removed host_address_name_map and host_slave_master_map.
8036
8037 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
8038
8039         * progress.c (dot_create): Align the "[ skipping ... ]" string
8040         with the dots.
8041
8042         * retr.c (rate): Split into two functions: calc_rate and
8043         retr_rate.
8044
8045         * progress.c (create_image): Draw a dummy progress bar even when
8046         total size is unknown.
8047         (display_image): Place the text cursor at the end of the "image".
8048
8049 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
8050
8051         * url.c (reencode_string): Use unsigned char, not char --
8052         otherwise the hex digits come out wrong for 8-bit chars such as
8053         nbsp.
8054         (lowercase_str): New function.
8055         (url_parse): Canonicalize u->url if needed.
8056         (get_urls_file): Parse each URL, and return only the valid ones.
8057         (free_urlpos): Call url_free.
8058         (mkstruct): Add :port if the port is non-standard.
8059         (mkstruct): Append the query string to the file name, if any.
8060         (urlpath_length): Use strpbrk_or_eos.
8061         (uri_merge_1): Handle the cases where LINK is an empty string,
8062         where LINK consists only of query, and where LINK consists only of
8063         fragment.
8064         (convert_links): Count and report both kinds of conversion.
8065         (downloaded_file): Use a hash table, not a list.
8066         (downloaded_files_free): Free the hash table.
8067
8068         * retr.c (retrieve_from_file): Ditto.
8069
8070         * main.c (main): Call either retrieve_url or retrieve_tree
8071         for each URL, not both.
8072
8073         * retr.c (register_all_redirections): New function.
8074         (register_redirections_mapper): Ditto.
8075         (retrieve_url): Register the redirections.
8076         (retrieve_url): Make the string "Error parsing proxy ..."
8077         translatable.
8078
8079         * res.c (add_path): Strip leading slash from robots.txt paths so
8080         that the path representations are "compatible".
8081         (free_specs): Free each individual path, too.
8082         (res_cleanup): New function.
8083         (cleanup_hash_table_mapper): Ditto.
8084
8085         * recur.c (url_queue_new): New function.
8086         (url_queue_delete): Ditto.
8087         (url_enqueue): Ditto.
8088         (url_dequeue): Ditto.
8089         (retrieve_tree): New function, replacement for recursive_retrieve.
8090         (descend_url_p): New function.
8091         (register_redirection): New function.
8092
8093         * progress.c (create_image): Cosmetic changes.
8094
8095         * init.c (cleanup): Do all those complex cleanups only if
8096         DEBUG_MALLOC is defined.
8097
8098         * main.c: Removed --simple-check and the corresponding
8099         simple_host_check in init.c.
8100
8101         * html-url.c (handle_link): Parse the URL here, and propagate the
8102         parsed URL to the caller, who would otherwise have to parse it
8103         again.
8104
8105         * host.c (xstrdup_lower): Moved to utils.c.
8106         (realhost): Removed.
8107         (same_host): Ditto.
8108
8109 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
8110
8111         * utils.c (path_simplify): Preserver the (non-)existence of
8112         leading slash.  Return non-zero if changes were made.
8113
8114 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
8115
8116         * progress.c (bar_update): Don't modify bp->total_length if it is
8117         zero.
8118
8119 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
8120
8121         * retr.c (retrieve_url): When the redirection URL doesn't parse,
8122         print the correct error message rather than "UNKNOWN".
8123
8124 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
8125
8126         * progress.c (bar_finish): If the timer didn't record any time
8127         since the download beginning, fake 1ms.
8128
8129 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
8130
8131         * recur.c (recursive_retrieve): Fix typo.
8132
8133 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
8134
8135         * progress.c (create_image): Don't translate "%ld ".
8136
8137 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
8138
8139         * progress.c (bar_set_params): Allow the user to force the use of
8140         the bar.
8141
8142 2001-11-23  Lemble Gregory  <gregory.lemble@st.com>
8143
8144         * gen_sslfunc.c (ssl_init_prng): New function; seed the SSL RNG.
8145
8146 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
8147
8148         * progress.c: Renamed dp_* functions to dot_* for greater clarity
8149         and consistency with bar_*.
8150         (print_download_speed): Get rid of the unneeded '@' character.
8151         (create_image): Fix download rate geometry.
8152
8153         * progress.c (print_elapsed): Remove spurious space.
8154         (print_elapsed): Renamed to print_download_speed, since that's
8155         what it does.
8156
8157 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
8158
8159         * progress.c (bar_update): If the downloaded amount becomes larger
8160         than the expected amount, adjust the expected amount accordingly.
8161
8162 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
8163
8164         * utils.c (determine_screen_width): New function.
8165
8166         * main.c (main): New option `--progress=TYPE'.
8167         (main): Implement compatibility with the old option `--dot-style'.
8168
8169         * init.c: Removed cmd_spec_dotstyle -- that logic is now in
8170         dp_set_params.
8171         (cmd_spec_progress): New function.
8172
8173         * retr.c (get_contents): Use the progress_* functions instead of
8174         the old show_progress().
8175         (show_progress): Removed.
8176         (rate): Print "xxxx.xx K/s" instead of "KB/s".  Ditto for MB/s,
8177         etc.
8178
8179         * progress.c (set_progress_implementation): New function.
8180         (valid_progress_implementation_p): Ditto.
8181         (progress_create): Ditto.
8182         (progress_update): Ditto.
8183         (progress_finish): Ditto.
8184         (dp_create): Ditto.
8185         (dp_update): Ditto.
8186         (dp_finish): Ditto.
8187         (dp_set_params): Ditto.
8188         (print_elapsed): Ditto.
8189
8190 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
8191
8192         * retr.c (show_progress): Use it.
8193
8194         * log.c (log_set_flush): New function.
8195
8196 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
8197
8198         * utils.c (path_simplify): Don't remove trailing slashes.
8199
8200         * ftp.c (ftp_get_listing): Use it.
8201
8202         * utils.c (file_merge): New function.
8203
8204         * url.c (opt_url): Removed.
8205
8206         * recur.c (recursive_retrieve): Inline "opt_url" logic.
8207
8208         * main.c (main): Use xfree(), not free().
8209
8210         * url.c (rewrite_url_maybe): Renamed to rewrite_shorthand_url.
8211
8212         * ftp.c (ccon): Move `ccon' typedef here, since it's only used
8213         internally.
8214
8215         * config.h.in: Include a stub for HAVE_STRPBRK.
8216
8217         * cmpt.c (strpbrk): Include a replacement for systems without
8218         strpbrk().
8219
8220         * ftp.c: Use url_set_dir and url_set_file when modifying the URL.
8221
8222         * url.c (url_set_dir): New function.
8223         (url_set_file): Ditto.
8224
8225         * ftp-basic.c (ftp_process_type): Process FTP type here; the URL
8226         parser makes the URL "params" available, so we can do that in this
8227         function.
8228
8229         * retr.c: Ditto.
8230
8231         * ftp.c: Ditto; pass the local file information in `ccon'.
8232
8233         * http.c: Get rid of the ugly kludge that had URL being replaced
8234         with the proxy URL when proxy retrieval was requested.  Use a
8235         separate parameter to http_loop and gethttp for the proxy URL.
8236
8237         * http.c: Changed to reflect the fact that local file, proxy, and
8238         referer information are no longer stored in struct url.  The local
8239         file information is passed in `struct hstat' now.
8240
8241         * url.c: Reworked URL parsing to be more regular.  Reencode the
8242         URL using reencode_string.
8243         Removed non-URL-related information from struct url.  This
8244         includes fields `proxy', `local', and `referer'.
8245
8246 2001-11-22  Jochen Hein  <jochen@jochen.org>
8247
8248         * main.c (main): Split the copyright notice for easier
8249         translation.
8250
8251 2001-08-21  Dave Turner <dct25@hermes.cam.ac.uk>
8252
8253         * ftp-basic.c (ftp_size): New function to send non-standard SIZE
8254           command to server to request file size.
8255         * ftp.h (ftp_size): Export it.
8256         * ftp.c (getftp): Use new ftp_size function if restoring
8257           transfer of a file with unknown size.
8258
8259 2001-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
8260
8261         * url.c (parseurl): Don't depend on the now-obsolete TYPE.
8262
8263 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
8264
8265         * url.c (getproxy): Handle URL shorthands.
8266
8267 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
8268
8269         * main.c: Remove --wait / --waitretry backwards compatibility
8270         code.
8271
8272 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
8273
8274         * main.c (main): Use it.
8275
8276         * url.c (rewrite_url_maybe): New function.
8277
8278 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
8279
8280         * url.c: Clean up handling of URL schemes.
8281
8282 2001-05-13  Hrvoje Niksic  <hniksic@arsdigita.com>
8283
8284         * url.c: Get rid of `protostrings'.
8285         (skip_proto): Don't use protostrings.
8286         (has_proto): Ditto.
8287
8288 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
8289
8290         * Makefile.in: Conditionally compile getopt.o.
8291
8292 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
8293
8294         * md5.h: Renamed to gnu-md5.h.
8295
8296         * md5.c: Renamed to gnu-md5.c.
8297
8298         * http.c: Ditto.
8299
8300         * ftp-opie.c: Use the new macros.
8301
8302         * sysdep.h: Define md5-related macros.
8303
8304         * config.h.in: Define HAVE_SOLARIS_MD5 or HAVE_BUILTIN_MD5
8305         depending on which md5 implementation is used.
8306
8307 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
8308
8309         * res.c (res_register_specs): Initialize OLD and HP_OLD to appease
8310         the compiler.
8311
8312 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
8313
8314         * http.c (gethttp): Print the whole response line when printing
8315         headers is requested.
8316
8317 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
8318
8319         * res.c: New file.  Implement all RES-related code here.
8320
8321 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
8322
8323         * version.c: Wget 1.7.1 is released.
8324
8325 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
8326
8327         * headers.c (header_extract_number): Ignore trailing whitespace.
8328
8329 2001-08-24  Ian Abbott  <abbotti@mev.co.uk>
8330
8331         * html-url.c (collect_tags_mapper): Fix bug converting links
8332         with -k option for tags with multiple link attributes by
8333         handling links in the order they appear.
8334
8335 2001-08-15  Ian Abbott  <abbotti@mev.co.uk>
8336
8337         * ftp.c (ftp_loop_internal): Avoid a potential buffer overflow in
8338           the call to the 'rate' function by moving it past the error
8339           checking for the 'getftp' function return value.
8340
8341 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
8342
8343         * html-parse.c (advance_declaration): Use 0x22 instead of '"' or
8344         '\"'.  Different compilers' assert macros are broken in different
8345         ways.
8346
8347 2001-09-29  Christian Fraenkel  <c.fraenkel@gmx.net>
8348
8349         * http.c (gethttp): print debug output for errors occuring during
8350         the ssl handshake.
8351
8352 2001-11-16  Chris Seawood  <cls@seawood.org>
8353
8354         * init.c: Ditto.
8355
8356         * host.c: Ditto.
8357
8358         * connect.c: Ditto.
8359
8360         * sysdep.h: Support compilation under BEOS.
8361
8362 2001-06-08  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
8363
8364         * url.c (url_equal): Fix a memory leak when parseurl returns an
8365         error on the second URL. Also, since url_equal is not used at the
8366         moment, do not compile it.
8367
8368         * url.h: Ditto for the prototype of url_equal.
8369
8370 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
8371
8372         * html-parse.c (map_html_tags): Support XML-style empty tags.
8373
8374 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
8375
8376         * wget.h (DO_REALLOC_FROM_ALLOCA): Check for do_realloc_newsize in
8377         loop condition because we're no longer setting SIZEVAR here.
8378
8379 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
8380
8381         * wget.h (DO_REALLOC_FROM_ALLOCA): Set SIZEVAR after the memcpy()
8382         call because it needs the old value.
8383
8384 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
8385
8386         * cookies.c (ATTR_NAME_CHAR): Allow almost any character to be in
8387         an attribute name.
8388
8389 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
8390
8391         * url.c (url_filename): Make sure that slashes that sneak in to
8392         u->file via query string get protected.
8393         (file_name_protect_query_string): New function.
8394
8395 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
8396
8397         * recur.c (recursive_retrieve): Also check undesirable_urls with
8398         canonicalized URL.
8399
8400 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
8401
8402         * http.c (gethttp): Search `.netrc' with real host, not the proxy
8403         one.
8404
8405 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
8406
8407         * sysdep.h (MAP_FAILED): Provide MAP_FAILED for systems that don't
8408         define it.
8409
8410 2001-06-09  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
8411
8412         * ftp.h: Provide correct prototype for ftp_parse_ls().
8413
8414 2001-06-04  Hrvoje Niksic  <hniksic@arsdigita.com>
8415
8416         * version.c: Wget 1.7 is released.
8417
8418 2001-06-03  Karl Eichwalder  <ke@suse.de>
8419
8420         * ftp-ls.c (ftp_parse_ls): Fix typo.
8421
8422 2001-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
8423
8424         * all: Update copyright information.
8425
8426 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
8427
8428         * http.c (gethttp): Indicate that the continued download failed
8429         for *this* file.
8430
8431 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
8432
8433         * version.c: Wget 1.7-pre1 is released.
8434
8435 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
8436
8437         * version.c: Updated version to 1.7-pre1.
8438
8439 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
8440
8441         * gen_sslfunc.c: Don't include <sys/time.h> directly.
8442
8443 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
8444
8445         * http.c (gethttp): Use real URL data for cookies, not the proxy
8446         stuff.
8447
8448 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
8449
8450         * main.c (print_help): Document `--no-http-keep-alive'.
8451
8452         * utils.c (numdigit): Handle negative numbers *correctly*.
8453
8454         * hash.c (make_nocase_string_hash_table): Use term "nocase" rather
8455         than the confusing "unsigned".
8456
8457         * utils.c (string_set_contains): Renamed from string_set_exists.
8458
8459         * hash.c (hash_table_contains): Renamed from hash_table_exists.
8460
8461         * cookies.c: Move case-insensitive hash tables to hash.c.
8462
8463 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
8464
8465         * http.c (gethttp): Before concluding that the file is already
8466         fully retrieved, make sure that the file existed and `Range' was
8467         actually requested.
8468
8469 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
8470
8471         * cookies.c (eliminate_dups): New function.
8472         (build_cookies_request): Use it.
8473         (build_cookies_request): Set chain_store_size after reallocating
8474         all_chains.
8475         (check_domain_match): Annotated for easier future debugging.
8476         (store_cookie): In the debug message, print whether the cookie is
8477         permanent.
8478
8479 2001-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
8480
8481         * http.c (http_loop): Reset no_truncate before deciding whether to
8482         set it.
8483         (gethttp): Further clarify "-c conflicts with existing file" error
8484         message, based on input from Herold Heiko.
8485
8486 2001-05-07  Hrvoje Niksic  <hniksic@arsdigita.com>
8487
8488         * http.c (http_loop): If restval is set, set no_truncate to 1
8489         unconditionally.
8490
8491 2001-05-02  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
8492
8493         * ftp-ls.c (ftp_parse_winnt_ls): Assure months are being correctly
8494         converted. Pointed out by <Stefan.Weil@de.heidelberg.com>.
8495         (ftp_parse_vms_ls): Ditto.
8496
8497 2001-04-30  Hrvoje Niksic  <hniksic@arsdigita.com>
8498
8499         * init.c (cmd_address): Zero SIN before using it; apparently
8500         needed on *BSD.
8501
8502 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
8503
8504         * ftp.c (ftp_loop_internal): Don't set NO_TRUNCATE if the file is
8505         empty.
8506
8507 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
8508
8509         * main.c (main): Make `--cookies' respect its argument.
8510
8511 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
8512
8513         * main.c (main): Removed undocumented option `--email-address'.
8514
8515         * netrc.c: Use the latest read_whole_line.
8516
8517         * init.c (defaults): Set opt.ftp_pass to "-wget@".
8518
8519         * mswindows.c (pwd_cuserid): Ditto.
8520
8521         * utils.c (pwd_cuserid): Removed.
8522
8523         * host.c (ftp_getaddress): Removed.
8524
8525 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
8526
8527         (http_loop): Allocate space for filename_plus_orig_suffix with
8528         alloca; this is more efficient and removes the need to free it
8529         before each and every return.
8530
8531 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
8532
8533         * http.c (gethttp): Return RETRUNNEEDED when the retrieval is
8534         unneeded because the file is already there and fully downloaded,
8535         and -c is specified.
8536         (http_loop): Handle RETRUNNEEDED.
8537
8538         * wget.h (uerr_t): New value RETRUNNEEDED.
8539
8540         * http.c (http_loop): Set no_truncate for files that both exist
8541         and are non-empty.
8542         (gethttp): Consider the download finished when restval >= contlen,
8543         not only when restval==contlen.
8544         (gethttp): Handle redirection before giving up due to -c.
8545         (gethttp): Clarify error message which explains that -c will not
8546         truncate the file.
8547         (gethttp): When returning CONTNOTSUPPORTED, don't forget to free
8548         the stuff that needs freeing and release the socket.
8549
8550 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
8551
8552         * main.c (print_help): Wget booleans accept "off", not "no".
8553
8554 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
8555
8556         * http.c (http_loop): If allow_cache is zero, always disable
8557         caching, not only when retrieving through proxy.
8558
8559         * init.c: Ditto.
8560
8561         * options.h (struct options): Rename proxy_cache to allow_cache.
8562
8563 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
8564
8565         * http.c (mktime_from_utc): Improve documentation.
8566         (http_atotm): Put format strings into a separate array.
8567
8568 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
8569
8570         * safe-ctype.h: Instead of throwing #error when isalpha is
8571         defined, redefine it to something that will throw a compile-time
8572         error if actually *used*.  Do the same for the rest of the
8573         standard C macros.
8574
8575 2001-04-26  Hrvoje Niksic  <hniksic@arsdigita.com>
8576
8577         * url.c (getproxy): Ignore empty proxy vars.
8578
8579 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
8580
8581         * http.c (http_loop): Would load cookies every time.
8582
8583         * cookies.c (load_cookies): Handle cookies whose values contain
8584         embedded spaces.
8585
8586 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
8587
8588         * utils.c: Define each DIGITS_* in one line.
8589
8590 2001-04-25  Roger L. Beeman  <beeman@cisco.com>
8591
8592         * http.c (http_atotm): Initialize t.tm_isdst to 0.
8593         (mktime_from_utc): Prevent mktime() from having discontinuities at
8594         DST transition points.
8595
8596 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
8597
8598         * html-url.c (get_urls_html): Fix documentation.
8599
8600 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
8601
8602         * url.c (UNSAFE_CHAR): Reimplement using a static table.
8603         (url_init): Removed.
8604         (init_unsafe_char_table): Removed.
8605
8606 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
8607
8608         * snprintf.c (dopr): Replace ISDIGIT with '0' <= ch && ch <= '9'.
8609
8610 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
8611
8612         * utils.c: Document timer functions.
8613
8614         * retr.c (rate): Use it.
8615         (rate): Print in GB/s if transfer rate exceeds 1 GB/s.
8616
8617         * utils.c (wtimer_granularity): New function.
8618
8619 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
8620
8621         * retr.c (show_progress): Ditto.
8622
8623         * ftp.c (getftp): Ditto.
8624
8625         * http.c (gethttp): Use new timer functions.
8626
8627         * utils.c (wtimer_allocate): New function.
8628         (wtimer_new): Ditto.
8629         (wtimer_delete): Ditto.
8630         (wtimer_reset): Ditto.
8631         (wtimer_elapsed): Ditto.
8632
8633 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
8634
8635         * utils.c (long_to_string): New, faster version.  Favors smaller
8636         numbers; much of the calculation is now done at compile-time.
8637
8638 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
8639
8640         * utils.c (numdigit): Handle negative numbers.
8641
8642 2001-04-23  Hrvoje Niksic  <hniksic@arsdigita.com>
8643
8644         * retr.c (show_progress): Print the download rate even when the
8645         percentages are not available.
8646
8647 2001-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
8648
8649         * ftp.c (getftp): Adjust expected_bytes if the length is
8650         authoritative.
8651
8652 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
8653
8654         * url.c: Don't declare `construct'.
8655
8656         * hash.c (grow_hash_table): Speed up rehashing; inline storing of
8657         mappings to new locations.
8658         (hash_table_new): Make resize_threshold a field in the hash table,
8659         so we don't have to recalculate it in each hash_table_put.
8660         (grow_hash_table): Update resize_threshold.
8661         (MAX): Remove unused macro.
8662         (prime_size): Made static.
8663
8664 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
8665
8666         * retr.c (retrieve_url): Call uri_merge, not url_concat.
8667
8668         * html-url.c (collect_tags_mapper): Call uri_merge, not
8669         url_concat.
8670
8671         * url.c (mkstruct): Use encode_string instead of xstrdup followed
8672         by URL_CLEANSE.
8673         (path_simplify_with_kludge): Deleted.
8674         (contains_unsafe): Deleted.
8675         (construct): Renamed to uri_merge_1.
8676         (url_concat): Renamed to uri_merge.
8677
8678 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
8679
8680         * url.c (str_url): Use encode_string instead of the unnecessary
8681         CLEANDUP.
8682         (encode_string_maybe): New function, returns input string if no
8683         encoding is needed.
8684         (encode_string): Call encode_string_maybe to do the dirty work,
8685         xstrdup if no work needed.
8686
8687 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
8688
8689         * wget.h (XDIGIT_TO_xchar): Define here.
8690
8691         * url.c (decode_string): Use new name.
8692         (encode_string): Ditto.
8693
8694         * http.c (XDIGIT_TO_xchar): Rename HEXD2asc to XDIGIT_TO_xchar.
8695         (dump_hash): Use new name.
8696
8697         * wget.h: Rename ASC2HEXD and HEXD2ASC to XCHAR_TO_XDIGIT and
8698         XDIGIT_TO_XCHAR respectively.
8699
8700 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
8701
8702         * init.c: Include cookies.h.
8703
8704         * cookies.h: Declare cookies_cleanup.
8705
8706         * cookies.c (check_domain_match): Remove unused variable.
8707         (save_cookies): Remove extraneous argument from debug statement.
8708
8709         * host.c (same_host): Don't call skip_url.
8710
8711         * url.c (skip_url): Removed.  Removed its calls from various
8712         functions in url.c.
8713
8714 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
8715
8716         * cookies.c (unsigned_string_hash): Use the new code in
8717         string_hash as reference.
8718
8719         * hash.c (hash_table_map): Allow deletion and change of the
8720         element processed by MAPFUN.
8721         (string_hash): Use the function from glib.
8722
8723 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
8724
8725         * config.h.in: Include #undef stub.
8726
8727         * hash.c (hash_table_remove): Rewrite to actually clear deleted
8728         entries instead of just marking them as deleted.
8729
8730 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
8731
8732         * hash.h: Declare hash_table_get_pair and hash_table_count.
8733
8734 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
8735
8736         * cookies.c: Declare http_atotm.
8737
8738 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
8739
8740         * ftp-ls.c (ftp_parse_unix_ls): Use octal constants for
8741         permissions.  A compiler that doesn't accept octal constants is
8742         seriously broken and shouldn't be used -- octal constants were
8743         present in K&R C!
8744
8745 2001-01-20  Karl Eichwalder  <ke@suse.de>
8746
8747         * Makefile.in: Provide and use DESTDIR according to the Coding
8748         Standards.
8749
8750 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
8751
8752         * ftp-ls.c (ftp_parse_vms_ls): Make seconds optional in time
8753         specification.
8754
8755 2001-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
8756
8757         * url.c (parseurl): Don't strip trailing slash when u->dir is "/"
8758         because that strips the *leading* slash, thus forcing relative
8759         FTP retrieval.
8760
8761 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
8762
8763         * ftp.c (getftp): Convert initial FTP directory from VMS to UNIX
8764         notation for VMS servers.
8765         (ftp_retrieve_dirs): Do not prepend '/' to f->name when
8766         odir is an empty string.
8767
8768 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
8769
8770         * ftp-ls.c (ftp_parse_winnt_ls): Made the fix for AM/PM more
8771         effective. Suggested by Edward J. Sabol.
8772
8773 2001-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
8774
8775         * cookies.c (build_cookies_request): Use and sort cookies from all
8776         matching domains.
8777         (build_cookies_request): Check for duplicates before generating
8778         the `Cookies' header.
8779
8780         * main.c (main): Don't load cookies here.
8781         (main): Make loadcookies and savecookies call the correct command.
8782
8783         * http.c (http_loop): Load cookies on-demand.
8784
8785 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
8786
8787         * http.c (gethttp): Fix indentation of SSL ifdef.
8788
8789 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
8790
8791         * ftp.c (ftp_retrieve_dirs): Don't forcibly prepend "/" to u->dir;
8792         that hack is no longer necessary.
8793         (getftp): Prepend initial directory to *non*-absolute u->dir's.
8794
8795 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
8796
8797         * init.c (cmd_file): New function.
8798         (enable_tilde_expansion): New variable.
8799         (run_wgetrc): Use it.
8800         (cmd_file): Use it.
8801
8802 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
8803
8804         * init.c: Include cookie-related options.
8805
8806         * main.c (main): Include cookie-specific options.
8807         (main): Load cookies before download is finished.
8808         (main): Save cookies when done.
8809
8810         * http.c (gethttp): Process the `Set-Cookie' header.
8811         (gethttp): Include cookies in the response.
8812
8813         * cookies.c: New file.
8814
8815 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
8816
8817         * utils.c (datetime_str): New function.
8818
8819 2001-04-08  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
8820
8821         * ftp-ls.c (ftp_parse_winnt_ls): The AM/PM change did assume
8822         12:01PM == 00:01, which was obviously wrong. Taken care of this
8823         anomaly.
8824
8825         * ChangeLog: Removed an excess conflict marker. Reformatted the
8826         entry by Philipp Thomas from 2001-03-09.
8827
8828         * ftp-ls.c (ftp_parse_winnt_ls): Ensure that adjusted PM hours lay
8829         between 0 and 23. Elminate unused variable `sec'.
8830
8831 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
8832
8833         * hash.c (hash_table_count): New function.
8834
8835 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
8836
8837         * utils.c (read_file): Cast MAP_FAILED to char *.  Enforced by
8838         Digital Unix cc.
8839
8840 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
8841
8842         * config.h.in: Oops, do the namespace tweaks only on systems we
8843         know about.
8844
8845 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
8846
8847         * hash.c: Include <string.h>.
8848
8849 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
8850
8851         * config.h.in: Define "compilation environment" options that work
8852         under Linux and Solaris.  To be reviewed on other OS'es.
8853
8854 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
8855
8856         * http.c (gethttp): Prepend literal newline with `\n\'.
8857
8858 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
8859
8860         * sysdep.h: Don't define VERY_LONG_FORMAT.
8861
8862         * utils.c (very_long_to_string): New function.
8863         (legible_very_long): Use it; don't use VERY_LONG_FORMAT.
8864
8865 2001-04-04  Christian Fraenkel  <christian.fraenkel@gmx.net>
8866
8867         * url.c (parse_uname): Would run past the end of the string if the
8868         username was present, but the URL did not contain a slash, e.g.
8869         http://foo:bar@myhost.
8870
8871 2001-04-03  KOJIMA Hajime  <kjm@rins.ryukoku.ac.jp>
8872
8873         * http.c (http_atotm): Use %A instead of %a to match full
8874         weekday.  (On most systems there is no difference.)
8875
8876 2001-04-03  Paul Bludov  <paul@ozero.net>
8877
8878         * mswindows.c (sleep): Use SleepEx() instead of Sleep().
8879         (ws_changetitle): Use alloca() instead of malloc() to avoid memory
8880         leak.
8881         (ws_mypath): Use GetModuleFileName instead of argv[0].
8882         (ws_startup): Use data.wVersion for comparison.
8883
8884 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
8885
8886         * http.c (http_loop): Ditto.
8887
8888         * ftp.c (ftp_loop_internal): Made the check whether to continue
8889         retrieval `-O'-friendly.
8890
8891 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
8892
8893         * netrc.c (parse_netrc): Don't trim the line endings explicitly;
8894         they will be handled as whitespace.
8895         (parse_netrc): Correctly handle lines that end with whitespace.
8896
8897 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
8898
8899         * retr.c (retrieve_url): New variable global_download_count used
8900         to identify first retrieval.
8901
8902         * ftp.c (getftp): Ditto.
8903
8904         * http.c (gethttp): Rewind opt.dfp only on first retrieval.
8905
8906 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
8907
8908         * init.c (cmd_address): Heap-allocate the address that gets stored
8909         to CLOSURE.  Old code would simply assign an address on the stack.
8910
8911 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
8912
8913         * ftp.c (ftp_get_listing): Propagate error status.
8914         (ftp_retrieve_glob): Use it.
8915         (ftp_loop): Ditto.
8916
8917 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
8918
8919         * main.c (main): Add -C to the string that is the third arg to
8920         getopt_long().
8921
8922 2001-04-01  Hrvoje Niksic  <hniksic@arsdigita.com>
8923
8924         * ftp.c (getftp): Don't start the download from scratch if `-c'
8925         was specified, but the file is already fully downloaded.
8926
8927         * http.c (gethttp): Don't truncate a pre-existing file if `-c' was
8928         specified and the server doesn't support continued download.
8929         (gethttp): Don't start the download from scratch if `-c' was
8930         specified, but the file is already fully downloaded.
8931
8932 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
8933
8934         (recursive_retrieve): Don't clear the hash tables at this point at
8935         all; it interferes with the normal operation of register_download.
8936
8937 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
8938
8939         * recur.c (recursive_retrieve): Clear the hash tables only when
8940         they are defined.
8941
8942 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
8943
8944         * http.c (gethttp): Make sure the socket is closed with
8945         CLOSE_INVALIDATE before we have drained the body.
8946
8947 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
8948
8949         * retr.c (retrieve_url): Call register_download() for downloaded
8950         files and register_html() for downloaded HTML files.
8951
8952         * recur.c (register_download): New function; register here that a
8953         file has been downloaded, rather than in recursive_retrieve().
8954         (register_html): New function; enqueue the location of HTML files
8955         here rather than in recursive_retrieve().
8956
8957 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
8958
8959         * main.c (print_help): Use multiple fputs instead of a single ugly
8960         printf().
8961         (main): Consistently assign numbers >128 to options without a
8962         corresponding character.
8963
8964 2001-03-09  Philipp Thomas  <pthomas@suse.de>
8965
8966         * safe-ctype.h: New file. Locale independent ctype.h replacement
8967         taken from libiberty.
8968
8969         * safe-ctype.c: New file. Tables for above.
8970
8971         * Makefile.in: Add safe-ctype$o to OBJS.  Add dependencies for
8972         safe-ctype$o.
8973
8974         * cmpt.c: Remove include of ctype.h. Use ISSPACE instead of
8975         isspace.
8976
8977         * ftp-basic.c: Don't include ctype.h.
8978
8979         * ftp-ls.c: Likewise.
8980
8981         * ftp.c: Likewise.
8982
8983         * headers.c: Likewise.
8984
8985         * host.c: Likewise.
8986
8987         * html-parse.c: Likewise.
8988
8989         * html-url.c: Likewise.
8990
8991         * http.c: Likewise.
8992
8993         * init.c: Likewise.
8994
8995         * main.c: Likewise. Set LC_CTYPE along with LC_MESSAGES.
8996
8997         * netrc.c: Likewise.
8998
8999         * recur.c: Likewise.
9000
9001         * retr.c: Likewise.
9002
9003         * snprintf.c: Replace ctype.h with safe-ctype.h. Use ISDIGIT
9004         instead of isdigit.
9005
9006         * sysdep.h: Remove defines of ctype macros as they aren't needed
9007         for safe-ctype-h.
9008
9009         * url.c: Don't include ctype.h.
9010
9011         * utils.c: Likewise.
9012
9013         * wget.h: Include safe-ctype.h.
9014
9015 2001-03-27  Dan Harkless  <wget@harkless.org>
9016
9017         * Makefile.in: Moved top_builddir out of "User configuration
9018         section" of top Makefile and analogous spot in this one.
9019
9020 2001-03-17  Dan Harkless  <wget@harkless.org>
9021
9022         * Makefile.in: Include @SSL_INCLUDES@ substition in INCLUDES.
9023         Define top_builddir.  Link wget with libtool so the user doesn't
9024         have to supply a bunch of custom environment variables to
9025         correctly link with the OpenSSL shared libraries.
9026
9027 2001-03-06  Hack Kampbjorn  <hack@hackdata.com>
9028
9029         * http.c (gethttp): skip :port in host header if it is the
9030         DEFAULT_HTTPS_PORT when using SSL.
9031
9032         * url.c: move the #define of DEFAULT_HTTP_PORT, DEFAULT_FTP_PORT
9033         and DEFAULT_HTTPS_PORT to the header file so it can be use in the
9034         rest of the code.
9035         * url.h: Ditto
9036
9037 2001-03-01  Jonas Jensen  <bones@huleboer.dk>
9038
9039         * retr.c (show_progress): Correctly calculate the number of bytes
9040         in the first line of the download that have been actually
9041         downloaded in this run.
9042
9043 2001-02-23  Dan Harkless  <wget@harkless.org>
9044
9045         * main.c (print_help): --help documentation for -N said it would
9046         re-download files if they had the _same_ timestamp on server.
9047         (print_help): -nr belongs in "FTP options" section of --help
9048         output, not "Recursive retrieval" section.  Alphabetized FTP
9049         options by long option name.
9050
9051 2001-02-16  Dan Harkless  <wget@harkless.org>
9052
9053         * init.c (commands): Hack Kampbjørn <hack@hackdata.com> discovered
9054         that "httpsproxy" had been inserted into commands[] out of
9055         alphabetical order, causing "BUG: unknown command `httpuser'".
9056
9057 2001-02-13  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
9058
9059         * ftp-ls.c (ftp_parse_ls): Added support of ST_MACOS (Unix-like
9060         listing without correct permissons).
9061
9062         * ftp.h (stype): Added ST_MACOS to identify the NetPresenz MacOS
9063         FTP server.
9064
9065         * ftp.c (ftp_retrieve_list): New mirroring logic: A remote file
9066         shall be donwloaded only when it's newer than the local copy or
9067         when it has the same timeestamp but its size is different. ST_VMS
9068         and ST_MACOS as special cases that lie about file size.
9069
9070         * ftp-ls.c (ftp_parse_ls): Support for ST_MACOS.
9071
9072         * Makefile.in: Removed dependency on ftpparse library due to unclear
9073         copyright issues and absence of any feedback to our queries.
9074
9075         * ftp-ls.c: Removed dependency on ftpparse library due to unclear
9076         copyright issues and absence of any feedback to our queries.
9077         (ftp_parse_ls): Added a warning message when remote server system
9078         does not seem to be suported by wget.
9079         (ftp_parse_vms_ls): New function for parsing VMS ftp
9080         server listing output.
9081         (clean_line): New function responsible for removing
9082         end-of-line characters from FTP listing texts.
9083
9084         * ftp.c (getftp): Global variables pwd and host_type are now
9085         member of the ccon structure under names ccon.id and ccon.rs.
9086
9087         * ftp.h (struct ccon): Added formed global variables from ftp.c,
9088         enum stype rs (remote system identification) and char *id (initial
9089         working directory), as suggested by Hrvoje.
9090
9091         * url.c (parse_uname): Added support for passwords containing '@'
9092         characters.
9093         (skip_uname): Ditto.
9094
9095 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
9096
9097         * ftp.c (ftp_loop): Reset con.
9098
9099 2001-01-06  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
9100
9101         * url.c (parse_uname): Added support for passwords containing '@'
9102         characters.
9103         (skip_uname): Ditto.
9104
9105 2001-02-11  Hack Kampbjørn  <hack@hackdata.com>
9106
9107         * url.c (parseurl): Debug-print u->ftp_type.
9108
9109 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
9110
9111         * ftp.c (ftp_loop_internal): Disable padding.
9112         (getftp): Ditto.
9113
9114         * http.c (http_loop): Disable padding.
9115
9116         * retr.c (show_progress): Use it to enable padding.
9117
9118         * retr.c (rate): Optional parameter PAD for padding the rate.
9119
9120 2001-02-10  Hrvoje Niksic  <hniksic@arsdigita.com>
9121
9122         * retr.c (show_progress): Make sure that the last output line
9123         includes progress.
9124
9125 2001-02-10  Jonas Jensen  <bones@huleboer.dk>
9126
9127         * retr.c (show_progress): Print the download rate along with the
9128         percentages.
9129         Along with Anders Thorsby <anders@thorsby.dk>.
9130
9131 2001-02-10  Tim Mooney  <mooney@dogbert.cc.ndsu.NoDak.edu>
9132
9133         * ftp.h: Rename enums `command' to `wget_ftp_command' and
9134         `fstatus' to `wget_ftp_status' because old names clash with Tru64
9135         net/if.h.
9136
9137 2001-02-08  Christian Fraenkel <christian.fraenkel@gmx.net>
9138
9139         * gen_sslfunc.c: verify_callback is now static
9140
9141         * gen_sslfunc.c (init_ssl): load certificate if specified
9142
9143         * gen_sslfunc.c (ssl_printerr): new function
9144
9145         * init.c: added new --sslcertfile and --sslcertkey switches
9146
9147         * main.c: ditto
9148
9149         * options.h: ditto
9150
9151         * http.c (gethttp): abort when init_ssl fails
9152
9153 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
9154
9155         * mswindows.h: Include <malloc.h>; it's needed for alloca().
9156
9157 2001-01-10  Dan Harkless  <wget@harkless.org>
9158
9159         * url.c (str_url): Clarified this function's comment header after
9160         Hrvoje answered my question on the list as to when hide != 1.
9161         Also Hrvoje pointed out I need to use xstrdup() on the string literal.
9162
9163 2001-01-06  Hrvoje Niksic  <hniksic@arsdigita.com>
9164
9165         * connect.c (bindport): Declare addrlen as int.  Diagnosed by
9166         Drazen Kacar <dave@arsdigita.com>.
9167         (conaddr): Ditto.
9168
9169 2001-01-09  Dan Harkless  <wget@harkless.org>
9170
9171         * html-url.c: A bunch of fixup of `--page-requisites'-related
9172         comments to reflect Hrvoje's changes to my code when transplanting
9173         it into this new file, to fix spelling mistakes, to clarify, etc.
9174
9175         * url.c (write_backup_file): Clarified a comment.
9176         (str_url): Henrik van Ginhoven pointed out on the list that we
9177         shouldn't give away the number of characters in the password by
9178         replacing each character with a 'x'.  Use "<password>" instead.
9179
9180         * ftp.c (ftp_retrieve_dirs): The bug where recursion into FTP
9181         directories didn't work if logging in put you in a directory other
9182         than "/" is fixed now.  Removed the comment here warning of the bug.
9183
9184         * main.c (print_help): --continue's description was misleading.
9185         We don't "restart", we "resume".  Also, better to say
9186         "partially-downloaded file" rather than just "existing file".
9187
9188 2001-01-06  Dan Harkless  <wget@harkless.org>
9189
9190         * ChangeLog: The '[Not in 1.6 branch.]'s were decided not to be
9191         the best way to go about my aim.  Removed them in favor of:
9192
9193         * ChangeLog-branches/1.6_branch.ChangeLog: New file.
9194
9195 2001-01-04  Hrvoje Niksic  <hniksic@arsdigita.com>
9196
9197         * url.c (replace_attr): New function, to be used by both
9198         TO_COMPLETE and TO_RELATIVE case in convert_links.
9199         (find_fragment): New function for finding URL fragments.
9200         (replace_attr): Better handle the case where the original string
9201         is not quoted.  Use find_fragment.
9202         (convert_links): Use replace_attr().
9203
9204 2000-12-31  Dan Harkless  <wget@harkless.org>
9205
9206         * ChangeLog: Since this flat file doesn't have multiple branches,
9207         looking at the dates would make you think that things went into
9208         1.6 that actually just went into the 1.7-dev branch.  Added "[Not
9209         in 1.6 branch.]" where appropriate to clarify.
9210
9211 2000-12-30  Dan Harkless  <wget@harkless.org>
9212
9213         * ftp.c, http.c:  Applied Hack Kampbjørn <hack@hackdata.com>'s
9214         patch to deal with h_errno not being defined in netdb.h under Cygwin.
9215
9216 2000-12-18  Csaba Raduly  <csaba.raduly@sophos.com>
9217
9218         * sysdep.h: Include <malloc.h> and <io.h> under Watcom.
9219
9220 2000-12-17  Igor Khristophorov  <igor@atdot.org>
9221
9222         * http.c (check_end): Fix test for '+' or '-'.
9223
9224 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
9225
9226         * url.c (parseurl): Rename inner loop var from i to ind to avoid
9227         clash with the function top-level-declared variable i.
9228         (str_url): Likewise, rename inner-loop i to j.
9229
9230         * recur.c (parse_robots): Don't declare LEN at top of function.
9231         (robots_match): Renamed parameter FORBIDDEN to avoid hiding of
9232         global variable.
9233
9234         * main.c (main): Change erroneous use of bitwise and to logical.
9235
9236         * init.c (cmd_address): Don't heap-allocate `sin'; it can be on
9237         the stack because it will be copied to closure.
9238
9239         Thanks to Csaba Raduly's run of PC-LINT over the sources.
9240
9241 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
9242
9243         * http.c (basic_authentication_encode): Use xmalloc(), not
9244         malloc().  Thanks to Csaba Raduly's run of PC-LINT over the
9245         sources.
9246
9247 2000-12-17  Csaba Raduly  <csaba.raduly@sophos.com>
9248
9249         * sysdep.h: Test for __EMX__ rather than for EMXOS2 for OS/2
9250         compilation.
9251
9252 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
9253
9254         * mswindows.c: Include <errno.h>.
9255
9256         * gen_sslfunc.c: Include <errno.h>.
9257
9258         * ftp-basic.c: Don't attempt to declare errno or h_errno because
9259         they're not used.
9260
9261         * main.c: Include <errno.h> because errno is used.
9262
9263         * ftp.c: Ditto.
9264
9265         * http.c: Include <netdb.h> for h_errno.
9266
9267 2000-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
9268
9269         * html-parse.c (advance_declaration): MSVC assert() chokes on
9270         '\"'.  Use '"' instead.
9271
9272 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
9273
9274         * utils.c (xfree_real): Removed.
9275         (xfree_debug): Just call free().
9276
9277         * wget.h (xfree): Make it an alias for free.
9278
9279 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
9280
9281         * http.c (http_loop): Furthermore, touch output_document only if
9282         it is known to be an existing regular file.
9283
9284 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
9285
9286         * ftp.c (ftp_retrieve_list): Ditto.
9287
9288         * http.c (http_loop): Touch output_document if that is used for
9289         output.
9290
9291 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
9292
9293         * http.c: Include gen_sslfunc.h after including Wget's headers.
9294         (persistent_available_p): Needed coma before `int ssl'.
9295
9296 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
9297
9298         * ftp.c (ftp_loop_internal): Ditto.
9299
9300         * http.c (http_loop): Use it.
9301
9302         * retr.c (sleep_between_retrievals): New function that handles the
9303         logic of opt.wait and opt.waitretry.
9304
9305 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
9306
9307         * rbuf.h: Implement only a single version of RBUF_READCHAR, using
9308         rbuf_read_bufferful when the buffer is depleted.
9309
9310         * rbuf.c (rbuf_read_bufferful): New function.
9311
9312 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
9313
9314         * gen_sslfunc.h: Use ansi2knr style function declarations.
9315
9316         * gen_sslfunc.c: Reformat according to the GNU coding standards.
9317         More should be done.
9318
9319         * http.c (persistent_available_p): Place the cheap SSL test nearer
9320         the top of the function.
9321         (CLOSE_FINISH, CLOSE_INVALIDATE): Define only one version of each.
9322
9323 2000-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
9324
9325         * url.c (init_unsafe_char_table): Reinstate space as an unsafe
9326         char.
9327
9328 2000-12-03  Christian Fraenkel <christian.fraenkel@gmx.net>
9329
9330         * Makefile.in: added gen_sslfunc object
9331         * config.h.in: added HAVE_SSL define
9332         * connect.c: changed select_fd from static int to int
9333         * connect.h: ditto
9334         * gen_sslfunc.h: New file
9335         * gen_sslfunc.c: ditto
9336         * http.c: added HTTPS fuctionality
9337         * retrc.c: ditto
9338         * url.c: ditto
9339         * init.c: added opt.httpsproxy
9340         * options.h: ditto
9341         * rbuf.h: added alternate rbuf struct
9342         * wget.h: added CONSSLERR
9343         * rbuf.c: ditto
9344
9345         * http.c: Added HTTPS fuctionality.
9346
9347         * retrc.c: Ditto.
9348
9349         * url.c: Ditto.
9350
9351         * init.c: Added opt.httpsproxy.
9352
9353         * options.h: Ditto.
9354
9355         * rbuf.h: Added alternate rbuf struct.
9356
9357         * wget.h: Added CONSSLERR.
9358
9359         * rbuf.c: Ditto.
9360
9361 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
9362
9363         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
9364         "ignore_perms" to ignore file and directory permissions for
9365         Windows NT FTP server listings.
9366         (ftp_parse_winnt_ls): New function.
9367         (ftp_parse_ls): Parses UNIX and Windows NT listings
9368         separately. Simple heuristics for distinguishing between UNIX and
9369         MS-DOS-like FTP listing provided by Windows NT FTP service.
9370
9371 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
9372
9373         * ftpparse.c, ftpparse.h: New files.
9374
9375         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
9376         only. Use ftp_parse_nonunix_ls otherwise.
9377         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
9378         exotic FTP servers.
9379
9380         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
9381         FTP servers.
9382
9383         * ftp.c: New static wariables host_type, pwd, and pwd_len.
9384         (getftp): Support for VMS. Support for FTP servers that do not
9385         place you in the root directory after login.
9386         (ftp_retrieve_list): VMS is silent about the real file size, issue
9387         a more appropriate message.
9388         (ftp_get_listing): Pass host_type to ftp_parse_ls.
9389
9390         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
9391
9392 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
9393
9394         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
9395         "ignore_perms" to ignore file and directory permissions for
9396         Windows NT FTP server listings.
9397         (ftp_parse_winnt_ls): New function.
9398         (ftp_parse_ls): Parses UNIX and Windows NT listings
9399         separately. Simple heuristics for distinguishing between UNIX
9400         and MS-DOS-like FTP listing provided by Windows NT FTP service.
9401
9402 2000-11-29  John Summerfield  <summer@OS2.ami.com.au>
9403
9404         * netrc.c (parse_netrc): Get rid of line ending.
9405
9406 2000-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
9407
9408         * ftp.c (ftp_retrieve_list): Undo typo "fix" until resolution by
9409         Dan.
9410
9411 2000-11-24  Karl Eichwalder  <ke@suse.de>
9412
9413         * main.c (print_help): Untabify.
9414
9415 2000-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
9416
9417         * utils.c (xrealloc_debug): Do the unregister/register thing only
9418         if the pointer has actually changed.
9419         (xmalloc_real): Declare `static' in DEBUG_MALLOC builds.
9420         (xfree_real): Ditto.
9421         (xrealloc_real): Ditto.
9422         (xstrdup_real): Ditto.
9423
9424 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
9425
9426         * ftp.c (getftp): ftp_getaddress() returns a malloc'ed copy of the
9427         string; no need to strdup() it.
9428         (getftp): Make pwd_len a local variable.
9429         (ftp_loop): Free PWD before returning.
9430
9431         * init.c (cleanup): Free opt.ftp_pass only if it's non-NULL.
9432
9433 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
9434
9435         * all: Use xfree() instead of free.
9436
9437         * utils.c (xfree): New function.
9438
9439 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
9440
9441         * url.c (convert_links): HTML-quote the converted string.
9442
9443         * utils.c (html_quote_string): Move here from ftp-ls.c
9444         (html_quote_string): Make non-static; declare in utils.h.
9445         (html_quote_string): Convert SP to &#32;.
9446
9447 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
9448
9449         * ftp.c (getftp): Reformat Jan's code according to GNU coding
9450         standards; remove (debugging?) printf's; use '\0' for the ASCII
9451         zero character.  Use alloca() instead of malloc() for
9452         inter-function temporary allocations.
9453
9454 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
9455
9456         * ftpparse.c, ftpparse.h: New files.
9457
9458         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
9459         only. Use ftp_parse_nonunix_ls otherwise.
9460         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
9461         exotic FTP servers.
9462
9463         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
9464         FTP servers.
9465
9466         * ftp.c: New static wariables host_type, pwd, and pwd_len.
9467         (getftp): Support for VMS. Support for FTP servers that do not
9468         place you in the root directory after login.
9469         (ftp_retrieve_list): VMS is silent about the real file size, issue
9470         a more appropriate message.
9471         (ftp_get_listing): Pass host_type to ftp_parse_ls.
9472
9473         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
9474
9475 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
9476
9477         * hash.c (hash_table_put): Don't overwrite deleted mappings.
9478
9479 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
9480
9481         * hash.c (find_mapping): New function.
9482         (hash_table_get): Use it.
9483         (hash_table_get_pair): Ditto.
9484         (hash_table_exists): Ditto.
9485         (hash_table_remove): Ditto.
9486         (hash_table_remove): Really delete the entry if the mapping
9487         following LOCATION is empty.
9488
9489         * utils.c (string_set_add): Check whether the element has existed
9490         before.
9491
9492         * hash.c (hash_table_get_pair): New function.
9493
9494 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
9495
9496         * http.c (http_process_type): Ignore trailing whitespace; use
9497         strdupdelim().
9498
9499         * recur.c (recursive_retrieve): Use the new `convert' field.
9500         (convert_all_links): Ditto.
9501         (convert_all_links): Don't respect meta_disallow_follow.
9502
9503         * html-url.c (handle_link): Fill out link_relative_p and
9504         link_complete_p.
9505
9506         * url.h (struct _urlpos): Make elements more readable.
9507
9508         * recur.c (recursive_retrieve): Call slist_prepend instead of
9509         slist_append.
9510         (convert_all_links): Call slist_nreverse before iterating through
9511         urls_html.
9512
9513         * utils.c (slist_prepend): New function.
9514         (slist_nreverse): Ditto.
9515
9516 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
9517
9518         * http.c (check_end): Constify.
9519
9520 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
9521
9522         * http.c (http_loop): If username and password are known, try the
9523         `Basic' authentication scheme by default.
9524
9525         * connect.h: Declare test_socket_open.
9526
9527 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
9528
9529         * version.c: Bump version from 1.5.3+dev to 1.7-dev.
9530
9531 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
9532
9533         * http.c (gethttp): Don't use the return value of sprintf().
9534         (gethttp): Inhibit keep-alive if opt.http_keep_alive is 0.
9535
9536 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
9537
9538         * recur.c (recursive_retrieve): Print the "so we don't load"
9539         debugging message only if we really don't load.
9540
9541         * http.c (gethttp): Inhibit keep-alive if proxy is being used.
9542         (gethttp): Don't request keep-alive if keep-alive is inhibited.
9543
9544 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
9545
9546         * http.c (gethttp): Make the HTTP persistent connections more
9547         robust.
9548
9549 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
9550
9551         * retr.c (get_contents): If use_expected, make sure that the
9552         appropriate amount of data is being read.
9553
9554         * http.c (gethttp): Check for both `Keep-Alive: ...' and
9555         `Connection: Keep-Alive'.
9556
9557         * wget.h (DEBUGP): Call debug_logprintf only if opt.debug is
9558         turned on.
9559
9560 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
9561
9562         * http.c (connection_available_p): Use it.
9563
9564         * connect.c (test_socket_open): New function.
9565
9566         * http.c (gethttp): Support persistent connections.  Based on the
9567         ideas, and partly on code, by Sam Horrocks <sam@daemoninc.com>.
9568         (register_persistent): New function.
9569         (connection_available_p): Ditto.
9570         (invalidate_connection): Ditto.
9571
9572 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
9573
9574         * url.c (convert_links): Handle UREL2ABS case.
9575
9576         * recur.c (recursive_retrieve): Instead of the list
9577         urls_downloaded, use hash tables dl_file_url_map and
9578         dl_url_file_map.
9579         (convert_all_links): Use them to retrieve data.
9580
9581         * host.c (clean_hosts): Free the hash tables.
9582
9583         * main.c (private_initialize): Call host_init().
9584
9585         * host.c (store_hostaddress): Use a saner, hash table-based data
9586         model.
9587         (realhost): Ditto.
9588         (host_init): Initialize the hash tables.
9589
9590 2000-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
9591
9592         * utils.c (slist_append): Eviscerate NOSORT.  Hash tables are now
9593         used for what the sorted slists used to be used for.
9594         (slist_contains): Don't rely on the list being sorted.
9595         (slist_append): Simplify the code.
9596
9597         * recur.c (recursive_cleanup): Use free_string_set.
9598
9599         * utils.c (string_set_add, string_set_exists, string_set_free):
9600         New functions for easier freeing of hash tables whose keys are
9601         strdup'ed strings.
9602
9603         * recur.c (recursive_retrieve): Use the hash table functions for
9604         storing undesirable URLs.
9605
9606         * hash.c: New file.
9607
9608 2000-11-17  Hrvoje Niksic  <hniksic@arsdigita.com>
9609
9610         * main.c (private_initialize): Call url_init.
9611         (main): Call private_initialize.
9612
9613         * url.c (unsafe_char_table): New table.
9614         (UNSAFE_CHAR): Use it.
9615         (init_unsafe_char_table): New function.
9616         (url_init): New function; call init_unsafe_char_table.
9617
9618 2000-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
9619
9620         * mswindows.h: Define snprintf and vsnprintf to _snprintf and
9621         _vsnprintf respectively.
9622
9623 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
9624
9625         * config.h.in: Do the _XOPEN_SOURCE and _SVID_SOURCE things only
9626         on Linux.
9627
9628 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
9629
9630         * html-url.c (handle_link): Handle HTML fragment identifiers.
9631
9632         * recur.c (recursive_retrieve): If norobot info is respected and
9633         the file is specified not to be followed by robots, respect that.
9634
9635         * html-url.c (collect_tags_mapper): Handle <meta name=robots
9636         content=X>.  For us the important cases are where X is NONE or
9637         where X contains NOFOLLOW.
9638         (get_urls_html): Propagate that information to the caller.
9639
9640 2000-11-13  Hrvoje Niksic  <hniksic@arsdigita.com>
9641
9642         * url.c (convert_links): Unlink the file we might be reading from
9643         before writing to it.
9644         (convert_links): Use alloca instead of malloc for
9645         filename_plus_orig_suffix.
9646
9647 2000-11-12  Hrvoje Niksic  <hniksic@arsdigita.com>
9648
9649         * host.c (realhost): Add HOST to the list with quality==0 only if
9650         it wasn't already there.
9651         Based on analysis by Lu Guohan <feng@public.bjnet.edu.cn>.
9652
9653 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
9654
9655         * url.c (get_urls_file): Ditto.
9656         (convert_links): Ditto.
9657
9658         * html-url.c (get_urls_html): Use read_file() instead of
9659         load_file().
9660
9661         * utils.c (read_file): New function, instead of the old
9662         load_file().
9663         (read_file_free): Ditto.
9664
9665         * url.c (findurl): Search only for the supported protocols.
9666         (convert_links): Use fwrite() when writing out a region of
9667         characters.
9668
9669 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
9670
9671         * ftp-ls.c: Move html_quote_string and ftp_index here.
9672
9673         * url.c: Remove get_urls_html, since that's now in html-url.c.
9674
9675         * html-url.c: New file.
9676
9677         * html-parse.c: New file.
9678
9679 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
9680
9681         * init.c (run_wgetrc): Don't bother killing off '\r' since
9682         pars_line() skips whitespace at end of line anyway.
9683         (parse_line): Oops, it didn't.  Now it does.
9684
9685         * recur.c (parse_robots): Ditto here.
9686
9687         * ftp-ls.c (ftp_parse_unix_ls): Kill off the newline character
9688         manually because read_whole_line no longer does.
9689
9690         * utils.c (read_whole_line): Rewrite to: a) use less memory
9691         (reallocates to needed size after work), b) work faster -->
9692         fgets() instead of getc, c) be more correct --> doesn't kill the
9693         newline character at the end of line.
9694
9695 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
9696
9697         * init.c (comind): Initialize MAX to array size - 1.
9698
9699 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
9700
9701         * url.c (construct): Changed last_slash[-1] to *(last_slash - 1).
9702         Suggested by Edward J. Sabol.
9703
9704 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
9705
9706         * url.c (construct): Handle the case where host name is not
9707         followed by a slash.
9708
9709 2000-11-06  Hrvoje Niksic  <hniksic@arsdigita.com>
9710
9711         * init.c: commands[] need to be sorted!  ("base" wasn't.)
9712
9713 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
9714
9715         * wget.h (DO_REALLOC_FROM_ALLOCA): Use braces to disambiguate
9716         `if'.
9717
9718 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
9719
9720         * url.c (construct): Insert unneeded initialization for the
9721         compiler to shut up.
9722
9723         * config.h.in: Define _XOPEN_SOURCE to 500 to get the prototype
9724         for strptime() (*duh*).  Define _SVID_SOURCE to get S_IFLNK which
9725         otherwise gets lost when you define _XOPEN_SOURCE.
9726
9727         * utils.c (touch): Include the file name in the error message.
9728         From Debian.
9729
9730 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
9731
9732         * log.c (logvprintf): Use vsnprintf() in all cases.  If necessary,
9733         resize the buffer to fit the formated message.  That way, messages
9734         of arbitrary size may be printed.
9735         (logvprintf): Use saved_append() to optionally log the last
9736         several lines of output.
9737         (logputs): Ditto.
9738         (log_close): Adapt to new data structures.
9739         (log_dump): Ditto.
9740         (redirect_output): Print messages to stderr, not to stdout.
9741
9742         * log.c (saved_append_1): New function.  Replaces the old logging
9743         system ("log all output until 10M characters") with a new, much
9744         more reasonable one ("log last screenful of text").
9745         (saved_append): New function; call saved_append_1.
9746         (free_log_line): New function.
9747
9748 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
9749
9750         * url.c (construct): Fix comment.
9751         (find_last_char): Document.
9752
9753 2000-11-04  Hrvoje Niksic  <hniksic@arsdigita.com>
9754
9755         * snprintf.c: New file.
9756
9757 2000-11-03  Hrvoje Niksic  <hniksic@arsdigita.com>
9758
9759         * wget.h: If HAVE_STDARG_H is not defined, don't declare argument
9760         types to logprintf() and debug_logprintf().
9761
9762 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
9763
9764         * ftp.c (ftp_loop_internal): Hide the password from the URL when
9765         printing non-verbose.  Problem spotted by Dariusz Mlynarczyk
9766         <darekm@bydg.lomac.com.pl>.
9767
9768 2000-11-02  Junio Hamano  <junio@twinsun.com>
9769
9770         * ftp-basic.c (ftp_login): Make comparison case-insensitive.
9771
9772 2000-11-02  Tyler Riddle  <triddle@liquidmarket.com>
9773
9774         * http.c (known_authentication_scheme_p): Recognize NTML
9775         authentication.
9776         (create_authorization_line): Treat NTML the same as `Basic'.
9777
9778 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
9779
9780         * retr.c (retrieve_url): Free url before returning.
9781         (retrieve_url): Free mynewloc before returning.
9782         Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
9783
9784 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
9785
9786         * url.c (parseurl): Remove possible reading past the end of
9787         sup_protos[].  Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
9788
9789 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
9790
9791         * main.c (main): In case of opt.downloaded overflowing, print
9792         <overflow> instead of a totally bogus random value.
9793
9794         * retr.c (retrieve_from_file): Ditto.
9795
9796         * recur.c (recursive_retrieve): Ditto.
9797
9798         * main.c (main): Ditto.
9799
9800         * http.c (http_loop): Ditto.
9801
9802         * ftp.c (ftp_loop_internal): Use downloaded_increase() instead of
9803         `+=', and downloaded_exceeds_quota() instead of the simple-minded
9804         check.
9805         (ftp_retrieve_list): Ditto.
9806         (ftp_retrieve_dirs): Ditto.
9807         (ftp_retrieve_glob): Ditto.
9808
9809         * retr.c (downloaded_increase): New function.  Notice overflows of
9810         opt.downloaded.
9811         (downloaded_exceeds_quota): Make sure that opt.downloaded is not
9812         used if it overflowed.
9813
9814         * options.h (struct options): New member downloaded_overflow.
9815
9816 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
9817
9818         * wget.h (enum): Remove extra space after last enumeration.
9819
9820 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
9821
9822         * main.c (main): Use legible_very_long() for printing
9823         opt.downloaded.
9824
9825         * utils.c (legible_1): New function that operates on strings and
9826         does the brunt of legible()'s work.
9827         (legible): Use legible_1().
9828         (legible_very_long): New function; dump the argument with
9829         sprintf(), and call legible_1().
9830
9831         * options.h (struct options): Use VERY_LONG_TYPE for
9832         opt.downloaded.
9833
9834         * sysdep.h (VERY_LONG_TYPE): Define it to have a 64-bit or greater
9835         type.
9836
9837         * config.h.in: Make sure that SIZEOF_LONG and SIZEOF_LONG_LONG get
9838         defined.  Define HAVE_LONG_LONG if long long is available.
9839
9840 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
9841
9842         * utils.c (long_to_string): Update with a later, better version.
9843
9844 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
9845
9846         * url.c (path_simplify_with_kludge): New function.
9847         (path_simplify_with_kludge): Disable it.  Instead...
9848         (parse_dir): ...make sure that at this point the right thing is
9849         done, i.e. that "query" part of the URL (?...) is always assigned
9850         to the file, never to the directory portion of the path.
9851
9852 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
9853
9854         * retr.c (retrieve_url): Detect redirection cycles.
9855
9856 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
9857
9858         * url.c (get_urls_html): Decode HTML entities using
9859         html_decode_entities.
9860
9861         * html.c (htmlfindurl): Don't count the `#' in numeric entities
9862         (&#NNN;) as an HTML fragemnt.
9863         (html_decode_entities): New function.
9864
9865 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
9866
9867         * html.c (htmlfindurl): Fix recognition of # HTML fragments.
9868
9869 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
9870
9871         * url.c (construct): Rewritten for clarity.  Avoids the
9872         unnecessary copying and stack-allocation the old version
9873         performed.
9874
9875 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
9876
9877         * ftp.c (getftp): Ditto.
9878
9879         * http.c (gethttp): Rewind the stream when retrying from scratch.
9880
9881 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
9882
9883         * retr.c (retrieve_url): Use url_concat() to handle relative
9884         redirections instead of /ad hoc/ code.
9885
9886         * url.c (url_concat): New function encapsulating weird
9887         construct().
9888         (urllen_http_hack): New function.
9889         (construct): When constructing new URLs, recognize that `?' does
9890         not form part of the file name in HTTP.
9891
9892 2000-10-13  Adrian Aichner  <adrian@xemacs.org>
9893
9894         * retr.c: Add msec timing support for WINDOWS.
9895         * retr.c (reset_timer): GetSystemTime() on WINDOWS.
9896         * retr.c (elapsed_time): Calculate delta time to msec on WINDOWS.
9897
9898 2000-10-27  Dan Harkless  <wget@harkless.org>
9899
9900         * retr.c (retrieve_url): Manually applied T. Bharath
9901         <TBharath@responsenetworks.com>'s patch to get wget to grok
9902         illegal relative URL redirects.  Reformatted and re-commented it.
9903
9904 2000-10-23  Dan Harkless  <wget@harkless.org>
9905
9906         * connect.c (make_connection and bindport): Manually applied Rob
9907         Mayoff <mayoff@dqd.com>'s 1.5.3 patch to add --bind-address,
9908         changing coding style to GNU's.
9909
9910         * ftp.c (ftp_loop_internal): --delete-after wasn't implemented for
9911         files downloaded via FTP.  Per a comment, .listing files were not
9912         counted towards number of bytes and files downloaded because they're
9913         deleted anyway.  Well, they aren't under -nr, so count them then.
9914
9915         * init.c: Manually applied Rob Mayoff's 1.5.3 patch to add
9916         --bind-address, alphabetizing, changing coding style to GNU's,
9917         commenting, and renaming cmd_ip_address() to cmd_address() to
9918         imply hostnames also okay.
9919
9920         * main.c (main): --delete-after didn't delete the root of the
9921         tree.  Ignore --convert-links if --delete-after was specified.
9922         Manually applied Rob Mayoff's 1.5.3 patch to add --bind-address,
9923         fixing duplicate use of added-since-1.5.3 case value.
9924         (print_help): Clarified that --delete-after deletes local files.
9925         Rob forgot to add a line for his new --bind-address option.
9926
9927         * options.h (struct options): Manually applied Rob Mayoff's patch
9928         to add --bind-address (bind_address structure member).
9929
9930         * recur.c (recursive_retrieve): Improved comment; added DEBUGP().
9931         Ignore --convert-links if --delete-after was specified.
9932
9933         * retr.c (retrieve_from_file): Just added a DEBUGP().
9934
9935 2000-10-19  Dan Harkless  <wget@harkless.org>
9936
9937         * ftp.c (ftp_loop_internal): downloaded_file() enumerators changed.
9938         (getftp): Applied Piotr Sulecki <Piotr.Sulecki@ios.krakow.pl>'s
9939         patch to work around FTP servers that incorrectly respond to the
9940         "REST" command with the remaining size rather than the total file size.
9941
9942         * http.c (gethttp): Improved a comment and added code to tack on
9943         ".html" to text/html files without that extension when -E specified.
9944         (http_loop): Use new downloaded_file() enumerators and deal with
9945         the case of gethttp() called xrealloc() on u->local.
9946
9947         * init.c (commands): Added new "htmlextension" command.
9948         Also renamed John Daily's cmd_quad() to the more descriptive
9949         cmd_lockable_boolean(), alpha-sorted the CMD_DECLARE()s and
9950         removed duplicate cmd_boolean() declaration.
9951
9952         * main.c (print_help): Added my new -E / --html-extension option.
9953         (main): Undocumented --email-address option previously used -E synonym.
9954         Stole it away for the much more deserving --html-extension's use.
9955
9956         * options.h (struct options): Added html_extension field.
9957
9958         * url.c (convert_links): URL X that we saved as X.html locally due
9959         to -E needs to be backed up as X.orig, not X.html.orig.  Added comments.
9960         (downloaded_file): Now remembers if we added .html extension to a file.
9961
9962         * url.h (downloaded_file_t): Added extra enumerators to support above.
9963         (downloaded_file): Now takes and returns a downloaded_file_t.
9964
9965         * wget.h (unnamed "dt" enum): Added ADDED_HTML_EXTENSION enumerator.
9966
9967 2000-10-09  Dan Harkless  <wget@harkless.org>
9968
9969         * html.c (htmlfindurl): Added unneeded initialization to quiet warning.
9970
9971         * main.c (print_help): Clarified what --retr-symlinks does.
9972
9973 2000-09-15  John Daily  <jdaily@cyberdude.com>
9974
9975         * init.c: Add support for "always" and "never" values to allow
9976         .wgetrc to override commandline (useful e.g. with .pm files
9977         calling `wget --passive-ftp' when your firewall doesn't allow that).
9978
9979         * ftp.c (getftp): passive_ftp is first option to support always/never.
9980
9981 2000-08-30  Dan Harkless  <wget@harkless.org>
9982
9983         * ftp.c (ftp_retrieve_list): Use new INFINITE_RECURSION #define.
9984
9985         * html.c: htmlfindurl() now takes final `dash_p_leaf_HTML' parameter.
9986         Wrapped some > 80-column lines.  When -p is specified and we're at a
9987         leaf node, do not traverse <A>, <AREA>, or <LINK> tags other than
9988         <LINK REL="stylesheet">.
9989
9990         * html.h (htmlfindurl): Now takes final `dash_p_leaf_HTML' parameter.
9991
9992         * init.c: Added new -p / --page-requisites / page_requisites option.
9993
9994         * main.c (print_help): Clarified that -l inf and -l 0 both allow
9995         infinite recursion.  Changed the unhelpful --mirrior description
9996         to simply give the options it's equivalent to.  Added new -p option.
9997         (main): Added some comments; handle new -p / --page-requisites.
9998
9999         * options.h (struct options): Added new page_requisites field.
10000
10001         * recur.c: Changed "URL-s" to "URLs" and "HTML-s" to "HTMLs".
10002         Calculate and pass down new `dash_p_leaf_HTML' parameter to
10003         get_urls_html().  Use new INFINITE_RECURSION #define.
10004
10005         * retr.c: Changed "URL-s" to "URLs".  get_urls_html() now takes
10006         final `dash_p_leaf_HTML' parameter.
10007
10008         * url.c: get_urls_html() and htmlfindurl() now take final
10009         `dash_p_leaf_HTML' parameter.
10010
10011         * url.h (get_urls_html): Now takes final `dash_p_leaf_HTML' parameter.
10012
10013         * wget.h: Added some comments and new INFINITE_RECURSION #define.
10014
10015 2000-08-23  Dan Harkless  <wget@harkless.org>
10016
10017         * main.c (print_help): -B / --base was not mentioned.
10018
10019 2000-08-22  Dan Harkless  <wget@harkless.org>
10020
10021         * main.c (print_help): Modified -nc description to mention that it
10022         also prevents the creation of multiple versions of the same file
10023         with ".<number>" suffixes.
10024
10025 2000-07-14  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
10026
10027         * retr.c (retrieve_url): Consistently strdup opt.referer when
10028         setting u->referer.
10029
10030 2000-06-09  Dan Harkless  <wget@harkless.org>
10031
10032         * main.c (print_help): --help output for --waitretry was over 80 cols.
10033
10034 2000-06-09  Hrvoje Niksic  <hniksic@iskon.hr>
10035
10036         * url.c (encode_string): Fix comment.
10037         Suggested by Herold Heiko <Heiko.Herold@previnet.it>.
10038
10039 2000-06-01  Const Kaplinsky  <const@ce.cctpu.edu.ru>
10040
10041         * ftp.c (ftp_retrieve_list): Change permissions only on plain
10042         files.
10043
10044 2000-06-01  Hrvoje Niksic  <hniksic@iskon.hr>
10045
10046         * url.c (str_url): Print the port number only if it's different
10047         from the default port number for that protocol.
10048
10049 2000-05-22  Dan Harkless  <wget@harkless.org>
10050
10051         * main.c (print_help): Added --help line for Damir Dzeko
10052         <ddzeko@zesoi.fer.hr>'s until-now-undocumented --referer option.
10053         Removed comments that --referer and --waitretry were undocumented.
10054         Changed "`.wgetrc' command" to "`.wgetrc'-style command" on --help
10055         line for --execute.
10056
10057 2000-05-18  Hrvoje Niksic  <hniksic@iskon.hr>
10058
10059         * ftp.c (getftp): Ditto.
10060
10061         * http.c (gethttp): Check for return value of fclose/fflush.
10062
10063 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
10064
10065         * host.c (store_hostaddress): Instead of shifting ADDR, start
10066         copying from the correct address.
10067
10068 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
10069
10070         * http.c (gethttp): Don't free REQUEST -- it was allocated with
10071         alloca().
10072         Pointed out by Gisle Vanem <gvanem@eunet.no>.
10073
10074 2000-04-04  Dan Harkless  <wget@harkless.org>
10075
10076         * host.c (store_hostaddress): R. K. Owen's patch introduces a
10077         "left shift count >= width of type" warning on 32-bit
10078         architectures.  Got rid of it by tricking the compiler w/ a variable.
10079
10080         * url.c (UNSAFE_CHAR): The macro didn't include all the illegal
10081         characters per RFC1738, namely everything above '~'.  It also
10082         generated a warning on OSes where char =~ unsigned char.  Fixed.
10083
10084 1998-10-17  Hrvoje Niksic  <hniksic@srce.hr>
10085
10086         * http.c (http_process_type): Removed needless strdup(), a memory
10087         leak.
10088
10089 1998-09-25  Hrvoje Niksic  <hniksic@srce.hr>
10090
10091         * html.c (htmlfindurl): Set PH to the first occurrence of `#'.
10092
10093 1998-09-25  Simon Munton  <simonm@m4data.co.uk>
10094
10095         * init.c (wgetrc_file_name): Don't free HOME under Windows.
10096
10097 1998-12-01  "R. K. Owen"  <rkowen@Nersc.GOV>
10098
10099         * host.c (store_hostaddress): Fix for big endian 64-bit machines.
10100
10101 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
10102
10103         * url.c (UNSAFE_CHAR): New macro.
10104         (contains_unsafe): Use it.
10105         (encode_string): Ditto.
10106
10107 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
10108
10109         * main.c (i18n_initialize): Use LC_MESSAGES only if available.
10110
10111 2000-03-31  Hrvoje Niksic  <hniksic@srce.hr>
10112
10113         * Use TOUPPER/TOLOWER.
10114
10115 1998-12-22  Alexander V. Lukyanov  <lav@yars.free.net>
10116
10117         * ftp-opie.c (btoe): Zero-terminate OSTORE.
10118
10119 2000-03-21  Hrvoje Niksic  <hniksic@iskon.hr>
10120
10121         * wget.h (DO_REALLOC_FROM_ALLOCA): Ditto.
10122
10123         * sysdep.h (ISALNUM): New macro.
10124         (TOLOWER): Ditto.
10125         (TOUPPER): Ditto.
10126
10127 2000-03-10  Dan Harkless  <wget@harkless.org>
10128
10129         * html.c (idmatch): Implemented checking of my new --follow-tags
10130         and --ignore-tags options.
10131
10132         * init.c (commands): Added comment reminding people adding new
10133         entries doing allocation to add corresponding freeing in cleanup().
10134         (commands): Added new followtags and ignoretags commands.
10135         (cleanup): Free storage for new followtags and ignoretags.
10136
10137         * main.c: Use of "comma-separated list" was random -- normalized
10138         it.  Did some alphabetization.  Added comments pointing out
10139         "Options without arguments" and "Options accepting an argument"
10140         sections of long_options[].  Added new options --follow-tags and
10141         -G / --ignore-tags.  Added comment that Damir's --referer is
10142         currently undocumented.  Added comment that Heiko's --waitretry is
10143         partially undocumented (mentioned in --help but not in
10144         wget.texi).  Moved improperly sorted 24, 129, and 'G' cases.
10145
10146         * options.h (struct options): Added new fields follow_tags and
10147         ignore_tags.
10148
10149         * wget.h: Added "#define EQ 0" so we can say "strcmp(a, b) == EQ".
10150
10151 2000-03-02  Dan Harkless  <wget@harkless.org>
10152
10153         * ftp.c (ftp_loop_internal): Heiko introduced "suggest explicit
10154         braces to avoid ambiguous `else'" warnings.  Eliminated them.
10155
10156         * http.c (gethttp): Dan Berger's query string patch is totally
10157         bogus.  If you have two different URLs, gen_page.cgi?page1 and
10158         get_page.cgi?page2, they'll both be saved as get_page.cgi and the
10159         second will overwrite the first.  Also, parameters to implicit
10160         CGIs, like "http://www.host.com/db/?2000-03-02" cause the URLs to
10161         be printed with trailing garbage characters, and could seg fault.
10162         Backing out the patch, which Dan B. informed me by email was just
10163         a kludge to download StarOffice from Sun made necessary due to
10164         wget's unconditional escaping of certain characters (room for an
10165         option there?).
10166         (http_loop): Heiko introduced "suggest explicit braces to avoid
10167         ambiguous `else'" warnings.  Eliminated them.
10168
10169         * main.c: Heiko's --wait / --waitretry backwards compatibility
10170         code looks to have been totally untested -- automatic variable
10171         'wr' was used without being initialized, and a long int was passed
10172         into setval()'s char* val parameter.
10173
10174         * recur.c (parse_robots): Applied Edward J. Sabol
10175         <sabol@alderaan.gsfc.nasa.gov>'s patch for Guan Yang's reported
10176         problem with "User-agent:<space>*<space>" lines in robots.txt.
10177
10178         * url.c (parseurl, str_url): Removing Dan Berger's code (see
10179         http.c above for explanation).
10180
10181 1999-08-25  Heiko Herold  <Heiko.Herold@previnet.it>
10182
10183         * ftp.c: Respect new option waitretry.
10184
10185 2000-01-30  Damir Dzeko  <ddzeko@zesoi.fer.hr>
10186
10187         * http.c (gethttp): Send custom Referer, if required.
10188
10189 1999-09-24  Charles G Waldman  <cgw@fnal.gov>
10190
10191         * netrc.c (parse_netrc): Allow passwords to contain spaces.
10192
10193         * netrc.c (parse_netrc): New function.
10194
10195 1999-09-17  Dan Berger  <dberger@ix.netcom.com>
10196
10197         * http.c (gethttp): Send it.
10198
10199         * url.c (parseurl): Detect query string in HTTP URL-s.
10200         (str_url): Print it.
10201
10202 2000-03-02  HIROSE Masaaki  <hirose31@t3.rim.or.jp>
10203
10204         * html.c (html_allow): Add <link href=...> and <script src=...>.
10205
10206 1999-05-02  andrew deryabin  <djsf@softhome.net>
10207
10208         * http.c (gethttp): Specify port in `Host' header only if it's
10209         different from 80.
10210
10211 1998-11-03  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
10212
10213         * recur.c (recursive_retrieve): If a finite maximum depth is
10214         specified, and we're are already at that depth, don't download the
10215         HTML file for parsing.
10216
10217 2000-03-01  Dan Harkless  <wget@harkless.org>
10218
10219         * ftp.c (ftp_loop_internal): Call new downloaded_file() function,
10220         even though we don't do conversion on HTML files retrieved via
10221         FTP, so _current_ usage of downloaded_file() makes this call unneeded.
10222         (ftp_retrieve_list): Added a comment saying where we need to
10223         stat() a .orig file if FTP'd HTML file conversion is ever implemented.
10224         (ftp_retrieve_list): "Local file '%s' is more recent," is sometimes
10225         a lie -- reworded as "Server file no newer than local file '%s' --".
10226
10227         * http.c (http_loop): Fixed a typo and clarified a comment.
10228         (http_loop): When -K and -N are specified together, compare size
10229         and timestamp of server file X against local file X.orig (if
10230         extant) rather than converted local file X.
10231         (http_loop): "Local file '%s' is more recent," is sometimes a lie
10232         -- reworded as "Server file no newer than local file '%s' --".
10233         (http_loop): Call new downloaded_file() function to prevent
10234         wrongful overwriting of .orig file when -N is specified.
10235
10236         * url.c (convert_links): When -K specified, only rename X to
10237         X.orig if downloaded_file() returns TRUE.  Otherwise when we skip
10238         file X due to -N, we clobber an X.orig from a previous invocation.
10239         (convert_links): Call the failsafe xstrdup(), not the real strdup().
10240         (convert_links): Added a note asking anyone who understands how
10241         multiple URLs can correspond to a single file to comment it.
10242         (downloaded_file): Added this new function.
10243
10244         * url.h (downloaded_file): Added prototype for this new function
10245         as well as its downloaded_file_t enum type.
10246
10247         * wget.h (boolean): Added this new typedef and TRUE and FALSE #defines.
10248
10249 2000-02-29  Dan Harkless  <wget@harkless.org>
10250
10251         * version.c: Upped version to developer-only "1.5.3+dev".
10252
10253 2000-02-18  Dan Harkless  <wget@harkless.org>
10254
10255         * init.c (backup_converted): Added this new option.
10256
10257         * main.c (-K / --backup-converted): Added this new option.
10258
10259         * options.h (backup_converted): Added this new option.
10260
10261         * url.c (convert_links): When backup_converted is specified, save
10262         file X as X.orig before converting.
10263
10264         * url.h (urlpos): Fixed typo -- said "Rekative" instead of "Relative".
10265
10266 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
10267
10268         * version.c: Wget 1.5.3 is released.
10269
10270 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
10271
10272         * host.c (ftp_getaddress): Don't warn when reverse-lookup of local
10273         address doesn't yield FQDN.
10274
10275 1998-09-21  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
10276
10277         * cmpt.c (strerror): Fix declaration of sys_errlist.
10278
10279 1998-09-11  Hrvoje Niksic  <hniksic@srce.hr>
10280
10281         * main.c (main): Don't use an array subscript as the first
10282         argument to STRDUP_ALLOCA.
10283         From Kaveh R. Ghazi.
10284
10285 1998-09-11  Szakacsits Szabolcs  <szaka@sienet.hu>
10286
10287         * html.c (htmlfindurl): Download table background.
10288
10289 1998-09-11  Hans Grobler  <grobh@conde.ee.sun.ac.za>
10290
10291         * init.c (parse_line): Would free *com before allocating it.
10292         (parse_line): Would free com instead of *com.
10293
10294 1998-09-10  Howard Gayle  <howard@fjst.com>
10295
10296         * url.c (get_urls_html): Would drop the last character of the
10297         link.
10298
10299 1998-09-10  Hrvoje Niksic  <hniksic@srce.hr>
10300
10301         * http.c (http_loop): Don't print status code if quiet.
10302
10303 1998-09-10  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
10304
10305         * log.c: Use <stdarg.h> only when __STDC__.
10306
10307 1998-09-10  Adam D. Moss  <adam@foxbox.org>
10308
10309         * html.c (htmlfindurl): Download <layer src=...>.
10310
10311 1998-09-10  Howard Gayle  <howard@fjst.com>
10312
10313         * ftp.c (ftp_retrieve_list): Don't update the time stamp of a file
10314         not retrieved.
10315
10316 1998-06-27  Hrvoje Niksic  <hniksic@srce.hr>
10317
10318         * utils.c: Include <libc.h> on NeXT.
10319
10320 1998-06-26  Heinz Salzmann  <heinz.salzmann@intermetall.de>
10321
10322         * url.c (get_urls_html): Fix calculation of URL position.
10323
10324 1998-06-23  Hrvoje Niksic  <hniksic@srce.hr>
10325
10326         * version.c: Wget 1.5.2 is released.
10327
10328 1998-06-23  Dave Love  <d.love@dl.ac.uk>
10329
10330         * ftp.c, init.c, netrc.c: Include errno.h.
10331
10332         * http.c: Include errno.h and time header.
10333
10334         * Makefile.in (exext): Define.
10335         (install.bin, uninstall.bin): Use it.
10336
10337 1998-06-21  Hrvoje Niksic  <hniksic@srce.hr>
10338
10339         * http.c (http_loop): Don't attempt to compare local and remote
10340         sizes if the remote size is unknown.
10341
10342 1998-06-16  Hrvoje Niksic  <hniksic@srce.hr>
10343
10344         * url.c (get_urls_html): Use malloc() instead of alloca in the
10345         loop.
10346
10347 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
10348
10349         * version.c: Wget 1.5.2-b4 is released.
10350
10351 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
10352
10353         * url.c (get_urls_html): Ignore spaces before and after the URI.
10354
10355 1998-06-08  Wanderlei Antonio Cavassin  <cavassin@conectiva.com.br>
10356
10357         * ftp.c (getftp): Translate `done'.
10358
10359 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
10360
10361         * version.c: Wget 1.5.2-b3 is released.
10362
10363 1998-06-06  Alexander Kourakos  <awk@bnt.com>
10364
10365         * init.c (cleanup): Close dfp, don't free it.
10366
10367 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
10368
10369         * utils.c (make_directory): Twiddle.
10370
10371         * config.h.in: Added template for access().
10372
10373 1998-06-05  Mathieu Guillaume  <mat@cythere.com>
10374
10375         * html.c (htmlfindurl): Download <input src=...>
10376
10377 1998-06-03  Hrvoje Niksic  <hniksic@srce.hr>
10378
10379         * utils.c (file_exists_p): Use access() with two arguments.
10380
10381 1998-05-27  Martin Kraemer  <Martin.Kraemer@mch.sni.de>
10382
10383         * netrc.c (parse_netrc): Correct logic.
10384
10385 1998-05-27  Hrvoje Niksic  <hniksic@srce.hr>
10386
10387         * ftp.c (getftp): Added `break'; suggested by Lin Zhe Min
10388         <ljm@ljm.wownet.net>.
10389
10390 1998-05-24  Hrvoje Niksic  <hniksic@srce.hr>
10391
10392         * version.c: Wget 1.5.2-b2 is released.
10393
10394 1998-05-18  Juan Jose Rodriguez  <jcnsoft@jal1.telmex.net.mx>
10395
10396         * mswindows.h: Don't translate mkdir to _mkdir under Borland.
10397
10398 1998-05-17  Hrvoje Niksic  <hniksic@srce.hr>
10399
10400         * retr.c (elapsed_time): Return correct value when
10401         HAVE_GETTIMEOFDAY is undefined.
10402
10403 1998-05-13  Hrvoje Niksic  <hniksic@srce.hr>
10404
10405         * version.c: Wget 1.5.2-b1 is released.
10406
10407 1998-05-08  Hrvoje Niksic  <hniksic@srce.hr>
10408
10409         * getopt.c (_getopt_internal): Use exec_name instead of argv[0].
10410         (_getopt_internal): Don't translate `#if 0'-ed strings.
10411
10412 1998-05-06  Douglas E. Wegscheid  <wegscd@whirlpool.com>
10413
10414         * mswindows.c (ws_handler): Use fork_to_background().
10415
10416 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
10417
10418         * version.c: Wget 1.5.1 is released.
10419
10420 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
10421
10422         * http.c (parse_http_status_line): Avoid `minor' and `major'
10423         names.
10424
10425 1998-05-02  Hrvoje Niksic  <hniksic@srce.hr>
10426
10427         * utils.c (mkdirhier): Renamed to make_directory.
10428
10429 1998-05-01  Hrvoje Niksic  <hniksic@srce.hr>
10430
10431         * mswindows.c (fork_to_background): Define under Windows.
10432
10433         * utils.c (fork_to_background): New function.
10434
10435         * html.c (htmlfindurl): Removed rerdundant casts.
10436
10437 1998-05-01  Douglas E. Wegscheid  <wegscd@whirlpool.com>
10438
10439         * mswindows.c (ws_mypath): Cache the path.
10440
10441 1998-04-30  Douglas E. Wegscheid  <wegscd@whirlpool.com>
10442
10443         * ftp.h: Prefix enum ftype members with FT_.
10444
10445         * ftp-ls.c, ftp.c, html.h: Adjust accordingly.
10446
10447         * mswindows.h: Use stat under Borland, _stat under MSVC.
10448
10449 1998-04-28  Hrvoje Niksic  <hniksic@srce.hr>
10450
10451         * http.c (known_authentication_scheme_p): New function.
10452         (gethttp): Handle authorization more correctly.
10453
10454         * ftp-basic.h: Removed.
10455
10456         * cmpt.h: Removed.
10457
10458         * utils.c: Include <unistd.h> before <pwd.h>; needed under SunOS
10459         with gcc 2.8.
10460         (numdigit): Use `while' loop.
10461
10462         * http.c (create_authorization_line): Detect authentication
10463         schemes case-insensitively.
10464
10465         * http.c (extract_header_attr): Use strdupdelim().
10466         (digest_authentication_encode): Move declaration of local
10467         variables to smaller scope.
10468         (digest_authentication_encode): Reset REALM, OPAQUE and NONCE.
10469         (create_authorization_line): Detect authentication schemes
10470         case-insensitively.
10471
10472         * utils.c (touch): Constify.
10473
10474         * http.c (gethttp): Report a nicer error when no data is received.
10475
10476         * rbuf.h (RBUF_READCHAR): Ditto.
10477
10478         * ftp-basic.c (ftp_response): Use sizeof.
10479
10480 1998-04-27  Hrvoje Niksic  <hniksic@srce.hr>
10481
10482         * retr.c (print_percentage): EXPECTED is long, not int.
10483         (print_percentage): Use floating-point arithmetic to avoid
10484         overflow with large files' sizes multiplied with 100.
10485
10486 1998-04-27  Gregor Hoffleit  <flight@mathi.uni-heidelberg.de>
10487
10488         * config.h.in: Added pid_t stub.
10489
10490         * sysdep.h (S_ISREG): Moved here from mswindows.h (NeXT doesn't
10491         define it).
10492
10493 1998-04-20  Hrvoje Niksic  <hniksic@srce.hr>
10494
10495         * version.c: Wget 1.5.0 is released.
10496
10497 1998-04-18  Hrvoje Niksic  <hniksic@srce.hr>
10498
10499         * url.c (str_url): Ditto.
10500
10501         * ftp-basic.c (ftp_rest): Use new name.
10502
10503         * utils.c (long_to_string): Renamed from prnum().
10504
10505 1998-04-16  Hrvoje Niksic  <hniksic@srce.hr>
10506
10507         * version.c: Wget 1.5-b17 is released.
10508
10509 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
10510
10511         * headers.c (header_get): New argument FLAGS.
10512
10513         * http.c (gethttp): If request is malformed, bail out of the
10514         header loop.
10515         (gethttp): Check for empty header *after* the status line checks.
10516         (gethttp): Disallow continuations for status line.
10517
10518 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
10519
10520         * version.c: Wget 1.5-b16 is released.
10521
10522 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
10523
10524         * init.c (commands): Renamed `always_rest' to `continue'.
10525
10526 1998-04-05  Hrvoje Niksic  <hniksic@srce.hr>
10527
10528         * all: Use it.
10529
10530         * log.c (logputs): New argument.
10531         (logvprintf): Ditto.
10532         (logprintf): Ditto.
10533
10534 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
10535
10536         * http.c (http_atotm): Update comment.
10537
10538         * main.c (i18n_initialize): Set LC_MESSAGES, not LC_ALL.
10539
10540         * wget.h: Renamed ENABLED_NLS to HAVE_NLS.
10541
10542         * main.c (i18n_initialize): New function.
10543         (main): Use it.
10544
10545         * log.c: Include <unistd.h>.
10546
10547         * retr.c (show_progress): Cast alloca to char *.
10548
10549 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
10550
10551         * version.c: Wget 1.5-b15 is released.
10552
10553 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
10554
10555         * utils.h: Declare file_non_directory_p().
10556
10557 1998-04-03  Hrvoje Niksic  <hniksic@srce.hr>
10558
10559         * main.c (main): It's `tries', not `numtries' now.
10560
10561 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
10562
10563         * init.c (getperms): Removed.
10564
10565 1998-04-01  Tim Charron  <tcharron@interlog.com>
10566
10567         * log.c (logvprintf): Don't use ARGS twice.
10568
10569 1998-04-01  John  <john@futuresguide.com>
10570
10571         * mswindows.c: Cleaned up.
10572
10573 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
10574
10575         * version.c: Wget 1.5-b14 is released.
10576
10577 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
10578
10579         * ftp-opie.c (STRLEN4): New macro.
10580         (btoe): Use it.
10581
10582 1998-04-01  Junio Hamano  <junio@twinsun.com>
10583
10584         * http.c: Document all the Digest functions.
10585
10586 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
10587
10588         * utils.c (file_non_directory_p): Renamed from isfile().
10589
10590         * mswindows.h (S_ISREG): New macro, suggested by Tim Adam.
10591
10592 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
10593
10594         * utils.c (mkdirhier): Use 0777 instead of opt.dirmode.
10595
10596         * init.c (cmd_spec_dotstyle): Use 48 dots per line for binary
10597         style.
10598         (cmd_permissions): Removed.
10599
10600         * config.h.in: Add template for WORDS_BIGENDIAN.
10601
10602 1998-03-31  Junio Hamano  <junio@twinsun.com>
10603
10604         * http.c (HEXD2asc): New macro.
10605         (dump_hash): Use it.
10606
10607 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
10608
10609         * version.c: Wget 1.5-b13 is released.
10610
10611 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
10612
10613         * main.c (main): Don't try to use `com'.
10614
10615 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
10616
10617         * init.c (cmd_permissions): New function.
10618
10619 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
10620
10621         * version.c: Wget 1.5-b12 is released.
10622
10623 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
10624
10625         * init.c (commands): Renamed `numtries' to `tries'.
10626         (cmd_spec_debug): Removed.
10627         (home_dir): Under Windows, return `C:\' if HOME is undefined.
10628
10629 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
10630
10631         * config.h.in: Define _XOPEN_SOURCE.
10632
10633         * init.c (check_user_specified_header): New function.
10634         (cmd_spec_header): Use it.
10635         (cmd_spec_useragent): New function.
10636
10637 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
10638
10639         * version.c: Wget 1.5-b11 is released.
10640
10641 1998-03-28  Hrvoje Niksic  <hniksic@srce.hr>
10642
10643         * wget.h: Include <libintl.h> only if NLS is enabled.
10644
10645 1998-03-26  Hrvoje Niksic  <hniksic@srce.hr>
10646
10647         * options.h (struct options): Made `wait' a long.
10648         (struct options): Ditto for `timeout'.
10649
10650 1998-03-19  Hrvoje Niksic  <hniksic@srce.hr>
10651
10652         * utils.c (exists): Renamed to file_exists_p.
10653         (file_exists_p): Use access() if available.
10654
10655 1998-03-17  Hrvoje Niksic  <hniksic@srce.hr>
10656
10657         * utils.c (memfatal): Set save_log_p to 0 to avoid potential
10658         infloop.
10659
10660         * log.c: do_logging -> save_log_p.
10661
10662         * config.h.in: Added template for HAVE_VSNPRINTF.
10663
10664 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
10665
10666         * init.c: Ditto.
10667
10668         * http.c: Protect declaration against non-ANSI compiler.
10669
10670         * log.c (logvprintf): Use vsnprintf() if available.
10671
10672         * getopt.c (main): Don't translate test stuff.
10673
10674 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
10675
10676         * version.c: Wget 1.5-b10 is released.
10677
10678 1998-03-11  Hrvoje Niksic  <hniksic@srce.hr>
10679
10680         * ftp.c (getftp): Don't translate "CWD %s".
10681
10682         * wget.h (GCC_FORMAT_ATTR): Renamed from FORMAT_ATTR.
10683
10684 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
10685
10686         * ftp-opie.c (btoe): Use memcpy() instead of strncat().
10687
10688         * log.c (logputs): New function.
10689         (logvprintf): Renamed from vlogmsg; use logputs().
10690
10691         * retr.c (show_progress): Print `[100%]' when the retrieval is
10692         finished.
10693
10694         * init.c (run_wgetrc): Use FILE, not PATH.
10695         (wgetrc_file_name): Ditto.
10696
10697 1998-03-07  Tim Adam  <tma@osa.com.au>
10698
10699         * recur.c (parse_robots): Correctly reset `entries' on empty
10700         disallow.
10701
10702 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
10703
10704         * init.c (cmd_spec_debug): Use cmd_boolean().
10705
10706 1998-02-23  Hrvoje Niksic  <hniksic@srce.hr>
10707
10708         * http.c (gethttp): Create proxy-authorization correctly.
10709
10710 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
10711
10712         * md5.c: Ditto.
10713
10714         * getopt.c: Use ANSI function definitions.
10715
10716         * ftp-opie.c: New file.
10717
10718         * options.h: Don't redefine EXTERN.
10719
10720         * init.c: Sort it correctly.
10721
10722 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
10723
10724         * version.c: Wget 1.5-b9 is released.
10725
10726 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
10727
10728         * recur.c (recursive_retrieve): Reset `first_time'.
10729
10730         * ftp.c (getftp): Added `default' clause to switches of uerr_t.
10731
10732         * rbuf.c (rbuf_peek): Simplified.
10733         (rbuf_flush): Use MINVAL.
10734
10735         * wget.h (MINVAL): Moved from url.h.
10736
10737         * rbuf.h (RBUF_FD): New macro.
10738
10739         * url.c (add_url): Add to the head of the list.
10740
10741         * ftp.c (ftp_retrieve_list): Set the permissions to downloaded
10742         file.
10743         (getftp): Set the default permissions to 0600.
10744
10745 1998-02-21  Hrvoje Niksic  <hniksic@srce.hr>
10746
10747         * url.c (get_urls_html): Ditto.
10748         (convert_links): Ditto.
10749
10750         * recur.c (parse_robots): Ditto.
10751
10752         * html.c (ftp_index): Ditto.
10753
10754         * ftp-ls.c (ftp_parse_unix_ls): Open file as binary.
10755
10756         * init.c (defaults): Initialize `opt' to zero via memset.
10757
10758         * http.c (digest_authentication_encode): goto considered harmful.
10759
10760 1998-02-19  Hrvoje Niksic  <hniksic@srce.hr>
10761
10762         * ftp.c (delelement): Simplify and fix leak.
10763
10764 1998-02-18  Hrvoje Niksic  <hniksic@srce.hr>
10765
10766         * http.c (dump_hash): Use HEXD2ASC instead of home-grown stuff.
10767
10768         * url.h (HEXD2ASC): Removed warning.
10769
10770         * init.c (comind): Use binary search.
10771         (commands): Reorganized.
10772         (setval): Ditto.
10773         (cmd_boolean): New function.
10774         (cmd_number): Ditto.
10775         (cmd_number_inf): Ditto.
10776         (cmd_string): Ditto.
10777         (cmd_vector): Ditto.
10778         (cmd_directory_vector): Ditto.
10779         (cmd_bytes): Ditto.
10780         (cmd_time): Ditto.
10781         (cmd_spec_debug): Ditto.
10782         (cmd_spec_dirmode): Ditto.
10783         (cmd_spec_dirstruct): Ditto.
10784         (cmd_spec_dotstyle): Ditto.
10785         (cmd_spec_header): Ditto.
10786         (cmd_spec_htmlify): Ditto.
10787         (cmd_spec_mirror): Ditto.
10788         (cmd_spec_outputdocument): Ditto.
10789         (cmd_spec_recursive): Ditto.
10790         (settime): Merged with cmd_time().
10791         (setbytes): Merged with cmd_bytes().
10792         (setonoff): Merged with cmd_boolean().
10793         (onoff): Ditto.
10794
10795 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
10796
10797         * Makefile.in (distclean): Remove `config.h'.
10798
10799 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
10800
10801         * version.c: Wget 1.5-b8 is released.
10802
10803 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
10804
10805         * http.c (digest_authentication_encode): New function.
10806         (create_authorization_line): Use it.
10807         (dump_hash): New function.
10808         (digest_authentication_encode): Use it.
10809
10810         * fnmatch.c: Renamed from `mtch.c'.
10811
10812 1998-02-15  Karl Eichwalder  <ke@suse.de>
10813
10814         * main.c (main): Tag "Written by..." string as translatable.
10815
10816 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
10817
10818         * wget.h (FREE_MAYBE): New macro.
10819
10820         * http.c (create_authorization_line): Don't use ANSI C string
10821         concatenation feature.
10822         (basic_authentication_encode): Use alloca() for temporary
10823         variables.
10824
10825         * recur.h: Ditto.
10826
10827         * http.c: Ditto.
10828
10829         * headers.h: Ditto.
10830
10831         * ftp-basic.c: Protect declaration against non-ANSI compiler.
10832
10833         * http.c (create_authorization_line): Cast `unsigned char *' to
10834         `char *' for sprintf, to shut up the noisy Digital Unix cc.
10835
10836 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
10837
10838         * version.c: Wget 1.5-b7 is released.
10839
10840 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
10841
10842         * cmpt.c (strstr): Synched with glibc-2.0.6.
10843
10844         * ftp-basic.c (calculate_skey_response): Ditto.
10845         (calculate_skey_response): Use alloca().
10846
10847         * http.c (create_authorization_line): Work with FSF's version of
10848         md5.c.
10849
10850         * md5.c: New file, from GNU libc.
10851
10852 1998-02-14  Hrvoje Niksic  <hniksic@srce.hr>
10853
10854         * url.h (URL_CLEANSE): Name the temporary variable more carefully.
10855
10856 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
10857
10858         * http.c (basic_authentication_encode): New function, instead of
10859         the macro.
10860
10861 1998-02-13  Junio Hamano  <junio@twinsun.com>
10862
10863         * http.c: Add HTTP-DA support.
10864         * ftp-basic.c: Add Opie/S-key support.
10865         * config.h.in, Makefile.in: Add HTTP-DA and Opie/S-key support.
10866         * md5.c, md5.h: New files.
10867
10868 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
10869
10870         * http.c (http_process_range): Renamed from hprocrange().
10871         (http_process_range): Parse the whole header.
10872
10873         * headers.c: New file.
10874         (header_process): New function.
10875         (header_get): Renamed from fetch_next_header.
10876
10877         * all: Include utils.h only where necessary.
10878
10879         * wget.h: Declare xmalloc(), xrealloc() and xstrdup() here.
10880
10881         * wget.h: Add provisions for dmalloc.
10882
10883 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
10884
10885         * version.c: Wget 1.5-b6 is released.
10886
10887 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
10888
10889         * ftp.c (ftp_loop): Determine `filename' more precisely.
10890
10891         * init.c (setval): Don't set `opt.quiet' if output-document is
10892         `-'.
10893
10894         * log.c (log_init): Print to STDERR instead of STDOUT.
10895         (vlogmsg): Use STDERR by default.
10896         (logflush): Ditto.
10897
10898 1998-02-11  Simon Josefsson  <jas@pdc.kth.se>
10899
10900         * host.c: Use addr_in again.
10901
10902 1998-02-08  Karl Eichwalder  <karl@suse.de>
10903
10904         * http.c (gethttp): Fixed typo.
10905
10906 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
10907
10908         * version.c: Wget 1.5-b5 is released.
10909
10910 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
10911
10912         * retr.c (show_progress): Use it.
10913
10914         * log.c (logflush): New function.
10915
10916         * wget.h: Utilize __attribute__ if on gcc.
10917
10918 1998-02-07  Hrvoje Niksic  <hniksic@srce.hr>
10919
10920         * http.c (base64_encode_line): New argument LENGTH.
10921         (BASIC_AUTHENTICATION_ENCODE): Use it.
10922         (BASIC_AUTHENTICATION_ENCODE): Take length of HEADER into account.
10923
10924         * main.c (main): Fixed fprintf() format mismatch.
10925
10926 1998-02-06  Hrvoje Niksic  <hniksic@srce.hr>
10927
10928         * version.c: Wget 1.5-b4 is released.
10929
10930 1998-02-03  Simon Josefsson  <jas@pdc.kth.se>
10931
10932         * host.c: use sockaddr_in instead of addr_in.
10933
10934 1998-02-04  Hrvoje Niksic  <hniksic@srce.hr>
10935
10936         * init.c (cleanup): Use it.
10937
10938         * recur.c (recursive_cleanup): New function.
10939
10940         * retr.c (retrieve_from_file): Ditto.
10941
10942         * main.c (main): Use it.
10943
10944         * recur.c (recursive_reset): New function.
10945
10946         * retr.c (retrieve_from_file): Ditto.
10947
10948         * main.c (main): Simplify call to recursive_retrieve().
10949
10950         * recur.c (recursive_retrieve): Removed FLAGS argument.
10951
10952         * http.c (gethttp): Changed call to iwrite().
10953
10954 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
10955
10956         * url.c (get_urls_html): Ditto.
10957         (free_urlpos): Ditto.
10958         (mkstruct): Ditto.
10959         (construct): Ditto.
10960
10961         * retr.c (retrieve_url): Move declaration of local variables to
10962         smaller scope.
10963
10964         * url.c (urlproto): Use it.
10965         (parseurl): Ditto.
10966         (str_url): Ditto.
10967         (get_urls_html): Ditto.
10968
10969         * utils.h (ARRAY_SIZE): New macro.
10970
10971         * url.c (proto): Moved from url.h.
10972
10973         * url.h (URL_CLEANSE): Reformatted.
10974         (USE_PROXY_P): Renamed from USE_PROXY.
10975
10976         * ftp-basic.c: Adjust to the new interface of iwrite().
10977
10978         * ftp-basic.c (ftp_port): Use alloca().
10979
10980 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
10981
10982         * version.c: Wget 1.5-b3 is released.
10983
10984         * host.c (ftp_getaddress): Don't print to stderr directly.
10985
10986         * init.c (setbytes): Support `g' for gigabytes.
10987         (cmdtype): New specification CTIME.
10988         (setval): Use it with settime().
10989         (commands): Use it for WAIT and TIMEOUT.
10990
10991 1998-02-02  Hrvoje Niksic  <hniksic@srce.hr>
10992
10993         * http.c (BASIC_AUTHENTICATION_ENCODE): New macro.
10994         (gethttp): Use it.
10995
10996         * utils.c (unique_name_1): Moved from url.c.
10997         (unique_name): Ditto.
10998
10999         * url.c (url_filename): Ditto.
11000
11001         * log.c (redirect_output): Changed call to unique_name().
11002
11003         * url.c (unique_name_1): Renamed from unique_name().
11004         (unique_name): Changed interface.
11005
11006         * init.c (enum cmdid): Moved from init.h.
11007         (cmdtype): Ditto.
11008         (struct cmd): Ditto.
11009
11010         * main.c (main): Use it.
11011         (main): Moved `--backups' to not have a short option.
11012
11013         * options.h (struct options): New member BACKGROUND.
11014
11015         * main.c (print_help): Rearranged.
11016         (main): New long options for -n* short options: --no-directories,
11017         --no-host-directories, --non-verbose, --no-host-lookup and
11018         --dont-remove-listing.
11019
11020 1998-02-01  Hrvoje Niksic  <hniksic@srce.hr>
11021
11022         * main.c (main): Use log_close().
11023
11024         * log.c: New variable LOGFP.
11025         (vlogmsg): Use it.
11026         (redirect_output): Don't open /dev/null; set LOGFP to stdin
11027         instead.
11028         (log_close): New function.
11029
11030         * options.h (struct options): Removed LFILE.
11031
11032         * log.c (log_enable): Removed.
11033
11034         * main.c (main): Use it.
11035
11036         * log.c (log_init): New function.
11037
11038         * url.c (get_urls_html): Removed needless assignment to BASE.
11039
11040         * host.c (add_hlist): Don't set CMP needlessly.
11041
11042         * utils.c (match_backwards): Ditto.
11043         (in_acclist): Ditto.
11044
11045         * url.c (findurl): Ditto.
11046
11047         * netrc.c (parse_netrc): Ditto.
11048
11049         * log.c (log_dump): Ditto.
11050
11051         * html.c (html_quote_string): Ditto.
11052
11053         * ftp-basic.c (ftp_request): Made static.
11054
11055         * connect.c: Made global variables static.
11056
11057         * url.c (construct): Ditto.
11058
11059         * init.c (init_path): Avoid assignment inside `if'-condition.
11060
11061         * ftp.c: Don't include in.h or winsock.h.
11062
11063         * ftp.c (ftp_loop): Use SZ.
11064
11065         * connect.c (bindport): Cast &addrlen to int *.
11066         (conaddr): Ditto.
11067
11068         * init.c (initialize): Don't use SYSTEM_WGETRC unconditionally.
11069
11070 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
11071
11072         * ftp.c (getftp): Initialize opt.ftp_pass here.
11073         (ftp_retrieve_dirs): Use alloca().
11074
11075         * init.c (defaults): Don't initialize opt.ftp_pass.
11076
11077         * sysdep.h (S_ISLNK): Declare for OS/2; ditto for lstat.
11078         From Ivan F. Martinez <ivanfm@ecodigit.com.br>.
11079
11080 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
11081
11082         * recur.c (parse_robots): Check for comments more correctly.
11083
11084         * host.c (ftp_getaddress): Use STRDUP_ALLOCA.
11085         (ftp_getaddress): Add diagnostics when reverse-lookup yields only
11086         hostname.
11087
11088 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
11089
11090         * version.c: Wget 1.5-b2 is released.
11091
11092         * netrc.c (NETRC_FILE_NAME): Moved from netrc.h.
11093
11094         * utils.c (proclist): Pass FNM_PATHNAME to fnmatch().
11095
11096         * ftp-basic.c (ftp_pasv): Avoid unnecessary casting to unsigned
11097         char.
11098
11099         * log.c: Don't attempt to hide arguments from ansi2knr.
11100
11101         * cmpt.c: Synched strptime() and mktime() with glibc-2.0.6.
11102
11103         * ansi2knr.c: Use a later version, from fileutils-3.16l alpha.
11104
11105         * ftp.c (getftp): Ditto.
11106
11107         * http.c (gethttp): Use it.
11108
11109         * retr.c (get_contents): New argument EXPECTED; pass it to
11110         show_progress().
11111         (show_progress): New argument EXPECTED; use it to display
11112         percentages.
11113
11114         * init.c (setval): Ditto.
11115
11116         * http.c (gethttp): Ditto.
11117         (http_loop): Ditto.
11118
11119         * ftp.c (getftp): Ditto.
11120         (ftp_loop_internal): Ditto.
11121
11122         * ftp-ls.c (ftp_parse_unix_ls): Use abort() instead of assert(0).
11123
11124         * sysdep.h (CLOSE): Simplify; use DEBUGP.
11125
11126         * netrc.c (search_netrc): Use alloca().
11127
11128         * init.c (defaults): Initialize no_flush.
11129
11130         * log.c (vlogmsg): Don't flush if no_flush.
11131
11132         * options.h (struct options): New variable no_flush.
11133
11134         * main.c (main): Don't play games with buffering.
11135
11136         * log.c (vlogmsg): Flush the output after every message.
11137
11138 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
11139
11140         * init.c (parse_line): Ditto.
11141
11142         * url.c (get_urls_html): Ditto.
11143
11144         * main.c (main): Don't cast to unsigned char.
11145
11146         * init.c (run_wgetrc): Don't cast to unsigned char.
11147         (parse_line): Accept char instead of unsigned char.
11148
11149         * html.c (htmlfindurl): Use char instead of unsigned char.
11150
11151         * all: Use them.
11152
11153         * sysdep.h: Add wrappers to ctype macros to make them
11154         eight-bit-clean:
11155
11156 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
11157
11158         * html.c (htmlfindurl): Download <img lowsrc=...>
11159
11160         * main.c (main): Ignore SIGPIPE.
11161
11162         * connect.c (select_fd): New argument WRITEP.
11163         (iwrite): Call select_fd().
11164
11165 1997-02-27  Fila Kolodny <fila@ibi.com>
11166
11167         * ftp.c (ftp_retrieve_list): If retrieving symlink and the proper
11168         one already exists, just skip it.
11169
11170 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
11171
11172         * http.c (gethttp): Cosmetic changes.
11173
11174         * http.c (check_end): Allow `+D...' instead of `GMT'.
11175         From Fabrizio Pollastri <pollastri@cstv.to.cnr.it>.
11176
11177         * url.c (process_ftp_type): New function.
11178         (parseurl): Use it.
11179
11180         * connect.c (iwrite): Allow writing in a few chunks.
11181         (bindport): Made SRV static, so addr can point to it.
11182         (select_fd): Removed HPUX kludge.
11183
11184         * host.c (free_hlist): Incorporated into clean_hosts().
11185
11186 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
11187
11188         * host.c (hlist): Made static.
11189         (search_address): Cosmetic change.
11190
11191 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
11192
11193         * version.c: Wget v1.5-b1 is released.
11194
11195         * http.c (hgetlen): Use sizeof() to get the header length.
11196         (hgetrange): Ditto.
11197         (hgettype): Ditto.
11198         (hgetlocation): Ditto.
11199         (hgetmodified): Ditto.
11200         (haccepts_none): Ditto.
11201
11202         * main.c (main): Updated `--version' and `--help' output, as per
11203         Francois Pinard's suggestions.
11204
11205         * main.c: Include locale.h; call setlocale(), bindtextdomain() and
11206         textdomain().
11207
11208         * config.h.in: Define stubs for I18N3.
11209
11210         * wget.h: Include libintl.h.
11211
11212 1998-01-28  Hrvoje Niksic  <hniksic@srce.hr>
11213
11214         * url.c (mkstruct): Check for opt.cut_dirs.
11215         (mkstruct): alloca()-te more, xmalloc() less.
11216
11217         * utils.c (load_file): Check for ferror().
11218
11219         * url.c (get_urls_file): Close only the files we opened.
11220         (get_urls_html): Ditto.
11221         (count_slashes): New function.
11222
11223         * http.h: Removed.
11224
11225         * http.c (gethttp): Respect username and password provided by
11226         proxy URL.
11227         (base64_encode_line): Write into an existing buffer instead of
11228         malloc-ing a new one.
11229         (struct http_stat): Moved from http.h
11230
11231         * retr.c (retrieve_url): Free SUF.
11232
11233         * all: Removed lots of unnecessary .h dependencies.
11234
11235         * html.c (global_state): Made static.
11236
11237         * utils.h (ALLOCA_ARRAY): New macro.
11238
11239         * main.c (main): New option `--cut-dirs'.
11240
11241         * url.c (construct): Use alloca() for T.
11242
11243         * utils.c (mkdirhier): Use STRDUP_ALLOCA.
11244
11245         * host.c (_host_t): Moved from host.h.
11246         (struct host): Renamed from _host_t.
11247         (store_hostaddress): Use STRDUP_ALLOCA for INET_S.
11248         (realhost): Ditto.
11249
11250         * host.h: Don't include url.h.
11251
11252         * ftp.c (LIST_FILENAME): Moved from ftp.h.
11253
11254         * init.c (DEFAULT_FTP_ACCT): Moved from ftp.h.
11255
11256         * main.c (main): Enable log if the output goes to a TTY.
11257
11258         * connect.h: Removed unused constant `BACKLOG'.
11259
11260         * config.h.in: Check for isatty().
11261
11262         * Makefile.in (LINK): Use CFLAGS when linking.
11263
11264 1998-01-27  Hrvoje Niksic  <hniksic@srce.hr>
11265
11266         * mswindows.c (ws_hangup): Use redirect_output().
11267
11268         * main.c (redirect_output_signal): New function; use
11269         redirect_output().
11270
11271         * log.c (redirect_output): New function, based on hangup(), which
11272         is deleted.
11273
11274         * log.c (vlogmsg): New function.
11275
11276         * wget.h (DEBUGP): Use debug_logmsg().
11277
11278         * main.c (hangup): Use it.
11279
11280         * log.c (log_dump): New function.
11281
11282         * utils.h (DO_REALLOC): Use `long' for various sizes.
11283
11284         * http.c (hskip_lws): Use `while', for clarity.
11285         (HTTP_DYNAMIC_LINE_BUFFER): New constant.
11286         (fetch_next_header): Use it instead of DYNAMIC_LINE_BUFFER.
11287
11288         * ftp-basic.c (FTP_DYNAMIC_LINE_BUFFER): New constant.
11289         (ftp_response): Use it instead of DYNAMIC_LINE_BUFFER.
11290
11291         * utils.c (DYNAMIC_LINE_BUFFER): Moved from utils.c.
11292         (LEGIBLE_SEPARATOR): Ditto.
11293         (FILE_BUFFER_SIZE): Ditto.
11294
11295         * retr.c (BUFFER_SIZE): Moved from retr.h.
11296
11297         * log.c: New file.
11298         (logmsg): Moved from utils.c.
11299         (debug_logmsg): New function.
11300
11301         * mswindows.h: Include it here.
11302
11303         * init.c: Ditto.
11304
11305         * utils.c: Don't include <windows.h>.
11306
11307 1998-01-25  Hrvoje Niksic  <hniksic@srce.hr>
11308
11309         * host.c (ftp_getaddress): Ditto.
11310
11311         * main.c (main): Use it.
11312
11313         * utils.h (STRDUP_ALLOCA): New macro.
11314
11315         * init.c: Prepend `wget: ' to error messages printed on stderr.
11316
11317         * utils.c (mkdirhier): Renamed from mymkdir.
11318         (touch): Renamed from my_touch.
11319         (pwd_cuserid): Renamed from my_cuserid().
11320
11321 1998-01-24  Andy Eskilsson  <andy.eskilsson@telelogic.se>
11322
11323         * utils.c (accdir): Process wildcards.
11324         (proclist): New function.
11325         (accdir): Use it to avoid code repetition.
11326
11327 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
11328
11329         * recur.c (parse_robots): Respect opt.useragent; use alloca().
11330
11331         * http.c (gethttp): Construct useragent accordingly.
11332
11333         * version.c: Changed version string to numbers-only.
11334
11335         * main.c (print_help): List all the options.
11336
11337         * mswindows.c (windows_main_junk): Initialize argv0 here.
11338
11339 1998-01-24  Karl Heuer  <kwzh@gnu.org>
11340
11341         * netrc.c (search_netrc): Initialize `l' only after processing
11342         netrc.
11343
11344         * main.c (main): Don't trap SIGHUP if it's being ignored.
11345
11346 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
11347
11348         * all: Use logmsg().
11349
11350         * utils.c (time_str): Moved from retr.c.
11351         (logmsg): New function.
11352         (logmsg_noflush): Ditto.
11353
11354         * rbuf.c: New file, moved buf_* functions here.
11355
11356         * ftp.c (ftp_expected_bytes): Moved from ftp-basic.c.
11357
11358         * ftp-basic.c (ftp_rest): Use prnum().
11359
11360         * ftp-basic.c: Ditto.
11361
11362         * ftp.c: Use the new reading functions and macros.
11363
11364         * retr.c (buf_initialize): New function.
11365         (buf_initialized_p): Ditto.
11366         (buf_uninitialize): Ditto.
11367         (buf_fd): Ditto.
11368
11369         * http.c (fetch_next_header): Use the BUF_READCHAR macro for
11370         efficiency.
11371         (gethttp): Use alloca() where appropriate.
11372
11373         * retr.c (buf_readchar): Use it.
11374         (buf_peek): Use rstreams.
11375
11376         * retr.h (BUF_READCHAR): New macro.
11377
11378         * init.c (home_dir): Rewritten for clarity.
11379         (init_path): Ditto.
11380
11381         * mswindows.c (ws_backgnd): Made static.
11382         (read_registry): Ditto.
11383         (ws_cleanup): Ditto.
11384         (ws_handler): Ditto.
11385
11386 1998-01-23  Hrvoje Niksic  <hniksic@srce.hr>
11387
11388         * alloca.c: New file.
11389
11390         * Makefile.in (ALLOCA): Define.
11391
11392         * mswindows.c (ws_help): Constify.
11393         (ws_help): Use alloca.
11394
11395         * mswindows.c: Reformat.
11396
11397         * all: Added _(...) annotations for I18N snarfing and translation.
11398
11399         * host.c (ftp_getaddress): Nuke SYSINFO.
11400         (ftp_getaddress): Don't use getdomainname().
11401         (ftp_getaddress): Use uname(), where available.
11402
11403         * http.c (gethttp): Protect a stray fprintf().
11404
11405         * init.c (settime): New function.
11406         (setval): Treat WAIT specially, allowing suffixes like `m' for
11407         minutes, etc.
11408
11409 1998-01-21  Hrvoje Niksic  <hniksic@srce.hr>
11410
11411         * url.c (get_urls_html): Use alloca() for TEMP.
11412
11413 1998-01-21  Jordan Mendelson  <jordy@wserv.com>
11414
11415         * url.c (rotate_backups): New function.
11416
11417         * http.c (gethttp): Ditto.
11418
11419         * ftp.c (getftp): Rotate backups.
11420
11421 1997-12-18  Hrvoje Niksic  <hniksic@srce.hr>
11422
11423         * all: Renamed nmalloc(), nrealloc() and nstrdup() to xmalloc(),
11424         xrealloc() and xstrdup().  Use the new functions.
11425
11426         * url.c (decode_string): Made static.
11427         (has_proto): Ditto.
11428         (parse_dir): Ditto.
11429         (parse_uname): Ditto.
11430         (mkstruct): Ditto.
11431         (construct): Ditto.
11432         (construct_relative): Ditto.
11433
11434         * retr.c (show_progress): Made static.
11435
11436         * recur.c (robots_url): Made static.
11437         (retrieve_robots): Ditto.
11438         (parse_robots): Ditto.
11439         (robots_match): Ditto.
11440
11441         * main.h: Removed.
11442
11443         * main.c (printhelp): Made static.
11444         (hangup): Ditto.
11445
11446         * init.c (comind): Made static.
11447         (defaults): Ditto.
11448         (init_path): Ditto.
11449         (run_wgetrc): Ditto.
11450         (onoff): Ditto.
11451         (setonoff): Ditto.
11452         (setnum): Ditto.
11453         (myatoi): Ditto.
11454         (getperms): Ditto.
11455         (setbytes): Ditto.
11456
11457         * http.c (fetch_next_header): Made static.
11458         (hparsestatline): Ditto.
11459         (hskip_lws): Ditto.
11460         (hgetlen): Ditto.
11461         (hgetrange): Ditto.
11462         (hgettype): Ditto.
11463         (hgetlocation): Ditto.
11464         (hgetmodified): Ditto.
11465         (haccepts_none): Ditto.
11466         (gethttp): Ditto.
11467         (base64_encode_line): Ditto.
11468         (mktime_from_utc): Ditto.
11469         (http_atotm): Ditto.
11470
11471         * html.c (idmatch): Made static.
11472
11473         * host.c (search_host): Made static.
11474         (search_address): Ditto.
11475         (free_hlist): Ditto.
11476
11477         * ftp.c (getftp): Made static.
11478         (ftp_loop_internal): Ditto.
11479         (ftp_get_listing): Ditto.
11480         (ftp_retrieve_list): Ditto.
11481         (ftp_retrieve_dirs): Ditto.
11482         (ftp_retrieve_glob): Ditto.
11483         (freefileinfo): Ditto.
11484         (delelement): Ditto.
11485
11486         * ftp-ls.c (symperms): Made static.
11487         (ftp_parse_unix_ls): Ditto.
11488
11489         * connect.c (select_fd): Made static.
11490
11491         * utils.c (xmalloc): Renamed from nmalloc.
11492         (xrealloc): Renamed from nrealloc.
11493         (xstrdup): Renamed from nstrdup.
11494
11495         * getopt.c (exchange): Use alloca.
11496
11497         * mswindows.c (mycuserid): Use strncpy.
11498
11499         * New files mswindows.c, mswindows.h, sysdep.h.  winjunk.c,
11500         systhings.h, windecl.h and winjunk.h removed.
11501
11502         * mswindows.c (sleep): New function.
11503
11504         * utils.c: Include <windows.h> under Windows.
11505
11506 1997-06-12  Darko Budor  <dbudor@zesoi.fer.hr>
11507
11508         * url.h (URL_UNSAFE): Change default under Windows.
11509
11510         * retr.c (retrieve_from_file): Respect opt.delete_after.
11511
11512         * main.c (main): Call ws_help on Windows.
11513
11514         * winjunk.c (windows_main_junk): New function.
11515
11516         * main.c (main): Junk-process argv[0].
11517
11518         * http.c (mktime_from_utc): Return -1 if mktime failed.
11519
11520         * http.c (http_loop): Ditto.
11521
11522         * ftp.c (ftp_loop_internal): Change title on Windows when using a
11523         new URL.
11524
11525         * winjunk.c (getdomainname): Lots of functions.
11526
11527 1997-06-12  Hrvoje Niksic  <hniksic@srce.hr>
11528
11529         * cmpt.c (strptime_internal): Handle years more correctly for
11530         `%y'.
11531
11532 1997-06-09  Mike Thomas <mthomas@reality.ctron.com>
11533
11534         * http.c (gethttp): Allocate enough space for
11535         `Proxy-Authorization' header.
11536
11537 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
11538
11539         * version.c: Wget/1.4.5 is released.
11540
11541 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
11542
11543         * retr.c (get_contents): Check return value of fwrite more
11544         carefully.
11545
11546 1997-03-30  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
11547
11548         * cmpt.c (strptime_internal) [case 'Y']: Always subtract 1900 from
11549         year, regardless of century.
11550
11551 1997-03-30  Hrvoje Niksic  <hniksic@srce.hr>
11552
11553         * utils.c (isfile): Use `lstat' instead of `stat'.
11554
11555 1997-03-29  Hrvoje Niksic  <hniksic@srce.hr>
11556
11557         * utils.c (numdigit): Use explicit test.
11558
11559 1997-03-21  Hrvoje Niksic  <hniksic@srce.hr>
11560
11561         * http.c (http_loop): Always use `url_filename' to get u->local.
11562
11563 1997-03-20  Hrvoje Niksic  <hniksic@srce.hr>
11564
11565         * url.c: Recognize https.
11566
11567 1997-03-13  Hrvoje Niksic  <hniksic@srce.hr>
11568
11569         * recur.c (recursive_retrieve): Lowercase just the host name.
11570
11571 1997-03-09  Hrvoje Niksic  <hniksic@srce.hr>
11572
11573         * url.c (get_urls_file): Use the correct test.
11574         (get_urls_html): Ditto.
11575
11576 1997-03-07  Hrvoje Niksic  <hniksic@srce.hr>
11577
11578         * connect.c: Reverted addrlen to int.
11579
11580         * init.c (parse_line): Check for -1 instead of NONE.
11581
11582         * version.c: Changed version to 1.4.5.
11583
11584 1997-02-17  Hrvoje Niksic  <hniksic@srce.hr>
11585
11586         * init.c: New option netrc.
11587         (initialize): Don't parse .netrc.
11588
11589         * cmpt.c (recursive): Return rp.
11590         (strptime_internal): Match the long strings first, the abbreviated
11591         second.
11592
11593 1997-02-16  Hrvoje Niksic  <hniksic@srce.hr>
11594
11595         * http.c (check_end): New function.
11596         (http_atotm): Use it.
11597
11598 1997-02-13  gilles Cedoc  <gilles@cedocar.fr>
11599
11600         * http.c (gethttp): Use them.
11601
11602         * init.c: New options proxy_user and proxy_passwd.
11603
11604 1997-02-14  Hrvoje Niksic  <hniksic@srce.hr>
11605
11606         * ftp.c (ftp_retrieve_list): Create links even if not relative.
11607
11608 1997-02-10  Hrvoje Niksic  <hniksic@srce.hr>
11609
11610         * recur.c (recursive_retrieve): Lowercase the host name, if the
11611         URL is not "optimized".
11612
11613         * host.c (realhost): Return l->hostname, even if it matches with
11614         host.
11615
11616 1997-02-10  Marin Purgar  <pmc@asgard.hr>
11617
11618         * connect.c: Make addrlen size_t instead of int.
11619         (conaddr): Ditto.
11620
11621 1997-02-09  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
11622
11623         * systhings.h: Define S_ISLNK on NeXT too.
11624
11625 1997-02-09  Hrvoje Niksic  <hniksic@srce.hr>
11626
11627         * version.c: Released 1.4.3.
11628
11629         * url.c: Futher update to list of protostrings.
11630         (skip_proto): Skip `//' correctly for FTP and HTTP.
11631
11632         * url.c (get_urls_html): Handle bogus `http:' things a little
11633         different.
11634
11635         * main.c (main): Removed `follow-ftp' from `f'.
11636         (main): Dumped the `prefix-files' and `file-prefix' options and
11637         features; old and bogus.
11638         (main): Exit on failed setval() in `-e'.
11639
11640         * http.c (fetch_next_header): Use it to detect header continuation
11641         correctly.
11642
11643         * retr.c (buf_peek): New function.
11644
11645 1997-02-08  Hrvoje Niksic  <hniksic@srce.hr>
11646
11647         * wget.h: Include time.h and stuff.
11648
11649 1997-02-08  Roger Beeman  <beeman@cisco.com>
11650
11651         * ftp.c: Include <time.h>
11652
11653 1997-02-07  Hrvoje Niksic  <hniksic@srce.hr>
11654
11655         * url.c (findurl): Would read over buffer limits.
11656
11657 1997-02-06  Hrvoje Niksic  <hniksic@srce.hr>
11658
11659         * ftp-ls.c (ftp_parse_unix_ls): Allow spaces in file names.
11660
11661 1997-02-05  Hrvoje Niksic  <hniksic@srce.hr>
11662
11663         * http.c (http_atotm): Initialize tm.is_dst.
11664
11665 1997-02-02  Hrvoje Niksic  <hniksic@srce.hr>
11666
11667         * http.c (gethttp): Don't print the number of retrieved headers.
11668
11669         * main.c (main): New option `--no-clobber', alias for `-nc'.
11670
11671         * url.c: Recognize `https://'.
11672
11673 1997-02-01  Hrvoje Niksic  <hniksic@srce.hr>
11674
11675         * host.c (herrmsg): Don't use h_errno.
11676
11677 1997-01-30  Hrvoje Niksic  <hniksic@srce.hr>
11678
11679         * host.c (accept_domain): Use it.
11680
11681         * main.c (main): New option `--exclude-domains'.
11682
11683         * retr.c (retrieve_url): Use it.
11684         (retrieve_url): Bail out when an URL is redirecting to itself.
11685
11686         * url.c (url_equal): New function.
11687
11688 1997-01-29  Hrvoje Niksic  <hniksic@srce.hr>
11689
11690         * connect.c: Include arpa/inet.h instead of arpa/nameser.h.
11691
11692         * http.c (mk_utc_time): New function.
11693         (http_atotm): Use it; handle time zones correctly.
11694
11695 1997-01-28  Hrvoje Niksic  <hniksic@srce.hr>
11696
11697         * http.c: Ditto.
11698
11699         * ftp-basic.c: Use it instead of WRITE.
11700
11701         * connect.c (iwrite): New function.
11702
11703 1997-01-27  Hrvoje Niksic  <hniksic@srce.hr>
11704
11705         * cmpt.c (mktime): New function.
11706
11707         * netrc.c: Include <sys/types.h>.
11708
11709         * main.c (main): Wouldn't recognize --spider.
11710
11711         * retr.c (rate): Use `B', `KB' and `MB'.
11712         (reset_timer,elapsed_time): Moved from utils.c.
11713
11714         * ftp.c (ftp_retrieve_list): Ditto.
11715
11716         * http.c (http_loop): Don't touch the file if opt.dfp.
11717
11718 1997-01-24  Hrvoje Niksic  <hniksic@srce.hr>
11719
11720         * cmpt.c: New file.
11721
11722         * ftp.c (ftp_retrieve_glob): New argument semantics.
11723         (ftp_retrieve_dirs): Use it.
11724         (ftp_loop): Ditto.
11725
11726         * html.c (htmlfindurl): Recognize `'' as the quote char.
11727
11728 1997-01-23  Hrvoje Niksic  <hniksic@srce.hr>
11729
11730         * ftp.c (ftp_loop_internal): Use it.
11731
11732         * utils.c (remove_link): New function.
11733
11734 1997-01-22  Hrvoje Niksic  <hniksic@srce.hr>
11735
11736         * retr.c (retrieve_url): Require STRICT redirection URL.
11737
11738         * url.c (parseurl): New argument STRICT.
11739
11740         * http.c (hparsestatline): Be a little-bit less strict about
11741         status line format.
11742
11743 1997-01-21  Hrvoje Niksic  <hniksic@srce.hr>
11744
11745         * http.c (gethttp): Use it.
11746
11747         * main.c (main): Don't use '<digit>' as options.
11748
11749         * init.c: New option ignore_length.
11750
11751         * http.c (gethttp): Ditto.
11752         (http_loop): Check for redirection without Location:.
11753         (gethttp): Don't print Length unless RETROKF.
11754
11755         * ftp.c (getftp): Use it.
11756
11757         * url.c (mkalldirs): New function.
11758
11759         * utils.c (mymkdir): Don't check for existing non-directory.
11760
11761         * url.c (mkstruct): Don't create the directory.
11762
11763 1997-01-20  Hrvoje Niksic  <hniksic@srce.hr>
11764
11765         * init.c (setval): Removed NO_RECURSION checks.
11766
11767 1997-01-19  Hrvoje Niksic  <hniksic@srce.hr>
11768
11769         * version.c: "Released" 1.4.3-pre2.
11770
11771         * recur.c (recursive_retrieve): Bypass host checking only if URL
11772         is ftp AND parent URL is not ftp.
11773
11774         * ftp-basic.c (ftp_request): Print out Turtle Power.
11775
11776         * ftp.c (ftp_loop): Call ftp_retrieve_glob with 0 if there's no
11777         wildcard.
11778         (ftp_retrieve_glob): Call ftp_loop_internal even on empty list, if
11779         not glob.
11780
11781         * http.c (gethttp): Be a little bit smarter about status codes.
11782
11783         * recur.c (recursive_retrieve): Always reset opt.recursive when
11784         dealing with FTP.
11785
11786 1997-01-18  Hrvoje Niksic  <hniksic@srce.hr>
11787
11788         * retr.c (retrieve_url): New variable location_changed; use it for
11789         tests instead of mynewloc.
11790         (retrieve_url): Allow heuristic adding of html.
11791
11792         * url.c (url_filename): Don't use the `%' in Windows file names.
11793
11794         * http.c (http_loop): Always time-stamp the local file.
11795
11796         * http.c (http_loop): Ditto.
11797
11798         * ftp.c (ftp_retrieve_list): Use it.
11799
11800         * utils.c (my_touch): New function.
11801
11802         * ftp.c (ftp_retrieve_list): Use #ifdef HAVE_STRUCT_UTIMBUF
11803         instead of #ifndef NeXT.
11804
11805         * utils.c (strptime): New version, by Ulrich Drepper.
11806
11807 1997-01-17  Hrvoje Niksic  <hniksic@srce.hr>
11808
11809         * http.c (haccepts_none): Renamed from `haccepts_bytes'.
11810         (gethttp): If haccepts_none(), disable ACCEPTRANGES.
11811         (http_loop): Would remove ACCEPTRANGES.
11812
11813         * ftp.c (getftp): Call ftp_list with NULL.
11814
11815 1997-01-15  Hrvoje Niksic  <hniksic@srce.hr>
11816
11817         * html.c (ftp_index): Don't print minutes and seconds if we don't
11818         know them; beautify the output.
11819
11820         * ftp.c (getftp): Don't close the socket on FTPNSFOD.
11821
11822 1997-01-14  Hrvoje Niksic  <hniksic@srce.hr>
11823
11824         * utils.c (strptime): New function.
11825         (strptime): Don't use get_alt_number.
11826         (strptime): Don't use locale.
11827         (match_string): Made it a function.
11828
11829 1997-01-12  Hrvoje Niksic  <hniksic@srce.hr>
11830
11831         * http.c (http_atotm): New function.
11832         (http_loop): Use it.
11833
11834         * atotm.c: Removed from the distribution.
11835
11836         * http.c (base64_encode_line): Rewrite.
11837
11838 1997-01-09  Hrvoje Niksic  <hniksic@srce.hr>
11839
11840         * ftp.c (getftp): Use ftp_expected_bytes; print size.
11841
11842         * ftp-basic.c (ftp_response): Use ftp_last_respline.
11843         (ftp_expected_bytes): New function.
11844
11845         * ftp.c (getftp): Print the unauthoritative file length.
11846
11847         * ftp-ls.c: Renamed from ftp-unix.c.
11848         (ftp_parse_ls): Moved from ftp.c.
11849         (ftp_parse_unix_ls): Recognize seconds in time spec.
11850         (ftp_parse_unix_ls): Recognize year-less dates of the previous
11851         year.
11852
11853 1997-01-08  Hrvoje Niksic  <hniksic@srce.hr>
11854
11855         * ftp-basic.c: Don't declare errno if #defined.
11856
11857         * host.c (ftp_getaddress): Check for sysinfo legally.
11858
11859 1997-01-08  Darko Budor  <dbudor@diana.zems.fer.hr>
11860
11861         * connect.c (iread): Use READ.
11862
11863 1996-12-23  Hrvoje Niksic  <hniksic@srce.hr>
11864
11865         * url.c: Recognize finger, rlogin, tn3270, mid and cid as valid
11866         schemes.
11867
11868 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
11869
11870         * host.c (ftp_getaddress): Allow `.' in hostname.
11871
11872 1996-12-26  Darko Budor <dbudor@zems.fer.hr>
11873
11874         * wget.h: READ and WRITE macros for use instead of read and write
11875         on sockets, grep READ *.c, grep WRITE *.c
11876
11877         * wsstartup.c: new file - startup for winsock
11878
11879         * wsstartup.h: new file
11880
11881         * win32decl.h: new file - fixup for <errno.h> and winsock trouble
11882
11883         * configure.bat: Configure utility for MSVC
11884
11885         * src/Makefile.ms,config.h.ms: new files for use with MSVC 4.x
11886
11887 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
11888
11889         * version.c: Released 1.4.3-pre.
11890
11891         * utils.c (prnum): Accept long.
11892         (legible): Use prnum().
11893
11894         * connect.c (make_connection): Accept port as short.
11895         (bindport): Ditto.
11896
11897         * http.c (gethttp): Use search_netrc.
11898
11899 1996-12-21  Hrvoje Niksic  <hniksic@srce.hr>
11900
11901         * ftp.c (getftp): Use search_netrc.
11902
11903         * netrc.c (free_netrc): New function.
11904
11905         * init.c (home_dir): New function.
11906
11907         * url.c (convert_links): Allow REL2ABS changes.
11908
11909 1996-12-21  Gordon Matzigkeit  <gord@gnu.ai.mit.edu>
11910
11911         * netrc.c: New file.
11912         (parse_netrc, maybe_add_to_list): New functions.
11913
11914 1996-12-17  Hrvoje Niksic  <hniksic@srce.hr>
11915
11916         * retr.c (retrieve_url): Reset opt.recursion before calling
11917         ftp_loop if it is reached through newloc.
11918
11919         * init.c (run_wgetrc): Print the wgetrc path too, when reporting
11920         error; don't use "Syntax error", since we don't know if it is
11921         really a syntax error.
11922
11923 1996-12-16  Hrvoje Niksic  <hniksic@srce.hr>
11924
11925         * utils.c (acceptable): Extract the filename part of the path.
11926
11927         * recur.c (recursive_retrieve): Call acceptable() with the right
11928         argument; would bug out on wildcards.
11929
11930         * init.c (parse_line): Likewise.
11931
11932         * html.c (htmlfindurl): Cast to char * when calling stuff.
11933
11934 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
11935
11936         * ftp.c (getftp): Use ftp_pasv.
11937
11938         * ftp-basic.c (ftp_request): Accept NULL value.
11939         (ftp_pasv): New function.
11940
11941         * options.h (struct options): Add passive FTP option.
11942
11943 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
11944
11945         * url.c (parseurl): Debug output.
11946
11947         * utils.c (path_simplify): New one, adapted from bash's
11948         canonicalize_pathname().
11949
11950 1996-12-14  Hrvoje Niksic  <hniksic@srce.hr>
11951
11952         * ftp.c (getftp): Don't discard the buffer.
11953
11954         * retr.c (get_contents): New parameter nobuf.
11955
11956 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
11957
11958         * html.c (htmlfindurl): Recognize <meta contents="d; URL=...".
11959
11960         * init.c (setval): Strip the trailing slashes on CVECDIR.
11961
11962 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
11963
11964         * init.c: Make excludes and includes under CVECDIR instead of
11965         CVEC.
11966
11967 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
11968
11969         * url.c (get_urls_html): Skip "http:".
11970
11971 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
11972
11973         * utils.c (strcasecmp): From glibc.
11974         (strncasecmp): Also.
11975         (strstr): Also.
11976
11977         * url.c: Added javascript: to the list of URLs prefixes.
11978
11979 1996-12-12  Shawn McHorse  <riffraff@txdirect.net>
11980
11981         * recur.c (retrieve_robots): Print the warning message only if
11982         verbose.
11983
11984 1996-12-12  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
11985
11986         * ftp.c (ftp_retrieve_list): Use NeXT old utime interface.
11987
11988 1996-12-12  Hrvoje Niksic  <hniksic@srce.hr>
11989
11990         * systhings.h: New file.
11991
11992         * ../configure.in: Check for utime.h
11993
11994         * ftp.c: Check whether we have unistd.h.
11995
11996 1996-11-27  Hrvoje Niksic  <hniksic@srce.hr>
11997
11998         * recur.c (recursive_retrieve): Send the canonical URL as referer.
11999         (recursive_retrieve): Call get_urls_html with the canonical URL.
12000
12001 1996-12-13  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
12002
12003         * (configure.in, config.h.in, src/Makefile.in, src/*.[ch]): Add
12004         ansi2knr support for compilers which don't support ANSI style
12005         function prototypes and signatures.
12006
12007         * (aclocal.m4, src/ansi2knr.c, src/ansi2knr.1): New files.
12008
12009 1996-11-26  Hrvoje Niksic  <hniksic@srce.hr>
12010
12011         * url.c: Use it; Recognize paths ending with "." and ".." as
12012         directories.
12013         (url_filename): Append .n whenever file exists and could be a
12014         directory.
12015
12016         * url.h (ISDDOT): New macro.
12017
12018         * init.c (parse_line): Use unsigned char.
12019
12020         * url.c (get_urls_html): Cast to unsigned char * when calling
12021         htmlfindurl.
12022
12023         * html.c (htmlfindurl): Use unsigned char.
12024
12025         * version.c: Changed version to 1.4.3.
12026
12027 1996-11-25  Hrvoje Niksic  <hniksic@srce.hr>
12028
12029         * version.c: Released 1.4.2.
12030
12031         * ftp.c (getftp): Simplified assertion.
12032         (ftp_loop_internal): Remove symlink before downloading.
12033         (ftp_retrieve_list): Unlink the symlink name before attempting to
12034         create a symlink!
12035
12036         * options.h (struct options): Renamed print_server_response to
12037         server_response.
12038
12039         * ftp.c (rel_constr): Removed.
12040         (ftp_retrieve_list): Don't use it.
12041         (ftp_retrieve_list): Use opt.retr_symlinks.
12042
12043 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
12044
12045         * main.c (main): New option retr_symlinks.
12046
12047         * url.c (convert_links): Print verbose message.
12048
12049 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
12050
12051         * http.c (http_loop): Reset newloc in the beginning of function;
12052         would cause FMR in retrieve_url.
12053
12054 1996-11-23  Hrvoje Niksic  <hniksic@srce.hr>
12055
12056         * recur.c (convert_all_links): Find the URL of each HTML document,
12057         and feed it to get_urls_html; would bug out.
12058         (convert_all_links): Check for l2 instead of dl; removed dl.
12059
12060         * url.c (convert_links): Don't refer to freed newname.
12061
12062         * recur.c (recursive_retrieve): Add this_url to urls_downloaded.
12063
12064         * main.c (main): Print the OS_TYPE in the debug output, too.
12065
12066         * recur.c (recursive_retrieve): Check for opt.delete_after.
12067
12068         * main.c (main): New option delete-after.
12069
12070         * init.c (setval): Cleaned up.
12071
12072 1996-11-21  Hrvoje Niksic  <hniksic@srce.hr>
12073
12074         * Makefile.in (wget): Make `wget' the default target.
12075
12076         * ftp.c (ftp_loop_internal): Move noclobber checking out of the
12077         loop.
12078         (ftp_retrieve_list): Warn about non-matching sizes.
12079
12080         * http.c (http_loop): Made -nc non-dependent on opt.recursive.
12081
12082         * init.c (setnum): Renamed from setnuminf; New argument flags.
12083         (setval): Use it.
12084
12085         * main.c (main): Sorted the options.
12086         (main): New option --wait.
12087
12088 1996-11-21  Shawn McHorse  <riffraff@txdirect.net>
12089
12090         * html.c (htmlfindurl): Reset s->in_quote after getting out of
12091         quotes.
12092
12093 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
12094
12095         * version.c: Changed version to 1.4.2.
12096
12097 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
12098
12099         * version.c: Released 1.4.1.
12100
12101         * html.c (html_quote_string): New function.
12102         (ftp_index): Use it.
12103         (htmlfindurl): A more gentle ending debug message.
12104
12105         * ftp.c (ftp_loop): Check for opt.htmlify.
12106
12107         * init.c: New command htmlify.
12108
12109         * ftp.c (getftp): Nicer error messages, with `'-encapsulated
12110         strings.
12111         (ftp_loop): Print size of index.html.
12112
12113         * init.c (setval): Implement "styles".
12114
12115         * main.c (main): New option dotstyle.
12116
12117 1996-11-19  Hrvoje Niksic  <hniksic@srce.hr>
12118
12119         * ftp.c (getftp): Close the master socket in case of errors, after
12120         bindport().
12121
12122         * connect.c (bindport): Initialize msock to -1.
12123
12124         * ftp.c (getftp): Initialize dtsock to -1.
12125
12126         * connect.c (closeport): Don't close sock if sock == -1.
12127
12128 1996-11-18  Hrvoje Niksic  <hniksic@srce.hr>
12129
12130         * init.c (setnuminf): Nuked default value -- just leave unchanged.
12131         (setval): Don't send default values.
12132         (defaults): Use DEFAULT_TIMEOUT -- aaargh.
12133
12134         * options.h (struct options): Use long for dot_bytes.
12135
12136         * init.c (setquota): Renamed to setbytes.
12137         (setval): Use setbytes on DOTBYTES.
12138
12139 1996-11-17  Hrvoje Niksic  <hniksic@srce.hr>
12140
12141         * ftp.c (getftp): Initialize con->dltime.
12142
12143         * recur.c (recursive_retrieve): Use same_host instead of
12144         try_robots; simply load robots_txt whenever the host is changed.
12145         (recursive_retrieve): Free forbidden before calling parse_robots.
12146
12147 1996-11-16  Hrvoje Niksic  <hniksic@srce.hr>
12148
12149         * retr.c (show_progress): Use them.
12150
12151         * options.h (struct options): New options dot_bytes, dots_on_line
12152         and dot_spacing.
12153
12154 1996-11-16  Mark Boyns  <boyns@sdsu.edu>
12155
12156         * recur.c (recursive_retrieve): Retrieve directories regardless of
12157         acc/rej rules; check for empty u->file.
12158
12159 1996-11-14  Hrvoje Niksic  <hniksic@srce.hr>
12160
12161         * init.c (setval): Use it.
12162
12163         * utils.c (merge_vecs): New function.
12164
12165         * init.c (setval): Reset the list-type functions when encountering
12166         "".
12167
12168 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
12169
12170         * recur.c (recursive_retrieve): Use base_url instead of this_url
12171         for no_parent.
12172
12173 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
12174
12175         * html.c (htmlfindurl): Reset s->in_quote after exiting the quote.
12176
12177 1996-11-13  Hrvoje Niksic  <hniksic@srce.hr>
12178
12179         * utils.c (sepstring): Rewrote; don't use strtok.
12180
12181         * recur.c (recursive_retrieve): Enter assorted this_url to slist
12182         when running the first time.
12183         (retrieve_robots): Warn to ignore errors when robots are loaded.
12184
12185         * utils.c (load_file): Moved from url.c.
12186
12187         * http.c: Made static variables const too in h* functions.
12188
12189         * main.c (main): Renamed --continue-ftp to --continue.
12190
12191         * recur.c (recursive_retrieve): Use it.
12192
12193         * utils.c (frontcmp): New function.
12194
12195         * url.c (accdir): New function.
12196
12197         * html.c (htmlfindurl): Recognize <area href=...>.
12198
12199         * ftp.c (ftp_retrieve_dirs): Implemented opt.includes.
12200
12201         * init.c (setval): Free the existing opt.excludes and
12202         opt.includes, if available.
12203
12204         * main.c (main): New option -I.
12205
12206 1996-11-12  Hrvoje Niksic  <hniksic@srce.hr>
12207
12208         * ftp.c (ftp_retrieve_glob): Do not weed out directories.
12209
12210         * version.c: Changed version to 1.4.1.
12211
12212 1996-11-11  Hrvoje Niksic  <hniksic@srce.hr>
12213
12214         * version.c: Released 1.4.0.
12215
12216 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
12217
12218         * main.c (main): Free com and val after parse_line.
12219         (printhelp): Reorder the listing.
12220
12221         * http.c: More robust header parsing.
12222
12223         * http.c: Allow any number of spaces, or no spaces, precede ':'.
12224         (hskip_lws): New function.
12225         (haccepts_bytes): New function.
12226         (gethttp): Use it.
12227
12228         * init.c (setval): Check header sanity.
12229         (setval): Allow resetting of headers.
12230
12231 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
12232
12233         * http.c (http_loop): Don't use has_wildcards.
12234
12235         * http.c (gethttp): Free all_headers -- would leak.
12236
12237         * recur.c (recursive_retrieve): Initialize depth to 1 instead of
12238         0 -- this fixes a long-standing bug in -rl.
12239
12240 1996-11-09  Hrvoje Niksic  <hniksic@srce.hr>
12241
12242         * ftp.c: Use -1 as "impossible" value for con->fd.
12243
12244         * url.h (URL_SEPARATOR): Don't treat `*' and `+' as separators.
12245
12246         * init.c (parse_line): Use isalpha.
12247
12248         * ftp-unix.c: Use HAVE_UNISTD_H.
12249
12250         * mtch.c (has_wildcards): Don't match \.
12251
12252         * http.c (http_loop): Warn on HTTP wildcard usage.
12253
12254 1996-11-08  Hrvoje Niksic  <hniksic@srce.hr>
12255
12256         * url.c (url_filename): Do not create numbered suffixes if
12257         opt.noclobber -- would bug out on -nc.
12258
12259 1996-11-07  Hrvoje Niksic  <hniksic@srce.hr>
12260
12261         * recur.c (parse_robots): Don't chuck out the commands without
12262         arguments (`Disallow:<empty>' didn't work).
12263         (parse_robots): Compare versions lowercase.
12264         (parse_robots): Match on base_version, not version_string!
12265         (parse_robots): Handle comments properly.
12266         (parse_robots): Match versions in a sane way.
12267
12268         * init.c: Print nicer error messages.
12269
12270         * version.c: Changed version to 1.4.0.
12271
12272 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
12273
12274         * version.c: Released 1.4.0-test2.
12275
12276         * init.c (run_wgetrc): Close fp.
12277
12278         * ftp.c (ftp_retrieve_dirs): Allocate the correct length for
12279         u->dir.
12280
12281 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
12282
12283         * init.c (setquota): Allow inf as quota specification.
12284
12285 1996-11-05  Hrvoje Niksic  <hniksic@srce.hr>
12286
12287         * ftp.c (ftp_retrieve_dirs): Return QUOTEXC if quota exceeded.
12288         (ftp_retrieve_glob): Return QUOTEXC on quota exceeded.
12289
12290         * main.c (main): Check for quota by comparison with downloaded
12291         stuff, not from status.
12292
12293         * connect.c (select_fd): Should compile on HPUX without warnings now.
12294
12295         * ftp.c (ftp_get_listing): Check whether ftp_loop_internal
12296         returned RETROK.
12297
12298 1996-11-04  Hrvoje Niksic  <hniksic@srce.hr>
12299
12300         * ftp.c (ftp_retrieve_glob): Print the pattern nicely.
12301         (getftp): Return FTPRETRINT on control connection error.
12302
12303         * html.c (htmlfindurl): Recognize <embed src=...> and
12304         <bgsound src=...>.
12305         (ftp_index): Handle username and password correctly.
12306
12307         * main.c (main): Made `-np' a synonim for --no-parent.
12308
12309 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
12310
12311         * ftp.c (ftp_loop): Check for opt.ftp_glob too before calling
12312         ftp_retrieve_glob.
12313
12314         * version.c: Changed version to 1.4.0-test2.
12315
12316 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
12317
12318         * version.c: Released 1.4.0-test1.
12319
12320         * url.c (str_url): Don't use sprintf when creating %2F-prefixed
12321         directory.
12322         (convert_links): Removed definition of make_backup.
12323
12324         * http.h: Removed definition of MAX_ERROR_LENGTH.
12325
12326         * host.c (ftp_getaddress): Check for "(none)" domains.
12327
12328         * ftp.c (ftp_retrieve_dirs): Docfix.
12329
12330         * http.c (gethttp): Use ou->referer instead of u->referer.
12331
12332         * retr.c (retrieve_url): Reset u to avoid freeing pointers twice;
12333         this was known to cause coredumps on Linux.
12334
12335         * html.c (ftp_index): Cast the argument to local_time to time_t *.
12336
12337 1996-11-01  Hrvoje Niksic  <hniksic@srce.hr>
12338
12339         * connect.c (select_fd): Use exceptfds -- once and for all.
12340
12341         * retr.c (retrieve_from_file): Free filename after
12342         recursive_retrieve.
12343         (retrieve_from_file): Send RFIRST_TIME to recursive_retrieve on
12344         first-time retrieval.
12345         (retrieve_from_file): Return uerr_t; new argument, count.
12346         (retrieve_from_file): Break on QUOTEXC.
12347
12348         * init.c (setquota): Fixed a bug that caused rejection of
12349         non-postfixed values..
12350
12351 1996-10-30  Hrvoje Niksic  <hniksic@srce.hr>
12352
12353         * version.c: Changed name to wget.
12354
12355         * connect.c (iread): Smarter use of select.
12356         (select_fd): Set errno on timeout.  If not timeout, return 1
12357         instead of 0.
12358
12359 1996-10-29  Hrvoje Niksic  <hniksic@srce.hr>
12360
12361         * ftp.c (ftp_loop_internal): Don't use con->cmd before
12362         establishing it.
12363
12364 1996-10-26  Hrvoje Niksic  <hniksic@srce.hr>
12365
12366         * http.c (gethttp): Send correct referer when using proxy.
12367         (gethttp): Use struct urlinfo ou to access the relevant data; send
12368         correct authorization in all cases.
12369
12370         * host.c (same_host): Use skip_uname to skip username and
12371         password.
12372
12373         * url.c (skip_uname): New function.
12374         (parseurl): Use it.
12375
12376         * host.c (same_host): Do not assume HTTP -- same_host should now
12377         be totally foolproof.
12378
12379         * url.c (skip_proto): New function.
12380         (parse_uname): Use it.
12381
12382         * http.c (gethttp): Create local user and passwd from what is
12383         given.
12384
12385         * url.c (parseurl): Check for HTTP username and password too.
12386
12387 1996-10-25  Hrvoje Niksic  <hniksic@srce.hr>
12388
12389         * config.h.in: Removed #define gethostbyname R...
12390
12391 1996-10-22  Hrvoje Niksic  <hniksic@srce.hr>
12392
12393         * version.c: Changed version to 1.4.0-test1.
12394
12395 1996-10-21  Hrvoje Niksic  <hniksic@srce.hr>
12396
12397         * version.c: "Released" 1.4b29.
12398
12399         * recur.c (recursive_retrieve): Check for no_parent.
12400
12401         * init.c (setval): Option update.
12402
12403         * main.c (main): New option no-parent.
12404
12405         * options.h (struct options): New variable no_parent.
12406
12407         * recur.c (recursive_retrieve): Only files are checked for
12408         opt.accepts and opt.rejects.
12409         (recursive_retrieve): Check directories for opt.excludes.
12410         (recursive_retrieve): Make the dir absolute when checking
12411         opt.excludes.
12412
12413         * html.c (htmlfindurl): Recognize <applet code=...> and <script
12414         src=...>
12415
12416 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
12417
12418         * ftp.c (getftp): Do not line-break assert entries at all.
12419         (ftp_retrieve_dirs): docfix.
12420
12421         * connect.c (select_fd): Use fd + 1 as nfds.
12422
12423         * version.c: Changed version to 1.4b29.
12424
12425 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
12426
12427         * version.c: "Released" 1.4b28.
12428
12429         * ftp.c (ftp_loop_internal): Check whether f->size == len and
12430         don't continue the loop if it is.
12431         (ftp_get_listing): Remove list_filename on unsuccesful loop.
12432
12433 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
12434
12435         * ftp.c (ftp_loop_internal): Use strcpy to initialize tmp.
12436         (getftp): Do not use multiline assert.
12437
12438         * http.c (hparsestatline): Use mjr and mnr instead of major and
12439         minor, which don't compile on Ultrix.
12440         (http_loop): Use strcpy() to initialize tmp.
12441
12442         * all: Geturl -> Fetch
12443
12444 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
12445
12446         * recur.c (parse_robots): Fixed an off-by-one bug when looking for
12447         ':'.
12448
12449         * html.c (htmlfindurl): Fixed several possible off-by-one bugs by
12450         moving `bufsize &&' to the beginning of each check in for-loops.
12451
12452         * recur.c (parse_robots): Close fp on exit.
12453
12454         * url.c (mymkdir): Check for each directory before creating.
12455
12456 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
12457
12458         * version.c: Changed version to 1.4b28.
12459
12460 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
12461
12462         * version.c: "Released" 1.4b27.
12463
12464         * init.c (parse_line): Use isspace.
12465         (parse_line): Free *com on all errors.
12466
12467         * ftp.c (ftp_loop): Change FTPOK to RETROK before exiting.
12468         (delelement): Use next instead of f->next and prev instead of
12469         f->prev.
12470         (delelement): Free the members of the deleted element.
12471
12472         * http.c (http_loop): Do not return RETROK on code != 20x.
12473
12474         * init.c (cleanup): Free opt.user_header.
12475         (cleanup): Free opt.domains.
12476
12477         * url.c (freelists): Moved to cleanup().
12478
12479         * http.c (hparsestatline): Docfix.
12480
12481         * main.c (main): Return with error status on unsuccesful
12482         retrieval.
12483
12484         * init.c (setval): Do not remove listing when mirroring.
12485
12486         * url.c (url_filename): Use opt.fileprefix.
12487
12488         * ftp.c (ftp_get_listing): Use url_filename to get filename for
12489         .listing.
12490
12491         * main.c (main): New option: -rn.
12492
12493 1996-10-15  Hrvoje Niksic  <hniksic@srce.hr>
12494
12495         * Makefile.in (RM): Added RM = rm -f.
12496
12497         * host.c (clean_hosts): New function.
12498         (free_hlist): Just free the list, no reset.
12499
12500         * version.c: Changed version to 1.4b27.
12501
12502 1996-10-13  Hrvoje Niksic  <hniksic@srce.hr>
12503
12504         * version.c: "Released" 1.4b26.
12505
12506         * retr.c (retrieve_from_file): If call get_urls_html with
12507         opt.spider to make it silent in spider mode.
12508
12509         * url.c (str_url): Use CLEANDUP instead of URL_CLEANSE.
12510
12511         * url.h (CLEANDUP): New macro.
12512
12513         * http.c (gethttp): Fixed a bug that freed location only when it
12514         was NULL.
12515
12516         * retr.c (retrieve_url): Free url if it will not be stored,
12517         i.e. newloc is NULL.
12518
12519         * html.c (htmlfindurl): Handle exiting from quotes correctly; the
12520         old version would bug out on <a href="x#a"href="y">.
12521
12522         * html.h (state_t): New member in_quote.
12523
12524         * html.c (htmlfindurl): Free s->attr at the beginning of
12525         attr-loop.
12526
12527         * recur.c (recursive_retrieve): Recognize RCLEANUP.
12528         (tried_robots): Make hosts a global variable.
12529         (recursive_retrieve): Free constr after URL host optimization.
12530         (tried_robots): Free urlinfo before exiting.
12531
12532         * utils.c (free_slist): New function.
12533
12534         * recur.c (recursive_retrieve): Use flags to add cleanup
12535         possibility.
12536
12537         * main.c (main): Free filename after recursive_retrieve.
12538
12539         * http.c (gethttp): Store successful responses too.
12540
12541 1996-10-12  Hrvoje Niksic  <hniksic@srce.hr>
12542
12543         * all: Constified the whole source.  This required some minor
12544         changes in many functions in url.c, possibly introducing bugs -- I
12545         hope not.
12546
12547         * ftp-basic.c: Removed last_respline.
12548
12549         * http.c (gethttp): Free type.
12550
12551         * host.c (same_host): Free real1 and real2.
12552
12553         * main.c (main): New option --spider.
12554
12555         * retr.c (get_contents): Don't reset errno.
12556
12557         * main.c (main): Sorted the options.
12558
12559         * connect.c (iread): Set errno to ETIMEDOUT only if it was left
12560         uninitialized by select().
12561
12562         * http.c (http_loop): Print the time when the connection is
12563         closed.
12564         (gethttp): Debug-print the HTTP request.
12565
12566 1996-10-11  Hrvoje Niksic  <hniksic@srce.hr>
12567
12568         * connect.c (iread): Do not try reading after timeout.
12569
12570         * main.c (main): Would bug out on -T.
12571
12572         * connect.c (select_fd): Do not use exceptfds.
12573         (iread): Set ETIMEDOUT on select_fd <= 0.
12574
12575         * version.c: Changed version to 1.4b26.
12576
12577 1996-10-10  Hrvoje Niksic  <hniksic@srce.hr>
12578
12579         * version.c: "Released" 1.4b25.
12580
12581         * ftp-unix.c (ftp_parse_unix_ls): Ignore lines without file name
12582         or link name.
12583
12584         * http.c (gethttp): Add errcode to struct hstat.
12585         (http_loop): Use it.
12586
12587         * url.c (no_proxy_match): Simplify using char** for no_proxy.
12588
12589         * options.h (struct options): Make opt.no_proxy a vector.
12590
12591         * utils.c (sepstring): Use !*s instead of !strlen(s).
12592
12593         * init.c (setval): Set opt.maxreclevel to 0 on --mirror.
12594         (getperms): Use ISODIGIT instead of isdigit.
12595
12596         * ftp.c (getftp): Print time.
12597
12598         * main.c (main): Use legible output of downloaded quantity.
12599
12600         * ftp.c (getftp): Use elapsed_time().
12601         (ftp_loop_internal): Use rate().
12602
12603         * http.c (http_loop): Add download ratio output; Use rate().
12604
12605         * utils.c (rate): New function.
12606
12607 1996-10-09  Hrvoje Niksic  <hniksic@srce.hr>
12608
12609         * http.c (http_loop): Use timer.
12610
12611         * ftp.c: Split to ftp-basic.c and ftp.c
12612
12613         * utils.c (reset_timer): New function.
12614         (elapsed_time): New function.
12615
12616         * retr.c (show_progress): Make bytes_in_line and offs long; should
12617         work on 16-bit machines.
12618
12619 1996-10-08  Hrvoje Niksic  <hniksic@srce.hr>
12620
12621         * url.c (in_acclist): New argument backward.
12622
12623         * ftp.c (ftp_retrieve_glob): Use acceptable() to determine whether
12624         a file should be retrieved according to suffix.
12625         (ftp_get_listing): Check the return value of unlink; Do not call
12626         ftp_retrieve_dirs if depth reached maxreclevel.
12627         (ftp_retrieve_dirs): Check whether the directory is in
12628         exclude-list.
12629
12630         * main.c (main): Print the version number at the beginning of
12631         DEBUG output.
12632         (main): Use strrchr when creating exec_name.
12633
12634         * ftp.c (ftp_retrieve_glob): Do not close control connection.
12635
12636         * version.c: Changed version to 1.4b25.
12637
12638 1996-10-07  Hrvoje Niksic  <hniksic@srce.hr>
12639
12640         * version.c: "Released" 1.4b24.
12641
12642         * Makefile.in: Rewrite.
12643
12644         * ftp.c (ftp_loop_internal): Likewise.
12645
12646         * retr.c (time_str): Check for failed time().
12647
12648         * html.c (htmlfindurl): Recognize <fig src> and <overlay src> from
12649         HTML3.0.
12650
12651         * retr.c (time_str): Return time_t *.
12652
12653         * connect.c (bindport): Close msock on unsuccesful bind.
12654         (bindport): The same for getsockname and listen.
12655
12656         * retr.c (retrieve_url): Allow any number of retries on
12657         proxy.
12658
12659         * http.c (gethttp): Do not treat errno == 0 as timeout.
12660         (http_loop): Likewise.
12661         (http_loop): Cosmetic changes.
12662
12663         * connect.c (iread): Set errno to ETIMEDOUT in case of timeout.
12664
12665         * retr.c (get_contents): Reset errno.
12666
12667         * ftp.c (getftp): Minor fixes.
12668
12669 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
12670
12671         * http.c: Do not use backups.
12672
12673         * geturl.1 (WARNING): Warn that man-page could be obsolete.
12674
12675         * getopt.c (getopt_long): Moved to getopt.c
12676
12677         * geturl.texi: Enhanced.
12678
12679         * main.c (main): Use it.
12680
12681         * recur.c (convert_all_links): New function.
12682
12683         * utils.c (add_slist): New argument flags.
12684
12685         * recur.c (recursive_retrieve): Update a list of downloaded URLs.
12686         (parse_robots): Do not chuck out empty value fields.
12687         (parse_robots): Make yourself welcome on empty Disallow.
12688
12689         * version.c: Changed version to 1.4b24.
12690
12691 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
12692
12693         * version.c: "Released" 1.4b23.
12694
12695         * ftp.c (ftp_loop_internal): Get the time after getftp.
12696
12697         * Makefile.in (install.info): New target.
12698         (install): Use it.
12699
12700         * http.c (http_loop): Fix output when doing -O.
12701
12702 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
12703
12704         * geturl.texi: New file.
12705
12706         * main.c (main): Do not print the warnings and download summary if
12707         opt.quiet is set.
12708
12709         * version.c: Changed version to 1.4b23.
12710
12711 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
12712
12713         * "Released" 1.4b22.
12714
12715         * atotm.c (atotm): Use True and False instead of TRUE and FALSE,
12716         to avoid redefinition warnings.
12717
12718         * host.c (store_hostaddress): Use memcpy() to copy the address
12719         returned by inet_addr.
12720
12721         * version.c: Changed version to 1.4b22.
12722
12723 1996-10-04  Hrvoje Niksic  <hniksic@srce.hr>
12724
12725         * version.c: "Released" 1.4b21.
12726
12727         * ftp-unix.c (ftp_parse_ls): Renamed to ftp_parse_unix_ls.
12728
12729         * ftp.c (ftp_port): Use conaddr.
12730         (getftp): Print the file length.
12731         (ftp_retrieve_list): Check the stamps of plain files only.
12732
12733         * connect.c (closeport): Do not call shutdown().
12734         (conaddr): New function.
12735
12736         * html.c (ftp_index): Made it dfp-aware.
12737
12738         * init.c (cleanup): New name of freemem. Close opt.dfp.
12739
12740         * ftp.c (getftp): Use opt.dfp if it is set.
12741
12742         * ftp-unix.c (ftp_parse_ls): Recognize time in h:mm format.
12743
12744         * ftp.c (ftp_retrieve_dirs): Fixed a bug that caused incorrect
12745         CWDs to be sent with recursive FTP retrievals.
12746
12747 1996-10-03  Hrvoje Niksic  <hniksic@srce.hr>
12748
12749         * recur.c (parse_robots): Made it more compliant with "official"
12750         specifications.
12751
12752         * http.c: New function.
12753
12754         * ftp-unix.c (ftp_parse_ls): Added better debug output.
12755
12756         * ftp.c (getftp): Print out the LIST in case of
12757         opt.print_server_response.
12758
12759         * version.c: Changed version to 1.4b21.
12760
12761 1996-10-01  Hrvoje Niksic  <hniksic@srce.hr>
12762
12763         * version.c: "Released" 1.4b20.
12764
12765         * README: Update.
12766
12767         * http.c (gethttp): Preset lengths of various headers instead of
12768         calculating them dynamically.
12769         (gethttp): Check for 206 partial contents.
12770
12771 1996-09-30  Hrvoje Niksic  <hniksic@srce.hr>
12772
12773         * configure.in: Set SYSTEM_GETURLRC to $libdir/geturlrc
12774
12775         * http.c (gethttp): Send the port number in the Host: header.
12776
12777 1996-09-29  Hrvoje Niksic  <hniksic@srce.hr>
12778
12779         * http.c (gethttp): Send host: header.
12780         (gethttp): Add the possibility of user-defined headers.
12781         (gethttp): Move decision about pragma: no-cache to http_loop,
12782         where it belongs.
12783         (gethttp): Pass a struct instead of enormous argument list.
12784         (http_loop): Use a new, fancier display format.
12785         (ftp_loop): Likewise.
12786
12787         * main.c: (hangup): Turn off buffering of the new log file.
12788
12789         * install-sh: Likewise.
12790
12791         * config.sub: Replace with the one in autoconf-2.10
12792
12793         * geturl.1: Update.
12794
12795         * init.c: New options httpuser and httppasswd.
12796
12797         * http.c: (base64_encode_line): New function.
12798         (gethttp): Send authentication.
12799
12800         * connect.c (make_connection): Use store_hostaddress.
12801
12802 1996-09-28  Hrvoje Niksic  <hniksic@srce.hr>
12803
12804         * host.c (store_hostaddress): New function.
12805
12806         * NEWS: Update.
12807
12808         * http.c (hgetrange): New function.
12809         (gethttp): Use ranges.
12810
12811         * utils.c (numdigit): Accept long instead of int.
12812
12813         * http.c (http_loop): Add restart capabilities.
12814
12815         * ftp.c (ftp_retrieve_glob): Fixed a bug that could cause matchres
12816         being used uninitialized.
12817         (ftp_retrieve_list): Similar fix.
12818
12819         * host.c (add_hlist): Fixed a bug that could cause cmp being used
12820         uninitialized.
12821
12822         * url.c (construct_relative): New function.
12823
12824         * recur.c (recursive_retrieve): Use it.
12825
12826         * retr.c (convert_links): New function.
12827
12828 1996-09-27  Hrvoje Niksic  <hniksic@srce.hr>
12829
12830         * url.c (free_urlpos): New function.
12831
12832         * recur.c (recursive_retrieve): Adapt.
12833
12834         * url.c (get_urls_html): Return a linked list instead of a vector.
12835
12836         * url.c (get_urls_file): Return a linked list instead of a vector.
12837
12838         * geturl.1: Update.
12839
12840         * http.c (gethttp): Implement it.
12841
12842         * init.c (setval): New option: SAVEHEADERS
12843
12844         * ftp.c (ftp_loop_internal): Do not set restval if listing is to
12845         be retrieved. Lack of this test caused bugs when the connection
12846         was lost during listing.
12847
12848         * retr.c (retrieve_url): Fixed a bug that caused
12849         coredumps. *newloc is now reset by default.
12850         (retrieve_url): Lift the twenty-tries limit on proxies.
12851
12852         * version.c: Changed version to 1.4b20.
12853
12854 1996-09-20  Hrvoje Niksic  <hniksic@srce.hr>
12855
12856         * version.c: "Released" 1.4b19.
12857
12858 1996-09-19  Hrvoje Niksic  <hniksic@srce.hr>
12859
12860         * ftp.c (ftp_loop_internal): Renamed from ftp_1fl_loop.
12861         (getftp): Changed prototype to accept ccon *.
12862
12863 1996-09-17  Hrvoje Niksic  <hniksic@srce.hr>
12864
12865         * ftp.c (ftp_retrieve_list): Fixed a bug that caused setting
12866         incorrect values to files pointed to by symbolic links.
12867         (ftp_1fl_loop): Do not count listings among the downloaded URL-s.
12868
12869 1996-09-16  Hrvoje Niksic  <hniksic@srce.hr>
12870
12871         * url.c (mkstruct): Do not prepend "./" in front of a pathname.
12872
12873         * main.c (main): New option: --user-agent.
12874
12875         * geturl.1: Ditto.
12876
12877         * init.h: Ditto.
12878
12879         * init.c (setval): Ditto.
12880
12881         * main.c (main): Rename "server-headers" to "server-response".
12882
12883         * ftp-unix.c (ftp_parse_ls): Check for asterisks at the end of
12884         executables in 'ls -F' listings.
12885
12886 1996-09-15  Hrvoje Niksic  <hniksic@srce.hr>
12887
12888         * url.c (parseurl): Remove realloc() and sprintf().
12889         (str_url): Get rid of sprintf().
12890
12891         * recur.c (recursive_retrieve): Enable FTP recursion through proxy
12892         servers.
12893
12894         * url.h (URL_CLEANSE): Made it else-resistant.
12895         (USE_PROXY): New macro.
12896
12897 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
12898
12899         * NEWS: Update.
12900
12901         * version.c: Changed version to 1.4b19.
12902
12903 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
12904
12905         * version.c: "Released" 1.4b18.
12906
12907         * url.c: Made it reallocate space exponentially.
12908
12909 1996-09-14  Drazen Kacar  <dave@fly.cc.fer.hr>
12910
12911         * html.c (htmlfindurl): Added <frame src> and <iframe src> among
12912         the list of stuff to fetch.
12913
12914 1996-09-13  Hrvoje Niksic  <hniksic@srce.hr>
12915
12916         * url.c (get_urls_html): Fixed a bug that caused SIGSEGV's with
12917         -Fi.
12918
12919         * html.c (htmlfindurl): Rewrite.
12920
12921         * http.c (gethttp): Use opt.proxy_cache.
12922
12923         * main.c (main): Added --cache option.
12924
12925         * ftp.c (ftp_response): Print server response if opt.print_server
12926         response is set.
12927         (getftp): Print newlines after each request if the server response
12928         is to be printed.
12929         (ftp_response): Copy the last response line to last_respline.
12930
12931         * http.c (gethttp): Add Pragma: nocache for retried
12932         proxy-retrievals.
12933
12934         * ftp.c (getftp): Use it.
12935
12936         * retr.c (buf_discard): New function.
12937
12938         * ftp.c (ftp_response): Use buf_readchar().
12939         (getftp): Flush the control connection buffer before calling
12940         get_contents().
12941
12942         * retr.c (buf_readchar): New function.
12943         (buf_flush): New function.
12944         (get_contents): Use buf_readchar() instead of read(x, x, 1).
12945         (get_contents): Use buf_flush.
12946
12947 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
12948
12949         * ftp.c: Incorporate changes to ftp_response.
12950
12951         * ftp.c (ftp_response): Allocate the server response dynamically,
12952         as in read_whole_line and fetch_next_header.
12953
12954         * utils.c (read_whole_line): Fixed a bug that prevented reading
12955         the last line if it is not \n-terminated. Also fixed a possible
12956         memory overflow.
12957
12958         * http.c (fetch_next_header): Return malloc-ed string as large as
12959         needed.
12960         (gethttp): Use new fetch_next_header.
12961
12962 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
12963
12964         * http.c (hgetlen): Compute the header length the first time only.
12965         (hgettype): Ditto.
12966         (hgetlocation): Ditto.
12967         (hgetmodified): Ditto.
12968
12969 1996-09-11  Hrvoje Niksic  <hniksic@srce.hr>
12970
12971         * sample.geturlrc: Update.
12972
12973 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
12974
12975         * http.c (http_loop): Ditto.
12976
12977         * ftp.c (getftp): Open the output file as binary.
12978
12979         * version.c: Changed version to 1.4b18.
12980
12981 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
12982
12983         * version.c: "Released" 1.4b17.
12984
12985         * ftp-unix.c (ftp_parse_ls): If unable to open file, return NULL
12986         instead of failed assertion.
12987
12988 1996-09-09  Hrvoje Niksic  <hniksic@srce.hr>
12989
12990         * ftp.c (ftp_get_listing): Add a numbered suffix to LIST_FILENAME
12991         if a file of that name already exists.
12992
12993 1996-09-05  Hrvoje Niksic  <hniksic@srce.hr>
12994
12995         * ftp.c (ftp_1fl_loop): Handler FTPPORTERR and FOPENERR correctly.
12996
12997         * config.h.in: Define gethostbyname as Rgethostbyname when using
12998         Socks.
12999
13000         * configure.in: Check for -lresolv if using Socks.
13001
13002         * version.c: Changed version to 1.4b17.
13003
13004 1996-07-15  Hrvoje Niksic  <hniksic@srce.hr>
13005
13006         * version.c: "Released" 1.4b16.
13007
13008         * http.c (gethttp): More intelligent check for first line of HTTP
13009         response.
13010         (gethttp): Would bug out on time-stamping.
13011
13012         * version.c: Changed version to 1.4b16.
13013
13014 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
13015
13016         * version.c: Released 1.4b15.
13017
13018         * http.c (http_loop): Print \n after the loop entry, not before.
13019
13020         * url.c (url_filename): Use ISDOT.
13021
13022         * url.h (ISDOT): New macro.
13023
13024         * recur.c (recursive_retrieve): Change only opt.recursive for
13025         following FTP.
13026
13027 1996-07-11  Antonio Rosella <antonio.rosella@agip.it>
13028
13029         * socks/geturl.cgi: Fixed version No.
13030
13031         * socks/download-netscape.html: Ditto.
13032
13033         * socks/download.html: Changed socks.html to download.html.
13034
13035 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
13036
13037         * url.c (url_filename): Check for opt.dirstruct instead for
13038         opt.recursive && opt.dirstruct.
13039
13040         * init.c (defaults): Ditto.
13041         (defaults): Reset dirstruct by default.
13042         (setval): Set opt.dirstruct whenever setting recursive.
13043
13044         * init.h: Removed FORCEDIRHIER.
13045
13046         * INSTALL: Added -L to socks-description.
13047
13048         * version.c: Changed version to 1.4b15.
13049
13050 1996-07-10  Hrvoje Niksic  <hniksic@srce.hr>
13051
13052         * version.c: "Released" 1.4b14.
13053
13054         * geturl.1: Update AUTHOR to include Rosella as contributor.
13055
13056         * NEWS: Update.
13057
13058         * socks/geturl.cgi: Simplified command creation, nuked <blink>.
13059
13060         * socks/geturl.cgi: Wrap nutscape extensions within if $netscape.
13061         (cal_time): Fix == to eq.
13062
13063         * socks/geturl.cgi: GPL-ized with permission of A. Rosella.
13064
13065         * geturl.1 (hostname): Moved URL CONVENTIONS to the beginning.
13066
13067         * Makefile.in: Use @VERSION@.
13068
13069         * configure.in: Check version from version.c.
13070
13071         * socks/geturl.cgi: Changed /pub/bin/perl to /usr/bin/perl.
13072
13073         * socks/download.html: Created from download-netscape.html, made
13074         HTML-2.0 compliant.
13075
13076         * recur.c (recursive_retrieve): Set opt.force_dir_hier when
13077         following FTP links from recursions.
13078
13079 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
13080
13081         * url.c (mymkdir): Fixed a bug that prevented mymkdir() to create
13082         absolute directories correctly.
13083
13084         * version.c: Changed version to 1.4b14.
13085
13086 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
13087
13088         * version.c: "Released" 1.4b13.
13089
13090         * url.c (make_backup): New function.
13091
13092         * http.c (http_loop): Make a backup copy of the local file (using
13093         rename(2)) before opening it.
13094
13095         * main.c (main): Added --backups.
13096
13097         * host.c (ftp_getaddress): Bail out on failed mycuserid().
13098         (ftp_getaddress): Check for leading dot on MY_DOMAIN.
13099         (ftp_getaddress): Check for empty, null or (null) domain.
13100
13101         * url.c (get_urls_html): If this_url is NULL, the base must have a
13102         protocol.
13103         (parseurl): Use has_proto.
13104
13105         * retr.c (retrieve_url): Warn when proxy is used with more than 20
13106         retries.
13107
13108         * url.c (mkstruct): Create the directory (calling mymkdir()) only
13109         if it is not already there.
13110         (has_proto): New function.
13111         (get_urls_html): Eliminate the remaining call to findurl -- use
13112         has_proto.
13113
13114         * geturl.1: Ditto.
13115
13116         * main.c: Change -X to -x.
13117
13118         * url.c (url_filename): Simplify creation of filename if
13119         prefix_files is set.
13120         (url_filename): Simplify everything. And I do mean *everything*.
13121         (mkstruct): Add dir_prefix before hostname.
13122         (path_simplify): Fixed a bug that caused writing outside the path
13123         string in case of "." and ".." path strings.
13124
13125 1996-07-06  Hrvoje Niksic  <hniksic@srce.hr>
13126
13127         * init.c: Added --mirror.
13128
13129         * main.c (main): Added -X to force saving of directory hierarchy.
13130
13131         * ftp.c (ftp_retrieve_list): Added recursion depth counter.
13132         (ftp_retrieve_list): Check whether quota is exceeded.
13133
13134         * url.c (get_urls_html): Skip leading blanks for absolute URIs.
13135
13136         * http.c (gethttp): Use referer if present.
13137
13138         * recur.c (recursive_retrieve): Set u->referer before calling
13139         retrieve_url.
13140
13141         * url.c (newurl): Use memset to nullify the struct members.
13142         (freeurl): Free the referer field too.
13143
13144         * url.h: Added referer to urlinfo.
13145
13146         * geturl.1: Updated the manual to document some of the new features.
13147
13148         * utils.c (numdigit): Moved from url.c.
13149
13150         * README: Rewritten.
13151
13152         * config.h.in: Add the support for socks.
13153
13154         * configure.in: Add the support for socks.
13155
13156         * url.c (url_filename): If the dir_prefix is ".", work with just
13157         the file name.
13158         (url_filename): Do not look for .n extensions if timestamping if
13159         turned on.
13160
13161         * retr.c (show_progress): Skip the over-abundant restval data, and
13162         print the rest of it with ',' instead of '.'.
13163
13164 1996-07-05  Hrvoje Niksic  <hniksic@srce.hr>
13165
13166         * retr.c (show_progress): Changed second arg. to long (as it
13167         should be).
13168         (show_progress): Moved to retr.c.
13169         (get_contents): Moved to retr.c.
13170
13171         * version.c: Change version to 1.4b13.
13172
13173 1996-07-05  Hrvoje Lacko <hlacko@fly.cc.fer.hr>
13174
13175         * url.c (in_acclist): Would return after the first suffix.
13176
13177 1996-07-04  Hrvoje Niksic  <hniksic@srce.hr>
13178
13179         * version.c: "Released" 1.4b12.
13180
13181         * url.c (path_simplify): More kludgifications.
13182         (get_urls_html): Use new parameters for htmlfindurl.
13183
13184         * html.c: Removed memorizing "parser states", since the new
13185         organization does not require them.
13186
13187         * init.c (run_geturlrc): Use read_whole_line.
13188
13189         * ftp-unix.c (ftp_parse_ls): Use read_whole_line.
13190
13191         * recur.c (parse_robots): Use read_whole_line.
13192
13193         * utils.c (read_whole_line): New function.
13194
13195         * recur.c (tried_robots): Use add_slist/in_slist, *much* cleaner.
13196
13197         * host.c (ngethostbyname): Call inet_addr just once. Yet to be
13198         tested on OSF and Ultrix.
13199         (add_hlist): New function.
13200         (free_hlist): New function.
13201         (search_host): New function.
13202         (search_address): New function.
13203         (realhost): Use search_host, search_address and add_hlist.
13204         (same_host): Replaced realloc() with strdupdelim(), made
13205         case-insensitive, fixed a memory leak.
13206
13207         * html.c (ftp_index): Fixed tm_min and tm_sec to be tm_hour and
13208         tm_min, like intended.
13209
13210         * version.c: Change user agent information to
13211         Geturl/version.
13212
13213 1996-07-03  Hrvoje Niksic  <hniksic@srce.hr>
13214
13215         * utils.c: Renamed nmalloc.c to utils.c, .h likewise.
13216
13217         * url.c (acceptable): Always accept directories.
13218
13219         * ftp-unix.c (ftp_parse_ls): Support brain-damaged "ls -F"-loving
13220         servers by stripping trailing @ from symlinks and trailing / from
13221         directories.
13222
13223         * ftp.c (ftp_loop): Debugged the "enhanced" heuristics. :-)
13224
13225         * url.c (skip_url): Use toupper instead of UCASE.
13226
13227         * host.c (sufmatch): Made it case-insensitive.
13228
13229         * url.c (match_backwards_or_pattern): Fixed i == -1 to j == -1.
13230         (match_backwards): New function, instead of
13231         match_backwards_or_pattern.
13232
13233         * recur.c (recursive_retrieve): Increased performance by
13234         introducing inl, which reduces number of calls to in_slist to only
13235         one.
13236
13237         * ftp.c (ftp_loop): Enhanced the heuristics that decides which
13238         routine to use.
13239
13240         * main.c (printhelp): Removed the warranty stuff.
13241
13242 1996-07-02  Hrvoje Niksic  <hniksic@srce.hr>
13243
13244         * url.c (add_slist): Simplify.
13245         (match_backwards_or_pattern): New function.
13246         (in_acclist): Use match_backwards_or_pattern.
13247         (matches): Remove.
13248
13249 1996-06-30  Hrvoje Niksic  <hniksic@srce.hr>
13250
13251         * ftp.c (ftp_loop): Call ftp_index on empty file names, if not
13252         recursive.
13253
13254         * html.c (ftp_index): Fixed to work. Beautified the output.
13255
13256         * ftp.c (ftp_retrieve_glob): Another argument to control whether
13257         globbing is to be used.
13258         (ftp_retrieve_list): Compare the time-stamps of local and remote
13259         files to determine whether to download.
13260
13261 1996-06-29  Hrvoje Niksic  <hniksic@srce.hr>
13262
13263         * ftp.c (rel_constr): New function.
13264
13265         * retr.c (retrieve_from_file): Check for text/html before
13266         retrieving recursively.
13267
13268         * main.c (main): Check whether the file is HTML before going into
13269         recursive HTML retrieving.
13270
13271         * ftp.c (ftp_retrieve_list): Manage directories.
13272         (ftp_retrieve_glob): Pass all the file-types to ftp_retrieve_list.
13273         (ftp_1fl_loop): Fixed a bug that caused con->com to be incorrectly
13274         initialized, causing bugchecks in getftp to fail.
13275
13276         * configure.in: Check for symlink.
13277
13278         * ftp.c (ftp_retrieve_list): Added support for symlinks.
13279
13280         * version.c: "Released" 1.4b10.
13281
13282         * atotm.c (atotm): Redeclared as time_t.
13283
13284         * init.c: New variable "timestamping".
13285
13286         * main.c (main): New option 'N'.
13287
13288         * http.c (hgetlocation): Case-insensitive match.
13289         (hgetmodified): New function.
13290         (http_loop): Implement time-stamping.
13291
13292 1996-06-28  Hrvoje Niksic  <hniksic@srce.hr>
13293
13294         * version.c: Changed version to 1.4b10
13295
13296         * atotm.c: New file, from phttpd.
13297
13298         * options.h (struct options): New parameter timestamping.
13299
13300         * version.c: 1.4b9 "released".
13301
13302         * recur.c (recursive_retrieve): Used linked list (ulist) for
13303         faster storing of URLs.
13304
13305         * url.c (get_urls_html): Removed the old kludge with comparing the
13306         outputs of htmlfindurl and findurl.
13307         (get_urls_html): Added better protocol support here.
13308         (create_hash): Removed, as well as add_hash and in_hash.
13309         (addslist): New function.
13310         (in_slist): ditto
13311
13312         * version.c: Released 1.4b8, changed version to b9.
13313
13314 1996-06-27  Hrvoje Niksic  <hniksic@srce.hr>
13315
13316         * ftp.c (freefileinfo): New function.
13317         (delelement): New function.
13318
13319         * everywhere: GPL!
13320
13321         * ftp.c (ftp_loop): Use ccon.
13322         (ftp_retrieve_glob): Likewise.
13323
13324         * ftp.h: Define ccon, to define status of control connection.
13325
13326         * ftp.c (ftp_get_listing): New function.
13327         (ftp_retrieve_more): New function.
13328         (ftp_retrieve_glob): New function.
13329
13330 1996-06-25  Hrvoje Niksic  <hniksic@srce.hr>
13331
13332         * configure.in: Removed the search for cuserid().
13333
13334         * init.c (getmode): Renamed to getperms.
13335
13336 1996-06-24  Hrvoje Niksic  <hniksic@srce.hr>
13337
13338         * version.c: New version.
13339
13340         * main.c (hangup): New function, that handles hangup. Hangup
13341         signal now causes geturl to stop writing on stdout, and to write
13342         to a log file.
13343
13344         * ftp.c (getftp): "Released" 1.4b7.
13345
13346         * html.c (htmlfindurl): Ignore everything inside <head>...</head>.
13347         (ftp_index): Use fileinfo/urlinfo.
13348
13349         * ftp-unix.c (ftp_parse_ls): New function.
13350         (symperms): New function.
13351
13352         * ftp.c (ftp_1fl_loop): New function, to handle 1-file loops.
13353
13354         * retr.c (retrieve_url): Added FTP support.
13355
13356 1996-06-23  Hrvoje Niksic  <hniksic@srce.hr>
13357
13358         * geturl.h: Removed NOTFTP2HTML enum.
13359         Added DO_LOGIN, DO_CWD and DO_LIST. LIST_ONLY is obsolete.
13360
13361         * ftp.c (getftp): Resynched with urlinfo.
13362         (getftp): Removed HMTL-ization of index.html from getftp.
13363
13364         * version.c: 1.4b6 "released".
13365
13366         * options.h (options): New struct, to keep options in.
13367
13368         * http.c (http_loop,gethttp): Synched with proxy.
13369
13370         * retr.c (retrieve_url): Implemented proxy retrieval.
13371
13372         * main.c (main): Use retrieve_from_file.
13373
13374 1996-06-22  Hrvoje Niksic  <hniksic@srce.hr>
13375
13376         * retr.c (retrieve_from_file): New function.
13377
13378         * url.c (parseurl): Modified to return URLOK if all OK. Protocol
13379         can be found in u->proto.
13380
13381         * ftp.c (ftp_response): Fixed to accept multi-line responses as
13382         per RFC 959.
13383
13384         * recr.c (recursive_retrieve): Take newloc from retrieve_url.
13385
13386         * url.c (mymkdir): Removed the file of the same name, if one
13387         exists.
13388         (isfile): New function.
13389         (mkstruct): Fixed the '/' glitches.
13390         (path_simplify): Hacked to treat something/.. correctly.
13391
13392 1996-06-21  Hrvoje Niksic  <hniksic@srce.hr>
13393
13394         * http.c (gethttp): Close the socket after error in headers.
13395         (http_loop): HEOF no longer a fatal header.
13396
13397         * loop.c (retrieve_url): When dt is NULL, do not modify it. This
13398         simplifies the syntax of calling retrieve_url.
13399
13400         * recr.c (recursive_retrieve): Modified to use get_urls_html.
13401
13402         * url.c (get_urls_file): New function.
13403         (get_urls_html): New function.
13404
13405         * recr.c (recursive_retrieve): Patched up to conform to the
13406         standards.
13407
13408         * http.c (gethttp): Synched with the rest...
13409         (gethttp): Treat only CONREFUSED specially, with connection
13410         errors.
13411
13412         * init.c,geturl.1,http.c (http_loop): Removed kill_error.
13413
13414 1996-06-20  Hrvoje Niksic  <hniksic@srce.hr>
13415
13416         * http.c (http_loop): New function.
13417
13418         * loop.c: Removed *lots* of stuff from retrieve_url.
13419
13420         * url.c (parseurl): Changed to work with urlinfo. Integrated
13421         username finding and path parsing.
13422         (newurl): New function.
13423         (freeurl): New function.
13424         (mkstruct): Removed the old bogosities, made it urlinfo-compliant.
13425         (url_filename): Likewise.
13426         (path_simplify): Accept relative paths too.
13427         (opt_url): Made urlinfo-compliant, removed bogosities.
13428         (path_simplify): Expanded to accept relative paths.
13429         (str_url): A replacement for hide_url
13430         (decode_string): Fixed a bug that caused malfunctioning when
13431         encountering an illegal %.. combination.
13432         (opt_url): Removed the argument. Dot-optimizations are now default.
13433
13434         * nmalloc.c (strdupdelim): New function.
13435
13436         * url.h: Added the urlinfo structure
13437
13438 1996-06-19  Hrvoje Niksic  <hniksic@srce.hr>
13439
13440         * url.c (hide_url): Thrown out the protocol assertion. Do not
13441         change the URL if the protocol if not recognized.
13442         (findurl): Put continue instead of break.
13443
13444 1996-06-18  Hrvoje Niksic  <hniksic@srce.hr>
13445
13446         * sample.geturlrc: Changed the defaults to be commented out and
13447         harmless (previous defaults caused pains if copied to
13448         ~/.geturlrc).
13449
13450         * http.c (gethttp): Print the HTTP request in debug mode.
13451
13452         * connect.c (iread): Added EINTR check loop to select-ing
13453         too. EINTR is now correctly handled with select().
13454
13455         * TODO: new file
13456
13457 1996-05-07  Hrvoje Niksic  <hniksic@srce.hr>
13458
13459         * host.c (same_host): Made the function a little bit more
13460         intelligent regarding diversified URL syntaxes.
13461
13462         * url.c (skip_url): Spaces are now skipped after URL:
13463
13464         * Released 1.3.1 with the patch to prevent crashing when sending
13465         NULL to robot* functions and the patch to compile "out of the box"
13466         on AIX.
13467
13468         * recr.c (recursive_retrieve): Added checking whether this_url is
13469         NULL when calling the robot functions.
13470
13471         * ChangeLog: New file.