]> sjero.net Git - wget/blob - src/ChangeLog
856d81a310e89fb289dcff96d37f80d9ab18b8d6
[wget] / src / ChangeLog
1 2010-06-15  Giuseppe Scrivano  <gscrivano@gnu.org>
2
3         * gnutls.c [WIN32]: Include "w32sock.h".
4         (FD_TO_SOCKET): Add definition.
5         (ssl_connect_wget): Get the real socket handle by FD_TO_SOCKET.
6         Define FD_TO_SOCKET if it is not yet defined.
7
8 2010-06-14  Giuseppe Scrivano  <gscrivano@gnu.org>
9
10         * gnutls.c: Include <stdlib.h>.
11         (struct wgnutls_transport_context): Remove `peekstart'.
12         (ssl_connect_wget): Renamed from `ssl_connect'.
13         (wgnutls_poll): New variable `ctx'.
14         (wgnutls_read): Don't use `ctx->peekstart'.
15         (wgnutls_peek): Likewise.  Don't attempt to read if there is not
16         ready data.
17
18 2010-06-14  Giuseppe Scrivano  <gscrivano@gnu.org>
19         * http.c (http_loop): Always send a HEAD request when -N is used
20         together with --content-disposition.
21         Reported by: Jochen Roderburg <Roderburg@Uni-Koeln.DE>.
22
23 2010-06-10  Muthu Subramanian K <muthusuba@gmail.com> (tiny change)
24
25         * http.c (http_loop): Increase `total_downloaded_bytes' by
26         `hstat.rd_size', not `hstat.len'.
27
28 2010-06-10  Giuseppe Scrivano  <gscrivano@gnu.org>
29
30         * main.c (print_version): Drop the current maintainer line.
31
32 2010-06-10  Giuseppe Scrivano  <gscrivano@gnu.org>
33
34         * Makefile.am (build_info.c): Generate the `build_info.c' file under
35         the build directory.
36         Patch by: Daniel Stenberg <daniel@haxx.se>.
37
38 2010-06-03  Giuseppe Scrivano  <gscrivano@gnu.org>
39
40         * http.c (http_loop): Do not send a HEAD request before the GET request
41         when --content-disposition is used.
42         Reported by: alex_wh@mail.ru.
43
44 2010-05-31  Giuseppe Scrivano  <gscrivano@gnu.org>
45
46         * css.l: Use option "nounput".
47         (YY_NO_INPUT): Add macro definition.
48
49 2010-05-31  Giuseppe Scrivano  <gscrivano@gnu.org>
50
51         * html-parse.c (map_html_tags): Fix condition for closed tag.  Handle
52         the case '>' is not specified after '/'.
53
54 2010-05-31  Giuseppe Scrivano  <gscrivano@gnu.org>
55
56         * sysdep.h (_SVID_SOURCE): Remove definition.
57         (_BSD_SOURCE): Remove definition.
58
59 2010-05-31  Giuseppe Scrivano  <gscrivano@gnu.org>
60
61         * recur.c (retrieve_tree): Remove variable `up_error_code'.
62
63         * iri.c (open_locale_to_utf8): Remove function.
64
65 2010-05-30  Giuseppe Scrivano  <gscrivano@gnu.org>
66
67         * html-parse.c (NAME_CHAR_P): Consider '<' an invalid character.
68         (advance_declaration): Close the tag if '<' is found.
69         (map_html_tags): Likewise.
70
71 2010-05-27  Giuseppe Scrivano  <gscrivano@gnu.org>
72
73         * main.c (print_usage): Accept a new parameter `error'.
74         (main): Print diagnostic messages to stderr, not stdout.
75
76 2010-05-27  Giuseppe Scrivano  <gscrivano@gnu.org>
77
78         * Makefile.am (wget_SOURCES): Remove `snprintf.c'.
79
80         * snprintf.c: Remove file.
81
82 2010-05-27  Giuseppe Scrivano  <gscrivano@gnu.org>
83
84         * main.c (main): Exit with failure when -k is specified and -O is not
85         a regular file.
86
87 2010-05-27  Giuseppe Scrivano  <gscrivano@gnu.org>
88
89         * http.c (gethttp): Consider new cookies retrieved when the
90         authorization fails.
91
92 2010-05-25  Giuseppe Scrivano  <gscrivano@gnu.org>
93
94         * host.c (sufmatch): Do not consider zero length entries.
95
96         * http.c (H_10X): New macro.
97         (gethttp): Silently ignore 1xx responses.
98
99 2010-05-24  Giuseppe Scrivano  <gscrivano@gnu.org>
100
101         * iri.h (dummy_iri): Define static.
102
103         * css-tokens.h (css_tokens): Remove variable.
104
105 2010-05-23  Giuseppe Scrivano  <gscrivano@gnu.org>
106
107         * http.c (http_atotm): Count the NUL character when copying the locale
108         string.
109         Reported by: Florian Weimer <fw@deneb.enyo.de>
110
111 2010-05-16  Giuseppe Scrivano  <gscrivano@gnu.org>
112
113         * Makefile.am (LDADD): Remove MD5_LDADD.
114         (MD5_LDADD): Remove definition.
115         (AM_CPPFLAGS): Remove MD5_CPPFLAGS.
116         (version.c): Remove dependency from MD5_LDADD.
117         (../md5/libmd5.a): Remove rule.
118
119         * ftp-opie.c: Include "md5.h".  Do not include "gen-md5.h".
120         (skey_response): New variable ctx.  Use md5 functions from the gnulib
121         module instead of functions defined previously in the "gen-md5.h" file.
122
123         * gen-md5.h: Remove file.
124         * gen-md5.c: Likewise.
125
126         * http.c: Include "md5.h".  Do not include "gen-md5.h".
127         (digest_authentication_encode): New variable ctx.  Use md5 functions
128         from the gnulib module instead of functions defined previously in the
129         "gen-md5.h" file.
130
131 2010-05-15  Giuseppe Scrivano  <gscrivano@gnu.org>
132
133         * Makefile.am: Quote any path using $(top_srcdir) or $(top_builddir).
134         (version.c): Remove dependency from configure.ac and Makefile.am.
135
136         * css.l: Include "wget.h".
137
138 2010-05-08  Giuseppe Scrivano  <gscrivano@gnu.org>
139
140         * Makefile.am: Update copyright years.
141
142         * cmpt.c: Likewise.
143
144         * connect.h: Likewise.
145
146         * convert.c: Likewise.
147
148         * convert.h: Likewise.
149
150         * cookies.c: Likewise.
151
152         * cookies.h: Likewise.
153
154         * css-tokens.h: Likewise.
155
156         * css-url.c: Likewise.
157
158         * css-url.h: Likewise.
159
160         * css.l: Likewise.
161
162         * exits.c: Likewise.
163
164         * exits.h: Likewise.
165
166         * ftp-basic.c: Likewise.
167
168         * ftp-ls.c: Likewise.
169
170         * ftp-opie.c: Likewise.
171
172         * ftp.c: Likewise.
173
174         * ftp.h: Likewise.
175
176         * gen-md5.c: Likewise.
177
178         * gen-md5.h: Likewise.
179
180         * gettext.h: Likewise.
181
182         * gnutls.c: Likewise.
183
184         * hash.c: Likewise.
185
186         * hash.h: Likewise.
187
188         * host.c: Likewise.
189
190         * host.h: Likewise.
191         * html-parse.c: Likewise.
192
193         * html-parse.h: Likewise.
194
195         * html-url.c: Likewise.
196
197         * html-url.h: Likewise.
198
199         * http-ntlm.c: Likewise.
200
201         * http-ntlm.h: Likewise.
202
203         * http.c: Likewise.
204
205         * http.h: Likewise.
206
207         * init.c: Likewise.
208
209         * init.h: Likewise.
210
211         * iri.c: Likewise.
212
213         * iri.h: Likewise.
214
215         * log.c: Likewise.
216
217         * log.h: Likewise.
218
219         * main.c: Likewise.
220
221         * mswindows.c: Likewise.
222
223         * mswindows.h: Likewise.
224
225         * netrc.c: Likewise.
226
227         * netrc.h: Likewise.
228
229         * openssl.c: Likewise.
230
231         * options.h: Likewise.
232         * progress.c: Likewise.
233
234         * progress.h: Likewise.
235
236         * ptimer.c: Likewise.
237
238         * ptimer.h: Likewise.
239
240         * recur.c: Likewise.
241
242         * recur.h: Likewise.
243
244         * res.c: Likewise.
245
246         * res.h: Likewise.
247
248         * retr.c: Likewise.
249
250         * retr.h: Likewise.
251
252         * spider.c: Likewise.
253
254         * spider.h: Likewise.
255
256         * ssl.h: Likewise.
257
258         * sysdep.h: Likewise.
259
260         * test.c: Likewise.
261
262         * test.h: Likewise.
263
264         * url.c: Likewise.
265
266         * url.h: Likewise.
267
268         * utils.c: Likewise.
269
270         * utils.h: Likewise.
271
272         * wget.h: Likewise.
273
274 2010-05-07  Giuseppe Scrivano  <gscrivano@gnu.org>
275
276         * gnutls.c (wgnutls_close): Use always `close', not `closesocket'.
277
278         * openssl.c (openssl_close): Use always `close', not `closesocket'.
279         (ssl_connect_wget): Get the real socket handle by FD_TO_SOCKET.
280         Define FD_TO_SOCKET if it is not yet defined.
281
282         * Makefile.am (libunittest_a_CPPFLAGS): Add -I$(top_builddir)/lib.
283
284         * mswindows.h: Always include <winsock2.h> and <ws2tcpip.h>.  Do not
285         include <winsock.h>.
286         [! INHIBIT_WRAP]: Remove macro's socket, bind, connect, accept, recv,
287         send, select, getsockname, getpeername, setsockopt, closesocket.
288         Remove wrapped_socket, wrapped_bind, wrapped_connect, wrapped_listen,
289         wrapped_accept, wrapped_recv, wrapped_send, wrapped_select,
290         wrapped_getsockname, wrapped_getpeername, wrapped_setsockopt,
291         wrapped_closesocket prototypes.
292
293         * mswindows.c:  Remove wrapped_socket, wrapped_bind, wrapped_connect,
294         wrapped_listen, wrapped_accept, wrapped_recv, wrapped_send,
295         wrapped_select, wrapped_getsockname, wrapped_getpeername,
296         wrapped_setsockopt, wrapped_closesocket functions.  Remove WRAP macro.
297
298         * host.h [WINDOWS]: Include <winsock2.h> not <winsock.h>.
299
300         * connect.c: Include <sys/socket.h> and <sys/select.h> on any platform,
301         gnulib ensures they exist.  Remove `read', `write', `close' macros.
302
303         * Makefile.am: Copy build_info.c.in only if we are working in a VPATH.
304         (AM_CPPFLAGS): Add directory with generated gnulib files.
305
306 2010-05-06  Giuseppe Scrivano  <gscrivano@gnu.org>
307
308         * Makefile.am (build_info.c): Generate build_info.c in the builddir,
309         not srcdir.
310
311 2010-05-05  Giuseppe Scrivano  <gscrivano@gnu.org>
312
313         * http.c (gethttp): Give a nicer message on a malformed status line.
314
315 2010-05-04  Giuseppe Scrivano  <gscrivano@gnu.org>
316
317         * http.c (gethttp): Check `resp_status' return code and handle
318         errors.
319
320 2010-05-01  Giuseppe Scrivano <gscrivano@gnu.org>
321
322         * http.c (request_send): Specify 1.1 as HTTP version for requests.
323         (skip_short_body): Accept new parameter `chunked'.  New variable
324         `remaining_chunk_size'.  Handle the chunked transfer encoding.
325         (gethttp): New variable `chunked_transfer_encoding`.  Set `keepalive'
326         by default to true.  Check if the server is using the chunked transfer
327         encoding.
328
329         * retr.h: Define `rb_chunked_transfer_encoding'.
330
331         * retr.c (fd_read_body): New variable `chunked'.  New variable
332         `remaining_chunk_size'.  Handle the chunked transfer encoding.
333
334 2010-03-04  Steven Schubiger  <stsc@member.fsf.org>
335
336         * ftp.c (ftp_loop_internal): Omit input file from being
337         deleted after retrieval.
338
339         * retr.c (input_file_url): New function.
340
341         * retr.h: Add declaration for input_file_url.
342
343 2010-03-02  Steven Schubiger  <stsc@member.fsf.org>
344
345         * retr.c (retrieve_from_file): Improve checking for a URL
346         by invoking url_valid_scheme instead of url_has_scheme.
347
348         * url.c (url_valid_scheme): New function.
349
350         * url.h: Add declaration for url_valid_scheme.
351
352 2010-03-02  Steven Schubiger  <stsc@member.fsf.org>
353
354         * retr.c (retrieve_from_file): Free memory of input file.
355
356 2010-03-01  Steven Schubiger  <stsc@member.fsf.org>
357
358         * retr.c (retrieve_url): Retrieve the local filename from ftp_loop.
359         (retrieve_from_file): Return if there's no input file.
360
361         * ftp.c (ftp_loop_internal): Duplicate the local filename into
362         retrieve_url's scope when a valid reference is being passed.
363         (ftp_loop): Call ftp_loop_internal here with passing a
364         reference to the local filename, elsewhere with NULL.
365
366         * ftp.h: Adjust declaration of ftp_loop.
367
368 2010-01-27  Paul Townsend  <aab@purdue.edu>  (tiny change)
369
370         * retr.c (fd_read_body): Be sure to measure timer when time has
371         elapsed, too, not just when we've made progress.
372
373 2010-01-13  Micah Cowan  <micah@cowan.name>
374
375         * openssl.c: Fixed some mixed declarations-and-code.
376
377 2010-01-09  Micah Cowan  <micah@cowan.name>
378
379         * init.c, main.c, http.c, ftp.c, options.h: Renamed
380         --no-match-server-timestamps to --no-use-server-timestamps, and
381         add it to print_help.
382
383 2010-01-09  David Holman  <holman.david@gmail.com>  (tiny change)
384
385         * init.c, main.c, http.c, ftp.c, options.h: Added support for
386         --no-match-server-timestamps.
387
388 2009-12-03  Peter Rosin  <peda@lysator.liu.se>
389
390         * snprintf.c (dopr): Output %p as unsigned.
391
392 2010-01-09  Jeremy Olexa  <darkside@gentoo.org>  (tiny change)
393
394         * init.c: Deal with systems which provide PATH_MAX in
395         sys/param.h rather than limits.h.
396
397 2009-10-09  Steven Schweda  <sms@antinode.info>
398
399         * utils.c: Added characters " : \ | to the list of normal
400         caret-escaped (ODS5) characters in the char_prop[] table.
401
402 2009-09-22  Arvind Jamuna Dixit  <ardsrk@gmail.com>
403
404         * http.c (extract_param, parse_content_disposition): Support
405         RFC 2231 while parsing Content-Disposition header
406
407 2009-10-24  Petr Pisar  <petr.pisar@atlas.cz>
408
409         * openssl.c: Implement support for (multiple) subjectAltNames in
410         X509 certificates, not just the commonName.
411
412 2009-10-09  Micah Cowan  <micah@cowan.name>
413
414         * main.c: Fix declaration of compiled_features.
415
416         * build_info.c.in: Adapt to new input format. Added a check for
417         large-file support. Replaced the "openssl" and "gnutls"
418         advertisements with a single "ssl/foo" advertisement.
419
420 2009-09-30  Micah Cowan  <micah@cowan.name>
421
422         * sysdep.h: Unconditionally include stdbool.h (gnulib has it for
423         systems that don't supply it.)
424
425         * vms.c: Added functions vms_basename(), used to extract the
426         bare executable name from argv[0], and vms_getpass(), a
427         VMS-specific replacement for GNU getpass().
428
429          vms.c: Added global string constants: compilation_string
430         (NULL), link_string (NULL), and version_string (real).
431
432 2009-09-24  Micah Cowan  <micah@cowan.name>
433
434         * vms.c: Moved from vms/vms.c.
435
436         * sysdep.h: Use proper prototypes for snprintf, vsnprintf (thanks
437         to Steven Schweda).
438
439 2009-09-24  Steven Schweda  <sms@antinode.info>
440
441         * main.c (print_version): Remove VMS-conditional build info
442         string; the new VMS builders use OS_TYPE.
443
444         * ftp.c (getftp): Fix accidental use of target -> targ.
445
446 2009-09-24  Micah Cowan  <micah@cowan.name>
447
448         * host.c (host_errstr): host_errstr should return const char *.
449
450 2009-09-22  Micah Cowan  <micah@cowan.name>
451
452         * Makefile.am (version.c): Explicitly tell Mercurial where the
453         top-source repository should be, so it doesn't accidentally use
454         the repository for a containing directory (for instance, if the
455         user's home directory is managed by a Mercurial repo). Also
456         ensures we find the repository, even if the build directory is
457         outside the source directory.
458
459         * wget.h: define WINDOWS if _WIN32 or __WIN32__ is defined, but
460         not __CYGWIN__.
461
462         * mswindows.c (xsleep): Check for availability of the sleep
463         function, in addition to the usleep function.
464         (get_winsock_error, windows_strerror): Removed (gnulib already
465         supplies this functionality).
466
467         * mswindows.h [NEED_GAI_STRERROR]: define gai_strerror
468         to (gnulib's) strerror, rather than windows_strerror. Removed
469         error macro definitions provided by gnulib.
470         (windows_strerror): Removed (gnulib already supplies this
471         functionality).
472
473         * host.c: Don't declare h_errno when building on Windows.
474
475         * Makefile.am (LIBS): Added @W32LIBS@.
476         (EXTRA_wget_SOURCES): Removed (it's in LIBOBJ now).
477         (version.c): Removed dependency on $(LDADD), since it may include
478         dependencies that are not part of the Wget sources (-lwsock32, for
479         instance).
480
481         * openssl.c (ssl_check_certificate): Avoid reusing the same buffer
482         space for successive quoted arguments. Thanks to Steven Schweda
483         for pointing out the problem.
484
485 2009-09-21  Micah Cowan  <micah@cowan.name>
486
487         * progress.c (update_speed_ring): "the the" -> "the".
488
489         * css-url.c, iri.c, mswindows.c: Removed assert.h inclusion (not
490         using it).
491
492 2009-09-11  Steven Schweda  <sms@antinode.info>
493
494         * utils.c, utils.h (fopen_excl): Make second argument an int,
495         rather than a bool (so it can handle the appropriate VMS version
496         of the flag).
497
498         * main.c (print_version): Don't print LOCALEDIR unless NLS is
499         enabled.
500
501         * http.c (gethttp): Pass FOPEN_BIN_FLAG, instead of true.
502
503         * ftp.c (ftp_retrieve_glob): Cast strcmp to assign to cmp, for a
504         silly HP build environment.
505
506 2009-09-08  Steven Schubiger  <stsc@member.fsf.org>
507
508         * main.c, init.c: Mark the --preserve-permissions and
509         --html-extension option as deprecated.
510
511 2009-09-06  Micah Cowan  <micah@cowan.name>
512
513         * ftp.c (getftp, ftp_loop_internal): Separate "len" input/output
514         parameter (with different meanings for input and output), into two
515         separate parameters, one input (passed_expected_bytes) and one
516         output (qtyread). Fixes bug #26870.
517
518 2009-09-05  Steven Schubiger  <stsc@member.fsf.org>
519
520         * retr.h: Declare set_local_file() to avoid build warnings.
521
522 2009-09-05  Gisle Vanem  <gvanem@broadpark.no>
523
524         * connect.c, init.c, main.c, openssl.c, options.h:  Replace
525         "ifdef MSDOS" with "ifdef USE_WATT32" since DOS-targets in fact
526         use the Watt-32 tcp/ip stack.
527
528 2009-09-04  Micah Cowan  <micah@cowan.name>
529
530         * Makefile.am: Move build_info.c to wget_SOURCES from
531         nodist_wget_SOURCES, reduce dependencies, and invoke build_info.pl
532         in its new home, $(top_srcdir)/build-aux.
533
534 2009-09-03  Micah Cowan  <micah@cowan.name>
535
536         * ftp-ls.c (ftp_parse_vms_ls): Replace use of localtime_r with
537         localtime, as not all platforms have localtime_r.
538
539         * Makefile.am (wget_SOURCES): Rearranged some of the file order,
540         so .c files and .h files are apart. Added gettext.h, so that it
541         shows up in the dist.
542
543 2009-09-02  Micah Cowan  <micah@cowan.name>
544
545         * gettext.h: Refreshed from gettext 0.17.
546
547         * test.c: Added definition of program_name variable, required by
548         lib/error.c (libgnu.a). Doesn't cause problems until you try to
549         build on a non-GNU system...
550
551         * build_info.c.in: Removed useless "+gettext" feature ad.
552
553 2009-08-29  Steven Schubiger  <stsc@member.fsf.org>
554
555         * convert.c (local_quote_string): Percent-encode semicolons
556         in local file strings.
557
558 2009-08-27  Micah Cowan  <micah@cowan.name>
559
560         * wget.h (uerr_t): added new VERIFCERTERR code for SSL certificate
561         problems. Marked exit codes that are defined but never used (at
562         least, the ones I could find).
563
564         * retr.c, retr.h (retrieve_url): Added a new boolean argument to
565         determine whether an exit status should be recorded.
566         (retrieve_from_file): Adjust to new retrieve_url signature.
567
568         * res.c (res_retrieve_file): Don't have retrieve_url record an
569         exit status for robots.txt.
570
571         * recur.c (retrieve_tree): Adjust to new retrieve_url signature.
572
573         * main.c (main): Use the exit status stored by retrieve_url.
574
575         * http.c (gethttp): Distinguish certificate verification problems
576         from SSL connection issues.
577         (http_loop): Handle newly-created VERIFCERTERR error code.
578
579         * exits.c, exits.h: Newly added.
580
581         * Makefile.am (wget_SOURCES): Add exits.c and exits.h.
582
583 2009-08-27  Micah Cowan  <micah@cowan.name>
584
585         * http.c (gethttp): Make sure Wget heeds cookies when they
586         are sent with a 401 response; or any other sort of response for
587         that matter (#26775).
588
589 2009-08-19  Micah Cowan  <micah@cowan.name>
590
591         * openssl.c (ssl_check_certificate): Only warn about an attack if
592         the hostname would otherwise have matched. Also some formatting
593         cleanup.
594
595 2009-08-19  Joao Ferreira  <joao@joaoff.com>
596
597         * openssl.c (ssl_check_certificate): Detect embedded NUL
598         characters in the SSL certificate common name.
599
600 2009-08-17  Tony Lewis  <tlewis@exelana.com>
601
602         * http.c (gethttp): Ensure that we parse Content-Length before we
603         attempt to refer to its value. Without this fix, NTLM support was
604         completely buggered. #27192
605
606 2009-08-09  Michael Baeuerle  <michael.baeuerle@gmx.net>
607
608         * ftp.c: #include <strings.h> for strcasecmp.
609
610 2009-07-28  Micah Cowan  <micah@cowan.name>
611
612         * main.c (option_data): Rename --html-extension to
613         --adjust-extension.
614         (print_help): Ditto.
615
616         * options.h (struct option): Rename html_extension to
617         adjust_extension.
618         * http.c (gethttp): Ditto.
619         * convert.c (local_quote_string): Ditto.
620
621         * init.c (commands): Add "adjustextension", and reflect rename
622         change for opt.adjust_extension, for both "adjustextension" and
623         "htmlextension".
624
625 2009-07-27  Micah Cowan  <micah@cowan.name>
626
627         * options.h (struct options): Added restrict_files_nonascii
628         boolean field.
629
630         * url.c (FILE_CHAR_TEST): Add check for chars outside the ASCII
631         range.
632
633         * init.c (defaults): Add restrict_files_nonascii to initialization.
634         (cmd_spec_restrict_file_names): Allow parsing of "ascii" keyword.
635
636 2009-07-27  Marcel Telka  <marcel@telka.sk>
637
638         * iri.c (do_conversion): Typo: invalide -> invalid
639
640 2009-07-27  Petr Pisar  <petr.pisar@atlas.cz>
641
642         * main.c (print_help): Fixed a couple typos.
643
644 2009-07-26  Micah Cowan  <micah@cowan.name>
645
646         * main.c (option_data): Rename --locale option to --local-encoding
647         (print_help): Document --no-iri, --local-encoding, and
648         --remote-encoding, within usage message. Remove defunct
649         --preserve-permissions.
650
651 2009-07-23  Micah Cowan  <micah@cowan.name>
652
653         * progress.c (get_eta): Change "Translation note" in comment to
654         "TRANSLATORS", so it actually appears in wget.pot.
655
656 2009-07-06  Micah Cowan  <micah@cowan.name>
657
658         * main.c (print_help): Improve documentation of --base.
659
660 2009-07-05  Micah Cowan  <micah@cowan.name>
661
662         * html-url.c (tag_handle_meta): Handle meta name="robots"
663         properly: deal with whitespace, commas after...
664
665         * netrc.c (parse_netrc): Rename local-scope variable "quote" to
666         "qmark", to avoid conflict with the function name.
667
668 2009-07-05  Petr Pisar  <petr.pisar@atlas.cz>
669
670         * main.c (print_version): Mark initial line for translation, along
671         with (env), (user), and (system). Change copyright year to 2009.
672
673         * http.c (http_loop): Space after colon.
674
675         * gnutls.c (ssl_check_certificate): Use quote function, rather
676         than explicit quotes.
677
678 2009-07-05  Micah Cowan  <micah@cowan.name>
679
680         * Makefile.am (version.c): Add dependency on configure.ac.
681
682         * iri.c: Mark some strings for translation.
683
684 2009-07-04  Steven Schweda  <sms@antinode.info>
685
686         * wget.h (ORIG_SFX): Macro added, to supply an alternative "_orig"
687         suffix on VMS.
688
689         * connect.c, host.c, host.h, main.c: Include "vms_ip.h" rather
690         than <netdb.h> on VMS systems.
691
692         * convert.c (write_backup_file): Use "_orig" rather than ".orig"
693         on VMS.
694
695         * ftp-basic.c (ftp_list): Don't use LIST -a on VMS servers.
696
697         * ftp.c [__VMS]: Include "vms.h"
698         * ftp.c (getftp): Disable some unhelpful "for VMS" code. Pass the
699         OS type to ftp_list.
700         (getftp) [__VMS]: Alter the filename as required, and invoke fopen
701         with extra optional arguments.
702         (ftp_retrieve_list): Set permissions before setting the times.
703
704         * ftp-ls.c [__VMS]: Various improvements.
705
706         * http.c (SET_USER_AGENT): Added. Include operating-system info in
707         the User-Agent header.
708         (gethttp): Use ORIG_SFX macro.
709         (gethttp) [__VMS]: invoke fopen with extra arguments to
710         communicate file type.
711         (http_loop): Add cast to time_t.
712
713         * init.c (wgetrc_user_file_name) [__VMS]: Adjustments for where to
714         find the .wgetrc.
715
716         * log.c: Adjustments to improve handling of log files on VMS.
717
718         * main.c [__VMS]: Added --ftp-stmlf option (and associated
719         documentation). Adjust description of backup-suffixes, as they now
720         differ for VMS.
721         (print_help, print_version): Include OS type in version
722         information.
723         (main) [__VMS]: Invoke fopen with extra options, to specify file
724         type information.
725
726         * netrc.c (search_netrc) [__VMS]: Fix .netrc-finding.
727
728         * openssl.c, openssl.h (ssl_connect_wget): Renamed from ssl_connect.
729
730         * options.h (struct options): Add ftp_stmlf field.
731
732         * retr.c (write_data) [__VMS]: Avoid fflush.
733
734         * url.c [__VMS]: Include vms.h.
735         * url.c (url_file_name) [__VMS]: Handle naming as required for VMS.
736
737         * utils.c [__VMS]: Include vms.h. Various added facilities for VMS
738         needs.
739
740 2009-07-04  Micah Cowan  <micah@cowan.name>
741
742         * main.c (print_version): Allow localization of the version-info
743         labels, eschew attempts at alignment (which is complicated when
744         handling translated strings), and avoid using printf() with
745         variable-stored format strings that lack conversion
746         specifications.
747         (format_and_print_line): For similar reasons, don't calculate
748         line-continuation tabulation based on the number of bytes in a
749         string.
750
751 2009-07-04  Steven Schubiger  <stsc@member.fsf.org>
752
753         * url.c (url_parse): If an URL scheme is invalid, distinguish
754         between an unsupported or missing scheme.
755
756         * url.c: Add a "missing scheme" entry to parse_errors.
757
758 2009-07-03  Micah Cowan  <micah@cowan.name>
759
760         * iri.h (iri_dup): Provide macro definition for when IRIs are
761         disabled.
762
763         * Makefile.am (LIBS): Added @LIBICONV@.
764         (wget_SOURCES): Added iri.h.
765         (EXTRA_wget_SOURCES): Added iri.c, so it gets packaged even if IRI
766         support was disabled.
767
768 2009-07-02  Micah Cowan  <micah@cowan.name>
769
770         * recur.c (url_enqueue): Quote enqueue/dequeue debug messages.
771
772         * html-url.c (append_url): Change "merge()" quoting style from
773         locale_quoting_style to escape_quoting_style.
774
775 2009-07-01  Micah Cowan  <micah@cowan.name>
776
777         * retr.c (retrieve_url): Use the existing "redirect" label,
778         instead of superfluous "second_try". Removed no-longer-accurate
779         debug statement. Use the "newloc" parameter to store the fallback
780         URL, when IRI version was rejected.
781
782         * recur.c (retrieve_tree): Always use the parsed URL for tracking
783         the Referer, since that's the one we actually requested (if
784         there's a difference in terms of percent-encodings and such).
785
786 2009-07-01  Steven Schubiger  <stsc@member.fsf.org>
787
788         * Makefile.am: Add a rule to generate build_info.c and list
789         the build_info.c.in file in EXTRA_DIST. Adjust elsewhere
790         where needed.
791
792         * build_info.c: Remove this static source file.
793
794         * build_info.c.in: Data for generation of build_info.c.
795
796 2009-06-29  Micah Cowan  <micah@cowan.name>
797
798         * html-url.c (append_url): Quote some more arguments that might
799         contain characters that are inappropriate to display for the
800         current locale.
801
802         * retr.c (retrieve_from_file): Be sure to pass iri information
803         when parsing an input-fle url, and be sure to hand a clean iri
804         struct, off to retrieve_tree and retrieve_url.
805
806         * iri.c, iri.h (iri_dup): Added.
807
808         * retr.c (retrieve_url): Re-parse for IRI fallback.
809
810         * main.c (main): Set up iri before the url_parse invocation (so we
811         can use it).
812
813 2009-06-20  Jay Krell  <jay.krell@cornell.edu>
814
815         * sysdep.h (_ALL_SOURCE): (small change) Define the _ALL_SOURCE
816         macro on INTERIX systems. (I switched the location from ftp.c to
817         sysdep.h --mjc)
818
819 2009-06-15  Micah Cowan  <micah@cowan.name>
820
821         * ftp.c (getftp): If we can't accept the connection, return
822         CONERROR, not whatever the contents of err happens to be. Fixes
823         bug #25015.
824
825         * retr.c (fd_read_body): Make both args to progress_create
826         consistent, resulting in an accurate progress display. Fixes bug
827         #24948.
828
829 2009-06-14  Micah Cowan  <micah@cowan.name>
830
831         * Makefile.am (wget_SOURCES): css-tokens.h needs to ship with
832         dist, too.
833
834 2009-06-13  Micah Cowan  <micah@cowan.name>
835
836         * init.c: Rename setval_internal_wrapper to setval_internal_tilde,
837         ensure we don't "replace" the tilde unless it's actually
838         present. Clean up some minor GNU style issues.
839
840 2009-06-13  Julien Pichon  <julienpichon7@gmail.com>
841
842         * init.c: Handle tilde-expansion in wgetrc commands, without
843         resorting to setting/unsetting globals to change behavior in one
844         call location.
845
846 2009-06-12  Micah Cowan  <micah@cowan.name>
847
848         * host.c: Include <sys/types.h> before <sys/socket.h>. Not
849         required by POSIX any more, but some older systems (such as
850         FreeBSD 4.1) still need it, and it doesn't seem like it could
851         hurt...
852
853         * build_info.c (library): Handle "https" as a feature in its own
854         right, apart from "gnutls" and "openssl".
855
856         * host.c: Declare h_errno if no declaration is provided. Idea
857         thanks to Maciej W. Rozycki.
858
859 2009-06-11  Xin Zou  <zouxin2008@gmail.com>
860
861         * http.c (gethttp): Fix some memory leaks.
862
863 2009-06-11  Micah Cowan  <micah@cowan.name>
864
865         * http.c (http_atotm): Handle potential for setlocale's return
866         value to be static storage. Thanks to Benjamin Wolsey
867         <bwy@benjaminwolsey.de>.
868
869         * sysdep.h: Need NAMESPACE_TWEAKS on non-Linux glibc-based
870         systems, too. Thanks to Robert Millan.
871
872 2009-05-28  Steven Schubiger  <stsc@member.fsf.org>
873
874         * ftp.c (ftp_get_listing): Update the "listing file"
875         string after calling ftp_loop_internal().
876
877 2009-05-27  Steven Schubiger  <stsc@member.fsf.org>
878
879         * ftp.c (ftp_get_listing): Duplicate the "listing file"
880         string to avoid memory corruption when FOPEN_EXCL_ERR is
881         encountered.
882
883 2009-05-17  Steven Schubiger  <stsc@member.fsf.org>
884
885         * progress.c (eta_to_human_short): Fix the remaining hours
886         to be displayed. Spotted by Tadeu Martins (#26411).
887
888 2009-04-24  Micah Cowan  <micah@cowan.name>
889
890         * hash.c: Change stdint.h inclusion to use HAVE_STDINT_H, not C99
891         check.
892
893         * connect.c: stdint.h inclusion added.
894
895         Thanks to Markus Duft <mduft@gentoo.org> for a similar patch.
896
897 2009-04-20  Micah Cowan  <micah@cowan.name>
898
899         * Makefile.am (version.c): Fix unportable use of "echo -n".
900
901 2009-04-13  Steven Schubiger  <stsc@member.fsf.org>
902
903         * ftp.c (ftp_retrieve_list): Move the duplicated code that
904         determines the local file to a function.
905
906         * http.c (http_loop): Likewise.
907
908         * retr.c (set_local_file): New function.
909
910 2009-04-11  Steven Schubiger  <stsc@member.fsf.org>
911
912         * init.c (initialize): Run a custom SYSTEM_WGETRC when
913         provided as an environment variable.
914
915 2009-02-27  Gisle Vanem  <gvanem@broadpark.no>
916
917         * main.c (main): "freopen (NULL,.." causes an assertion in MSVC
918         debug-mode.  I.e. NULL isn't legal. But the "CONOUT$" device works
919         fine.
920
921 2009-02-27  Steven Schubiger  <stsc@member.fsf.org>
922
923         * ftp.c (ftp_loop_internal): Don't claim for FTP retrievals
924         when writing to standard output either that the document
925         has been saved. Addresses bug #20520 again.
926
927 2009-02-21  Steven Schubiger  <stsc@member.fsf.org>
928
929         * http.c (http_loop): When a document is written to
930         standard output, don't claim it has been saved to a file.
931         Addresses bug #20520.
932
933 2009-02-18  Steven Schubiger  <stsc@members.fsf.org>
934
935         * recur.h: Remove the dangling declaration for recursive_cleanup().
936
937 2009-02-01  Gerardo E. Gidoni  <gerel@gnu.org>
938
939         * main.c, recur.c, recur.h, res.c, retr.c, retr.h: restructured code to
940         avoid multiple 'url_parse' calls.
941
942 2008-11-13  Micah Cowan  <micah@cowan.name>
943
944         * http.c (gethttp): Don't do anything when content-length >= our
945         requested range.
946
947 2008-11-27  Saint Xavier  <wget@sxav.eu>
948
949         * http.c (gethttp): Move authentication code before filename
950         allocation avoiding fallbacking on default filename because
951         "Content-Disposition" header wasn't present before authentcation
952         has been completed. Fixes bug #24862.
953
954 2008-11-16  Steven Schubiger  <stsc@members.fsf.org>
955
956         * main.c: Declare and initialize the numurls counter.
957
958         * ftp.c, http.c: Make the counter visible here and use it.
959
960         * options.h: Remove old declaration from options struct.
961
962 2008-11-15  Steven Schubiger  <stsc@members.fsf.org>
963
964         * init.c (defaults): Set default waitretry value.
965
966 2008-11-14  Steven Schubiger  <stsc@members.fsf.org>
967
968         * main.c (format_and_print_line): Use a custom format
969         string for printing leading spaces.
970
971 2008-11-12  Micah Cowan  <micah@cowan.name>
972
973         * ftp-ls.c (ftp_index): HTML-escape dir name in title, h1, a:href.
974
975 2008-11-12  Alexander Belopolsky  <alexander.belopolsky@gmail.com>
976
977         * url.c, url.h (url_escape_unsafe_and_reserved): Added.
978
979         * ftp-ls.c (ftp_index): URL-escape, rather than HTML-escape, the
980         filename appearing in the link.
981
982 2008-11-12  Steven Schubiger  <stsc@members.fsf.org>
983
984         * main.c (print_version): Hand the relevant
985         xstrdup/xfree calls back to format_and_print_line().
986
987 2008-11-11  Steven Schubiger  <stsc@members.fsf.org>
988
989         * main.c (format_and_print_line): Move both the memory
990         allocating and freeing bits upwards to print_version().
991
992 2008-11-10  Saint Xavier  <wget@sxav.eu>
993
994         * http.c: Make --auth-no-challenge works with user:pass@ in URLs.
995
996 2008-11-05  Micah Cowan  <micah@cowan.name>
997
998         * ftp.c (print_length): Should print humanized "size remaining"
999         only when it's at least 1k.
1000
1001 2008-10-31  Micah Cowan  <micah@cowan.name>
1002
1003         * main.c (print_version): Add information about the mailing list.
1004
1005 2008-10-31  Alexander Drozdov  <dzal_mail@mtu-net.ru>
1006
1007         * retr.c (fd_read_hunk): Make assert deal with maxsize == 0.
1008
1009         * ftp-ls.c (clean_line): Prevent underflow on empty lines.
1010
1011 2008-10-26  Gisle Vanem  <gvanem@broadpark.no>
1012
1013         * main.c (format_and_print_line): Put variables on top of
1014         blocks (not all compilers are C99). Add an extra '\n' if
1015         SYSTEM_WGETRC isn't defined and printed.
1016
1017 2008-09-09  Gisle Vanem  <gvanem@broadpark.no>
1018
1019         * url.c (url_error): Use aprintf, not asprintf.
1020
1021 2008-09-09  Micah Cowan  <micah@cowan.name>
1022
1023         * init.c (home_dir): Save the calculated value for home,
1024         to avoid duplicated work on repeated calls.
1025         (wgetrc_file_name) [WINDOWS]: Define and initialize home var.
1026
1027         * build_info.c, main.c: Remove unnecessary extern vars
1028         system_wgetrc and locale_dir.
1029
1030         * main.c: Define program_name for lib/error.c.
1031
1032 2008-09-02  Gisle Vanem  <gvanem@broadpark.no>
1033
1034         * mswindows.h: Must ensure <stdio.h> is included before
1035         we redefine ?vsnprintf().
1036
1037 2008-08-08  Steven Schubiger  <stsc@members.fsf.org>
1038
1039         * main.c, utils.h: Removed some dead conditional DEBUG_MALLOC code.
1040
1041 2008-08-03  Micah Cowan  <micah@cowan.name>
1042
1043         * main.c (print_help): Added --default-page.
1044
1045 2008-08-01  Joao Ferreira  <joao@joaoff.com>
1046
1047         * init.c, main.c, options.h, url.c: Added option --default-page
1048         to support alternative default names for index.html
1049
1050 2008-08-03  Micah Cowan  <micah@cowan.name>
1051
1052         * build_info.c, css-url.c: #include wget.h, not config.h.
1053
1054 2008-08-03  Steven Schubiger  <stsc@members.fsf.org>
1055
1056         * url.c, url.h (url_error): Better messages for unsupported
1057         schemes, especially https.
1058
1059         * html-url.c, recur.c, retr.c: Adjust to new url_error
1060         invocation, and free result.
1061
1062 2008-07-17  Steven Schubiger  <stsc@members.fsf.org>
1063
1064         * retr.c (retrieve_from_file): When given an URL as input file,
1065         use it as baseref if none was specified and treat the input file
1066         as HTML if its content type is text/html.
1067
1068         * init.c (cleanup): Free the memory associated with the base
1069         option (when DEBUG_MALLOC is defined).
1070
1071 2008-07-02  Xavier Saint  <wget@sxav.eu>
1072
1073         * iri.c, iri.h  : New function idn_decode() to decode ASCII
1074         encoded hostname to the locale.
1075
1076         * host.c : Show hostname to be resolved both in locale and
1077         ASCII encoded.
1078
1079 2008-06-28  Steven Schubiger  <stsc@members.fsf.org>
1080
1081         * retr.c (retrieve_from_file): Allow for reading the links from
1082         an external file (HTTP/FTP).
1083
1084 2008-06-26  Xavier Saint  <wget@sxav.eu>
1085
1086         * iri.c, iri.h : New functions locale_to_utf8() and
1087         idn_encode() adding basic capabilities of IRI/IDN.
1088
1089         * url.c : Convert URLs from locale to UTF-8 allowing a basic
1090         support of IRI/IDN
1091
1092 2008-06-25  Steven Schubiger  <stsc@members.fsf.org>
1093
1094         * ftp.c (getftp): When spidering a FTP URL, emit a diagnostic
1095         message if the remote file exists.
1096
1097 2008-06-24  Steven Schubiger  <stsc@members.fsf.org>
1098
1099         * http.c (http_loop): Replace escnonprint() occurence with
1100         a quotearg_style() call.
1101
1102 2008-06-24  Micah Cowan  <micah@cowan.name>
1103
1104         * ftp-ls.c (ftp_index): Don't assume time_t* is compatible with
1105         long*. Fixes crash on Windows, and probably other systems.
1106
1107 2008-06-22  Steven Schubiger  <stsc@members.fsf.org>
1108
1109         * http.c: Explicitly initialize and deallocate the message
1110         string used by the -nv --spider functionality.
1111
1112 2008-06-22  Steven Schubiger  <schubiger@gmail.com>
1113
1114         * http.c: Make -nv --spider include the file's name when it
1115         exists.
1116
1117 2008-06-22  Micah Cowan  <micah@cowan.name>
1118
1119         * Makefile.am (version.c): Fixed version string invocation so it
1120         once again can't result in unterminated strings, made all the
1121         string vars pointers-to-const, and moved line lengths
1122         below 80 (in Makefile.am, not in version.c).
1123
1124 2008-06-19  Xavier Saint  <wget@sxav.eu>
1125
1126         * iri.c, iri.h : New function check_encoding_name() as
1127         a preliminary encoding name check.
1128
1129         * main.c, iri.c : Make use of check_encoding_name().
1130
1131 2008-06-19  Xavier Saint  <wget@sxav.eu>
1132
1133         * iri.c : Include missing stringprep.h file and add a
1134         cast.
1135
1136         * init.c : set a default initial value for opt.enable_iri,
1137         opt.locale and opt.encoding_remote.
1138
1139 2008-06-19  Xavier Saint  <wget@sxav.eu>
1140
1141         * iri.c, iri.h : Add a new function find_locale() to find
1142         out the local system encoding.
1143
1144         * main.c : Make use of find_locale().
1145
1146 2008-06-19  Xavier Saint  <wget@sxav.eu>
1147
1148         * html-url.c : Add "content-type" meta tag parsing for
1149         retrieving page encoding.
1150
1151         * iri.h : Make no-op version of parse_charset() return
1152         NULL.
1153
1154 2008-06-16  Micah Cowan  <micah@cowan.name>
1155
1156         * http.c (http_loop): When hstat.len is higher than the
1157         successfully completed content's length, but it's because we
1158         _set_ it that way, don't abort.
1159
1160 2008-06-14  Xavier Saint  <wget@sxav.eu>
1161
1162         * iri.c, iri.h : New files.
1163
1164         * Makefile.am : Add files iri.h and conditional iri.c.
1165
1166         * build_info.c : Add compiled feature "iri".
1167
1168         * http.c : include iri.h and parse charset from Content-Type
1169         header.
1170
1171         * init.c, main.c, options.h : if an options isn't supported
1172         at compiled time, don't get rid off it and show a dummy
1173         message instead if they are used.
1174
1175 2008-06-13  Micah Cowan  <micah@cowan.name>
1176
1177         * build_info.c: ENABLE_NTLM, not HAVE_NTLM; distinguish OpenSSL
1178         from "ssl".
1179
1180 2008-06-13  Madhusudan Hosaagrahara <com.gmail.hrmadhu>
1181
1182         * Makefile.am, main.c, init.c, init.h, build_info.c: Adds build
1183         information to the --version command line option. Fixes bug
1184         #20636.
1185
1186 2008-06-01  Micah Cowan  <micah@cowan.name>
1187
1188         * main.c [WINDOWS]: Reopen stdout in binary mode, when -O - is
1189         given.
1190
1191 2008-05-31 Micah Cowan  <micah@cowan.name>
1192
1193         * html-url.c, http.c: Avoid casts in a couple spots.
1194
1195 2008-05-30 Henri Häkkinen  <henux@users.sourceforge.net>
1196
1197         * cookies.c, ftp-basic.c, hash.c, html-url.c, http-ntlm.c, http.c,
1198         init.c, log.c, main.c, progress.c, ptimer.c, spider.c, url.c,
1199         utils.c: Minor changes to silence warnings when using -Wall.
1200
1201 2008-05-26  Steven Schubiger  <schubiger@gmail.com>
1202
1203         * ftp.c (getftp): Replace last remaining invocation of escnonprint
1204         with gnulib quote.
1205
1206 2008-05-19  Micah Cowan  <micah@cowan.name>
1207
1208         * main.c (main): Password prompt should be done only once (not
1209         once per argument), and should be done prior to the background
1210         fork.
1211
1212 2008-05-17  Steven Schubiger  <schubiger@gmail.com>
1213
1214         * init.c (defaults): Set the preferred IP family to `none' by
1215         default.
1216
1217 2008-05-17  Kenny Parnell  <k.parnell@gmail.com>
1218
1219         (cmd_spec_prefer_family): Initialize prefer_family to prefer_none.
1220
1221 2008-05-17  Micah Cowan  <micah@cowan.name>
1222
1223         * main.c (main): Handle Ctrl-D on command-line.
1224
1225 2008-05-15  Steven Schubiger  <schubiger@gmail.com>
1226
1227         * ftp.c (getftp): Verify that the file actually exists in FTP, by
1228         checking it against the listing.
1229
1230 2008-05-15  Micah Cowan  <micah@cowan.name>
1231
1232         * main.c (prompt_for_password): Use the quote module.
1233
1234 2008-05-14  Micah Cowan  <micah@cowan.name>
1235
1236         * ftp.c (ftp_retrieve_list): Symlinks and other filenames
1237         should be fully quoted.
1238
1239 2008-05-12  Micah Cowan  <micah@cowan.name>
1240
1241         * main.c (main): Downgrade "-N with -O" to a warning, and switch
1242         it off to avoid confusing messages.
1243
1244 2008-04-30  Micah Cowan  <micah@cowan.name>
1245
1246         * progress.c (create_image): Fix glitch where too many spaces are
1247         printed on lines that don't display the ETA, in multibyte
1248         locales.
1249
1250 2008-04-30  Steven Schubiger  <stsc@members.fsf.org>
1251
1252         * main.c (main): New code that handles prompting for passwords
1253         when specified explicitly via command-line option (using gnulib's
1254         getpass-gnu module).
1255         (main): Include the getpass header.
1256
1257         * init.c: Add "ask-password" to the list of recognized commands.
1258
1259         * options.h: Add an according boolean member to the options
1260         struct.
1261
1262         * sysdep.h: Comment the defines __EXTENSIONS__ and _GNU_SOURCE
1263         out, because they're now defined independently by config.h.
1264
1265 2008-04-27  Rabin Vincent  <rabin@rab.in>
1266
1267         * http.c (http_loop): Fix return for the case where we don't
1268         download a file because of -nc.
1269
1270 2008-04-27  Micah Cowan  <micah@cowan.name>
1271
1272         * url.c (path_simplify): Go back to allowing leading ".." in
1273         paths, but only for FTP URLs.
1274         (test_path_simplify): Add scheme-specificness to tests, adapt for
1275         mu_run_test.
1276
1277         * test.c (all_tests): Add test_path_simplify.
1278
1279         * main.c (main): Downgrade -r, -p with -O to a warning rather than
1280         an error; elaborate just a bit more for other -O combination
1281         cases.
1282
1283 2008-04-26  Micah Cowan  <micah@cowan.name>
1284
1285         * http.c (gethttp): Move proxy CONNECT handling to below the
1286         retry_with_auth label, to deal with properly reconnecting to
1287         proxies when we need to authenticate.
1288
1289 2008-04-25  Micah Cowan  <micah@cowan.name>
1290
1291         * Makefile.am: -I foo -> -Ifoo.
1292
1293 2008-04-24  Micah Cowan  <micah@cowan.name>
1294
1295         * main.c: Revised usage description of --convert-links to apply
1296         to CSS as well as to HTML.
1297
1298 2008-04-23  Micah Cowan  <micah@cowan.name>
1299
1300         * utils.c (test_dir_matches_p): Added a test for the case
1301         described in issue #20518.
1302
1303 2008-04-22  Micah Cowan  <micah@cowan.name>
1304
1305         * Makefile.am, css.lex, css.l: Renamed css.lex to css.l.
1306         * recur.c (retrieve_tree): Fix typo to allow text/css files to
1307         be parsed.
1308
1309 2008-04-22  Ted Mielczarek  <ted.mielczarek@gmail.com>
1310
1311         * css.lex, css-url.c, css-url.h: Added to implement support for
1312         parsing CSS in Wget.
1313         * convert.c: Convert links in CSS files, too.
1314         * convert.h (convert_options): Added for options link_css_p,
1315         link_expect_css.
1316         * convert.h: Added prototype for new register_css function.
1317         * html-parse.c: Added support for parsing element content, in
1318         addition to tag starts and ends.
1319         * html-parse.h (taginfo): Added delimiter fields for element
1320         content.
1321         * html-url.h: Added.
1322         * html-url.c (append_url): No longer internal-linkage only. Now
1323         takes position and size as explicit parameters.
1324         * html-url.c: Use new html-url.h header, add support for
1325         handling of "style" HTML attributes. Mark URIs obtained from
1326         link tags with rel="stylesheet" with link_expect_css. Adapt
1327         uses of append_url to supply the newly-added parameters for
1328         position and size.
1329         * http.c: Add detection for when the content-type is text/css;
1330         and ensure that such files have the ".css" filename extension,
1331         when --convert-links is active.
1332         * recur.h: Remove declarations for functions found in
1333         html-url.c (moved to html-url.h).
1334         * recur.c: Add support for culling links from CSS files, too,
1335         and tracking for when we're expecting the file to be CSS (even
1336         when its content type isn't text/css).
1337         * retr.c (retrieve_url): Add registration of CSS files.
1338         * wget.h: Added TEXTCSS to dt flags enum.
1339         * Makefile.am: Added css.lex, css-url.c, css-url.h, html-url.h
1340         to wget_SOURCES.
1341
1342 2008-04-22  Jim Paris  <jim@jtan.com>
1343
1344         * openssl.c (ssl_init): Enable combined certificate/key in
1345         single file (apparent regression from ~1.9). Resolves issue
1346         #22767.
1347
1348 2008-04-22  Steven Schubiger  <schubiger@gmail.com>
1349
1350         * http.c (print_response_line): Changed to make responses always
1351         be logged, even in --quiet mode, if --server-response was
1352         specified. This is to bring http.c's handling of the situation
1353         in line with ftp.c's.
1354
1355 2008-04-22  Pranab Shenoy  <pranab.loosinit.shenoy@gmail.com>
1356
1357         * init.c: Added test_commands_sorted unit test to check is
1358         commands are sorted.  Fixes bug #21245.
1359
1360         * test.c: Added test_commands_sorted to the test suite.
1361
1362 2008-04-22  Rabin Vincent  <rabin@rab.in>
1363
1364         * ftp.c (ftp_get_listing): Only remove .listing if it has been
1365         created.
1366
1367 2008-04-22  Alain Guibert  <alguibert+bts@free.fr>
1368
1369         * test.h (mu_run_test): Move declaration before statements, for
1370         C90 conformance. Fixes bug #22789.
1371
1372 2008-04-22  Mike Frysinger  <vapier@gentoo.org>
1373
1374         * Makefile.am: Move @LIBS@ after other libraries, for better
1375         static-linking support. Fixes bug #22143.
1376
1377 2008-04-16  Steven Schubiger  <schubiger@gmail.com>
1378
1379         * ftp.c: Use Gnulib's quote function for printing filenames and
1380         such.
1381         * connect.c: Likewise.
1382         * convert.c: Likewise.
1383         * cookies.c: Likewise.
1384         * ftp-opie.c: Likewise.
1385         * gnutls.c: Likewise.
1386         * init.c: Likewise.
1387         * log.c: Likewise.
1388         * mswindows.c: Likewise.
1389         * openssl.c: Likewise.
1390         * progress.c: Likewise.
1391         * recur.c: Likewise.
1392         * res.c: Likewise.
1393         * utils.c: Likewise.
1394
1395 2008-04-16  Steven Schubiger  <schubiger@gmail.com>
1396
1397         * sysdep.h: Comment the defines __EXTENSIONS__ and _GNU_SOURCE
1398         out, because they're now defined independently by config.h.
1399
1400 2008-04-14  Steven Schubiger  <schubiger@gmail.com>
1401
1402         * http.c: Use Gnulib's quote function for printing filenames and
1403         such.
1404         * wget.h: #include "quote.h".
1405
1406 2008-04-12  Rabin Vincent  <rabin@rab.in>
1407
1408         * mswindows.c (fake_fork_child): Don't create a logfile for
1409         --background when --quiet is used, but not --server-response.
1410         Fixes bug #20917.
1411
1412         * utils.c (fork_to_background): Likewise.
1413
1414 2008-04-12  Micah Cowan  <micah@cowan.name>
1415
1416         * utils.c (aprintf): Minor formatting changes to Alex's code (80-
1417         column limit, concatenated string literals, avoiding nesting
1418         levels), and removed invocation of free (since we're aborting
1419         anyway).
1420
1421 2008-04-11  Alexander Dergachev  <cy6erbr4in@gmail.com>
1422
1423         * utils.c (aprintf): Now we are setting limits (1 Mb) for text
1424         buffer when we use non-C99 vsnprintf.
1425
1426 2008-04-11  Micah Cowan  <micah@cowan.name>
1427
1428         * ftp.c (getftp, ftp_loop_internal): Don't append to an existing
1429         .listing when --continue is used.  Fixes bug #22825. Thanks to
1430         Rabin Vincent <rabin@rab.in> for pointing the way with a
1431         suggested fix!
1432
1433 2008-04-10  Alexander Dergachev  <cy6erbr4in@gmail.com>
1434
1435         * xmalloc.c, xmalloc.h (memfatal): Now exported; accepts an
1436         "unknown" value for the attempted allocation size.
1437         * utils.c (aprintf): Now calls memfatal, instead of aborting.
1438
1439 2008-03-19  Micah Cowan  <micah@cowan.name>
1440
1441         * utils.c (test_dir_matches_p): More tests related for
1442         dir_matches_p.
1443
1444 2008-03-17  Micah Cowan  <micah@cowan.name>
1445
1446         * connect.c: Include sys/time.h to support use of the select
1447         function on older systems.
1448
1449 2008-02-11  Benno Schulenberg  <bensberg@justemail.net>
1450
1451         * http.c: More accurate and descriptive messages for when a file
1452         won't be retrieved during spider-mode.
1453
1454 2008-02-10  Micah Cowan  <micah@cowan.name>
1455
1456         * http.c: Added existence_checked member to the http_stat
1457         struct.
1458         (gethttp): Mark hs->existence_checked when we've checked whether
1459         a file-to-download exists; so we don't check it again if the
1460         connection gets lost (and potentially pick a new "unique" name).
1461         This fixes bug 22251.
1462         * progress.c (create_image): Add space for an extra column in
1463         the "eta" portion of the progress bar image; to deal with
1464         too-long Czech translation.
1465         * main.c, http.c, init.c: Added --auth-no-challenge option, to
1466         bring back 1.10.2 unsafe auth behavior when needed. This fixes
1467         bug #22242.
1468
1469 2008-02-07  Micah Cowan  <micah@cowan.name>
1470
1471         * progress.c (create_image): Remove assertion on exceeding
1472         screen width, which given the less-than-robust code there, can
1473         be broken by a number of factors (such as large file downloads).
1474
1475 2008-02-06  Micah Cowan  <micah@cowan.name>
1476
1477         * progress.c (countcols): Use strlen() when mbtowc or wcwidth
1478         not available (or not using NLS).
1479         * utils.c: Ensure we use single-byte separators when not doing
1480         NLS progress-bars.
1481         * wget.h: Determine whether to use NLS for progress-bars, based
1482         on whether wcwidth and mbtowc are available.
1483
1484 2008-02-03  Micah Cowan  <micah@cowan.name>
1485
1486         * progress.c (create_image): Use number of characters/columns
1487         consumed, rather than number of bytes, to determine how much of
1488         a line we've used. Fixes assertion errors and field alignment
1489         bugs (#22161, #20481)
1490         (get_eta, count_cols): Added to support the changes for
1491         create_image.
1492         * http.c (http_loop): Put no-clobber logic back into http_loop,
1493         before starting to fetch, for when we're not doing
1494         content-disposition.
1495
1496 2008-01-31  Micah Cowan  <micah@cowan.name>
1497
1498         * http.c (gethttp): Don't derive hs->contlen from possibly
1499         invalid/missing Content-Length; instead, get the appropriate
1500         value from the Content-Range header values.
1501         (parse_content_range): Handle '*' instance-length field.
1502
1503 2008-01-25  Micah Cowan  <micah@cowan.name>
1504
1505         * main.c: Added notes to translators regarding (C), diacritics
1506         in names.
1507         * Makefile.am, cmpt.c, connect.c, connect.h, convert.c,
1508         cookies.c, cookies.h, ftp-basic.c, ftp-ls.c, ftp-opie.c, ftp.c,
1509         ftp.h, gen-md5.c, gen-md5.h, gnutls.c, hash.c, hash.h, host.c,
1510         host.h, html-parse.c, html-parse.h, html-url.c, http-ntlm.c,
1511         http-ntlm.h, http.c, http.h, init.c, init.h, log.c, log.h,
1512         main.c, mswindows.c, mswindows.h, netrc.c, netrc.h, openssl.c,
1513         options.h, progress.c, progress.h, ptimer.c, ptimer.h, recur.c,
1514         recur.h, res.c, res.h, retr.c, retr.h, spider.c, spider.h,
1515         ssl.h, sysdep.h, test.c, test.h, url.c, url.h, utils.c,
1516         utils.h, wget.h, xmalloc.c, xmalloc.h: Updated copyright year.
1517
1518 2007-12-10  Micah Cowan  <micah@cowan.name>
1519
1520         * main.c: The option is --content-disposition, not
1521         --no-content-disposition (at the moment).
1522
1523 2007-12-08  Hrvoje Niksic  <hniksic@xemacs.org>
1524
1525         * ftp.c (ftp_retrieve_glob): Print both arguments of fnmatch in
1526         fnmatch error message.
1527         (ftp_retrieve_glob): Don't match with fnmatch if we're only
1528         supposed to get one file.
1529
1530 2007-12-07  Micah Cowan  <micah@cowan.name>
1531
1532         * Makefile.am: Plug in vars to include stuff from
1533         $(top_srcdir)/md5 when appropriate.
1534
1535 2007-12-05  Micah Cowan  <micah@cowan.name>
1536
1537         * utils.c (subdir_p): Handle the case where d1 is "".
1538         * convert.c (convert_all_links): Don't return without
1539         deallocating timer.
1540
1541 2007-11-28  Micah Cowan  <micah@cowan.name>
1542
1543         * Makefile.am, cmpt.c, connect.c, connect.h, convert.c,
1544         convert.h, cookies.c, cookies.h, ftp-basic.c, ftp-ls.c,
1545         ftp-opie.c, ftp.c, ftp.h, gen-md5.c, gen-md5.h, gnutls.c,
1546         hash.c, hash.h, host.c, host.h, html-parse.c, html-parse.h,
1547         html-url.c, http-ntlm.c, http-ntlm.h, http.c, http.h, init.c,
1548         init.h, log.c, log.h, main.c, mswindows.c, mswindows.h,
1549         netrc.c, netrc.h, openssl.c, options.h, progress.c, progress.h,
1550         ptimer.c, ptimer.h, recur.c, recur.h, res.c, res.h, retr.c,
1551         retr.h, safe-ctype.c, safe-ctype.h, spider.c, spider.h, ssl.h,
1552         sysdep.h, test.c, test.h, url.c, url.h, utils.c, utils.h,
1553         wget.h, xmalloc.c, xmalloc.h: Updated license exception for
1554         OpenSSL, per the SFLC.
1555
1556 2007-10-30  Micah Cowan  <micah@cowan.name>
1557
1558         * main.c (main): Declare argv parameter as char **argv, rather
1559         than char *const *argv. This fixes usage of getopt_long,
1560         regardless of whether getopt_long has a constified argv or not.
1561
1562 2007-10-22  Gisle Vanem  <gvanem@broadpark.no>
1563
1564         * mswindows.c: Move INHIBIT_WRAP macro definition up with wget.h
1565         inclusion.
1566
1567 2007-10-18  Steven Schweda  <sms@antinode.org>
1568
1569         * sysdep.h: #include <stdint.h> as well as <inttypes.h>, to work
1570         around a glitch on Tru64 systems.
1571
1572 2007-10-18  Micah Cowan  <micah@cowan.name>
1573
1574         * Makefile.am: version.c should not be distributed. Removed
1575         config-post.h. Add version.c dependency and gnulib include path
1576         for libunittest.a.
1577         * sysdep.h: Got contents of config-post.h
1578         * config-post.h: Removed.
1579         * wget.h: #include "config.h".
1580         * alloca.c, cmpt.c, connect.c, convert.c, cookies.c,
1581         ftp-basic.c, ftp-ls.c, ftp-opie.c, ftp.c, gen-md5.c, gnutls.c,
1582         hash.c, host.c, html-parse.c, html-url.c, http-ntlm.c, http.c,
1583         init.c, log.c, main.c, mswindows.c, netrc.c, openssl.c,
1584         progress.c, ptimer.c, recur.c, res.c, retr.c, spider.c, url.c,
1585         utils.c, xmalloc.c: Use wget.h at very top, and instead of
1586         config.h.
1587
1588 2007-10-15  Micah Cowan  <micah@cowan.name>
1589
1590         * Makefile.am: Remove intermediary hg-id file generation, make
1591         version.c-generation more portable.
1592
1593 2007-10-14  Micah Cowan  <micah@cowan.name>
1594
1595         * cmpt.c, cookies.c, ftp-basic.c, ftp-ls.c, ftp.c, hash.c,
1596         host.c, html-parse.c, html-url.c, http-ntlm.c, http.c, init.c,
1597         log.c, main.c, netrc.c, openssl.c, res.c, url.c, utils.c,
1598         wget.h: Replace uses of ISSPACE, etc with c_isspace, etc.
1599         * gnu-md5.c, gnu-md5.h: Removed, in deference to gnulib.
1600         * Makefile.am: Removed gnu-md5.h from wget_SOURCES.
1601         * gen-md5.c: Changed #inclusion of gnu-md5.h to md5.h (gnulib's).
1602         * recur.c (download_child_p): Print error if unlink of
1603         robots.txt fails.
1604         * main.c (main): --spider or --delete-after now implies
1605         --no-directories (thanks, Josh Williams).
1606
1607 2007-10-14  Joshua David Williams  <yurimxpxman@gmail.com>
1608
1609         * recur.c (download_child_p): Remove robots.txt if
1610         --delete-after or --spider is on.
1611
1612 2007-10-13  Micah Cowan  <micah@cowan.name>
1613
1614         * Makefile.am: Make version.c depend on Wget dependencies (source
1615         files, plus such things as LIBOBJS so we get things like
1616         http-ntlm.c). Removed getopt.[ch], as we're now using gnulib for
1617         these.
1618
1619 2007-10-10  Micah Cowan  <micah@cowan.name>
1620
1621         * http-ntlm.c: Include openssl/opensslv.h explicitly, instead of
1622         hoping it'll be included by accident in openssl/des.h.
1623
1624 2007-10-09  Gisle Vanem  <gvanem@broadpark.no>
1625
1626         * mswindows.c: 'argc' and 'argv' in 'windows_main()' are no longer
1627         needed.  Hence simply the prototype. Free 'exec_name' at exit.
1628
1629 2007-10-09  Micah Cowan  <micah@cowan.name>
1630
1631         * gettext.h: Imported from /usr/share/gettext, fuller handling
1632         of --disable-nls.
1633         * wget.h: Remove logic for handling lack of NLS (now in
1634         gettext.h).
1635         * main.c: Use gettext's ENABLE_NLS rather than HAVE_NLS.
1636         * Makefile.am: added @LIBINTL@ to LIBS (though it probably
1637         belongs in LDADD, along with everything else currently assigned
1638         to LIBS).
1639
1640 2007-10-08  Micah Cowan  <micah@cowan.name>
1641
1642         * http.c (http_loop): Add send_head_first conditional back
1643         around code that needs it, but not around the last-modified
1644         header-parsing stuff this time. Removed no-longer-useful (was it
1645         ever?) restart_loop boolean, continuing unconditionally at end
1646         of send_head_first conditional block (if we haven't jumped out).
1647
1648 2007-10-04  Micah Cowan  <micah@cowan.name>
1649
1650         * http.c (http_loop): We've got_name if content_disposition
1651         support isn't on; make sure we continue properly in that case,
1652         even though we're not sending HEAD.
1653         * Makefile.in: Removed, replaced by Makefile.am.
1654         * Makefile.am: Converted from Makefile.in.
1655
1656 2007-10-02  Gisle Vanem  <gvanem@broadpark.no>
1657
1658         * ftp.c: Use "_listing" for MSDOS (".listing" is illegal).
1659
1660         * url.c: Update comment for 'filechr_not_windows'.
1661
1662         * utils.c: Include <process.h> for 'getpid()' on Watcom.
1663
1664 2007-10-02  Micah Cowan  <micah@cowan.name>
1665
1666         * ftp.c (getftp, ftp_loop_internal), http.c (http_loop), main
1667         (main): Use datetime_str instead of time_str, for those who have
1668         potentially long-running sessions. Based on suggestions by Saso
1669         Tomat <miskox@hotmail.com> and Steven M. Schweda
1670         <sms@antinode.org>.
1671         * http.c (gethttp): Warn about host lookup failures. Adjusted
1672         from Stephen Gildea's patch.
1673
1674 2007-10-02  Stephen Gildea  <stepheng+wget@gildea.com>
1675
1676         * connect.c (connect_to_host): Warn about host lookup failures.
1677
1678 2007-09-25  Micah Cowan  <micah@cowan.name>
1679
1680         * Makefile.in: Use EXEEXT instead of exeext.
1681
1682 2007-09-24  Gisle Vanem  <giva@bgnett.no>
1683
1684         * connect.c, init.c, main.c, openssl.c, options.h, sysdep.h,
1685         url.c, utils.c: Added support for building on MS-DOS.
1686
1687 2007-09-24  Jochen Roderburg  <roderburg@uni-koeln.de>
1688
1689         * http.c (http_zero): Remove no-longer-used local_size variable.
1690         Fixes bug #21057.
1691
1692 2007-09-12  Micah Cowan  <micah@cowan.name>
1693
1694         * http.c (http_loop): Remove send_head_first from condition for
1695         parsing timestamp.
1696
1697 2007-08-29  Micah Cowan  <micah@cowan.name>
1698
1699         * openssl.c (ssl_init): Re un-const-ified the meth local
1700         variable, to match current versions of openssl.
1701         * spider.c: Removed visited_url function, as it may be very
1702         inefficient.
1703         (print_broken_links): Removed traversal of referrers, until such
1704         time as a more efficient implementation can be written.
1705         * spider.h: Replaced declaration of visited_url with an
1706         empty-bodied, function-like macro.
1707
1708 2007-08-27  Gisle Vanem  <giva@bgnett.no>
1709
1710         * mswindows.c (run_with_timeout): Ensure that the correct
1711         conversion specification is used for the return result of
1712         the GetLastError function.
1713         * getopt.c: Fix missing (but, accidentally, legal) comment
1714         delimiter after licensing text.
1715         * recur.c (retrieve_tree): Inserted missing cast for strip_auth.
1716         Includes adjustment by Ralf Wildenhues.
1717         * openssl.c (ssl_init): const-ified the meth local variable.
1718         * main.c: Include all the static function definitions in the
1719         "#ifndef TESTING" clause, leaving just the definitions for
1720         exec_name (not set), and opt.
1721         * utils.c (run_with_timeout): Now returns bool, to align with
1722         declaration in utils.h.
1723
1724 2007-08-27  Micah Cowan  <micah@cowan.name>
1725
1726         * wget.h: Added macro replacement for ngettext, for environs
1727         that lack NLS.
1728
1729 2007-08-26  Micah Cowan  <micah@cowan.name>
1730
1731         * spider.c (print_broken_links): Fixed incorrect plurals msgid
1732         usage, switched to use ngettext function.
1733
1734 2007-08-24  Micah Cowan  <micah@cowan.name>
1735
1736         * http.c (http_loop): Introduced time_came_from_head boolean
1737         flag, to help avoid parsing the same Last-Modified header twice.
1738         Replaced spidering returns of RETRUNNEEDED for some situations,
1739         to RETROK, as otherwise it will be interpreted as an error.
1740         RETRUNNEEDED appears never to be referenced outside of
1741         http.c (and wget.h), and, when returned by gethttp, is
1742         translated by http_loop to RETROK.
1743         * url.c (are_urls_equal): Don't call getchar_from_escaped_string
1744         if u2 is shorter than u1.
1745         (getchar_from_escaped_string): Don't decode reserved characters.
1746         Handle illegally appearing '%'s as literal '%'s. Ensure hex
1747         digits before attempting to decode.
1748         (test_are_urls_equal): Added tests to handle u2 shorter than u1,
1749         and %2f not treated the same as /.
1750         * spider.c (in_url_list_p): Don't call are_urls_equal if one of
1751         them is NULL.
1752
1753 2007-08-23  Joshua David Williams  <yurimxpxman@gmail.com>
1754
1755         * spider.c (in_url_list_p): Removed the bool verbose argument
1756
1757 2007-08-22  Mauro Tortonesi  <mauro@ferrara.linux.it>
1758
1759         * http.c (http_loop): Fall back to GET if HEAD fails with a 500 or 501
1760         error code.
1761
1762 2007-08-21  Mauro Tortonesi  <mauro@ferrara.linux.it>
1763
1764         * http.c (http_loop): Send preliminary HEAD request if -N is given and
1765         the destination file exists already.
1766
1767 2007-08-10  Mauro Tortonesi  <mauro@ferrara.linux.it>
1768
1769         * http.c (http_loop): Fixed HTTP HEAD requests logic when --spider is
1770         given.
1771
1772 2007-08-10  Ralf Wildenhues  <Ralf.Wildenhues@gmx.de>
1773
1774         * url.c (append_uri_pathel): Do not assume dest string to be
1775         zero-terminated.
1776         (test_append_uri_pathel): Terminate string to fix test failure.
1777
1778 2007-08-09  Ralf Wildenhues  <Ralf.Wildenhues@gmx.de>
1779
1780         * url.c (url_string): Use comparison, not assignment, in
1781         check for auth_mode == URL_AUTH_HIDE_PASSWD.
1782
1783 2007-08-09  Micah Cowan  <micah@cowan.name>
1784
1785         * http.c (http_loop): If we got a HEAD and then a GET, and the
1786         GET had a timestamp, use that one, not any we may have gotten
1787         from the HEAD.
1788
1789 2007-08-08  Micah Cowan  <micah@cowan.name>
1790
1791         * init.c (defaults): Content disposition will not be default,
1792         since it currently results in extra round-trips.
1793
1794 2007-07-31  Micah Cowan  <micah@cowan.name>
1795
1796         * http.c (gethttp): Set contlen = -1 when we encounter a
1797         negative-valued Content-Length header, so we don't consider it
1798         an internal error later on and call abort().
1799
1800 2007-07-29  Micah Cowan  <micah@cowan.name>
1801
1802         * url.h, url.c (url_string): Replaced bool arg of the url_string
1803         function with enum url_auth_mode, with added option to
1804         completely remove user/pass auth information.
1805         * http.c, ftp.c, url.c, recur.c: Adapted call to url_string
1806         function to fit new usage.
1807         * recur.c (retrieve_tree): Remove auth info from Referer header.
1808
1809 2007-07-28  Micah Cowan  <micah@cowan.name>
1810
1811         * options.h, init.c, retr.c, main.c: renamed opt maxredirect
1812         field to max_redirect, for improved consistency.
1813         * init.c: changed max_redirect parser from cmd_number_inf to
1814         cmd_number, as infinite redirects may not be appropriate.
1815         Alternatively, if cmd_number_inf should be used, then
1816         opt.max_redirect's value should be checked a bit differently in
1817         retr.c, to allow for the "infinite" meaning of zero.
1818
1819 2007-07-25  Micah Cowan  <micah@cowan.name>
1820
1821         * http.c (create_authorization_line)
1822         (basic_authentication_encode, known_authentication_scheme_p)
1823         (load_cookies): Moved declarations up.
1824         (basic_authed_hosts): Added. Tracks what hosts have issued Basic
1825         challenge and been given the global username, password.
1826         (maybe_send_basic_creds): Added. Sends Basic creds for hosts that
1827         have issued Basic challenges.
1828         (register_basic_auth_host): Added. Instantiates
1829         basic_authed_hosts if necessary, then registers the host that
1830         has issued a challenge.
1831         (gethttp) <auth>: Only send authentication credentials after
1832         we've received a challenge from that host. This is a stop-gap
1833         fix until a proper fix can be implemented; still isn't quite
1834         right, as we should only be sending credentials automatically
1835         for authenticated paths and below, and not for the entire host.
1836
1837 2007-07-16  Joshua David Williams  <yurimxpxman@gmail.com>
1838
1839         * options.h: added maxredirect to options struct
1840         * init.c: added maxredirect to list of variables
1841         * retr.c (retrieve_url): replaced MAX_REDIRECTIONS with opt.maxredirect
1842         * main.c: added option --max-redirect
1843
1844 2007-07-16  Joshua David Williams  <yurimxpxman@gmail.com>
1845
1846         * test.h: tests made more verbose; now displays the name
1847         of each test run.
1848
1849 2007-07-10  Mauro Tortonesi  <mauro@ferrara.linux.it>
1850
1851         * http.c (http_loop): Fixed the HTTP requests logic. Now it skips the
1852         preliminary HEAD request if either -O or --no-content-disposition are
1853         given, and neither --spider and -N are given.
1854
1855 2007-07-05  Micah Cowan  <micah@cowan.name>
1856
1857         * cmpt.c, connect.c, connect.h, convert.c, convert.h:
1858         * cookies.c, cookies.h, ftp-basic.c, ftp.c, ftp.h, ftp-ls.c:
1859         * ftp-opie.c, gen-md5.c, gen-md5.h, getopt.c, getopt.h, gnu-md5.c:
1860         * gnu-md5.h, gnutls.c, hash.c, hash.h, host.c, host.h:
1861         * html-parse.c, html-parse.h, html-url.c, http.c, http.h:
1862         * http-ntlm.c, http-ntlm.h, init.c, init.h, log.c, log.h, main.c:
1863         * Makefile.in, mswindows.c, mswindows.h, netrc.c, netrc.h:
1864         * openssl.c, options.h, progress.c, progress.h, ptimer.c:
1865         * ptimer.h, recur.c, recur.h, res.c, res.h, retr.c, retr.h:
1866         * safe-ctype.c, safe-ctype.h, spider.c, spider.h, ssl.h, sysdep.h:
1867         * test.c, test.h, url.c, url.h, utils.c, utils.h, wget.h:
1868         * xmalloc.c, xmalloc.h:
1869         Updated GPL reference to version 3 or later, removed FSF
1870         address.
1871
1872 2007-07-04  Mauro Tortonesi  <mauro@ferrara.linux.it>
1873
1874         * http.c (http_loop): Skip HEAD request and start immediately with GET
1875         if -O is given.
1876
1877 2007-02-02  Hrvoje Niksic  <hniksic@xemacs.org>
1878
1879         * http.c (print_server_response): Escape non-printable characters
1880         in server respone.
1881
1882 2007-02-02  Hrvoje Niksic  <hniksic@xemacs.org>
1883
1884         * netrc.c: Don't make netrc_list static, as it prevents
1885         compilation with DEBUG_MALLOC.
1886
1887         * utils.c (aprintf): Don't use vasprintf when DEBUG_MALLOC is
1888         requested because, in that case, we want the calls to malloc to be
1889         coming from us.
1890
1891 2007-01-23  Hrvoje Niksic  <hniksic@xemacs.org>
1892
1893         * cookies.c (parse_set_cookie): Would erroneously discard cookies
1894         with unparsable expiry time.
1895
1896 2007-01-23  Hrvoje Niksic  <hniksic@xemacs.org>
1897
1898         * progress.c (create_image): Check for ETA overflow.
1899         (print_row_stats): Ditto.
1900
1901 2007-01-09  Mauro Tortonesi  <mauro@ferrara.linux.it>
1902
1903         * init.c (cmd_spec_prefer_family): Small fix to get rid of a gcc
1904         warning about strict-aliasing violation.
1905
1906 2007-01-09  Steven M. Schweda  <sms@antinode.org>
1907
1908         * ftp-basic.c (ftp_syst): Fixed segfault if response text is missing.
1909
1910 2006-12-29  Gisle Vanem  <giva@bgnett.no>
1911
1912         * mswindows.c: Avoid a warning if 'ws_hangup()' is unused.
1913
1914 2006-12-27  Mauro Tortonesi  <mauro@ferrara.linux.it>
1915
1916         * http.c (parse_content_disposition): Consider directory prefix, if
1917         specified.
1918
1919 2006-11-21  Hrvoje Niksic  <hniksic@xemacs.org>
1920
1921         * retr.c (retrieve_from_file): Ditto.
1922         (url_uses_proxy): New function.
1923
1924         * main.c (main): Don't check for opt.use_proxy when deciding
1925         whether to call retrieve_url or retrieve_tree; check whether the
1926         proxy would be used for *this* URL.
1927
1928 2006-10-17  Mike Grant  <mggr@pml.ac.uk>
1929
1930         * ftp.c (ftp_loop_internal): Would incorrectly skip changing
1931         working directory when retrying after a failed FTP attempt.
1932         Originally reported by Nate Eldredge.
1933
1934 2006-10-12  Mauro Tortonesi  <mauro@ferrara.linux.it>
1935
1936         * convert.c (downloaded_file): Fixed bug which used to break -E -k -K
1937         mode.
1938
1939 2006-08-28  Mauro Tortonesi  <mauro@ferrara.linux.it>
1940
1941         * http.c: #include'd spider.h to get rid of compiler warnings.
1942
1943         * main.c: Ditto.
1944
1945         * recur.c: Ditto.
1946
1947 2006-08-24  Mauro Tortonesi  <mauro@ferrara.linux.it>
1948
1949         * Makefile.in: Added spider.c to the list of files to compile and
1950         spider.h to the list of header files. Updated copyright information.
1951
1952         * http.c: Major changes to recursive spider mode. Now for every
1953         resource we are supposed to check, we send a HEAD request to find out
1954         if it exists. If the resource is a HTML file, we retrieve it and parse
1955         it to discover links to other resources.
1956
1957         * recur.c: Ditto.
1958
1959         * res.c (res_retrieve_file): Disable opt.timestamping and opt.spider
1960         when retrieving robots.txt. Updated copyright information.
1961
1962         * convert.c: Moved code tracking broken links to spider.c.
1963
1964         * convert.h: Ditto.
1965
1966         * spider.c: Created new file to keep track of visited URLs in spider
1967         mode.
1968
1969         * spider.h: Ditto.
1970
1971 2006-08-21  Mauro Tortonesi  <mauro@ferrara.linux.it>
1972
1973         * http.c: Fixed timestamping-related bug.
1974
1975 2006-08-16  Mauro Tortonesi  <mauro@ferrara.linux.it>
1976
1977         * http.c: Fixed bug which broke --continue feature. Now if -c is
1978         given, http_loop sends a HEAD request to find out the destination
1979         filename before resuming download.
1980
1981 2006-08-08  Hrvoje Niksic  <hniksic@xemacs.org>
1982
1983         * utils.c (datetime_str): Avoid code repetition with time_str.
1984
1985 2006-07-21  Hrvoje Niksic  <hniksic@xemacs.org>
1986
1987         * init.c (commands): Correctly place "contentdisposition".
1988
1989 2006-07-14  Mauro Tortonesi  <mauro@ferrara.linux.it>
1990
1991         * sysdep.h: If intptr_t isn't defined, simply typedef it to long.
1992
1993         * http.c: Added explicit cast to int in logprintf call to remove
1994         compiler warnings on 64-bit platforms.
1995
1996         * connect.c: Added a few casts to intptr_t to remove compiler warnings
1997         on 64-bit platforms.
1998
1999         * main.c: Disable -r, -p and -N when -O is used. Disable -k when -O is
2000         used and multiple URLs are given. Update maintainer information.
2001
2002         * all: Update copyright information.
2003
2004 2006-07-10  KJKHyperion  <hackbunny@reactos.com>
2005
2006         * url.c (filechr_table): Mark DEL (0x7f) as a control character
2007         and | as a character Windows can't handle.
2008
2009 2006-06-28  Mauro Tortonesi  <mauro@ferrara.linux.it>
2010
2011         * res.c: Implemented is_robots_txt_url function for detection of
2012         robots.txt URLs and related test routine.
2013
2014         * res.h: Ditto.
2015
2016         * url.c: Implemented are_urls_equal function for URL comparison and
2017         related testing routine.
2018
2019         * url.h: Ditto.
2020
2021         * convert.c: Fixes for recursive spider mode: don't consider
2022         non-existing robots.txt as a broken link, and use are_urls_equal
2023         instead of strcasecmp for referrer URLs comparison.
2024
2025         * test.c: Call tests routines for are_urls_equal and
2026         is_robots_txt_url.
2027
2028 2006-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
2029
2030         * wget.h (wgint): Typedef to any 64-bit (or larger) type we can
2031         find, not necessarily off_t or long.
2032
2033 2006-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
2034
2035         * cmpt.c (strtoll): Check for overflow and underflow without
2036         relying on (technically) undefined behavior.  Don't assume that
2037         strtoll_type is 64 bits wide.
2038
2039 2006-06-21  Hrvoje Niksic  <hniksic@xemacs.org>
2040
2041         * utils.c (base64_encode): Cast void pointer to char * before
2042         doing arithmetic.
2043
2044 2006-06-20  Hrvoje Niksic  <hniksic@xemacs.org>
2045
2046         * utils.c (base64_encode): Made TBL const.
2047         (base64_decode): Made the base64_char_to_value table const.
2048
2049 2006-06-19  Hrvoje Niksic  <hniksic@xemacs.org>
2050
2051         * utils.c (base64_encode): Made the DATA pointer void * so the
2052         callers can pass it any kind of pointer (including both signed and
2053         unsigned char pointers).
2054         (base64_decode): Ditto for DEST.
2055
2056 2006-06-19  Hrvoje Niksic  <hniksic@xemacs.org>
2057
2058         * utils.c (base64_encode): Would read past end of STR.
2059         Reported by rick@eckle.org.
2060
2061 2006-06-13  Mauro Tortonesi  <mauro@ferrara.linux.it>
2062
2063         * options.h (struct options): Introduced member restrict_files_case to
2064         keep track of preferences on character case restrictions for
2065         filenames.
2066
2067         * init.c: Modified defaults and cmd_spec_restrict_file_names to
2068         support character case restrictions for filenames. Added
2069         test_cmd_spec_restrict_file_names unit test.
2070
2071         * url.c: Modified append_uri_pathel to support character case
2072         restrictions for filenames. Added test_append_uri_pathel unit test.
2073
2074         * test.c: Added test_cmd_spec_restrict_file_names and
2075         test_append_uri_pathel to the list of unit tests to run.
2076
2077 2006-06-12  Mauro Tortonesi  <mauro@ferrara.linux.it>
2078
2079         * retr.c (retrieve_from_file): Use retrieve_tree and automatically
2080         turn on opt.follow_ftp in case of recursive FTP retrieval through HTTP
2081         proxy.
2082
2083         * main.c: Automatically turn on opt.follow_ftp in case of recursive
2084         FTP retrieval through HTTP proxy.
2085
2086 2006-06-12  Tony Lewis  <tlewis@exelana.com>
2087
2088         * main.c: Improved CHEN Peng's patch by proposing a simpler logic.
2089
2090 2006-06-12  CHEN Peng  <chenpeng@alumni.nus.edu.sg>
2091
2092         * main.c: Use retrieve_tree in case of recursive FTP retrieval through
2093         HTTP proxy.
2094
2095 2006-05-25  Mauro Tortonesi  <mauro@ferrara.linux.it>
2096
2097         * convert.c: Added mechanisms to keep track broken links.
2098
2099         * convert.h: Ditto.
2100
2101         * wget.h: Reordered and enumerated uerr_t constants.
2102
2103         * recur.c: Fixes to support recursive spider mode.
2104
2105         * http.c: Ditto.
2106
2107         * main.c: Print broken links in case of recursive spider mode.
2108
2109         * retr.c: Changed interface of retrieve_url.
2110
2111         * retr.h: Ditto.
2112
2113         * ftp.c: Changed interface of ftp_loop.
2114
2115         * ftp.h: Ditto.
2116
2117         * res.c: Minor change to reflect changes in interface of retrieve_url.
2118
2119 2006-05-18  Lawrence Jones  <lawrence.jones@ugs.com>
2120
2121         * ftp-ls.c (ftp_parse_unix_ls): Correct size parsing, add size
2122         and filename debugging output.
2123
2124 2006-04-28  Mauro Tortonesi  <mauro@ferrara.linux.it>
2125
2126         * http.c: If Content-Disposition header is present, allow unique
2127         filename generation unless -nc is given. Permit to disable parsing of
2128         Content-Disposition header.
2129
2130         * options.h: Added option --no-content-disposition to disable parsing
2131         of HTTP Content-Disposition header.
2132
2133         * init.c: Ditto.
2134
2135         * main.c: Ditto.
2136
2137 2006-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
2138
2139         * hash.c (TOLOWER): Wrap macro arg in parentheses.
2140
2141 2006-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
2142
2143         * http.c (parse_content_disposition): Doc fix.
2144
2145 2006-03-15  Mauro Tortonesi  <mauro@ferrara.linux.it>
2146
2147         * utils.c: Restricted operational semantics of frontcmp and proclist
2148         from generic strings to directory names and them to subdir_p and
2149         dir_matches_p respectively.  Applied George Ogata's one line patch to
2150         restrict algorithm of subdir_p to full directory name matching.  Added
2151         testcases for subdir_p and dir_matches_p.
2152
2153         * utils.h: Changed all frontcmp occurrences to subdir_p.
2154
2155         * recur.c: Ditto.
2156
2157         * test.c: Changed type returned by test functions from char * to const
2158         char *.  Added test_subdir_p and test_dir_matches_p to the list of
2159         tests to run.
2160
2161         * http.c (test_parse_content_disposition): Changed return type from
2162         char * to const char *.
2163
2164 2006-03-14  Mauro Tortonesi  <mauro@ferrara.linux.it>
2165
2166         * recur.c (struct queue_element): Changed type of html_allowed member
2167         to bool.
2168
2169 2006-03-09  Mauro Tortonesi  <mauro@ferrara.linux.it>
2170
2171         * ftp.c (ftp_list): Try `LIST -a' command first and revert to `LIST'
2172         in case of failure.
2173
2174 2006-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
2175
2176         * hash.c (TOLOWER): Fix definition when STANDALONE.
2177         Reported by Beni Serfaty.
2178
2179 2006-03-02  Mauro Tortonesi  <mauro@ferrara.linux.it>
2180
2181         * http.c (http_loop): Fixed recursive HTTP retrieval.
2182
2183 2006-02-28  Hrvoje Niksic  <hniksic@xemacs.org>
2184
2185         * http.c (extract_param): Declare extern so it can be used from
2186         other files.
2187         (extract_param): Return error for empty name.
2188
2189 2006-02-28  Hrvoje Niksic  <hniksic@xemacs.org>
2190
2191         * url.c (find_last_char): Define in terms of memrchr.
2192
2193         * cmpt.c (memrchr): Define it on systems that don't have it.
2194
2195         * http.c (extract_param): New function for parsing header values
2196         with parameters.
2197         (parse_content_disposition): Use it.  Don't allow slashes and
2198         backslashes in the file name.
2199
2200 2006-02-27  Hrvoje Niksic  <hniksic@xemacs.org>
2201
2202         * url.c (path_simplify): Don't preserve ".." at beginning of path.
2203         Suggested by Frank McCown.
2204
2205 2006-02-25  Hrvoje Niksic  <hniksic@xemacs.org>
2206
2207         * http.c (gethttp): Only use FILE.N.html if FILE.html exists.
2208
2209 2006-02-09  Hrvoje Niksic  <hniksic@xemacs.org>
2210
2211         * mswindows.c (run_with_timeout): Made thread_hnd non-static.
2212
2213 2006-02-05  Hrvoje Niksic  <hniksic@xemacs.org>
2214
2215         * retr.c (sleep_between_retrievals): Sleep at a minimum of 1/2 of
2216         the specified wait period.
2217
2218 2006-02-03  Hrvoje Niksic  <hniksic@xemacs.org>
2219
2220         * utils.c (number_to_string): Don't use sprintf for printing
2221         WGINT_MIN; simply divide n by 10 and defer printing the last
2222         digit.
2223         (number_to_string): Removed the SPRINTF_WGINT macro.
2224
2225 2006-02-03  Mauro Tortonesi  <mauro@ferrara.linux.it>
2226
2227         * http.c: Fixed support for Content-Disposition header.
2228
2229         * test.c: Added test_parse_content_disposition to the list of unit
2230         tests to run.
2231
2232 2006-02-02  Hrvoje Niksic  <hniksic@xemacs.org>
2233
2234         * hash.c: Don't define countof if it's already defined.
2235
2236         * hash.c: Obtain the definition of uintptr_t when standalone.
2237
2238 2006-01-30  Mauro Tortonesi  <mauro@ferrara.linux.it>
2239
2240         * http.c: Changed output format. Removed excessively verbose debugging
2241         output.
2242
2243 2005-12-07  Mauro Tortonesi  <mauro@ferrara.linux.it>
2244
2245         * http.c: Fixed pre-download verbose output which was broken by
2246         HTTP code refactoring.
2247
2248 2005-11-23  Mauro Tortonesi  <mauro@ferrara.linux.it>
2249
2250         * http.c: Refactored HTTP code.  If -O is not used, the new code
2251         delays the choice of the file name where the downloaded resource
2252         will be saved until the HTTP headers have been retrieved.
2253         Added support for Content-Disposition header.
2254
2255 2005-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
2256
2257         * hash.c (INVALID_PTR): Use uintptr_t instead of unsigned long.
2258         (hash_pointer): Don't assume a pointer fits in `unsigned long'.
2259
2260 2005-11-02  Mauro Tortonesi  <mauro@ferrara.linux.it>
2261
2262         * Makefile.in: Removed support for unit testing (now it is in
2263         tests/Makefile.in).
2264
2265 2005-10-27  Mauro Tortonesi  <mauro@ferrara.linux.it>
2266
2267         * Makefile.in: Added basic support for unit testing.
2268
2269         * test.c: Ditto.
2270
2271         * test.h: Ditto.
2272
2273 2005-10-13  Daniel Stenberg  <daniel@haxx.se>
2274
2275         * http-ntlm.c (ntlm_output): Fixed buffer overflow vulnerability.
2276
2277 2005-10-09  Russ Allbery  <rra@stanford.edu>
2278
2279         * snprintf.c: Remove round to round_int and pow10 to pow10_int, to
2280         avoid warnings from GCC 4.0.
2281
2282 2005-10-05  Mauro Tortonesi  <mauro@ferrara.linux.it>
2283
2284         * retr.c: Changed semantics of no_proxy_match.
2285
2286 2005-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
2287
2288         * main.c (main): Don't print the summary if nothing has been downloaded.
2289
2290 2005-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
2291
2292         * retr.c (retr_rate): Rename parameter from MSECS to SECS since it
2293         no longer holds milliseconds.
2294
2295 2005-09-01  Hrvoje Niksic  <hniksic@xemacs.org>
2296
2297         * progress.c: Introduce symbolic constants for "magic" values of
2298         0.2 and 0.9, REFRESH_INTERVAL and ETA_REFRESH_INTERVAL.
2299
2300 2005-08-27  Hrvoje Niksic  <hniksic@xemacs.org>
2301
2302         * cmpt.c (strtoll): Correctly handle strtoll("0x", ptr, 0) and
2303         strtoll("0x<nonhexchar>", ptr, 0) -- in both cases *ptr must be
2304         set to the position of 'x', not after it.
2305
2306 2005-08-27  Hrvoje Niksic  <hniksic@xemacs.org>
2307
2308         * hash.c (hash_table_map): Rename to hash_table_for_each and
2309         update callers.
2310         Document the meaning of the callback's return value.
2311         (hash_table_iterate): New function.
2312         (hash_table_iter_next): Likewise.
2313         Update most places that used hash_table_for_each to use the
2314         iteration, which doesn't require a temporary function with
2315         explicit state management.
2316
2317 2005-08-26  Albert Chin  <wget@mlists.thewrittenword.com>
2318
2319         * Makefile.in: Use @datadir@.  Define localedir as $(datadir)/locale.
2320
2321 2005-08-26  Jeremy Shapiro  <jnshapiro@gmail.com>
2322
2323         * openssl.c (ssl_init): Set SSL_MODE_AUTO_RETRY.
2324
2325 2005-08-23  Hrvoje Niksic  <hniksic@xemacs.org>
2326
2327         * host.c (address_list_from_ipv4_addresses): Use IP_INADDR_DATA.
2328
2329 2005-08-12  Hrvoje Niksic  <hniksic@xemacs.org>
2330
2331         * wget.h: Renamed strtoll_return to strtoll_type.
2332
2333 2005-08-11  Hrvoje Niksic  <hniksic@xemacs.org>
2334
2335         * progress.c (eta_to_human_short): Switch to days when printing
2336         more than 48h rather than 100h.  (It's not immediately apparent
2337         how many days there are in 83h.)
2338
2339 2005-08-11  Hrvoje Niksic  <hniksic@xemacs.org>
2340
2341         * cmpt.c (strtoll): Define it if missing on the system and if Wget
2342         needs it.
2343
2344         * mswindows.c (str_to_int64): Move to cmpt.c and rename to strtoll.
2345
2346 2005-08-10  Hrvoje Niksic  <hniksic@xemacs.org>
2347
2348         * host.c (print_address): Always use inet_ntop when IPv6 is
2349         enabled.
2350
2351         * host.h (ip_address): Simplify the data union.
2352
2353 2005-08-09  Hrvoje Niksic  <hniksic@xemacs.org>
2354
2355         * mswindows.c (inet_ntop): Also handle IPv4 addresses for
2356         completeness.
2357
2358 2005-08-09  Hrvoje Niksic  <hniksic@xemacs.org>
2359
2360         * http.c (gethttp): Don't read more than the amount of data
2361         specified by the content-length header.
2362
2363 2005-08-09  Vasil Dimov  <vd@datamax.bg>
2364
2365         * ftp.c (getftp): Don't free RESPLINE if ftp_response returns a
2366         status other than FTPOK.
2367
2368 2005-08-04  Giuseppe Bonacci  <g.bonacci@libero.it>
2369
2370         * ftp-ls.c (ftp_parse_unix_ls): Remember the position of the
2371         previous token instead of backtracking back to it.
2372
2373 2005-07-08  Gisle Vanem  <giva@bgnett.no>
2374
2375         * mswindows.h: Include process.h to get getpid() declaration.
2376
2377 2005-07-08  Hrvoje Niksic  <hniksic@xemacs.org>
2378
2379         * utils.c (aprintf): Use vasprintf where available.
2380
2381 2005-07-08  Hrvoje Niksic  <hniksic@xemacs.org>
2382
2383         * url.c (rewrite_shorthand_url): Simplify code using aprintf and
2384         strspn.
2385
2386 2005-07-07  Hrvoje Niksic  <hniksic@xemacs.org>
2387
2388         * gnutls.c (ssl_check_certificate): Check for the validity of the
2389         presented X509 certificate.
2390
2391 2005-07-07  Hrvoje Niksic  <hniksic@xemacs.org>
2392
2393         * openssl.c (ssl_check_certificate): Print custom error messages
2394         for frequent X509 certificate problems.
2395
2396 2005-07-07  Hrvoje Niksic  <hniksic@xemacs.org>
2397
2398         * mswindows.h: Define an alias for stat and fstat, as requested by
2399         config-compiler.h.
2400         (gai_strerror): Define to windows_strerror if NEED_GAI_STRERROR is
2401         defined.
2402
2403 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
2404
2405         * mswindows.h: Use strtoll where available.
2406
2407 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
2408
2409         * sysdep.h: Add a full declaration of fnmatch.h.
2410
2411 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
2412
2413         * utils.c: Unconditionally include <setjmp.h>.
2414
2415 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
2416
2417         * utils.c (fnmatch_nocase): New function.
2418         (proclist): Use it instead of fnmatch when opt.ignore_case is
2419         requested.
2420         (in_acclist): Respect opt.ignore_case.
2421         (frontcmp): Respect opt.ignore_case.
2422
2423         * options.h (struct options): New flag opt.ignore_case.
2424
2425 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
2426
2427         * ptimer.c: Measure time in seconds rather than milliseconds.
2428         Adjusted all callers.
2429
2430 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
2431
2432         * http.c (gethttp): When freeing MESSAGE, take into account that
2433         it can be NULL.
2434
2435 2005-07-05  Hrvoje Niksic  <hniksic@xemacs.org>
2436
2437         * cmpt.c (timegm): Handle years after 2099.
2438
2439 2005-07-05  Hrvoje Niksic  <hniksic@xemacs.org>
2440
2441         * cmpt.c (timegm): Remove unused variable.
2442
2443 2005-07-05  Hrvoje Niksic  <hniksic@xemacs.org>
2444
2445         * cmpt.c (timegm): Don't call mktime; simply count the seconds
2446         between 1970-01-01 and the specified date.
2447
2448 2005-07-05  Hrvoje Niksic  <hniksic@xemacs.org>
2449
2450         * wget.h (or): Define HAVE_SSL when either HAVE_OPENSSL or
2451         HAVE_GNUTLS are defined.
2452
2453         * gnutls.c: New file.
2454
2455 2005-07-05  Hrvoje Niksic  <hniksic@xemacs.org>
2456
2457         * http.c (gethttp): Don't print the request write error message
2458         twice.
2459
2460 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
2461
2462         * openssl.c (openssl_errstr): Instead of always using a large
2463         static buffer, only allocate the error string when there is an
2464         actual error.
2465
2466 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
2467
2468         * xmalloc.c (debugging_free): Prefix hex pointer value with "0x"
2469         when printing.
2470
2471 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
2472
2473         * utils.c (NEXT_BASE64_CHAR): Rename to NEXT_CHAR and simplify to
2474         get the next non-whitespace character.
2475
2476 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
2477
2478         * utils.c (base64_decode): Don't silently tolerate non-base64
2479         non-white-space characters in the base64 stream.
2480
2481 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
2482
2483         * connect.c (LAZY_RETRIEVE_INFO): Make last_tick unsigned to match
2484         transport_map_modified_tick.
2485
2486 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
2487
2488         * config-post.h (alloca): Updated declaration to not enumerate all
2489         Windows compilers.
2490
2491 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
2492
2493         * openssl.c (openssl_errstr): Separate error messages with "; ".
2494
2495 2005-07-03  Hrvoje Niksic  <hniksic@xemacs.org>
2496
2497         * ftp.c (getftp): Ditto.
2498
2499         * http.c (gethttp): Use fd_errstr.
2500
2501         * connect.c (fd_register_transport): Restructure parameters to
2502         include only a single structure that describes transport
2503         implementation.
2504
2505         * openssl.c (openssl_errstr): New function: dump SSL error strings
2506         into a static buffer and return a pointer to the buffer.
2507
2508         * connect.c (fd_errstr): New function; returns transport-specific
2509         error message, or strerror(errno) if transport doesn't supply one.
2510
2511 2005-07-03  Hrvoje Niksic  <hniksic@xemacs.org>
2512
2513         * mswindows.h: Also wrap accept() and listen().
2514
2515 2005-07-03  Hrvoje Niksic  <hniksic@xemacs.org>
2516
2517         * url.c (path_end): Skip separators appropriate for the scheme.
2518         (strpbrk_or_eos): Remove gcc-specific version, as the optimization
2519         it tried to perform no longer applies.
2520
2521 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
2522
2523         * host.c: Don't include "connect.h" now that we no longer have
2524         socket_has_inet6.
2525
2526 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
2527
2528         * host.c: Remove extraneous definition of netdb.h.
2529
2530 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
2531
2532         * http.c (gethttp): Skip error message body in the keep-alive
2533         case.
2534
2535 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
2536
2537         * url.c (url_parse): Would crash when parsing fragments.  Support
2538         fragments for FTP URLs too.
2539
2540 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
2541
2542         * version.c: Don't use "cvs" in version name, since we're not
2543         using CVS anymore.
2544
2545 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
2546
2547         * progress.c (create_image): Ditto.
2548
2549         * retr.c (retr_rate): Display smaller rate numbers with greater
2550         precision.
2551
2552 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
2553
2554         * http.c (response_head_terminator): Minor optimization.
2555
2556         * retr.c (fd_read_hunk): Call terminator with pointer to the start
2557         of the data and the pointer to the current data.  Changed all
2558         callers.
2559
2560 2005-07-01  Hrvoje Niksic  <hniksic@xemacs.org>
2561
2562         * url.c (url_parse): Make sure u->params is not initialized for
2563         http/https URLs.
2564         (url_parse): Don't crash on garbage following []-delimited IPv6
2565         addresses.
2566
2567 2005-07-01  Hrvoje Niksic  <hniksic@xemacs.org>
2568
2569         * main.c (print_help): Don't refer to the non-existent -nr in
2570         description of --mirror.
2571
2572 2005-06-30  Hrvoje Niksic  <hniksic@xemacs.org>
2573
2574         * host.c (pretty_print_address): Renamed to just print_address.
2575         Clarify documentation.
2576
2577 2005-06-30  Hrvoje Niksic  <hniksic@xemacs.org>
2578
2579         * http.c (gethttp): Explicitly document the different cases when
2580         generating the Host header.
2581
2582 2005-06-30  Hrvoje Niksic  <hniksic@xemacs.org>
2583
2584         * host.c (pretty_print_address): Handle error result from
2585         inet_ntop.
2586
2587 2005-06-30  Gisle Vanem  <giva@bgnett.no>
2588
2589         * mswindows.c (inet_ntop): New function.  Print IPv6 addresses
2590         using WSAAddressToString.
2591
2592 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
2593
2594         * progress.c (dot_update): Remove unused variable row_qty.
2595
2596 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
2597
2598         * main.c: Check for both SIGHUP and SIGUSR1 before using them.
2599
2600 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
2601
2602         * utils.c: Unconditionally include locale.h.
2603
2604 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
2605
2606         * ptimer.c: Include sys/time.h to get struct timeval.
2607
2608 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
2609
2610         * wget.h: Remove obsolete definition of with_thousand_seps_sum.
2611
2612 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
2613
2614         * gnu-md5.h: Unconditionally include limits.h.
2615
2616 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
2617
2618         * utils.c (random_number): Use lrand48 if available.
2619         (random_float): Use drand48 if available.
2620
2621 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
2622
2623         * main.c (secs_to_human_time): Use print_decimal when printing
2624         total download time in seconds.
2625
2626         * progress.c (print_row_stats): Use it to print total download
2627         time at the end of the download.
2628         (create_image): Ditto.
2629
2630         * utils.c (print_decimal): New function; print small decimal
2631         numbers with more precision than large ones.
2632
2633         * progress.c (print_row_stats): New function.  Print ETA after the
2634         download rate at the end of each row.
2635
2636 2005-06-28  Hrvoje Niksic  <hniksic@xemacs.org>
2637
2638         * init.c (parse_line): Check for alphanumerics.
2639
2640 2005-06-28  Hrvoje Niksic  <hniksic@xemacs.org>
2641
2642         * (dot_create): Remove unnecessary casts.
2643
2644 2005-06-28  Hrvoje Niksic  <hniksic@xemacs.org>
2645
2646         * ftp.c (getftp): Delete trailing newlines from LIST output so
2647         lines don't come out with trailing \015\012 with -S.
2648
2649 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
2650
2651         * mswindows.h: Remove superfluous includes.
2652
2653 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
2654
2655         * config-post.h (alloca): Amend alloca declaration to take care of
2656         all Win32 compilers, not just MSVC and MinGW.
2657
2658 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
2659
2660         * utils.c (get_grouping_data): Force separator to "." rather than
2661         " " when "," is taken.
2662
2663 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
2664
2665         * wget.h (PTR_FORMAT): Cast the result of sizeof to int before
2666         passing it to printf's %*.
2667
2668         * retr.h: Declare output_stream and output_stream_regular.
2669
2670         * ftp.h: Declare ftp_last_respline.
2671
2672         * convert.h: Declare dl_url_file_map.
2673
2674         * http.h: New file.
2675
2676 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
2677
2678         * cookies.c: Make cookies_now static.
2679
2680 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
2681
2682         * utils.c (human_readable): Remove intermediary cast to long; MSVC
2683         has problems casting *unsigned* __int64 to double.
2684
2685 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
2686
2687         * sysdep.h: Use the system-provided fnmatch by default.
2688
2689 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
2690
2691         * http.c (mktime_from_utc): Renamed to timegm and moved to cmpt.c.
2692         Don't compile it if GNU timegm is available.
2693         (http_atotm): Use timegm.
2694
2695 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
2696
2697         * http.c (http_atotm): Correctly query the old locale value.
2698
2699 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
2700
2701         * config-post.h (alloca): Don't #define alloca under MinGW32,
2702         which defines it in malloc.h, included from mswindows.h.
2703
2704 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
2705
2706         * utils.c (get_grouping_data): Force the use of separators in C
2707         locale.
2708
2709 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
2710
2711         * main.c (i18n_initialize): Set all locale categories.
2712
2713         * http.c (http_atotm): Temporarily set locale to "C".
2714
2715 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
2716
2717         * http.c (gethttp): Improve "POST data file missing" error
2718         message.
2719
2720 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
2721
2722         * progress.c (set_progress_implementation): Type COLON as const
2723         char *.
2724
2725 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
2726
2727         * utils.c (with_thousand_seps): Handle negative numbers.
2728
2729 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
2730
2731         * progress.c (create_image): Mark the "eta" string for translation.
2732
2733 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
2734
2735         * html-url.c (get_urls_file): Don't explicitly set entry->next to
2736         NULL since entry is already zeroed out.
2737
2738 2005-06-26  Gisle Vanem  <giva@bgnett.no>
2739
2740         * mswindows.h: Define gai_strerror under MinGW.
2741
2742 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
2743
2744         * utils.c (with_thousand_seps): Correctly implement thousand seps
2745         consisting of more than one character.
2746
2747 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
2748
2749         * main.c (secs_to_human_time): Ditto.
2750
2751         * progress.c (create_image): Print more exact duration of very
2752         short downloads.
2753
2754         * main.c (secs_to_human_time): Don't translate time suffixes "h",
2755         "m", and "s", which are not strictly SI, but are "accepted for use
2756         with SI".
2757         (secs_to_human_time): Print really small intervals as 0s, not
2758         0.00s.
2759
2760 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
2761
2762         * config-post.h: Replace the alloca declaration with the one from
2763         the latest Autoconf manual.  This should remove a warning with GCC
2764         on AIX.
2765
2766 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
2767
2768         * ftp.c (getftp): Always invoke SIZE, not only when continuing a
2769         download.
2770
2771         * main.c (main): Ditto here.
2772
2773         * progress.c (create_image): When the download is finished, print
2774         how long it took.
2775
2776 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
2777
2778         * main.c (main): Print the downloaded and quota amounts with the
2779         "human_readable" function.
2780
2781         * ftp.c (print_length): Ditto.
2782
2783         * http.c (gethttp): Don't display thousand separators.
2784
2785         * utils.c (with_thousand_seps): Rewritten to respect locale
2786         settings and to be type size agnostic.
2787
2788 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
2789
2790         * utils.c (human_readable): Divide with 1024 instead of shifting
2791         so the operation can work with non-integer N.
2792
2793 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
2794
2795         * progress.c (eta_to_human): New logic for more human-readable
2796         ETA.
2797
2798 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
2799
2800         * utils.c (with_thousand_seps_sum): Decrease buffer size so it
2801         cannot overrun add_thousand_seps's buffer.
2802
2803 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
2804
2805         * utils.c (SPRINTF_WGINT): The correct format is %I64d, not just
2806         %I64.
2807
2808 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
2809
2810         * http.c (http_loop): Don't warn about wildcards in HTTP URLs if
2811         globbing isn't requested in the first place.
2812
2813         * retr.c (retrieve_url): Temporarily turn off globbing when
2814         processing HTTP->FTP redirects.
2815
2816 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
2817
2818         * utils.c (with_thousand_seps_sum): Now defined only if
2819         SUM_SIZE_INT is double.
2820
2821         * wget.h (SUM_SIZE_INT): Instead of bothering with long, long
2822         long, __int64, and friends, simply either use wgint or double, end
2823         of story.  Since we know how to print either, we no longer need
2824         LARGE_INT_FMT.
2825
2826         * sysdeps.h (LARGE_INT): Renamed to SUM_SIZE_INT to better reflect
2827         its intent, and moved to wget.h.
2828
2829 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
2830
2831         * Makefile.in: No need to clean .libs.
2832
2833 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
2834
2835         * cookies.c (parse_set_cookies): Cast pointer subtraction to int
2836         before using it with %d; AIX compiler warns on this.
2837         Reported by Jens Schleusener.
2838
2839 2005-06-24  Hrvoje Niksic  <hniksic@xemacs.org>
2840
2841         * http.c (gethttp): Don't prepend / here.
2842
2843         * cookies.c (cookie_handle_set_cookie): Prepend / to PATH.
2844         (cookie_header): Ditto.
2845
2846 2005-06-24  Hrvoje Niksic  <hniksic@xemacs.org>
2847
2848         * init.c: opt.verbose must be declared as int.
2849
2850 2005-06-23  Hrvoje Niksic  <hniksic@xemacs.org>
2851
2852         * cmpt.c (strpbrk): Removed.
2853         (mktime): Removed.
2854         Include <time.h>.
2855
2856 2005-06-23  Hrvoje Niksic  <hniksic@xemacs.org>
2857
2858         * utils.c (read_file): Ditto.
2859
2860         * main.c (main): Use struct_fstat.
2861
2862         * mswindows.h (struct_fstat): Define a struct_fstat to deal with
2863         the fact that Borland 5.5 has 64-bit stat, but not 64-bit fstat!
2864
2865 2005-06-23  Hrvoje Niksic  <hniksic@xemacs.org>
2866
2867         * sysdep.h: Remove code that deals with Watcom.
2868
2869 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
2870
2871         * all: Use bool instead of int and false/true instead of 0/non-0
2872         for boolean variables and values.
2873
2874 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
2875
2876         * sysdep.h: Include the stdbool.h/_Bool/bool blurb from Autoconf.
2877
2878 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
2879
2880         * init.c (cmd_lockable_boolean): Removed.
2881
2882 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
2883
2884         * cookies.c (struct cookie): Use 1-bit bitfields for booleans
2885         which makes the structure takes less space at no cost in
2886         complexity.
2887
2888 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
2889
2890         * Makefile.in ($(OBJ)): Add the config.h dependency.
2891
2892 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
2893
2894         * openssl.c, connect.c, host.c: Replace instances of #ifdef
2895         ENABLE_DEBUG if (opt.debug) {...} #endif with IF_DEBUG {...}.
2896
2897         * main.c: Rename the IF_DEBUG defined here to WHEN_DEBUG.
2898
2899         * wget.h (IF_DEBUG): New macro.
2900         (DEBUGP): Define in terms of IF_DEBUG.
2901
2902 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
2903
2904         * http.c (gethttp): Only handle --set-cookies (and assert that
2905         cookie jar exists) if opt.cookies is true.  Failure to do so
2906         triggered the assert when --no-cookies was used and the server
2907         sent a Set-Cookie header.  Ouch!
2908
2909 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
2910
2911         * connect.c (select_fd): Expect select() to exist.
2912
2913         * utils.c (xsleep): Always use select() as sleep fallback on
2914         non-Windows platforms.
2915
2916         * ptimer.c: Delete the implementation of PTIMER_TIME.
2917
2918         * main.c: Assume existence of signal(), test for different signal
2919         names instead.
2920
2921         * cmpt.c: Better document reasons why certain functions are
2922         included.
2923
2924 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
2925
2926         * Makefile.in: Remove the manually maintained dependency list;
2927         make all object files depend on every header.
2928
2929 2005-06-20  Hrvoje Niksic  <hniksic@xemacs.org>
2930
2931         * hash.c: Rename "mapping" to "cell" to avoid confusion with the
2932         term "mapping" (or "map") sometimes being used for the entire hash
2933         table.  Also rename "non-empty" to "occupied" for easier reading
2934         of if (!NON_EMPTY (...)) ... .
2935
2936 2005-06-20  Hrvoje Niksic  <hniksic@xemacs.org>
2937
2938         * main.c, ptimer.c, sysdep.h, utils.c: Use #elif to simplify reading of
2939         chained if-else-else-else-... statements.
2940
2941 2005-06-20  Hrvoje Niksic  <hniksic@xemacs.org>
2942
2943         * all: Return type of signal handlers is `void'.  Include signal.h
2944         unconditionally.
2945
2946         * all: Don't explicitly cast values returned by malloc.  We no
2947         longer support ancient compilers that don't declare malloc, and we
2948         never supported C++ builds.
2949
2950 2005-06-19  Hrvoje Niksic  <hniksic@xemacs.org>
2951
2952         * all: Don't declare errno.  Include both time.h and sys/time.h,
2953         as long as sys/time.h exists.  Don't dereference function pointers
2954         when invoking the functions they point to.
2955
2956         * cmpt.c (memmove): Remove function mandated by C89.
2957         (strerror): Ditto.
2958         (strstr): Ditto.
2959
2960         * all: Undo the K&R-ization changes from 2005-05-03.
2961
2962         * all: Remove support for K&R compilers: use C89 function
2963         declarations, remove definition of PARAMS, remove support for
2964         varargs, and remove ansi2knr.  Assume the presence of time.h,
2965         string.h, and other headers mandated by C89.
2966
2967 2005-06-19  Hrvoje Niksic  <hniksic@xemacs.org>
2968
2969         * init.c (cmd_lockable_boolean): Don't recognize literal "2" and
2970         "-1" values; unlike 0 and 1, those should never be exposed to the
2971         user.  Update the error message to be more self-consistent, as
2972         proposed by Benno Schulenberg.
2973
2974 2005-06-18  Hrvoje Niksic  <hniksic@xemacs.org>
2975
2976         * http.c (gethttp): Don't free "head" before using it to save
2977         headers.
2978
2979 2005-06-18  Hrvoje Niksic  <hniksic@xemacs.org>
2980
2981         * http.c (gethttp): When -E is in use, check for file existence
2982         after appending ".html" to the name and modify the file name if
2983         necessary.
2984
2985 2005-06-17  Hrvoje Niksic  <hniksic@xemacs.org>
2986
2987         * connect.c (socket_has_inet6): Removed.
2988
2989         * host.c (lookup_host): Don't use the AI_ADDRCONFIG getaddrinfo
2990         hint.
2991
2992 2005-06-16  Hrvoje Niksic  <hniksic@xemacs.org>
2993
2994         * init.c (cmd_lockable_boolean): Improve the error message so it
2995         lists the more useful values first.
2996
2997 2005-06-15  Hrvoje Niksic  <hniksic@xemacs.org>
2998
2999         * http.c (gethttp): Also report the system error when the POST
3000         data file is missing.
3001
3002 2005-06-15  Benno Schulenberg  <benno@nietvergeten.nl>
3003
3004         * ftp.c, http.c, connect.c, cookies.c, html-url.c, init.c, res.c:
3005         Gettext-ize messages that were previously missed.
3006
3007 2005-06-15  Hrvoje Niksic  <hniksic@xemacs.org>
3008
3009         * host.h (ip_address): Remove the trailing comma from the type
3010         enum in the no-IPv6 case.
3011
3012         * main.c (struct cmdline_option): Remove the trailing comma from
3013         the enum.
3014
3015         Reported by Jens Schleusener.
3016
3017 2005-05-30  Hrvoje Niksic  <hniksic@xemacs.org>
3018
3019         * url.c (strpbrk_or_eos): Check for a recent GCC version before
3020         using the statement-as-expression extension.
3021
3022 2005-05-30  Hrvoje Niksic  <hniksic@xemacs.org>
3023
3024         * http.c (gethttp): Don't attempt to "skip short body" if we're
3025         issuing a HEAD request (in which case the response head is not
3026         followed by a body).
3027
3028 2005-05-30  Hrvoje Niksic  <hniksic@xemacs.org>
3029
3030         * init.c (cmd_spec_header): Don't split the string along the
3031         commas using cmd_vector; just append the new value using
3032         vec_append instead.
3033
3034         * utils.c (vec_append): New function.
3035
3036 2005-05-27  Andreas Beckmann  <debian@abeckmann.de>
3037
3038         * html-url.c (tag_handle_link): Mark the content from the <link
3039         src="..."> tag as expecting HTML.
3040
3041 2005-05-24  Hrvoje Niksic  <hniksic@xemacs.org>
3042
3043         * http.c (http_atotm): Document the origin of the "cookie date"
3044         format.
3045
3046 2005-05-21  Hrvoje Niksic  <hniksic@xemacs.org>
3047
3048         * init.c (setval_internal): Report exact command name alongside
3049         the "display name".
3050
3051 2005-05-18  Hrvoje Niksic  <hniksic@xemacs.org>
3052
3053         * cookies.c (update_cookie_field): Explicitly cast -1 to time_t to
3054         cope with systems where time_t is unsigned.
3055
3056         * cookies.c: Remove unnecessary casts to time_t from values
3057         already of that type.
3058
3059 2005-05-17  Hrvoje Niksic  <hniksic@xemacs.org>
3060
3061         * ftp.c (ftp_loop_internal): Same here.
3062
3063         * http.c (http_loop): Don't clobber the file when -c is specified
3064         and the first attempt to retrieve the file fails.
3065
3066 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
3067
3068         * openssl.c (ssl_check_certificate): Print all issues with a
3069         certificate.
3070
3071 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
3072
3073         * ftp-basic.c: Don't xfree() the line returned by ftp_response if
3074         the returned code is not FTPOK.
3075
3076 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
3077
3078         * init.c (cleanup): Don't free the non-existent opt.ftp_acc.  Free
3079         the SSL-related stuff.
3080
3081 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
3082
3083         * ftp.c (print_length): Consistently print \n at end of the
3084         "Length" line.
3085
3086 2005-05-14  Hrvoje Niksic  <hniksic@xemacs.org>
3087
3088         * openssl.c (ssl_connect): Announce the beginning and the end of
3089         the SSL handshake when in debug mode.
3090
3091         * wget.h (PTR_FORMAT): New macro for easier printing of pointer
3092         values.  Use %0*lx along with PTR_FORMAT instead of %p.
3093
3094 2005-05-14  Hrvoje Niksic  <hniksic@xemacs.org>
3095
3096         * http.c (gethttp): Would forget to close the connection when
3097         keep_alive was not used.
3098
3099 2005-05-13  Hrvoje Niksic  <hniksic@xemacs.org>
3100
3101         * openssl.c (pattern_match): Document the code that decides
3102         whether "*" matches ".".
3103
3104 2005-05-12  Hrvoje Niksic  <hniksic@xemacs.org>
3105
3106         * ftp-ls.c (ftp_index): Use %d to print the port number, which is
3107         now int.
3108         From Steven M. Schweda's VMS patches.
3109
3110 2005-05-12  Hrvoje Niksic  <hniksic@xemacs.org>
3111
3112         * url.c (rewrite_shorthand_url): Don't rewrite "https://host" to
3113         "ftp://https//host" when SSL is not used.
3114
3115 2005-05-11  Hrvoje Niksic  <hniksic@xemacs.org>
3116
3117         * openssl.c (ssl_check_server_identity): Renamed to
3118         ssl_check_certificate because it does more than just checking the
3119         server's identity.
3120         (ssl_check_certificate): Tell the user about
3121         --no-check-certificate.
3122
3123 2005-05-11  Hrvoje Niksic  <hniksic@xemacs.org>
3124
3125         * openssl.c (ssl_init): Always use SSL_VERIFY_NONE, so that the
3126         handshake finishes even if the certificate is invalid.  That way
3127         ssl_check_server_identity can provide better diagnostics on why
3128         the verification failed.
3129
3130 2005-05-11  Hrvoje Niksic  <hniksic@xemacs.org>
3131
3132         * openssl.c (pattern_match): New function.
3133         (ssl_check_server_identity): Treat peer certificate common name as
3134         wildcard.
3135
3136 2005-05-10  Hrvoje Niksic  <hniksic@xemacs.org>
3137
3138         * openssl.c (ssl_check_server_identity): Print certificate subject
3139         and issuer.
3140
3141 2005-05-10  Hrvoje Niksic  <hniksic@xemacs.org>
3142
3143         * res.c (res_register_specs): Correctly pass pointers to
3144         hash_table_get_pair.
3145
3146 2005-05-10  Hrvoje Niksic  <hniksic@xemacs.org>
3147
3148         * http.c (gethttp): Call ssl_check_server_identity.
3149
3150         * openssl.c (ssl_check_server_identity): New function, verifies
3151         that the host name in the certificate matches the actual host
3152         name.
3153         (verify_cert_callback): Removed, since it didn't do anything
3154         except returning the preverify_ok argument.
3155
3156         * connect.c (fd_transport_context): Allow retrieval of the context
3157         pointer registered with fd_register_transport.
3158
3159 2005-05-09  Hrvoje Niksic  <hniksic@xemacs.org>
3160
3161         * openssl.c (verify_cert_callback): Renamed from verify_callback.
3162         Always return the received "ok" value.  Print the X509 name in
3163         debug mode.
3164         (ssl_init): Enable partial writes in SSL context.
3165
3166 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
3167
3168         * http.c (http_loop): Check for wildcards in the URL path
3169         component, not in the whole URL.
3170
3171         * ftp.c (ftp_loop): Check for wildcards in URL path before
3172         unescaping, so the users can escape globbing metacharacters with %
3173         escapes.
3174
3175 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
3176
3177         * init.c (run_command): Correctly interpret the return value of
3178         parse_line.
3179         (commands): Re-alphabetize.
3180
3181 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
3182
3183         * netrc.c (parse_netrc): Explicitly check for assignment != NULL
3184         to silence warning from Borland C.
3185
3186         * url.c (sync_path): Don't unnecessarily increment p.
3187         (url_parse): Don't unnecessarily set url_encode to NULL just
3188         prior to return from the function.
3189
3190 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
3191
3192         * log.c (escnonprint_internal): Place variable declarations
3193         before other statements.
3194
3195 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
3196
3197         * html-url.c: Include recur.h.
3198
3199         * http.c (request_new): Define as accepting no args.
3200
3201 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
3202
3203         * url.c (strpbrk_or_eos): Made inline.  Use strchr(s, '\0') for
3204         finding the NUL char position.
3205
3206 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
3207
3208         * url.c (decide_copy_method): Renamed to char_needs_escaping.
3209         Since it now returns only two possible values, change it to return
3210         boolean (int).
3211
3212 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
3213
3214         * ftp-basic.c (ftp_request): Prevent newlines in VALUE causing
3215         inadvertent sending of multiple FTP commands.
3216
3217 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
3218
3219         * url.c (decide_copy_method): Never cause reencode_escapes to
3220         decode % escapes; it is too intrusive and breaks some servers.
3221
3222 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
3223
3224         * http.c (gethttp): When tunnelling SSL traffic over proxy with
3225         CONNECT, we're really talking to the remote server directly.
3226         Because of this, the request-line argument must be the URL path
3227         rather than the whole URL, as it would be when using regular
3228         proxies.
3229         Reported by Charles Lane.
3230
3231 2005-05-06  Hrvoje Niksic  <hniksic@xemacs.org>
3232
3233         * init.c (cmd_spec_useragent): Allow empty User-Agent.
3234
3235         * http.c (gethttp): Don't print "unknown authentication scheme"
3236         for failed Basic authentication.
3237         (SET_USER_AGENT): Don't set user-agent if opt.useragent is empty.
3238         (gethttp): Use alloca for allocation of www_authenticate.
3239
3240 2005-05-06  Hrvoje Niksic  <hniksic@xemacs.org>
3241
3242         * main.c (print_help): Fix wording of --secure-protocol help text.
3243
3244 2005-05-06  Hrvoje Niksic  <hniksic@xemacs.org>
3245
3246         * cmpt.c (strstr): Updated from glibc 2.3.5.
3247
3248 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
3249
3250         * http.c (http_atotm): Zero out the whole struct tm being passed
3251         to strptime.
3252
3253 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
3254
3255         * main.c (main): Propagate option name to setoptval.
3256
3257         * init.c (setoptval): Accept another argument, OPTNAME.  Propagate
3258         that argument as the option name independently of the actual
3259         command, determined by command_by_name(com).
3260
3261 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
3262
3263         * init.c (parse_line): Make the return value indicate whether
3264         there was a syntax error or a setter failed.
3265         (run_wgetrc): Return an indication on whether an error has been
3266         encountered.
3267         (initialize): Abort if there have been errors running either
3268         .wgetrc file.
3269
3270 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
3271
3272         * log.c (copy_and_escape): Slightly reduce code repetition between
3273         the two loops.
3274
3275 2005-05-05  Charles C.Fu  <ccwf@bacchus.com>
3276
3277         * utils.c (proclist): Strip leading slash when calling fnmatch
3278         too, otherwise wildcard comparisons always fail.
3279
3280 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
3281
3282         * utils.c (touch): Set access time to current time.
3283
3284 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
3285
3286         * url.c (url_unescape): Don't unescape %00, it effectively
3287         truncates the string.
3288
3289 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
3290
3291         * log.c (copy_and_escape): Replace the FOR_URI argument with a
3292         slightly more general mechanism for specifying different kinds of
3293         escape.
3294
3295 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
3296
3297         * ftp-basic.c (ftp_response): Fix printing FTP server response.
3298
3299 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
3300
3301         * retr.c (limit_bandwidth_reset): Reset sleep_adjust.
3302         (limit_bandwidth): Don't allow huge "adjustment" values that
3303         result from being suspended for a while.
3304
3305 2005-05-04  Hrvoje Niksic  <hniksic@xemacs.org>
3306
3307         * wget.h: If gettext was found but libtintl.h wasn't, declare
3308         gettext's return type to avoid type mismatches.
3309
3310 2005-05-03  Hrvoje Niksic  <hniksic@xemacs.org>
3311
3312         * url.c (url_parse): Rename label `error' to avoid conflict with
3313         identifier.
3314
3315         * retr.c (fd_read_body): Rename label `out' to avoid conflict with
3316         identifier.
3317         (fd_read_hunk): Use explicit double constant.
3318         (retrieve_from_file): Don't use string concatenation.
3319         (sleep_between_retrievals): Make sure xsleep is called with a
3320         `double' argument.
3321         (no_proxy_match): Define as static, like it is declared.
3322
3323         * progress.c (bar_create): Use 0.0 instead of 0 because K&R
3324         compilers can't automatically promote it.
3325
3326         * http-ntlm.c (ntlm_output): Replace \xHH sequences with \OOO for
3327         the sake of old compilers.
3328
3329         * ftp.c (ftp_loop_internal): Don't use string concatenation.
3330
3331         * http.c (request_send): Use explicit double constants when
3332         calling fd_read and fd_write.
3333         (post_file): Ditto.
3334         (gethttp): Ditto.
3335         (skip_short_body): Ditto.
3336
3337         * ftp-basic.c: When calling fd_write, specify the last argument as
3338         a `double' constant for the sake of K&R compilers which don't see
3339         the prototype and therefore can't promote it to double
3340         automatically.
3341
3342         * cookies.c (cookie_jar_load): Rename abort label to abort_cookie
3343         to avoid name conflict in K&R compilers.
3344
3345 2005-04-29  Hrvoje Niksic  <hniksic@xemacs.org>
3346
3347         * ptimer.c (posix_init): Since we allow _POSIX_MONOTONIC_CLOCK==0,
3348         it is not enough to check for _POSIX_MONOTONIC_CLOCK-0, we must
3349         also check for defined(_POSIX_MONOTONIC_CLOCK).
3350
3351 2005-04-28  Hrvoje Niksic  <hniksic@xemacs.org>
3352
3353         * ftp.c, hash.c, connect.c, host.c, http.c: Remove unreached code,
3354         such as "break" following return or abort.
3355
3356 2005-04-28  Hrvoje Niksic  <hniksic@xemacs.org>
3357
3358         * init.c (commands): Wrap the use of opt.random_file in #ifdef
3359         HAVE_SSL.
3360
3361 2005-04-28  Hrvoje Niksic  <hniksic@xemacs.org>
3362
3363         * http.c (gethttp): Correctly set the user agent.
3364
3365 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
3366
3367         * init.c (cmd_spec_useragent): Free the old value of
3368         opt.useragent before setting the new one.
3369
3370 2005-04-27  Mauro Tortonesi  <mauro@ferrara.linux.it>
3371
3372         * main.c: Map --ftp-password, --http-password and --proxy-password to
3373         the new ftppassword, httppassword and proxypassword commands
3374         respectively.  Document the --user and --password options in the help
3375         string.
3376
3377 2005-04-27  Mauro Tortonesi  <mauro@ferrara.linux.it>
3378
3379         * ftp.c: Add support for --user and --password.
3380
3381         * http.c: Add support for --user and --password.
3382
3383         * init.c: Deprecated ftppasswd, httppasswd, login, passwd and
3384         proxypasswd commands.  Added ftppassword, ftpuser, httppassword,
3385         password, proxypassword and user commands.
3386
3387         * main.c: Renamed --ftp-passwd to --ftp-password.  Added --ftp-user,
3388         --http-password, --password, --proxy-password and --user.  Deprecated
3389         --http-passwd and --proxy-passwd.  Added documentation for new options
3390         and removed documentation for deprecated options in the help string.
3391
3392         * options.h (struct options): Added user and passwd members to handle
3393         --user and --password respectively.  Renamed ftp_acc and ftp_pass
3394         members to ftp_user and ftp_passwd for consistency.
3395
3396 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
3397
3398         * main.c (print_help): Advertise "DER", not "ASN1".
3399
3400 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
3401
3402         * openssl.c (init_prng): Disable the weak random seed by default.
3403
3404         * http.c (gethttp): Simplify SSL initialization; disable SSL when
3405         anything goes wrong with the initialization.
3406
3407         * options.h (struct options): New option opt.random_file.
3408
3409 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
3410
3411         * init.c: Wrap private key commands in IF_SSL.
3412
3413 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
3414
3415         * openssl.c (ssl_init): Ditto.
3416
3417         * options.h (struct options): Allow separate specification of key
3418         type and certificate type.
3419
3420         * init.c (cmd_spec_cert_type): Provide a "der" synonym for "asn1"
3421         certificate encoding.
3422
3423 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
3424
3425         * openssl.c: Renamed "gen_sslfunc.c" to "openssl.c" and
3426         "gen_sslfunc.h" to "openssl.h".  This reflects the intent of
3427         openssl.c encapsulating the OpenSSL-specific code.
3428
3429 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
3430
3431         * init.c: Renamed "closure" (a synonym for context in some
3432         cultures) to "place", which more accurately reflects the usage.
3433
3434 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
3435
3436         * gen_sslfunc.c (ssl_init): Use default locations for loading the
3437         certificate bundles.
3438         (ssl_init_prng): Disable the cryptographically weak PRNG
3439         initialization fallback.
3440
3441         * init.c: Renamed SSL command-line arguments and wgetrc commands.
3442         (defaults): Check the server certificate by default.
3443
3444 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
3445
3446         * cookies.c (cookie_handle_set_cookie): Delete the part of the
3447         path after the trailing slash.
3448
3449         * http.c (gethttp): Call cookie_handle_set_cookie with path that
3450         begins with '/'.
3451
3452 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
3453
3454         * http.c (gethttp): Call skip_short_body only if keep_alive is in
3455         use.
3456         (gethttp): Send the User-Agent header with the CONNECT request as
3457         well.
3458
3459 2005-04-25  Hrvoje Niksic  <hniksic@xemacs.org>
3460
3461         * main.c (option_data): Removed support for the undocumented flag
3462         --use-proxy.
3463
3464 2005-04-25  Hrvoje Niksic  <hniksic@xemacs.org>
3465
3466         * main.c (option_data): Don't treat -Y as a boolean switch; treat
3467         it as a value switch instead, so "-Y off" continues to work.
3468
3469 2005-04-24  Hrvoje Niksic  <hniksic@xemacs.org>
3470
3471         * utils.c (aprintf): Delete unreachable statement.
3472
3473 2005-04-24  Hrvoje Niksic  <hniksic@xemacs.org>
3474
3475         * host.c (cmp_prefer_ipv4): New function.
3476         (cmp_prefer_ipv6): New function.
3477         (lookup_host): Use the appropriate comparator according to
3478         opt.prefer_family.
3479
3480         * init.c: New option prefer_family.
3481
3482         * host.c (is_valid_ipv6_address): Spell NS_* constants in lower
3483         case to avoid clash with system headers.
3484         (lookup_host): Reorder the addresses so that IPv4 ones come first.
3485
3486         * utils.c (stable_sort): New function.
3487
3488 2005-04-24  Hrvoje Niksic  <hniksic@xemacs.org>
3489
3490         * connect.c (retryable_socket_connect_error): Return 0 for
3491         ENETUNREACH and EHOSTUNREACH.
3492
3493 2005-04-23  Hrvoje Niksic  <hniksic@xemacs.org>
3494
3495         * cmpt.c: Reenable the memmove implementation for systems that
3496         lack it.
3497
3498         * http.c (gethttp): Store the "authorized" state of the persistent
3499         connection.
3500         (request_remove_header): New function.
3501         (gethttp): Don't send the "Basic" authentication if the connection
3502         is already authorized.
3503
3504 2005-04-23  Hrvoje Niksic  <hniksic@xemacs.org>
3505
3506         * utils.c (base64_encode): Treat input as unsigned chars.
3507         Required for correct encoding of binary stuff.
3508
3509 2005-04-23  Hrvoje Niksic  <hniksic@xemacs.org>
3510
3511         * http-ntlm.c: Format the function definitions in an
3512         ansi2knr-friendly fashion.
3513
3514 2005-04-22  Hrvoje Niksic  <hniksic@xemacs.org>
3515
3516         * http.c (gethttp): Handle multiple WWW-Authentication headers,
3517         only one of which is recognized.  Those are sent by IIS with NTLM
3518         authorization.
3519         (create_authorization_line): Propagate information whether
3520         authorization is finished.
3521         (gethttp): Only stop authorization when it's really finished, not
3522         after fixed two steps.
3523
3524 2005-04-21  Hrvoje Niksic  <hniksic@xemacs.org>
3525
3526         * gen_sslfunc.c (ssl_init): Fix warning message text; mark the
3527         message as translatable.
3528
3529 2005-04-21  Hrvoje Niksic  <hniksic@xemacs.org>
3530
3531         * main.c (print_help): Print the EGD option outside the cluster of
3532         SSL options.
3533
3534 2005-04-21  Hrvoje Niksic  <hniksic@xemacs.org>
3535
3536         * http-ntlm.c (ntlm_output): Fix setting the domain.
3537         Suggested by Sami Krank.
3538
3539 2005-04-20  Mauro Tortonesi  <mauro@ferrara.linux.it>
3540
3541         * connect.c: Set IPV6_V6ONLY socket option when -6 switch is used.
3542
3543 2005-04-20  FUJISHIMA Satsuki  <sf@FreeBSD.org>
3544
3545         * http.c (request_set_header): Fix the check whether a new header
3546         needs to be allocated.
3547
3548 2005-04-18  Hrvoje Niksic  <hniksic@xemacs.org>
3549
3550         * utils.c (base64_encode): Use the parameter order that makes more
3551         sense.  Return the length of the base64 written.  Updated all
3552         callers.
3553
3554 2005-04-17  Hrvoje Niksic  <hniksic@xemacs.org>
3555
3556         * http.c (request_set_header): Free NAME when VALUE is NULL and
3557         freeing the header name is requested.
3558
3559 2005-04-17  Hrvoje Niksic  <hniksic@xemacs.org>
3560
3561         * snprintf.c (fmtstr): Declare VALUE as const char *.
3562         Based on patch by Russ Allbery.
3563
3564 2005-04-17  Hrvoje Niksic  <hniksic@xemacs.org>
3565
3566         * snprintf.c (fmtfp): More correct handling of significant digit
3567         count with %g -- 0.002 has one significant digit, not three.
3568
3569 2005-04-16  Hrvoje Niksic  <hniksic@xemacs.org>
3570
3571         * retr.c (fd_read_body): Respect read timeout with non-interactive
3572         or no progress gauge -- treat ETIMEDOUT specially only when
3573         progress_interactive.
3574         Reported by FUJISHIMA Satsuki.
3575
3576 2005-04-16  FUJISHIMA Satsuki  <sf@FreeBSD.org>
3577
3578         * http.c (gethttp): Don't use HTTP/1.0 persistent connections over
3579         proxy.
3580
3581 2005-04-16  Hrvoje Niksic  <hniksic@xemacs.org>
3582
3583         * snprintf.c: Use the PARAMS macro to handle prototypes.  Write
3584         function definitions in the ansi2knr-friendly way.
3585         (fmtstr): If string precision is specified, don't read VALUE past
3586         it.
3587         (dopr): Actually print %g and %e formats.
3588         (fmtfp): Fix a bug that caused 0.01 to be printed as 0.1.
3589         (fmtfp): Use LLONG in floating point conversions to be able to
3590         convert more digits.
3591         (fmtfp): Interpret precision as number of significant digits with
3592         %g.
3593         (fmtfp): Omit trailing decimal zeros with %g.
3594
3595         * snprintf.c: Don't include <ctype.h> because none of it is used.
3596         Include strings.h/string.h, as per Autoconf.
3597
3598 2005-04-15  Hrvoje Niksic  <hniksic@xemacs.org>
3599
3600         * ptimer.c: Use _POSIX_TIMERS - 0 > 0, which handles the case when
3601         _POSIX_TIMERS is defined but empty, as well as the case when it is
3602         undefined.  Do the same with the check for _POSIX_MONOTONIC_CLOCK.
3603         Suggested by Larry Jones.
3604
3605 2005-04-15  Hrvoje Niksic  <hniksic@xemacs.org>
3606
3607         * ptimer.c: Check that _POSIX_TIMERS is defined as well as > 0.
3608         Problem reported by Steven M. Schweda.
3609
3610 2005-04-14  Hrvoje Niksic  <hniksic@xemacs.org>
3611
3612         * http.c (skip_short_body): Print the skipped body data in debug
3613         mode.
3614         (skip_short_body): Don't skip more than 4k of body data.
3615         (skip_short_body): Return whether the skipping was successful.
3616         (gethttp): If skip_short_body failed, invalidate the connection.
3617
3618 2005-04-12  Gisle Vanem  <giva@bgnett.no>
3619
3620         * ftp.c (getftp): Ditto.
3621
3622         * http.c (gethttp): Open the output file in binary mode.
3623
3624 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
3625
3626         * hash.c: Conditionalize including config.h on HAVE_CONFIG_H
3627         instead of on STANDALONE.
3628
3629 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
3630
3631         * gen_sslfunc.c (ssl_print_errors): Made static.
3632         (ssl_print_errors): Eliminate potentially dangerous fixed-size
3633         error buffer.  Passing NULL to ERR_error_string causes it to use
3634         its own static buffer, which is fine for our purposes.
3635
3636         * gen_sslfunc.c: Include gen_sslfunc.h.  Make the declarations of
3637         ssl_init and ssl_conect match the actual definitions.
3638         (ssl_connect): Simply return a boolean, the SSL context is no
3639         longer useful as a return value.
3640
3641         * retr.c: Don't include SSL headers; we don't need them.
3642
3643 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
3644
3645         * config-post.h: Don't define _VA_LIST under Solaris; it breaks
3646         compilation with GCC 3.4 under Solaris 10.  (It was defined to
3647         avoid a warning with previous versions of GCC.)
3648
3649 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
3650
3651         * xmalloc.c (register_ptr): Warn the user to increase SZ prior to
3652         aborting.
3653
3654 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
3655
3656         * convert.c (convert_cleanup): Free converted_files.
3657
3658 2005-04-10  Hrvoje Niksic  <hniksic@xemacs.org>
3659
3660         * wget.h (DEBUGP): Use __builtin_expect to give a hint to GCC that
3661         opt.debug is false in the vast majority of cases.
3662
3663 2005-04-10  Hrvoje Niksic  <hniksic@xemacs.org>
3664
3665         * config-post.h: Declare alloca as void *, not char *.
3666
3667 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
3668
3669         * recur.c (download_child_p): When -p is used, (temporarily)
3670         ignore accept/reject rules for HTMLs, even when they are at the
3671         maximum recursion depth.  That is because with -p we are, if
3672         necessary, overstepping the max. depth to get the requisites.
3673
3674 2004-06-12  Larry Jones <lawrence.jones@ugsplm.com>
3675
3676         * recur.c (download_child_p): Correct the logic in check number 6:
3677         test opt.reclevel (not DEPTH) against INFINITE_RECURSION.
3678
3679 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
3680
3681         * url.c: Use "static const" in preference to "const static".
3682         Sun's cc warns that "storage class after type is obsolescent".
3683
3684         * url.c (urlchr_table): Don't mark ~ as unsafe, too many broken
3685         web sites are confused when ~ is changed to %7E.  Their servers
3686         redirect /%7Efoo/ to /~foo/, which Wget again accesses using %7E,
3687         causing further redirections, therefore looping infinitely.  See
3688         Debian bug #301624 for an example.
3689
3690 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
3691
3692         * alloca.c: Include wget.h to be able to use xmalloc.  In addition
3693         to defining malloc to xmalloc, also define free to xfree.
3694
3695 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
3696
3697         * http-ntlm.c (ntlm_output): Use "char", not "unsigned char" for
3698         ntlmbuf.  Our base64 functions accept char anyway.
3699         (ntlm_output): Join up the format string, since we nominally
3700         support K&R compilers.
3701         (ntlm_output): Ditto.
3702
3703 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
3704
3705         * ptimer.c: Use Windows timers under Cygwin, whose POSIX timer
3706         implementation is incomplete.
3707
3708 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
3709
3710         * ptimer.c (struct ptimer): Remove the unused initialized field.
3711
3712         * ptimer.c: Renamed function parameters from WT (which used to
3713         stand for wget_timer or wtimer) to PT.
3714
3715 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
3716
3717         * ptimer.c (posix_init): Be smarter about choosing clocks.  In
3718         decreasing order of preference, use CLOCK_MONOTONIC,
3719         CLOCK_HIGHRES, and CLOCK_REALTIME.
3720         (ptimer_allocate): Removed.
3721
3722         * ptimer.c: Refactor the code by cleanly separating the
3723         architecture-dependent code from the architecture-independent
3724         code.
3725
3726 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
3727
3728         * ptimer.c (ptimer_init): Explicitly check that
3729         _POSIX_MONOTONIC_CLOCK is *both* defined and >=0.  (Undefined
3730         symbols are >=0.)
3731
3732 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
3733
3734         * ptimer.c (ptimer_diff): Fix typo affecting Windows build.
3735
3736 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
3737
3738         * ptimer.c (ptimer_init): In fact, _POSIX_MONOTONIC_CLOCK needs to
3739         be >= 0.
3740
3741         * ptimer.c (ptimer_init): Check whether _POSIX_MONOTONIC_CLOCK is
3742         defined instead of whether it's greater than 0.  glibc defines it
3743         to 0, but still makes it available via sysconf.
3744
3745 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
3746
3747         * mswindows.c (str_to_int64): Rename OVERFLOW and UNDERFLOW to
3748         INT64_OVERFLOW and INT64_UNDERFLOW, since those names are used.
3749
3750 2005-04-07  Hrvoje Niksic  <hniksic@xemacs.org>
3751
3752         * ptimer.c: New file.  Move the "wtimer" functions from utils.c to
3753         this file and rename them to ptimer_.
3754
3755 2005-04-07  Hrvoje Niksic  <hniksic@xemacs.org>
3756
3757         * host.c (NO_ADDRESS): Define NO_ADDRESS only after the system
3758         headers have been included.
3759
3760 2005-04-06  Hrvoje Niksic  <hniksic@xemacs.org>
3761
3762         * http.c (pconn): Include NTLM data, which is per-connection.
3763         (known_authentication_scheme_p): Recognize NTLM authorization.
3764         (create_authorization_line): Call ntlm_input and ntlm_output.
3765
3766         * http-ntlm.c: New file, donated by Daniel Stenberg and originally
3767         written for curl, heavily modified for Wget.
3768
3769         * utils.c (base64_encode): Relocated from http.c, since it is now
3770         used by http-ntlm.c, and will possibly be used elsewhere.
3771         (base64_decode): New function, originally based on code from GNU
3772         recode.
3773
3774 2005-04-02  Hrvoje Niksic  <hniksic@xemacs.org>
3775
3776         * ftp.c (ftp_loop): Ditto.
3777
3778         * ftp-basic.c (ftp_pasv): Use the xzero shorthand for memset(0).
3779         (ftp_lpsv): Ditto.
3780
3781 2005-04-05  Mauro Tortonesi  <mauro@ferrara.linux.it>
3782
3783         * Makefile.in: removed string_t.c from list of source files.
3784
3785 2005-04-04  Mauro Tortonesi  <mauro@ferrara.linux.it>
3786
3787         * string_t.c: Removed.
3788
3789         * string_t.h: Removed.
3790
3791 2005-04-02  Hrvoje Niksic  <hniksic@xemacs.org>
3792
3793         * url.c (rewrite_shorthand_url): Only accept recognized schemes.
3794         That way "foo:80" will correctly be rewritten to "http://foo:80"
3795         instead of left unchanged and ultimately rejected because of
3796         "unsupported scheme foo".
3797
3798 2005-03-31  Hrvoje Niksic  <hniksic@xemacs.org>
3799
3800         * utils.c (number_to_string): Avoid explicit 64-bit constants;
3801         construct them by multiplication at compile-time.
3802
3803         * utils.c, elsewhere: Don't append "L" to 32-bit integer
3804         constants; we aren't really compilable on 16-bit systems anyway.
3805
3806         * hash.c (prime_size): Remove primes larger than 2^31, but include
3807         2^31-1, which is prime.
3808
3809 2005-03-30  Hrvoje Niksic  <hniksic@xemacs.org>
3810
3811         * utils.c (string_set_to_array): New function.
3812
3813         * convert.c: Replace the use of "slists" with sets/hash-tables,
3814         which in fact suit the intended purpose much better.
3815         downloaded_html_list is removed altogether.
3816
3817 2005-03-29  Hrvoje Niksic  <hniksic@xemacs.org>
3818
3819         * ftp.h (enum): Rename GLOBALL, GETALL, and GETONE to
3820         GLOB_GLOBALL, GLOB_GETALL, and GLOB_GETONE to avoid conflict with
3821         Linux headers.
3822
3823 2005-03-29  Hrvoje Niksic  <hniksic@xemacs.org>
3824
3825         * utils.c (numdigit): More correct handling of negative numbers.
3826
3827 2005-03-21  Hrvoje Niksic  <hniksic@xemacs.org>
3828
3829         * http.c (gethttp): Print the human-readable size.
3830
3831         * ftp.c (getftp): Print the human-readable size of the file to be
3832         downloaded.
3833
3834         * utils.c (human_readable): New function.
3835
3836         * utils.c: Renamed "legible" to "with_thousand_seps",
3837         "legible_large_int" to "with_thousand_seps_large", and "legible_1"
3838         to "add_thousand_seps".
3839
3840 2005-03-21  Hrvoje Niksic  <hniksic@xemacs.org>
3841
3842         * http.c (gethttp): Inhibit persistent connections when talking to
3843         proxies, as mandated by RFC 2068.
3844
3845 2005-03-20  Hrvoje Niksic  <hniksic@xemacs.org>
3846
3847         * url.c (unescape_single_char): New function.
3848         (url_escape_dir): Use it to unescape slashes in directory
3849         components.
3850         (url_string): Escape unsafe chars in host name, except for the ':'
3851         charaters, which can appear in IPv6 addresses.
3852
3853         * main.c (main): Don't access the cookie jar directly.
3854
3855         * log.c (escnonprint_internal): Correctly calculate the needed
3856         string size.  Don't forget the buffer's new size after having
3857         reallocated it.
3858         (log_cleanup): New function.  Free the escnonprint ring data.
3859
3860         * init.c (cleanup): Don't free the cookie jar explicitly, it is
3861         now done by http_cleanup.
3862         (cleanup): opt.user_headers is now a vector, free it with
3863         free_vec.
3864
3865         * http.c (gethttp): Make sure to free the request data, the status
3866         message, and the response data before returning from the function.
3867         (save_cookies): New function.
3868         (http_cleanup): Free the cookie jar here.
3869
3870         * hash.c: Renamed string_hash to hash_string and ptrhash to
3871         hash_pointer.  Exported hash_pointer.
3872
3873         * xmalloc.c: Organized malloc_table (previously malloc_debug) as a
3874         simple EQ hash table.  register_ptr and unregister_ptr are now of
3875         O(1) complexity.
3876
3877         * xmalloc.c: Renamed "*_debug" to debugging_* and "*_real" to
3878         checking_*.
3879
3880 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
3881
3882         * utils.c (debug_test_md5): Moved to gen-md5.c.
3883
3884         * mswindows.h: Don't declare inet_ntop, since we don't use it.
3885
3886         * mswindows.h: For consistency, also wrap closesocket, it being
3887         a Winsock call.
3888
3889         * mswindows.h: Don't declare sleep and usleep; we're defining
3890         xsleep now.
3891
3892         * mswindows.h (mkdir): Don't special-case Borland C, _mkdir
3893         works there as well.
3894
3895         * host.c: Don't include winsock header files; the correct ones
3896         are already included by mswindows.h.
3897
3898         * mswindows.c (xsleep): Round toward the nearest millisecond
3899         in an attempt to avoid average short sleeps.
3900
3901         * utils.c (wtimer_granularity): Report correct values for
3902         Windows timers and for high-resolution timers.
3903
3904         * utils.c (wtimer_initialize_once): New function, called to
3905         initialize the timer frequency.
3906
3907         * utils.c: Replace the use of GetSystemTime with high-resolution
3908         counters under Windows.  When high-resolution counters are
3909         unavailable, use GetTickCount().
3910
3911 2005-03-15  Hrvoje Niksic  <hniksic@xemacs.org>
3912
3913         * retr.c (fd_read_body): Undo the 2004-11-18 change.  Instead,
3914         always be "exact".
3915
3916 2005-03-17  Hrvoje Niksic  <hniksic@xemacs.org>
3917
3918         * ftp-basic.c (ftp_login): Don't free the string if ftp_response
3919         returned an error status because the line didn't get allocated in
3920         the first place.
3921
3922 2005-03-15  Hrvoje Niksic  <hniksic@xemacs.org>
3923
3924         * http.c (read_http_response_head): Limit the response size to 64k
3925         bytes.
3926
3927         * retr.c (fd_read_hunk): Accept a MAXSIZE argument that limits the
3928         number of bytes the function is allowed to allocate.
3929         (fd_read_line): Limit the line to 4096 bytes.
3930
3931 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
3932
3933         * wget.h: Include options.h after wgint has been defined.
3934
3935         * options.h (struct options): Declare options processed with
3936         cmd_bytes as wgint, not long.
3937
3938 2005-03-18  Hrvoje Niksic  <hniksic@xemacs.org>
3939
3940         * init.c (cmd_file): Use concat_strings.
3941
3942         * http.c (basic_authentication_encode): Use concat_strings.
3943
3944         * ftp-ls.c (ftp_index): Use concat_strings.
3945
3946         * ftp-basic.c (ftp_request): Use concat_strings.
3947
3948         * utils.c (concat_strings): New function.
3949
3950 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
3951
3952         * init.c (simple_atof): Handle negative numbers; skip whitespace
3953         before the number.
3954         (simple_atoi): Ditto.  Also, check for overflow and underflow.
3955         (cmd_number): Bail out on negative numbers.
3956         (parse_bytes_helper): Ditto.
3957
3958 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
3959
3960         * http.c (gethttp): Handle multiple Set-Cookie headers sent by
3961         remote server.
3962
3963 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
3964
3965         * init.c (defaults): Use passive FTP by default.
3966
3967 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
3968
3969         * mswindows.c: Provide wrappers to Winsock functions that set
3970         errno to WSAGetLastError() in case of failure.  Also provide a
3971         Windows-specific version of strerror.
3972
3973         * mswindows.h: Wrap calls to socket, bind, connect, recv, send,
3974         select, getsockname, getpeername, and setsockopt.
3975
3976 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
3977
3978         * url.c (url_parse): Reject port numbers larger than 65535.  We
3979         also check for overflow while parsing port numbers.
3980
3981 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
3982
3983         * utils.c (read_file): Don't use wgint for file size; LFS won't
3984         work since the file is mmap'ed as a whole.
3985
3986         * options.h: Don't include stdio.h.
3987
3988         * log.c: Ditto.
3989
3990         * init.c: Disambiguate assignment from non-zero test to avoid
3991         Borland C warning.
3992
3993         * http.c (response_new): Don't needlessly post-increment count.
3994
3995         * hash.c: Include stdio.h.
3996
3997         * gnu-md5.h: Don't include stdio.h.
3998
3999         * getopt.h (struct option): Always use const.
4000
4001         * ftp.c (getftp): Avoid unnecessary assignment to RES to avoid
4002         Borland C warning.
4003
4004         * ftp-ls.c: Disambiguate assignment from non-zero test to avoid
4005         Borland C warning.
4006
4007         * cmpt.c (strptime_internal): Don't initialize rp_backup when
4008         !_NL_CURRENT to avoid Borland C warning.
4009
4010 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
4011
4012         * utils.c (fopen_excl): Fix parse error when O_BINARY is
4013         available.
4014
4015 2005-03-05  Hrvoje Niksic  <hniksic@xemacs.org>
4016
4017         * url.c (url_file_name): Don't allow hosts named ".." to be
4018         appended as path elements.
4019
4020 2005-03-03  Hrvoje Niksic  <hniksic@xemacs.org>
4021
4022         * retr.c (retrieve_url): Escape location header.
4023
4024         * http.c (print_server_response_1): Escape server response when
4025         printing it.
4026         (gethttp): Escape host name, status message, location header, and
4027         content type.
4028         (http_loop): Escape error message from server.
4029
4030         * host.c (lookup_host): Escape host name when printing it.
4031
4032         * ftp.c (getftp): Escape user name when printing it.
4033         (getftp): Escape remote file and directory for printing.
4034         (getftp): Escape server listing when printing it.
4035         (ftp_retrieve_list): Escape link name and file name.
4036         (ftp_retrieve_glob): Escape file name.
4037
4038         * ftp-basic.c (ftp_response): Escape server response when printing
4039         it.
4040
4041         * cookies.c (parse_set_cookies): Escape the cookie field when
4042         printing it.
4043         (parse_set_cookies): Escape contents of remote header.
4044         (cookie_handle_set_cookie): Escape host name and cookie domain.
4045
4046         * connect.c (connect_to_ip): Escape the host name.
4047
4048         * log.c (escnonprint): New function, used for printing strings
4049         coming from the server that possibly contain non-ASCII characters.
4050         (escnonprint_uri): Ditto.
4051
4052 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
4053
4054         * ftp.c (getftp): Ditto.
4055
4056         * http.c (gethttp): When we're not supposed to overwrite files,
4057         use fopen_excl to open the file and recompute the file name.
4058
4059         * log.c (redirect_output): Use unique_create to avoid a race
4060         condition.
4061
4062         * mswindows.c (fake_fork_child): Use unique_create.
4063
4064         * utils.c (fopen_excl): New function that opens a stdio stream
4065         with the O_EXCL flag (where available).
4066         (unique_create): New function, like unique_name, but also creating
4067         the file and returning a file pointer.
4068         (fork_to_background): Use unique_create to create the file
4069         immediately to avoid race condition with multiple instances of
4070         wget -b.
4071
4072 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
4073
4074         * host.c (lookup_host): Test for AI_ADDRCONFIG directly, instead
4075         of checking for HAVE_GETADDRINFO_AI_ADDRCONFIG.
4076
4077 2005-02-23  Hrvoje Niksic  <hniksic@xemacs.org>
4078
4079         * host.c (is_valid_ipv6_address): Move here from url.c.
4080         (lookup_host): If the address is numeric, don't print the
4081         "resolving..." line, don't set up DNS timeouts, and set the
4082         AI_NUMERICHOST hint, where available.
4083
4084 2005-02-26  Gisle Vanem  <giva@bgnett.no>
4085
4086         * utils.c: Use the nnnLL syntax under GCC.  Define struct_stat to
4087         struct _stati64 under __MINGW32__ as well as under MS VC.
4088
4089 2005-02-26  Hrvoje Niksic  <hniksic@xemacs.org>
4090
4091         * utils.c: Use the nnnI64 syntax for __int64 constants under all
4092         Windows compilers.
4093         (SPRINTF_WGINT): Use "%I64" under all Windows compilers.
4094
4095         * mswindows.h (WGINT_MAX): Use the nnnI64 syntax for
4096         __int64 constants under all Windows compilers.
4097         (struct_stat): Use `struct stati64' under Borland C.
4098         (fstat): Don't redefine to _fstati64 under Borland.
4099
4100         * mswindows.c: Define str_to_int64 under Borland C as well as
4101         under (older) Visual C.
4102
4103 2005-02-25  Hrvoje Niksic  <hniksic@xemacs.org>
4104
4105         * ftp.c (getftp): Initialize err to suppress compiler warning.
4106
4107 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
4108
4109         * ftp.c (ftp_expected_bytes): Fix bug that caused infloop because
4110         of not correctly skipping the '(' character.
4111
4112 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
4113
4114         * mswindows.c (wget_ftello): Removed.
4115
4116         * mswindows.h: Remove bogus definition of stat.
4117         (wget_ftello): Remove the leftover ftello replacement.
4118
4119 2005-02-20  Hrvoje Niksic  <hniksic@xemacs.org>
4120
4121         * mswindows.c (wget_ftello): Wget's replacement for ftello.
4122
4123         * utils.c (file_size): Use ftello where available.
4124
4125         * ftp-ls.c (ftp_parse_unix_ls): Use str_to_wgint to parse the file
4126         size.
4127         (ftp_parse_winnt_ls): Ditto.
4128
4129         * ftp-basic.c (ftp_size): Use str_to_wgint to convert number to
4130         wgint; pass 10 instead of 0 as the BASE argument.
4131
4132         * ftp.c (ftp_expected_bytes): Use str_to_wgint to parse the file
4133         size.
4134
4135         * sysdep.h (LARGE_INT_FMT): Use __int64 as LARGE_INT on
4136         MSVC/Windows; print it with "%I64".
4137
4138         * wget.h: Define a `wgint' type, normally aliased to (the possibly
4139         64-bit variant of) off_t.
4140
4141         * all: Use `wgint' instead of `long' for numeric variables that
4142         can hold file sizes.
4143
4144         * utils.c (number_to_string): Support printing of `wgint'
4145         argument.
4146         (number_to_static_string): New function.
4147
4148         * all: Replace printf("%ld", long_value) with printf("%s",
4149         number_to_static_string(wgint_value)).
4150
4151 2005-02-18  Mauro Tortonesi <mauro@ferrara.linux.it>
4152
4153         * main.c: Added the --ftp-passwd command line option.
4154
4155         * init.c: Renamed command passwd to ftppasswd.
4156
4157 2005-02-11  Mauro Tortonesi <mauro@ferrara.linux.it>
4158
4159         * string_t.c: Fixed a bug in do_escape and triggered escape of
4160         backslashes in string_escape to avoid ambiguities in the result
4161         string.
4162
4163 2005-02-10  Mauro Tortonesi <mauro@ferrara.linux.it>
4164
4165         * string.h: Renamed to string_t.h to fix a compilation conflict
4166         with the string.h header in the standard C library.
4167
4168         * string.c: Renamed to string_t.c for consistency with string.h.
4169
4170         * string_t.c: Ditto.
4171
4172         * string_t.h: Ditto.
4173
4174 2004-12-31  Mauro Tortonesi <mauro@ferrara.linux.it>
4175
4176         * string.c: New file.
4177
4178         * string.h: New file.
4179
4180         * Makefile.in: Added string.c to the list of modules to compile.
4181
4182         * main.c: Updated copyright.
4183
4184 2004-11-18  Ulf Harnhammar <ulf.harnhammar.9485@student.uu.se>
4185
4186         * ftp-ls.c: Fixed a problem in ftp_parse_winnt_ls that could allow a
4187         malicious remote FTP server to crash wget.
4188
4189 2004-11-18  Hans-Andreas Engel <engel@node.ch>
4190
4191         * http.c: Enable --convert-links (-k) when a single page is downloaded
4192         via --output-document (-O).
4193
4194 2004-11-18  Mauro Tortonesi <mauro@deepspace6.net>
4195
4196         * connect.c: Minor correction to the comment in front of fd_peek.
4197
4198 2004-11-18  Leonid Petrov <nouser@lpetrov.net>
4199
4200         * retr.c: Fix a timeout problem in fd_read_body when using http_proxy.
4201
4202 2004-11-15  YAMAZAKI Makoto <Yamazaki.Makoto@fujixerox.co.jp>
4203
4204         * netrc.c: Fix termination by assertion bug in netrc parsing.
4205
4206 2004-05-09  David Fritz  <zeroxdf@att.net>
4207
4208         * mswindows.c (fake_fork): Pass entire command line to the child
4209         process.
4210
4211 2004-03-31  Hrvoje Niksic  <hniksic@xemacs.org>
4212
4213         * http.c (gethttp): Fix typo: SCHEME_SSL -> SCHEME_HTTPS.
4214
4215 2004-03-30  Hrvoje Niksic  <hniksic@xemacs.org>
4216
4217         * http.c (gethttp): Send the Proxy-Authorization header over
4218         non-SSL connections too.
4219
4220 2004-03-25  David Fritz  <zeroxdf@att.net>
4221
4222         * mswindows.c (fake_fork_child): Ignore error code when
4223         OpenFileMapping() fails; assume it failed because the object does
4224         not exist.
4225
4226 2004-03-24  David Fritz  <zeroxdf@att.net>
4227
4228         * mswindows.c (fake_fork): New function.
4229
4230         * mswindows.c (fork_to_background): Use it.
4231
4232 2004-03-19  David Fritz  <zeroxdf@att.net>
4233
4234         * mswindows.c (ws_hangup): Incorporate old fork_to_background()
4235         code.  Add event name argument.
4236         (fork_to_backgorund): Now a simple wrapper around ws_hangup().
4237         (ws_handler): Correctly handle the case when neither CTRLC_BACKGND
4238         nor CTRLBREAK_BACKGND are defined.  Don't bother handling close,
4239         logoff, or shutdown events.  Call ws_hangup() with the correct
4240         event name; don't assume it was CTRL+Break.
4241
4242 2004-03-19  Hrvoje Niksic  <hniksic@xemacs.org>
4243
4244         * url.c (url_parse): Decode %HH sequences in host name.
4245
4246 2004-03-04  Hrvoje Niksic  <hniksic@xemacs.org>
4247
4248         * convert.c (local_quote_string): Quote "#" as "%23" and "%" as
4249         "%25" when creating links to local files.
4250
4251 2004-03-02  David Fritz  <zeroxdf@att.net>
4252
4253         * mswindows.c (ws_percenttitle): Guard against future changes by
4254         doing nothing if the proper variables have not been initialized.
4255         Clamp percentage value.
4256
4257 2004-03-04  Gisle Vanem  <giva@bgnett.no>
4258
4259         * retr.c (fd_read_body): Don't change console title if quiet.
4260
4261 2004-02-25  David Fritz  <zeroxdf@att.net>
4262
4263         * mswindows.c (set_sleep_mode): Remove argument and return value.
4264         Call GetModuleHandle() instead of LoadLibrary()/FreeLibrary() for
4265         kernel32.dll.  Use typedef for function-pointer.  Don't cast
4266         l-value.  Don't use dereference operator when calling through
4267         function-pointer.
4268         (ws_startup): Update call to set_sleep_mode().
4269         (ws_cleanup): Remove call to set_sleep_mode().
4270
4271 2004-02-23  David Fritz  <zeroxdf@att.net>
4272
4273         * http.c (http_loop): Ditto.
4274
4275         * ftp.c (ftp_loop_internal): Update call to ws_changetitle().
4276
4277         * main.c (main): Don't bother calling ws_changetitle().
4278
4279         * mswindows.h (ws_changetitle): Update prototype.
4280
4281         * mswindows.c (ws_changetitle): Remove second argument.  Use
4282         xfree_null().
4283         (ws_percenttitle): Only update title when percentage has changed.
4284
4285 2004-02-23  David Fritz  <zeroxdf@att.net>
4286
4287         * mswindows.h: Ditto.
4288
4289         * mswindows.c: Misc. formatting/comment tweaks throughout.
4290
4291 2004-02-20  David Fritz  <zeroxdf@att.net>
4292
4293         * main.c (print_help): Remove call to ws_help().
4294
4295         * mswindows.c (ws_help): Remove.
4296
4297         * mswindows.h (ws_help): Remove.
4298
4299 2004-02-16  David Fritz  <zeroxdf@att.net>
4300
4301         * init.c (home_dir): Use aprintf() instead of xmalloc()/sprintf().
4302         Under Windows, if $HOME is not defined, use the directory that
4303         contains the Wget binary instead of hard-coded `C:\'.
4304         (wgetrc_file_name): Under Windows, look for $HOME/.wgetrc then, if
4305         not found, look for wget.ini in the directory of the Wget binary.
4306
4307         * mswindows.c (ws_mypath): Employ slightly more robust methodology.
4308         Strip trailing path separator.
4309
4310 2004-02-06  Hrvoje Niksic  <hniksic@xemacs.org>
4311
4312         * http.c (gethttp): Respect --ignore-length.
4313         (gethttp): Inhibit keep-alive if --ignore-length is specified.
4314
4315 2004-02-06  Hrvoje Niksic  <hniksic@xemacs.org>
4316
4317         * connect.c (sockaddr_set_data): Zero out
4318         sockaddr_in/sockaddr_in6.  Apparently BSD-derived stacks need this
4319         when binding a socket to local address.
4320
4321 2004-02-04  Hrvoje Niksic  <hniksic@xemacs.org>
4322
4323         * hash.c: Make the file compilable outside Wget source tree when
4324         -DSTANDALONE is used.
4325
4326 2004-01-29  Hrvoje Niksic  <hniksic@xemacs.org>
4327
4328         * utils.c (determine_screen_width): Return 0 if not running on
4329         Windows or on a TIOCGWINSZ-capable system.
4330
4331 2004-01-28  David Fritz  <zeroxdf@att.net>
4332
4333         * utils.c (determine_screen_width): Correctly determine console
4334         width under Windows.
4335
4336 2004-01-28  Christian Biere  <christianbiere@gmx.de>
4337
4338         * progress.c (bar_set_params): Fixed syntax error when HAVE_ISATTY
4339         was undefined.
4340
4341         * ftp.c (ftp_loop_internal): Allocate a larger buffer in case
4342         "try" gets translated to something large.  Ditto in http_loop in
4343         http.c.
4344
4345         * http.c (response_header_copy): Don't write to buf[BUFSIZE].
4346
4347         * ftp-opie.c (skey_response): Eliminate unnecessary string
4348         concatenation; just call gen_md5_update twice.
4349
4350 2004-01-25  Hrvoje Niksic  <hniksic@xemacs.org>
4351
4352         * utils.c (xsleep): Don't call usleep with values larger than
4353         1,000,000.
4354
4355 2003-12-16  Hrvoje Niksic  <hniksic@xemacs.org>
4356
4357         * http.c (gethttp): Fix generation of `Content-Length'.
4358
4359 2003-12-15  Gisle Vanem  <giva@bgnett.no>
4360
4361         * url.c (url_skip_credentials): Fixed return value; 'url' if no
4362         credentials.
4363
4364 2003-12-14  Hrvoje Niksic  <hniksic@xemacs.org>
4365
4366         * url.c (url_skip_credentials): Return a pointer directly.
4367
4368 2003-12-14  Hrvoje Niksic  <hniksic@xemacs.org>
4369
4370         * url.c (url_file_name): Ditto.
4371         (parse_errors): Ditto.
4372
4373         * retr.c (retr_rate): Ditto.
4374
4375         * progress.c (create_image): Ditto.
4376
4377         * netrc.c (parse_netrc): Ditto.
4378
4379         * main.c (struct cmdline_option): Ditto.
4380         (redirect_output_signal): Ditto.
4381
4382         * init.c (commands): Ditto.
4383
4384         * ftp-ls.c (ftp_index): Ditto.
4385
4386         * cookies.c (check_domain_match): Declare the pointer to a literal
4387         string as `const'.
4388
4389 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
4390
4391         * retr.c (fd_read_body): Pass total size to progress_create, not
4392         the remaining amount.
4393
4394 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
4395
4396         * retr.c (fd_read_body): Don't fiddle with "interactive timeout"
4397         if read timeout is unset.
4398
4399 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
4400
4401         * connect.c (bind_local): Don't set the IPV6_V6ONLY option on the
4402         socket.
4403
4404 2003-12-06  Hrvoje Niksic  <hniksic@xemacs.org>
4405
4406         * url.c (url_file_name): Respect the setting of
4407         opt.protocol_directories.
4408
4409         * main.c (main): Only check for ret=='?' when longindex is unset.
4410         (option_data): New option --protocol-directories.
4411
4412 2003-12-06  Hrvoje Niksic  <hniksic@xemacs.org>
4413
4414         * ftp.c (getftp): Ditto.
4415
4416         * http.c (gethttp): Correctly calculate bandwidth as total data
4417         read divided with download time.
4418
4419         * retr.c (fd_read_body): Separate the return values for data
4420         written and read.
4421
4422 2003-12-05  Hrvoje Niksic  <hniksic@xemacs.org>
4423
4424         * http.c (H_REDIRECTED): Respect the HTTP/1.1 "303 See Other"
4425         response code.
4426         Suggested by Dan Razzell.
4427
4428 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
4429
4430         * retr.c (fd_read_body): Report the amount of data *written* as
4431         amount_read.  This is not entirely logical, but that's what the
4432         callers expect, and it's not easy to change.
4433
4434         * ftp.c (ftp_loop_internal): Ditto.
4435
4436         * http.c (http_loop): Be smarter about assigning restval; if we're
4437         in the nth pass of a download, simply use the information we have
4438         about how much data has been retrieved as restval.
4439
4440         * ftp.c (getftp): Ditto for FTP "REST" command.
4441
4442         * http.c (gethttp): When the server doesn't respect range, skip
4443         the first RESTVAL bytes of the read body.  Never truncate the
4444         output file.
4445
4446         * retr.c (fd_read_body): Support skipping initial STARTPOS octets.
4447
4448 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
4449
4450         * http.c (skip_short_body): Renamed skip_body to skip_short_body;
4451         don't bother calling fd_read_body.
4452
4453 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
4454
4455         * retr.c (fd_read_body): Sanitize arguments and document them
4456         better.  Make sure the timer is created and updated only if
4457         necessary.  Updated callers.
4458
4459 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
4460
4461         * http.c (skip_body): New function.
4462         (gethttp): Use it to skip the body of the responses we don't care
4463         to download.  That allows us to reuse the connection.
4464         (gethttp): Trust that the HEAD requests will not generate body
4465         data.
4466
4467         * retr.c (fd_read_body): Don't write to OUT if it's NULL.
4468
4469 2003-11-29  Hrvoje Niksic  <hniksic@xemacs.org>
4470
4471         * http.c (gethttp): Initialize SSL only the first time when SSL
4472         URL is downloaded.
4473
4474 2003-11-29  Hrvoje Niksic  <hniksic@xemacs.org>
4475
4476         * cookies.c (cookie_header): Only generate the contents of the
4477         header, not the leading "Cookie: " or the trailing "\r\n".
4478
4479         * http.c (gethttp): When adding headers specified with `--header',
4480         allow them to override the headers generated by Wget.
4481
4482         * init.c (cmd_spec_header): Made opt.user_headers a vector.
4483
4484         * http.c (request_new): New function.  Returns a request structure
4485         which can be modified in various ways, most notably by adding HTTP
4486         headers to the request.
4487         (request_set_header): New function for adding the header to the
4488         request.  If the header is already available, it gets replaced.
4489         (request_send): Construct and send the request.
4490         (gethttp): Use the request_* functions to generate the request.
4491
4492 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
4493
4494         * http.c (gethttp): Don't include the Proxy-Authorization header
4495         in the request tunneled through proxy.
4496
4497 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
4498
4499         * http.c (gethttp): Use the CONNECT handle to establish SSL
4500         passthrough through non-SSL proxies.
4501
4502 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
4503
4504         * init.c: Don't #include netinet/Winsock stuff.
4505
4506 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
4507
4508         * http.c: Deleted the old functions header_process,
4509         header_extract_number, header_exists, header_strdup,
4510         http_process_range, http_process_none, http_process_type, and
4511         http_process_connection.
4512
4513         * http.c (response_new): New function.
4514         (response_header_bounds): Ditto.
4515         (response_header_copy): Ditto.
4516         (response_header_strdup): Ditto.
4517         (response_status): Ditto.
4518         (gethttp): Use the new response_* functions to parse the response.
4519         Support HTTP/0.9 responses.
4520
4521 2003-11-27  Hrvoje Niksic  <hniksic@xemacs.org>
4522
4523         * progress.c (create_image): Don't calculate ETA if nothing has
4524         been downloaded yet, because it causes division by zero.
4525
4526 2003-11-27  Hrvoje Niksic  <hniksic@xemacs.org>
4527
4528         * connect.c (bind_local): Rename sa_len to addrlen because IRIX
4529         headers define sa_len as a macro.
4530
4531 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
4532
4533         * html-parse.c (convert_and_copy): Remove embedded newlines when
4534         AP_TRIM_BLANKS is specified.
4535
4536 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
4537
4538         * ftp.c: Set con->csock to -1 where rbuf_uninitialize was
4539         previously used.
4540
4541 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
4542
4543         * Makefile.in (http$o): Added the trailing backslash that was
4544         missing.
4545
4546 2003-11-21  Hrvoje Niksic  <hniksic@xemacs.org>
4547
4548         * headers.c: Removed.  The file is no longer relevant, now that no
4549         special handling of headers is done by the rbuf code.  Moved
4550         portions to http.c.
4551
4552 2003-11-21  Hrvoje Niksic  <hniksic@xemacs.org>
4553
4554         * rbuf.c: Removed.
4555
4556         * ftp-basic.c (ftp_response): Use fd_read_line.  No longer use
4557         struct rbuf.  Updated all callers.
4558
4559         * http.c (gethttp): Use fd_read_head to read all the headers in
4560         one go.
4561         (next_header): New function.
4562
4563         * retr.c (fd_read_line): New function: reads a line from FD,
4564         leaving the rest of the data unread.
4565         (fd_read_head): New function.
4566
4567         * connect.c (fd_peek): New function, implements peeking.
4568         (poll_internal): New function.
4569         (fd_read): Use it.
4570         (fd_write): Ditto.
4571         (fd_peek): Ditto.
4572         (fd_register_transport): Allow registering a "peeker" callback.
4573
4574 2003-11-20  Hrvoje Niksic  <hniksic@xemacs.org>
4575
4576         * connect.c: Renamed xread/xwrite/xclose to
4577         fd_read/fd_write/fd_close.  The "x" prefix is not appropriate
4578         because the semantics have diverged from read/write/close too
4579         significantly.  Updated all callers.
4580
4581 2003-11-20  Hrvoje Niksic  <hniksic@xemacs.org>
4582
4583         * connect.c (sock_write): It's not necessary to initialize RES.
4584
4585 2003-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
4586
4587         * main.c (main): Don't reference opt.ipv4_only and opt.ipv6_only
4588         if IPv6 is disabled.
4589
4590 2003-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
4591
4592         * connect.c (socket_has_inet6): Only compile it if IPv6 is enabled
4593         and AI_ADDRCONFIG is missing.
4594
4595 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
4596
4597         * gen_sslfunc.c (ssl_init_prng): Warn the user when using a weak
4598         random seed.
4599
4600 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
4601
4602         * host.c (address_list_contains): Renamed address_list_find to
4603         address_list_contains because its result is boolean.
4604
4605 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
4606
4607         * connect.c (select_fd): Return 1 if select is not available.
4608
4609 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
4610
4611         * connect.c (connect_to_host): Don't reference address list after
4612         releasing it.
4613
4614 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
4615
4616         * main.c (print_help): Fix alignment of FTP options output.
4617
4618 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
4619
4620         * host.c (lookup_host): Check for the ability to create IPv6
4621         sockets here.
4622
4623         * init.c (defaults): Don't auto-set --inet4-only on IPv6-less
4624         systems.
4625
4626 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
4627
4628         * main.c (print_help): Fix typo in `-O' help message.  Fix docs of
4629         -Y/--proxy.  Fix docs of `--cookies' and `--glob'.  Improve docs
4630         of --convert-links.  Fix docs of SSL options.
4631
4632 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
4633
4634         * ftp-basic.c: Don't include <arpa/inet.h> and others because
4635         they're no longer needed.
4636
4637 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
4638
4639         * main.c (main): Don't allow setting of both opt.ipv4_only and
4640         opt.ipv6_only.
4641
4642         * init.c (defaults): Mark opt.ipv4_only specially when set
4643         automatically.
4644
4645 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
4646
4647         * host.c (lookup_host): Use AI_ADDRCONFIG only if the family is
4648         unspecified.  This ensures that specifying `--no-inet4' on systems
4649         where IPv6 resolves, but doesn't work behaves the same regardless
4650         of the availability of AI_ADDRCONFIG.
4651
4652 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
4653
4654         * host.c: Don't refer to the now-removed function
4655         forget_host_lookup in the documentation of lookup_host.
4656
4657 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
4658
4659         * http.c (persistent_available_p): Correctly specify the endpoint
4660         argument to socket_ip_address.
4661         (gethttp): When printing the "reusing connection to..." message,
4662         specify the host name of the reused connection, not the current
4663         host name.  That makes more sense because it provides a useful
4664         piece of information -- we know to which host we're supposed to
4665         connect anyway!
4666
4667 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
4668
4669         * init.c: Make sure the options are in alphabetic order!
4670
4671         * host.c (lookup_host): Merge lookup_host_passive and lookup_host
4672         after all -- having both would result in some code duplication.
4673         (lookup_host): Set hints.ai_family to AF_INET if ipv4_only is
4674         requested.  Likewise, set it to AF_INET6 for ipv6_only.  Specify
4675         AI_ADDRCONFIG where available.
4676         (lookup_host): New flag LH_REFRESH that specifies that a cached
4677         entry for HOST should be refreshed.
4678         (cache_query): New function.
4679         (cache_store): Ditto.
4680         (cache_remove): Ditto.
4681         (forget_host_lookup): No longer necessary, replaced with static
4682         function cache_remove.
4683
4684 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
4685
4686         * main.c: Enable -4 and -6 only if IPv6 is enabled.
4687
4688 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
4689
4690         * connect.c (register_transport): Renamed from register_extended.
4691         Explain the intended usage.
4692
4693 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
4694
4695         * url.c (uri_merge): Merging "foo" and "bar" should result in
4696         "bar", not in "foo/bar".
4697         (path_simplify): Don't remove empty path elements; don't
4698         special-case leading slash.
4699         (path_simplify): Don't swallow ".."'s at the beginning of string.
4700         E.g. simplify "foo/../../bar" as "../bar", not as "bar".
4701         (append_uri_pathel): Defang ".." path element upon encountering
4702         it.
4703
4704 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
4705
4706         * http.c (persistent_available_p): Don't attempt to talk to two
4707         different SSL sites over the same secure connection.
4708
4709 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
4710
4711         * http.c (gethttp): Ditto.
4712
4713         * ftp.c (getftp): Use retryable_socket_connect_error instead of
4714         CONNECT_ERROR.
4715
4716         * wget.h (CONNECT_ERROR): Removed.
4717
4718         * connect.c (retryable_socket_connect_error): New function instead
4719         of unsupported_socket_family_error.
4720
4721 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
4722
4723         * wget.h (CONNECT_ERROR): Use it.
4724
4725         * connect.c (unsupported_socket_family_error): New function.
4726
4727 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
4728
4729         * connect.c (bind_local): Renamed bindport to bind_local; return
4730         the socket directly.  Updated callers.
4731         (accept_connection): Renamed acceptport to accept_connection;
4732         return the created socket directly.  Updated callers.
4733
4734 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
4735
4736         * init.c (defaults): Turn on opt.ipv4_only if we're compiling with
4737         IPv6, and AI_ADDRINFO is not available, and AF_INET6 sockets can't
4738         be created.
4739
4740 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
4741
4742         * host.c (lookup_host): Document the fact that the addresses are
4743         returned in order.
4744
4745 2003-11-12  Hrvoje Niksic  <hniksic@xemacs.org>
4746
4747         * utils.c: Use limits.h only where available.
4748
4749         * hash.c: Use INVALID_PTR and INVALID_PTR_BYTE.  Include limits.h.
4750
4751 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
4752
4753         * main.c: Added options --inet4-only and --inet6-only.
4754
4755 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
4756
4757         * host.c (host_errstr): Use the more standard message "Unknown
4758         host".
4759
4760 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
4761
4762         * connect.c (connect_to_host): Use that flag to decide whether to
4763         re-resolve the host name.
4764
4765         * host.c (struct address_list): Added a flag that maintains
4766         whether the connection worked at some point.
4767
4768 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
4769
4770         * host.c (lookup_host): Special-case the numeric addresses only in
4771         the non-IPv6 case.
4772
4773 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
4774
4775         * connect.c (resolve_bind_address): Call lookup_host_passive.
4776         Make sure that opt.bind_address is resolved only once.
4777
4778         * host.c (lookup_host_passive): New function, handles "passive"
4779         lookups.
4780         (lookup_host): Remove the passive flags.  Remove the
4781         family-related flags -- use ip_default_family instead.
4782
4783 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
4784
4785         * html-url.c: Get URLs from <object data="...">.
4786
4787 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
4788
4789         * main.c (option_data): Specify the command to use for --mirror.
4790
4791 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
4792
4793         * cookies.c (cookie_handle_set_cookie): Specify exact match for
4794         unspecified domains.
4795
4796 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
4797
4798         * main.c (main): Removed one-letter options `-C', `-g', `-G', and
4799         `-s'.
4800
4801 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
4802
4803         * main.c (main): Add --dont-remove-listing for backward
4804         compatibility with previous versions.
4805         (print_help): Fix typo, spotted by Dennis Smit.
4806
4807 2003-11-08  Gisle Vanem  <giva@bgnett.no>
4808
4809         * ftp-basic.c: Support Windows-2000 ftp servers. Win-2000 *is*
4810         Win-NT 5.0 so calling it ST_WINNT is okay I guess.
4811
4812 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
4813
4814         * progress.c (update_speed_ring): Clear the speed ring when the
4815         download stalls.
4816
4817         * retr.c (get_contents): Specify 0.95s read timeout, so that the
4818         progress gauge can be updated even when data arrives very slowly
4819         or stalls.
4820
4821 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
4822
4823         * utils.c (wtimer_allocate): Bless the use of wtimer_read on a
4824         timer that has merely been allocated because get_contents() does
4825         that.
4826         (wtimer_update): Abort if the timer is not initialized.
4827
4828 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
4829
4830         * retr.c (get_contents): Pass the timer to limit_bandwidth().
4831
4832         * utils.c (wtimer_update): New function instead of wget_elapsed;
4833         just update the timer, but don't return anything.
4834         (wtimer_read): Read and return the last known value of the timer.
4835
4836 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
4837
4838         * http.c (persistent_available_p): Instead of matching all the
4839         addresses of HOST and last host, determine the peer's IP address
4840         with socket_ip_address and see if that address is one of those
4841         HOST resolves to.
4842
4843         * host.c (address_list_match_all): Removed.
4844         (address_list_find): New function, finds an IP address in the
4845         address list.
4846
4847         * ftp.c (ftp_do_pasv): Get the peer's address here, and pass it to
4848         ftp_epsv so it doesn't need to call getpeername.
4849
4850         * ftp-basic.c (ftp_port): Use socket_ip_address instead of
4851         getpeername.
4852         (ftp_lprt): Ditto.
4853
4854         * connect.c (socket_ip_address): Replaces conaddr, generalized to
4855         either get peer's or local address.
4856         (sockaddr_get_data): Made local to this file.
4857
4858 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
4859
4860         * hash.c (HASH_POSITION): Explicitly accept the hash function.
4861         (grow_hash_table): Extract ht->hash_function outside the loop.
4862         (hash_table_remove): Ditto.
4863         (hash_table_clear): Fill entries with 0xff to clear them.
4864         (hash_table_remove): Mark entries as deleted with the correct
4865         marker.
4866
4867 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
4868
4869         * http.c (persistent_available_p): No reason for the host lookup
4870         to be silent -- it's a lookup like any other.
4871
4872 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
4873
4874         * connect.c (register_extended): Check that fd >= 0.
4875
4876 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
4877
4878         * connect.c (LAZY_RETRIEVE_INFO): Set LAST_INFO.
4879
4880 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
4881
4882         * hash.c (NON_EMPTY): Use the all-bit-set value as the marker that
4883         the field is empty.  This allows NULL pointer and 0 value to be
4884         used as keys, which is necessary for the connect.c code to work
4885         when fd==0.
4886         (hash_table_new): Fill mappings with 0xff.
4887         (grow_hash_table): Ditto.
4888
4889 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
4890
4891         * url.c (url_parse): Allow empty ports.
4892
4893 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
4894
4895         * main.c (print_help): Break the help string into multiple chunks.
4896         (cmdline_option): New option handler OPT_FUNCALL.  Generalized
4897         HANDLE_CMD to generic DATA.
4898         (option_data): Use the new OPT_FUNCALL feature.
4899
4900 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
4901
4902         * log.h: Declare log_init, log_close, and
4903         log_request_redirect_output here.
4904
4905 2003-11-05  Dennis Smit  <ds@nerds-incorporated.org>
4906
4907         * main.c: (main): added --preserve-permissions option.
4908
4909         * ftp.c (ftp_retrieve_list): added support for
4910         --preserve-permissions option.
4911
4912         * init.c: added support for --preserve-permission option.
4913
4914         * option.h: added support for --preserve-permission option.
4915
4916 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
4917
4918         * main.c (init_switches): New function.  Convert option_data to
4919         long_options and short_options, which can be fed to getopt_long.
4920         (main): Execute command-line options by consulting option_data.
4921
4922 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
4923
4924         * gen_sslfunc.c (ssl_read): Implement a more correct check for
4925         EINTR.
4926         (ssl_write): Ditto.
4927         (init_ssl): Use a global SSL context.
4928
4929 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
4930
4931         * connect.c (xclose): Free INFO even if it doesn't provide a
4932         closer.
4933
4934 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
4935
4936         * connect.c: Updated all callers of
4937         iread/ssl_iread/iwrite/ssl_iwrite to use xread and xwrite instead.
4938
4939         * rbuf.h (struct rbuf): Removed the SSL member because SSL is
4940         handled automatically by xread.
4941
4942         * hash.c (ptrhash): Made private.
4943         (ptrcmp): Ditto.
4944         (inthash): Removed.
4945
4946         * connect.c (select_fd): Don't set errno, leave it to the caller.
4947
4948         * gen_sslfunc.c (connect_ssl): Use register_extended to register
4949         SSL callbacks for communication with SSL-enabled endpoints.
4950         (ssl_read): New function.
4951         (ssl_write): Ditto.
4952         (ssl_poll): Ditto.
4953         (ssl_close): Ditto.
4954
4955         * connect.c (register_extended): New function -- register
4956         callbacks for basic socket operations.
4957         (xread): Ditto.
4958         (xwrite): Ditto.
4959         (xclose): Ditto.
4960         (sock_read): New function, default implementation for reading.
4961         (sock_write): Ditto for writing.
4962         (sock_poll): Ditto for polling.
4963         (sock_close): Ditto for closing.
4964
4965 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
4966
4967         * connect.c (bindport): Fix compilation under pre-C99 compilers.
4968
4969 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
4970
4971         * connect.c (connect_to_ip): More compact error checking.
4972         (bindport): Don't treat failed setsockopt as a fatal error.
4973
4974 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
4975
4976         * connect.c (resolve_bind_address): Use a more accurate error
4977         message -- we're not binding to ANY, we're disabling bind
4978         altogether.
4979
4980 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
4981
4982         * cookies.c (save_cookies_mapper): Respect the setting of
4983         keep-session-cookies.
4984         (cookie_jar_load): Import session cookies.
4985         Based on code submitted by Nicolas Schodet.
4986
4987         * utils.c (datetime_str): Use information in TM when it's
4988         non-NULL.
4989
4990         * main.c (main): New option `--keep-session-cookies'.
4991
4992 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
4993
4994         * Makefile.in (realclean): Delete config.h.in.
4995
4996 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
4997
4998         * config-post.h: New file, included from now autogenerated
4999         config.h.in.
5000
5001 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
5002
5003         * progress.c (progress_handle_sigwinch): Don't call
5004         determine_screen_width() from the signal handler.  Instead, just
5005         set a volatile variable.
5006         (bar_create): Check whether SIGWINCH was received.
5007         (bar_update): Ditto.
5008
5009         * sysdep.h: Define SYSTEM_FNMATCH only if HAVE_FNMATCH_H is true.
5010
5011 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
5012
5013         * utils.c (xsleep): New function.  Uses nanosleep where available,
5014         resuming sleeps interrupted by signals.  Updated callers of sleep
5015         and usleep to use xsleep.
5016
5017 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
5018
5019         * ftp-basic.c (ftp_login): Remove shadowing (and bogus)
5020         declaration of SEED.
5021
5022 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
5023
5024         * log.c (logvprintf): Documented better.  Renamed to
5025         log_vprintf_internal to avoid confusion with the public API
5026         functions logprintf and logputs.
5027
5028 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
5029
5030         * wget.h (N_): Don't parenthesize argument.
5031
5032 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
5033
5034         * host.h (ADDRESS_IPV4_DATA): Don't take the address of in.s_addr
5035         because that doesn't work on machines that define it as bitfield.
5036
5037 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
5038
5039         * connect.c (select_fd): Generalize the third argument into WAIT,
5040         so that the caller can request waiting for both read and write.
5041         Updated callers.
5042
5043 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
5044
5045         * html-url.c (cleanup_html_url): Destroy the hash tables, don't
5046         just call free on them.
5047         (init_interesting): Use hash_table_put instead of string_set_add
5048         because we don't need the strdup that the latter function
5049         performs.
5050
5051         * init.c (cleanup): Don't pass NULL to cookie_jar_delete.
5052
5053         * xmalloc.c (xfree_real): Abort when passed a NULL pointer.
5054         (xfree_debug): Print at the file and line of the offending call to
5055         free.
5056
5057 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
5058
5059         * wget.h: Retired the `boolean' type.  Moved the DEFAULT_LOGFILE
5060         define to log.h.  Moved the INFINITE_RECURSION define to recur.h.
5061
5062         * xmalloc.h: Renamed FREE_MAYBE to xfree_null and moved the
5063         definition from wget.h to xmalloc.h.
5064
5065 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
5066
5067         * html-parse.c (decode_entity): New function; split the decoding
5068         of entities here.
5069         (convert_and_copy): Use it to decode entities.
5070         (decode_entity): Handle the &apos entity.
5071         (decode_entity): Don't decode Latin 1 numeric entities.  Don't
5072         decode &#0.
5073
5074 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
5075
5076         * ftp-opie.c (calculate_skey_response): Use uint32_t instead of
5077         `unsigned long' for the cheksum array.  Document the function.
5078
5079 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
5080
5081         * connect.c (acceptport): Don't call select_fd when timeout is not
5082         requested.
5083
5084 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
5085
5086         * host.c: Removed the ip_default_family global variable.
5087
5088         * host.c (lookup_host): Document the function.  Fixed declaration
5089         of VEC.
5090
5091 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
5092
5093         * various: Use new macros xnew, xnew0, xnew_array, and xnew0_array
5094         in various places.
5095
5096 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
5097
5098         * wget.h: Move declarations of malloc and logging code to
5099         xmalloc.h and log.h respectively to unclutter this file.
5100         (STRDUP_ALLOCA): Made it side-effect free.
5101
5102         * xmalloc.h: New files.  Define macros xnew, xnew0, xnew_array,
5103         and xnew0_array.
5104
5105         * xmalloc.c: New file.  Move the xmalloc routines here.
5106
5107 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
5108
5109         * connect.c (sockaddr_set_data): Remove the broken code that
5110         checked for NULL address.
5111
5112 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
5113
5114         * host.c (address_list_from_single): Removed.
5115         (address_list_from_ipv4_addresses): Renamed from
5116         address_list_from_vector.
5117
5118 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
5119
5120         * sysdep.h (CLOSE): Don't call close on file descriptors less than
5121         0, i.e. on uncreated sockets.
5122
5123         * connect.c (resolve_bind_address): Work on struct sockaddr
5124         directly.
5125         (connect_to_host): Replacement for connect_to_many.  Resolve HOST
5126         and connect to any of its addresses.  If we can't connect and the
5127         host name lookup was cached, try to resolve it again.  This should
5128         fix problems with hosts behind dynamic DNS.  Updated all callers.
5129         (connect_to_ip): Replacement for connect_to_one.  Removed SILENT;
5130         added the argument PRINT instead.  Updated all callers.
5131         (set_connection_host_name): Removed.
5132
5133         * host.c (address_list_address_at): New function instead of
5134         address_list_copy_one. It returns a pointer to ip_address *, so
5135         it's not necessary to copy the data.
5136         (address_list_cached_p): New function.
5137         (forget_host_lookup): Ditto.
5138
5139         * connect.c: Got rid of the MSOCK global variable.  Made bindport
5140         return the local socket it creates.  Added a new argument to
5141         acceptport, the socket to call accept on.  Updated callers.
5142         (closeport): Removed.
5143
5144         * connect.c: Moved the sockaddr code from host.c to this file,
5145         because most of that stuff is used for connecting, and has nothing
5146         to do with host names anyway.
5147         (sockaddr_set_data, sockaddr_get_data): New functions, replace the
5148         old sockaddr_set_address, sockaddr_set_port, sockaddr_get_address,
5149         and sockaddr_get_port.
5150
5151 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
5152
5153         * sysdep.h: Use `S >= 8' rather than `S == 8' when looking for
5154         large integers.
5155
5156 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
5157
5158         * url.c (append_uri_pathel): New argument ESCAPED_P that says
5159         whether [B, E) is to be treated as URL-escaped or not.  If
5160         ESCAPED_P is false, don't unescape the region.
5161         (url_file_name): u->file is not URL-escaped.
5162
5163 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
5164
5165         * retr.c (retrieve_from_file): Use retrieve_tree for
5166         page-requisites.
5167
5168         * main.c (main): Don't define opt.recursive when -p is used.
5169         Instead, make sure that recursion is used for HTTP in that case.
5170
5171 2003-10-29  Hrvoje Niksic  <hniksic@xemacs.org>
5172
5173         * host.h: Defined accessors for elements of ip_address.  Updated
5174         all callers.
5175         (address_list_match_all): Use memcmp in the non-IPv6 case.
5176
5177         * wget.h (CONNECT_ERROR): Don't retry connecting if connect()
5178         returned EAFNOSUPPORT.
5179
5180 2003-10-27  Mauro Tortonesi <mauro@deepspace6.net>
5181
5182         * connect.h: changed bindport prototype and added the related
5183         BIND_ON_IPV4_ONLY and BIND_ON_IPV6_ONLY flags.
5184
5185         * connect.c: changed bindport and resolve_bind_address to allow
5186         protocol-version specific DNS resolution. modified conaddr,
5187         acceptport and connect_to_one to make use of struct
5188         sockaddr_storage and of the new ip_address structure.
5189
5190         * ftp-basic.c: added LPRT/LPSV (RFC1639) support, refactored
5191         PORT/PASV (RFC959) and EPRT/EPSV (RFC2428) support code.
5192
5193         * ftp.c: added the ftp_do_port and ftp_do_pasv functions to
5194         handle FTP over IPv6.
5195
5196         * ftp.h: changed prototype of ftp_epsv and added prototypes for
5197         ftp_lpsv, ftp_lprt and ftp_eprt.
5198
5199         * host.c: renamed the
5200         wget_sockaddr_set_address and wget_sockaddr_get_addr, and
5201         wget_sockaddr_{s,g}et_port couples to sockaddr_{s,g}et_address and
5202         sockaddr_{g,s}et_port respectively.  changed
5203         address_list_match_all, address_list_from_addrinfo sockaddr_len,
5204         pretty_print_address, lookup_host, sockaddr_{s,g}et_address and
5205         sockaddr_{g,s}et_port to make use of struct sockaddr_storage and
5206         of the new ip_address structure.  removed map_ipv4_to_ip and
5207         map_ip_to_ipv4.
5208
5209         * host.h: redefined structure ip_address and removed structure
5210         wget_sockaddr.
5211
5212 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
5213
5214         * sysdep.h: Include inttypes.h where available.
5215
5216         * host.c: Switch from u_int32_t to uint32_t.
5217
5218 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
5219
5220         * netrc.c (parse_netrc): Reset the QUOTE flag after the closing
5221         quote.
5222
5223 2003-10-25  Hrvoje Niksic  <hniksic@xemacs.org>
5224
5225         * url.c (is_valid_ipv6_address): Reformat to GNU coding style.
5226         Use enums for NS_IN* constants.  Use ISXDIGIT.
5227
5228         * convert.c (construct_relative): Document better how the function
5229         works.
5230
5231 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
5232
5233         * config.h.in: Deploy preprocessor magic to avoid Ultrix's
5234         <netdb.h> include <bitypes.h> which defines its own u_int32_t.
5235         Reported by Bernhard Simon.
5236
5237 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
5238
5239         * version.c: Bump version.
5240
5241 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
5242
5243         * url.c: Ditto.
5244
5245         * html-parse.c (advance_declaration): Don't use trailing comma in
5246         enum because older compilers don't support it.
5247
5248         * utils.c: Don't redefine HAVE_SIGSETJMP.
5249
5250 2003-10-16  Hrvoje Niksic  <hniksic@xemacs.org>
5251
5252         * convert.c (construct_relative): Don't handle absolute files
5253         specially -- for example, -P/tmp/foo shouldn't imply that
5254         converted files must refer to "/tmp/foo/..."!
5255
5256 2003-10-15  Hrvoje Niksic  <hniksic@xemacs.org>
5257
5258         * http.c: Consider status 307 a valid redirect.
5259
5260 2003-10-15  Philip Stadermann  <philip.stadermann@credativ.de>
5261
5262         * ftp.c (ftp_retrieve_glob): Correctly loop through the list whose
5263         elements might have been deleted.
5264
5265 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
5266
5267         * html-url.c (tag_handle_meta): Set the Refresh link to expect
5268         HTML.
5269         (append_one_url): Renamed to append_url.
5270
5271 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
5272
5273         * sysdep.h: Only define u_int32_t.
5274
5275 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
5276
5277         * utils.c (large_int_to_string): Use snprintf() to print the
5278         number.  This will work even on systems where libc doesn't
5279         understand %lld, but the compiler does, because it will use our
5280         snprintf replacement.
5281
5282         * init.c (parse_bytes_helper): New function.
5283         (cmd_bytes): Use it to parse bytes, but cast the result to long.
5284         (cmd_bytes_large): Ditto, but store the result to LARGE_INT.  Used
5285         for --quota so that --quota=10G works even on machines without
5286         long long.
5287
5288         * options.h (struct options): Declare quota as LARGE_INT.
5289
5290         * retr.c (downloaded_exceeds_quota): Removed.
5291         (downloaded_increase): Ditto.
5292         (total_downloaded_bytes): New variable, replaces opt.downloaded,
5293         which was the wrong place for it anyway.  Updated callers of
5294         downloaded_exceeds_quota and downloaded_increase to check this
5295         variable directly.
5296
5297         * sysdep.h: Get rid of VERY_LONG_TYPE.  Use LARGE_INT for the same
5298         purpose, defined as `long', `long long' or `double', depending on
5299         size of long and whether long long is available.
5300
5301 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
5302
5303         * sysdep.h: Also check size of short for int32_t.
5304
5305 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
5306
5307         * host.c (lookup_host): Use u_int32_t to store the result of
5308         inet_addr().  That removes the need for offset fiddling, caring
5309         about endian-ness, etc.
5310
5311         * sysdep.h: Define int32_t and u_int32_t if not available.
5312
5313 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
5314
5315         * ftp-basic.c (ftp_epsv): Use socklen_t * as the third argument to
5316         getpeername.
5317
5318         * config.h.in: Define socklen_t stub.
5319
5320         * host.c (sockaddr_len): Return socklen_t.
5321
5322         * connect.c (conaddr): Use socklen_t as the third argument to
5323         accept, getsockname, and connect.
5324
5325 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
5326
5327         * recur.c (retrieve_tree): Don't descend into documents that are
5328         not expected to contain HTML, regardless of their content-type.
5329
5330         * html-url.c (tag_url_attributes): Record which attributes are
5331         supposed to yield HTML links that can be followed.
5332         (tag_find_urls): Propagate that information to the caller through
5333         struct urlpos.
5334
5335 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
5336
5337         * hash.c (find_mapping): Return the next available mapping when
5338         the key is not found, not NULL.
5339         (hash_table_put): Use find_mapping to find the storage for the new
5340         data.
5341         (hash_table_put): Grow the table before exceeding maximum
5342         fullness, not afterwards.
5343
5344 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
5345
5346         * hash.c (hash_table_new): Slightly change the meaning of the
5347         first parameter.  Instead of being the minimum initial size, it is
5348         now the minimum number of items that the hash table can take
5349         without needing to resize.
5350
5351 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
5352
5353         * html-url.c (init_interesting): Initialize interesting_tags and
5354         interesting_attributes as hash tables.  This simplifies the code
5355         immensely because hash tables handle allocation and remove
5356         duplicates automatically.
5357         (find_tag): Removed.
5358         (collect_tags_mapper): Instead of calling find_tag, simply get the
5359         entry from interesting_tags hash table, which is both simpler and
5360         faster.
5361
5362 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
5363
5364         * hash.c (hash_table_get): Declare hash-table argument as const.
5365         (find_mapping): Ditto.
5366         (hash_table_get_pair): Ditto.
5367         (hash_table_contains): Ditto.
5368         (hash_table_count): Ditto.
5369
5370 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
5371
5372         * html-url.c (get_urls_html): Parse the appropriate flags to
5373         html-parse.c.
5374
5375         * html-parse.c (map_html_tags): Accept FLAGS from the caller
5376         instead of examining OPT.
5377
5378 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
5379
5380         * html-url.c (find_tag): Switch to binary search.
5381
5382 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
5383
5384         * main.c (print_help): Fix typo; stured -> stored.
5385
5386 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
5387
5388         * getopt.c: Add definitions of getopt_long and getopt_long_only.
5389
5390 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
5391
5392         * config.h.in: Renamed DEBUG to ENABLE_DEBUG.  ENABLE_DEBUG is, I
5393         think, a better name, because it implies that debugging output is
5394         merely possible, not "on by default", as might be construed from
5395         just DEBUG.
5396
5397 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
5398
5399         * ftp.c (has_insecure_name_p): Define it here.
5400
5401         * utils.c (has_wildcards_p): Define it here.
5402
5403         * sysdep.h: Declare fnmatch-related macros here, if not using
5404         system fnmatch().  Update .c files to not declare fnmatch.h
5405         directly.
5406
5407         * cmpt.c (fnmatch): Moved here.  Use it only under non-GNU libc.
5408
5409 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
5410
5411         * getopt.c: Newer version, imported from Free libit.
5412
5413 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
5414
5415         * cookies.c (struct cookie): Remove unused backpointer to cookie
5416         jar.
5417
5418 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
5419
5420         * cmpt.c (memmove): Comment out, since it's no longer used.
5421
5422         * cookies.c (cookie_jar_generate_cookie_header): Allocate room for
5423         chains in one pass.
5424         (find_chains_of_host): Assume that the caller has allocated DEST
5425         to be sufficiently large to take all the data.
5426         (eliminate_dups): Run through the array and eliminate dups on the
5427         fly instead of using memmove.
5428         (cookie_jar_process_set_cookie): Free cookie->domain before
5429         re-setting it.
5430
5431 2003-10-05  Gisle Vanem  <giva@bgnett.no>
5432
5433         * mswindows.c (set_sleep_mode): Fix type of
5434         _SetThreadExecutionState.
5435
5436 2003-10-05  Hrvoje Niksic  <hniksic@xemacs.org>
5437
5438         * utils.c (file_size): Return -1 if fopen() returns NULL.  Prior
5439         to this patch, wget --post-file=nosuchfile dumped core.
5440
5441 2003-10-04  Gisle Vanem  <giva@bgnett.no>
5442
5443         * mswindows.c (run_with_timeout): Use WaitForSingleObject to wait
5444         for thread termination.
5445
5446 2003-10-04  Hrvoje Niksic  <hniksic@xemacs.org>
5447
5448         * log.c: Use `...' in function definitions; ansi2knr will convert
5449         them to va_dcl.  This allowed removal of the ugly VA_START_1 and
5450         VA_START_2 macros.
5451
5452 2003-10-03  Gisle Vanem  <giva@bgnett.no>
5453
5454         * connect.c: And don't include them here.
5455
5456         * mswindows.h: Include winsock headers here.
5457
5458 2003-10-03  Hrvoje Niksic  <hniksic@xemacs.org>
5459
5460         * html-parse.c (convert_and_copy): Move variable declarations
5461         before statements.
5462
5463 2003-10-02  Gisle Vanem  <giva@bgnett.no>
5464
5465         * mswindows.c (run_with_timeout): For Windows: Run the 'fun' in a
5466         thread via a helper function. Continually query the thread's
5467         exit-code until finished or timed out.
5468
5469 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
5470
5471         * wget.h (XMALLOC_ARRAY): Removed.
5472         (ALLOCA_ARRAY): Ditto.
5473
5474         * html-parse.c: Renamed alloca_p to resized.
5475         (GROW_ARRAY): Renamed DO_REALLOC_FROM_ALLOCA to GROW_ARRAY and
5476         returned it to html-parse.c, since nothing else was using it.
5477
5478 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
5479
5480         * retr.c (retrieve_url): Initialize DUMMY storage for DT.  Caught
5481         by valgrind.
5482
5483 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
5484
5485         * html-parse.c (convert_and_copy): Handle numeric entities in
5486         hexadecimal, &#xHH.
5487         (convert_and_copy): Copy the contents directly to the pool without
5488         a stack-allocated intermediary.
5489
5490 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
5491
5492         * utils.c (alarm_set): New function; use either setitimer or alarm
5493         to set up the alarm.
5494         (alarm_cancel): New function; cancel the alarm set up by
5495         alarm_set.
5496         (run_with_timeout): Use them.
5497
5498 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
5499
5500         * url.c (url_parse): Don't leak memory when a reencoded URL turns
5501         out to be invalid.
5502
5503         * url.c (parse_errors): Mark error messages for translation.
5504         (url_error): Translate error messages returned to the caller.
5505
5506 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
5507
5508         * ftp.c (ftp_loop_internal): Initialize TMRATE to NULL to shut up
5509         the compiler.
5510
5511 2003-09-26  Gisle Vanem  <giva@bgnett.no>
5512
5513         * src/mswindows.c: Added ws_percenttitle() showing progress in the
5514         window titlebar. Called from retr.c. Secured ws_mypath().
5515
5516         * windows/config.h.ms: alloca() prototype not needed.  Removed
5517         "#undef ENABLE_NLS"; should be in Makefile IMHO. Moved
5518         WGET_USE_STDARG from mswindows.h to config.ms.h because of #ifdef
5519         in log.c. (MSVC's vararg.h and stdarg.h are incompatible).
5520
5521 2003-09-29  Aaron Hawley <Aaron.Hawley@uvm.edu>
5522
5523         * ftp.c (getftp): --spider option should now work with FTP
5524         downloads.
5525         (ftp_loop_internal): quiet reports and calculations of downloads
5526         when --spider option set, nor try deleting when --delete-after
5527         also set.
5528         (ftp_loop): --spider will skip HTML-ification of .listing file.
5529
5530 2003-09-26  Gisle Vanem  <giva@bgnett.no>
5531
5532         * mswindows.c (read_registry): Removed.
5533         (set_sleep_mode): New function.
5534         (windows_main_junk): Call it.
5535
5536 2003-09-26  Gisle Vanem  <giva@bgnett.no>
5537
5538         * mswindows.c (read_registry): Fix invocation of registry
5539         functions.
5540
5541         * mswindows.c (read_registry): Condition definitions of sleep and
5542         usleep with not HAVE_SLEEP and HAVE_USLEEP respectively.  Define
5543         HAVE_SLEEP and HAVE_USLEEP under __DMC__.
5544
5545 2003-09-24  Hrvoje Niksic  <hniksic@xemacs.org>
5546
5547         * url.c (url_escape_1): Revert unintentional change to lowercase
5548         xdigit escapes.
5549         (url_escape_dir): Document that this function depends on the
5550         output of url_escape_1.
5551
5552 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
5553
5554         * progress.c (create_image): Print the current ETA if we're done
5555         with the download.
5556         (create_image): Change '-' display char to '+' in the progress bar.
5557
5558         * Makefile.in (clean): Remove .libs.
5559
5560 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
5561
5562         * cookies.c (struct cookie): New flag domain_exact.
5563         (update_cookie_field): Skip leading dot in domain.
5564         (find_matching_chains): Match numeric addresses exactly; don't
5565         needlessly copy HOST to the stack.
5566         (matching_cookie): Added argument HOST.  If cookie->domain_exact
5567         is set, check that HOST is equal to cookie->domain.
5568         (cookie_jar_load): Only use TAB as delimiter.  Document the
5569         meaning of DOMAIN-FLAG.  Skip leading dot in domain.
5570         (cookie_jar_load): Don't ignore DOMAIN-FLAG -- instead, set
5571         domain_exact to true if DOMAIN-FLAG is false.
5572         (save_cookies_mapper): If domain_exact is false, prepend the
5573         domain with dot, like Mozilla does.
5574
5575 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
5576
5577         * progress.c (create_image): Print the initial part of the
5578         download with '-' characters, analogous to how dot progress prints
5579         the initial part with ','.
5580
5581         * hash.c (ptrhash): New function.
5582         (ptrcmp): Ditto.
5583         (hash_table_new): Default to identity hash table.
5584
5585 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
5586
5587         * safe-ctype.h (_sch_test): The cast of BIT to unsigned char was
5588         broken -- _sch_istable bitmasks are 16-bit, not 8-bit!  Cast BIT
5589         to unsigned short instead.
5590
5591 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
5592
5593         * url.c (path_simplify): Instead of calls to memmove, handle "./"
5594         and "../" by advancing pointers.
5595
5596 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
5597
5598         * retr.c (getproxy): Moved from url.c.
5599
5600         * convert.c: Split off link conversion from url.c into separate
5601         file.  Also included the book-keeping stuff from recur.c.
5602
5603 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
5604
5605         * init.c: Improved documentation of functions.
5606         (cmd_boolean): Attempt to make code that tries to avoid calling
5607         strcmp for "speed" a bit more readable.
5608
5609         * init.c (simple_atof): Report error on encountering non-digit,
5610         non-"." character.
5611         (simple_atoi): Replacement for myatoi(), calling interface
5612         compatible with simple_atof.  Updated myatoi's callers.
5613
5614 2003-09-21  Bertrand Demiddelaer  <bert@b3rt.org>
5615
5616         * url.c (path_simplify): Would read two bytes past the end of the
5617         string in the "./" case.
5618
5619 2003-09-21  Matthew J. Mellon  <mellon@tymenet.com>
5620
5621         * http.c (gethttp): Recognize content-type "application/xhtml+xml"
5622         as what Wget considers "text/html".
5623
5624 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
5625
5626         * connect.c (connect_with_timeout): Made timeout type double.
5627
5628         * options.h (struct options): New members read_timeout,
5629         dns_timeout, and connect_timeout.
5630         Use them.
5631
5632 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
5633
5634         * init.c (simple_atof): New function.
5635         (cmd_time): Use it.
5636         (cmd_bytes): Accept things like "1.5k" and such.  Use simple_atof
5637         to parse decimals.
5638
5639         * retr.c (limit_bandwidth): Adjust each sleep by the error of the
5640         previous one.
5641
5642 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
5643
5644         * main.c (main): Use setoptval() for setting the options.  Use
5645         run_command for `-e'.
5646
5647         * init.c (parse_line): Rewritten to return COMIND right away.
5648         Changed linkage to static.
5649         (run_wgetrc): Use the available comind when calling setval, so it
5650         doesn't have to be computed twice.
5651         (setval_internal): New function, runs the command's action without
5652         any error checking.
5653         (setoptval): New function, does what setval used to do, but exits
5654         in case of error.
5655         (run_command): New function.
5656
5657 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
5658
5659         * connect.c (select_fd): Change MAXTIME's type to double.  Handle
5660         its decimal part.
5661
5662         * retr.c (sleep_between_retrievals): In the random-wait case, use
5663         random_float() to wait between 0 and 2*opt.wait seconds.
5664
5665         * utils.c (run_with_timeout): Accept `double' timeouts.  Correctly
5666         handle timeout values in (0, 1) range.
5667         (random_float): New function.
5668
5669         * options.h (struct options): Change the types of wait, waitretry,
5670         and timeout to double.
5671
5672         * init.c (cmd_time): Accept floating point time.
5673
5674 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
5675
5676         * retr.c (get_contents): Cosmetic fixes.
5677
5678 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
5679
5680         * url.c (uri_merge): Get rid of uri_merge_1.
5681         (uri_merge): Merge "foo//", "bar" as "foo//bar", not "foo///bar",
5682         i.e. don't add an extra slash merely because BASE ends with two
5683         slashes.
5684         (parse_credentials): Renamed from parse_uname.  Rewrittern in
5685         standard [beg, end) calling style.
5686         (url_skip_credentials): Renamed from url_skip_uname.  Made static.
5687         (url_skip_credentials): Include # and ; as terminators.  Old code
5688         would mistakenly consider "http://foo.com#hniksic@iskon.hr" to
5689         contain a username.
5690         (url_skip_scheme): Removed because it was unused.
5691         (url_has_scheme): Require "scheme" to be at least one char long.
5692
5693 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
5694
5695         * url.c (url_file_name): Expect NULL dir_prefix.
5696
5697         * init.c (cmd_file): Use a macro to prevent multiple #ifdef
5698         WINDOWS.
5699         (defaults): Set dir_prefix to NULL by default.
5700
5701 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
5702
5703         * safe-ctype.h (_sch_test): Cast BIT to unsigned char, like latest
5704         gcc does.
5705
5706 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
5707
5708         * wget.h (BOUNDED_TO_ALLOCA): Evaluate PLACE only once.
5709         (ARRAY_SIZE): Renamed to countof.  All callers updated.
5710
5711 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
5712
5713         * main.c (main): New option --strict-comments.
5714
5715         * html-parse.c (find_comment_end): New function: simple BM search
5716         for "-->".
5717         (map_html_tags): Use it if looking at a comment and not in strict
5718         comments mode.
5719
5720 2003-09-17  Aurelien Marchand  <artaxerxes@users.sf.net>
5721
5722         * ftp.h: Added OS400 system in enum
5723         * ftp-basic.c: recognize OS400 systems
5724         * ftp.c: don't prepend the CWD if talking to OS400, since it
5725         breaks the change in library
5726
5727 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
5728
5729         * retr.c (get_contents): Pass the correct argument to ssl_iread.
5730
5731 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
5732
5733         * safe-ctype.h: Don't #define ctype.h macros to errors because
5734         that loses when someone #include's ctype.h after safe-ctype.h.
5735
5736 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
5737
5738         * url.c: Undef U, W, C after use.
5739
5740 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
5741
5742         * init.c (cmd_spec_restrict_file_names): Allow the OS setting to
5743         be augmented by ",nocontrol" which means don't escape the control
5744         characters, but otherwise keep OS settings.
5745
5746         * url.c (file_unsafe_char): Deleted.
5747         (append_uri_pathel): Query filechr_table directly.
5748         (filechr_table): Separated Unix, Windows, and control-unsafe
5749         characters.
5750
5751 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
5752
5753         * url.c (url_escape_1): New function.
5754         (url_escape): Use it.
5755         (sync_path): Handle pathological cases where u->file and u->dir
5756         contain really strange characters.
5757         (ENCODE): Deleted.
5758         (REENCODE): Deleted.
5759
5760 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
5761
5762         * url.c (url_file_name): Don't reallocate FNAME if the file
5763         doesn't exist, as is usually the case.
5764
5765         * utils.c (unique_name): New flag allow_passthrough.
5766
5767 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
5768
5769         * utils.c (wtimer_sys_diff): Convert the time difference to signed
5770         __int64, then to double.  This works around MS VC++ 6 which can't
5771         convert unsigned __int64 to double directly.
5772
5773 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
5774
5775         * Makefile.in (clean): Also remove the core.<number> files
5776         produced by recent Linux systems.
5777
5778 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
5779
5780         * http.c (post_file): Don't pad the file if it's not large
5781         enough.  Bail out instead.
5782
5783 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
5784
5785         * retr.c (get_contents): Reduce the buffer size to the amount of
5786         data that may pass through for one second.  This prevents long
5787         sleeps when limiting bandwidth.
5788
5789         * connect.c (connect_to_one): Reduce the socket's RCVBUF when
5790         bandwidth limitation to small values is requested.
5791
5792 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
5793
5794         * progress.c (update_speed_ring): Moved the speed ring update to a
5795         separate function and documented it better.
5796
5797         * progress.c: Use `double' for most timers to support granularity
5798         smaller than 1ms.
5799
5800 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
5801
5802         * wget.h (XDIGIT_TO_XCHAR): Implement as index into a literal
5803         string.
5804         (XDIGIT_TO_xchar): Ditto.
5805
5806 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
5807
5808         * utils.c: Change the type of timer-related functions from long to
5809         double, for better precision.  On machines supporting gettimeofday
5810         the timers now work with granularity of less than one millisecond.
5811
5812 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
5813
5814         * cookies.c (parse_set_cookies): Fixed the parser to handle more
5815         edge conditions.
5816         (test_cookies): New function, contains a test suite for
5817         parse_set_cookies.
5818
5819 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
5820
5821         * url.c (strpbrk_or_eos): Implement as a macro under Gcc.
5822
5823 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
5824
5825         * cookies.c (parse_set_cookies): Allow trailing space in
5826         set-cookies header.  Also, allow any amount of whitespace, not
5827         only one character.  Allow empty set-cookies header without
5828         spewing an error.
5829
5830 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
5831
5832         * url.c (append_uri_pathel): Use opt.restrict_file_names when
5833         calling file_unsafe_char.
5834
5835         * init.c: New command restrict_file_names.
5836
5837         * main.c (main): New option --restrict-file-names[=windows,unix].
5838
5839         * url.c (url_file_name): Renamed from url_filename.
5840         (url_file_name): Add directory and hostdir prefix here, not in
5841         mkstruct.
5842         (append_dir_structure): New function, does part of the work that
5843         used to be in mkstruct.  Iterates over path elements in u->path,
5844         calling append_uri_pathel on each one to append it to the file
5845         name.
5846         (append_uri_pathel): URL-unescape a path element and reencode it
5847         with a different set of rules, more appropriate for handling of
5848         files.
5849         (file_unsafe_char): New function, uses a lookup table to decide
5850         whether a character should be escaped for use in file name.
5851         (append_string): New utility function.
5852         (append_char): Ditto.
5853         (file_unsafe_char): New argument restrict_for_windows, decide
5854         whether Windows file names should be escaped in run-time.
5855
5856         * connect.c: Include <stdlib.h> to get prototype for abort().
5857
5858 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
5859
5860         * utils.c (wtimer_sys_set): Extracted the code that sets the
5861         current time here.
5862         (wtimer_reset): Call it.
5863         (wtimer_sys_diff): Extracted the code that calculates the
5864         difference between two system times here.
5865         (wtimer_elapsed): Call it.
5866         (wtimer_elapsed): Don't return a value smaller than the previous
5867         one, which could previously happen when system time is set back.
5868         Instead, reset start time to current time and note the elapsed
5869         offset for future calculations.  The returned times are now
5870         guaranteed to be monotonically nondecreasing.
5871
5872 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
5873
5874         * host.c (lookup_host): Print the result of the DNS lookup.
5875
5876 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
5877
5878         * init.c (cmd_boolean): Accept yes/no along with on/off.
5879         (cmd_lockable_boolean): Ditto.
5880
5881 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
5882
5883         * init.c: New command dns_cache.
5884
5885         * main.c (main): New option --dns-cache[=off].
5886
5887 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
5888
5889         * config.h.in: Initialize HAVE_GETADDRINFO and ENABLE_IPV6.
5890
5891         * all: Use #ifdef ENABLE_IPV6 instead of the older INET6.  Use
5892         HAVE_GETADDRINFO for getaddrinfo-related stuff.
5893
5894 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
5895
5896         * url.c (url_parse): Return an error if the URL contains a [...]
5897         IPv6 numeric address and we don't support IPv6.
5898
5899 2003-09-05  Hrvoje Niksic  <hniksic@xemacs.org>
5900
5901         * url.c (is_valid_ipv6_address): Modified to not require
5902         zero-terminated strings.
5903         (is_valid_ipv4_address): Ditto.
5904
5905 2003-09-05  Mauro Tortonesi <mauro@deepspace6.net>
5906
5907         src/url.c: added RFC 2732 compliance for URL parsing. The
5908         functions is_*_address valid are a modified version of
5909         glibc 2.3.2 inet_pton's code.
5910
5911 2003-09-03  Ahmon Dancy  <dancy@dancysoft.com>
5912
5913         * main.c init.c options.h: Added --retry-connrefused option so
5914         that Connection Refused failures are treated as non-fatal (when
5915         trying to retrieve from busy servers).
5916
5917         * wget.h: New CONNECT_ERROR macro for encapsulating this
5918         modification.
5919
5920         * ftp.c http.c : Use CONNECT_ERROR macro in places where
5921         ECONNREFUSED was checked.
5922
5923 2003-01-11  Ian Abbott  <abbotti@mev.co.uk>
5924
5925         * ftp.c (ftp_retrieve_glob): Reject insecure filenames as determined
5926         by calling new function has_insecure_name_p.  This is based on a
5927         patch by Red Hat.
5928
5929         * fnmatch.c (has_insecure_name_p): New function: returns non-zero
5930         if filename starts with `/' or contains `../' and is therefore
5931         considered insecure.
5932
5933         * fnmatch.h: Declare has_insecure_name_p().
5934
5935 2002-08-03  Hrvoje Niksic  <hniksic@xemacs.org>
5936
5937         * init.c (cmd_file): Allocate RESULT correctly.
5938
5939 2002-07-24  Hrvoje Niksic  <hniksic@xemacs.org>
5940
5941         * recur.c (retrieve_tree): Check whether downloaded_html_set is
5942         non-NULL before using it.
5943
5944 2002-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
5945
5946         * html-parse.c (NAME_CHAR_P): Allow almost any character here.
5947
5948 2002-05-24  Hrvoje Niksic  <hniksic@arsdigita.com>
5949
5950         * progress.c (bar_set_params): Fall back to dot progress if the
5951         terminal type is "emacs".
5952
5953 2002-05-20  Hrvoje Niksic  <hniksic@arsdigita.com>
5954
5955         * log.c: Don't #undef WGET_USE_STDARG.
5956
5957 2002-05-16  Hrvoje Niksic  <hniksic@arsdigita.com>
5958
5959         * hash.c (prime_size): Store the offset of the prime number in the
5960         prime table.  When searching, start with the given offset.
5961         (hash_table_new): Pass the pointer to ht->prime_offset to
5962         prime_size.
5963         (grow_hash_table): Ditto.
5964         (prime_size): Make 13 the first prime to make empty hash tables
5965         slightly smaller.
5966
5967 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
5968
5969         * recur.c (download_child_p): Minor optimization to avoid an
5970         unnecessary additional call to schemes_are_similar_p function.
5971
5972 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
5973
5974         * url.c (schemes_are_similar_p): New function to test enumerated
5975         scheme codes for similarity.
5976
5977         * url.h: Declare it.
5978
5979         * recur.c (download_child_p): Use it to compare schemes.  This
5980         also fixes a bug that allows hosts to be spanned (without the
5981         -H option) when the parent scheme is https and the child's is
5982         http or vice versa.
5983
5984 2002-05-14  Bill Richardson  <bill@riverstonenet.com>
5985
5986         * ftp.c (getftp): Don't ftruncate stdout.
5987
5988         * http.c (gethttp): Don't ftruncate stdout.
5989
5990 2002-05-09  Ian Abbott  <abbotti@mev.co.uk>
5991
5992         * cmpt.c (strptime_internal): Synched with glibc-2.1.3.
5993         (get_number): Ditto.
5994         (get_alt_number): Ditto.
5995         (__isleap): New function-like macro used by strptime.
5996         (day_of_the_week): New function used by strptime.
5997         (day_of_the_year): Ditto.
5998         (__mon_yday): Now shared by mktime and strptime implementations.
5999
6000 2002-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
6001
6002         * cookies.c (check_domain_match): Use match_tail in case
6003         insensitive mode.
6004
6005         * utils.c (match_tail): Allow the caller to specify case
6006         insensitive mode.
6007
6008         * cookies.c (store_cookie): When expiry_time is 0, print it as
6009         undefined, not indefinite.
6010
6011 2002-05-07  Ian Abbott  <abbotti@mev.co.uk>
6012
6013         * cookies.c (cookie_jar_process_set_cookie): Do not store
6014         discarded cookie.
6015
6016 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
6017
6018         * cookies.c (check_domain_match): Allow cookies to be set for
6019         subdomains of unknown top-level domains under some circumstances.
6020
6021 2002-04-21  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
6022
6023         * gen_ssl.c:
6024         - allow checking of server cert
6025         - allow defining client cert type
6026         - allow limit of ssl protocol
6027         - check more return values
6028         - added debug message on break
6029
6030 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
6031
6032         * recur.c (download_child_p): Revert order of items in check
6033         number 6 for clarity.
6034
6035 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
6036
6037         * init.c: Ditto.
6038
6039         * main.c: Ditto.
6040
6041         * http.c: Use the new interface.
6042
6043         * cookies.c: Provide an OO-style "cookie jar" interface to enable
6044         separate cookie jars.
6045
6046         * http.c (http_atotm): Declare argument as const.
6047
6048 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
6049
6050         * cookies.c (cookie_new): Default to PORT_ANY.
6051         (find_cookie_chain_exact): Only search by DOMAIN.
6052         (find_matching_cookie): Also check that PORT matches.
6053         (store_cookie): Only match the domain.
6054         (set_cookie_header_cb): When a cookie "fakes" a domain, assume it
6055         is valid for that host rather than discarding it completely.
6056         (find_matching_chains): Don't search by PORT.
6057         (matching_cookie): Also match PORT.
6058         (load_cookies): Set the port if specified, otherwise leave it as
6059         ANY.
6060         (save_cookies_mapper): Save the port if specified, otherwise leave
6061         it empty.
6062
6063 2002-04-19  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
6064
6065         * init.c: The option `egdfile' was not in sort order.
6066
6067 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
6068
6069         * ftp.c (getftp): Treat directories that begin with <letter>: as
6070         absolute.
6071         (getftp): Strip trailing slashes from con->id before merging it
6072         with TARGET.
6073
6074 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
6075
6076         * http.c (gethttp): If Content-Type is not given, assume
6077         text/html.
6078
6079 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
6080
6081         * recur.c (download_child_p): Don't ignore rejection of HTML
6082         documents that are themselves leaves of recursion.
6083
6084 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
6085
6086         Makefile.in: Updated several dependencies for object files to take
6087         account of nested include files.
6088
6089 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
6090
6091         Makefile.in: The target `connect$o' (connect.o) now depends on
6092         `utils.h'
6093
6094 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
6095
6096         * host.c (SET_H_ERRNO): New function-like macro to set `h_errno'.
6097         (gethostbyname_with_timeout): Use it.
6098
6099         * utils.c: Don't define `SETJMP()', `run_with_timeout_env' or
6100         `abort_run_with_timeout()' when `USE_SIGNAL_TIMEOUT' is undefined.
6101
6102 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
6103
6104         * host.c (getaddrinfo_with_timeout): New function.
6105         (gethostbyname_with_timeout): Ditto.
6106         (lookup_host): Use them.
6107
6108 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
6109
6110         * utils.c (number_to_string): Handle the case when n < -INT_MAX.
6111
6112 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
6113
6114         * init.c (comind): Use a marginally faster implementation of
6115         binary search.  To quote Martin Buchholz, "a nanosecond saved is a
6116         nanosecond earned."
6117
6118 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
6119
6120         * main.c (print_help): Document `--post-data' and `--post-file'.
6121
6122 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
6123
6124         * http.c (gethttp): Ditto.
6125
6126         * retr.c (retrieve_url): Initialize variables to appease the
6127         compiler.
6128
6129         * gen_sslfunc.c (ssl_iread): Don't handle EINTR when calling
6130         select_fd.
6131         (ssl_iwrite): Ditto.
6132
6133         * connect.c (select_fd): Rewrite to handle EINTR.  Set errno to
6134         ETIMEDOUT in case of timeout.
6135         (iread): No need to handle EINTR when calling select_fd.
6136         (iwrite): Ditto.
6137
6138 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
6139
6140         * retr.c (retrieve_url): Make sure that POST is not honored for
6141         redirections.
6142
6143         * http.c (gethttp): Send the POST data when requested.
6144         (post_file): New function.
6145         (gethttp): Use it.
6146
6147         * main.c (main): Ditto.
6148
6149         * init.c: Add new options.
6150
6151         * options.h (struct options): New options post_data and
6152         post_file_name.
6153
6154 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
6155
6156         * connect.c (connect_with_timeout): Firing SIGALRM can result in
6157         connect() exiting with EINTR.  Treat EINTR the same as ETIMEDOUT.
6158
6159 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
6160
6161         * connect.c (connect_with_timeout): Use it.
6162
6163         * utils.c (run_with_timeout): New function.
6164
6165 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
6166
6167         * url.c (getproxy): Accept a struct url argument.  This obviates
6168         the need for USE_PROXY_P.
6169
6170         * retr.c (retrieve_url): Allow proxy to be a non-FTP URL.
6171
6172         * ftp.c (getftp): Recognize FWTK-style proxy.
6173
6174 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
6175
6176         * config.h.in: Only define _VA_LIST when compiled with gcc.
6177
6178 2002-04012  Ian Abbott  <abbotti@mev.co.uk>
6179
6180         * http.c (http_loop): Compensate for MS Windows two-second
6181         granularity of file modification time when comparing timestamps.
6182
6183         * ftp.c (ftp_retrieve_list): Ditto.
6184
6185 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
6186
6187         * utils.c (has_html_suffix_p): New function to test filename for
6188         common html extensions.
6189
6190         * utils.h: Declare it.
6191
6192         * http.c (http_loop): Use it instead of previous test.
6193
6194         * retr.c (retrieve_url): Ditto.
6195
6196         * recur.c (download_child_p): Ditto.
6197
6198 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
6199
6200         * config.h.in: Define _VA_LIST on Solaris to prevent stdio.h from
6201         declaring va_list.
6202         From Kevin Rodgers <kevinr@ihs.com>.
6203
6204 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
6205
6206         * Makefile.in: Specify libtool mode explicitly when linking.
6207
6208 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
6209
6210         * connect.c (connect_with_timeout): New function.
6211         (connect_to_one): Use it.
6212
6213         * config.h.in: Add stubs for HAVE_SIGSETJMP, HAVE_SIGBLOCK, and
6214         HAVE_SETJMP_H.
6215
6216 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
6217
6218         * log.c: Set WGET_USE_STDARG if __STDC__ is defined and stdarg.h
6219         is present.
6220
6221 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
6222
6223         * progress.c (bar_create): If INITIAL is larger than TOTAL, fix
6224         TOTAL.
6225         (bar_finish): Likewise.
6226
6227 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
6228
6229         * html-url.c (tag_handle_form): New function.  Pick up form
6230         actions and mark them for conversion only.
6231
6232 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
6233
6234         * progress.c (struct progress_implementation): Use PARAMS when
6235         declaring the parameters of *create, *update, *finish, and
6236         *set_params.
6237
6238         * netrc.c: Ditto.
6239
6240         * http.c: Reformat some function definitions so that ansi2knr can
6241         read them.
6242
6243         * hash.c (struct hash_table): Use the PARAMS macro around
6244         parameters in the declaration of hash_function and test_function.
6245         (prime_size): Spell 2580823717UL and 3355070839UL as (unsigned
6246         long)0x99d43ea5 and (unsigned long)0xc7fa5177 respectively, so
6247         that pre-ANSI compilers can read them.
6248         (find_mapping): Use PARAMS when declaring EQUALS.
6249         (hash_table_put): Ditto.
6250
6251         * ftp.h: Wrap the parameters of ftp_index declaration in PARAMS.
6252
6253         * cookies.c (cookie_new): Use (unsigned long)0 instead of 0UL,
6254         which was unsupported by pre-ANSI compilers.
6255
6256         From Nelson H. F. Beebe <beebe@math.utah.edu>, for the most part.
6257
6258 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
6259
6260         * url.c (url_filename): Use compose_file_name regardless of
6261         whether opt.dirstruct is set.
6262         (mkstruct): Don't handle the query and the reencoding of DIR; that
6263         is done in compose_file_name.
6264
6265 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
6266
6267         * wget.h: Ditto for extern char *exec_name.
6268
6269         * options.h: Don't guard against OPTIONS_DEFINED_HERE -- it is
6270         perfectly legal to follow an `extern' with a non-`extern' ones,
6271         provided the types match.
6272
6273         * main.c: Don't define OPTIONS_DEFINED_HERE.
6274
6275 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
6276
6277         * progress.c (create_image): Revert to calculating ETA based on
6278         average download speed.
6279         (create_image): Don't print ETA until the download has been active
6280         for at least 3 seconds.
6281         (create_image): When ETA is not available, don't print anything.
6282         The previous version would print --:--.
6283
6284 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
6285
6286         * progress.c (bar_update): Keep updating a subinterval until it
6287         reaches or exceeds a watermark.  That way the measurement will be
6288         guaranteed to span a configurable minimum of time.  The current
6289         default is 3s in 30 100ms intervals.
6290
6291 2002-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
6292
6293         * progress.c (bar_update): Maintain an array of the time it took
6294         to perform previous 30 network reads.
6295         (create_image): Calculate the download speed and ETA based on the
6296         last 30 reads, not the entire download.
6297         (create_image): Make sure that the ETA is not changed more than
6298         once per second.
6299
6300 2002-04-09  Ian Abbott  <abbotti@mev.co.uk>
6301
6302         * mswindows.c (borland_utime): New function conditionally defined
6303         when `HACK_BCC_UTIME_BUG' is defined.  A reimplementation of
6304         `utime()' as Borland's `utime()' function is broken on Windows 9x
6305         systems.  (Original patch by Chin-yuan Kuo <sr1111111@yahoo.com.tw>.)
6306
6307 2002-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
6308
6309         * ftp.c (ftp_loop): Propagate the result of ftp_retrieve_glob.
6310
6311 2002-03-26  Ian Abbott  <abbotti@mev.co.uk>
6312
6313         * Makefile.in: Updated several dependencies for object files.
6314
6315 2002-03-20  Ian Abbott  <abbotti@mev.co.uk>
6316
6317         * mswindows.c: Include "utils.h".
6318
6319 2002-03-18  Ian Abbott  <abbotti@mev.co.uk>
6320
6321         * host.h: Don't include netdb.h on windows.
6322
6323 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
6324
6325         * recur.c (retrieve_tree): Handle the case when start_url doesn't
6326         parse.
6327
6328 2002-02-19  Andreas Damm  <andreas-sourceforge@radab.org>
6329
6330         * wget.h (DO_REALLOC_FROM_ALLOCA): Multiply with sizeof(type) when
6331         calling xmalloc and memcpy.
6332
6333 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
6334
6335         * host.h: Include Unix-specific includes #ifndef WINDOWS.
6336         Patch originally provided by Christian Lackas.
6337
6338 2002-02-11  Christian Lackas  <delta@lackas.net>
6339
6340         * recur.c: recurive downloading for https fixed.
6341
6342 2002-02-19  Alan Eldridge  <alane@geeksrus.net>
6343
6344         * host.h: Also include <netinet/in.h> and <sys/socket.h>.
6345
6346         * ftp-basic.c: Also include <netinet/in.h>.
6347
6348 2002-02-05  Ian Abbott  <abbotti@mev.co.uk>
6349
6350         * http.c (gethttp): when -c used, mark already fully retrieved
6351         file as successfully retrieved.
6352
6353 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
6354
6355         * url.c (url_parse): Don't treat '?' as query string separator
6356         when parsing FTP URLs.
6357
6358 2002-02-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6359
6360         * html-url.c (tag_handle_meta): Don't crash on <meta
6361         http-equiv=refresh> where content is missing.
6362
6363 2002-01-31  Herold Heiko  <Heiko.Herold@previnet.it>
6364
6365         * ftp-basic.c, host.c: don't include sys/socket.h, arpa/inet.h,
6366         netdb.h on windows.
6367
6368 2002-01-30  Hrvoje Niksic  <hniksic@arsdigita.com>
6369
6370         * retr.c (retrieve_url): Remove redirection cycle detection.  This
6371         is because some sites legitimately redirect the user back to the
6372         same location, e.g. after an authorization check performed by
6373         another page.  MAX_REDIRECTIONS is still used to prevent infinite
6374         redirection loops.
6375
6376 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
6377
6378         * http.c (gethttp): Wrap host name in square brackets if it
6379         contains a colon.
6380
6381 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
6382
6383         * url.c (url_parse): Allow all hex digits, not only decimal ones,
6384         to form an IP address.
6385
6386 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
6387
6388         * url.c (urlchr_table): Make square braces reserved, so we can
6389         parse http://[::1]/.
6390         (url_parse): Handle host in braces.
6391         (url_string): If url->host contains colons, wrap it in braces.
6392
6393 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
6394
6395         * connect.c (resolve_bind_address): New function.
6396         (connect_to_one): Use it.
6397         (bindport): Ditto.
6398
6399         * init.c: Don't resolve bind-address here.
6400
6401         * host.c (wget_sockaddr_set_address): Would bug out with ADDR == NULL.
6402
6403 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
6404
6405         * host.c (lookup_host): Use sizeof(ip4_address) to calculate the
6406         offset.
6407         (address_list_new): Use map_ipv4_to_ip.
6408         (wget_sockaddr_set_address): Convert ADDR to IPv4 before using it
6409         in IPv4 context.
6410
6411 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
6412
6413         * source: Integrated IPv6 support.
6414         Written by Thomas Lussnig <thomas.lussnig@bewegungsmelder.de>.
6415
6416 2002-01-15  Ian Abbott  <abbotti@mev.co.uk>
6417
6418         * init.c (cmd_file): Change `\' to `/' for Windows (yes, really!)
6419         (cmd_directory): New function. Like cmd_file(), but strips
6420         trailing directory separators.
6421         (commands): Change action for "dirprefix" from `cmd_file' to
6422         `cmd_directory'.
6423
6424         * utils.c (make_directory): Allow intermediate `mkdir' calls to
6425         fail, as not all path components that do not exist should be
6426         directory components, especially under Windows.
6427
6428 2002-01-17  Hrvoje Niksic  <hniksic@arsdigita.com>
6429
6430         * netrc.c (parse_netrc): Skip leading whitespace before testing
6431         whether the line is empty.  Empty lines still contain the line
6432         terminator.
6433
6434 2002-01-15  Hrvoje Niksic  <hniksic@arsdigita.com>
6435
6436         * gen_sslfunc.c (ssl_iread): Call select on the file descriptor
6437         only if no data is pending in SSL buffers.
6438         From tony@bluetail.com.
6439
6440 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
6441
6442         * headers.c (header_get): Strip trailing whitespace from the
6443         header.
6444
6445 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
6446
6447         * url.c (parse_uname): URL-decode *USER and *PASSWD.
6448
6449 2002-01-07  Ian Abbott <abbotti@mev.co.uk>
6450
6451         * url.c (uri_merge_1): Deal with "net path" relative URL (one that
6452         starts with "//").
6453
6454 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
6455
6456         * http.c (gethttp): Invalidate SOCK if get_contents encountered an
6457         error.
6458
6459 2001-12-24  Hrvoje Niksic  <hniksic@arsdigita.com>
6460
6461         * version.c: Wget 1.8.1 is released.
6462
6463 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
6464
6465         * version.c: Wget 1.8.1-pre3 is released.
6466
6467 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
6468
6469         * recur.c (retrieve_tree): Enqueue the canonical representation of
6470         start_url, so that the test against dl_url_file_map works.
6471
6472 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
6473
6474         * log.c (logputs): Check for requested verbosity before printing
6475         anything.
6476
6477 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
6478
6479         * html-url.c (tag_handle_link): Treat the "shortcut icon" link as
6480         inline.
6481
6482 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
6483
6484         * recur.c (retrieve_tree): Make a copy of file obtained from
6485         dl_url_file_map because the code calls xfree(file) later.
6486
6487 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
6488
6489         * recur.c (register_html): Maintain a hash table of HTML files
6490         along with the list.  Disallow duplicates.
6491         (retrieve_tree): Use downloaded_html_set to check whether the file
6492         found in dl_url_file_map is an HTML file, and descend into it if
6493         so.
6494         (convert_all_links): Don't guard against duplicates in
6495         downloaded_html_list, since they are no longer possible.
6496
6497 2001-12-18  Ian Abbott  <abbotti@mev.co.uk>
6498
6499         * recur.c (retrieve_tree): Pass on referring URL when retrieving
6500         recursed URL.
6501
6502 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
6503
6504         * version.c: Wget 1.8.1-pre2 is released.
6505
6506 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
6507
6508         * retr.c (sleep_between_retrievals): Simplify indentation.
6509
6510 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
6511
6512         * gen_sslfunc.c (ssl_init_prng): Use random_number to get a byte
6513         of "randomness" at a time.
6514         (ssl_init_prng): Don't seed the PRNG; random_number will do that.
6515
6516         * retr.c (sleep_between_retrievals): Use it.  Make sure that the
6517         random amount averages in opt.wait.
6518         (sleep_between_retrievals): Don't seed the PRNG; random_number
6519         will do that.
6520
6521         * utils.c (random_number): New function.
6522
6523 2001-12-14  Hrvoje Niksic  <hniksic@arsdigita.com>
6524
6525         * url.c (path_simplify): Move here from utils.c, and make static.
6526
6527 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
6528
6529         * init.c (wgetrc_file_name): Print correct message when loading
6530         getenv("WGETRC") fails.
6531
6532 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
6533
6534         * recur.c (register_download): Don't abort when one URL references
6535         two different files.
6536
6537 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
6538
6539         * http.c (gethttp): Check for conn->scheme, not u->scheme, before
6540         calling ssl_iwrite.
6541
6542 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
6543
6544         * version.c: Wget 1.8.1-pre1 is released.
6545
6546 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
6547
6548         * res.c (matches): Fix broken URL in the docstring.
6549
6550 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
6551
6552         * html-url.c (tag_url_attributes): Mark <embed href=...> as
6553         external.
6554
6555 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
6556
6557         * url.c (get_urls_file): Cosmetic changes.
6558
6559 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
6560
6561         * html-url.c (append_one_url): Resurrect warning when unable to
6562         resolve a relative link.
6563
6564 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
6565
6566         * html-url.c (collect_tags_mapper): Break into several functions.
6567         (tag_url_attributes): Collect <embed href=...>.
6568
6569 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
6570
6571         * host.c: New type ipv4_address.  Use it consistently instead of
6572         `unsigned char[4]' and `unsigned char *'.
6573         (pretty_print_address): Accept a `const void *', to require even
6574         less casting.
6575
6576 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
6577
6578         * ftp-ls.c (ftp_parse_vms_ls): Fix obvious memory leaks.
6579
6580 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
6581
6582         * main.c (main): Initialize progress after fork_to_background, so
6583         that it knows when to use dots.
6584
6585         * mswindows.c (ws_hangup): Call log_request_redirect_output.
6586
6587         * utils.c (fork_to_background): Print the PID of the child
6588         process.
6589
6590         * log.c (log_request_redirect_output): Set a flag that output
6591         redirection has been requested.  Doing anything else in a signal
6592         handler is unsafe.
6593         (check_redirect_output): New function: check whether redirection
6594         has been requested and, if so, call redirect_output().
6595         (logputs): Call check_redirect_output.
6596         (logprintf): Ditto.
6597         (debug_logprintf): Ditto.
6598         (redirect_output): Print clearer messages.
6599
6600         * main.c (redirect_output_signal): Don't call
6601         redirect_output_signal directly.  Instead, call
6602         log_request_redirect_output.
6603
6604         * utils.c (memfatal): Ditto.
6605
6606         * progress.c (display_image): Use it.
6607
6608         * log.c (log_set_save_context): New function: allow the caller to
6609         turn off saving log context lines.
6610
6611 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
6612
6613         * host.c (address_list_set_faulty): Uncomment a sanity check.
6614
6615 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
6616
6617         * utils.c (long_to_string): Return a pointer after where the
6618         number ends.
6619         (long_to_string): Rename to number_to_string.
6620
6621 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
6622
6623         * utils.c (path_simplify): Correctly handle the unlikely case that
6624         b starts out as path + 1.
6625
6626 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
6627
6628         * utils.c (path_simplify): Rewrite, with better comments, and
6629         without the use of strcpy to move overlapping blocks.
6630
6631 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
6632
6633         * init.c (cmd_spec_progress): Resurrect.  Check whether VAL is a
6634         valid progress type before setting it.
6635
6636 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
6637
6638         * main.c (main): Remove stray debugging message.
6639
6640 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
6641
6642         * progress.c (create_image): Fix ETA padding when hours are prined.
6643
6644 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
6645
6646         * version.c: Wget 1.8 is released.
6647
6648 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
6649
6650         * url.c (reencode_string): Declare static.
6651
6652         * res.c (registered_specs): Declare static.
6653
6654         * progress.c (current_impl_locked): Declare static.
6655
6656         * log.c (flush_log_p): Declare static.
6657         (needs_flushing): Ditto.
6658
6659         * http.c (digest_authentication_encode): Declare static.
6660
6661         * html-url.c (init_interesting): Declare static.
6662
6663         * host.c (host_name_addresses_map): Declare static.
6664
6665         * cookies.c (find_matching_chains): Declare static.
6666
6667         * ftp-ls.c (ftp_parse_vms_ls): Warn about the memory leak
6668         indicated by lint.
6669
6670         * utils.c (path_simplify): Remove unused variable STUB_CHAR.
6671
6672         * host.c (address_list_set_faulty): Document that INDEX is
6673         currently unused.
6674
6675         * url.c (rewrite_shorthand_url): Remove unused variable PATH.
6676
6677 2001-12-08  Hrvoje Niksic  <hniksic@arsdigita.com>
6678
6679         * version.c: Wget 1.8-pre2 is released.
6680
6681 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
6682
6683         * progress.c (progress_handle_sigwinch): Set up the signal again.
6684
6685         * utils.c: Include <sys/termios.h>, where Solaris defines
6686         TIOCGWINSZ.
6687
6688         * progress.c (bar_create): Don't use the last column on the screen.
6689         (create_image): Pad ETA to constant size.  Pad SIZE to nine digits
6690         only until it exceeded them.
6691
6692 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
6693
6694         * version.c: Wget 1.8-pre1 is released.
6695
6696 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
6697
6698         * progress.c (progress_create): Make sure that, when the output is
6699         redirected, the progress implementation gets changed to the
6700         fallback one.
6701         (bar_set_params): Set current_impl_locked to 1 when "force" is
6702         specified.
6703         (progress_create): Don't change the progress implementation if
6704         current_impl_locked is non-zero.
6705
6706         * main.c (redirect_output_signal): Call
6707         progress_schedule_redirect.
6708
6709         * progress.c (progress_schedule_redirect): New function.
6710
6711 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
6712
6713         * log.c (logvprintf): Restructure to allow being called multiple
6714         times.
6715         (logprintf): Call logvprintf in a loop.
6716         (debug_logprintf): Ditto.
6717
6718 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
6719
6720         * gen_sslfunc.c (ssl_init_prng): Allow the user to disable EGD by
6721         setting egd_file it to empty string.
6722
6723         * main.c (main): Change the option name from --sslegdsock to
6724         --egd-file.
6725
6726 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
6727
6728         * gen_sslfunc.c (ssl_init_prng): Make the printed message
6729         translatable.
6730
6731 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
6732
6733         * url.c (scheme_disable): New function.
6734
6735         * main.c (main): Call ssl_init_prng from here rather than from
6736         init_ssl, so that it has a chance to disable support for https
6737         before a URL has been resolved.
6738
6739         * gen_sslfunc.c (ssl_init_prng): Seed with rand() if all else
6740         failed.
6741         (ssl_init_prng): Disable support for https if seeding the PRNG
6742         fails.
6743
6744 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
6745
6746         * utils.c (read_whole_line): Handle lines beginning with \0.
6747
6748 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
6749
6750         * recur.c (convert_all_links): Guard against duplicates in
6751         downloaded_html_files.
6752         (register_download): Don't invalidate similar-looking URLs.
6753         (match_except_index): New function.
6754
6755 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
6756
6757         * utils.c (path_simplify): Document with test cases.
6758
6759 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
6760
6761         * gen_sslfunc.c: Ditto.
6762
6763         * rbuf.c: Include <string.h>.
6764
6765 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
6766
6767         * recur.c (retrieve_tree): Check whether the URL was already
6768         downloaded before downloading it again.
6769         (descend_child_p): Renamed to download_child_p.
6770         (register_download): When one URL is downloaded to a file already
6771         "owned" by another URL, delete all references that map any URL to
6772         that file.
6773         (register_delete_file): New function.
6774         (retrieve_tree): Use it after deleting a file.
6775
6776         * url.c (url_parse): Re-canonicalize the URL also if the path is
6777         empty, so that e.g. "http://www.server.com" ->
6778         "http://www.server.com/".
6779         (lowercase_str): Use ISUPPER instead of !ISLOWER.
6780
6781         * retr.c (retrieve_url): Use the canonical URL form when calling
6782         register_download().
6783
6784 2001-12-04  Ian Abbott <abbotti@mev.co.uk>
6785
6786         * snprintf.c (dopr): Use `unsigned int' as the second argument to
6787         va_arg when casting to `unsigned short' is intended.
6788
6789 2001-12-04  Herold Heiko  <Heiko.Herold@previnet.it>
6790
6791         * gen_sslfunc.c: on windows provide ssl crypto random
6792           initialization through RAND_screen(); could possibly
6793           be not enough for strong ssl communication (see the
6794           relevant manual page from the openssl package).
6795
6796 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
6797
6798         * url.c (local_quote_string): Reenable quoting of question marks,
6799         but only when `--html-extension' is used.
6800
6801 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
6802
6803         * version.c: Wget 1.8-beta3 is released.
6804
6805 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
6806
6807         * snprintf.c (dopr): Cast the result of va_arg to short int and
6808         short unsigned int where these types are expected to be used.
6809
6810 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
6811
6812         * snprintf.c (dopr): Replace `short int' and `unsigned short int'
6813         with `int' when using it as the second argument to `va_arg'.
6814
6815 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
6816
6817         * host.c (address_list_new_one): New function.
6818         (lookup_host): Use it.
6819
6820 2001-12-03  Andre Majorel  <amajorel@teaser.fr>
6821
6822         * host.c (lookup_host): Don't initialize TMPSTORE directly because
6823         it's not legal C.
6824
6825 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
6826
6827         * ftp-basic.c (ftp_port): Don't return HOSTERR if we fail getting
6828         the socket data.
6829
6830         * ftp.c: Ditto.
6831
6832         * http.c: No need to declare h_errno.
6833
6834         * host.c: Declare h_errno.
6835
6836 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
6837
6838         * utils.c (file_merge): If BASE doesn't contain a slash, just
6839         return a copy of FILE.
6840
6841 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
6842
6843         * version.c: Wget 1.8-beta2 is released.
6844
6845 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6846
6847         * ftp.c (getftp): When PWD fails, assume "/".
6848
6849         * ftp-basic.c (ftp_syst): Fix indentation.
6850
6851 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6852
6853         * url.c (get_urls_file): If opt.base_href is specified, merge each
6854         URL with the base.
6855
6856 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6857
6858         * main.c (print_help): Don't document the removed `-nh'.
6859
6860 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6861
6862         * url.c (url_full_path): Document better.
6863
6864         * http.c (gethttp): Use the full path when creating digest
6865         authorization.
6866
6867 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6868
6869         * cookies.c (path_matches): Return 0 if PREFIX doesn't begin with
6870         '/'.
6871
6872 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6873
6874         * cookies.c (path_matches): FULL_PATH doesn't begin with '/', but
6875         PREFIX does.
6876
6877 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6878
6879         * cookies.c (check_domain_match): Reimplement to match Netscape's
6880         "preliminary specification" for cookies.
6881
6882 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6883
6884         * url.c (replace_attr_refresh_hack): New function.
6885         (convert_links): Call replace_attr_refresh_hack for Refresh
6886         links.  It will add the "TMOUT; URL=" junk before the link.
6887
6888         * html-url.c (collect_tags_mapper): Set ID to the ID of the
6889         "content" attribute, not "http-equiv".
6890         (collect_tags_mapper): Don't use OFFSET to hack the raw_* values;
6891         instead, store the information that this entry belongs to a
6892         "refresh" link.
6893
6894 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6895
6896         * version.c: Wget 1.8-beta1 is released.
6897
6898 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6899
6900         * recur.c (retrieve_tree): Allow -p retrievals to exceed maximum
6901         depth by more than one.
6902
6903 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
6904
6905         * retr.c (retrieve_url): Don't allow more than 20 redirections.
6906
6907 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
6908
6909         * recur.c (retrieve_tree): Skip the non-inline entries when
6910         enqueuing the children of a leaf HTML node in -p mode.
6911         (descend_url_p): Ignore opt.no_parent when in -p mode and UPOS is
6912         "inline".
6913
6914         * html-url.c (get_urls_html): Don't accept dash_p_leaf_HTML.
6915         (collect_tags_mapper): When an entry is "inline", mark it as such.
6916
6917         * recur.c (descend_url_p): Fix test when checking for
6918         acceptance/rejection rules.
6919
6920 2001-10-31 Daniel BODEA <dali@dali-designs.com>
6921
6922         * netrc.c (search_netrc): When slack_default is 0, still look for
6923         an account with matching password, just not the "default account".
6924         HTTP Authorization using .netrc should now work as expected.
6925
6926 2001-11-30  T. Bharath  <TBharath@responsenetworks.com>
6927
6928         * http.c (persistent_available_p): Call SHUTDOWN_SSL if
6929         test_socket_open fails.
6930
6931 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
6932
6933         * progress.c (display_image): Just print one CR to reset the
6934         cursor position.
6935
6936 2001-11-30  Christian Fraenkel  <c.fraenkel@gmx.net>
6937
6938         * init.c: New command `ssl_egd_sock'.
6939
6940         * main.c (main): New option `--sslegdsock'.
6941
6942         * gen_sslfunc.c (ssl_init_prng): Seed the RNG using EGD.
6943
6944 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
6945
6946         * cmpt.c (memmove): Include a simple memmove implementation.
6947
6948 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
6949
6950         * headers: Guard against header files being included twice.
6951
6952 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
6953
6954         * gen-md5.c: Use unsigned char * as the buffer argument to
6955         gen_md5_update.
6956
6957 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
6958
6959         * connect.h: Declare select_fd.
6960
6961 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
6962
6963         * recur.c (descend_url_p): When resolving no_parent, compare with
6964         start_url, not parent url.  Otherwise link from /a/b/ to /a/c/
6965         wouldn't be followed, although the download started from /a/.
6966
6967 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
6968
6969         * config.h.ms, mswindows.h: defined HAVE_ISATTY, use _isatty for
6970         MS VC; somebody with Borland compiler please check and provide
6971         patch if possible;
6972
6973         * cmpt.c: provided a usleep emulation.
6974
6975 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
6976
6977         * host.c (address_list_new): Initialize al->faulty.
6978
6979 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
6980
6981         * http.c (http_process_range): Accept the broken output of
6982         "JavaWebServer/1.1.1".
6983
6984 2001-11-28  Hrvoje Niksic  <hniksic@arsdigita.com>
6985
6986         * progress.c (dot_set_params): If PARAMS is unspecified, use
6987         dot_style, if available.
6988
6989         * init.c: Ditto.
6990
6991         * main.c (main): Resurect --dot-style.
6992
6993         * progress.c (dot_finish): Print the quantity if we're left at the
6994         beginning of a row.
6995
6996 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
6997
6998         * cmpt.c (random): Removed.
6999
7000         * retr.c (sleep_between_retrievals): Use the more portable rand()
7001         instead of random().
7002
7003 2001-11-27  Ian Abbott <abbotti@mev.co.uk>
7004
7005         * retr.c (retrieve_from_file): Initialize `new_file' to NULL to
7006         prevent seg fault.
7007
7008 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
7009
7010         * connect.c (connect_to_many): Use address_list_set_faulty to
7011         prevent the faulty address from being reused.
7012
7013         * host.c (address_list_set_faulty): New function.
7014         (address_list_get_bounds): New function, instead of
7015         address_list_count.
7016
7017 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
7018
7019         * url.c (convert_links): Don't translate %d-%d.
7020
7021         * main.c (print_help): Remove stray HAVE_RANDOM code.
7022
7023 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
7024
7025         * ftp.c (getftp): Improve output after sending PASV.  Don't
7026         attempt to "look up" the IP address we already know; call
7027         connect_to_one directly.
7028
7029 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
7030
7031         * progress.c: Change the default progress implementation to "bar".
7032
7033 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
7034
7035         * progress.c (bar_create): Print two newlines.
7036
7037 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
7038
7039         * cmpt.c (random): New function, a simple-minded replacement for
7040         random() on systems that don't have it.
7041
7042 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
7043
7044         * config.h.in: Put a HAVE_USLEEP stub.
7045
7046         * cmpt.c (usleep): Replacement implementation of usleep using
7047         select.
7048
7049         * init.c: New option init_rate.
7050
7051         * main.c (main): New option --limit-rate.
7052
7053         * retr.c (limit_bandwidth): New function.
7054         (get_contents): Call it to limit the bandwidth used when
7055         downloading.
7056
7057         * progress.c (dot_update): Would print the wrong download speed on
7058         rows other than the first one when the download was continued.
7059         (dot_finish): Ditto.
7060
7061 2001-11-26  Ian Abbott <abbotti@mev.co.uk>
7062
7063         * http.c (gethttp): fix undeclared variable 'err' when compiled
7064         with HAVE_SSL.
7065
7066 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
7067
7068         * progress.c: Don't allocate new timers; use the timing data
7069         propagated from the caller.
7070
7071         * retr.c (get_contents): Allocate and use a timer.
7072
7073 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
7074
7075         * http.c (last_host_ip): Made into an address_list.
7076         (invalidate_persistent): Release pc_last_host_ip.
7077         (register_persistent): Use lookup_host.
7078         (persistent_available_p): Check for equality of hosts using
7079         address_list_match_all.  Call address_list_release.
7080         (http_cleanup): New function.
7081
7082         * ftp.c (getftp): Use lookup_host and connect_to_many.
7083
7084         * http.c (gethttp): Use lookup_host and connect_to_many.
7085
7086         * connect.c (make_connection): Removed.
7087         (connect_to_one): New function.
7088         (connect_to_many): Ditto.
7089         (set_connection_host_name): Ditto.
7090
7091         * host.c (lookup_host): New function; new return type.
7092         (address_list_new): New function.
7093         (address_list_count): Ditto.
7094         (address_list_copy_one): Ditto.
7095         (address_list_delete): Ditto.
7096         (address_list_release): Ditto.
7097         (pretty_print_address): Ditto.
7098
7099 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
7100
7101         * recur.c (retrieve_tree): In case of followed redirection,
7102         blacklist the pre-redirection URL.
7103
7104 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
7105
7106         * recur.c (descend_redirect_p): New function.
7107         (retrieve_tree): Make sure redirections are not blindly followed.
7108
7109 2001-11-04  Alan Eldridge  <alane@geeksrus.net>
7110
7111         * config.h.in: added HAVE_RANDOM.
7112
7113         * options.h: added random_wait to struct options.
7114
7115         * main.c (print_help [HAVE_RANDOM], main): added arg parsing, help
7116         for --random-wait.
7117
7118         * retr.c (sleep_between_retrievals) [HAVE_RANDOM]: added
7119         implementation of random wait times.
7120
7121         * init.c (commands): added "randomwait" keyword.
7122
7123 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
7124
7125         * recur.c (descend_url_p): Be more conservative with blacklisting
7126         URLs.
7127         (convert_all_links): Print how many files have been converted, and
7128         how long it took.
7129
7130         * progress.c (create_image): Place the number of downloaded bytes
7131         right after the progress bar.
7132
7133         * utils.c (suffix): Return a pointer into the string.
7134
7135 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
7136
7137         * url.c (convert_links): Handle CO_NULLIFY_BASE.
7138
7139         * recur.c (retrieve_tree): Ignore download-ignorable children.
7140         (convert_all_links): Specify CO_NULLIFY_BASE when link_base_p.
7141
7142         * html-url.c (handle_link): Return the newly created urlpos.
7143         (collect_tags_mapper): When dealing with BASE, store the base
7144         reference and mark it as download-ignorable.
7145
7146 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
7147
7148         * url.c (convert_links): Attempt to quote '?' as "%3F" when
7149         linking to local files.  Given up on the attempt, as it breaks
7150         local browsing.
7151
7152 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
7153
7154         * main.c (private_initialize): Removed.
7155         (main): Don't call private_initialize.
7156
7157         * http.c: Call lookup_host.
7158
7159         * host.c (host_init): Removed.
7160         (add_host_to_cache): Initialize host_name_address_map here, on
7161         demand.
7162         (ngethostbyname): Commented out.
7163
7164         * connect.c (make_connection): Remove dead code; use lookup_host.
7165
7166         * host.c (store_hostaddress): Renamed to lookup_host and reversed
7167         the args.
7168         Removed host_address_name_map and host_slave_master_map.
7169
7170 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
7171
7172         * progress.c (dot_create): Align the "[ skipping ... ]" string
7173         with the dots.
7174
7175         * retr.c (rate): Split into two functions: calc_rate and
7176         retr_rate.
7177
7178         * progress.c (create_image): Draw a dummy progress bar even when
7179         total size is unknown.
7180         (display_image): Place the text cursor at the end of the "image".
7181
7182 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
7183
7184         * url.c (reencode_string): Use unsigned char, not char --
7185         otherwise the hex digits come out wrong for 8-bit chars such as
7186         nbsp.
7187         (lowercase_str): New function.
7188         (url_parse): Canonicalize u->url if needed.
7189         (get_urls_file): Parse each URL, and return only the valid ones.
7190         (free_urlpos): Call url_free.
7191         (mkstruct): Add :port if the port is non-standard.
7192         (mkstruct): Append the query string to the file name, if any.
7193         (urlpath_length): Use strpbrk_or_eos.
7194         (uri_merge_1): Handle the cases where LINK is an empty string,
7195         where LINK consists only of query, and where LINK consists only of
7196         fragment.
7197         (convert_links): Count and report both kinds of conversion.
7198         (downloaded_file): Use a hash table, not a list.
7199         (downloaded_files_free): Free the hash table.
7200
7201         * retr.c (retrieve_from_file): Ditto.
7202
7203         * main.c (main): Call either retrieve_url or retrieve_tree
7204         for each URL, not both.
7205
7206         * retr.c (register_all_redirections): New function.
7207         (register_redirections_mapper): Ditto.
7208         (retrieve_url): Register the redirections.
7209         (retrieve_url): Make the string "Error parsing proxy ..."
7210         translatable.
7211
7212         * res.c (add_path): Strip leading slash from robots.txt paths so
7213         that the path representations are "compatible".
7214         (free_specs): Free each individual path, too.
7215         (res_cleanup): New function.
7216         (cleanup_hash_table_mapper): Ditto.
7217
7218         * recur.c (url_queue_new): New function.
7219         (url_queue_delete): Ditto.
7220         (url_enqueue): Ditto.
7221         (url_dequeue): Ditto.
7222         (retrieve_tree): New function, replacement for recursive_retrieve.
7223         (descend_url_p): New function.
7224         (register_redirection): New function.
7225
7226         * progress.c (create_image): Cosmetic changes.
7227
7228         * init.c (cleanup): Do all those complex cleanups only if
7229         DEBUG_MALLOC is defined.
7230
7231         * main.c: Removed --simple-check and the corresponding
7232         simple_host_check in init.c.
7233
7234         * html-url.c (handle_link): Parse the URL here, and propagate the
7235         parsed URL to the caller, who would otherwise have to parse it
7236         again.
7237
7238         * host.c (xstrdup_lower): Moved to utils.c.
7239         (realhost): Removed.
7240         (same_host): Ditto.
7241
7242 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
7243
7244         * utils.c (path_simplify): Preserver the (non-)existence of
7245         leading slash.  Return non-zero if changes were made.
7246
7247 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
7248
7249         * progress.c (bar_update): Don't modify bp->total_length if it is
7250         zero.
7251
7252 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
7253
7254         * retr.c (retrieve_url): When the redirection URL doesn't parse,
7255         print the correct error message rather than "UNKNOWN".
7256
7257 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
7258
7259         * progress.c (bar_finish): If the timer didn't record any time
7260         since the download beginning, fake 1ms.
7261
7262 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
7263
7264         * recur.c (recursive_retrieve): Fix typo.
7265
7266 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
7267
7268         * progress.c (create_image): Don't translate "%ld ".
7269
7270 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
7271
7272         * progress.c (bar_set_params): Allow the user to force the use of
7273         the bar.
7274
7275 2001-11-23  Lemble Gregory  <gregory.lemble@st.com>
7276
7277         * gen_sslfunc.c (ssl_init_prng): New function; seed the SSL RNG.
7278
7279 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
7280
7281         * progress.c: Renamed dp_* functions to dot_* for greater clarity
7282         and consistency with bar_*.
7283         (print_download_speed): Get rid of the unneeded '@' character.
7284         (create_image): Fix download rate geometry.
7285
7286         * progress.c (print_elapsed): Remove spurious space.
7287         (print_elapsed): Renamed to print_download_speed, since that's
7288         what it does.
7289
7290 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
7291
7292         * progress.c (bar_update): If the downloaded amount becomes larger
7293         than the expected amount, adjust the expected amount accordingly.
7294
7295 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
7296
7297         * utils.c (determine_screen_width): New function.
7298
7299         * main.c (main): New option `--progress=TYPE'.
7300         (main): Implement compatibility with the old option `--dot-style'.
7301
7302         * init.c: Removed cmd_spec_dotstyle -- that logic is now in
7303         dp_set_params.
7304         (cmd_spec_progress): New function.
7305
7306         * retr.c (get_contents): Use the progress_* functions instead of
7307         the old show_progress().
7308         (show_progress): Removed.
7309         (rate): Print "xxxx.xx K/s" instead of "KB/s".  Ditto for MB/s,
7310         etc.
7311
7312         * progress.c (set_progress_implementation): New function.
7313         (valid_progress_implementation_p): Ditto.
7314         (progress_create): Ditto.
7315         (progress_update): Ditto.
7316         (progress_finish): Ditto.
7317         (dp_create): Ditto.
7318         (dp_update): Ditto.
7319         (dp_finish): Ditto.
7320         (dp_set_params): Ditto.
7321         (print_elapsed): Ditto.
7322
7323 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
7324
7325         * retr.c (show_progress): Use it.
7326
7327         * log.c (log_set_flush): New function.
7328
7329 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
7330
7331         * utils.c (path_simplify): Don't remove trailing slashes.
7332
7333         * ftp.c (ftp_get_listing): Use it.
7334
7335         * utils.c (file_merge): New function.
7336
7337         * url.c (opt_url): Removed.
7338
7339         * recur.c (recursive_retrieve): Inline "opt_url" logic.
7340
7341         * main.c (main): Use xfree(), not free().
7342
7343         * url.c (rewrite_url_maybe): Renamed to rewrite_shorthand_url.
7344
7345         * ftp.c (ccon): Move `ccon' typedef here, since it's only used
7346         internally.
7347
7348         * config.h.in: Include a stub for HAVE_STRPBRK.
7349
7350         * cmpt.c (strpbrk): Include a replacement for systems without
7351         strpbrk().
7352
7353         * ftp.c: Use url_set_dir and url_set_file when modifying the URL.
7354
7355         * url.c (url_set_dir): New function.
7356         (url_set_file): Ditto.
7357
7358         * ftp-basic.c (ftp_process_type): Process FTP type here; the URL
7359         parser makes the URL "params" available, so we can do that in this
7360         function.
7361
7362         * retr.c: Ditto.
7363
7364         * ftp.c: Ditto; pass the local file information in `ccon'.
7365
7366         * http.c: Get rid of the ugly kludge that had URL being replaced
7367         with the proxy URL when proxy retrieval was requested.  Use a
7368         separate parameter to http_loop and gethttp for the proxy URL.
7369
7370         * http.c: Changed to reflect the fact that local file, proxy, and
7371         referer information are no longer stored in struct url.  The local
7372         file information is passed in `struct hstat' now.
7373
7374         * url.c: Reworked URL parsing to be more regular.  Reencode the
7375         URL using reencode_string.
7376         Removed non-URL-related information from struct url.  This
7377         includes fields `proxy', `local', and `referer'.
7378
7379 2001-11-22  Jochen Hein  <jochen@jochen.org>
7380
7381         * main.c (main): Split the copyright notice for easier
7382         translation.
7383
7384 2001-08-21  Dave Turner <dct25@hermes.cam.ac.uk>
7385
7386         * ftp-basic.c (ftp_size): New function to send non-standard SIZE
7387           command to server to request file size.
7388         * ftp.h (ftp_size): Export it.
7389         * ftp.c (getftp): Use new ftp_size function if restoring
7390           transfer of a file with unknown size.
7391
7392 2001-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
7393
7394         * url.c (parseurl): Don't depend on the now-obsolete TYPE.
7395
7396 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
7397
7398         * url.c (getproxy): Handle URL shorthands.
7399
7400 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
7401
7402         * main.c: Remove --wait / --waitretry backwards compatibility
7403         code.
7404
7405 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
7406
7407         * main.c (main): Use it.
7408
7409         * url.c (rewrite_url_maybe): New function.
7410
7411 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
7412
7413         * url.c: Clean up handling of URL schemes.
7414
7415 2001-05-13  Hrvoje Niksic  <hniksic@arsdigita.com>
7416
7417         * url.c: Get rid of `protostrings'.
7418         (skip_proto): Don't use protostrings.
7419         (has_proto): Ditto.
7420
7421 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
7422
7423         * Makefile.in: Conditionally compile getopt.o.
7424
7425 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
7426
7427         * md5.h: Renamed to gnu-md5.h.
7428
7429         * md5.c: Renamed to gnu-md5.c.
7430
7431         * http.c: Ditto.
7432
7433         * ftp-opie.c: Use the new macros.
7434
7435         * sysdep.h: Define md5-related macros.
7436
7437         * config.h.in: Define HAVE_SOLARIS_MD5 or HAVE_BUILTIN_MD5
7438         depending on which md5 implementation is used.
7439
7440 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
7441
7442         * res.c (res_register_specs): Initialize OLD and HP_OLD to appease
7443         the compiler.
7444
7445 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
7446
7447         * http.c (gethttp): Print the whole response line when printing
7448         headers is requested.
7449
7450 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
7451
7452         * res.c: New file.  Implement all RES-related code here.
7453
7454 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
7455
7456         * version.c: Wget 1.7.1 is released.
7457
7458 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
7459
7460         * headers.c (header_extract_number): Ignore trailing whitespace.
7461
7462 2001-08-24  Ian Abbott  <abbotti@mev.co.uk>
7463
7464         * html-url.c (collect_tags_mapper): Fix bug converting links
7465         with -k option for tags with multiple link attributes by
7466         handling links in the order they appear.
7467
7468 2001-08-15  Ian Abbott  <abbotti@mev.co.uk>
7469
7470         * ftp.c (ftp_loop_internal): Avoid a potential buffer overflow in
7471           the call to the 'rate' function by moving it past the error
7472           checking for the 'getftp' function return value.
7473
7474 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
7475
7476         * html-parse.c (advance_declaration): Use 0x22 instead of '"' or
7477         '\"'.  Different compilers' assert macros are broken in different
7478         ways.
7479
7480 2001-09-29  Christian Fraenkel  <c.fraenkel@gmx.net>
7481
7482         * http.c (gethttp): print debug output for errors occuring during
7483         the ssl handshake.
7484
7485 2001-11-16  Chris Seawood  <cls@seawood.org>
7486
7487         * init.c: Ditto.
7488
7489         * host.c: Ditto.
7490
7491         * connect.c: Ditto.
7492
7493         * sysdep.h: Support compilation under BEOS.
7494
7495 2001-06-08  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
7496
7497         * url.c (url_equal): Fix a memory leak when parseurl returns an
7498         error on the second URL. Also, since url_equal is not used at the
7499         moment, do not compile it.
7500
7501         * url.h: Ditto for the prototype of url_equal.
7502
7503 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
7504
7505         * html-parse.c (map_html_tags): Support XML-style empty tags.
7506
7507 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
7508
7509         * wget.h (DO_REALLOC_FROM_ALLOCA): Check for do_realloc_newsize in
7510         loop condition because we're no longer setting SIZEVAR here.
7511
7512 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
7513
7514         * wget.h (DO_REALLOC_FROM_ALLOCA): Set SIZEVAR after the memcpy()
7515         call because it needs the old value.
7516
7517 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
7518
7519         * cookies.c (ATTR_NAME_CHAR): Allow almost any character to be in
7520         an attribute name.
7521
7522 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
7523
7524         * url.c (url_filename): Make sure that slashes that sneak in to
7525         u->file via query string get protected.
7526         (file_name_protect_query_string): New function.
7527
7528 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
7529
7530         * recur.c (recursive_retrieve): Also check undesirable_urls with
7531         canonicalized URL.
7532
7533 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
7534
7535         * http.c (gethttp): Search `.netrc' with real host, not the proxy
7536         one.
7537
7538 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
7539
7540         * sysdep.h (MAP_FAILED): Provide MAP_FAILED for systems that don't
7541         define it.
7542
7543 2001-06-09  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
7544
7545         * ftp.h: Provide correct prototype for ftp_parse_ls().
7546
7547 2001-06-04  Hrvoje Niksic  <hniksic@arsdigita.com>
7548
7549         * version.c: Wget 1.7 is released.
7550
7551 2001-06-03  Karl Eichwalder  <ke@suse.de>
7552
7553         * ftp-ls.c (ftp_parse_ls): Fix typo.
7554
7555 2001-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
7556
7557         * all: Update copyright information.
7558
7559 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
7560
7561         * http.c (gethttp): Indicate that the continued download failed
7562         for *this* file.
7563
7564 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
7565
7566         * version.c: Wget 1.7-pre1 is released.
7567
7568 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
7569
7570         * version.c: Updated version to 1.7-pre1.
7571
7572 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
7573
7574         * gen_sslfunc.c: Don't include <sys/time.h> directly.
7575
7576 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
7577
7578         * http.c (gethttp): Use real URL data for cookies, not the proxy
7579         stuff.
7580
7581 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
7582
7583         * main.c (print_help): Document `--no-http-keep-alive'.
7584
7585         * utils.c (numdigit): Handle negative numbers *correctly*.
7586
7587         * hash.c (make_nocase_string_hash_table): Use term "nocase" rather
7588         than the confusing "unsigned".
7589
7590         * utils.c (string_set_contains): Renamed from string_set_exists.
7591
7592         * hash.c (hash_table_contains): Renamed from hash_table_exists.
7593
7594         * cookies.c: Move case-insensitive hash tables to hash.c.
7595
7596 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
7597
7598         * http.c (gethttp): Before concluding that the file is already
7599         fully retrieved, make sure that the file existed and `Range' was
7600         actually requested.
7601
7602 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
7603
7604         * cookies.c (eliminate_dups): New function.
7605         (build_cookies_request): Use it.
7606         (build_cookies_request): Set chain_store_size after reallocating
7607         all_chains.
7608         (check_domain_match): Annotated for easier future debugging.
7609         (store_cookie): In the debug message, print whether the cookie is
7610         permanent.
7611
7612 2001-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
7613
7614         * http.c (http_loop): Reset no_truncate before deciding whether to
7615         set it.
7616         (gethttp): Further clarify "-c conflicts with existing file" error
7617         message, based on input from Herold Heiko.
7618
7619 2001-05-07  Hrvoje Niksic  <hniksic@arsdigita.com>
7620
7621         * http.c (http_loop): If restval is set, set no_truncate to 1
7622         unconditionally.
7623
7624 2001-05-02  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
7625
7626         * ftp-ls.c (ftp_parse_winnt_ls): Assure months are being correctly
7627         converted. Pointed out by <Stefan.Weil@de.heidelberg.com>.
7628         (ftp_parse_vms_ls): Ditto.
7629
7630 2001-04-30  Hrvoje Niksic  <hniksic@arsdigita.com>
7631
7632         * init.c (cmd_address): Zero SIN before using it; apparently
7633         needed on *BSD.
7634
7635 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
7636
7637         * ftp.c (ftp_loop_internal): Don't set NO_TRUNCATE if the file is
7638         empty.
7639
7640 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
7641
7642         * main.c (main): Make `--cookies' respect its argument.
7643
7644 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
7645
7646         * main.c (main): Removed undocumented option `--email-address'.
7647
7648         * netrc.c: Use the latest read_whole_line.
7649
7650         * init.c (defaults): Set opt.ftp_pass to "-wget@".
7651
7652         * mswindows.c (pwd_cuserid): Ditto.
7653
7654         * utils.c (pwd_cuserid): Removed.
7655
7656         * host.c (ftp_getaddress): Removed.
7657
7658 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
7659
7660         (http_loop): Allocate space for filename_plus_orig_suffix with
7661         alloca; this is more efficient and removes the need to free it
7662         before each and every return.
7663
7664 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
7665
7666         * http.c (gethttp): Return RETRUNNEEDED when the retrieval is
7667         unneeded because the file is already there and fully downloaded,
7668         and -c is specified.
7669         (http_loop): Handle RETRUNNEEDED.
7670
7671         * wget.h (uerr_t): New value RETRUNNEEDED.
7672
7673         * http.c (http_loop): Set no_truncate for files that both exist
7674         and are non-empty.
7675         (gethttp): Consider the download finished when restval >= contlen,
7676         not only when restval==contlen.
7677         (gethttp): Handle redirection before giving up due to -c.
7678         (gethttp): Clarify error message which explains that -c will not
7679         truncate the file.
7680         (gethttp): When returning CONTNOTSUPPORTED, don't forget to free
7681         the stuff that needs freeing and release the socket.
7682
7683 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
7684
7685         * main.c (print_help): Wget booleans accept "off", not "no".
7686
7687 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
7688
7689         * http.c (http_loop): If allow_cache is zero, always disable
7690         caching, not only when retrieving through proxy.
7691
7692         * init.c: Ditto.
7693
7694         * options.h (struct options): Rename proxy_cache to allow_cache.
7695
7696 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
7697
7698         * http.c (mktime_from_utc): Improve documentation.
7699         (http_atotm): Put format strings into a separate array.
7700
7701 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
7702
7703         * safe-ctype.h: Instead of throwing #error when isalpha is
7704         defined, redefine it to something that will throw a compile-time
7705         error if actually *used*.  Do the same for the rest of the
7706         standard C macros.
7707
7708 2001-04-26  Hrvoje Niksic  <hniksic@arsdigita.com>
7709
7710         * url.c (getproxy): Ignore empty proxy vars.
7711
7712 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
7713
7714         * http.c (http_loop): Would load cookies every time.
7715
7716         * cookies.c (load_cookies): Handle cookies whose values contain
7717         embedded spaces.
7718
7719 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
7720
7721         * utils.c: Define each DIGITS_* in one line.
7722
7723 2001-04-25  Roger L. Beeman  <beeman@cisco.com>
7724
7725         * http.c (http_atotm): Initialize t.tm_isdst to 0.
7726         (mktime_from_utc): Prevent mktime() from having discontinuities at
7727         DST transition points.
7728
7729 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
7730
7731         * html-url.c (get_urls_html): Fix documentation.
7732
7733 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
7734
7735         * url.c (UNSAFE_CHAR): Reimplement using a static table.
7736         (url_init): Removed.
7737         (init_unsafe_char_table): Removed.
7738
7739 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
7740
7741         * snprintf.c (dopr): Replace ISDIGIT with '0' <= ch && ch <= '9'.
7742
7743 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
7744
7745         * utils.c: Document timer functions.
7746
7747         * retr.c (rate): Use it.
7748         (rate): Print in GB/s if transfer rate exceeds 1 GB/s.
7749
7750         * utils.c (wtimer_granularity): New function.
7751
7752 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
7753
7754         * retr.c (show_progress): Ditto.
7755
7756         * ftp.c (getftp): Ditto.
7757
7758         * http.c (gethttp): Use new timer functions.
7759
7760         * utils.c (wtimer_allocate): New function.
7761         (wtimer_new): Ditto.
7762         (wtimer_delete): Ditto.
7763         (wtimer_reset): Ditto.
7764         (wtimer_elapsed): Ditto.
7765
7766 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
7767
7768         * utils.c (long_to_string): New, faster version.  Favors smaller
7769         numbers; much of the calculation is now done at compile-time.
7770
7771 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
7772
7773         * utils.c (numdigit): Handle negative numbers.
7774
7775 2001-04-23  Hrvoje Niksic  <hniksic@arsdigita.com>
7776
7777         * retr.c (show_progress): Print the download rate even when the
7778         percentages are not available.
7779
7780 2001-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
7781
7782         * ftp.c (getftp): Adjust expected_bytes if the length is
7783         authoritative.
7784
7785 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
7786
7787         * url.c: Don't declare `construct'.
7788
7789         * hash.c (grow_hash_table): Speed up rehashing; inline storing of
7790         mappings to new locations.
7791         (hash_table_new): Make resize_threshold a field in the hash table,
7792         so we don't have to recalculate it in each hash_table_put.
7793         (grow_hash_table): Update resize_threshold.
7794         (MAX): Remove unused macro.
7795         (prime_size): Made static.
7796
7797 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
7798
7799         * retr.c (retrieve_url): Call uri_merge, not url_concat.
7800
7801         * html-url.c (collect_tags_mapper): Call uri_merge, not
7802         url_concat.
7803
7804         * url.c (mkstruct): Use encode_string instead of xstrdup followed
7805         by URL_CLEANSE.
7806         (path_simplify_with_kludge): Deleted.
7807         (contains_unsafe): Deleted.
7808         (construct): Renamed to uri_merge_1.
7809         (url_concat): Renamed to uri_merge.
7810
7811 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
7812
7813         * url.c (str_url): Use encode_string instead of the unnecessary
7814         CLEANDUP.
7815         (encode_string_maybe): New function, returns input string if no
7816         encoding is needed.
7817         (encode_string): Call encode_string_maybe to do the dirty work,
7818         xstrdup if no work needed.
7819
7820 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
7821
7822         * wget.h (XDIGIT_TO_xchar): Define here.
7823
7824         * url.c (decode_string): Use new name.
7825         (encode_string): Ditto.
7826
7827         * http.c (XDIGIT_TO_xchar): Rename HEXD2asc to XDIGIT_TO_xchar.
7828         (dump_hash): Use new name.
7829
7830         * wget.h: Rename ASC2HEXD and HEXD2ASC to XCHAR_TO_XDIGIT and
7831         XDIGIT_TO_XCHAR respectively.
7832
7833 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
7834
7835         * init.c: Include cookies.h.
7836
7837         * cookies.h: Declare cookies_cleanup.
7838
7839         * cookies.c (check_domain_match): Remove unused variable.
7840         (save_cookies): Remove extraneous argument from debug statement.
7841
7842         * host.c (same_host): Don't call skip_url.
7843
7844         * url.c (skip_url): Removed.  Removed its calls from various
7845         functions in url.c.
7846
7847 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
7848
7849         * cookies.c (unsigned_string_hash): Use the new code in
7850         string_hash as reference.
7851
7852         * hash.c (hash_table_map): Allow deletion and change of the
7853         element processed by MAPFUN.
7854         (string_hash): Use the function from glib.
7855
7856 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
7857
7858         * config.h.in: Include #undef stub.
7859
7860         * hash.c (hash_table_remove): Rewrite to actually clear deleted
7861         entries instead of just marking them as deleted.
7862
7863 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
7864
7865         * hash.h: Declare hash_table_get_pair and hash_table_count.
7866
7867 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
7868
7869         * cookies.c: Declare http_atotm.
7870
7871 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
7872
7873         * ftp-ls.c (ftp_parse_unix_ls): Use octal constants for
7874         permissions.  A compiler that doesn't accept octal constants is
7875         seriously broken and shouldn't be used -- octal constants were
7876         present in K&R C!
7877
7878 2001-01-20  Karl Eichwalder  <ke@suse.de>
7879
7880         * Makefile.in: Provide and use DESTDIR according to the Coding
7881         Standards.
7882
7883 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
7884
7885         * ftp-ls.c (ftp_parse_vms_ls): Make seconds optional in time
7886         specification.
7887
7888 2001-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
7889
7890         * url.c (parseurl): Don't strip trailing slash when u->dir is "/"
7891         because that strips the *leading* slash, thus forcing relative
7892         FTP retrieval.
7893
7894 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
7895
7896         * ftp.c (getftp): Convert initial FTP directory from VMS to UNIX
7897         notation for VMS servers.
7898         (ftp_retrieve_dirs): Do not prepend '/' to f->name when
7899         odir is an empty string.
7900
7901 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
7902
7903         * ftp-ls.c (ftp_parse_winnt_ls): Made the fix for AM/PM more
7904         effective. Suggested by Edward J. Sabol.
7905
7906 2001-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
7907
7908         * cookies.c (build_cookies_request): Use and sort cookies from all
7909         matching domains.
7910         (build_cookies_request): Check for duplicates before generating
7911         the `Cookies' header.
7912
7913         * main.c (main): Don't load cookies here.
7914         (main): Make loadcookies and savecookies call the correct command.
7915
7916         * http.c (http_loop): Load cookies on-demand.
7917
7918 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
7919
7920         * http.c (gethttp): Fix indentation of SSL ifdef.
7921
7922 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
7923
7924         * ftp.c (ftp_retrieve_dirs): Don't forcibly prepend "/" to u->dir;
7925         that hack is no longer necessary.
7926         (getftp): Prepend initial directory to *non*-absolute u->dir's.
7927
7928 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
7929
7930         * init.c (cmd_file): New function.
7931         (enable_tilde_expansion): New variable.
7932         (run_wgetrc): Use it.
7933         (cmd_file): Use it.
7934
7935 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
7936
7937         * init.c: Include cookie-related options.
7938
7939         * main.c (main): Include cookie-specific options.
7940         (main): Load cookies before download is finished.
7941         (main): Save cookies when done.
7942
7943         * http.c (gethttp): Process the `Set-Cookie' header.
7944         (gethttp): Include cookies in the response.
7945
7946         * cookies.c: New file.
7947
7948 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
7949
7950         * utils.c (datetime_str): New function.
7951
7952 2001-04-08  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
7953
7954         * ftp-ls.c (ftp_parse_winnt_ls): The AM/PM change did assume
7955         12:01PM == 00:01, which was obviously wrong. Taken care of this
7956         anomaly.
7957
7958         * ChangeLog: Removed an excess conflict marker. Reformatted the
7959         entry by Philipp Thomas from 2001-03-09.
7960
7961         * ftp-ls.c (ftp_parse_winnt_ls): Ensure that adjusted PM hours lay
7962         between 0 and 23. Elminate unused variable `sec'.
7963
7964 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
7965
7966         * hash.c (hash_table_count): New function.
7967
7968 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
7969
7970         * utils.c (read_file): Cast MAP_FAILED to char *.  Enforced by
7971         Digital Unix cc.
7972
7973 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
7974
7975         * config.h.in: Oops, do the namespace tweaks only on systems we
7976         know about.
7977
7978 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
7979
7980         * hash.c: Include <string.h>.
7981
7982 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
7983
7984         * config.h.in: Define "compilation environment" options that work
7985         under Linux and Solaris.  To be reviewed on other OS'es.
7986
7987 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
7988
7989         * http.c (gethttp): Prepend literal newline with `\n\'.
7990
7991 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
7992
7993         * sysdep.h: Don't define VERY_LONG_FORMAT.
7994
7995         * utils.c (very_long_to_string): New function.
7996         (legible_very_long): Use it; don't use VERY_LONG_FORMAT.
7997
7998 2001-04-04  Christian Fraenkel  <christian.fraenkel@gmx.net>
7999
8000         * url.c (parse_uname): Would run past the end of the string if the
8001         username was present, but the URL did not contain a slash, e.g.
8002         http://foo:bar@myhost.
8003
8004 2001-04-03  KOJIMA Hajime  <kjm@rins.ryukoku.ac.jp>
8005
8006         * http.c (http_atotm): Use %A instead of %a to match full
8007         weekday.  (On most systems there is no difference.)
8008
8009 2001-04-03  Paul Bludov  <paul@ozero.net>
8010
8011         * mswindows.c (sleep): Use SleepEx() instead of Sleep().
8012         (ws_changetitle): Use alloca() instead of malloc() to avoid memory
8013         leak.
8014         (ws_mypath): Use GetModuleFileName instead of argv[0].
8015         (ws_startup): Use data.wVersion for comparison.
8016
8017 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
8018
8019         * http.c (http_loop): Ditto.
8020
8021         * ftp.c (ftp_loop_internal): Made the check whether to continue
8022         retrieval `-O'-friendly.
8023
8024 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
8025
8026         * netrc.c (parse_netrc): Don't trim the line endings explicitly;
8027         they will be handled as whitespace.
8028         (parse_netrc): Correctly handle lines that end with whitespace.
8029
8030 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
8031
8032         * retr.c (retrieve_url): New variable global_download_count used
8033         to identify first retrieval.
8034
8035         * ftp.c (getftp): Ditto.
8036
8037         * http.c (gethttp): Rewind opt.dfp only on first retrieval.
8038
8039 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
8040
8041         * init.c (cmd_address): Heap-allocate the address that gets stored
8042         to CLOSURE.  Old code would simply assign an address on the stack.
8043
8044 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
8045
8046         * ftp.c (ftp_get_listing): Propagate error status.
8047         (ftp_retrieve_glob): Use it.
8048         (ftp_loop): Ditto.
8049
8050 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
8051
8052         * main.c (main): Add -C to the string that is the third arg to
8053         getopt_long().
8054
8055 2001-04-01  Hrvoje Niksic  <hniksic@arsdigita.com>
8056
8057         * ftp.c (getftp): Don't start the download from scratch if `-c'
8058         was specified, but the file is already fully downloaded.
8059
8060         * http.c (gethttp): Don't truncate a pre-existing file if `-c' was
8061         specified and the server doesn't support continued download.
8062         (gethttp): Don't start the download from scratch if `-c' was
8063         specified, but the file is already fully downloaded.
8064
8065 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
8066
8067         (recursive_retrieve): Don't clear the hash tables at this point at
8068         all; it interferes with the normal operation of register_download.
8069
8070 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
8071
8072         * recur.c (recursive_retrieve): Clear the hash tables only when
8073         they are defined.
8074
8075 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
8076
8077         * http.c (gethttp): Make sure the socket is closed with
8078         CLOSE_INVALIDATE before we have drained the body.
8079
8080 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
8081
8082         * retr.c (retrieve_url): Call register_download() for downloaded
8083         files and register_html() for downloaded HTML files.
8084
8085         * recur.c (register_download): New function; register here that a
8086         file has been downloaded, rather than in recursive_retrieve().
8087         (register_html): New function; enqueue the location of HTML files
8088         here rather than in recursive_retrieve().
8089
8090 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
8091
8092         * main.c (print_help): Use multiple fputs instead of a single ugly
8093         printf().
8094         (main): Consistently assign numbers >128 to options without a
8095         corresponding character.
8096
8097 2001-03-09  Philipp Thomas  <pthomas@suse.de>
8098
8099         * safe-ctype.h: New file. Locale independent ctype.h replacement
8100         taken from libiberty.
8101
8102         * safe-ctype.c: New file. Tables for above.
8103
8104         * Makefile.in: Add safe-ctype$o to OBJS.  Add dependencies for
8105         safe-ctype$o.
8106
8107         * cmpt.c: Remove include of ctype.h. Use ISSPACE instead of
8108         isspace.
8109
8110         * ftp-basic.c: Don't include ctype.h.
8111
8112         * ftp-ls.c: Likewise.
8113
8114         * ftp.c: Likewise.
8115
8116         * headers.c: Likewise.
8117
8118         * host.c: Likewise.
8119
8120         * html-parse.c: Likewise.
8121
8122         * html-url.c: Likewise.
8123
8124         * http.c: Likewise.
8125
8126         * init.c: Likewise.
8127
8128         * main.c: Likewise. Set LC_CTYPE along with LC_MESSAGES.
8129
8130         * netrc.c: Likewise.
8131
8132         * recur.c: Likewise.
8133
8134         * retr.c: Likewise.
8135
8136         * snprintf.c: Replace ctype.h with safe-ctype.h. Use ISDIGIT
8137         instead of isdigit.
8138
8139         * sysdep.h: Remove defines of ctype macros as they aren't needed
8140         for safe-ctype-h.
8141
8142         * url.c: Don't include ctype.h.
8143
8144         * utils.c: Likewise.
8145
8146         * wget.h: Include safe-ctype.h.
8147
8148 2001-03-27  Dan Harkless  <wget@harkless.org>
8149
8150         * Makefile.in: Moved top_builddir out of "User configuration
8151         section" of top Makefile and analogous spot in this one.
8152
8153 2001-03-17  Dan Harkless  <wget@harkless.org>
8154
8155         * Makefile.in: Include @SSL_INCLUDES@ substition in INCLUDES.
8156         Define top_builddir.  Link wget with libtool so the user doesn't
8157         have to supply a bunch of custom environment variables to
8158         correctly link with the OpenSSL shared libraries.
8159
8160 2001-03-06  Hack Kampbjorn  <hack@hackdata.com>
8161
8162         * http.c (gethttp): skip :port in host header if it is the
8163         DEFAULT_HTTPS_PORT when using SSL.
8164
8165         * url.c: move the #define of DEFAULT_HTTP_PORT, DEFAULT_FTP_PORT
8166         and DEFAULT_HTTPS_PORT to the header file so it can be use in the
8167         rest of the code.
8168         * url.h: Ditto
8169
8170 2001-03-01  Jonas Jensen  <bones@huleboer.dk>
8171
8172         * retr.c (show_progress): Correctly calculate the number of bytes
8173         in the first line of the download that have been actually
8174         downloaded in this run.
8175
8176 2001-02-23  Dan Harkless  <wget@harkless.org>
8177
8178         * main.c (print_help): --help documentation for -N said it would
8179         re-download files if they had the _same_ timestamp on server.
8180         (print_help): -nr belongs in "FTP options" section of --help
8181         output, not "Recursive retrieval" section.  Alphabetized FTP
8182         options by long option name.
8183
8184 2001-02-16  Dan Harkless  <wget@harkless.org>
8185
8186         * init.c (commands): Hack Kampbjørn <hack@hackdata.com> discovered
8187         that "httpsproxy" had been inserted into commands[] out of
8188         alphabetical order, causing "BUG: unknown command `httpuser'".
8189
8190 2001-02-13  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
8191
8192         * ftp-ls.c (ftp_parse_ls): Added support of ST_MACOS (Unix-like
8193         listing without correct permissons).
8194
8195         * ftp.h (stype): Added ST_MACOS to identify the NetPresenz MacOS
8196         FTP server.
8197
8198         * ftp.c (ftp_retrieve_list): New mirroring logic: A remote file
8199         shall be donwloaded only when it's newer than the local copy or
8200         when it has the same timeestamp but its size is different. ST_VMS
8201         and ST_MACOS as special cases that lie about file size.
8202
8203         * ftp-ls.c (ftp_parse_ls): Support for ST_MACOS.
8204
8205         * Makefile.in: Removed dependency on ftpparse library due to unclear
8206         copyright issues and absence of any feedback to our queries.
8207
8208         * ftp-ls.c: Removed dependency on ftpparse library due to unclear
8209         copyright issues and absence of any feedback to our queries.
8210         (ftp_parse_ls): Added a warning message when remote server system
8211         does not seem to be suported by wget.
8212         (ftp_parse_vms_ls): New function for parsing VMS ftp
8213         server listing output.
8214         (clean_line): New function responsible for removing
8215         end-of-line characters from FTP listing texts.
8216
8217         * ftp.c (getftp): Global variables pwd and host_type are now
8218         member of the ccon structure under names ccon.id and ccon.rs.
8219
8220         * ftp.h (struct ccon): Added formed global variables from ftp.c,
8221         enum stype rs (remote system identification) and char *id (initial
8222         working directory), as suggested by Hrvoje.
8223
8224         * url.c (parse_uname): Added support for passwords containing '@'
8225         characters.
8226         (skip_uname): Ditto.
8227
8228 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
8229
8230         * ftp.c (ftp_loop): Reset con.
8231
8232 2001-01-06  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
8233
8234         * url.c (parse_uname): Added support for passwords containing '@'
8235         characters.
8236         (skip_uname): Ditto.
8237
8238 2001-02-11  Hack Kampbjørn  <hack@hackdata.com>
8239
8240         * url.c (parseurl): Debug-print u->ftp_type.
8241
8242 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
8243
8244         * ftp.c (ftp_loop_internal): Disable padding.
8245         (getftp): Ditto.
8246
8247         * http.c (http_loop): Disable padding.
8248
8249         * retr.c (show_progress): Use it to enable padding.
8250
8251         * retr.c (rate): Optional parameter PAD for padding the rate.
8252
8253 2001-02-10  Hrvoje Niksic  <hniksic@arsdigita.com>
8254
8255         * retr.c (show_progress): Make sure that the last output line
8256         includes progress.
8257
8258 2001-02-10  Jonas Jensen  <bones@huleboer.dk>
8259
8260         * retr.c (show_progress): Print the download rate along with the
8261         percentages.
8262         Along with Anders Thorsby <anders@thorsby.dk>.
8263
8264 2001-02-10  Tim Mooney  <mooney@dogbert.cc.ndsu.NoDak.edu>
8265
8266         * ftp.h: Rename enums `command' to `wget_ftp_command' and
8267         `fstatus' to `wget_ftp_status' because old names clash with Tru64
8268         net/if.h.
8269
8270 2001-02-08  Christian Fraenkel <christian.fraenkel@gmx.net>
8271
8272         * gen_sslfunc.c: verify_callback is now static
8273
8274         * gen_sslfunc.c (init_ssl): load certificate if specified
8275
8276         * gen_sslfunc.c (ssl_printerr): new function
8277
8278         * init.c: added new --sslcertfile and --sslcertkey switches
8279
8280         * main.c: ditto
8281
8282         * options.h: ditto
8283
8284         * http.c (gethttp): abort when init_ssl fails
8285
8286 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
8287
8288         * mswindows.h: Include <malloc.h>; it's needed for alloca().
8289
8290 2001-01-10  Dan Harkless  <wget@harkless.org>
8291
8292         * url.c (str_url): Clarified this function's comment header after
8293         Hrvoje answered my question on the list as to when hide != 1.
8294         Also Hrvoje pointed out I need to use xstrdup() on the string literal.
8295
8296 2001-01-06  Hrvoje Niksic  <hniksic@arsdigita.com>
8297
8298         * connect.c (bindport): Declare addrlen as int.  Diagnosed by
8299         Drazen Kacar <dave@arsdigita.com>.
8300         (conaddr): Ditto.
8301
8302 2001-01-09  Dan Harkless  <wget@harkless.org>
8303
8304         * html-url.c: A bunch of fixup of `--page-requisites'-related
8305         comments to reflect Hrvoje's changes to my code when transplanting
8306         it into this new file, to fix spelling mistakes, to clarify, etc.
8307
8308         * url.c (write_backup_file): Clarified a comment.
8309         (str_url): Henrik van Ginhoven pointed out on the list that we
8310         shouldn't give away the number of characters in the password by
8311         replacing each character with a 'x'.  Use "<password>" instead.
8312
8313         * ftp.c (ftp_retrieve_dirs): The bug where recursion into FTP
8314         directories didn't work if logging in put you in a directory other
8315         than "/" is fixed now.  Removed the comment here warning of the bug.
8316
8317         * main.c (print_help): --continue's description was misleading.
8318         We don't "restart", we "resume".  Also, better to say
8319         "partially-downloaded file" rather than just "existing file".
8320
8321 2001-01-06  Dan Harkless  <wget@harkless.org>
8322
8323         * ChangeLog: The '[Not in 1.6 branch.]'s were decided not to be
8324         the best way to go about my aim.  Removed them in favor of:
8325
8326         * ChangeLog-branches/1.6_branch.ChangeLog: New file.
8327
8328 2001-01-04  Hrvoje Niksic  <hniksic@arsdigita.com>
8329
8330         * url.c (replace_attr): New function, to be used by both
8331         TO_COMPLETE and TO_RELATIVE case in convert_links.
8332         (find_fragment): New function for finding URL fragments.
8333         (replace_attr): Better handle the case where the original string
8334         is not quoted.  Use find_fragment.
8335         (convert_links): Use replace_attr().
8336
8337 2000-12-31  Dan Harkless  <wget@harkless.org>
8338
8339         * ChangeLog: Since this flat file doesn't have multiple branches,
8340         looking at the dates would make you think that things went into
8341         1.6 that actually just went into the 1.7-dev branch.  Added "[Not
8342         in 1.6 branch.]" where appropriate to clarify.
8343
8344 2000-12-30  Dan Harkless  <wget@harkless.org>
8345
8346         * ftp.c, http.c:  Applied Hack Kampbjørn <hack@hackdata.com>'s
8347         patch to deal with h_errno not being defined in netdb.h under Cygwin.
8348
8349 2000-12-18  Csaba Raduly  <csaba.raduly@sophos.com>
8350
8351         * sysdep.h: Include <malloc.h> and <io.h> under Watcom.
8352
8353 2000-12-17  Igor Khristophorov  <igor@atdot.org>
8354
8355         * http.c (check_end): Fix test for '+' or '-'.
8356
8357 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
8358
8359         * url.c (parseurl): Rename inner loop var from i to ind to avoid
8360         clash with the function top-level-declared variable i.
8361         (str_url): Likewise, rename inner-loop i to j.
8362
8363         * recur.c (parse_robots): Don't declare LEN at top of function.
8364         (robots_match): Renamed parameter FORBIDDEN to avoid hiding of
8365         global variable.
8366
8367         * main.c (main): Change erroneous use of bitwise and to logical.
8368
8369         * init.c (cmd_address): Don't heap-allocate `sin'; it can be on
8370         the stack because it will be copied to closure.
8371
8372         Thanks to Csaba Raduly's run of PC-LINT over the sources.
8373
8374 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
8375
8376         * http.c (basic_authentication_encode): Use xmalloc(), not
8377         malloc().  Thanks to Csaba Raduly's run of PC-LINT over the
8378         sources.
8379
8380 2000-12-17  Csaba Raduly  <csaba.raduly@sophos.com>
8381
8382         * sysdep.h: Test for __EMX__ rather than for EMXOS2 for OS/2
8383         compilation.
8384
8385 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
8386
8387         * mswindows.c: Include <errno.h>.
8388
8389         * gen_sslfunc.c: Include <errno.h>.
8390
8391         * ftp-basic.c: Don't attempt to declare errno or h_errno because
8392         they're not used.
8393
8394         * main.c: Include <errno.h> because errno is used.
8395
8396         * ftp.c: Ditto.
8397
8398         * http.c: Include <netdb.h> for h_errno.
8399
8400 2000-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
8401
8402         * html-parse.c (advance_declaration): MSVC assert() chokes on
8403         '\"'.  Use '"' instead.
8404
8405 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
8406
8407         * utils.c (xfree_real): Removed.
8408         (xfree_debug): Just call free().
8409
8410         * wget.h (xfree): Make it an alias for free.
8411
8412 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
8413
8414         * http.c (http_loop): Furthermore, touch output_document only if
8415         it is known to be an existing regular file.
8416
8417 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
8418
8419         * ftp.c (ftp_retrieve_list): Ditto.
8420
8421         * http.c (http_loop): Touch output_document if that is used for
8422         output.
8423
8424 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
8425
8426         * http.c: Include gen_sslfunc.h after including Wget's headers.
8427         (persistent_available_p): Needed coma before `int ssl'.
8428
8429 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
8430
8431         * ftp.c (ftp_loop_internal): Ditto.
8432
8433         * http.c (http_loop): Use it.
8434
8435         * retr.c (sleep_between_retrievals): New function that handles the
8436         logic of opt.wait and opt.waitretry.
8437
8438 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
8439
8440         * rbuf.h: Implement only a single version of RBUF_READCHAR, using
8441         rbuf_read_bufferful when the buffer is depleted.
8442
8443         * rbuf.c (rbuf_read_bufferful): New function.
8444
8445 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
8446
8447         * gen_sslfunc.h: Use ansi2knr style function declarations.
8448
8449         * gen_sslfunc.c: Reformat according to the GNU coding standards.
8450         More should be done.
8451
8452         * http.c (persistent_available_p): Place the cheap SSL test nearer
8453         the top of the function.
8454         (CLOSE_FINISH, CLOSE_INVALIDATE): Define only one version of each.
8455
8456 2000-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
8457
8458         * url.c (init_unsafe_char_table): Reinstate space as an unsafe
8459         char.
8460
8461 2000-12-03  Christian Fraenkel <christian.fraenkel@gmx.net>
8462
8463         * Makefile.in: added gen_sslfunc object
8464         * config.h.in: added HAVE_SSL define
8465         * connect.c: changed select_fd from static int to int
8466         * connect.h: ditto
8467         * gen_sslfunc.h: New file
8468         * gen_sslfunc.c: ditto
8469         * http.c: added HTTPS fuctionality
8470         * retrc.c: ditto
8471         * url.c: ditto
8472         * init.c: added opt.httpsproxy
8473         * options.h: ditto
8474         * rbuf.h: added alternate rbuf struct
8475         * wget.h: added CONSSLERR
8476         * rbuf.c: ditto
8477
8478         * http.c: Added HTTPS fuctionality.
8479
8480         * retrc.c: Ditto.
8481
8482         * url.c: Ditto.
8483
8484         * init.c: Added opt.httpsproxy.
8485
8486         * options.h: Ditto.
8487
8488         * rbuf.h: Added alternate rbuf struct.
8489
8490         * wget.h: Added CONSSLERR.
8491
8492         * rbuf.c: Ditto.
8493
8494 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
8495
8496         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
8497         "ignore_perms" to ignore file and directory permissions for
8498         Windows NT FTP server listings.
8499         (ftp_parse_winnt_ls): New function.
8500         (ftp_parse_ls): Parses UNIX and Windows NT listings
8501         separately. Simple heuristics for distinguishing between UNIX and
8502         MS-DOS-like FTP listing provided by Windows NT FTP service.
8503
8504 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
8505
8506         * ftpparse.c, ftpparse.h: New files.
8507
8508         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
8509         only. Use ftp_parse_nonunix_ls otherwise.
8510         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
8511         exotic FTP servers.
8512
8513         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
8514         FTP servers.
8515
8516         * ftp.c: New static wariables host_type, pwd, and pwd_len.
8517         (getftp): Support for VMS. Support for FTP servers that do not
8518         place you in the root directory after login.
8519         (ftp_retrieve_list): VMS is silent about the real file size, issue
8520         a more appropriate message.
8521         (ftp_get_listing): Pass host_type to ftp_parse_ls.
8522
8523         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
8524
8525 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
8526
8527         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
8528         "ignore_perms" to ignore file and directory permissions for
8529         Windows NT FTP server listings.
8530         (ftp_parse_winnt_ls): New function.
8531         (ftp_parse_ls): Parses UNIX and Windows NT listings
8532         separately. Simple heuristics for distinguishing between UNIX
8533         and MS-DOS-like FTP listing provided by Windows NT FTP service.
8534
8535 2000-11-29  John Summerfield  <summer@OS2.ami.com.au>
8536
8537         * netrc.c (parse_netrc): Get rid of line ending.
8538
8539 2000-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
8540
8541         * ftp.c (ftp_retrieve_list): Undo typo "fix" until resolution by
8542         Dan.
8543
8544 2000-11-24  Karl Eichwalder  <ke@suse.de>
8545
8546         * main.c (print_help): Untabify.
8547
8548 2000-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
8549
8550         * utils.c (xrealloc_debug): Do the unregister/register thing only
8551         if the pointer has actually changed.
8552         (xmalloc_real): Declare `static' in DEBUG_MALLOC builds.
8553         (xfree_real): Ditto.
8554         (xrealloc_real): Ditto.
8555         (xstrdup_real): Ditto.
8556
8557 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
8558
8559         * ftp.c (getftp): ftp_getaddress() returns a malloc'ed copy of the
8560         string; no need to strdup() it.
8561         (getftp): Make pwd_len a local variable.
8562         (ftp_loop): Free PWD before returning.
8563
8564         * init.c (cleanup): Free opt.ftp_pass only if it's non-NULL.
8565
8566 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
8567
8568         * all: Use xfree() instead of free.
8569
8570         * utils.c (xfree): New function.
8571
8572 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
8573
8574         * url.c (convert_links): HTML-quote the converted string.
8575
8576         * utils.c (html_quote_string): Move here from ftp-ls.c
8577         (html_quote_string): Make non-static; declare in utils.h.
8578         (html_quote_string): Convert SP to &#32;.
8579
8580 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
8581
8582         * ftp.c (getftp): Reformat Jan's code according to GNU coding
8583         standards; remove (debugging?) printf's; use '\0' for the ASCII
8584         zero character.  Use alloca() instead of malloc() for
8585         inter-function temporary allocations.
8586
8587 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
8588
8589         * ftpparse.c, ftpparse.h: New files.
8590
8591         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
8592         only. Use ftp_parse_nonunix_ls otherwise.
8593         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
8594         exotic FTP servers.
8595
8596         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
8597         FTP servers.
8598
8599         * ftp.c: New static wariables host_type, pwd, and pwd_len.
8600         (getftp): Support for VMS. Support for FTP servers that do not
8601         place you in the root directory after login.
8602         (ftp_retrieve_list): VMS is silent about the real file size, issue
8603         a more appropriate message.
8604         (ftp_get_listing): Pass host_type to ftp_parse_ls.
8605
8606         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
8607
8608 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
8609
8610         * hash.c (hash_table_put): Don't overwrite deleted mappings.
8611
8612 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
8613
8614         * hash.c (find_mapping): New function.
8615         (hash_table_get): Use it.
8616         (hash_table_get_pair): Ditto.
8617         (hash_table_exists): Ditto.
8618         (hash_table_remove): Ditto.
8619         (hash_table_remove): Really delete the entry if the mapping
8620         following LOCATION is empty.
8621
8622         * utils.c (string_set_add): Check whether the element has existed
8623         before.
8624
8625         * hash.c (hash_table_get_pair): New function.
8626
8627 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
8628
8629         * http.c (http_process_type): Ignore trailing whitespace; use
8630         strdupdelim().
8631
8632         * recur.c (recursive_retrieve): Use the new `convert' field.
8633         (convert_all_links): Ditto.
8634         (convert_all_links): Don't respect meta_disallow_follow.
8635
8636         * html-url.c (handle_link): Fill out link_relative_p and
8637         link_complete_p.
8638
8639         * url.h (struct _urlpos): Make elements more readable.
8640
8641         * recur.c (recursive_retrieve): Call slist_prepend instead of
8642         slist_append.
8643         (convert_all_links): Call slist_nreverse before iterating through
8644         urls_html.
8645
8646         * utils.c (slist_prepend): New function.
8647         (slist_nreverse): Ditto.
8648
8649 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
8650
8651         * http.c (check_end): Constify.
8652
8653 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
8654
8655         * http.c (http_loop): If username and password are known, try the
8656         `Basic' authentication scheme by default.
8657
8658         * connect.h: Declare test_socket_open.
8659
8660 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
8661
8662         * version.c: Bump version from 1.5.3+dev to 1.7-dev.
8663
8664 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
8665
8666         * http.c (gethttp): Don't use the return value of sprintf().
8667         (gethttp): Inhibit keep-alive if opt.http_keep_alive is 0.
8668
8669 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
8670
8671         * recur.c (recursive_retrieve): Print the "so we don't load"
8672         debugging message only if we really don't load.
8673
8674         * http.c (gethttp): Inhibit keep-alive if proxy is being used.
8675         (gethttp): Don't request keep-alive if keep-alive is inhibited.
8676
8677 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
8678
8679         * http.c (gethttp): Make the HTTP persistent connections more
8680         robust.
8681
8682 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
8683
8684         * retr.c (get_contents): If use_expected, make sure that the
8685         appropriate amount of data is being read.
8686
8687         * http.c (gethttp): Check for both `Keep-Alive: ...' and
8688         `Connection: Keep-Alive'.
8689
8690         * wget.h (DEBUGP): Call debug_logprintf only if opt.debug is
8691         turned on.
8692
8693 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
8694
8695         * http.c (connection_available_p): Use it.
8696
8697         * connect.c (test_socket_open): New function.
8698
8699         * http.c (gethttp): Support persistent connections.  Based on the
8700         ideas, and partly on code, by Sam Horrocks <sam@daemoninc.com>.
8701         (register_persistent): New function.
8702         (connection_available_p): Ditto.
8703         (invalidate_connection): Ditto.
8704
8705 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
8706
8707         * url.c (convert_links): Handle UREL2ABS case.
8708
8709         * recur.c (recursive_retrieve): Instead of the list
8710         urls_downloaded, use hash tables dl_file_url_map and
8711         dl_url_file_map.
8712         (convert_all_links): Use them to retrieve data.
8713
8714         * host.c (clean_hosts): Free the hash tables.
8715
8716         * main.c (private_initialize): Call host_init().
8717
8718         * host.c (store_hostaddress): Use a saner, hash table-based data
8719         model.
8720         (realhost): Ditto.
8721         (host_init): Initialize the hash tables.
8722
8723 2000-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
8724
8725         * utils.c (slist_append): Eviscerate NOSORT.  Hash tables are now
8726         used for what the sorted slists used to be used for.
8727         (slist_contains): Don't rely on the list being sorted.
8728         (slist_append): Simplify the code.
8729
8730         * recur.c (recursive_cleanup): Use free_string_set.
8731
8732         * utils.c (string_set_add, string_set_exists, string_set_free):
8733         New functions for easier freeing of hash tables whose keys are
8734         strdup'ed strings.
8735
8736         * recur.c (recursive_retrieve): Use the hash table functions for
8737         storing undesirable URLs.
8738
8739         * hash.c: New file.
8740
8741 2000-11-17  Hrvoje Niksic  <hniksic@arsdigita.com>
8742
8743         * main.c (private_initialize): Call url_init.
8744         (main): Call private_initialize.
8745
8746         * url.c (unsafe_char_table): New table.
8747         (UNSAFE_CHAR): Use it.
8748         (init_unsafe_char_table): New function.
8749         (url_init): New function; call init_unsafe_char_table.
8750
8751 2000-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
8752
8753         * mswindows.h: Define snprintf and vsnprintf to _snprintf and
8754         _vsnprintf respectively.
8755
8756 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
8757
8758         * config.h.in: Do the _XOPEN_SOURCE and _SVID_SOURCE things only
8759         on Linux.
8760
8761 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
8762
8763         * html-url.c (handle_link): Handle HTML fragment identifiers.
8764
8765         * recur.c (recursive_retrieve): If norobot info is respected and
8766         the file is specified not to be followed by robots, respect that.
8767
8768         * html-url.c (collect_tags_mapper): Handle <meta name=robots
8769         content=X>.  For us the important cases are where X is NONE or
8770         where X contains NOFOLLOW.
8771         (get_urls_html): Propagate that information to the caller.
8772
8773 2000-11-13  Hrvoje Niksic  <hniksic@arsdigita.com>
8774
8775         * url.c (convert_links): Unlink the file we might be reading from
8776         before writing to it.
8777         (convert_links): Use alloca instead of malloc for
8778         filename_plus_orig_suffix.
8779
8780 2000-11-12  Hrvoje Niksic  <hniksic@arsdigita.com>
8781
8782         * host.c (realhost): Add HOST to the list with quality==0 only if
8783         it wasn't already there.
8784         Based on analysis by Lu Guohan <feng@public.bjnet.edu.cn>.
8785
8786 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
8787
8788         * url.c (get_urls_file): Ditto.
8789         (convert_links): Ditto.
8790
8791         * html-url.c (get_urls_html): Use read_file() instead of
8792         load_file().
8793
8794         * utils.c (read_file): New function, instead of the old
8795         load_file().
8796         (read_file_free): Ditto.
8797
8798         * url.c (findurl): Search only for the supported protocols.
8799         (convert_links): Use fwrite() when writing out a region of
8800         characters.
8801
8802 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
8803
8804         * ftp-ls.c: Move html_quote_string and ftp_index here.
8805
8806         * url.c: Remove get_urls_html, since that's now in html-url.c.
8807
8808         * html-url.c: New file.
8809
8810         * html-parse.c: New file.
8811
8812 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
8813
8814         * init.c (run_wgetrc): Don't bother killing off '\r' since
8815         pars_line() skips whitespace at end of line anyway.
8816         (parse_line): Oops, it didn't.  Now it does.
8817
8818         * recur.c (parse_robots): Ditto here.
8819
8820         * ftp-ls.c (ftp_parse_unix_ls): Kill off the newline character
8821         manually because read_whole_line no longer does.
8822
8823         * utils.c (read_whole_line): Rewrite to: a) use less memory
8824         (reallocates to needed size after work), b) work faster -->
8825         fgets() instead of getc, c) be more correct --> doesn't kill the
8826         newline character at the end of line.
8827
8828 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
8829
8830         * init.c (comind): Initialize MAX to array size - 1.
8831
8832 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
8833
8834         * url.c (construct): Changed last_slash[-1] to *(last_slash - 1).
8835         Suggested by Edward J. Sabol.
8836
8837 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
8838
8839         * url.c (construct): Handle the case where host name is not
8840         followed by a slash.
8841
8842 2000-11-06  Hrvoje Niksic  <hniksic@arsdigita.com>
8843
8844         * init.c: commands[] need to be sorted!  ("base" wasn't.)
8845
8846 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
8847
8848         * wget.h (DO_REALLOC_FROM_ALLOCA): Use braces to disambiguate
8849         `if'.
8850
8851 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
8852
8853         * url.c (construct): Insert unneeded initialization for the
8854         compiler to shut up.
8855
8856         * config.h.in: Define _XOPEN_SOURCE to 500 to get the prototype
8857         for strptime() (*duh*).  Define _SVID_SOURCE to get S_IFLNK which
8858         otherwise gets lost when you define _XOPEN_SOURCE.
8859
8860         * utils.c (touch): Include the file name in the error message.
8861         From Debian.
8862
8863 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
8864
8865         * log.c (logvprintf): Use vsnprintf() in all cases.  If necessary,
8866         resize the buffer to fit the formated message.  That way, messages
8867         of arbitrary size may be printed.
8868         (logvprintf): Use saved_append() to optionally log the last
8869         several lines of output.
8870         (logputs): Ditto.
8871         (log_close): Adapt to new data structures.
8872         (log_dump): Ditto.
8873         (redirect_output): Print messages to stderr, not to stdout.
8874
8875         * log.c (saved_append_1): New function.  Replaces the old logging
8876         system ("log all output until 10M characters") with a new, much
8877         more reasonable one ("log last screenful of text").
8878         (saved_append): New function; call saved_append_1.
8879         (free_log_line): New function.
8880
8881 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
8882
8883         * url.c (construct): Fix comment.
8884         (find_last_char): Document.
8885
8886 2000-11-04  Hrvoje Niksic  <hniksic@arsdigita.com>
8887
8888         * snprintf.c: New file.
8889
8890 2000-11-03  Hrvoje Niksic  <hniksic@arsdigita.com>
8891
8892         * wget.h: If HAVE_STDARG_H is not defined, don't declare argument
8893         types to logprintf() and debug_logprintf().
8894
8895 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
8896
8897         * ftp.c (ftp_loop_internal): Hide the password from the URL when
8898         printing non-verbose.  Problem spotted by Dariusz Mlynarczyk
8899         <darekm@bydg.lomac.com.pl>.
8900
8901 2000-11-02  Junio Hamano  <junio@twinsun.com>
8902
8903         * ftp-basic.c (ftp_login): Make comparison case-insensitive.
8904
8905 2000-11-02  Tyler Riddle  <triddle@liquidmarket.com>
8906
8907         * http.c (known_authentication_scheme_p): Recognize NTML
8908         authentication.
8909         (create_authorization_line): Treat NTML the same as `Basic'.
8910
8911 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
8912
8913         * retr.c (retrieve_url): Free url before returning.
8914         (retrieve_url): Free mynewloc before returning.
8915         Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
8916
8917 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
8918
8919         * url.c (parseurl): Remove possible reading past the end of
8920         sup_protos[].  Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
8921
8922 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
8923
8924         * main.c (main): In case of opt.downloaded overflowing, print
8925         <overflow> instead of a totally bogus random value.
8926
8927         * retr.c (retrieve_from_file): Ditto.
8928
8929         * recur.c (recursive_retrieve): Ditto.
8930
8931         * main.c (main): Ditto.
8932
8933         * http.c (http_loop): Ditto.
8934
8935         * ftp.c (ftp_loop_internal): Use downloaded_increase() instead of
8936         `+=', and downloaded_exceeds_quota() instead of the simple-minded
8937         check.
8938         (ftp_retrieve_list): Ditto.
8939         (ftp_retrieve_dirs): Ditto.
8940         (ftp_retrieve_glob): Ditto.
8941
8942         * retr.c (downloaded_increase): New function.  Notice overflows of
8943         opt.downloaded.
8944         (downloaded_exceeds_quota): Make sure that opt.downloaded is not
8945         used if it overflowed.
8946
8947         * options.h (struct options): New member downloaded_overflow.
8948
8949 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
8950
8951         * wget.h (enum): Remove extra space after last enumeration.
8952
8953 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
8954
8955         * main.c (main): Use legible_very_long() for printing
8956         opt.downloaded.
8957
8958         * utils.c (legible_1): New function that operates on strings and
8959         does the brunt of legible()'s work.
8960         (legible): Use legible_1().
8961         (legible_very_long): New function; dump the argument with
8962         sprintf(), and call legible_1().
8963
8964         * options.h (struct options): Use VERY_LONG_TYPE for
8965         opt.downloaded.
8966
8967         * sysdep.h (VERY_LONG_TYPE): Define it to have a 64-bit or greater
8968         type.
8969
8970         * config.h.in: Make sure that SIZEOF_LONG and SIZEOF_LONG_LONG get
8971         defined.  Define HAVE_LONG_LONG if long long is available.
8972
8973 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
8974
8975         * utils.c (long_to_string): Update with a later, better version.
8976
8977 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
8978
8979         * url.c (path_simplify_with_kludge): New function.
8980         (path_simplify_with_kludge): Disable it.  Instead...
8981         (parse_dir): ...make sure that at this point the right thing is
8982         done, i.e. that "query" part of the URL (?...) is always assigned
8983         to the file, never to the directory portion of the path.
8984
8985 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
8986
8987         * retr.c (retrieve_url): Detect redirection cycles.
8988
8989 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
8990
8991         * url.c (get_urls_html): Decode HTML entities using
8992         html_decode_entities.
8993
8994         * html.c (htmlfindurl): Don't count the `#' in numeric entities
8995         (&#NNN;) as an HTML fragemnt.
8996         (html_decode_entities): New function.
8997
8998 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
8999
9000         * html.c (htmlfindurl): Fix recognition of # HTML fragments.
9001
9002 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
9003
9004         * url.c (construct): Rewritten for clarity.  Avoids the
9005         unnecessary copying and stack-allocation the old version
9006         performed.
9007
9008 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
9009
9010         * ftp.c (getftp): Ditto.
9011
9012         * http.c (gethttp): Rewind the stream when retrying from scratch.
9013
9014 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
9015
9016         * retr.c (retrieve_url): Use url_concat() to handle relative
9017         redirections instead of /ad hoc/ code.
9018
9019         * url.c (url_concat): New function encapsulating weird
9020         construct().
9021         (urllen_http_hack): New function.
9022         (construct): When constructing new URLs, recognize that `?' does
9023         not form part of the file name in HTTP.
9024
9025 2000-10-13  Adrian Aichner  <adrian@xemacs.org>
9026
9027         * retr.c: Add msec timing support for WINDOWS.
9028         * retr.c (reset_timer): GetSystemTime() on WINDOWS.
9029         * retr.c (elapsed_time): Calculate delta time to msec on WINDOWS.
9030
9031 2000-10-27  Dan Harkless  <wget@harkless.org>
9032
9033         * retr.c (retrieve_url): Manually applied T. Bharath
9034         <TBharath@responsenetworks.com>'s patch to get wget to grok
9035         illegal relative URL redirects.  Reformatted and re-commented it.
9036
9037 2000-10-23  Dan Harkless  <wget@harkless.org>
9038
9039         * connect.c (make_connection and bindport): Manually applied Rob
9040         Mayoff <mayoff@dqd.com>'s 1.5.3 patch to add --bind-address,
9041         changing coding style to GNU's.
9042
9043         * ftp.c (ftp_loop_internal): --delete-after wasn't implemented for
9044         files downloaded via FTP.  Per a comment, .listing files were not
9045         counted towards number of bytes and files downloaded because they're
9046         deleted anyway.  Well, they aren't under -nr, so count them then.
9047
9048         * init.c: Manually applied Rob Mayoff's 1.5.3 patch to add
9049         --bind-address, alphabetizing, changing coding style to GNU's,
9050         commenting, and renaming cmd_ip_address() to cmd_address() to
9051         imply hostnames also okay.
9052
9053         * main.c (main): --delete-after didn't delete the root of the
9054         tree.  Ignore --convert-links if --delete-after was specified.
9055         Manually applied Rob Mayoff's 1.5.3 patch to add --bind-address,
9056         fixing duplicate use of added-since-1.5.3 case value.
9057         (print_help): Clarified that --delete-after deletes local files.
9058         Rob forgot to add a line for his new --bind-address option.
9059
9060         * options.h (struct options): Manually applied Rob Mayoff's patch
9061         to add --bind-address (bind_address structure member).
9062
9063         * recur.c (recursive_retrieve): Improved comment; added DEBUGP().
9064         Ignore --convert-links if --delete-after was specified.
9065
9066         * retr.c (retrieve_from_file): Just added a DEBUGP().
9067
9068 2000-10-19  Dan Harkless  <wget@harkless.org>
9069
9070         * ftp.c (ftp_loop_internal): downloaded_file() enumerators changed.
9071         (getftp): Applied Piotr Sulecki <Piotr.Sulecki@ios.krakow.pl>'s
9072         patch to work around FTP servers that incorrectly respond to the
9073         "REST" command with the remaining size rather than the total file size.
9074
9075         * http.c (gethttp): Improved a comment and added code to tack on
9076         ".html" to text/html files without that extension when -E specified.
9077         (http_loop): Use new downloaded_file() enumerators and deal with
9078         the case of gethttp() called xrealloc() on u->local.
9079
9080         * init.c (commands): Added new "htmlextension" command.
9081         Also renamed John Daily's cmd_quad() to the more descriptive
9082         cmd_lockable_boolean(), alpha-sorted the CMD_DECLARE()s and
9083         removed duplicate cmd_boolean() declaration.
9084
9085         * main.c (print_help): Added my new -E / --html-extension option.
9086         (main): Undocumented --email-address option previously used -E synonym.
9087         Stole it away for the much more deserving --html-extension's use.
9088
9089         * options.h (struct options): Added html_extension field.
9090
9091         * url.c (convert_links): URL X that we saved as X.html locally due
9092         to -E needs to be backed up as X.orig, not X.html.orig.  Added comments.
9093         (downloaded_file): Now remembers if we added .html extension to a file.
9094
9095         * url.h (downloaded_file_t): Added extra enumerators to support above.
9096         (downloaded_file): Now takes and returns a downloaded_file_t.
9097
9098         * wget.h (unnamed "dt" enum): Added ADDED_HTML_EXTENSION enumerator.
9099
9100 2000-10-09  Dan Harkless  <wget@harkless.org>
9101
9102         * html.c (htmlfindurl): Added unneeded initialization to quiet warning.
9103
9104         * main.c (print_help): Clarified what --retr-symlinks does.
9105
9106 2000-09-15  John Daily  <jdaily@cyberdude.com>
9107
9108         * init.c: Add support for "always" and "never" values to allow
9109         .wgetrc to override commandline (useful e.g. with .pm files
9110         calling `wget --passive-ftp' when your firewall doesn't allow that).
9111
9112         * ftp.c (getftp): passive_ftp is first option to support always/never.
9113
9114 2000-08-30  Dan Harkless  <wget@harkless.org>
9115
9116         * ftp.c (ftp_retrieve_list): Use new INFINITE_RECURSION #define.
9117
9118         * html.c: htmlfindurl() now takes final `dash_p_leaf_HTML' parameter.
9119         Wrapped some > 80-column lines.  When -p is specified and we're at a
9120         leaf node, do not traverse <A>, <AREA>, or <LINK> tags other than
9121         <LINK REL="stylesheet">.
9122
9123         * html.h (htmlfindurl): Now takes final `dash_p_leaf_HTML' parameter.
9124
9125         * init.c: Added new -p / --page-requisites / page_requisites option.
9126
9127         * main.c (print_help): Clarified that -l inf and -l 0 both allow
9128         infinite recursion.  Changed the unhelpful --mirrior description
9129         to simply give the options it's equivalent to.  Added new -p option.
9130         (main): Added some comments; handle new -p / --page-requisites.
9131
9132         * options.h (struct options): Added new page_requisites field.
9133
9134         * recur.c: Changed "URL-s" to "URLs" and "HTML-s" to "HTMLs".
9135         Calculate and pass down new `dash_p_leaf_HTML' parameter to
9136         get_urls_html().  Use new INFINITE_RECURSION #define.
9137
9138         * retr.c: Changed "URL-s" to "URLs".  get_urls_html() now takes
9139         final `dash_p_leaf_HTML' parameter.
9140
9141         * url.c: get_urls_html() and htmlfindurl() now take final
9142         `dash_p_leaf_HTML' parameter.
9143
9144         * url.h (get_urls_html): Now takes final `dash_p_leaf_HTML' parameter.
9145
9146         * wget.h: Added some comments and new INFINITE_RECURSION #define.
9147
9148 2000-08-23  Dan Harkless  <wget@harkless.org>
9149
9150         * main.c (print_help): -B / --base was not mentioned.
9151
9152 2000-08-22  Dan Harkless  <wget@harkless.org>
9153
9154         * main.c (print_help): Modified -nc description to mention that it
9155         also prevents the creation of multiple versions of the same file
9156         with ".<number>" suffixes.
9157
9158 2000-07-14  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
9159
9160         * retr.c (retrieve_url): Consistently strdup opt.referer when
9161         setting u->referer.
9162
9163 2000-06-09  Dan Harkless  <wget@harkless.org>
9164
9165         * main.c (print_help): --help output for --waitretry was over 80 cols.
9166
9167 2000-06-09  Hrvoje Niksic  <hniksic@iskon.hr>
9168
9169         * url.c (encode_string): Fix comment.
9170         Suggested by Herold Heiko <Heiko.Herold@previnet.it>.
9171
9172 2000-06-01  Const Kaplinsky  <const@ce.cctpu.edu.ru>
9173
9174         * ftp.c (ftp_retrieve_list): Change permissions only on plain
9175         files.
9176
9177 2000-06-01  Hrvoje Niksic  <hniksic@iskon.hr>
9178
9179         * url.c (str_url): Print the port number only if it's different
9180         from the default port number for that protocol.
9181
9182 2000-05-22  Dan Harkless  <wget@harkless.org>
9183
9184         * main.c (print_help): Added --help line for Damir Dzeko
9185         <ddzeko@zesoi.fer.hr>'s until-now-undocumented --referer option.
9186         Removed comments that --referer and --waitretry were undocumented.
9187         Changed "`.wgetrc' command" to "`.wgetrc'-style command" on --help
9188         line for --execute.
9189
9190 2000-05-18  Hrvoje Niksic  <hniksic@iskon.hr>
9191
9192         * ftp.c (getftp): Ditto.
9193
9194         * http.c (gethttp): Check for return value of fclose/fflush.
9195
9196 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
9197
9198         * host.c (store_hostaddress): Instead of shifting ADDR, start
9199         copying from the correct address.
9200
9201 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
9202
9203         * http.c (gethttp): Don't free REQUEST -- it was allocated with
9204         alloca().
9205         Pointed out by Gisle Vanem <gvanem@eunet.no>.
9206
9207 2000-04-04  Dan Harkless  <wget@harkless.org>
9208
9209         * host.c (store_hostaddress): R. K. Owen's patch introduces a
9210         "left shift count >= width of type" warning on 32-bit
9211         architectures.  Got rid of it by tricking the compiler w/ a variable.
9212
9213         * url.c (UNSAFE_CHAR): The macro didn't include all the illegal
9214         characters per RFC1738, namely everything above '~'.  It also
9215         generated a warning on OSes where char =~ unsigned char.  Fixed.
9216
9217 1998-10-17  Hrvoje Niksic  <hniksic@srce.hr>
9218
9219         * http.c (http_process_type): Removed needless strdup(), a memory
9220         leak.
9221
9222 1998-09-25  Hrvoje Niksic  <hniksic@srce.hr>
9223
9224         * html.c (htmlfindurl): Set PH to the first occurrence of `#'.
9225
9226 1998-09-25  Simon Munton  <simonm@m4data.co.uk>
9227
9228         * init.c (wgetrc_file_name): Don't free HOME under Windows.
9229
9230 1998-12-01  "R. K. Owen"  <rkowen@Nersc.GOV>
9231
9232         * host.c (store_hostaddress): Fix for big endian 64-bit machines.
9233
9234 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
9235
9236         * url.c (UNSAFE_CHAR): New macro.
9237         (contains_unsafe): Use it.
9238         (encode_string): Ditto.
9239
9240 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
9241
9242         * main.c (i18n_initialize): Use LC_MESSAGES only if available.
9243
9244 2000-03-31  Hrvoje Niksic  <hniksic@srce.hr>
9245
9246         * Use TOUPPER/TOLOWER.
9247
9248 1998-12-22  Alexander V. Lukyanov  <lav@yars.free.net>
9249
9250         * ftp-opie.c (btoe): Zero-terminate OSTORE.
9251
9252 2000-03-21  Hrvoje Niksic  <hniksic@iskon.hr>
9253
9254         * wget.h (DO_REALLOC_FROM_ALLOCA): Ditto.
9255
9256         * sysdep.h (ISALNUM): New macro.
9257         (TOLOWER): Ditto.
9258         (TOUPPER): Ditto.
9259
9260 2000-03-10  Dan Harkless  <wget@harkless.org>
9261
9262         * html.c (idmatch): Implemented checking of my new --follow-tags
9263         and --ignore-tags options.
9264
9265         * init.c (commands): Added comment reminding people adding new
9266         entries doing allocation to add corresponding freeing in cleanup().
9267         (commands): Added new followtags and ignoretags commands.
9268         (cleanup): Free storage for new followtags and ignoretags.
9269
9270         * main.c: Use of "comma-separated list" was random -- normalized
9271         it.  Did some alphabetization.  Added comments pointing out
9272         "Options without arguments" and "Options accepting an argument"
9273         sections of long_options[].  Added new options --follow-tags and
9274         -G / --ignore-tags.  Added comment that Damir's --referer is
9275         currently undocumented.  Added comment that Heiko's --waitretry is
9276         partially undocumented (mentioned in --help but not in
9277         wget.texi).  Moved improperly sorted 24, 129, and 'G' cases.
9278
9279         * options.h (struct options): Added new fields follow_tags and
9280         ignore_tags.
9281
9282         * wget.h: Added "#define EQ 0" so we can say "strcmp(a, b) == EQ".
9283
9284 2000-03-02  Dan Harkless  <wget@harkless.org>
9285
9286         * ftp.c (ftp_loop_internal): Heiko introduced "suggest explicit
9287         braces to avoid ambiguous `else'" warnings.  Eliminated them.
9288
9289         * http.c (gethttp): Dan Berger's query string patch is totally
9290         bogus.  If you have two different URLs, gen_page.cgi?page1 and
9291         get_page.cgi?page2, they'll both be saved as get_page.cgi and the
9292         second will overwrite the first.  Also, parameters to implicit
9293         CGIs, like "http://www.host.com/db/?2000-03-02" cause the URLs to
9294         be printed with trailing garbage characters, and could seg fault.
9295         Backing out the patch, which Dan B. informed me by email was just
9296         a kludge to download StarOffice from Sun made necessary due to
9297         wget's unconditional escaping of certain characters (room for an
9298         option there?).
9299         (http_loop): Heiko introduced "suggest explicit braces to avoid
9300         ambiguous `else'" warnings.  Eliminated them.
9301
9302         * main.c: Heiko's --wait / --waitretry backwards compatibility
9303         code looks to have been totally untested -- automatic variable
9304         'wr' was used without being initialized, and a long int was passed
9305         into setval()'s char* val parameter.
9306
9307         * recur.c (parse_robots): Applied Edward J. Sabol
9308         <sabol@alderaan.gsfc.nasa.gov>'s patch for Guan Yang's reported
9309         problem with "User-agent:<space>*<space>" lines in robots.txt.
9310
9311         * url.c (parseurl, str_url): Removing Dan Berger's code (see
9312         http.c above for explanation).
9313
9314 1999-08-25  Heiko Herold  <Heiko.Herold@previnet.it>
9315
9316         * ftp.c: Respect new option waitretry.
9317
9318 2000-01-30  Damir Dzeko  <ddzeko@zesoi.fer.hr>
9319
9320         * http.c (gethttp): Send custom Referer, if required.
9321
9322 1999-09-24  Charles G Waldman  <cgw@fnal.gov>
9323
9324         * netrc.c (parse_netrc): Allow passwords to contain spaces.
9325
9326         * netrc.c (parse_netrc): New function.
9327
9328 1999-09-17  Dan Berger  <dberger@ix.netcom.com>
9329
9330         * http.c (gethttp): Send it.
9331
9332         * url.c (parseurl): Detect query string in HTTP URL-s.
9333         (str_url): Print it.
9334
9335 2000-03-02  HIROSE Masaaki  <hirose31@t3.rim.or.jp>
9336
9337         * html.c (html_allow): Add <link href=...> and <script src=...>.
9338
9339 1999-05-02  andrew deryabin  <djsf@softhome.net>
9340
9341         * http.c (gethttp): Specify port in `Host' header only if it's
9342         different from 80.
9343
9344 1998-11-03  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
9345
9346         * recur.c (recursive_retrieve): If a finite maximum depth is
9347         specified, and we're are already at that depth, don't download the
9348         HTML file for parsing.
9349
9350 2000-03-01  Dan Harkless  <wget@harkless.org>
9351
9352         * ftp.c (ftp_loop_internal): Call new downloaded_file() function,
9353         even though we don't do conversion on HTML files retrieved via
9354         FTP, so _current_ usage of downloaded_file() makes this call unneeded.
9355         (ftp_retrieve_list): Added a comment saying where we need to
9356         stat() a .orig file if FTP'd HTML file conversion is ever implemented.
9357         (ftp_retrieve_list): "Local file '%s' is more recent," is sometimes
9358         a lie -- reworded as "Server file no newer than local file '%s' --".
9359
9360         * http.c (http_loop): Fixed a typo and clarified a comment.
9361         (http_loop): When -K and -N are specified together, compare size
9362         and timestamp of server file X against local file X.orig (if
9363         extant) rather than converted local file X.
9364         (http_loop): "Local file '%s' is more recent," is sometimes a lie
9365         -- reworded as "Server file no newer than local file '%s' --".
9366         (http_loop): Call new downloaded_file() function to prevent
9367         wrongful overwriting of .orig file when -N is specified.
9368
9369         * url.c (convert_links): When -K specified, only rename X to
9370         X.orig if downloaded_file() returns TRUE.  Otherwise when we skip
9371         file X due to -N, we clobber an X.orig from a previous invocation.
9372         (convert_links): Call the failsafe xstrdup(), not the real strdup().
9373         (convert_links): Added a note asking anyone who understands how
9374         multiple URLs can correspond to a single file to comment it.
9375         (downloaded_file): Added this new function.
9376
9377         * url.h (downloaded_file): Added prototype for this new function
9378         as well as its downloaded_file_t enum type.
9379
9380         * wget.h (boolean): Added this new typedef and TRUE and FALSE #defines.
9381
9382 2000-02-29  Dan Harkless  <wget@harkless.org>
9383
9384         * version.c: Upped version to developer-only "1.5.3+dev".
9385
9386 2000-02-18  Dan Harkless  <wget@harkless.org>
9387
9388         * init.c (backup_converted): Added this new option.
9389
9390         * main.c (-K / --backup-converted): Added this new option.
9391
9392         * options.h (backup_converted): Added this new option.
9393
9394         * url.c (convert_links): When backup_converted is specified, save
9395         file X as X.orig before converting.
9396
9397         * url.h (urlpos): Fixed typo -- said "Rekative" instead of "Relative".
9398
9399 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
9400
9401         * version.c: Wget 1.5.3 is released.
9402
9403 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
9404
9405         * host.c (ftp_getaddress): Don't warn when reverse-lookup of local
9406         address doesn't yield FQDN.
9407
9408 1998-09-21  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
9409
9410         * cmpt.c (strerror): Fix declaration of sys_errlist.
9411
9412 1998-09-11  Hrvoje Niksic  <hniksic@srce.hr>
9413
9414         * main.c (main): Don't use an array subscript as the first
9415         argument to STRDUP_ALLOCA.
9416         From Kaveh R. Ghazi.
9417
9418 1998-09-11  Szakacsits Szabolcs  <szaka@sienet.hu>
9419
9420         * html.c (htmlfindurl): Download table background.
9421
9422 1998-09-11  Hans Grobler  <grobh@conde.ee.sun.ac.za>
9423
9424         * init.c (parse_line): Would free *com before allocating it.
9425         (parse_line): Would free com instead of *com.
9426
9427 1998-09-10  Howard Gayle  <howard@fjst.com>
9428
9429         * url.c (get_urls_html): Would drop the last character of the
9430         link.
9431
9432 1998-09-10  Hrvoje Niksic  <hniksic@srce.hr>
9433
9434         * http.c (http_loop): Don't print status code if quiet.
9435
9436 1998-09-10  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
9437
9438         * log.c: Use <stdarg.h> only when __STDC__.
9439
9440 1998-09-10  Adam D. Moss  <adam@foxbox.org>
9441
9442         * html.c (htmlfindurl): Download <layer src=...>.
9443
9444 1998-09-10  Howard Gayle  <howard@fjst.com>
9445
9446         * ftp.c (ftp_retrieve_list): Don't update the time stamp of a file
9447         not retrieved.
9448
9449 1998-06-27  Hrvoje Niksic  <hniksic@srce.hr>
9450
9451         * utils.c: Include <libc.h> on NeXT.
9452
9453 1998-06-26  Heinz Salzmann  <heinz.salzmann@intermetall.de>
9454
9455         * url.c (get_urls_html): Fix calculation of URL position.
9456
9457 1998-06-23  Hrvoje Niksic  <hniksic@srce.hr>
9458
9459         * version.c: Wget 1.5.2 is released.
9460
9461 1998-06-23  Dave Love  <d.love@dl.ac.uk>
9462
9463         * ftp.c, init.c, netrc.c: Include errno.h.
9464
9465         * http.c: Include errno.h and time header.
9466
9467         * Makefile.in (exext): Define.
9468         (install.bin, uninstall.bin): Use it.
9469
9470 1998-06-21  Hrvoje Niksic  <hniksic@srce.hr>
9471
9472         * http.c (http_loop): Don't attempt to compare local and remote
9473         sizes if the remote size is unknown.
9474
9475 1998-06-16  Hrvoje Niksic  <hniksic@srce.hr>
9476
9477         * url.c (get_urls_html): Use malloc() instead of alloca in the
9478         loop.
9479
9480 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
9481
9482         * version.c: Wget 1.5.2-b4 is released.
9483
9484 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
9485
9486         * url.c (get_urls_html): Ignore spaces before and after the URI.
9487
9488 1998-06-08  Wanderlei Antonio Cavassin  <cavassin@conectiva.com.br>
9489
9490         * ftp.c (getftp): Translate `done'.
9491
9492 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
9493
9494         * version.c: Wget 1.5.2-b3 is released.
9495
9496 1998-06-06  Alexander Kourakos  <awk@bnt.com>
9497
9498         * init.c (cleanup): Close dfp, don't free it.
9499
9500 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
9501
9502         * utils.c (make_directory): Twiddle.
9503
9504         * config.h.in: Added template for access().
9505
9506 1998-06-05  Mathieu Guillaume  <mat@cythere.com>
9507
9508         * html.c (htmlfindurl): Download <input src=...>
9509
9510 1998-06-03  Hrvoje Niksic  <hniksic@srce.hr>
9511
9512         * utils.c (file_exists_p): Use access() with two arguments.
9513
9514 1998-05-27  Martin Kraemer  <Martin.Kraemer@mch.sni.de>
9515
9516         * netrc.c (parse_netrc): Correct logic.
9517
9518 1998-05-27  Hrvoje Niksic  <hniksic@srce.hr>
9519
9520         * ftp.c (getftp): Added `break'; suggested by Lin Zhe Min
9521         <ljm@ljm.wownet.net>.
9522
9523 1998-05-24  Hrvoje Niksic  <hniksic@srce.hr>
9524
9525         * version.c: Wget 1.5.2-b2 is released.
9526
9527 1998-05-18  Juan Jose Rodriguez  <jcnsoft@jal1.telmex.net.mx>
9528
9529         * mswindows.h: Don't translate mkdir to _mkdir under Borland.
9530
9531 1998-05-17  Hrvoje Niksic  <hniksic@srce.hr>
9532
9533         * retr.c (elapsed_time): Return correct value when
9534         HAVE_GETTIMEOFDAY is undefined.
9535
9536 1998-05-13  Hrvoje Niksic  <hniksic@srce.hr>
9537
9538         * version.c: Wget 1.5.2-b1 is released.
9539
9540 1998-05-08  Hrvoje Niksic  <hniksic@srce.hr>
9541
9542         * getopt.c (_getopt_internal): Use exec_name instead of argv[0].
9543         (_getopt_internal): Don't translate `#if 0'-ed strings.
9544
9545 1998-05-06  Douglas E. Wegscheid  <wegscd@whirlpool.com>
9546
9547         * mswindows.c (ws_handler): Use fork_to_background().
9548
9549 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
9550
9551         * version.c: Wget 1.5.1 is released.
9552
9553 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
9554
9555         * http.c (parse_http_status_line): Avoid `minor' and `major'
9556         names.
9557
9558 1998-05-02  Hrvoje Niksic  <hniksic@srce.hr>
9559
9560         * utils.c (mkdirhier): Renamed to make_directory.
9561
9562 1998-05-01  Hrvoje Niksic  <hniksic@srce.hr>
9563
9564         * mswindows.c (fork_to_background): Define under Windows.
9565
9566         * utils.c (fork_to_background): New function.
9567
9568         * html.c (htmlfindurl): Removed rerdundant casts.
9569
9570 1998-05-01  Douglas E. Wegscheid  <wegscd@whirlpool.com>
9571
9572         * mswindows.c (ws_mypath): Cache the path.
9573
9574 1998-04-30  Douglas E. Wegscheid  <wegscd@whirlpool.com>
9575
9576         * ftp.h: Prefix enum ftype members with FT_.
9577
9578         * ftp-ls.c, ftp.c, html.h: Adjust accordingly.
9579
9580         * mswindows.h: Use stat under Borland, _stat under MSVC.
9581
9582 1998-04-28  Hrvoje Niksic  <hniksic@srce.hr>
9583
9584         * http.c (known_authentication_scheme_p): New function.
9585         (gethttp): Handle authorization more correctly.
9586
9587         * ftp-basic.h: Removed.
9588
9589         * cmpt.h: Removed.
9590
9591         * utils.c: Include <unistd.h> before <pwd.h>; needed under SunOS
9592         with gcc 2.8.
9593         (numdigit): Use `while' loop.
9594
9595         * http.c (create_authorization_line): Detect authentication
9596         schemes case-insensitively.
9597
9598         * http.c (extract_header_attr): Use strdupdelim().
9599         (digest_authentication_encode): Move declaration of local
9600         variables to smaller scope.
9601         (digest_authentication_encode): Reset REALM, OPAQUE and NONCE.
9602         (create_authorization_line): Detect authentication schemes
9603         case-insensitively.
9604
9605         * utils.c (touch): Constify.
9606
9607         * http.c (gethttp): Report a nicer error when no data is received.
9608
9609         * rbuf.h (RBUF_READCHAR): Ditto.
9610
9611         * ftp-basic.c (ftp_response): Use sizeof.
9612
9613 1998-04-27  Hrvoje Niksic  <hniksic@srce.hr>
9614
9615         * retr.c (print_percentage): EXPECTED is long, not int.
9616         (print_percentage): Use floating-point arithmetic to avoid
9617         overflow with large files' sizes multiplied with 100.
9618
9619 1998-04-27  Gregor Hoffleit  <flight@mathi.uni-heidelberg.de>
9620
9621         * config.h.in: Added pid_t stub.
9622
9623         * sysdep.h (S_ISREG): Moved here from mswindows.h (NeXT doesn't
9624         define it).
9625
9626 1998-04-20  Hrvoje Niksic  <hniksic@srce.hr>
9627
9628         * version.c: Wget 1.5.0 is released.
9629
9630 1998-04-18  Hrvoje Niksic  <hniksic@srce.hr>
9631
9632         * url.c (str_url): Ditto.
9633
9634         * ftp-basic.c (ftp_rest): Use new name.
9635
9636         * utils.c (long_to_string): Renamed from prnum().
9637
9638 1998-04-16  Hrvoje Niksic  <hniksic@srce.hr>
9639
9640         * version.c: Wget 1.5-b17 is released.
9641
9642 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
9643
9644         * headers.c (header_get): New argument FLAGS.
9645
9646         * http.c (gethttp): If request is malformed, bail out of the
9647         header loop.
9648         (gethttp): Check for empty header *after* the status line checks.
9649         (gethttp): Disallow continuations for status line.
9650
9651 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
9652
9653         * version.c: Wget 1.5-b16 is released.
9654
9655 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
9656
9657         * init.c (commands): Renamed `always_rest' to `continue'.
9658
9659 1998-04-05  Hrvoje Niksic  <hniksic@srce.hr>
9660
9661         * all: Use it.
9662
9663         * log.c (logputs): New argument.
9664         (logvprintf): Ditto.
9665         (logprintf): Ditto.
9666
9667 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
9668
9669         * http.c (http_atotm): Update comment.
9670
9671         * main.c (i18n_initialize): Set LC_MESSAGES, not LC_ALL.
9672
9673         * wget.h: Renamed ENABLED_NLS to HAVE_NLS.
9674
9675         * main.c (i18n_initialize): New function.
9676         (main): Use it.
9677
9678         * log.c: Include <unistd.h>.
9679
9680         * retr.c (show_progress): Cast alloca to char *.
9681
9682 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
9683
9684         * version.c: Wget 1.5-b15 is released.
9685
9686 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
9687
9688         * utils.h: Declare file_non_directory_p().
9689
9690 1998-04-03  Hrvoje Niksic  <hniksic@srce.hr>
9691
9692         * main.c (main): It's `tries', not `numtries' now.
9693
9694 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
9695
9696         * init.c (getperms): Removed.
9697
9698 1998-04-01  Tim Charron  <tcharron@interlog.com>
9699
9700         * log.c (logvprintf): Don't use ARGS twice.
9701
9702 1998-04-01  John  <john@futuresguide.com>
9703
9704         * mswindows.c: Cleaned up.
9705
9706 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
9707
9708         * version.c: Wget 1.5-b14 is released.
9709
9710 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
9711
9712         * ftp-opie.c (STRLEN4): New macro.
9713         (btoe): Use it.
9714
9715 1998-04-01  Junio Hamano  <junio@twinsun.com>
9716
9717         * http.c: Document all the Digest functions.
9718
9719 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
9720
9721         * utils.c (file_non_directory_p): Renamed from isfile().
9722
9723         * mswindows.h (S_ISREG): New macro, suggested by Tim Adam.
9724
9725 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
9726
9727         * utils.c (mkdirhier): Use 0777 instead of opt.dirmode.
9728
9729         * init.c (cmd_spec_dotstyle): Use 48 dots per line for binary
9730         style.
9731         (cmd_permissions): Removed.
9732
9733         * config.h.in: Add template for WORDS_BIGENDIAN.
9734
9735 1998-03-31  Junio Hamano  <junio@twinsun.com>
9736
9737         * http.c (HEXD2asc): New macro.
9738         (dump_hash): Use it.
9739
9740 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
9741
9742         * version.c: Wget 1.5-b13 is released.
9743
9744 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
9745
9746         * main.c (main): Don't try to use `com'.
9747
9748 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
9749
9750         * init.c (cmd_permissions): New function.
9751
9752 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
9753
9754         * version.c: Wget 1.5-b12 is released.
9755
9756 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
9757
9758         * init.c (commands): Renamed `numtries' to `tries'.
9759         (cmd_spec_debug): Removed.
9760         (home_dir): Under Windows, return `C:\' if HOME is undefined.
9761
9762 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
9763
9764         * config.h.in: Define _XOPEN_SOURCE.
9765
9766         * init.c (check_user_specified_header): New function.
9767         (cmd_spec_header): Use it.
9768         (cmd_spec_useragent): New function.
9769
9770 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
9771
9772         * version.c: Wget 1.5-b11 is released.
9773
9774 1998-03-28  Hrvoje Niksic  <hniksic@srce.hr>
9775
9776         * wget.h: Include <libintl.h> only if NLS is enabled.
9777
9778 1998-03-26  Hrvoje Niksic  <hniksic@srce.hr>
9779
9780         * options.h (struct options): Made `wait' a long.
9781         (struct options): Ditto for `timeout'.
9782
9783 1998-03-19  Hrvoje Niksic  <hniksic@srce.hr>
9784
9785         * utils.c (exists): Renamed to file_exists_p.
9786         (file_exists_p): Use access() if available.
9787
9788 1998-03-17  Hrvoje Niksic  <hniksic@srce.hr>
9789
9790         * utils.c (memfatal): Set save_log_p to 0 to avoid potential
9791         infloop.
9792
9793         * log.c: do_logging -> save_log_p.
9794
9795         * config.h.in: Added template for HAVE_VSNPRINTF.
9796
9797 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
9798
9799         * init.c: Ditto.
9800
9801         * http.c: Protect declaration against non-ANSI compiler.
9802
9803         * log.c (logvprintf): Use vsnprintf() if available.
9804
9805         * getopt.c (main): Don't translate test stuff.
9806
9807 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
9808
9809         * version.c: Wget 1.5-b10 is released.
9810
9811 1998-03-11  Hrvoje Niksic  <hniksic@srce.hr>
9812
9813         * ftp.c (getftp): Don't translate "CWD %s".
9814
9815         * wget.h (GCC_FORMAT_ATTR): Renamed from FORMAT_ATTR.
9816
9817 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
9818
9819         * ftp-opie.c (btoe): Use memcpy() instead of strncat().
9820
9821         * log.c (logputs): New function.
9822         (logvprintf): Renamed from vlogmsg; use logputs().
9823
9824         * retr.c (show_progress): Print `[100%]' when the retrieval is
9825         finished.
9826
9827         * init.c (run_wgetrc): Use FILE, not PATH.
9828         (wgetrc_file_name): Ditto.
9829
9830 1998-03-07  Tim Adam  <tma@osa.com.au>
9831
9832         * recur.c (parse_robots): Correctly reset `entries' on empty
9833         disallow.
9834
9835 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
9836
9837         * init.c (cmd_spec_debug): Use cmd_boolean().
9838
9839 1998-02-23  Hrvoje Niksic  <hniksic@srce.hr>
9840
9841         * http.c (gethttp): Create proxy-authorization correctly.
9842
9843 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
9844
9845         * md5.c: Ditto.
9846
9847         * getopt.c: Use ANSI function definitions.
9848
9849         * ftp-opie.c: New file.
9850
9851         * options.h: Don't redefine EXTERN.
9852
9853         * init.c: Sort it correctly.
9854
9855 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
9856
9857         * version.c: Wget 1.5-b9 is released.
9858
9859 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
9860
9861         * recur.c (recursive_retrieve): Reset `first_time'.
9862
9863         * ftp.c (getftp): Added `default' clause to switches of uerr_t.
9864
9865         * rbuf.c (rbuf_peek): Simplified.
9866         (rbuf_flush): Use MINVAL.
9867
9868         * wget.h (MINVAL): Moved from url.h.
9869
9870         * rbuf.h (RBUF_FD): New macro.
9871
9872         * url.c (add_url): Add to the head of the list.
9873
9874         * ftp.c (ftp_retrieve_list): Set the permissions to downloaded
9875         file.
9876         (getftp): Set the default permissions to 0600.
9877
9878 1998-02-21  Hrvoje Niksic  <hniksic@srce.hr>
9879
9880         * url.c (get_urls_html): Ditto.
9881         (convert_links): Ditto.
9882
9883         * recur.c (parse_robots): Ditto.
9884
9885         * html.c (ftp_index): Ditto.
9886
9887         * ftp-ls.c (ftp_parse_unix_ls): Open file as binary.
9888
9889         * init.c (defaults): Initialize `opt' to zero via memset.
9890
9891         * http.c (digest_authentication_encode): goto considered harmful.
9892
9893 1998-02-19  Hrvoje Niksic  <hniksic@srce.hr>
9894
9895         * ftp.c (delelement): Simplify and fix leak.
9896
9897 1998-02-18  Hrvoje Niksic  <hniksic@srce.hr>
9898
9899         * http.c (dump_hash): Use HEXD2ASC instead of home-grown stuff.
9900
9901         * url.h (HEXD2ASC): Removed warning.
9902
9903         * init.c (comind): Use binary search.
9904         (commands): Reorganized.
9905         (setval): Ditto.
9906         (cmd_boolean): New function.
9907         (cmd_number): Ditto.
9908         (cmd_number_inf): Ditto.
9909         (cmd_string): Ditto.
9910         (cmd_vector): Ditto.
9911         (cmd_directory_vector): Ditto.
9912         (cmd_bytes): Ditto.
9913         (cmd_time): Ditto.
9914         (cmd_spec_debug): Ditto.
9915         (cmd_spec_dirmode): Ditto.
9916         (cmd_spec_dirstruct): Ditto.
9917         (cmd_spec_dotstyle): Ditto.
9918         (cmd_spec_header): Ditto.
9919         (cmd_spec_htmlify): Ditto.
9920         (cmd_spec_mirror): Ditto.
9921         (cmd_spec_outputdocument): Ditto.
9922         (cmd_spec_recursive): Ditto.
9923         (settime): Merged with cmd_time().
9924         (setbytes): Merged with cmd_bytes().
9925         (setonoff): Merged with cmd_boolean().
9926         (onoff): Ditto.
9927
9928 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
9929
9930         * Makefile.in (distclean): Remove `config.h'.
9931
9932 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
9933
9934         * version.c: Wget 1.5-b8 is released.
9935
9936 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
9937
9938         * http.c (digest_authentication_encode): New function.
9939         (create_authorization_line): Use it.
9940         (dump_hash): New function.
9941         (digest_authentication_encode): Use it.
9942
9943         * fnmatch.c: Renamed from `mtch.c'.
9944
9945 1998-02-15  Karl Eichwalder  <ke@suse.de>
9946
9947         * main.c (main): Tag "Written by..." string as translatable.
9948
9949 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
9950
9951         * wget.h (FREE_MAYBE): New macro.
9952
9953         * http.c (create_authorization_line): Don't use ANSI C string
9954         concatenation feature.
9955         (basic_authentication_encode): Use alloca() for temporary
9956         variables.
9957
9958         * recur.h: Ditto.
9959
9960         * http.c: Ditto.
9961
9962         * headers.h: Ditto.
9963
9964         * ftp-basic.c: Protect declaration against non-ANSI compiler.
9965
9966         * http.c (create_authorization_line): Cast `unsigned char *' to
9967         `char *' for sprintf, to shut up the noisy Digital Unix cc.
9968
9969 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
9970
9971         * version.c: Wget 1.5-b7 is released.
9972
9973 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
9974
9975         * cmpt.c (strstr): Synched with glibc-2.0.6.
9976
9977         * ftp-basic.c (calculate_skey_response): Ditto.
9978         (calculate_skey_response): Use alloca().
9979
9980         * http.c (create_authorization_line): Work with FSF's version of
9981         md5.c.
9982
9983         * md5.c: New file, from GNU libc.
9984
9985 1998-02-14  Hrvoje Niksic  <hniksic@srce.hr>
9986
9987         * url.h (URL_CLEANSE): Name the temporary variable more carefully.
9988
9989 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
9990
9991         * http.c (basic_authentication_encode): New function, instead of
9992         the macro.
9993
9994 1998-02-13  Junio Hamano  <junio@twinsun.com>
9995
9996         * http.c: Add HTTP-DA support.
9997         * ftp-basic.c: Add Opie/S-key support.
9998         * config.h.in, Makefile.in: Add HTTP-DA and Opie/S-key support.
9999         * md5.c, md5.h: New files.
10000
10001 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
10002
10003         * http.c (http_process_range): Renamed from hprocrange().
10004         (http_process_range): Parse the whole header.
10005
10006         * headers.c: New file.
10007         (header_process): New function.
10008         (header_get): Renamed from fetch_next_header.
10009
10010         * all: Include utils.h only where necessary.
10011
10012         * wget.h: Declare xmalloc(), xrealloc() and xstrdup() here.
10013
10014         * wget.h: Add provisions for dmalloc.
10015
10016 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
10017
10018         * version.c: Wget 1.5-b6 is released.
10019
10020 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
10021
10022         * ftp.c (ftp_loop): Determine `filename' more precisely.
10023
10024         * init.c (setval): Don't set `opt.quiet' if output-document is
10025         `-'.
10026
10027         * log.c (log_init): Print to STDERR instead of STDOUT.
10028         (vlogmsg): Use STDERR by default.
10029         (logflush): Ditto.
10030
10031 1998-02-11  Simon Josefsson  <jas@pdc.kth.se>
10032
10033         * host.c: Use addr_in again.
10034
10035 1998-02-08  Karl Eichwalder  <karl@suse.de>
10036
10037         * http.c (gethttp): Fixed typo.
10038
10039 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
10040
10041         * version.c: Wget 1.5-b5 is released.
10042
10043 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
10044
10045         * retr.c (show_progress): Use it.
10046
10047         * log.c (logflush): New function.
10048
10049         * wget.h: Utilize __attribute__ if on gcc.
10050
10051 1998-02-07  Hrvoje Niksic  <hniksic@srce.hr>
10052
10053         * http.c (base64_encode_line): New argument LENGTH.
10054         (BASIC_AUTHENTICATION_ENCODE): Use it.
10055         (BASIC_AUTHENTICATION_ENCODE): Take length of HEADER into account.
10056
10057         * main.c (main): Fixed fprintf() format mismatch.
10058
10059 1998-02-06  Hrvoje Niksic  <hniksic@srce.hr>
10060
10061         * version.c: Wget 1.5-b4 is released.
10062
10063 1998-02-03  Simon Josefsson  <jas@pdc.kth.se>
10064
10065         * host.c: use sockaddr_in instead of addr_in.
10066
10067 1998-02-04  Hrvoje Niksic  <hniksic@srce.hr>
10068
10069         * init.c (cleanup): Use it.
10070
10071         * recur.c (recursive_cleanup): New function.
10072
10073         * retr.c (retrieve_from_file): Ditto.
10074
10075         * main.c (main): Use it.
10076
10077         * recur.c (recursive_reset): New function.
10078
10079         * retr.c (retrieve_from_file): Ditto.
10080
10081         * main.c (main): Simplify call to recursive_retrieve().
10082
10083         * recur.c (recursive_retrieve): Removed FLAGS argument.
10084
10085         * http.c (gethttp): Changed call to iwrite().
10086
10087 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
10088
10089         * url.c (get_urls_html): Ditto.
10090         (free_urlpos): Ditto.
10091         (mkstruct): Ditto.
10092         (construct): Ditto.
10093
10094         * retr.c (retrieve_url): Move declaration of local variables to
10095         smaller scope.
10096
10097         * url.c (urlproto): Use it.
10098         (parseurl): Ditto.
10099         (str_url): Ditto.
10100         (get_urls_html): Ditto.
10101
10102         * utils.h (ARRAY_SIZE): New macro.
10103
10104         * url.c (proto): Moved from url.h.
10105
10106         * url.h (URL_CLEANSE): Reformatted.
10107         (USE_PROXY_P): Renamed from USE_PROXY.
10108
10109         * ftp-basic.c: Adjust to the new interface of iwrite().
10110
10111         * ftp-basic.c (ftp_port): Use alloca().
10112
10113 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
10114
10115         * version.c: Wget 1.5-b3 is released.
10116
10117         * host.c (ftp_getaddress): Don't print to stderr directly.
10118
10119         * init.c (setbytes): Support `g' for gigabytes.
10120         (cmdtype): New specification CTIME.
10121         (setval): Use it with settime().
10122         (commands): Use it for WAIT and TIMEOUT.
10123
10124 1998-02-02  Hrvoje Niksic  <hniksic@srce.hr>
10125
10126         * http.c (BASIC_AUTHENTICATION_ENCODE): New macro.
10127         (gethttp): Use it.
10128
10129         * utils.c (unique_name_1): Moved from url.c.
10130         (unique_name): Ditto.
10131
10132         * url.c (url_filename): Ditto.
10133
10134         * log.c (redirect_output): Changed call to unique_name().
10135
10136         * url.c (unique_name_1): Renamed from unique_name().
10137         (unique_name): Changed interface.
10138
10139         * init.c (enum cmdid): Moved from init.h.
10140         (cmdtype): Ditto.
10141         (struct cmd): Ditto.
10142
10143         * main.c (main): Use it.
10144         (main): Moved `--backups' to not have a short option.
10145
10146         * options.h (struct options): New member BACKGROUND.
10147
10148         * main.c (print_help): Rearranged.
10149         (main): New long options for -n* short options: --no-directories,
10150         --no-host-directories, --non-verbose, --no-host-lookup and
10151         --dont-remove-listing.
10152
10153 1998-02-01  Hrvoje Niksic  <hniksic@srce.hr>
10154
10155         * main.c (main): Use log_close().
10156
10157         * log.c: New variable LOGFP.
10158         (vlogmsg): Use it.
10159         (redirect_output): Don't open /dev/null; set LOGFP to stdin
10160         instead.
10161         (log_close): New function.
10162
10163         * options.h (struct options): Removed LFILE.
10164
10165         * log.c (log_enable): Removed.
10166
10167         * main.c (main): Use it.
10168
10169         * log.c (log_init): New function.
10170
10171         * url.c (get_urls_html): Removed needless assignment to BASE.
10172
10173         * host.c (add_hlist): Don't set CMP needlessly.
10174
10175         * utils.c (match_backwards): Ditto.
10176         (in_acclist): Ditto.
10177
10178         * url.c (findurl): Ditto.
10179
10180         * netrc.c (parse_netrc): Ditto.
10181
10182         * log.c (log_dump): Ditto.
10183
10184         * html.c (html_quote_string): Ditto.
10185
10186         * ftp-basic.c (ftp_request): Made static.
10187
10188         * connect.c: Made global variables static.
10189
10190         * url.c (construct): Ditto.
10191
10192         * init.c (init_path): Avoid assignment inside `if'-condition.
10193
10194         * ftp.c: Don't include in.h or winsock.h.
10195
10196         * ftp.c (ftp_loop): Use SZ.
10197
10198         * connect.c (bindport): Cast &addrlen to int *.
10199         (conaddr): Ditto.
10200
10201         * init.c (initialize): Don't use SYSTEM_WGETRC unconditionally.
10202
10203 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
10204
10205         * ftp.c (getftp): Initialize opt.ftp_pass here.
10206         (ftp_retrieve_dirs): Use alloca().
10207
10208         * init.c (defaults): Don't initialize opt.ftp_pass.
10209
10210         * sysdep.h (S_ISLNK): Declare for OS/2; ditto for lstat.
10211         From Ivan F. Martinez <ivanfm@ecodigit.com.br>.
10212
10213 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
10214
10215         * recur.c (parse_robots): Check for comments more correctly.
10216
10217         * host.c (ftp_getaddress): Use STRDUP_ALLOCA.
10218         (ftp_getaddress): Add diagnostics when reverse-lookup yields only
10219         hostname.
10220
10221 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
10222
10223         * version.c: Wget 1.5-b2 is released.
10224
10225         * netrc.c (NETRC_FILE_NAME): Moved from netrc.h.
10226
10227         * utils.c (proclist): Pass FNM_PATHNAME to fnmatch().
10228
10229         * ftp-basic.c (ftp_pasv): Avoid unnecessary casting to unsigned
10230         char.
10231
10232         * log.c: Don't attempt to hide arguments from ansi2knr.
10233
10234         * cmpt.c: Synched strptime() and mktime() with glibc-2.0.6.
10235
10236         * ansi2knr.c: Use a later version, from fileutils-3.16l alpha.
10237
10238         * ftp.c (getftp): Ditto.
10239
10240         * http.c (gethttp): Use it.
10241
10242         * retr.c (get_contents): New argument EXPECTED; pass it to
10243         show_progress().
10244         (show_progress): New argument EXPECTED; use it to display
10245         percentages.
10246
10247         * init.c (setval): Ditto.
10248
10249         * http.c (gethttp): Ditto.
10250         (http_loop): Ditto.
10251
10252         * ftp.c (getftp): Ditto.
10253         (ftp_loop_internal): Ditto.
10254
10255         * ftp-ls.c (ftp_parse_unix_ls): Use abort() instead of assert(0).
10256
10257         * sysdep.h (CLOSE): Simplify; use DEBUGP.
10258
10259         * netrc.c (search_netrc): Use alloca().
10260
10261         * init.c (defaults): Initialize no_flush.
10262
10263         * log.c (vlogmsg): Don't flush if no_flush.
10264
10265         * options.h (struct options): New variable no_flush.
10266
10267         * main.c (main): Don't play games with buffering.
10268
10269         * log.c (vlogmsg): Flush the output after every message.
10270
10271 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
10272
10273         * init.c (parse_line): Ditto.
10274
10275         * url.c (get_urls_html): Ditto.
10276
10277         * main.c (main): Don't cast to unsigned char.
10278
10279         * init.c (run_wgetrc): Don't cast to unsigned char.
10280         (parse_line): Accept char instead of unsigned char.
10281
10282         * html.c (htmlfindurl): Use char instead of unsigned char.
10283
10284         * all: Use them.
10285
10286         * sysdep.h: Add wrappers to ctype macros to make them
10287         eight-bit-clean:
10288
10289 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
10290
10291         * html.c (htmlfindurl): Download <img lowsrc=...>
10292
10293         * main.c (main): Ignore SIGPIPE.
10294
10295         * connect.c (select_fd): New argument WRITEP.
10296         (iwrite): Call select_fd().
10297
10298 1997-02-27  Fila Kolodny <fila@ibi.com>
10299
10300         * ftp.c (ftp_retrieve_list): If retrieving symlink and the proper
10301         one already exists, just skip it.
10302
10303 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
10304
10305         * http.c (gethttp): Cosmetic changes.
10306
10307         * http.c (check_end): Allow `+D...' instead of `GMT'.
10308         From Fabrizio Pollastri <pollastri@cstv.to.cnr.it>.
10309
10310         * url.c (process_ftp_type): New function.
10311         (parseurl): Use it.
10312
10313         * connect.c (iwrite): Allow writing in a few chunks.
10314         (bindport): Made SRV static, so addr can point to it.
10315         (select_fd): Removed HPUX kludge.
10316
10317         * host.c (free_hlist): Incorporated into clean_hosts().
10318
10319 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
10320
10321         * host.c (hlist): Made static.
10322         (search_address): Cosmetic change.
10323
10324 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
10325
10326         * version.c: Wget v1.5-b1 is released.
10327
10328         * http.c (hgetlen): Use sizeof() to get the header length.
10329         (hgetrange): Ditto.
10330         (hgettype): Ditto.
10331         (hgetlocation): Ditto.
10332         (hgetmodified): Ditto.
10333         (haccepts_none): Ditto.
10334
10335         * main.c (main): Updated `--version' and `--help' output, as per
10336         Francois Pinard's suggestions.
10337
10338         * main.c: Include locale.h; call setlocale(), bindtextdomain() and
10339         textdomain().
10340
10341         * config.h.in: Define stubs for I18N3.
10342
10343         * wget.h: Include libintl.h.
10344
10345 1998-01-28  Hrvoje Niksic  <hniksic@srce.hr>
10346
10347         * url.c (mkstruct): Check for opt.cut_dirs.
10348         (mkstruct): alloca()-te more, xmalloc() less.
10349
10350         * utils.c (load_file): Check for ferror().
10351
10352         * url.c (get_urls_file): Close only the files we opened.
10353         (get_urls_html): Ditto.
10354         (count_slashes): New function.
10355
10356         * http.h: Removed.
10357
10358         * http.c (gethttp): Respect username and password provided by
10359         proxy URL.
10360         (base64_encode_line): Write into an existing buffer instead of
10361         malloc-ing a new one.
10362         (struct http_stat): Moved from http.h
10363
10364         * retr.c (retrieve_url): Free SUF.
10365
10366         * all: Removed lots of unnecessary .h dependencies.
10367
10368         * html.c (global_state): Made static.
10369
10370         * utils.h (ALLOCA_ARRAY): New macro.
10371
10372         * main.c (main): New option `--cut-dirs'.
10373
10374         * url.c (construct): Use alloca() for T.
10375
10376         * utils.c (mkdirhier): Use STRDUP_ALLOCA.
10377
10378         * host.c (_host_t): Moved from host.h.
10379         (struct host): Renamed from _host_t.
10380         (store_hostaddress): Use STRDUP_ALLOCA for INET_S.
10381         (realhost): Ditto.
10382
10383         * host.h: Don't include url.h.
10384
10385         * ftp.c (LIST_FILENAME): Moved from ftp.h.
10386
10387         * init.c (DEFAULT_FTP_ACCT): Moved from ftp.h.
10388
10389         * main.c (main): Enable log if the output goes to a TTY.
10390
10391         * connect.h: Removed unused constant `BACKLOG'.
10392
10393         * config.h.in: Check for isatty().
10394
10395         * Makefile.in (LINK): Use CFLAGS when linking.
10396
10397 1998-01-27  Hrvoje Niksic  <hniksic@srce.hr>
10398
10399         * mswindows.c (ws_hangup): Use redirect_output().
10400
10401         * main.c (redirect_output_signal): New function; use
10402         redirect_output().
10403
10404         * log.c (redirect_output): New function, based on hangup(), which
10405         is deleted.
10406
10407         * log.c (vlogmsg): New function.
10408
10409         * wget.h (DEBUGP): Use debug_logmsg().
10410
10411         * main.c (hangup): Use it.
10412
10413         * log.c (log_dump): New function.
10414
10415         * utils.h (DO_REALLOC): Use `long' for various sizes.
10416
10417         * http.c (hskip_lws): Use `while', for clarity.
10418         (HTTP_DYNAMIC_LINE_BUFFER): New constant.
10419         (fetch_next_header): Use it instead of DYNAMIC_LINE_BUFFER.
10420
10421         * ftp-basic.c (FTP_DYNAMIC_LINE_BUFFER): New constant.
10422         (ftp_response): Use it instead of DYNAMIC_LINE_BUFFER.
10423
10424         * utils.c (DYNAMIC_LINE_BUFFER): Moved from utils.c.
10425         (LEGIBLE_SEPARATOR): Ditto.
10426         (FILE_BUFFER_SIZE): Ditto.
10427
10428         * retr.c (BUFFER_SIZE): Moved from retr.h.
10429
10430         * log.c: New file.
10431         (logmsg): Moved from utils.c.
10432         (debug_logmsg): New function.
10433
10434         * mswindows.h: Include it here.
10435
10436         * init.c: Ditto.
10437
10438         * utils.c: Don't include <windows.h>.
10439
10440 1998-01-25  Hrvoje Niksic  <hniksic@srce.hr>
10441
10442         * host.c (ftp_getaddress): Ditto.
10443
10444         * main.c (main): Use it.
10445
10446         * utils.h (STRDUP_ALLOCA): New macro.
10447
10448         * init.c: Prepend `wget: ' to error messages printed on stderr.
10449
10450         * utils.c (mkdirhier): Renamed from mymkdir.
10451         (touch): Renamed from my_touch.
10452         (pwd_cuserid): Renamed from my_cuserid().
10453
10454 1998-01-24  Andy Eskilsson  <andy.eskilsson@telelogic.se>
10455
10456         * utils.c (accdir): Process wildcards.
10457         (proclist): New function.
10458         (accdir): Use it to avoid code repetition.
10459
10460 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
10461
10462         * recur.c (parse_robots): Respect opt.useragent; use alloca().
10463
10464         * http.c (gethttp): Construct useragent accordingly.
10465
10466         * version.c: Changed version string to numbers-only.
10467
10468         * main.c (print_help): List all the options.
10469
10470         * mswindows.c (windows_main_junk): Initialize argv0 here.
10471
10472 1998-01-24  Karl Heuer  <kwzh@gnu.org>
10473
10474         * netrc.c (search_netrc): Initialize `l' only after processing
10475         netrc.
10476
10477         * main.c (main): Don't trap SIGHUP if it's being ignored.
10478
10479 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
10480
10481         * all: Use logmsg().
10482
10483         * utils.c (time_str): Moved from retr.c.
10484         (logmsg): New function.
10485         (logmsg_noflush): Ditto.
10486
10487         * rbuf.c: New file, moved buf_* functions here.
10488
10489         * ftp.c (ftp_expected_bytes): Moved from ftp-basic.c.
10490
10491         * ftp-basic.c (ftp_rest): Use prnum().
10492
10493         * ftp-basic.c: Ditto.
10494
10495         * ftp.c: Use the new reading functions and macros.
10496
10497         * retr.c (buf_initialize): New function.
10498         (buf_initialized_p): Ditto.
10499         (buf_uninitialize): Ditto.
10500         (buf_fd): Ditto.
10501
10502         * http.c (fetch_next_header): Use the BUF_READCHAR macro for
10503         efficiency.
10504         (gethttp): Use alloca() where appropriate.
10505
10506         * retr.c (buf_readchar): Use it.
10507         (buf_peek): Use rstreams.
10508
10509         * retr.h (BUF_READCHAR): New macro.
10510
10511         * init.c (home_dir): Rewritten for clarity.
10512         (init_path): Ditto.
10513
10514         * mswindows.c (ws_backgnd): Made static.
10515         (read_registry): Ditto.
10516         (ws_cleanup): Ditto.
10517         (ws_handler): Ditto.
10518
10519 1998-01-23  Hrvoje Niksic  <hniksic@srce.hr>
10520
10521         * alloca.c: New file.
10522
10523         * Makefile.in (ALLOCA): Define.
10524
10525         * mswindows.c (ws_help): Constify.
10526         (ws_help): Use alloca.
10527
10528         * mswindows.c: Reformat.
10529
10530         * all: Added _(...) annotations for I18N snarfing and translation.
10531
10532         * host.c (ftp_getaddress): Nuke SYSINFO.
10533         (ftp_getaddress): Don't use getdomainname().
10534         (ftp_getaddress): Use uname(), where available.
10535
10536         * http.c (gethttp): Protect a stray fprintf().
10537
10538         * init.c (settime): New function.
10539         (setval): Treat WAIT specially, allowing suffixes like `m' for
10540         minutes, etc.
10541
10542 1998-01-21  Hrvoje Niksic  <hniksic@srce.hr>
10543
10544         * url.c (get_urls_html): Use alloca() for TEMP.
10545
10546 1998-01-21  Jordan Mendelson  <jordy@wserv.com>
10547
10548         * url.c (rotate_backups): New function.
10549
10550         * http.c (gethttp): Ditto.
10551
10552         * ftp.c (getftp): Rotate backups.
10553
10554 1997-12-18  Hrvoje Niksic  <hniksic@srce.hr>
10555
10556         * all: Renamed nmalloc(), nrealloc() and nstrdup() to xmalloc(),
10557         xrealloc() and xstrdup().  Use the new functions.
10558
10559         * url.c (decode_string): Made static.
10560         (has_proto): Ditto.
10561         (parse_dir): Ditto.
10562         (parse_uname): Ditto.
10563         (mkstruct): Ditto.
10564         (construct): Ditto.
10565         (construct_relative): Ditto.
10566
10567         * retr.c (show_progress): Made static.
10568
10569         * recur.c (robots_url): Made static.
10570         (retrieve_robots): Ditto.
10571         (parse_robots): Ditto.
10572         (robots_match): Ditto.
10573
10574         * main.h: Removed.
10575
10576         * main.c (printhelp): Made static.
10577         (hangup): Ditto.
10578
10579         * init.c (comind): Made static.
10580         (defaults): Ditto.
10581         (init_path): Ditto.
10582         (run_wgetrc): Ditto.
10583         (onoff): Ditto.
10584         (setonoff): Ditto.
10585         (setnum): Ditto.
10586         (myatoi): Ditto.
10587         (getperms): Ditto.
10588         (setbytes): Ditto.
10589
10590         * http.c (fetch_next_header): Made static.
10591         (hparsestatline): Ditto.
10592         (hskip_lws): Ditto.
10593         (hgetlen): Ditto.
10594         (hgetrange): Ditto.
10595         (hgettype): Ditto.
10596         (hgetlocation): Ditto.
10597         (hgetmodified): Ditto.
10598         (haccepts_none): Ditto.
10599         (gethttp): Ditto.
10600         (base64_encode_line): Ditto.
10601         (mktime_from_utc): Ditto.
10602         (http_atotm): Ditto.
10603
10604         * html.c (idmatch): Made static.
10605
10606         * host.c (search_host): Made static.
10607         (search_address): Ditto.
10608         (free_hlist): Ditto.
10609
10610         * ftp.c (getftp): Made static.
10611         (ftp_loop_internal): Ditto.
10612         (ftp_get_listing): Ditto.
10613         (ftp_retrieve_list): Ditto.
10614         (ftp_retrieve_dirs): Ditto.
10615         (ftp_retrieve_glob): Ditto.
10616         (freefileinfo): Ditto.
10617         (delelement): Ditto.
10618
10619         * ftp-ls.c (symperms): Made static.
10620         (ftp_parse_unix_ls): Ditto.
10621
10622         * connect.c (select_fd): Made static.
10623
10624         * utils.c (xmalloc): Renamed from nmalloc.
10625         (xrealloc): Renamed from nrealloc.
10626         (xstrdup): Renamed from nstrdup.
10627
10628         * getopt.c (exchange): Use alloca.
10629
10630         * mswindows.c (mycuserid): Use strncpy.
10631
10632         * New files mswindows.c, mswindows.h, sysdep.h.  winjunk.c,
10633         systhings.h, windecl.h and winjunk.h removed.
10634
10635         * mswindows.c (sleep): New function.
10636
10637         * utils.c: Include <windows.h> under Windows.
10638
10639 1997-06-12  Darko Budor  <dbudor@zesoi.fer.hr>
10640
10641         * url.h (URL_UNSAFE): Change default under Windows.
10642
10643         * retr.c (retrieve_from_file): Respect opt.delete_after.
10644
10645         * main.c (main): Call ws_help on Windows.
10646
10647         * winjunk.c (windows_main_junk): New function.
10648
10649         * main.c (main): Junk-process argv[0].
10650
10651         * http.c (mktime_from_utc): Return -1 if mktime failed.
10652
10653         * http.c (http_loop): Ditto.
10654
10655         * ftp.c (ftp_loop_internal): Change title on Windows when using a
10656         new URL.
10657
10658         * winjunk.c (getdomainname): Lots of functions.
10659
10660 1997-06-12  Hrvoje Niksic  <hniksic@srce.hr>
10661
10662         * cmpt.c (strptime_internal): Handle years more correctly for
10663         `%y'.
10664
10665 1997-06-09  Mike Thomas <mthomas@reality.ctron.com>
10666
10667         * http.c (gethttp): Allocate enough space for
10668         `Proxy-Authorization' header.
10669
10670 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
10671
10672         * version.c: Wget/1.4.5 is released.
10673
10674 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
10675
10676         * retr.c (get_contents): Check return value of fwrite more
10677         carefully.
10678
10679 1997-03-30  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
10680
10681         * cmpt.c (strptime_internal) [case 'Y']: Always subtract 1900 from
10682         year, regardless of century.
10683
10684 1997-03-30  Hrvoje Niksic  <hniksic@srce.hr>
10685
10686         * utils.c (isfile): Use `lstat' instead of `stat'.
10687
10688 1997-03-29  Hrvoje Niksic  <hniksic@srce.hr>
10689
10690         * utils.c (numdigit): Use explicit test.
10691
10692 1997-03-21  Hrvoje Niksic  <hniksic@srce.hr>
10693
10694         * http.c (http_loop): Always use `url_filename' to get u->local.
10695
10696 1997-03-20  Hrvoje Niksic  <hniksic@srce.hr>
10697
10698         * url.c: Recognize https.
10699
10700 1997-03-13  Hrvoje Niksic  <hniksic@srce.hr>
10701
10702         * recur.c (recursive_retrieve): Lowercase just the host name.
10703
10704 1997-03-09  Hrvoje Niksic  <hniksic@srce.hr>
10705
10706         * url.c (get_urls_file): Use the correct test.
10707         (get_urls_html): Ditto.
10708
10709 1997-03-07  Hrvoje Niksic  <hniksic@srce.hr>
10710
10711         * connect.c: Reverted addrlen to int.
10712
10713         * init.c (parse_line): Check for -1 instead of NONE.
10714
10715         * version.c: Changed version to 1.4.5.
10716
10717 1997-02-17  Hrvoje Niksic  <hniksic@srce.hr>
10718
10719         * init.c: New option netrc.
10720         (initialize): Don't parse .netrc.
10721
10722         * cmpt.c (recursive): Return rp.
10723         (strptime_internal): Match the long strings first, the abbreviated
10724         second.
10725
10726 1997-02-16  Hrvoje Niksic  <hniksic@srce.hr>
10727
10728         * http.c (check_end): New function.
10729         (http_atotm): Use it.
10730
10731 1997-02-13  gilles Cedoc  <gilles@cedocar.fr>
10732
10733         * http.c (gethttp): Use them.
10734
10735         * init.c: New options proxy_user and proxy_passwd.
10736
10737 1997-02-14  Hrvoje Niksic  <hniksic@srce.hr>
10738
10739         * ftp.c (ftp_retrieve_list): Create links even if not relative.
10740
10741 1997-02-10  Hrvoje Niksic  <hniksic@srce.hr>
10742
10743         * recur.c (recursive_retrieve): Lowercase the host name, if the
10744         URL is not "optimized".
10745
10746         * host.c (realhost): Return l->hostname, even if it matches with
10747         host.
10748
10749 1997-02-10  Marin Purgar  <pmc@asgard.hr>
10750
10751         * connect.c: Make addrlen size_t instead of int.
10752         (conaddr): Ditto.
10753
10754 1997-02-09  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
10755
10756         * systhings.h: Define S_ISLNK on NeXT too.
10757
10758 1997-02-09  Hrvoje Niksic  <hniksic@srce.hr>
10759
10760         * version.c: Released 1.4.3.
10761
10762         * url.c: Futher update to list of protostrings.
10763         (skip_proto): Skip `//' correctly for FTP and HTTP.
10764
10765         * url.c (get_urls_html): Handle bogus `http:' things a little
10766         different.
10767
10768         * main.c (main): Removed `follow-ftp' from `f'.
10769         (main): Dumped the `prefix-files' and `file-prefix' options and
10770         features; old and bogus.
10771         (main): Exit on failed setval() in `-e'.
10772
10773         * http.c (fetch_next_header): Use it to detect header continuation
10774         correctly.
10775
10776         * retr.c (buf_peek): New function.
10777
10778 1997-02-08  Hrvoje Niksic  <hniksic@srce.hr>
10779
10780         * wget.h: Include time.h and stuff.
10781
10782 1997-02-08  Roger Beeman  <beeman@cisco.com>
10783
10784         * ftp.c: Include <time.h>
10785
10786 1997-02-07  Hrvoje Niksic  <hniksic@srce.hr>
10787
10788         * url.c (findurl): Would read over buffer limits.
10789
10790 1997-02-06  Hrvoje Niksic  <hniksic@srce.hr>
10791
10792         * ftp-ls.c (ftp_parse_unix_ls): Allow spaces in file names.
10793
10794 1997-02-05  Hrvoje Niksic  <hniksic@srce.hr>
10795
10796         * http.c (http_atotm): Initialize tm.is_dst.
10797
10798 1997-02-02  Hrvoje Niksic  <hniksic@srce.hr>
10799
10800         * http.c (gethttp): Don't print the number of retrieved headers.
10801
10802         * main.c (main): New option `--no-clobber', alias for `-nc'.
10803
10804         * url.c: Recognize `https://'.
10805
10806 1997-02-01  Hrvoje Niksic  <hniksic@srce.hr>
10807
10808         * host.c (herrmsg): Don't use h_errno.
10809
10810 1997-01-30  Hrvoje Niksic  <hniksic@srce.hr>
10811
10812         * host.c (accept_domain): Use it.
10813
10814         * main.c (main): New option `--exclude-domains'.
10815
10816         * retr.c (retrieve_url): Use it.
10817         (retrieve_url): Bail out when an URL is redirecting to itself.
10818
10819         * url.c (url_equal): New function.
10820
10821 1997-01-29  Hrvoje Niksic  <hniksic@srce.hr>
10822
10823         * connect.c: Include arpa/inet.h instead of arpa/nameser.h.
10824
10825         * http.c (mk_utc_time): New function.
10826         (http_atotm): Use it; handle time zones correctly.
10827
10828 1997-01-28  Hrvoje Niksic  <hniksic@srce.hr>
10829
10830         * http.c: Ditto.
10831
10832         * ftp-basic.c: Use it instead of WRITE.
10833
10834         * connect.c (iwrite): New function.
10835
10836 1997-01-27  Hrvoje Niksic  <hniksic@srce.hr>
10837
10838         * cmpt.c (mktime): New function.
10839
10840         * netrc.c: Include <sys/types.h>.
10841
10842         * main.c (main): Wouldn't recognize --spider.
10843
10844         * retr.c (rate): Use `B', `KB' and `MB'.
10845         (reset_timer,elapsed_time): Moved from utils.c.
10846
10847         * ftp.c (ftp_retrieve_list): Ditto.
10848
10849         * http.c (http_loop): Don't touch the file if opt.dfp.
10850
10851 1997-01-24  Hrvoje Niksic  <hniksic@srce.hr>
10852
10853         * cmpt.c: New file.
10854
10855         * ftp.c (ftp_retrieve_glob): New argument semantics.
10856         (ftp_retrieve_dirs): Use it.
10857         (ftp_loop): Ditto.
10858
10859         * html.c (htmlfindurl): Recognize `'' as the quote char.
10860
10861 1997-01-23  Hrvoje Niksic  <hniksic@srce.hr>
10862
10863         * ftp.c (ftp_loop_internal): Use it.
10864
10865         * utils.c (remove_link): New function.
10866
10867 1997-01-22  Hrvoje Niksic  <hniksic@srce.hr>
10868
10869         * retr.c (retrieve_url): Require STRICT redirection URL.
10870
10871         * url.c (parseurl): New argument STRICT.
10872
10873         * http.c (hparsestatline): Be a little-bit less strict about
10874         status line format.
10875
10876 1997-01-21  Hrvoje Niksic  <hniksic@srce.hr>
10877
10878         * http.c (gethttp): Use it.
10879
10880         * main.c (main): Don't use '<digit>' as options.
10881
10882         * init.c: New option ignore_length.
10883
10884         * http.c (gethttp): Ditto.
10885         (http_loop): Check for redirection without Location:.
10886         (gethttp): Don't print Length unless RETROKF.
10887
10888         * ftp.c (getftp): Use it.
10889
10890         * url.c (mkalldirs): New function.
10891
10892         * utils.c (mymkdir): Don't check for existing non-directory.
10893
10894         * url.c (mkstruct): Don't create the directory.
10895
10896 1997-01-20  Hrvoje Niksic  <hniksic@srce.hr>
10897
10898         * init.c (setval): Removed NO_RECURSION checks.
10899
10900 1997-01-19  Hrvoje Niksic  <hniksic@srce.hr>
10901
10902         * version.c: "Released" 1.4.3-pre2.
10903
10904         * recur.c (recursive_retrieve): Bypass host checking only if URL
10905         is ftp AND parent URL is not ftp.
10906
10907         * ftp-basic.c (ftp_request): Print out Turtle Power.
10908
10909         * ftp.c (ftp_loop): Call ftp_retrieve_glob with 0 if there's no
10910         wildcard.
10911         (ftp_retrieve_glob): Call ftp_loop_internal even on empty list, if
10912         not glob.
10913
10914         * http.c (gethttp): Be a little bit smarter about status codes.
10915
10916         * recur.c (recursive_retrieve): Always reset opt.recursive when
10917         dealing with FTP.
10918
10919 1997-01-18  Hrvoje Niksic  <hniksic@srce.hr>
10920
10921         * retr.c (retrieve_url): New variable location_changed; use it for
10922         tests instead of mynewloc.
10923         (retrieve_url): Allow heuristic adding of html.
10924
10925         * url.c (url_filename): Don't use the `%' in Windows file names.
10926
10927         * http.c (http_loop): Always time-stamp the local file.
10928
10929         * http.c (http_loop): Ditto.
10930
10931         * ftp.c (ftp_retrieve_list): Use it.
10932
10933         * utils.c (my_touch): New function.
10934
10935         * ftp.c (ftp_retrieve_list): Use #ifdef HAVE_STRUCT_UTIMBUF
10936         instead of #ifndef NeXT.
10937
10938         * utils.c (strptime): New version, by Ulrich Drepper.
10939
10940 1997-01-17  Hrvoje Niksic  <hniksic@srce.hr>
10941
10942         * http.c (haccepts_none): Renamed from `haccepts_bytes'.
10943         (gethttp): If haccepts_none(), disable ACCEPTRANGES.
10944         (http_loop): Would remove ACCEPTRANGES.
10945
10946         * ftp.c (getftp): Call ftp_list with NULL.
10947
10948 1997-01-15  Hrvoje Niksic  <hniksic@srce.hr>
10949
10950         * html.c (ftp_index): Don't print minutes and seconds if we don't
10951         know them; beautify the output.
10952
10953         * ftp.c (getftp): Don't close the socket on FTPNSFOD.
10954
10955 1997-01-14  Hrvoje Niksic  <hniksic@srce.hr>
10956
10957         * utils.c (strptime): New function.
10958         (strptime): Don't use get_alt_number.
10959         (strptime): Don't use locale.
10960         (match_string): Made it a function.
10961
10962 1997-01-12  Hrvoje Niksic  <hniksic@srce.hr>
10963
10964         * http.c (http_atotm): New function.
10965         (http_loop): Use it.
10966
10967         * atotm.c: Removed from the distribution.
10968
10969         * http.c (base64_encode_line): Rewrite.
10970
10971 1997-01-09  Hrvoje Niksic  <hniksic@srce.hr>
10972
10973         * ftp.c (getftp): Use ftp_expected_bytes; print size.
10974
10975         * ftp-basic.c (ftp_response): Use ftp_last_respline.
10976         (ftp_expected_bytes): New function.
10977
10978         * ftp.c (getftp): Print the unauthoritative file length.
10979
10980         * ftp-ls.c: Renamed from ftp-unix.c.
10981         (ftp_parse_ls): Moved from ftp.c.
10982         (ftp_parse_unix_ls): Recognize seconds in time spec.
10983         (ftp_parse_unix_ls): Recognize year-less dates of the previous
10984         year.
10985
10986 1997-01-08  Hrvoje Niksic  <hniksic@srce.hr>
10987
10988         * ftp-basic.c: Don't declare errno if #defined.
10989
10990         * host.c (ftp_getaddress): Check for sysinfo legally.
10991
10992 1997-01-08  Darko Budor  <dbudor@diana.zems.fer.hr>
10993
10994         * connect.c (iread): Use READ.
10995
10996 1996-12-23  Hrvoje Niksic  <hniksic@srce.hr>
10997
10998         * url.c: Recognize finger, rlogin, tn3270, mid and cid as valid
10999         schemes.
11000
11001 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
11002
11003         * host.c (ftp_getaddress): Allow `.' in hostname.
11004
11005 1996-12-26  Darko Budor <dbudor@zems.fer.hr>
11006
11007         * wget.h: READ and WRITE macros for use instead of read and write
11008         on sockets, grep READ *.c, grep WRITE *.c
11009
11010         * wsstartup.c: new file - startup for winsock
11011
11012         * wsstartup.h: new file
11013
11014         * win32decl.h: new file - fixup for <errno.h> and winsock trouble
11015
11016         * configure.bat: Configure utility for MSVC
11017
11018         * src/Makefile.ms,config.h.ms: new files for use with MSVC 4.x
11019
11020 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
11021
11022         * version.c: Released 1.4.3-pre.
11023
11024         * utils.c (prnum): Accept long.
11025         (legible): Use prnum().
11026
11027         * connect.c (make_connection): Accept port as short.
11028         (bindport): Ditto.
11029
11030         * http.c (gethttp): Use search_netrc.
11031
11032 1996-12-21  Hrvoje Niksic  <hniksic@srce.hr>
11033
11034         * ftp.c (getftp): Use search_netrc.
11035
11036         * netrc.c (free_netrc): New function.
11037
11038         * init.c (home_dir): New function.
11039
11040         * url.c (convert_links): Allow REL2ABS changes.
11041
11042 1996-12-21  Gordon Matzigkeit  <gord@gnu.ai.mit.edu>
11043
11044         * netrc.c: New file.
11045         (parse_netrc, maybe_add_to_list): New functions.
11046
11047 1996-12-17  Hrvoje Niksic  <hniksic@srce.hr>
11048
11049         * retr.c (retrieve_url): Reset opt.recursion before calling
11050         ftp_loop if it is reached through newloc.
11051
11052         * init.c (run_wgetrc): Print the wgetrc path too, when reporting
11053         error; don't use "Syntax error", since we don't know if it is
11054         really a syntax error.
11055
11056 1996-12-16  Hrvoje Niksic  <hniksic@srce.hr>
11057
11058         * utils.c (acceptable): Extract the filename part of the path.
11059
11060         * recur.c (recursive_retrieve): Call acceptable() with the right
11061         argument; would bug out on wildcards.
11062
11063         * init.c (parse_line): Likewise.
11064
11065         * html.c (htmlfindurl): Cast to char * when calling stuff.
11066
11067 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
11068
11069         * ftp.c (getftp): Use ftp_pasv.
11070
11071         * ftp-basic.c (ftp_request): Accept NULL value.
11072         (ftp_pasv): New function.
11073
11074         * options.h (struct options): Add passive FTP option.
11075
11076 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
11077
11078         * url.c (parseurl): Debug output.
11079
11080         * utils.c (path_simplify): New one, adapted from bash's
11081         canonicalize_pathname().
11082
11083 1996-12-14  Hrvoje Niksic  <hniksic@srce.hr>
11084
11085         * ftp.c (getftp): Don't discard the buffer.
11086
11087         * retr.c (get_contents): New parameter nobuf.
11088
11089 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
11090
11091         * html.c (htmlfindurl): Recognize <meta contents="d; URL=...".
11092
11093         * init.c (setval): Strip the trailing slashes on CVECDIR.
11094
11095 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
11096
11097         * init.c: Make excludes and includes under CVECDIR instead of
11098         CVEC.
11099
11100 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
11101
11102         * url.c (get_urls_html): Skip "http:".
11103
11104 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
11105
11106         * utils.c (strcasecmp): From glibc.
11107         (strncasecmp): Also.
11108         (strstr): Also.
11109
11110         * url.c: Added javascript: to the list of URLs prefixes.
11111
11112 1996-12-12  Shawn McHorse  <riffraff@txdirect.net>
11113
11114         * recur.c (retrieve_robots): Print the warning message only if
11115         verbose.
11116
11117 1996-12-12  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
11118
11119         * ftp.c (ftp_retrieve_list): Use NeXT old utime interface.
11120
11121 1996-12-12  Hrvoje Niksic  <hniksic@srce.hr>
11122
11123         * systhings.h: New file.
11124
11125         * ../configure.in: Check for utime.h
11126
11127         * ftp.c: Check whether we have unistd.h.
11128
11129 1996-11-27  Hrvoje Niksic  <hniksic@srce.hr>
11130
11131         * recur.c (recursive_retrieve): Send the canonical URL as referer.
11132         (recursive_retrieve): Call get_urls_html with the canonical URL.
11133
11134 1996-12-13  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
11135
11136         * (configure.in, config.h.in, src/Makefile.in, src/*.[ch]): Add
11137         ansi2knr support for compilers which don't support ANSI style
11138         function prototypes and signatures.
11139
11140         * (aclocal.m4, src/ansi2knr.c, src/ansi2knr.1): New files.
11141
11142 1996-11-26  Hrvoje Niksic  <hniksic@srce.hr>
11143
11144         * url.c: Use it; Recognize paths ending with "." and ".." as
11145         directories.
11146         (url_filename): Append .n whenever file exists and could be a
11147         directory.
11148
11149         * url.h (ISDDOT): New macro.
11150
11151         * init.c (parse_line): Use unsigned char.
11152
11153         * url.c (get_urls_html): Cast to unsigned char * when calling
11154         htmlfindurl.
11155
11156         * html.c (htmlfindurl): Use unsigned char.
11157
11158         * version.c: Changed version to 1.4.3.
11159
11160 1996-11-25  Hrvoje Niksic  <hniksic@srce.hr>
11161
11162         * version.c: Released 1.4.2.
11163
11164         * ftp.c (getftp): Simplified assertion.
11165         (ftp_loop_internal): Remove symlink before downloading.
11166         (ftp_retrieve_list): Unlink the symlink name before attempting to
11167         create a symlink!
11168
11169         * options.h (struct options): Renamed print_server_response to
11170         server_response.
11171
11172         * ftp.c (rel_constr): Removed.
11173         (ftp_retrieve_list): Don't use it.
11174         (ftp_retrieve_list): Use opt.retr_symlinks.
11175
11176 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
11177
11178         * main.c (main): New option retr_symlinks.
11179
11180         * url.c (convert_links): Print verbose message.
11181
11182 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
11183
11184         * http.c (http_loop): Reset newloc in the beginning of function;
11185         would cause FMR in retrieve_url.
11186
11187 1996-11-23  Hrvoje Niksic  <hniksic@srce.hr>
11188
11189         * recur.c (convert_all_links): Find the URL of each HTML document,
11190         and feed it to get_urls_html; would bug out.
11191         (convert_all_links): Check for l2 instead of dl; removed dl.
11192
11193         * url.c (convert_links): Don't refer to freed newname.
11194
11195         * recur.c (recursive_retrieve): Add this_url to urls_downloaded.
11196
11197         * main.c (main): Print the OS_TYPE in the debug output, too.
11198
11199         * recur.c (recursive_retrieve): Check for opt.delete_after.
11200
11201         * main.c (main): New option delete-after.
11202
11203         * init.c (setval): Cleaned up.
11204
11205 1996-11-21  Hrvoje Niksic  <hniksic@srce.hr>
11206
11207         * Makefile.in (wget): Make `wget' the default target.
11208
11209         * ftp.c (ftp_loop_internal): Move noclobber checking out of the
11210         loop.
11211         (ftp_retrieve_list): Warn about non-matching sizes.
11212
11213         * http.c (http_loop): Made -nc non-dependent on opt.recursive.
11214
11215         * init.c (setnum): Renamed from setnuminf; New argument flags.
11216         (setval): Use it.
11217
11218         * main.c (main): Sorted the options.
11219         (main): New option --wait.
11220
11221 1996-11-21  Shawn McHorse  <riffraff@txdirect.net>
11222
11223         * html.c (htmlfindurl): Reset s->in_quote after getting out of
11224         quotes.
11225
11226 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
11227
11228         * version.c: Changed version to 1.4.2.
11229
11230 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
11231
11232         * version.c: Released 1.4.1.
11233
11234         * html.c (html_quote_string): New function.
11235         (ftp_index): Use it.
11236         (htmlfindurl): A more gentle ending debug message.
11237
11238         * ftp.c (ftp_loop): Check for opt.htmlify.
11239
11240         * init.c: New command htmlify.
11241
11242         * ftp.c (getftp): Nicer error messages, with `'-encapsulated
11243         strings.
11244         (ftp_loop): Print size of index.html.
11245
11246         * init.c (setval): Implement "styles".
11247
11248         * main.c (main): New option dotstyle.
11249
11250 1996-11-19  Hrvoje Niksic  <hniksic@srce.hr>
11251
11252         * ftp.c (getftp): Close the master socket in case of errors, after
11253         bindport().
11254
11255         * connect.c (bindport): Initialize msock to -1.
11256
11257         * ftp.c (getftp): Initialize dtsock to -1.
11258
11259         * connect.c (closeport): Don't close sock if sock == -1.
11260
11261 1996-11-18  Hrvoje Niksic  <hniksic@srce.hr>
11262
11263         * init.c (setnuminf): Nuked default value -- just leave unchanged.
11264         (setval): Don't send default values.
11265         (defaults): Use DEFAULT_TIMEOUT -- aaargh.
11266
11267         * options.h (struct options): Use long for dot_bytes.
11268
11269         * init.c (setquota): Renamed to setbytes.
11270         (setval): Use setbytes on DOTBYTES.
11271
11272 1996-11-17  Hrvoje Niksic  <hniksic@srce.hr>
11273
11274         * ftp.c (getftp): Initialize con->dltime.
11275
11276         * recur.c (recursive_retrieve): Use same_host instead of
11277         try_robots; simply load robots_txt whenever the host is changed.
11278         (recursive_retrieve): Free forbidden before calling parse_robots.
11279
11280 1996-11-16  Hrvoje Niksic  <hniksic@srce.hr>
11281
11282         * retr.c (show_progress): Use them.
11283
11284         * options.h (struct options): New options dot_bytes, dots_on_line
11285         and dot_spacing.
11286
11287 1996-11-16  Mark Boyns  <boyns@sdsu.edu>
11288
11289         * recur.c (recursive_retrieve): Retrieve directories regardless of
11290         acc/rej rules; check for empty u->file.
11291
11292 1996-11-14  Hrvoje Niksic  <hniksic@srce.hr>
11293
11294         * init.c (setval): Use it.
11295
11296         * utils.c (merge_vecs): New function.
11297
11298         * init.c (setval): Reset the list-type functions when encountering
11299         "".
11300
11301 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
11302
11303         * recur.c (recursive_retrieve): Use base_url instead of this_url
11304         for no_parent.
11305
11306 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
11307
11308         * html.c (htmlfindurl): Reset s->in_quote after exiting the quote.
11309
11310 1996-11-13  Hrvoje Niksic  <hniksic@srce.hr>
11311
11312         * utils.c (sepstring): Rewrote; don't use strtok.
11313
11314         * recur.c (recursive_retrieve): Enter assorted this_url to slist
11315         when running the first time.
11316         (retrieve_robots): Warn to ignore errors when robots are loaded.
11317
11318         * utils.c (load_file): Moved from url.c.
11319
11320         * http.c: Made static variables const too in h* functions.
11321
11322         * main.c (main): Renamed --continue-ftp to --continue.
11323
11324         * recur.c (recursive_retrieve): Use it.
11325
11326         * utils.c (frontcmp): New function.
11327
11328         * url.c (accdir): New function.
11329
11330         * html.c (htmlfindurl): Recognize <area href=...>.
11331
11332         * ftp.c (ftp_retrieve_dirs): Implemented opt.includes.
11333
11334         * init.c (setval): Free the existing opt.excludes and
11335         opt.includes, if available.
11336
11337         * main.c (main): New option -I.
11338
11339 1996-11-12  Hrvoje Niksic  <hniksic@srce.hr>
11340
11341         * ftp.c (ftp_retrieve_glob): Do not weed out directories.
11342
11343         * version.c: Changed version to 1.4.1.
11344
11345 1996-11-11  Hrvoje Niksic  <hniksic@srce.hr>
11346
11347         * version.c: Released 1.4.0.
11348
11349 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
11350
11351         * main.c (main): Free com and val after parse_line.
11352         (printhelp): Reorder the listing.
11353
11354         * http.c: More robust header parsing.
11355
11356         * http.c: Allow any number of spaces, or no spaces, precede ':'.
11357         (hskip_lws): New function.
11358         (haccepts_bytes): New function.
11359         (gethttp): Use it.
11360
11361         * init.c (setval): Check header sanity.
11362         (setval): Allow resetting of headers.
11363
11364 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
11365
11366         * http.c (http_loop): Don't use has_wildcards.
11367
11368         * http.c (gethttp): Free all_headers -- would leak.
11369
11370         * recur.c (recursive_retrieve): Initialize depth to 1 instead of
11371         0 -- this fixes a long-standing bug in -rl.
11372
11373 1996-11-09  Hrvoje Niksic  <hniksic@srce.hr>
11374
11375         * ftp.c: Use -1 as "impossible" value for con->fd.
11376
11377         * url.h (URL_SEPARATOR): Don't treat `*' and `+' as separators.
11378
11379         * init.c (parse_line): Use isalpha.
11380
11381         * ftp-unix.c: Use HAVE_UNISTD_H.
11382
11383         * mtch.c (has_wildcards): Don't match \.
11384
11385         * http.c (http_loop): Warn on HTTP wildcard usage.
11386
11387 1996-11-08  Hrvoje Niksic  <hniksic@srce.hr>
11388
11389         * url.c (url_filename): Do not create numbered suffixes if
11390         opt.noclobber -- would bug out on -nc.
11391
11392 1996-11-07  Hrvoje Niksic  <hniksic@srce.hr>
11393
11394         * recur.c (parse_robots): Don't chuck out the commands without
11395         arguments (`Disallow:<empty>' didn't work).
11396         (parse_robots): Compare versions lowercase.
11397         (parse_robots): Match on base_version, not version_string!
11398         (parse_robots): Handle comments properly.
11399         (parse_robots): Match versions in a sane way.
11400
11401         * init.c: Print nicer error messages.
11402
11403         * version.c: Changed version to 1.4.0.
11404
11405 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
11406
11407         * version.c: Released 1.4.0-test2.
11408
11409         * init.c (run_wgetrc): Close fp.
11410
11411         * ftp.c (ftp_retrieve_dirs): Allocate the correct length for
11412         u->dir.
11413
11414 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
11415
11416         * init.c (setquota): Allow inf as quota specification.
11417
11418 1996-11-05  Hrvoje Niksic  <hniksic@srce.hr>
11419
11420         * ftp.c (ftp_retrieve_dirs): Return QUOTEXC if quota exceeded.
11421         (ftp_retrieve_glob): Return QUOTEXC on quota exceeded.
11422
11423         * main.c (main): Check for quota by comparison with downloaded
11424         stuff, not from status.
11425
11426         * connect.c (select_fd): Should compile on HPUX without warnings now.
11427
11428         * ftp.c (ftp_get_listing): Check whether ftp_loop_internal
11429         returned RETROK.
11430
11431 1996-11-04  Hrvoje Niksic  <hniksic@srce.hr>
11432
11433         * ftp.c (ftp_retrieve_glob): Print the pattern nicely.
11434         (getftp): Return FTPRETRINT on control connection error.
11435
11436         * html.c (htmlfindurl): Recognize <embed src=...> and
11437         <bgsound src=...>.
11438         (ftp_index): Handle username and password correctly.
11439
11440         * main.c (main): Made `-np' a synonim for --no-parent.
11441
11442 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
11443
11444         * ftp.c (ftp_loop): Check for opt.ftp_glob too before calling
11445         ftp_retrieve_glob.
11446
11447         * version.c: Changed version to 1.4.0-test2.
11448
11449 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
11450
11451         * version.c: Released 1.4.0-test1.
11452
11453         * url.c (str_url): Don't use sprintf when creating %2F-prefixed
11454         directory.
11455         (convert_links): Removed definition of make_backup.
11456
11457         * http.h: Removed definition of MAX_ERROR_LENGTH.
11458
11459         * host.c (ftp_getaddress): Check for "(none)" domains.
11460
11461         * ftp.c (ftp_retrieve_dirs): Docfix.
11462
11463         * http.c (gethttp): Use ou->referer instead of u->referer.
11464
11465         * retr.c (retrieve_url): Reset u to avoid freeing pointers twice;
11466         this was known to cause coredumps on Linux.
11467
11468         * html.c (ftp_index): Cast the argument to local_time to time_t *.
11469
11470 1996-11-01  Hrvoje Niksic  <hniksic@srce.hr>
11471
11472         * connect.c (select_fd): Use exceptfds -- once and for all.
11473
11474         * retr.c (retrieve_from_file): Free filename after
11475         recursive_retrieve.
11476         (retrieve_from_file): Send RFIRST_TIME to recursive_retrieve on
11477         first-time retrieval.
11478         (retrieve_from_file): Return uerr_t; new argument, count.
11479         (retrieve_from_file): Break on QUOTEXC.
11480
11481         * init.c (setquota): Fixed a bug that caused rejection of
11482         non-postfixed values..
11483
11484 1996-10-30  Hrvoje Niksic  <hniksic@srce.hr>
11485
11486         * version.c: Changed name to wget.
11487
11488         * connect.c (iread): Smarter use of select.
11489         (select_fd): Set errno on timeout.  If not timeout, return 1
11490         instead of 0.
11491
11492 1996-10-29  Hrvoje Niksic  <hniksic@srce.hr>
11493
11494         * ftp.c (ftp_loop_internal): Don't use con->cmd before
11495         establishing it.
11496
11497 1996-10-26  Hrvoje Niksic  <hniksic@srce.hr>
11498
11499         * http.c (gethttp): Send correct referer when using proxy.
11500         (gethttp): Use struct urlinfo ou to access the relevant data; send
11501         correct authorization in all cases.
11502
11503         * host.c (same_host): Use skip_uname to skip username and
11504         password.
11505
11506         * url.c (skip_uname): New function.
11507         (parseurl): Use it.
11508
11509         * host.c (same_host): Do not assume HTTP -- same_host should now
11510         be totally foolproof.
11511
11512         * url.c (skip_proto): New function.
11513         (parse_uname): Use it.
11514
11515         * http.c (gethttp): Create local user and passwd from what is
11516         given.
11517
11518         * url.c (parseurl): Check for HTTP username and password too.
11519
11520 1996-10-25  Hrvoje Niksic  <hniksic@srce.hr>
11521
11522         * config.h.in: Removed #define gethostbyname R...
11523
11524 1996-10-22  Hrvoje Niksic  <hniksic@srce.hr>
11525
11526         * version.c: Changed version to 1.4.0-test1.
11527
11528 1996-10-21  Hrvoje Niksic  <hniksic@srce.hr>
11529
11530         * version.c: "Released" 1.4b29.
11531
11532         * recur.c (recursive_retrieve): Check for no_parent.
11533
11534         * init.c (setval): Option update.
11535
11536         * main.c (main): New option no-parent.
11537
11538         * options.h (struct options): New variable no_parent.
11539
11540         * recur.c (recursive_retrieve): Only files are checked for
11541         opt.accepts and opt.rejects.
11542         (recursive_retrieve): Check directories for opt.excludes.
11543         (recursive_retrieve): Make the dir absolute when checking
11544         opt.excludes.
11545
11546         * html.c (htmlfindurl): Recognize <applet code=...> and <script
11547         src=...>
11548
11549 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
11550
11551         * ftp.c (getftp): Do not line-break assert entries at all.
11552         (ftp_retrieve_dirs): docfix.
11553
11554         * connect.c (select_fd): Use fd + 1 as nfds.
11555
11556         * version.c: Changed version to 1.4b29.
11557
11558 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
11559
11560         * version.c: "Released" 1.4b28.
11561
11562         * ftp.c (ftp_loop_internal): Check whether f->size == len and
11563         don't continue the loop if it is.
11564         (ftp_get_listing): Remove list_filename on unsuccesful loop.
11565
11566 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
11567
11568         * ftp.c (ftp_loop_internal): Use strcpy to initialize tmp.
11569         (getftp): Do not use multiline assert.
11570
11571         * http.c (hparsestatline): Use mjr and mnr instead of major and
11572         minor, which don't compile on Ultrix.
11573         (http_loop): Use strcpy() to initialize tmp.
11574
11575         * all: Geturl -> Fetch
11576
11577 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
11578
11579         * recur.c (parse_robots): Fixed an off-by-one bug when looking for
11580         ':'.
11581
11582         * html.c (htmlfindurl): Fixed several possible off-by-one bugs by
11583         moving `bufsize &&' to the beginning of each check in for-loops.
11584
11585         * recur.c (parse_robots): Close fp on exit.
11586
11587         * url.c (mymkdir): Check for each directory before creating.
11588
11589 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
11590
11591         * version.c: Changed version to 1.4b28.
11592
11593 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
11594
11595         * version.c: "Released" 1.4b27.
11596
11597         * init.c (parse_line): Use isspace.
11598         (parse_line): Free *com on all errors.
11599
11600         * ftp.c (ftp_loop): Change FTPOK to RETROK before exiting.
11601         (delelement): Use next instead of f->next and prev instead of
11602         f->prev.
11603         (delelement): Free the members of the deleted element.
11604
11605         * http.c (http_loop): Do not return RETROK on code != 20x.
11606
11607         * init.c (cleanup): Free opt.user_header.
11608         (cleanup): Free opt.domains.
11609
11610         * url.c (freelists): Moved to cleanup().
11611
11612         * http.c (hparsestatline): Docfix.
11613
11614         * main.c (main): Return with error status on unsuccesful
11615         retrieval.
11616
11617         * init.c (setval): Do not remove listing when mirroring.
11618
11619         * url.c (url_filename): Use opt.fileprefix.
11620
11621         * ftp.c (ftp_get_listing): Use url_filename to get filename for
11622         .listing.
11623
11624         * main.c (main): New option: -rn.
11625
11626 1996-10-15  Hrvoje Niksic  <hniksic@srce.hr>
11627
11628         * Makefile.in (RM): Added RM = rm -f.
11629
11630         * host.c (clean_hosts): New function.
11631         (free_hlist): Just free the list, no reset.
11632
11633         * version.c: Changed version to 1.4b27.
11634
11635 1996-10-13  Hrvoje Niksic  <hniksic@srce.hr>
11636
11637         * version.c: "Released" 1.4b26.
11638
11639         * retr.c (retrieve_from_file): If call get_urls_html with
11640         opt.spider to make it silent in spider mode.
11641
11642         * url.c (str_url): Use CLEANDUP instead of URL_CLEANSE.
11643
11644         * url.h (CLEANDUP): New macro.
11645
11646         * http.c (gethttp): Fixed a bug that freed location only when it
11647         was NULL.
11648
11649         * retr.c (retrieve_url): Free url if it will not be stored,
11650         i.e. newloc is NULL.
11651
11652         * html.c (htmlfindurl): Handle exiting from quotes correctly; the
11653         old version would bug out on <a href="x#a"href="y">.
11654
11655         * html.h (state_t): New member in_quote.
11656
11657         * html.c (htmlfindurl): Free s->attr at the beginning of
11658         attr-loop.
11659
11660         * recur.c (recursive_retrieve): Recognize RCLEANUP.
11661         (tried_robots): Make hosts a global variable.
11662         (recursive_retrieve): Free constr after URL host optimization.
11663         (tried_robots): Free urlinfo before exiting.
11664
11665         * utils.c (free_slist): New function.
11666
11667         * recur.c (recursive_retrieve): Use flags to add cleanup
11668         possibility.
11669
11670         * main.c (main): Free filename after recursive_retrieve.
11671
11672         * http.c (gethttp): Store successful responses too.
11673
11674 1996-10-12  Hrvoje Niksic  <hniksic@srce.hr>
11675
11676         * all: Constified the whole source.  This required some minor
11677         changes in many functions in url.c, possibly introducing bugs -- I
11678         hope not.
11679
11680         * ftp-basic.c: Removed last_respline.
11681
11682         * http.c (gethttp): Free type.
11683
11684         * host.c (same_host): Free real1 and real2.
11685
11686         * main.c (main): New option --spider.
11687
11688         * retr.c (get_contents): Don't reset errno.
11689
11690         * main.c (main): Sorted the options.
11691
11692         * connect.c (iread): Set errno to ETIMEDOUT only if it was left
11693         uninitialized by select().
11694
11695         * http.c (http_loop): Print the time when the connection is
11696         closed.
11697         (gethttp): Debug-print the HTTP request.
11698
11699 1996-10-11  Hrvoje Niksic  <hniksic@srce.hr>
11700
11701         * connect.c (iread): Do not try reading after timeout.
11702
11703         * main.c (main): Would bug out on -T.
11704
11705         * connect.c (select_fd): Do not use exceptfds.
11706         (iread): Set ETIMEDOUT on select_fd <= 0.
11707
11708         * version.c: Changed version to 1.4b26.
11709
11710 1996-10-10  Hrvoje Niksic  <hniksic@srce.hr>
11711
11712         * version.c: "Released" 1.4b25.
11713
11714         * ftp-unix.c (ftp_parse_unix_ls): Ignore lines without file name
11715         or link name.
11716
11717         * http.c (gethttp): Add errcode to struct hstat.
11718         (http_loop): Use it.
11719
11720         * url.c (no_proxy_match): Simplify using char** for no_proxy.
11721
11722         * options.h (struct options): Make opt.no_proxy a vector.
11723
11724         * utils.c (sepstring): Use !*s instead of !strlen(s).
11725
11726         * init.c (setval): Set opt.maxreclevel to 0 on --mirror.
11727         (getperms): Use ISODIGIT instead of isdigit.
11728
11729         * ftp.c (getftp): Print time.
11730
11731         * main.c (main): Use legible output of downloaded quantity.
11732
11733         * ftp.c (getftp): Use elapsed_time().
11734         (ftp_loop_internal): Use rate().
11735
11736         * http.c (http_loop): Add download ratio output; Use rate().
11737
11738         * utils.c (rate): New function.
11739
11740 1996-10-09  Hrvoje Niksic  <hniksic@srce.hr>
11741
11742         * http.c (http_loop): Use timer.
11743
11744         * ftp.c: Split to ftp-basic.c and ftp.c
11745
11746         * utils.c (reset_timer): New function.
11747         (elapsed_time): New function.
11748
11749         * retr.c (show_progress): Make bytes_in_line and offs long; should
11750         work on 16-bit machines.
11751
11752 1996-10-08  Hrvoje Niksic  <hniksic@srce.hr>
11753
11754         * url.c (in_acclist): New argument backward.
11755
11756         * ftp.c (ftp_retrieve_glob): Use acceptable() to determine whether
11757         a file should be retrieved according to suffix.
11758         (ftp_get_listing): Check the return value of unlink; Do not call
11759         ftp_retrieve_dirs if depth reached maxreclevel.
11760         (ftp_retrieve_dirs): Check whether the directory is in
11761         exclude-list.
11762
11763         * main.c (main): Print the version number at the beginning of
11764         DEBUG output.
11765         (main): Use strrchr when creating exec_name.
11766
11767         * ftp.c (ftp_retrieve_glob): Do not close control connection.
11768
11769         * version.c: Changed version to 1.4b25.
11770
11771 1996-10-07  Hrvoje Niksic  <hniksic@srce.hr>
11772
11773         * version.c: "Released" 1.4b24.
11774
11775         * Makefile.in: Rewrite.
11776
11777         * ftp.c (ftp_loop_internal): Likewise.
11778
11779         * retr.c (time_str): Check for failed time().
11780
11781         * html.c (htmlfindurl): Recognize <fig src> and <overlay src> from
11782         HTML3.0.
11783
11784         * retr.c (time_str): Return time_t *.
11785
11786         * connect.c (bindport): Close msock on unsuccesful bind.
11787         (bindport): The same for getsockname and listen.
11788
11789         * retr.c (retrieve_url): Allow any number of retries on
11790         proxy.
11791
11792         * http.c (gethttp): Do not treat errno == 0 as timeout.
11793         (http_loop): Likewise.
11794         (http_loop): Cosmetic changes.
11795
11796         * connect.c (iread): Set errno to ETIMEDOUT in case of timeout.
11797
11798         * retr.c (get_contents): Reset errno.
11799
11800         * ftp.c (getftp): Minor fixes.
11801
11802 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
11803
11804         * http.c: Do not use backups.
11805
11806         * geturl.1 (WARNING): Warn that man-page could be obsolete.
11807
11808         * getopt.c (getopt_long): Moved to getopt.c
11809
11810         * geturl.texi: Enhanced.
11811
11812         * main.c (main): Use it.
11813
11814         * recur.c (convert_all_links): New function.
11815
11816         * utils.c (add_slist): New argument flags.
11817
11818         * recur.c (recursive_retrieve): Update a list of downloaded URLs.
11819         (parse_robots): Do not chuck out empty value fields.
11820         (parse_robots): Make yourself welcome on empty Disallow.
11821
11822         * version.c: Changed version to 1.4b24.
11823
11824 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
11825
11826         * version.c: "Released" 1.4b23.
11827
11828         * ftp.c (ftp_loop_internal): Get the time after getftp.
11829
11830         * Makefile.in (install.info): New target.
11831         (install): Use it.
11832
11833         * http.c (http_loop): Fix output when doing -O.
11834
11835 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
11836
11837         * geturl.texi: New file.
11838
11839         * main.c (main): Do not print the warnings and download summary if
11840         opt.quiet is set.
11841
11842         * version.c: Changed version to 1.4b23.
11843
11844 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
11845
11846         * "Released" 1.4b22.
11847
11848         * atotm.c (atotm): Use True and False instead of TRUE and FALSE,
11849         to avoid redefinition warnings.
11850
11851         * host.c (store_hostaddress): Use memcpy() to copy the address
11852         returned by inet_addr.
11853
11854         * version.c: Changed version to 1.4b22.
11855
11856 1996-10-04  Hrvoje Niksic  <hniksic@srce.hr>
11857
11858         * version.c: "Released" 1.4b21.
11859
11860         * ftp-unix.c (ftp_parse_ls): Renamed to ftp_parse_unix_ls.
11861
11862         * ftp.c (ftp_port): Use conaddr.
11863         (getftp): Print the file length.
11864         (ftp_retrieve_list): Check the stamps of plain files only.
11865
11866         * connect.c (closeport): Do not call shutdown().
11867         (conaddr): New function.
11868
11869         * html.c (ftp_index): Made it dfp-aware.
11870
11871         * init.c (cleanup): New name of freemem. Close opt.dfp.
11872
11873         * ftp.c (getftp): Use opt.dfp if it is set.
11874
11875         * ftp-unix.c (ftp_parse_ls): Recognize time in h:mm format.
11876
11877         * ftp.c (ftp_retrieve_dirs): Fixed a bug that caused incorrect
11878         CWDs to be sent with recursive FTP retrievals.
11879
11880 1996-10-03  Hrvoje Niksic  <hniksic@srce.hr>
11881
11882         * recur.c (parse_robots): Made it more compliant with "official"
11883         specifications.
11884
11885         * http.c: New function.
11886
11887         * ftp-unix.c (ftp_parse_ls): Added better debug output.
11888
11889         * ftp.c (getftp): Print out the LIST in case of
11890         opt.print_server_response.
11891
11892         * version.c: Changed version to 1.4b21.
11893
11894 1996-10-01  Hrvoje Niksic  <hniksic@srce.hr>
11895
11896         * version.c: "Released" 1.4b20.
11897
11898         * README: Update.
11899
11900         * http.c (gethttp): Preset lengths of various headers instead of
11901         calculating them dynamically.
11902         (gethttp): Check for 206 partial contents.
11903
11904 1996-09-30  Hrvoje Niksic  <hniksic@srce.hr>
11905
11906         * configure.in: Set SYSTEM_GETURLRC to $libdir/geturlrc
11907
11908         * http.c (gethttp): Send the port number in the Host: header.
11909
11910 1996-09-29  Hrvoje Niksic  <hniksic@srce.hr>
11911
11912         * http.c (gethttp): Send host: header.
11913         (gethttp): Add the possibility of user-defined headers.
11914         (gethttp): Move decision about pragma: no-cache to http_loop,
11915         where it belongs.
11916         (gethttp): Pass a struct instead of enormous argument list.
11917         (http_loop): Use a new, fancier display format.
11918         (ftp_loop): Likewise.
11919
11920         * main.c: (hangup): Turn off buffering of the new log file.
11921
11922         * install-sh: Likewise.
11923
11924         * config.sub: Replace with the one in autoconf-2.10
11925
11926         * geturl.1: Update.
11927
11928         * init.c: New options httpuser and httppasswd.
11929
11930         * http.c: (base64_encode_line): New function.
11931         (gethttp): Send authentication.
11932
11933         * connect.c (make_connection): Use store_hostaddress.
11934
11935 1996-09-28  Hrvoje Niksic  <hniksic@srce.hr>
11936
11937         * host.c (store_hostaddress): New function.
11938
11939         * NEWS: Update.
11940
11941         * http.c (hgetrange): New function.
11942         (gethttp): Use ranges.
11943
11944         * utils.c (numdigit): Accept long instead of int.
11945
11946         * http.c (http_loop): Add restart capabilities.
11947
11948         * ftp.c (ftp_retrieve_glob): Fixed a bug that could cause matchres
11949         being used uninitialized.
11950         (ftp_retrieve_list): Similar fix.
11951
11952         * host.c (add_hlist): Fixed a bug that could cause cmp being used
11953         uninitialized.
11954
11955         * url.c (construct_relative): New function.
11956
11957         * recur.c (recursive_retrieve): Use it.
11958
11959         * retr.c (convert_links): New function.
11960
11961 1996-09-27  Hrvoje Niksic  <hniksic@srce.hr>
11962
11963         * url.c (free_urlpos): New function.
11964
11965         * recur.c (recursive_retrieve): Adapt.
11966
11967         * url.c (get_urls_html): Return a linked list instead of a vector.
11968
11969         * url.c (get_urls_file): Return a linked list instead of a vector.
11970
11971         * geturl.1: Update.
11972
11973         * http.c (gethttp): Implement it.
11974
11975         * init.c (setval): New option: SAVEHEADERS
11976
11977         * ftp.c (ftp_loop_internal): Do not set restval if listing is to
11978         be retrieved. Lack of this test caused bugs when the connection
11979         was lost during listing.
11980
11981         * retr.c (retrieve_url): Fixed a bug that caused
11982         coredumps. *newloc is now reset by default.
11983         (retrieve_url): Lift the twenty-tries limit on proxies.
11984
11985         * version.c: Changed version to 1.4b20.
11986
11987 1996-09-20  Hrvoje Niksic  <hniksic@srce.hr>
11988
11989         * version.c: "Released" 1.4b19.
11990
11991 1996-09-19  Hrvoje Niksic  <hniksic@srce.hr>
11992
11993         * ftp.c (ftp_loop_internal): Renamed from ftp_1fl_loop.
11994         (getftp): Changed prototype to accept ccon *.
11995
11996 1996-09-17  Hrvoje Niksic  <hniksic@srce.hr>
11997
11998         * ftp.c (ftp_retrieve_list): Fixed a bug that caused setting
11999         incorrect values to files pointed to by symbolic links.
12000         (ftp_1fl_loop): Do not count listings among the downloaded URL-s.
12001
12002 1996-09-16  Hrvoje Niksic  <hniksic@srce.hr>
12003
12004         * url.c (mkstruct): Do not prepend "./" in front of a pathname.
12005
12006         * main.c (main): New option: --user-agent.
12007
12008         * geturl.1: Ditto.
12009
12010         * init.h: Ditto.
12011
12012         * init.c (setval): Ditto.
12013
12014         * main.c (main): Rename "server-headers" to "server-response".
12015
12016         * ftp-unix.c (ftp_parse_ls): Check for asterisks at the end of
12017         executables in 'ls -F' listings.
12018
12019 1996-09-15  Hrvoje Niksic  <hniksic@srce.hr>
12020
12021         * url.c (parseurl): Remove realloc() and sprintf().
12022         (str_url): Get rid of sprintf().
12023
12024         * recur.c (recursive_retrieve): Enable FTP recursion through proxy
12025         servers.
12026
12027         * url.h (URL_CLEANSE): Made it else-resistant.
12028         (USE_PROXY): New macro.
12029
12030 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
12031
12032         * NEWS: Update.
12033
12034         * version.c: Changed version to 1.4b19.
12035
12036 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
12037
12038         * version.c: "Released" 1.4b18.
12039
12040         * url.c: Made it reallocate space exponentially.
12041
12042 1996-09-14  Drazen Kacar  <dave@fly.cc.fer.hr>
12043
12044         * html.c (htmlfindurl): Added <frame src> and <iframe src> among
12045         the list of stuff to fetch.
12046
12047 1996-09-13  Hrvoje Niksic  <hniksic@srce.hr>
12048
12049         * url.c (get_urls_html): Fixed a bug that caused SIGSEGV's with
12050         -Fi.
12051
12052         * html.c (htmlfindurl): Rewrite.
12053
12054         * http.c (gethttp): Use opt.proxy_cache.
12055
12056         * main.c (main): Added --cache option.
12057
12058         * ftp.c (ftp_response): Print server response if opt.print_server
12059         response is set.
12060         (getftp): Print newlines after each request if the server response
12061         is to be printed.
12062         (ftp_response): Copy the last response line to last_respline.
12063
12064         * http.c (gethttp): Add Pragma: nocache for retried
12065         proxy-retrievals.
12066
12067         * ftp.c (getftp): Use it.
12068
12069         * retr.c (buf_discard): New function.
12070
12071         * ftp.c (ftp_response): Use buf_readchar().
12072         (getftp): Flush the control connection buffer before calling
12073         get_contents().
12074
12075         * retr.c (buf_readchar): New function.
12076         (buf_flush): New function.
12077         (get_contents): Use buf_readchar() instead of read(x, x, 1).
12078         (get_contents): Use buf_flush.
12079
12080 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
12081
12082         * ftp.c: Incorporate changes to ftp_response.
12083
12084         * ftp.c (ftp_response): Allocate the server response dynamically,
12085         as in read_whole_line and fetch_next_header.
12086
12087         * utils.c (read_whole_line): Fixed a bug that prevented reading
12088         the last line if it is not \n-terminated. Also fixed a possible
12089         memory overflow.
12090
12091         * http.c (fetch_next_header): Return malloc-ed string as large as
12092         needed.
12093         (gethttp): Use new fetch_next_header.
12094
12095 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
12096
12097         * http.c (hgetlen): Compute the header length the first time only.
12098         (hgettype): Ditto.
12099         (hgetlocation): Ditto.
12100         (hgetmodified): Ditto.
12101
12102 1996-09-11  Hrvoje Niksic  <hniksic@srce.hr>
12103
12104         * sample.geturlrc: Update.
12105
12106 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
12107
12108         * http.c (http_loop): Ditto.
12109
12110         * ftp.c (getftp): Open the output file as binary.
12111
12112         * version.c: Changed version to 1.4b18.
12113
12114 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
12115
12116         * version.c: "Released" 1.4b17.
12117
12118         * ftp-unix.c (ftp_parse_ls): If unable to open file, return NULL
12119         instead of failed assertion.
12120
12121 1996-09-09  Hrvoje Niksic  <hniksic@srce.hr>
12122
12123         * ftp.c (ftp_get_listing): Add a numbered suffix to LIST_FILENAME
12124         if a file of that name already exists.
12125
12126 1996-09-05  Hrvoje Niksic  <hniksic@srce.hr>
12127
12128         * ftp.c (ftp_1fl_loop): Handler FTPPORTERR and FOPENERR correctly.
12129
12130         * config.h.in: Define gethostbyname as Rgethostbyname when using
12131         Socks.
12132
12133         * configure.in: Check for -lresolv if using Socks.
12134
12135         * version.c: Changed version to 1.4b17.
12136
12137 1996-07-15  Hrvoje Niksic  <hniksic@srce.hr>
12138
12139         * version.c: "Released" 1.4b16.
12140
12141         * http.c (gethttp): More intelligent check for first line of HTTP
12142         response.
12143         (gethttp): Would bug out on time-stamping.
12144
12145         * version.c: Changed version to 1.4b16.
12146
12147 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
12148
12149         * version.c: Released 1.4b15.
12150
12151         * http.c (http_loop): Print \n after the loop entry, not before.
12152
12153         * url.c (url_filename): Use ISDOT.
12154
12155         * url.h (ISDOT): New macro.
12156
12157         * recur.c (recursive_retrieve): Change only opt.recursive for
12158         following FTP.
12159
12160 1996-07-11  Antonio Rosella <antonio.rosella@agip.it>
12161
12162         * socks/geturl.cgi: Fixed version No.
12163
12164         * socks/download-netscape.html: Ditto.
12165
12166         * socks/download.html: Changed socks.html to download.html.
12167
12168 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
12169
12170         * url.c (url_filename): Check for opt.dirstruct instead for
12171         opt.recursive && opt.dirstruct.
12172
12173         * init.c (defaults): Ditto.
12174         (defaults): Reset dirstruct by default.
12175         (setval): Set opt.dirstruct whenever setting recursive.
12176
12177         * init.h: Removed FORCEDIRHIER.
12178
12179         * INSTALL: Added -L to socks-description.
12180
12181         * version.c: Changed version to 1.4b15.
12182
12183 1996-07-10  Hrvoje Niksic  <hniksic@srce.hr>
12184
12185         * version.c: "Released" 1.4b14.
12186
12187         * geturl.1: Update AUTHOR to include Rosella as contributor.
12188
12189         * NEWS: Update.
12190
12191         * socks/geturl.cgi: Simplified command creation, nuked <blink>.
12192
12193         * socks/geturl.cgi: Wrap nutscape extensions within if $netscape.
12194         (cal_time): Fix == to eq.
12195
12196         * socks/geturl.cgi: GPL-ized with permission of A. Rosella.
12197
12198         * geturl.1 (hostname): Moved URL CONVENTIONS to the beginning.
12199
12200         * Makefile.in: Use @VERSION@.
12201
12202         * configure.in: Check version from version.c.
12203
12204         * socks/geturl.cgi: Changed /pub/bin/perl to /usr/bin/perl.
12205
12206         * socks/download.html: Created from download-netscape.html, made
12207         HTML-2.0 compliant.
12208
12209         * recur.c (recursive_retrieve): Set opt.force_dir_hier when
12210         following FTP links from recursions.
12211
12212 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
12213
12214         * url.c (mymkdir): Fixed a bug that prevented mymkdir() to create
12215         absolute directories correctly.
12216
12217         * version.c: Changed version to 1.4b14.
12218
12219 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
12220
12221         * version.c: "Released" 1.4b13.
12222
12223         * url.c (make_backup): New function.
12224
12225         * http.c (http_loop): Make a backup copy of the local file (using
12226         rename(2)) before opening it.
12227
12228         * main.c (main): Added --backups.
12229
12230         * host.c (ftp_getaddress): Bail out on failed mycuserid().
12231         (ftp_getaddress): Check for leading dot on MY_DOMAIN.
12232         (ftp_getaddress): Check for empty, null or (null) domain.
12233
12234         * url.c (get_urls_html): If this_url is NULL, the base must have a
12235         protocol.
12236         (parseurl): Use has_proto.
12237
12238         * retr.c (retrieve_url): Warn when proxy is used with more than 20
12239         retries.
12240
12241         * url.c (mkstruct): Create the directory (calling mymkdir()) only
12242         if it is not already there.
12243         (has_proto): New function.
12244         (get_urls_html): Eliminate the remaining call to findurl -- use
12245         has_proto.
12246
12247         * geturl.1: Ditto.
12248
12249         * main.c: Change -X to -x.
12250
12251         * url.c (url_filename): Simplify creation of filename if
12252         prefix_files is set.
12253         (url_filename): Simplify everything. And I do mean *everything*.
12254         (mkstruct): Add dir_prefix before hostname.
12255         (path_simplify): Fixed a bug that caused writing outside the path
12256         string in case of "." and ".." path strings.
12257
12258 1996-07-06  Hrvoje Niksic  <hniksic@srce.hr>
12259
12260         * init.c: Added --mirror.
12261
12262         * main.c (main): Added -X to force saving of directory hierarchy.
12263
12264         * ftp.c (ftp_retrieve_list): Added recursion depth counter.
12265         (ftp_retrieve_list): Check whether quota is exceeded.
12266
12267         * url.c (get_urls_html): Skip leading blanks for absolute URIs.
12268
12269         * http.c (gethttp): Use referer if present.
12270
12271         * recur.c (recursive_retrieve): Set u->referer before calling
12272         retrieve_url.
12273
12274         * url.c (newurl): Use memset to nullify the struct members.
12275         (freeurl): Free the referer field too.
12276
12277         * url.h: Added referer to urlinfo.
12278
12279         * geturl.1: Updated the manual to document some of the new features.
12280
12281         * utils.c (numdigit): Moved from url.c.
12282
12283         * README: Rewritten.
12284
12285         * config.h.in: Add the support for socks.
12286
12287         * configure.in: Add the support for socks.
12288
12289         * url.c (url_filename): If the dir_prefix is ".", work with just
12290         the file name.
12291         (url_filename): Do not look for .n extensions if timestamping if
12292         turned on.
12293
12294         * retr.c (show_progress): Skip the over-abundant restval data, and
12295         print the rest of it with ',' instead of '.'.
12296
12297 1996-07-05  Hrvoje Niksic  <hniksic@srce.hr>
12298
12299         * retr.c (show_progress): Changed second arg. to long (as it
12300         should be).
12301         (show_progress): Moved to retr.c.
12302         (get_contents): Moved to retr.c.
12303
12304         * version.c: Change version to 1.4b13.
12305
12306 1996-07-05  Hrvoje Lacko <hlacko@fly.cc.fer.hr>
12307
12308         * url.c (in_acclist): Would return after the first suffix.
12309
12310 1996-07-04  Hrvoje Niksic  <hniksic@srce.hr>
12311
12312         * version.c: "Released" 1.4b12.
12313
12314         * url.c (path_simplify): More kludgifications.
12315         (get_urls_html): Use new parameters for htmlfindurl.
12316
12317         * html.c: Removed memorizing "parser states", since the new
12318         organization does not require them.
12319
12320         * init.c (run_geturlrc): Use read_whole_line.
12321
12322         * ftp-unix.c (ftp_parse_ls): Use read_whole_line.
12323
12324         * recur.c (parse_robots): Use read_whole_line.
12325
12326         * utils.c (read_whole_line): New function.
12327
12328         * recur.c (tried_robots): Use add_slist/in_slist, *much* cleaner.
12329
12330         * host.c (ngethostbyname): Call inet_addr just once. Yet to be
12331         tested on OSF and Ultrix.
12332         (add_hlist): New function.
12333         (free_hlist): New function.
12334         (search_host): New function.
12335         (search_address): New function.
12336         (realhost): Use search_host, search_address and add_hlist.
12337         (same_host): Replaced realloc() with strdupdelim(), made
12338         case-insensitive, fixed a memory leak.
12339
12340         * html.c (ftp_index): Fixed tm_min and tm_sec to be tm_hour and
12341         tm_min, like intended.
12342
12343         * version.c: Change user agent information to
12344         Geturl/version.
12345
12346 1996-07-03  Hrvoje Niksic  <hniksic@srce.hr>
12347
12348         * utils.c: Renamed nmalloc.c to utils.c, .h likewise.
12349
12350         * url.c (acceptable): Always accept directories.
12351
12352         * ftp-unix.c (ftp_parse_ls): Support brain-damaged "ls -F"-loving
12353         servers by stripping trailing @ from symlinks and trailing / from
12354         directories.
12355
12356         * ftp.c (ftp_loop): Debugged the "enhanced" heuristics. :-)
12357
12358         * url.c (skip_url): Use toupper instead of UCASE.
12359
12360         * host.c (sufmatch): Made it case-insensitive.
12361
12362         * url.c (match_backwards_or_pattern): Fixed i == -1 to j == -1.
12363         (match_backwards): New function, instead of
12364         match_backwards_or_pattern.
12365
12366         * recur.c (recursive_retrieve): Increased performance by
12367         introducing inl, which reduces number of calls to in_slist to only
12368         one.
12369
12370         * ftp.c (ftp_loop): Enhanced the heuristics that decides which
12371         routine to use.
12372
12373         * main.c (printhelp): Removed the warranty stuff.
12374
12375 1996-07-02  Hrvoje Niksic  <hniksic@srce.hr>
12376
12377         * url.c (add_slist): Simplify.
12378         (match_backwards_or_pattern): New function.
12379         (in_acclist): Use match_backwards_or_pattern.
12380         (matches): Remove.
12381
12382 1996-06-30  Hrvoje Niksic  <hniksic@srce.hr>
12383
12384         * ftp.c (ftp_loop): Call ftp_index on empty file names, if not
12385         recursive.
12386
12387         * html.c (ftp_index): Fixed to work. Beautified the output.
12388
12389         * ftp.c (ftp_retrieve_glob): Another argument to control whether
12390         globbing is to be used.
12391         (ftp_retrieve_list): Compare the time-stamps of local and remote
12392         files to determine whether to download.
12393
12394 1996-06-29  Hrvoje Niksic  <hniksic@srce.hr>
12395
12396         * ftp.c (rel_constr): New function.
12397
12398         * retr.c (retrieve_from_file): Check for text/html before
12399         retrieving recursively.
12400
12401         * main.c (main): Check whether the file is HTML before going into
12402         recursive HTML retrieving.
12403
12404         * ftp.c (ftp_retrieve_list): Manage directories.
12405         (ftp_retrieve_glob): Pass all the file-types to ftp_retrieve_list.
12406         (ftp_1fl_loop): Fixed a bug that caused con->com to be incorrectly
12407         initialized, causing bugchecks in getftp to fail.
12408
12409         * configure.in: Check for symlink.
12410
12411         * ftp.c (ftp_retrieve_list): Added support for symlinks.
12412
12413         * version.c: "Released" 1.4b10.
12414
12415         * atotm.c (atotm): Redeclared as time_t.
12416
12417         * init.c: New variable "timestamping".
12418
12419         * main.c (main): New option 'N'.
12420
12421         * http.c (hgetlocation): Case-insensitive match.
12422         (hgetmodified): New function.
12423         (http_loop): Implement time-stamping.
12424
12425 1996-06-28  Hrvoje Niksic  <hniksic@srce.hr>
12426
12427         * version.c: Changed version to 1.4b10
12428
12429         * atotm.c: New file, from phttpd.
12430
12431         * options.h (struct options): New parameter timestamping.
12432
12433         * version.c: 1.4b9 "released".
12434
12435         * recur.c (recursive_retrieve): Used linked list (ulist) for
12436         faster storing of URLs.
12437
12438         * url.c (get_urls_html): Removed the old kludge with comparing the
12439         outputs of htmlfindurl and findurl.
12440         (get_urls_html): Added better protocol support here.
12441         (create_hash): Removed, as well as add_hash and in_hash.
12442         (addslist): New function.
12443         (in_slist): ditto
12444
12445         * version.c: Released 1.4b8, changed version to b9.
12446
12447 1996-06-27  Hrvoje Niksic  <hniksic@srce.hr>
12448
12449         * ftp.c (freefileinfo): New function.
12450         (delelement): New function.
12451
12452         * everywhere: GPL!
12453
12454         * ftp.c (ftp_loop): Use ccon.
12455         (ftp_retrieve_glob): Likewise.
12456
12457         * ftp.h: Define ccon, to define status of control connection.
12458
12459         * ftp.c (ftp_get_listing): New function.
12460         (ftp_retrieve_more): New function.
12461         (ftp_retrieve_glob): New function.
12462
12463 1996-06-25  Hrvoje Niksic  <hniksic@srce.hr>
12464
12465         * configure.in: Removed the search for cuserid().
12466
12467         * init.c (getmode): Renamed to getperms.
12468
12469 1996-06-24  Hrvoje Niksic  <hniksic@srce.hr>
12470
12471         * version.c: New version.
12472
12473         * main.c (hangup): New function, that handles hangup. Hangup
12474         signal now causes geturl to stop writing on stdout, and to write
12475         to a log file.
12476
12477         * ftp.c (getftp): "Released" 1.4b7.
12478
12479         * html.c (htmlfindurl): Ignore everything inside <head>...</head>.
12480         (ftp_index): Use fileinfo/urlinfo.
12481
12482         * ftp-unix.c (ftp_parse_ls): New function.
12483         (symperms): New function.
12484
12485         * ftp.c (ftp_1fl_loop): New function, to handle 1-file loops.
12486
12487         * retr.c (retrieve_url): Added FTP support.
12488
12489 1996-06-23  Hrvoje Niksic  <hniksic@srce.hr>
12490
12491         * geturl.h: Removed NOTFTP2HTML enum.
12492         Added DO_LOGIN, DO_CWD and DO_LIST. LIST_ONLY is obsolete.
12493
12494         * ftp.c (getftp): Resynched with urlinfo.
12495         (getftp): Removed HMTL-ization of index.html from getftp.
12496
12497         * version.c: 1.4b6 "released".
12498
12499         * options.h (options): New struct, to keep options in.
12500
12501         * http.c (http_loop,gethttp): Synched with proxy.
12502
12503         * retr.c (retrieve_url): Implemented proxy retrieval.
12504
12505         * main.c (main): Use retrieve_from_file.
12506
12507 1996-06-22  Hrvoje Niksic  <hniksic@srce.hr>
12508
12509         * retr.c (retrieve_from_file): New function.
12510
12511         * url.c (parseurl): Modified to return URLOK if all OK. Protocol
12512         can be found in u->proto.
12513
12514         * ftp.c (ftp_response): Fixed to accept multi-line responses as
12515         per RFC 959.
12516
12517         * recr.c (recursive_retrieve): Take newloc from retrieve_url.
12518
12519         * url.c (mymkdir): Removed the file of the same name, if one
12520         exists.
12521         (isfile): New function.
12522         (mkstruct): Fixed the '/' glitches.
12523         (path_simplify): Hacked to treat something/.. correctly.
12524
12525 1996-06-21  Hrvoje Niksic  <hniksic@srce.hr>
12526
12527         * http.c (gethttp): Close the socket after error in headers.
12528         (http_loop): HEOF no longer a fatal header.
12529
12530         * loop.c (retrieve_url): When dt is NULL, do not modify it. This
12531         simplifies the syntax of calling retrieve_url.
12532
12533         * recr.c (recursive_retrieve): Modified to use get_urls_html.
12534
12535         * url.c (get_urls_file): New function.
12536         (get_urls_html): New function.
12537
12538         * recr.c (recursive_retrieve): Patched up to conform to the
12539         standards.
12540
12541         * http.c (gethttp): Synched with the rest...
12542         (gethttp): Treat only CONREFUSED specially, with connection
12543         errors.
12544
12545         * init.c,geturl.1,http.c (http_loop): Removed kill_error.
12546
12547 1996-06-20  Hrvoje Niksic  <hniksic@srce.hr>
12548
12549         * http.c (http_loop): New function.
12550
12551         * loop.c: Removed *lots* of stuff from retrieve_url.
12552
12553         * url.c (parseurl): Changed to work with urlinfo. Integrated
12554         username finding and path parsing.
12555         (newurl): New function.
12556         (freeurl): New function.
12557         (mkstruct): Removed the old bogosities, made it urlinfo-compliant.
12558         (url_filename): Likewise.
12559         (path_simplify): Accept relative paths too.
12560         (opt_url): Made urlinfo-compliant, removed bogosities.
12561         (path_simplify): Expanded to accept relative paths.
12562         (str_url): A replacement for hide_url
12563         (decode_string): Fixed a bug that caused malfunctioning when
12564         encountering an illegal %.. combination.
12565         (opt_url): Removed the argument. Dot-optimizations are now default.
12566
12567         * nmalloc.c (strdupdelim): New function.
12568
12569         * url.h: Added the urlinfo structure
12570
12571 1996-06-19  Hrvoje Niksic  <hniksic@srce.hr>
12572
12573         * url.c (hide_url): Thrown out the protocol assertion. Do not
12574         change the URL if the protocol if not recognized.
12575         (findurl): Put continue instead of break.
12576
12577 1996-06-18  Hrvoje Niksic  <hniksic@srce.hr>
12578
12579         * sample.geturlrc: Changed the defaults to be commented out and
12580         harmless (previous defaults caused pains if copied to
12581         ~/.geturlrc).
12582
12583         * http.c (gethttp): Print the HTTP request in debug mode.
12584
12585         * connect.c (iread): Added EINTR check loop to select-ing
12586         too. EINTR is now correctly handled with select().
12587
12588         * TODO: new file
12589
12590 1996-05-07  Hrvoje Niksic  <hniksic@srce.hr>
12591
12592         * host.c (same_host): Made the function a little bit more
12593         intelligent regarding diversified URL syntaxes.
12594
12595         * url.c (skip_url): Spaces are now skipped after URL:
12596
12597         * Released 1.3.1 with the patch to prevent crashing when sending
12598         NULL to robot* functions and the patch to compile "out of the box"
12599         on AIX.
12600
12601         * recr.c (recursive_retrieve): Added checking whether this_url is
12602         NULL when calling the robot functions.
12603
12604         * ChangeLog: New file.