sjero.net Git - wget/blob - src/ChangeLog

   1 2008-05-31 Micah Cowan  <micah@cowan.name>
   2
   3         * html-url.c, http.c: Avoid casts in a couple spots.
   4
   5 2008-05-30 Henri Häkkinen  <henux@users.sourceforge.net>
   6
   7         * cookies.c, ftp-basic.c, hash.c, html-url.c, http-ntlm.c, http.c,
   8         init.c, log.c, main.c, progress.c, ptimer.c, spider.c, url.c,
   9         utils.c: Minor changes to silence warnings when using -Wall.
  10
  11 2008-05-26  Steven Schubiger  <schubiger@gmail.com>
  12
  13         * ftp.c (getftp): Replace last remaining invocation of escnonprint
  14         with gnulib quote.
  15
  16 2008-05-19  Micah Cowan  <micah@cowan.name>
  17
  18         * main.c (main): Password prompt should be done only once (not
  19         once per argument), and should be done prior to the background
  20         fork.
  21
  22 2008-05-17  Steven Schubiger  <schubiger@gmail.com>
  23
  24         * init.c (defaults): Set the preferred IP family to `none' by
  25         default.
  26
  27 2008-05-17  Kenny Parnell  <k.parnell@gmail.com>
  28
  29         (cmd_spec_prefer_family): Initialize prefer_family to prefer_none.
  30
  31 2008-05-17  Micah Cowan  <micah@cowan.name>
  32
  33         * main.c (main): Handle Ctrl-D on command-line.
  34
  35 2008-05-15  Steven Schubiger  <schubiger@gmail.com>
  36
  37         * ftp.c (getftp): Verify that the file actually exists in FTP, by
  38         checking it against the listing.
  39
  40 2008-05-15  Micah Cowan  <micah@cowan.name>
  41
  42         * main.c (prompt_for_password): Use the quote module.
  43
  44 2008-05-14  Micah Cowan  <micah@cowan.name>
  45
  46         * ftp.c (ftp_retrieve_list): Symlinks and other filenames
  47         should be fully quoted.
  48
  49 2008-05-12  Micah Cowan  <micah@cowan.name>
  50
  51         * main.c (main): Downgrade "-N with -O" to a warning, and switch
  52         it off to avoid confusing messages.
  53
  54 2008-04-30  Micah Cowan  <micah@cowan.name>
  55
  56         * progress.c (create_image): Fix glitch where too many spaces are
  57         printed on lines that don't display the ETA, in multibyte
  58         locales.
  59
  60 2008-04-30  Steven Schubiger  <stsc@members.fsf.org>
  61
  62         * main.c (main): New code that handles prompting for passwords
  63         when specified explicitly via command-line option (using gnulib's
  64         getpass-gnu module).
  65         (main): Include the getpass header.
  66
  67         * init.c: Add "ask-password" to the list of recognized commands.
  68
  69         * options.h: Add an according boolean member to the options
  70         struct.
  71
  72         * sysdep.h: Comment the defines __EXTENSIONS__ and _GNU_SOURCE
  73         out, because they're now defined independently by config.h.
  74
  75 2008-04-27  Rabin Vincent  <rabin@rab.in>
  76
  77         * http.c (http_loop): Fix return for the case where we don't
  78         download a file because of -nc.
  79
  80 2008-04-27  Micah Cowan  <micah@cowan.name>
  81
  82         * url.c (path_simplify): Go back to allowing leading ".." in
  83         paths, but only for FTP URLs.
  84         (test_path_simplify): Add scheme-specificness to tests, adapt for
  85         mu_run_test.
  86
  87         * test.c (all_tests): Add test_path_simplify.
  88
  89         * main.c (main): Downgrade -r, -p with -O to a warning rather than
  90         an error; elaborate just a bit more for other -O combination
  91         cases.
  92
  93 2008-04-26  Micah Cowan  <micah@cowan.name>
  94
  95         * http.c (gethttp): Move proxy CONNECT handling to below the
  96         retry_with_auth label, to deal with properly reconnecting to
  97         proxies when we need to authenticate.
  98
  99 2008-04-25  Micah Cowan  <micah@cowan.name>
 100
 101         * Makefile.am: -I foo -> -Ifoo.
 102
 103 2008-04-23  Micah Cowan  <micah@cowan.name>
 104
 105         * utils.c (test_dir_matches_p): Added a test for the case
 106         described in issue #20518.
 107
 108 2008-04-22  Jim Paris  <jim@jtan.com>
 109
 110         * openssl.c (ssl_init): Enable combined certificate/key in
 111         single file (apparent regression from ~1.9). Resolves issue
 112         #22767.
 113
 114 2008-04-22  Steven Schubiger  <schubiger@gmail.com>
 115
 116         * http.c (print_response_line): Changed to make responses always
 117         be logged, even in --quiet mode, if --server-response was
 118         specified. This is to bring http.c's handling of the situation
 119         in line with ftp.c's.
 120
 121 2008-04-22  Pranab Shenoy  <pranab.loosinit.shenoy@gmail.com>
 122
 123         * init.c: Added test_commands_sorted unit test to check is
 124         commands are sorted.  Fixes bug #21245.
 125
 126         * test.c: Added test_commands_sorted to the test suite.
 127
 128 2008-04-22  Rabin Vincent  <rabin@rab.in>
 129
 130         * ftp.c (ftp_get_listing): Only remove .listing if it has been
 131         created.
 132
 133 2008-04-22  Alain Guibert  <alguibert+bts@free.fr>
 134
 135         * test.h (mu_run_test): Move declaration before statements, for
 136         C90 conformance. Fixes bug #22789.
 137
 138 2008-04-22  Mike Frysinger  <vapier@gentoo.org>
 139
 140         * Makefile.am: Move @LIBS@ after other libraries, for better
 141         static-linking support. Fixes bug #22143.
 142
 143 2008-04-16  Steven Schubiger  <schubiger@gmail.com>
 144
 145         * ftp.c: Use Gnulib's quote function for printing filenames and
 146         such.
 147         * connect.c: Likewise.
 148         * convert.c: Likewise.
 149         * cookies.c: Likewise.
 150         * ftp-opie.c: Likewise.
 151         * gnutls.c: Likewise.
 152         * init.c: Likewise.
 153         * log.c: Likewise.
 154         * mswindows.c: Likewise.
 155         * openssl.c: Likewise.
 156         * progress.c: Likewise.
 157         * recur.c: Likewise.
 158         * res.c: Likewise.
 159         * utils.c: Likewise.
 160
 161 2008-04-16  Steven Schubiger  <schubiger@gmail.com>
 162
 163         * sysdep.h: Comment the defines __EXTENSIONS__ and _GNU_SOURCE
 164         out, because they're now defined independently by config.h.
 165
 166 2008-04-14  Steven Schubiger  <schubiger@gmail.com>
 167
 168         * http.c: Use Gnulib's quote function for printing filenames and
 169         such.
 170         * wget.h: #include "quote.h".
 171
 172 2008-04-12  Rabin Vincent  <rabin@rab.in>
 173
 174         * mswindows.c (fake_fork_child): Don't create a logfile for
 175         --background when --quiet is used, but not --server-response.
 176         Fixes bug #20917.
 177
 178         * utils.c (fork_to_background): Likewise.
 179
 180 2008-04-12  Micah Cowan  <micah@cowan.name>
 181
 182         * utils.c (aprintf): Minor formatting changes to Alex's code (80-
 183         column limit, concatenated string literals, avoiding nesting
 184         levels), and removed invocation of free (since we're aborting
 185         anyway).
 186
 187 2008-04-11  Alexander Dergachev  <cy6erbr4in@gmail.com>
 188
 189         * utils.c (aprintf): Now we are setting limits (1 Mb) for text
 190         buffer when we use non-C99 vsnprintf.
 191
 192 2008-04-11  Micah Cowan  <micah@cowan.name>
 193
 194         * ftp.c (getftp, ftp_loop_internal): Don't append to an existing
 195         .listing when --continue is used.  Fixes bug #22825. Thanks to
 196         Rabin Vincent <rabin@rab.in> for pointing the way with a
 197         suggested fix!
 198
 199 2008-04-10  Alexander Dergachev  <cy6erbr4in@gmail.com>
 200
 201         * xmalloc.c, xmalloc.h (memfatal): Now exported; accepts an
 202         "unknown" value for the attempted allocation size.
 203         * utils.c (aprintf): Now calls memfatal, instead of aborting.
 204
 205 2008-03-19  Micah Cowan  <micah@cowan.name>
 206
 207         * utils.c (test_dir_matches_p): More tests related for
 208         dir_matches_p.
 209
 210 2008-03-17  Micah Cowan  <micah@cowan.name>
 211
 212         * connect.c: Include sys/time.h to support use of the select
 213         function on older systems.
 214
 215 2008-02-11  Benno Schulenberg  <bensberg@justemail.net>
 216
 217         * http.c: More accurate and descriptive messages for when a file
 218         won't be retrieved during spider-mode.
 219
 220 2008-02-10  Micah Cowan  <micah@cowan.name>
 221
 222         * http.c: Added existence_checked member to the http_stat
 223         struct.
 224         (gethttp): Mark hs->existence_checked when we've checked whether
 225         a file-to-download exists; so we don't check it again if the
 226         connection gets lost (and potentially pick a new "unique" name).
 227         This fixes bug 22251.
 228         * progress.c (create_image): Add space for an extra column in
 229         the "eta" portion of the progress bar image; to deal with
 230         too-long Czech translation.
 231         * main.c, http.c, init.c: Added --auth-no-challenge option, to
 232         bring back 1.10.2 unsafe auth behavior when needed. This fixes
 233         bug #22242.
 234
 235 2008-02-07  Micah Cowan  <micah@cowan.name>
 236
 237         * progress.c (create_image): Remove assertion on exceeding
 238         screen width, which given the less-than-robust code there, can
 239         be broken by a number of factors (such as large file downloads).
 240
 241 2008-02-06  Micah Cowan  <micah@cowan.name>
 242
 243         * progress.c (countcols): Use strlen() when mbtowc or wcwidth
 244         not available (or not using NLS).
 245         * utils.c: Ensure we use single-byte separators when not doing
 246         NLS progress-bars.
 247         * wget.h: Determine whether to use NLS for progress-bars, based
 248         on whether wcwidth and mbtowc are available.
 249
 250 2008-02-03  Micah Cowan  <micah@cowan.name>
 251
 252         * progress.c (create_image): Use number of characters/columns
 253         consumed, rather than number of bytes, to determine how much of
 254         a line we've used. Fixes assertion errors and field alignment
 255         bugs (#22161, #20481)
 256         (get_eta, count_cols): Added to support the changes for
 257         create_image.
 258         * http.c (http_loop): Put no-clobber logic back into http_loop,
 259         before starting to fetch, for when we're not doing
 260         content-disposition.
 261
 262 2008-01-31  Micah Cowan  <micah@cowan.name>
 263
 264         * http.c (gethttp): Don't derive hs->contlen from possibly
 265         invalid/missing Content-Length; instead, get the appropriate
 266         value from the Content-Range header values.
 267         (parse_content_range): Handle '*' instance-length field.
 268
 269 2008-01-25  Micah Cowan  <micah@cowan.name>
 270
 271         * main.c: Added notes to translators regarding (C), diacritics
 272         in names.
 273         * Makefile.am, cmpt.c, connect.c, connect.h, convert.c,
 274         cookies.c, cookies.h, ftp-basic.c, ftp-ls.c, ftp-opie.c, ftp.c,
 275         ftp.h, gen-md5.c, gen-md5.h, gnutls.c, hash.c, hash.h, host.c,
 276         host.h, html-parse.c, html-parse.h, html-url.c, http-ntlm.c,
 277         http-ntlm.h, http.c, http.h, init.c, init.h, log.c, log.h,
 278         main.c, mswindows.c, mswindows.h, netrc.c, netrc.h, openssl.c,
 279         options.h, progress.c, progress.h, ptimer.c, ptimer.h, recur.c,
 280         recur.h, res.c, res.h, retr.c, retr.h, spider.c, spider.h,
 281         ssl.h, sysdep.h, test.c, test.h, url.c, url.h, utils.c,
 282         utils.h, wget.h, xmalloc.c, xmalloc.h: Updated copyright year.
 283
 284 2007-12-10  Micah Cowan  <micah@cowan.name>
 285
 286         * main.c: The option is --content-disposition, not
 287         --no-content-disposition (at the moment).
 288
 289 2007-12-08  Hrvoje Niksic  <hniksic@xemacs.org>
 290
 291         * ftp.c (ftp_retrieve_glob): Print both arguments of fnmatch in
 292         fnmatch error message.
 293         (ftp_retrieve_glob): Don't match with fnmatch if we're only
 294         supposed to get one file.
 295
 296 2007-12-07  Micah Cowan  <micah@cowan.name>
 297
 298         * Makefile.am: Plug in vars to include stuff from
 299         $(top_srcdir)/md5 when appropriate.
 300
 301 2007-12-05  Micah Cowan  <micah@cowan.name>
 302
 303         * utils.c (subdir_p): Handle the case where d1 is "".
 304         * convert.c (convert_all_links): Don't return without
 305         deallocating timer.
 306
 307 2007-11-28  Micah Cowan  <micah@cowan.name>
 308
 309         * Makefile.am, cmpt.c, connect.c, connect.h, convert.c,
 310         convert.h, cookies.c, cookies.h, ftp-basic.c, ftp-ls.c,
 311         ftp-opie.c, ftp.c, ftp.h, gen-md5.c, gen-md5.h, gnutls.c,
 312         hash.c, hash.h, host.c, host.h, html-parse.c, html-parse.h,
 313         html-url.c, http-ntlm.c, http-ntlm.h, http.c, http.h, init.c,
 314         init.h, log.c, log.h, main.c, mswindows.c, mswindows.h,
 315         netrc.c, netrc.h, openssl.c, options.h, progress.c, progress.h,
 316         ptimer.c, ptimer.h, recur.c, recur.h, res.c, res.h, retr.c,
 317         retr.h, safe-ctype.c, safe-ctype.h, spider.c, spider.h, ssl.h,
 318         sysdep.h, test.c, test.h, url.c, url.h, utils.c, utils.h,
 319         wget.h, xmalloc.c, xmalloc.h: Updated license exception for
 320         OpenSSL, per the SFLC.
 321
 322 2007-10-30  Micah Cowan  <micah@cowan.name>
 323
 324         * main.c (main): Declare argv parameter as char **argv, rather
 325         than char *const *argv. This fixes usage of getopt_long,
 326         regardless of whether getopt_long has a constified argv or not.
 327
 328 2007-10-22  Gisle Vanem  <gvanem@broadpark.no>
 329
 330         * mswindows.c: Move INHIBIT_WRAP macro definition up with wget.h
 331         inclusion.
 332
 333 2007-10-18  Steven Schweda  <sms@antinode.org>
 334
 335         * sysdep.h: #include <stdint.h> as well as <inttypes.h>, to work
 336         around a glitch on Tru64 systems.
 337
 338 2007-10-18  Micah Cowan  <micah@cowan.name>
 339
 340         * Makefile.am: version.c should not be distributed. Removed
 341         config-post.h. Add version.c dependency and gnulib include path
 342         for libunittest.a.
 343         * sysdep.h: Got contents of config-post.h
 344         * config-post.h: Removed.
 345         * wget.h: #include "config.h".
 346         * alloca.c, cmpt.c, connect.c, convert.c, cookies.c,
 347         ftp-basic.c, ftp-ls.c, ftp-opie.c, ftp.c, gen-md5.c, gnutls.c,
 348         hash.c, host.c, html-parse.c, html-url.c, http-ntlm.c, http.c,
 349         init.c, log.c, main.c, mswindows.c, netrc.c, openssl.c,
 350         progress.c, ptimer.c, recur.c, res.c, retr.c, spider.c, url.c,
 351         utils.c, xmalloc.c: Use wget.h at very top, and instead of
 352         config.h.
 353
 354 2007-10-15  Micah Cowan  <micah@cowan.name>
 355
 356         * Makefile.am: Remove intermediary hg-id file generation, make
 357         version.c-generation more portable.
 358
 359 2007-10-14  Micah Cowan  <micah@cowan.name>
 360
 361         * cmpt.c, cookies.c, ftp-basic.c, ftp-ls.c, ftp.c, hash.c,
 362         host.c, html-parse.c, html-url.c, http-ntlm.c, http.c, init.c,
 363         log.c, main.c, netrc.c, openssl.c, res.c, url.c, utils.c,
 364         wget.h: Replace uses of ISSPACE, etc with c_isspace, etc.
 365         * gnu-md5.c, gnu-md5.h: Removed, in deference to gnulib.
 366         * Makefile.am: Removed gnu-md5.h from wget_SOURCES.
 367         * gen-md5.c: Changed #inclusion of gnu-md5.h to md5.h (gnulib's).
 368         * recur.c (download_child_p): Print error if unlink of
 369         robots.txt fails.
 370         * main.c (main): --spider or --delete-after now implies
 371         --no-directories (thanks, Josh Williams).
 372
 373 2007-10-14  Joshua David Williams  <yurimxpxman@gmail.com>
 374
 375         * recur.c (download_child_p): Remove robots.txt if
 376         --delete-after or --spider is on.
 377
 378 2007-10-13  Micah Cowan  <micah@cowan.name>
 379
 380         * Makefile.am: Make version.c depend on Wget dependencies (source
 381         files, plus such things as LIBOBJS so we get things like
 382         http-ntlm.c). Removed getopt.[ch], as we're now using gnulib for
 383         these.
 384
 385 2007-10-10  Micah Cowan  <micah@cowan.name>
 386
 387         * http-ntlm.c: Include openssl/opensslv.h explicitly, instead of
 388         hoping it'll be included by accident in openssl/des.h.
 389
 390 2007-10-09  Gisle Vanem  <gvanem@broadpark.no>
 391
 392         * mswindows.c: 'argc' and 'argv' in 'windows_main()' are no longer
 393         needed.  Hence simply the prototype. Free 'exec_name' at exit.
 394
 395 2007-10-09  Micah Cowan  <micah@cowan.name>
 396
 397         * gettext.h: Imported from /usr/share/gettext, fuller handling
 398         of --disable-nls.
 399         * wget.h: Remove logic for handling lack of NLS (now in
 400         gettext.h).
 401         * main.c: Use gettext's ENABLE_NLS rather than HAVE_NLS.
 402         * Makefile.am: added @LIBINTL@ to LIBS (though it probably
 403         belongs in LDADD, along with everything else currently assigned
 404         to LIBS).
 405
 406 2007-10-08  Micah Cowan  <micah@cowan.name>
 407
 408         * http.c (http_loop): Add send_head_first conditional back
 409         around code that needs it, but not around the last-modified
 410         header-parsing stuff this time. Removed no-longer-useful (was it
 411         ever?) restart_loop boolean, continuing unconditionally at end
 412         of send_head_first conditional block (if we haven't jumped out).
 413
 414 2007-10-04  Micah Cowan  <micah@cowan.name>
 415
 416         * http.c (http_loop): We've got_name if content_disposition
 417         support isn't on; make sure we continue properly in that case,
 418         even though we're not sending HEAD.
 419         * Makefile.in: Removed, replaced by Makefile.am.
 420         * Makefile.am: Converted from Makefile.in.
 421
 422 2007-10-02  Gisle Vanem  <gvanem@broadpark.no>
 423
 424         * ftp.c: Use "_listing" for MSDOS (".listing" is illegal).
 425
 426         * url.c: Update comment for 'filechr_not_windows'.
 427
 428         * utils.c: Include <process.h> for 'getpid()' on Watcom.
 429
 430 2007-10-02  Micah Cowan  <micah@cowan.name>
 431
 432         * ftp.c (getftp, ftp_loop_internal), http.c (http_loop), main
 433         (main): Use datetime_str instead of time_str, for those who have
 434         potentially long-running sessions. Based on suggestions by Saso
 435         Tomat <miskox@hotmail.com> and Steven M. Schweda
 436         <sms@antinode.org>.
 437         * http.c (gethttp): Warn about host lookup failures. Adjusted
 438         from Stephen Gildea's patch.
 439
 440 2007-10-02  Stephen Gildea  <stepheng+wget@gildea.com>
 441
 442         * connect.c (connect_to_host): Warn about host lookup failures.
 443
 444 2007-09-25  Micah Cowan  <micah@cowan.name>
 445
 446         * Makefile.in: Use EXEEXT instead of exeext.
 447
 448 2007-09-24  Gisle Vanem  <giva@bgnett.no>
 449
 450         * connect.c, init.c, main.c, openssl.c, options.h, sysdep.h,
 451         url.c, utils.c: Added support for building on MS-DOS.
 452
 453 2007-09-24  Jochen Roderburg  <roderburg@uni-koeln.de>
 454
 455         * http.c (http_zero): Remove no-longer-used local_size variable.
 456         Fixes bug #21057.
 457
 458 2007-09-12  Micah Cowan  <micah@cowan.name>
 459
 460         * http.c (http_loop): Remove send_head_first from condition for
 461         parsing timestamp.
 462
 463 2007-08-29  Micah Cowan  <micah@cowan.name>
 464
 465         * openssl.c (ssl_init): Re un-const-ified the meth local
 466         variable, to match current versions of openssl.
 467         * spider.c: Removed visited_url function, as it may be very
 468         inefficient.
 469         (print_broken_links): Removed traversal of referrers, until such
 470         time as a more efficient implementation can be written.
 471         * spider.h: Replaced declaration of visited_url with an
 472         empty-bodied, function-like macro.
 473
 474 2007-08-27  Gisle Vanem  <giva@bgnett.no>
 475
 476         * mswindows.c (run_with_timeout): Ensure that the correct
 477         conversion specification is used for the return result of
 478         the GetLastError function.
 479         * getopt.c: Fix missing (but, accidentally, legal) comment
 480         delimiter after licensing text.
 481         * recur.c (retrieve_tree): Inserted missing cast for strip_auth.
 482         Includes adjustment by Ralf Wildenhues.
 483         * openssl.c (ssl_init): const-ified the meth local variable.
 484         * main.c: Include all the static function definitions in the
 485         "#ifndef TESTING" clause, leaving just the definitions for
 486         exec_name (not set), and opt.
 487         * utils.c (run_with_timeout): Now returns bool, to align with
 488         declaration in utils.h.
 489
 490 2007-08-27  Micah Cowan  <micah@cowan.name>
 491
 492         * wget.h: Added macro replacement for ngettext, for environs
 493         that lack NLS.
 494
 495 2007-08-26  Micah Cowan  <micah@cowan.name>
 496
 497         * spider.c (print_broken_links): Fixed incorrect plurals msgid
 498         usage, switched to use ngettext function.
 499
 500 2007-08-24  Micah Cowan  <micah@cowan.name>
 501
 502         * http.c (http_loop): Introduced time_came_from_head boolean
 503         flag, to help avoid parsing the same Last-Modified header twice.
 504         Replaced spidering returns of RETRUNNEEDED for some situations,
 505         to RETROK, as otherwise it will be interpreted as an error.
 506         RETRUNNEEDED appears never to be referenced outside of
 507         http.c (and wget.h), and, when returned by gethttp, is
 508         translated by http_loop to RETROK.
 509         * url.c (are_urls_equal): Don't call getchar_from_escaped_string
 510         if u2 is shorter than u1.
 511         (getchar_from_escaped_string): Don't decode reserved characters.
 512         Handle illegally appearing '%'s as literal '%'s. Ensure hex
 513         digits before attempting to decode.
 514         (test_are_urls_equal): Added tests to handle u2 shorter than u1,
 515         and %2f not treated the same as /.
 516         * spider.c (in_url_list_p): Don't call are_urls_equal if one of
 517         them is NULL.
 518
 519 2007-08-23  Joshua David Williams  <yurimxpxman@gmail.com>
 520
 521         * spider.c (in_url_list_p): Removed the bool verbose argument
 522
 523 2007-08-22  Mauro Tortonesi  <mauro@ferrara.linux.it>
 524
 525         * http.c (http_loop): Fall back to GET if HEAD fails with a 500 or 501
 526         error code.
 527
 528 2007-08-21  Mauro Tortonesi  <mauro@ferrara.linux.it>
 529
 530         * http.c (http_loop): Send preliminary HEAD request if -N is given and
 531         the destination file exists already.
 532
 533 2007-08-10  Mauro Tortonesi  <mauro@ferrara.linux.it>
 534
 535         * http.c (http_loop): Fixed HTTP HEAD requests logic when --spider is
 536         given.
 537
 538 2007-08-10  Ralf Wildenhues  <Ralf.Wildenhues@gmx.de>
 539
 540         * url.c (append_uri_pathel): Do not assume dest string to be
 541         zero-terminated.
 542         (test_append_uri_pathel): Terminate string to fix test failure.
 543
 544 2007-08-09  Ralf Wildenhues  <Ralf.Wildenhues@gmx.de>
 545
 546         * url.c (url_string): Use comparison, not assignment, in
 547         check for auth_mode == URL_AUTH_HIDE_PASSWD.
 548
 549 2007-08-09  Micah Cowan  <micah@cowan.name>
 550
 551         * http.c (http_loop): If we got a HEAD and then a GET, and the
 552         GET had a timestamp, use that one, not any we may have gotten
 553         from the HEAD.
 554
 555 2007-08-08  Micah Cowan  <micah@cowan.name>
 556
 557         * init.c (defaults): Content disposition will not be default,
 558         since it currently results in extra round-trips.
 559
 560 2007-07-31  Micah Cowan  <micah@cowan.name>
 561
 562         * http.c (gethttp): Set contlen = -1 when we encounter a
 563         negative-valued Content-Length header, so we don't consider it
 564         an internal error later on and call abort().
 565
 566 2007-07-29  Micah Cowan  <micah@cowan.name>
 567
 568         * url.h, url.c (url_string): Replaced bool arg of the url_string
 569         function with enum url_auth_mode, with added option to
 570         completely remove user/pass auth information.
 571         * http.c, ftp.c, url.c, recur.c: Adapted call to url_string
 572         function to fit new usage.
 573         * recur.c (retrieve_tree): Remove auth info from Referer header.
 574
 575 2007-07-28  Micah Cowan  <micah@cowan.name>
 576
 577         * options.h, init.c, retr.c, main.c: renamed opt maxredirect
 578         field to max_redirect, for improved consistency.
 579         * init.c: changed max_redirect parser from cmd_number_inf to
 580         cmd_number, as infinite redirects may not be appropriate.
 581         Alternatively, if cmd_number_inf should be used, then
 582         opt.max_redirect's value should be checked a bit differently in
 583         retr.c, to allow for the "infinite" meaning of zero.
 584
 585 2007-07-25  Micah Cowan  <micah@cowan.name>
 586
 587         * http.c (create_authorization_line)
 588         (basic_authentication_encode, known_authentication_scheme_p)
 589         (load_cookies): Moved declarations up.
 590         (basic_authed_hosts): Added. Tracks what hosts have issued Basic
 591         challenge and been given the global username, password.
 592         (maybe_send_basic_creds): Added. Sends Basic creds for hosts that
 593         have issued Basic challenges.
 594         (register_basic_auth_host): Added. Instantiates
 595         basic_authed_hosts if necessary, then registers the host that
 596         has issued a challenge.
 597         (gethttp) <auth>: Only send authentication credentials after
 598         we've received a challenge from that host. This is a stop-gap
 599         fix until a proper fix can be implemented; still isn't quite
 600         right, as we should only be sending credentials automatically
 601         for authenticated paths and below, and not for the entire host.
 602
 603 2007-07-16  Joshua David Williams  <yurimxpxman@gmail.com>
 604
 605         * options.h: added maxredirect to options struct
 606         * init.c: added maxredirect to list of variables
 607         * retr.c (retrieve_url): replaced MAX_REDIRECTIONS with opt.maxredirect
 608         * main.c: added option --max-redirect
 609
 610 2007-07-16  Joshua David Williams  <yurimxpxman@gmail.com>
 611
 612         * test.h: tests made more verbose; now displays the name
 613         of each test run.
 614
 615 2007-07-10  Mauro Tortonesi  <mauro@ferrara.linux.it>
 616
 617         * http.c (http_loop): Fixed the HTTP requests logic. Now it skips the
 618         preliminary HEAD request if either -O or --no-content-disposition are
 619         given, and neither --spider and -N are given.
 620
 621 2007-07-05  Micah Cowan  <micah@cowan.name>
 622
 623         * cmpt.c, connect.c, connect.h, convert.c, convert.h:
 624         * cookies.c, cookies.h, ftp-basic.c, ftp.c, ftp.h, ftp-ls.c:
 625         * ftp-opie.c, gen-md5.c, gen-md5.h, getopt.c, getopt.h, gnu-md5.c:
 626         * gnu-md5.h, gnutls.c, hash.c, hash.h, host.c, host.h:
 627         * html-parse.c, html-parse.h, html-url.c, http.c, http.h:
 628         * http-ntlm.c, http-ntlm.h, init.c, init.h, log.c, log.h, main.c:
 629         * Makefile.in, mswindows.c, mswindows.h, netrc.c, netrc.h:
 630         * openssl.c, options.h, progress.c, progress.h, ptimer.c:
 631         * ptimer.h, recur.c, recur.h, res.c, res.h, retr.c, retr.h:
 632         * safe-ctype.c, safe-ctype.h, spider.c, spider.h, ssl.h, sysdep.h:
 633         * test.c, test.h, url.c, url.h, utils.c, utils.h, wget.h:
 634         * xmalloc.c, xmalloc.h:
 635         Updated GPL reference to version 3 or later, removed FSF
 636         address.
 637
 638 2007-07-04  Mauro Tortonesi  <mauro@ferrara.linux.it>
 639
 640         * http.c (http_loop): Skip HEAD request and start immediately with GET
 641         if -O is given.
 642
 643 2007-02-02  Hrvoje Niksic  <hniksic@xemacs.org>
 644
 645         * http.c (print_server_response): Escape non-printable characters
 646         in server respone.
 647
 648 2007-02-02  Hrvoje Niksic  <hniksic@xemacs.org>
 649
 650         * netrc.c: Don't make netrc_list static, as it prevents
 651         compilation with DEBUG_MALLOC.
 652
 653         * utils.c (aprintf): Don't use vasprintf when DEBUG_MALLOC is
 654         requested because, in that case, we want the calls to malloc to be
 655         coming from us.
 656
 657 2007-01-23  Hrvoje Niksic  <hniksic@xemacs.org>
 658
 659         * cookies.c (parse_set_cookie): Would erroneously discard cookies
 660         with unparsable expiry time.
 661
 662 2007-01-23  Hrvoje Niksic  <hniksic@xemacs.org>
 663
 664         * progress.c (create_image): Check for ETA overflow.
 665         (print_row_stats): Ditto.
 666
 667 2007-01-09  Mauro Tortonesi  <mauro@ferrara.linux.it>
 668
 669         * init.c (cmd_spec_prefer_family): Small fix to get rid of a gcc
 670         warning about strict-aliasing violation.
 671
 672 2007-01-09  Steven M. Schweda  <sms@antinode.org>
 673
 674         * ftp-basic.c (ftp_syst): Fixed segfault if response text is missing.
 675
 676 2006-12-29  Gisle Vanem  <giva@bgnett.no>
 677
 678         * mswindows.c: Avoid a warning if 'ws_hangup()' is unused.
 679
 680 2006-12-27  Mauro Tortonesi  <mauro@ferrara.linux.it>
 681
 682         * http.c (parse_content_disposition): Consider directory prefix, if
 683         specified.
 684
 685 2006-11-21  Hrvoje Niksic  <hniksic@xemacs.org>
 686
 687         * retr.c (retrieve_from_file): Ditto.
 688         (url_uses_proxy): New function.
 689
 690         * main.c (main): Don't check for opt.use_proxy when deciding
 691         whether to call retrieve_url or retrieve_tree; check whether the
 692         proxy would be used for *this* URL.
 693
 694 2006-10-17  Mike Grant  <mggr@pml.ac.uk>
 695
 696         * ftp.c (ftp_loop_internal): Would incorrectly skip changing
 697         working directory when retrying after a failed FTP attempt.
 698         Originally reported by Nate Eldredge.
 699
 700 2006-10-12  Mauro Tortonesi  <mauro@ferrara.linux.it>
 701
 702         * convert.c (downloaded_file): Fixed bug which used to break -E -k -K
 703         mode.
 704
 705 2006-08-28  Mauro Tortonesi  <mauro@ferrara.linux.it>
 706
 707         * http.c: #include'd spider.h to get rid of compiler warnings.
 708
 709         * main.c: Ditto.
 710
 711         * recur.c: Ditto.
 712
 713 2006-08-24  Mauro Tortonesi  <mauro@ferrara.linux.it>
 714
 715         * Makefile.in: Added spider.c to the list of files to compile and
 716         spider.h to the list of header files. Updated copyright information.
 717
 718         * http.c: Major changes to recursive spider mode. Now for every
 719         resource we are supposed to check, we send a HEAD request to find out
 720         if it exists. If the resource is a HTML file, we retrieve it and parse
 721         it to discover links to other resources.
 722
 723         * recur.c: Ditto.
 724
 725         * res.c (res_retrieve_file): Disable opt.timestamping and opt.spider
 726         when retrieving robots.txt. Updated copyright information.
 727
 728         * convert.c: Moved code tracking broken links to spider.c.
 729
 730         * convert.h: Ditto.
 731
 732         * spider.c: Created new file to keep track of visited URLs in spider
 733         mode.
 734
 735         * spider.h: Ditto.
 736
 737 2006-08-21  Mauro Tortonesi  <mauro@ferrara.linux.it>
 738
 739         * http.c: Fixed timestamping-related bug.
 740
 741 2006-08-16  Mauro Tortonesi  <mauro@ferrara.linux.it>
 742
 743         * http.c: Fixed bug which broke --continue feature. Now if -c is
 744         given, http_loop sends a HEAD request to find out the destination
 745         filename before resuming download.
 746
 747 2006-08-08  Hrvoje Niksic  <hniksic@xemacs.org>
 748
 749         * utils.c (datetime_str): Avoid code repetition with time_str.
 750
 751 2006-07-21  Hrvoje Niksic  <hniksic@xemacs.org>
 752
 753         * init.c (commands): Correctly place "contentdisposition".
 754
 755 2006-07-14  Mauro Tortonesi  <mauro@ferrara.linux.it>
 756
 757         * sysdep.h: If intptr_t isn't defined, simply typedef it to long.
 758
 759         * http.c: Added explicit cast to int in logprintf call to remove
 760         compiler warnings on 64-bit platforms.
 761
 762         * connect.c: Added a few casts to intptr_t to remove compiler warnings
 763         on 64-bit platforms.
 764
 765         * main.c: Disable -r, -p and -N when -O is used. Disable -k when -O is
 766         used and multiple URLs are given. Update maintainer information.
 767
 768         * all: Update copyright information.
 769
 770 2006-07-10  KJKHyperion  <hackbunny@reactos.com>
 771
 772         * url.c (filechr_table): Mark DEL (0x7f) as a control character
 773         and | as a character Windows can't handle.
 774
 775 2006-06-28  Mauro Tortonesi  <mauro@ferrara.linux.it>
 776
 777         * res.c: Implemented is_robots_txt_url function for detection of
 778         robots.txt URLs and related test routine.
 779
 780         * res.h: Ditto.
 781
 782         * url.c: Implemented are_urls_equal function for URL comparison and
 783         related testing routine.
 784
 785         * url.h: Ditto.
 786
 787         * convert.c: Fixes for recursive spider mode: don't consider
 788         non-existing robots.txt as a broken link, and use are_urls_equal
 789         instead of strcasecmp for referrer URLs comparison.
 790
 791         * test.c: Call tests routines for are_urls_equal and
 792         is_robots_txt_url.
 793
 794 2006-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
 795
 796         * wget.h (wgint): Typedef to any 64-bit (or larger) type we can
 797         find, not necessarily off_t or long.
 798
 799 2006-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
 800
 801         * cmpt.c (strtoll): Check for overflow and underflow without
 802         relying on (technically) undefined behavior.  Don't assume that
 803         strtoll_type is 64 bits wide.
 804
 805 2006-06-21  Hrvoje Niksic  <hniksic@xemacs.org>
 806
 807         * utils.c (base64_encode): Cast void pointer to char * before
 808         doing arithmetic.
 809
 810 2006-06-20  Hrvoje Niksic  <hniksic@xemacs.org>
 811
 812         * utils.c (base64_encode): Made TBL const.
 813         (base64_decode): Made the base64_char_to_value table const.
 814
 815 2006-06-19  Hrvoje Niksic  <hniksic@xemacs.org>
 816
 817         * utils.c (base64_encode): Made the DATA pointer void * so the
 818         callers can pass it any kind of pointer (including both signed and
 819         unsigned char pointers).
 820         (base64_decode): Ditto for DEST.
 821
 822 2006-06-19  Hrvoje Niksic  <hniksic@xemacs.org>
 823
 824         * utils.c (base64_encode): Would read past end of STR.
 825         Reported by rick@eckle.org.
 826
 827 2006-06-13  Mauro Tortonesi  <mauro@ferrara.linux.it>
 828
 829         * options.h (struct options): Introduced member restrict_files_case to
 830         keep track of preferences on character case restrictions for
 831         filenames.
 832
 833         * init.c: Modified defaults and cmd_spec_restrict_file_names to
 834         support character case restrictions for filenames. Added
 835         test_cmd_spec_restrict_file_names unit test.
 836
 837         * url.c: Modified append_uri_pathel to support character case
 838         restrictions for filenames. Added test_append_uri_pathel unit test.
 839
 840         * test.c: Added test_cmd_spec_restrict_file_names and
 841         test_append_uri_pathel to the list of unit tests to run.
 842
 843 2006-06-12  Mauro Tortonesi  <mauro@ferrara.linux.it>
 844
 845         * retr.c (retrieve_from_file): Use retrieve_tree and automatically
 846         turn on opt.follow_ftp in case of recursive FTP retrieval through HTTP
 847         proxy.
 848
 849         * main.c: Automatically turn on opt.follow_ftp in case of recursive
 850         FTP retrieval through HTTP proxy.
 851
 852 2006-06-12  Tony Lewis  <tlewis@exelana.com>
 853
 854         * main.c: Improved CHEN Peng's patch by proposing a simpler logic.
 855
 856 2006-06-12  CHEN Peng  <chenpeng@alumni.nus.edu.sg>
 857
 858         * main.c: Use retrieve_tree in case of recursive FTP retrieval through
 859         HTTP proxy.
 860
 861 2006-05-25  Mauro Tortonesi  <mauro@ferrara.linux.it>
 862
 863         * convert.c: Added mechanisms to keep track broken links.
 864
 865         * convert.h: Ditto.
 866
 867         * wget.h: Reordered and enumerated uerr_t constants.
 868
 869         * recur.c: Fixes to support recursive spider mode.
 870
 871         * http.c: Ditto.
 872
 873         * main.c: Print broken links in case of recursive spider mode.
 874
 875         * retr.c: Changed interface of retrieve_url.
 876
 877         * retr.h: Ditto.
 878
 879         * ftp.c: Changed interface of ftp_loop.
 880
 881         * ftp.h: Ditto.
 882
 883         * res.c: Minor change to reflect changes in interface of retrieve_url.
 884
 885 2006-05-18  Lawrence Jones  <lawrence.jones@ugs.com>
 886
 887         * ftp-ls.c (ftp_parse_unix_ls): Correct size parsing, add size
 888         and filename debugging output.
 889
 890 2006-04-28  Mauro Tortonesi  <mauro@ferrara.linux.it>
 891
 892         * http.c: If Content-Disposition header is present, allow unique
 893         filename generation unless -nc is given. Permit to disable parsing of
 894         Content-Disposition header.
 895
 896         * options.h: Added option --no-content-disposition to disable parsing
 897         of HTTP Content-Disposition header.
 898
 899         * init.c: Ditto.
 900
 901         * main.c: Ditto.
 902
 903 2006-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
 904
 905         * hash.c (TOLOWER): Wrap macro arg in parentheses.
 906
 907 2006-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
 908
 909         * http.c (parse_content_disposition): Doc fix.
 910
 911 2006-03-15  Mauro Tortonesi  <mauro@ferrara.linux.it>
 912
 913         * utils.c: Restricted operational semantics of frontcmp and proclist
 914         from generic strings to directory names and them to subdir_p and
 915         dir_matches_p respectively.  Applied George Ogata's one line patch to
 916         restrict algorithm of subdir_p to full directory name matching.  Added
 917         testcases for subdir_p and dir_matches_p.
 918
 919         * utils.h: Changed all frontcmp occurrences to subdir_p.
 920
 921         * recur.c: Ditto.
 922
 923         * test.c: Changed type returned by test functions from char * to const
 924         char *.  Added test_subdir_p and test_dir_matches_p to the list of
 925         tests to run.
 926
 927         * http.c (test_parse_content_disposition): Changed return type from
 928         char * to const char *.
 929
 930 2006-03-14  Mauro Tortonesi  <mauro@ferrara.linux.it>
 931
 932         * recur.c (struct queue_element): Changed type of html_allowed member
 933         to bool.
 934
 935 2006-03-09  Mauro Tortonesi  <mauro@ferrara.linux.it>
 936
 937         * ftp.c (ftp_list): Try `LIST -a' command first and revert to `LIST'
 938         in case of failure.
 939
 940 2006-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
 941
 942         * hash.c (TOLOWER): Fix definition when STANDALONE.
 943         Reported by Beni Serfaty.
 944
 945 2006-03-02  Mauro Tortonesi  <mauro@ferrara.linux.it>
 946
 947         * http.c (http_loop): Fixed recursive HTTP retrieval.
 948
 949 2006-02-28  Hrvoje Niksic  <hniksic@xemacs.org>
 950
 951         * http.c (extract_param): Declare extern so it can be used from
 952         other files.
 953         (extract_param): Return error for empty name.
 954
 955 2006-02-28  Hrvoje Niksic  <hniksic@xemacs.org>
 956
 957         * url.c (find_last_char): Define in terms of memrchr.
 958
 959         * cmpt.c (memrchr): Define it on systems that don't have it.
 960
 961         * http.c (extract_param): New function for parsing header values
 962         with parameters.
 963         (parse_content_disposition): Use it.  Don't allow slashes and
 964         backslashes in the file name.
 965
 966 2006-02-27  Hrvoje Niksic  <hniksic@xemacs.org>
 967
 968         * url.c (path_simplify): Don't preserve ".." at beginning of path.
 969         Suggested by Frank McCown.
 970
 971 2006-02-25  Hrvoje Niksic  <hniksic@xemacs.org>
 972
 973         * http.c (gethttp): Only use FILE.N.html if FILE.html exists.
 974
 975 2006-02-09  Hrvoje Niksic  <hniksic@xemacs.org>
 976
 977         * mswindows.c (run_with_timeout): Made thread_hnd non-static.
 978
 979 2006-02-05  Hrvoje Niksic  <hniksic@xemacs.org>
 980
 981         * retr.c (sleep_between_retrievals): Sleep at a minimum of 1/2 of
 982         the specified wait period.
 983
 984 2006-02-03  Hrvoje Niksic  <hniksic@xemacs.org>
 985
 986         * utils.c (number_to_string): Don't use sprintf for printing
 987         WGINT_MIN; simply divide n by 10 and defer printing the last
 988         digit.
 989         (number_to_string): Removed the SPRINTF_WGINT macro.
 990
 991 2006-02-03  Mauro Tortonesi  <mauro@ferrara.linux.it>
 992
 993         * http.c: Fixed support for Content-Disposition header.
 994
 995         * test.c: Added test_parse_content_disposition to the list of unit
 996         tests to run.
 997
 998 2006-02-02  Hrvoje Niksic  <hniksic@xemacs.org>
 999
1000         * hash.c: Don't define countof if it's already defined.
1001
1002         * hash.c: Obtain the definition of uintptr_t when standalone.
1003
1004 2006-01-30  Mauro Tortonesi  <mauro@ferrara.linux.it>
1005
1006         * http.c: Changed output format. Removed excessively verbose debugging
1007         output.
1008
1009 2005-12-07  Mauro Tortonesi  <mauro@ferrara.linux.it>
1010
1011         * http.c: Fixed pre-download verbose output which was broken by
1012         HTTP code refactoring.
1013
1014 2005-11-23  Mauro Tortonesi  <mauro@ferrara.linux.it>
1015
1016         * http.c: Refactored HTTP code.  If -O is not used, the new code
1017         delays the choice of the file name where the downloaded resource
1018         will be saved until the HTTP headers have been retrieved.
1019         Added support for Content-Disposition header.
1020
1021 2005-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
1022
1023         * hash.c (INVALID_PTR): Use uintptr_t instead of unsigned long.
1024         (hash_pointer): Don't assume a pointer fits in `unsigned long'.
1025
1026 2005-11-02  Mauro Tortonesi  <mauro@ferrara.linux.it>
1027
1028         * Makefile.in: Removed support for unit testing (now it is in
1029         tests/Makefile.in).
1030
1031 2005-10-27  Mauro Tortonesi  <mauro@ferrara.linux.it>
1032
1033         * Makefile.in: Added basic support for unit testing.
1034
1035         * test.c: Ditto.
1036
1037         * test.h: Ditto.
1038
1039 2005-10-13  Daniel Stenberg  <daniel@haxx.se>
1040
1041         * http-ntlm.c (ntlm_output): Fixed buffer overflow vulnerability.
1042
1043 2005-10-09  Russ Allbery  <rra@stanford.edu>
1044
1045         * snprintf.c: Remove round to round_int and pow10 to pow10_int, to
1046         avoid warnings from GCC 4.0.
1047
1048 2005-10-05  Mauro Tortonesi  <mauro@ferrara.linux.it>
1049
1050         * retr.c: Changed semantics of no_proxy_match.
1051
1052 2005-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
1053
1054         * main.c (main): Don't print the summary if nothing has been downloaded.
1055
1056 2005-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
1057
1058         * retr.c (retr_rate): Rename parameter from MSECS to SECS since it
1059         no longer holds milliseconds.
1060
1061 2005-09-01  Hrvoje Niksic  <hniksic@xemacs.org>
1062
1063         * progress.c: Introduce symbolic constants for "magic" values of
1064         0.2 and 0.9, REFRESH_INTERVAL and ETA_REFRESH_INTERVAL.
1065
1066 2005-08-27  Hrvoje Niksic  <hniksic@xemacs.org>
1067
1068         * cmpt.c (strtoll): Correctly handle strtoll("0x", ptr, 0) and
1069         strtoll("0x<nonhexchar>", ptr, 0) -- in both cases *ptr must be
1070         set to the position of 'x', not after it.
1071
1072 2005-08-27  Hrvoje Niksic  <hniksic@xemacs.org>
1073
1074         * hash.c (hash_table_map): Rename to hash_table_for_each and
1075         update callers.
1076         Document the meaning of the callback's return value.
1077         (hash_table_iterate): New function.
1078         (hash_table_iter_next): Likewise.
1079         Update most places that used hash_table_for_each to use the
1080         iteration, which doesn't require a temporary function with
1081         explicit state management.
1082
1083 2005-08-26  Albert Chin  <wget@mlists.thewrittenword.com>
1084
1085         * Makefile.in: Use @datadir@.  Define localedir as $(datadir)/locale.
1086
1087 2005-08-26  Jeremy Shapiro  <jnshapiro@gmail.com>
1088
1089         * openssl.c (ssl_init): Set SSL_MODE_AUTO_RETRY.
1090
1091 2005-08-23  Hrvoje Niksic  <hniksic@xemacs.org>
1092
1093         * host.c (address_list_from_ipv4_addresses): Use IP_INADDR_DATA.
1094
1095 2005-08-12  Hrvoje Niksic  <hniksic@xemacs.org>
1096
1097         * wget.h: Renamed strtoll_return to strtoll_type.
1098
1099 2005-08-11  Hrvoje Niksic  <hniksic@xemacs.org>
1100
1101         * progress.c (eta_to_human_short): Switch to days when printing
1102         more than 48h rather than 100h.  (It's not immediately apparent
1103         how many days there are in 83h.)
1104
1105 2005-08-11  Hrvoje Niksic  <hniksic@xemacs.org>
1106
1107         * cmpt.c (strtoll): Define it if missing on the system and if Wget
1108         needs it.
1109
1110         * mswindows.c (str_to_int64): Move to cmpt.c and rename to strtoll.
1111
1112 2005-08-10  Hrvoje Niksic  <hniksic@xemacs.org>
1113
1114         * host.c (print_address): Always use inet_ntop when IPv6 is
1115         enabled.
1116
1117         * host.h (ip_address): Simplify the data union.
1118
1119 2005-08-09  Hrvoje Niksic  <hniksic@xemacs.org>
1120
1121         * mswindows.c (inet_ntop): Also handle IPv4 addresses for
1122         completeness.
1123
1124 2005-08-09  Hrvoje Niksic  <hniksic@xemacs.org>
1125
1126         * http.c (gethttp): Don't read more than the amount of data
1127         specified by the content-length header.
1128
1129 2005-08-09  Vasil Dimov  <vd@datamax.bg>
1130
1131         * ftp.c (getftp): Don't free RESPLINE if ftp_response returns a
1132         status other than FTPOK.
1133
1134 2005-08-04  Giuseppe Bonacci  <g.bonacci@libero.it>
1135
1136         * ftp-ls.c (ftp_parse_unix_ls): Remember the position of the
1137         previous token instead of backtracking back to it.
1138
1139 2005-07-08  Gisle Vanem  <giva@bgnett.no>
1140
1141         * mswindows.h: Include process.h to get getpid() declaration.
1142
1143 2005-07-08  Hrvoje Niksic  <hniksic@xemacs.org>
1144
1145         * utils.c (aprintf): Use vasprintf where available.
1146
1147 2005-07-08  Hrvoje Niksic  <hniksic@xemacs.org>
1148
1149         * url.c (rewrite_shorthand_url): Simplify code using aprintf and
1150         strspn.
1151
1152 2005-07-07  Hrvoje Niksic  <hniksic@xemacs.org>
1153
1154         * gnutls.c (ssl_check_certificate): Check for the validity of the
1155         presented X509 certificate.
1156
1157 2005-07-07  Hrvoje Niksic  <hniksic@xemacs.org>
1158
1159         * openssl.c (ssl_check_certificate): Print custom error messages
1160         for frequent X509 certificate problems.
1161
1162 2005-07-07  Hrvoje Niksic  <hniksic@xemacs.org>
1163
1164         * mswindows.h: Define an alias for stat and fstat, as requested by
1165         config-compiler.h.
1166         (gai_strerror): Define to windows_strerror if NEED_GAI_STRERROR is
1167         defined.
1168
1169 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
1170
1171         * mswindows.h: Use strtoll where available.
1172
1173 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
1174
1175         * sysdep.h: Add a full declaration of fnmatch.h.
1176
1177 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
1178
1179         * utils.c: Unconditionally include <setjmp.h>.
1180
1181 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
1182
1183         * utils.c (fnmatch_nocase): New function.
1184         (proclist): Use it instead of fnmatch when opt.ignore_case is
1185         requested.
1186         (in_acclist): Respect opt.ignore_case.
1187         (frontcmp): Respect opt.ignore_case.
1188
1189         * options.h (struct options): New flag opt.ignore_case.
1190
1191 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
1192
1193         * ptimer.c: Measure time in seconds rather than milliseconds.
1194         Adjusted all callers.
1195
1196 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
1197
1198         * http.c (gethttp): When freeing MESSAGE, take into account that
1199         it can be NULL.
1200
1201 2005-07-05  Hrvoje Niksic  <hniksic@xemacs.org>
1202
1203         * cmpt.c (timegm): Handle years after 2099.
1204
1205 2005-07-05  Hrvoje Niksic  <hniksic@xemacs.org>
1206
1207         * cmpt.c (timegm): Remove unused variable.
1208
1209 2005-07-05  Hrvoje Niksic  <hniksic@xemacs.org>
1210
1211         * cmpt.c (timegm): Don't call mktime; simply count the seconds
1212         between 1970-01-01 and the specified date.
1213
1214 2005-07-05  Hrvoje Niksic  <hniksic@xemacs.org>
1215
1216         * wget.h (or): Define HAVE_SSL when either HAVE_OPENSSL or
1217         HAVE_GNUTLS are defined.
1218
1219         * gnutls.c: New file.
1220
1221 2005-07-05  Hrvoje Niksic  <hniksic@xemacs.org>
1222
1223         * http.c (gethttp): Don't print the request write error message
1224         twice.
1225
1226 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
1227
1228         * openssl.c (openssl_errstr): Instead of always using a large
1229         static buffer, only allocate the error string when there is an
1230         actual error.
1231
1232 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
1233
1234         * xmalloc.c (debugging_free): Prefix hex pointer value with "0x"
1235         when printing.
1236
1237 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
1238
1239         * utils.c (NEXT_BASE64_CHAR): Rename to NEXT_CHAR and simplify to
1240         get the next non-whitespace character.
1241
1242 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
1243
1244         * utils.c (base64_decode): Don't silently tolerate non-base64
1245         non-white-space characters in the base64 stream.
1246
1247 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
1248
1249         * connect.c (LAZY_RETRIEVE_INFO): Make last_tick unsigned to match
1250         transport_map_modified_tick.
1251
1252 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
1253
1254         * config-post.h (alloca): Updated declaration to not enumerate all
1255         Windows compilers.
1256
1257 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
1258
1259         * openssl.c (openssl_errstr): Separate error messages with "; ".
1260
1261 2005-07-03  Hrvoje Niksic  <hniksic@xemacs.org>
1262
1263         * ftp.c (getftp): Ditto.
1264
1265         * http.c (gethttp): Use fd_errstr.
1266
1267         * connect.c (fd_register_transport): Restructure parameters to
1268         include only a single structure that describes transport
1269         implementation.
1270
1271         * openssl.c (openssl_errstr): New function: dump SSL error strings
1272         into a static buffer and return a pointer to the buffer.
1273
1274         * connect.c (fd_errstr): New function; returns transport-specific
1275         error message, or strerror(errno) if transport doesn't supply one.
1276
1277 2005-07-03  Hrvoje Niksic  <hniksic@xemacs.org>
1278
1279         * mswindows.h: Also wrap accept() and listen().
1280
1281 2005-07-03  Hrvoje Niksic  <hniksic@xemacs.org>
1282
1283         * url.c (path_end): Skip separators appropriate for the scheme.
1284         (strpbrk_or_eos): Remove gcc-specific version, as the optimization
1285         it tried to perform no longer applies.
1286
1287 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
1288
1289         * host.c: Don't include "connect.h" now that we no longer have
1290         socket_has_inet6.
1291
1292 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
1293
1294         * host.c: Remove extraneous definition of netdb.h.
1295
1296 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
1297
1298         * http.c (gethttp): Skip error message body in the keep-alive
1299         case.
1300
1301 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
1302
1303         * url.c (url_parse): Would crash when parsing fragments.  Support
1304         fragments for FTP URLs too.
1305
1306 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
1307
1308         * version.c: Don't use "cvs" in version name, since we're not
1309         using CVS anymore.
1310
1311 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
1312
1313         * progress.c (create_image): Ditto.
1314
1315         * retr.c (retr_rate): Display smaller rate numbers with greater
1316         precision.
1317
1318 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
1319
1320         * http.c (response_head_terminator): Minor optimization.
1321
1322         * retr.c (fd_read_hunk): Call terminator with pointer to the start
1323         of the data and the pointer to the current data.  Changed all
1324         callers.
1325
1326 2005-07-01  Hrvoje Niksic  <hniksic@xemacs.org>
1327
1328         * url.c (url_parse): Make sure u->params is not initialized for
1329         http/https URLs.
1330         (url_parse): Don't crash on garbage following []-delimited IPv6
1331         addresses.
1332
1333 2005-07-01  Hrvoje Niksic  <hniksic@xemacs.org>
1334
1335         * main.c (print_help): Don't refer to the non-existent -nr in
1336         description of --mirror.
1337
1338 2005-06-30  Hrvoje Niksic  <hniksic@xemacs.org>
1339
1340         * host.c (pretty_print_address): Renamed to just print_address.
1341         Clarify documentation.
1342
1343 2005-06-30  Hrvoje Niksic  <hniksic@xemacs.org>
1344
1345         * http.c (gethttp): Explicitly document the different cases when
1346         generating the Host header.
1347
1348 2005-06-30  Hrvoje Niksic  <hniksic@xemacs.org>
1349
1350         * host.c (pretty_print_address): Handle error result from
1351         inet_ntop.
1352
1353 2005-06-30  Gisle Vanem  <giva@bgnett.no>
1354
1355         * mswindows.c (inet_ntop): New function.  Print IPv6 addresses
1356         using WSAAddressToString.
1357
1358 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
1359
1360         * progress.c (dot_update): Remove unused variable row_qty.
1361
1362 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
1363
1364         * main.c: Check for both SIGHUP and SIGUSR1 before using them.
1365
1366 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
1367
1368         * utils.c: Unconditionally include locale.h.
1369
1370 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
1371
1372         * ptimer.c: Include sys/time.h to get struct timeval.
1373
1374 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
1375
1376         * wget.h: Remove obsolete definition of with_thousand_seps_sum.
1377
1378 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
1379
1380         * gnu-md5.h: Unconditionally include limits.h.
1381
1382 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
1383
1384         * utils.c (random_number): Use lrand48 if available.
1385         (random_float): Use drand48 if available.
1386
1387 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
1388
1389         * main.c (secs_to_human_time): Use print_decimal when printing
1390         total download time in seconds.
1391
1392         * progress.c (print_row_stats): Use it to print total download
1393         time at the end of the download.
1394         (create_image): Ditto.
1395
1396         * utils.c (print_decimal): New function; print small decimal
1397         numbers with more precision than large ones.
1398
1399         * progress.c (print_row_stats): New function.  Print ETA after the
1400         download rate at the end of each row.
1401
1402 2005-06-28  Hrvoje Niksic  <hniksic@xemacs.org>
1403
1404         * init.c (parse_line): Check for alphanumerics.
1405
1406 2005-06-28  Hrvoje Niksic  <hniksic@xemacs.org>
1407
1408         * (dot_create): Remove unnecessary casts.
1409
1410 2005-06-28  Hrvoje Niksic  <hniksic@xemacs.org>
1411
1412         * ftp.c (getftp): Delete trailing newlines from LIST output so
1413         lines don't come out with trailing \015\012 with -S.
1414
1415 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
1416
1417         * mswindows.h: Remove superfluous includes.
1418
1419 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
1420
1421         * config-post.h (alloca): Amend alloca declaration to take care of
1422         all Win32 compilers, not just MSVC and MinGW.
1423
1424 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
1425
1426         * utils.c (get_grouping_data): Force separator to "." rather than
1427         " " when "," is taken.
1428
1429 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
1430
1431         * wget.h (PTR_FORMAT): Cast the result of sizeof to int before
1432         passing it to printf's %*.
1433
1434         * retr.h: Declare output_stream and output_stream_regular.
1435
1436         * ftp.h: Declare ftp_last_respline.
1437
1438         * convert.h: Declare dl_url_file_map.
1439
1440         * http.h: New file.
1441
1442 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
1443
1444         * cookies.c: Make cookies_now static.
1445
1446 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
1447
1448         * utils.c (human_readable): Remove intermediary cast to long; MSVC
1449         has problems casting *unsigned* __int64 to double.
1450
1451 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
1452
1453         * sysdep.h: Use the system-provided fnmatch by default.
1454
1455 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
1456
1457         * http.c (mktime_from_utc): Renamed to timegm and moved to cmpt.c.
1458         Don't compile it if GNU timegm is available.
1459         (http_atotm): Use timegm.
1460
1461 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
1462
1463         * http.c (http_atotm): Correctly query the old locale value.
1464
1465 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
1466
1467         * config-post.h (alloca): Don't #define alloca under MinGW32,
1468         which defines it in malloc.h, included from mswindows.h.
1469
1470 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
1471
1472         * utils.c (get_grouping_data): Force the use of separators in C
1473         locale.
1474
1475 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
1476
1477         * main.c (i18n_initialize): Set all locale categories.
1478
1479         * http.c (http_atotm): Temporarily set locale to "C".
1480
1481 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
1482
1483         * http.c (gethttp): Improve "POST data file missing" error
1484         message.
1485
1486 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
1487
1488         * progress.c (set_progress_implementation): Type COLON as const
1489         char *.
1490
1491 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
1492
1493         * utils.c (with_thousand_seps): Handle negative numbers.
1494
1495 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
1496
1497         * progress.c (create_image): Mark the "eta" string for translation.
1498
1499 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
1500
1501         * html-url.c (get_urls_file): Don't explicitly set entry->next to
1502         NULL since entry is already zeroed out.
1503
1504 2005-06-26  Gisle Vanem  <giva@bgnett.no>
1505
1506         * mswindows.h: Define gai_strerror under MinGW.
1507
1508 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
1509
1510         * utils.c (with_thousand_seps): Correctly implement thousand seps
1511         consisting of more than one character.
1512
1513 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
1514
1515         * main.c (secs_to_human_time): Ditto.
1516
1517         * progress.c (create_image): Print more exact duration of very
1518         short downloads.
1519
1520         * main.c (secs_to_human_time): Don't translate time suffixes "h",
1521         "m", and "s", which are not strictly SI, but are "accepted for use
1522         with SI".
1523         (secs_to_human_time): Print really small intervals as 0s, not
1524         0.00s.
1525
1526 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
1527
1528         * config-post.h: Replace the alloca declaration with the one from
1529         the latest Autoconf manual.  This should remove a warning with GCC
1530         on AIX.
1531
1532 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
1533
1534         * ftp.c (getftp): Always invoke SIZE, not only when continuing a
1535         download.
1536
1537         * main.c (main): Ditto here.
1538
1539         * progress.c (create_image): When the download is finished, print
1540         how long it took.
1541
1542 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
1543
1544         * main.c (main): Print the downloaded and quota amounts with the
1545         "human_readable" function.
1546
1547         * ftp.c (print_length): Ditto.
1548
1549         * http.c (gethttp): Don't display thousand separators.
1550
1551         * utils.c (with_thousand_seps): Rewritten to respect locale
1552         settings and to be type size agnostic.
1553
1554 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
1555
1556         * utils.c (human_readable): Divide with 1024 instead of shifting
1557         so the operation can work with non-integer N.
1558
1559 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
1560
1561         * progress.c (eta_to_human): New logic for more human-readable
1562         ETA.
1563
1564 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
1565
1566         * utils.c (with_thousand_seps_sum): Decrease buffer size so it
1567         cannot overrun add_thousand_seps's buffer.
1568
1569 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
1570
1571         * utils.c (SPRINTF_WGINT): The correct format is %I64d, not just
1572         %I64.
1573
1574 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
1575
1576         * http.c (http_loop): Don't warn about wildcards in HTTP URLs if
1577         globbing isn't requested in the first place.
1578
1579         * retr.c (retrieve_url): Temporarily turn off globbing when
1580         processing HTTP->FTP redirects.
1581
1582 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
1583
1584         * utils.c (with_thousand_seps_sum): Now defined only if
1585         SUM_SIZE_INT is double.
1586
1587         * wget.h (SUM_SIZE_INT): Instead of bothering with long, long
1588         long, __int64, and friends, simply either use wgint or double, end
1589         of story.  Since we know how to print either, we no longer need
1590         LARGE_INT_FMT.
1591
1592         * sysdeps.h (LARGE_INT): Renamed to SUM_SIZE_INT to better reflect
1593         its intent, and moved to wget.h.
1594
1595 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
1596
1597         * Makefile.in: No need to clean .libs.
1598
1599 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
1600
1601         * cookies.c (parse_set_cookies): Cast pointer subtraction to int
1602         before using it with %d; AIX compiler warns on this.
1603         Reported by Jens Schleusener.
1604
1605 2005-06-24  Hrvoje Niksic  <hniksic@xemacs.org>
1606
1607         * http.c (gethttp): Don't prepend / here.
1608
1609         * cookies.c (cookie_handle_set_cookie): Prepend / to PATH.
1610         (cookie_header): Ditto.
1611
1612 2005-06-24  Hrvoje Niksic  <hniksic@xemacs.org>
1613
1614         * init.c: opt.verbose must be declared as int.
1615
1616 2005-06-23  Hrvoje Niksic  <hniksic@xemacs.org>
1617
1618         * cmpt.c (strpbrk): Removed.
1619         (mktime): Removed.
1620         Include <time.h>.
1621
1622 2005-06-23  Hrvoje Niksic  <hniksic@xemacs.org>
1623
1624         * utils.c (read_file): Ditto.
1625
1626         * main.c (main): Use struct_fstat.
1627
1628         * mswindows.h (struct_fstat): Define a struct_fstat to deal with
1629         the fact that Borland 5.5 has 64-bit stat, but not 64-bit fstat!
1630
1631 2005-06-23  Hrvoje Niksic  <hniksic@xemacs.org>
1632
1633         * sysdep.h: Remove code that deals with Watcom.
1634
1635 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
1636
1637         * all: Use bool instead of int and false/true instead of 0/non-0
1638         for boolean variables and values.
1639
1640 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
1641
1642         * sysdep.h: Include the stdbool.h/_Bool/bool blurb from Autoconf.
1643
1644 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
1645
1646         * init.c (cmd_lockable_boolean): Removed.
1647
1648 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
1649
1650         * cookies.c (struct cookie): Use 1-bit bitfields for booleans
1651         which makes the structure takes less space at no cost in
1652         complexity.
1653
1654 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
1655
1656         * Makefile.in ($(OBJ)): Add the config.h dependency.
1657
1658 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
1659
1660         * openssl.c, connect.c, host.c: Replace instances of #ifdef
1661         ENABLE_DEBUG if (opt.debug) {...} #endif with IF_DEBUG {...}.
1662
1663         * main.c: Rename the IF_DEBUG defined here to WHEN_DEBUG.
1664
1665         * wget.h (IF_DEBUG): New macro.
1666         (DEBUGP): Define in terms of IF_DEBUG.
1667
1668 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
1669
1670         * http.c (gethttp): Only handle --set-cookies (and assert that
1671         cookie jar exists) if opt.cookies is true.  Failure to do so
1672         triggered the assert when --no-cookies was used and the server
1673         sent a Set-Cookie header.  Ouch!
1674
1675 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
1676
1677         * connect.c (select_fd): Expect select() to exist.
1678
1679         * utils.c (xsleep): Always use select() as sleep fallback on
1680         non-Windows platforms.
1681
1682         * ptimer.c: Delete the implementation of PTIMER_TIME.
1683
1684         * main.c: Assume existence of signal(), test for different signal
1685         names instead.
1686
1687         * cmpt.c: Better document reasons why certain functions are
1688         included.
1689
1690 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
1691
1692         * Makefile.in: Remove the manually maintained dependency list;
1693         make all object files depend on every header.
1694
1695 2005-06-20  Hrvoje Niksic  <hniksic@xemacs.org>
1696
1697         * hash.c: Rename "mapping" to "cell" to avoid confusion with the
1698         term "mapping" (or "map") sometimes being used for the entire hash
1699         table.  Also rename "non-empty" to "occupied" for easier reading
1700         of if (!NON_EMPTY (...)) ... .
1701
1702 2005-06-20  Hrvoje Niksic  <hniksic@xemacs.org>
1703
1704         * main.c, ptimer.c, sysdep.h, utils.c: Use #elif to simplify reading of
1705         chained if-else-else-else-... statements.
1706
1707 2005-06-20  Hrvoje Niksic  <hniksic@xemacs.org>
1708
1709         * all: Return type of signal handlers is `void'.  Include signal.h
1710         unconditionally.
1711
1712         * all: Don't explicitly cast values returned by malloc.  We no
1713         longer support ancient compilers that don't declare malloc, and we
1714         never supported C++ builds.
1715
1716 2005-06-19  Hrvoje Niksic  <hniksic@xemacs.org>
1717
1718         * all: Don't declare errno.  Include both time.h and sys/time.h,
1719         as long as sys/time.h exists.  Don't dereference function pointers
1720         when invoking the functions they point to.
1721
1722         * cmpt.c (memmove): Remove function mandated by C89.
1723         (strerror): Ditto.
1724         (strstr): Ditto.
1725
1726         * all: Undo the K&R-ization changes from 2005-05-03.
1727
1728         * all: Remove support for K&R compilers: use C89 function
1729         declarations, remove definition of PARAMS, remove support for
1730         varargs, and remove ansi2knr.  Assume the presence of time.h,
1731         string.h, and other headers mandated by C89.
1732
1733 2005-06-19  Hrvoje Niksic  <hniksic@xemacs.org>
1734
1735         * init.c (cmd_lockable_boolean): Don't recognize literal "2" and
1736         "-1" values; unlike 0 and 1, those should never be exposed to the
1737         user.  Update the error message to be more self-consistent, as
1738         proposed by Benno Schulenberg.
1739
1740 2005-06-18  Hrvoje Niksic  <hniksic@xemacs.org>
1741
1742         * http.c (gethttp): Don't free "head" before using it to save
1743         headers.
1744
1745 2005-06-18  Hrvoje Niksic  <hniksic@xemacs.org>
1746
1747         * http.c (gethttp): When -E is in use, check for file existence
1748         after appending ".html" to the name and modify the file name if
1749         necessary.
1750
1751 2005-06-17  Hrvoje Niksic  <hniksic@xemacs.org>
1752
1753         * connect.c (socket_has_inet6): Removed.
1754
1755         * host.c (lookup_host): Don't use the AI_ADDRCONFIG getaddrinfo
1756         hint.
1757
1758 2005-06-16  Hrvoje Niksic  <hniksic@xemacs.org>
1759
1760         * init.c (cmd_lockable_boolean): Improve the error message so it
1761         lists the more useful values first.
1762
1763 2005-06-15  Hrvoje Niksic  <hniksic@xemacs.org>
1764
1765         * http.c (gethttp): Also report the system error when the POST
1766         data file is missing.
1767
1768 2005-06-15  Benno Schulenberg  <benno@nietvergeten.nl>
1769
1770         * ftp.c, http.c, connect.c, cookies.c, html-url.c, init.c, res.c:
1771         Gettext-ize messages that were previously missed.
1772
1773 2005-06-15  Hrvoje Niksic  <hniksic@xemacs.org>
1774
1775         * host.h (ip_address): Remove the trailing comma from the type
1776         enum in the no-IPv6 case.
1777
1778         * main.c (struct cmdline_option): Remove the trailing comma from
1779         the enum.
1780
1781         Reported by Jens Schleusener.
1782
1783 2005-05-30  Hrvoje Niksic  <hniksic@xemacs.org>
1784
1785         * url.c (strpbrk_or_eos): Check for a recent GCC version before
1786         using the statement-as-expression extension.
1787
1788 2005-05-30  Hrvoje Niksic  <hniksic@xemacs.org>
1789
1790         * http.c (gethttp): Don't attempt to "skip short body" if we're
1791         issuing a HEAD request (in which case the response head is not
1792         followed by a body).
1793
1794 2005-05-30  Hrvoje Niksic  <hniksic@xemacs.org>
1795
1796         * init.c (cmd_spec_header): Don't split the string along the
1797         commas using cmd_vector; just append the new value using
1798         vec_append instead.
1799
1800         * utils.c (vec_append): New function.
1801
1802 2005-05-27  Andreas Beckmann  <debian@abeckmann.de>
1803
1804         * html-url.c (tag_handle_link): Mark the content from the <link
1805         src="..."> tag as expecting HTML.
1806
1807 2005-05-24  Hrvoje Niksic  <hniksic@xemacs.org>
1808
1809         * http.c (http_atotm): Document the origin of the "cookie date"
1810         format.
1811
1812 2005-05-21  Hrvoje Niksic  <hniksic@xemacs.org>
1813
1814         * init.c (setval_internal): Report exact command name alongside
1815         the "display name".
1816
1817 2005-05-18  Hrvoje Niksic  <hniksic@xemacs.org>
1818
1819         * cookies.c (update_cookie_field): Explicitly cast -1 to time_t to
1820         cope with systems where time_t is unsigned.
1821
1822         * cookies.c: Remove unnecessary casts to time_t from values
1823         already of that type.
1824
1825 2005-05-17  Hrvoje Niksic  <hniksic@xemacs.org>
1826
1827         * ftp.c (ftp_loop_internal): Same here.
1828
1829         * http.c (http_loop): Don't clobber the file when -c is specified
1830         and the first attempt to retrieve the file fails.
1831
1832 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
1833
1834         * openssl.c (ssl_check_certificate): Print all issues with a
1835         certificate.
1836
1837 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
1838
1839         * ftp-basic.c: Don't xfree() the line returned by ftp_response if
1840         the returned code is not FTPOK.
1841
1842 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
1843
1844         * init.c (cleanup): Don't free the non-existent opt.ftp_acc.  Free
1845         the SSL-related stuff.
1846
1847 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
1848
1849         * ftp.c (print_length): Consistently print \n at end of the
1850         "Length" line.
1851
1852 2005-05-14  Hrvoje Niksic  <hniksic@xemacs.org>
1853
1854         * openssl.c (ssl_connect): Announce the beginning and the end of
1855         the SSL handshake when in debug mode.
1856
1857         * wget.h (PTR_FORMAT): New macro for easier printing of pointer
1858         values.  Use %0*lx along with PTR_FORMAT instead of %p.
1859
1860 2005-05-14  Hrvoje Niksic  <hniksic@xemacs.org>
1861
1862         * http.c (gethttp): Would forget to close the connection when
1863         keep_alive was not used.
1864
1865 2005-05-13  Hrvoje Niksic  <hniksic@xemacs.org>
1866
1867         * openssl.c (pattern_match): Document the code that decides
1868         whether "*" matches ".".
1869
1870 2005-05-12  Hrvoje Niksic  <hniksic@xemacs.org>
1871
1872         * ftp-ls.c (ftp_index): Use %d to print the port number, which is
1873         now int.
1874         From Steven M. Schweda's VMS patches.
1875
1876 2005-05-12  Hrvoje Niksic  <hniksic@xemacs.org>
1877
1878         * url.c (rewrite_shorthand_url): Don't rewrite "https://host" to
1879         "ftp://https//host" when SSL is not used.
1880
1881 2005-05-11  Hrvoje Niksic  <hniksic@xemacs.org>
1882
1883         * openssl.c (ssl_check_server_identity): Renamed to
1884         ssl_check_certificate because it does more than just checking the
1885         server's identity.
1886         (ssl_check_certificate): Tell the user about
1887         --no-check-certificate.
1888
1889 2005-05-11  Hrvoje Niksic  <hniksic@xemacs.org>
1890
1891         * openssl.c (ssl_init): Always use SSL_VERIFY_NONE, so that the
1892         handshake finishes even if the certificate is invalid.  That way
1893         ssl_check_server_identity can provide better diagnostics on why
1894         the verification failed.
1895
1896 2005-05-11  Hrvoje Niksic  <hniksic@xemacs.org>
1897
1898         * openssl.c (pattern_match): New function.
1899         (ssl_check_server_identity): Treat peer certificate common name as
1900         wildcard.
1901
1902 2005-05-10  Hrvoje Niksic  <hniksic@xemacs.org>
1903
1904         * openssl.c (ssl_check_server_identity): Print certificate subject
1905         and issuer.
1906
1907 2005-05-10  Hrvoje Niksic  <hniksic@xemacs.org>
1908
1909         * res.c (res_register_specs): Correctly pass pointers to
1910         hash_table_get_pair.
1911
1912 2005-05-10  Hrvoje Niksic  <hniksic@xemacs.org>
1913
1914         * http.c (gethttp): Call ssl_check_server_identity.
1915
1916         * openssl.c (ssl_check_server_identity): New function, verifies
1917         that the host name in the certificate matches the actual host
1918         name.
1919         (verify_cert_callback): Removed, since it didn't do anything
1920         except returning the preverify_ok argument.
1921
1922         * connect.c (fd_transport_context): Allow retrieval of the context
1923         pointer registered with fd_register_transport.
1924
1925 2005-05-09  Hrvoje Niksic  <hniksic@xemacs.org>
1926
1927         * openssl.c (verify_cert_callback): Renamed from verify_callback.
1928         Always return the received "ok" value.  Print the X509 name in
1929         debug mode.
1930         (ssl_init): Enable partial writes in SSL context.
1931
1932 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
1933
1934         * http.c (http_loop): Check for wildcards in the URL path
1935         component, not in the whole URL.
1936
1937         * ftp.c (ftp_loop): Check for wildcards in URL path before
1938         unescaping, so the users can escape globbing metacharacters with %
1939         escapes.
1940
1941 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
1942
1943         * init.c (run_command): Correctly interpret the return value of
1944         parse_line.
1945         (commands): Re-alphabetize.
1946
1947 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
1948
1949         * netrc.c (parse_netrc): Explicitly check for assignment != NULL
1950         to silence warning from Borland C.
1951
1952         * url.c (sync_path): Don't unnecessarily increment p.
1953         (url_parse): Don't unnecessarily set url_encode to NULL just
1954         prior to return from the function.
1955
1956 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
1957
1958         * log.c (escnonprint_internal): Place variable declarations
1959         before other statements.
1960
1961 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
1962
1963         * html-url.c: Include recur.h.
1964
1965         * http.c (request_new): Define as accepting no args.
1966
1967 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
1968
1969         * url.c (strpbrk_or_eos): Made inline.  Use strchr(s, '\0') for
1970         finding the NUL char position.
1971
1972 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
1973
1974         * url.c (decide_copy_method): Renamed to char_needs_escaping.
1975         Since it now returns only two possible values, change it to return
1976         boolean (int).
1977
1978 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
1979
1980         * ftp-basic.c (ftp_request): Prevent newlines in VALUE causing
1981         inadvertent sending of multiple FTP commands.
1982
1983 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
1984
1985         * url.c (decide_copy_method): Never cause reencode_escapes to
1986         decode % escapes; it is too intrusive and breaks some servers.
1987
1988 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
1989
1990         * http.c (gethttp): When tunnelling SSL traffic over proxy with
1991         CONNECT, we're really talking to the remote server directly.
1992         Because of this, the request-line argument must be the URL path
1993         rather than the whole URL, as it would be when using regular
1994         proxies.
1995         Reported by Charles Lane.
1996
1997 2005-05-06  Hrvoje Niksic  <hniksic@xemacs.org>
1998
1999         * init.c (cmd_spec_useragent): Allow empty User-Agent.
2000
2001         * http.c (gethttp): Don't print "unknown authentication scheme"
2002         for failed Basic authentication.
2003         (SET_USER_AGENT): Don't set user-agent if opt.useragent is empty.
2004         (gethttp): Use alloca for allocation of www_authenticate.
2005
2006 2005-05-06  Hrvoje Niksic  <hniksic@xemacs.org>
2007
2008         * main.c (print_help): Fix wording of --secure-protocol help text.
2009
2010 2005-05-06  Hrvoje Niksic  <hniksic@xemacs.org>
2011
2012         * cmpt.c (strstr): Updated from glibc 2.3.5.
2013
2014 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
2015
2016         * http.c (http_atotm): Zero out the whole struct tm being passed
2017         to strptime.
2018
2019 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
2020
2021         * main.c (main): Propagate option name to setoptval.
2022
2023         * init.c (setoptval): Accept another argument, OPTNAME.  Propagate
2024         that argument as the option name independently of the actual
2025         command, determined by command_by_name(com).
2026
2027 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
2028
2029         * init.c (parse_line): Make the return value indicate whether
2030         there was a syntax error or a setter failed.
2031         (run_wgetrc): Return an indication on whether an error has been
2032         encountered.
2033         (initialize): Abort if there have been errors running either
2034         .wgetrc file.
2035
2036 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
2037
2038         * log.c (copy_and_escape): Slightly reduce code repetition between
2039         the two loops.
2040
2041 2005-05-05  Charles C.Fu  <ccwf@bacchus.com>
2042
2043         * utils.c (proclist): Strip leading slash when calling fnmatch
2044         too, otherwise wildcard comparisons always fail.
2045
2046 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
2047
2048         * utils.c (touch): Set access time to current time.
2049
2050 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
2051
2052         * url.c (url_unescape): Don't unescape %00, it effectively
2053         truncates the string.
2054
2055 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
2056
2057         * log.c (copy_and_escape): Replace the FOR_URI argument with a
2058         slightly more general mechanism for specifying different kinds of
2059         escape.
2060
2061 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
2062
2063         * ftp-basic.c (ftp_response): Fix printing FTP server response.
2064
2065 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
2066
2067         * retr.c (limit_bandwidth_reset): Reset sleep_adjust.
2068         (limit_bandwidth): Don't allow huge "adjustment" values that
2069         result from being suspended for a while.
2070
2071 2005-05-04  Hrvoje Niksic  <hniksic@xemacs.org>
2072
2073         * wget.h: If gettext was found but libtintl.h wasn't, declare
2074         gettext's return type to avoid type mismatches.
2075
2076 2005-05-03  Hrvoje Niksic  <hniksic@xemacs.org>
2077
2078         * url.c (url_parse): Rename label `error' to avoid conflict with
2079         identifier.
2080
2081         * retr.c (fd_read_body): Rename label `out' to avoid conflict with
2082         identifier.
2083         (fd_read_hunk): Use explicit double constant.
2084         (retrieve_from_file): Don't use string concatenation.
2085         (sleep_between_retrievals): Make sure xsleep is called with a
2086         `double' argument.
2087         (no_proxy_match): Define as static, like it is declared.
2088
2089         * progress.c (bar_create): Use 0.0 instead of 0 because K&R
2090         compilers can't automatically promote it.
2091
2092         * http-ntlm.c (ntlm_output): Replace \xHH sequences with \OOO for
2093         the sake of old compilers.
2094
2095         * ftp.c (ftp_loop_internal): Don't use string concatenation.
2096
2097         * http.c (request_send): Use explicit double constants when
2098         calling fd_read and fd_write.
2099         (post_file): Ditto.
2100         (gethttp): Ditto.
2101         (skip_short_body): Ditto.
2102
2103         * ftp-basic.c: When calling fd_write, specify the last argument as
2104         a `double' constant for the sake of K&R compilers which don't see
2105         the prototype and therefore can't promote it to double
2106         automatically.
2107
2108         * cookies.c (cookie_jar_load): Rename abort label to abort_cookie
2109         to avoid name conflict in K&R compilers.
2110
2111 2005-04-29  Hrvoje Niksic  <hniksic@xemacs.org>
2112
2113         * ptimer.c (posix_init): Since we allow _POSIX_MONOTONIC_CLOCK==0,
2114         it is not enough to check for _POSIX_MONOTONIC_CLOCK-0, we must
2115         also check for defined(_POSIX_MONOTONIC_CLOCK).
2116
2117 2005-04-28  Hrvoje Niksic  <hniksic@xemacs.org>
2118
2119         * ftp.c, hash.c, connect.c, host.c, http.c: Remove unreached code,
2120         such as "break" following return or abort.
2121
2122 2005-04-28  Hrvoje Niksic  <hniksic@xemacs.org>
2123
2124         * init.c (commands): Wrap the use of opt.random_file in #ifdef
2125         HAVE_SSL.
2126
2127 2005-04-28  Hrvoje Niksic  <hniksic@xemacs.org>
2128
2129         * http.c (gethttp): Correctly set the user agent.
2130
2131 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
2132
2133         * init.c (cmd_spec_useragent): Free the old value of
2134         opt.useragent before setting the new one.
2135
2136 2005-04-27  Mauro Tortonesi  <mauro@ferrara.linux.it>
2137
2138         * main.c: Map --ftp-password, --http-password and --proxy-password to
2139         the new ftppassword, httppassword and proxypassword commands
2140         respectively.  Document the --user and --password options in the help
2141         string.
2142
2143 2005-04-27  Mauro Tortonesi  <mauro@ferrara.linux.it>
2144
2145         * ftp.c: Add support for --user and --password.
2146
2147         * http.c: Add support for --user and --password.
2148
2149         * init.c: Deprecated ftppasswd, httppasswd, login, passwd and
2150         proxypasswd commands.  Added ftppassword, ftpuser, httppassword,
2151         password, proxypassword and user commands.
2152
2153         * main.c: Renamed --ftp-passwd to --ftp-password.  Added --ftp-user,
2154         --http-password, --password, --proxy-password and --user.  Deprecated
2155         --http-passwd and --proxy-passwd.  Added documentation for new options
2156         and removed documentation for deprecated options in the help string.
2157
2158         * options.h (struct options): Added user and passwd members to handle
2159         --user and --password respectively.  Renamed ftp_acc and ftp_pass
2160         members to ftp_user and ftp_passwd for consistency.
2161
2162 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
2163
2164         * main.c (print_help): Advertise "DER", not "ASN1".
2165
2166 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
2167
2168         * openssl.c (init_prng): Disable the weak random seed by default.
2169
2170         * http.c (gethttp): Simplify SSL initialization; disable SSL when
2171         anything goes wrong with the initialization.
2172
2173         * options.h (struct options): New option opt.random_file.
2174
2175 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
2176
2177         * init.c: Wrap private key commands in IF_SSL.
2178
2179 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
2180
2181         * openssl.c (ssl_init): Ditto.
2182
2183         * options.h (struct options): Allow separate specification of key
2184         type and certificate type.
2185
2186         * init.c (cmd_spec_cert_type): Provide a "der" synonym for "asn1"
2187         certificate encoding.
2188
2189 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
2190
2191         * openssl.c: Renamed "gen_sslfunc.c" to "openssl.c" and
2192         "gen_sslfunc.h" to "openssl.h".  This reflects the intent of
2193         openssl.c encapsulating the OpenSSL-specific code.
2194
2195 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
2196
2197         * init.c: Renamed "closure" (a synonym for context in some
2198         cultures) to "place", which more accurately reflects the usage.
2199
2200 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
2201
2202         * gen_sslfunc.c (ssl_init): Use default locations for loading the
2203         certificate bundles.
2204         (ssl_init_prng): Disable the cryptographically weak PRNG
2205         initialization fallback.
2206
2207         * init.c: Renamed SSL command-line arguments and wgetrc commands.
2208         (defaults): Check the server certificate by default.
2209
2210 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
2211
2212         * cookies.c (cookie_handle_set_cookie): Delete the part of the
2213         path after the trailing slash.
2214
2215         * http.c (gethttp): Call cookie_handle_set_cookie with path that
2216         begins with '/'.
2217
2218 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
2219
2220         * http.c (gethttp): Call skip_short_body only if keep_alive is in
2221         use.
2222         (gethttp): Send the User-Agent header with the CONNECT request as
2223         well.
2224
2225 2005-04-25  Hrvoje Niksic  <hniksic@xemacs.org>
2226
2227         * main.c (option_data): Removed support for the undocumented flag
2228         --use-proxy.
2229
2230 2005-04-25  Hrvoje Niksic  <hniksic@xemacs.org>
2231
2232         * main.c (option_data): Don't treat -Y as a boolean switch; treat
2233         it as a value switch instead, so "-Y off" continues to work.
2234
2235 2005-04-24  Hrvoje Niksic  <hniksic@xemacs.org>
2236
2237         * utils.c (aprintf): Delete unreachable statement.
2238
2239 2005-04-24  Hrvoje Niksic  <hniksic@xemacs.org>
2240
2241         * host.c (cmp_prefer_ipv4): New function.
2242         (cmp_prefer_ipv6): New function.
2243         (lookup_host): Use the appropriate comparator according to
2244         opt.prefer_family.
2245
2246         * init.c: New option prefer_family.
2247
2248         * host.c (is_valid_ipv6_address): Spell NS_* constants in lower
2249         case to avoid clash with system headers.
2250         (lookup_host): Reorder the addresses so that IPv4 ones come first.
2251
2252         * utils.c (stable_sort): New function.
2253
2254 2005-04-24  Hrvoje Niksic  <hniksic@xemacs.org>
2255
2256         * connect.c (retryable_socket_connect_error): Return 0 for
2257         ENETUNREACH and EHOSTUNREACH.
2258
2259 2005-04-23  Hrvoje Niksic  <hniksic@xemacs.org>
2260
2261         * cmpt.c: Reenable the memmove implementation for systems that
2262         lack it.
2263
2264         * http.c (gethttp): Store the "authorized" state of the persistent
2265         connection.
2266         (request_remove_header): New function.
2267         (gethttp): Don't send the "Basic" authentication if the connection
2268         is already authorized.
2269
2270 2005-04-23  Hrvoje Niksic  <hniksic@xemacs.org>
2271
2272         * utils.c (base64_encode): Treat input as unsigned chars.
2273         Required for correct encoding of binary stuff.
2274
2275 2005-04-23  Hrvoje Niksic  <hniksic@xemacs.org>
2276
2277         * http-ntlm.c: Format the function definitions in an
2278         ansi2knr-friendly fashion.
2279
2280 2005-04-22  Hrvoje Niksic  <hniksic@xemacs.org>
2281
2282         * http.c (gethttp): Handle multiple WWW-Authentication headers,
2283         only one of which is recognized.  Those are sent by IIS with NTLM
2284         authorization.
2285         (create_authorization_line): Propagate information whether
2286         authorization is finished.
2287         (gethttp): Only stop authorization when it's really finished, not
2288         after fixed two steps.
2289
2290 2005-04-21  Hrvoje Niksic  <hniksic@xemacs.org>
2291
2292         * gen_sslfunc.c (ssl_init): Fix warning message text; mark the
2293         message as translatable.
2294
2295 2005-04-21  Hrvoje Niksic  <hniksic@xemacs.org>
2296
2297         * main.c (print_help): Print the EGD option outside the cluster of
2298         SSL options.
2299
2300 2005-04-21  Hrvoje Niksic  <hniksic@xemacs.org>
2301
2302         * http-ntlm.c (ntlm_output): Fix setting the domain.
2303         Suggested by Sami Krank.
2304
2305 2005-04-20  Mauro Tortonesi  <mauro@ferrara.linux.it>
2306
2307         * connect.c: Set IPV6_V6ONLY socket option when -6 switch is used.
2308
2309 2005-04-20  FUJISHIMA Satsuki  <sf@FreeBSD.org>
2310
2311         * http.c (request_set_header): Fix the check whether a new header
2312         needs to be allocated.
2313
2314 2005-04-18  Hrvoje Niksic  <hniksic@xemacs.org>
2315
2316         * utils.c (base64_encode): Use the parameter order that makes more
2317         sense.  Return the length of the base64 written.  Updated all
2318         callers.
2319
2320 2005-04-17  Hrvoje Niksic  <hniksic@xemacs.org>
2321
2322         * http.c (request_set_header): Free NAME when VALUE is NULL and
2323         freeing the header name is requested.
2324
2325 2005-04-17  Hrvoje Niksic  <hniksic@xemacs.org>
2326
2327         * snprintf.c (fmtstr): Declare VALUE as const char *.
2328         Based on patch by Russ Allbery.
2329
2330 2005-04-17  Hrvoje Niksic  <hniksic@xemacs.org>
2331
2332         * snprintf.c (fmtfp): More correct handling of significant digit
2333         count with %g -- 0.002 has one significant digit, not three.
2334
2335 2005-04-16  Hrvoje Niksic  <hniksic@xemacs.org>
2336
2337         * retr.c (fd_read_body): Respect read timeout with non-interactive
2338         or no progress gauge -- treat ETIMEDOUT specially only when
2339         progress_interactive.
2340         Reported by FUJISHIMA Satsuki.
2341
2342 2005-04-16  FUJISHIMA Satsuki  <sf@FreeBSD.org>
2343
2344         * http.c (gethttp): Don't use HTTP/1.0 persistent connections over
2345         proxy.
2346
2347 2005-04-16  Hrvoje Niksic  <hniksic@xemacs.org>
2348
2349         * snprintf.c: Use the PARAMS macro to handle prototypes.  Write
2350         function definitions in the ansi2knr-friendly way.
2351         (fmtstr): If string precision is specified, don't read VALUE past
2352         it.
2353         (dopr): Actually print %g and %e formats.
2354         (fmtfp): Fix a bug that caused 0.01 to be printed as 0.1.
2355         (fmtfp): Use LLONG in floating point conversions to be able to
2356         convert more digits.
2357         (fmtfp): Interpret precision as number of significant digits with
2358         %g.
2359         (fmtfp): Omit trailing decimal zeros with %g.
2360
2361         * snprintf.c: Don't include <ctype.h> because none of it is used.
2362         Include strings.h/string.h, as per Autoconf.
2363
2364 2005-04-15  Hrvoje Niksic  <hniksic@xemacs.org>
2365
2366         * ptimer.c: Use _POSIX_TIMERS - 0 > 0, which handles the case when
2367         _POSIX_TIMERS is defined but empty, as well as the case when it is
2368         undefined.  Do the same with the check for _POSIX_MONOTONIC_CLOCK.
2369         Suggested by Larry Jones.
2370
2371 2005-04-15  Hrvoje Niksic  <hniksic@xemacs.org>
2372
2373         * ptimer.c: Check that _POSIX_TIMERS is defined as well as > 0.
2374         Problem reported by Steven M. Schweda.
2375
2376 2005-04-14  Hrvoje Niksic  <hniksic@xemacs.org>
2377
2378         * http.c (skip_short_body): Print the skipped body data in debug
2379         mode.
2380         (skip_short_body): Don't skip more than 4k of body data.
2381         (skip_short_body): Return whether the skipping was successful.
2382         (gethttp): If skip_short_body failed, invalidate the connection.
2383
2384 2005-04-12  Gisle Vanem  <giva@bgnett.no>
2385
2386         * ftp.c (getftp): Ditto.
2387
2388         * http.c (gethttp): Open the output file in binary mode.
2389
2390 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
2391
2392         * hash.c: Conditionalize including config.h on HAVE_CONFIG_H
2393         instead of on STANDALONE.
2394
2395 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
2396
2397         * gen_sslfunc.c (ssl_print_errors): Made static.
2398         (ssl_print_errors): Eliminate potentially dangerous fixed-size
2399         error buffer.  Passing NULL to ERR_error_string causes it to use
2400         its own static buffer, which is fine for our purposes.
2401
2402         * gen_sslfunc.c: Include gen_sslfunc.h.  Make the declarations of
2403         ssl_init and ssl_conect match the actual definitions.
2404         (ssl_connect): Simply return a boolean, the SSL context is no
2405         longer useful as a return value.
2406
2407         * retr.c: Don't include SSL headers; we don't need them.
2408
2409 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
2410
2411         * config-post.h: Don't define _VA_LIST under Solaris; it breaks
2412         compilation with GCC 3.4 under Solaris 10.  (It was defined to
2413         avoid a warning with previous versions of GCC.)
2414
2415 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
2416
2417         * xmalloc.c (register_ptr): Warn the user to increase SZ prior to
2418         aborting.
2419
2420 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
2421
2422         * convert.c (convert_cleanup): Free converted_files.
2423
2424 2005-04-10  Hrvoje Niksic  <hniksic@xemacs.org>
2425
2426         * wget.h (DEBUGP): Use __builtin_expect to give a hint to GCC that
2427         opt.debug is false in the vast majority of cases.
2428
2429 2005-04-10  Hrvoje Niksic  <hniksic@xemacs.org>
2430
2431         * config-post.h: Declare alloca as void *, not char *.
2432
2433 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
2434
2435         * recur.c (download_child_p): When -p is used, (temporarily)
2436         ignore accept/reject rules for HTMLs, even when they are at the
2437         maximum recursion depth.  That is because with -p we are, if
2438         necessary, overstepping the max. depth to get the requisites.
2439
2440 2004-06-12  Larry Jones <lawrence.jones@ugsplm.com>
2441
2442         * recur.c (download_child_p): Correct the logic in check number 6:
2443         test opt.reclevel (not DEPTH) against INFINITE_RECURSION.
2444
2445 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
2446
2447         * url.c: Use "static const" in preference to "const static".
2448         Sun's cc warns that "storage class after type is obsolescent".
2449
2450         * url.c (urlchr_table): Don't mark ~ as unsafe, too many broken
2451         web sites are confused when ~ is changed to %7E.  Their servers
2452         redirect /%7Efoo/ to /~foo/, which Wget again accesses using %7E,
2453         causing further redirections, therefore looping infinitely.  See
2454         Debian bug #301624 for an example.
2455
2456 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
2457
2458         * alloca.c: Include wget.h to be able to use xmalloc.  In addition
2459         to defining malloc to xmalloc, also define free to xfree.
2460
2461 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
2462
2463         * http-ntlm.c (ntlm_output): Use "char", not "unsigned char" for
2464         ntlmbuf.  Our base64 functions accept char anyway.
2465         (ntlm_output): Join up the format string, since we nominally
2466         support K&R compilers.
2467         (ntlm_output): Ditto.
2468
2469 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
2470
2471         * ptimer.c: Use Windows timers under Cygwin, whose POSIX timer
2472         implementation is incomplete.
2473
2474 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
2475
2476         * ptimer.c (struct ptimer): Remove the unused initialized field.
2477
2478         * ptimer.c: Renamed function parameters from WT (which used to
2479         stand for wget_timer or wtimer) to PT.
2480
2481 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
2482
2483         * ptimer.c (posix_init): Be smarter about choosing clocks.  In
2484         decreasing order of preference, use CLOCK_MONOTONIC,
2485         CLOCK_HIGHRES, and CLOCK_REALTIME.
2486         (ptimer_allocate): Removed.
2487
2488         * ptimer.c: Refactor the code by cleanly separating the
2489         architecture-dependent code from the architecture-independent
2490         code.
2491
2492 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
2493
2494         * ptimer.c (ptimer_init): Explicitly check that
2495         _POSIX_MONOTONIC_CLOCK is *both* defined and >=0.  (Undefined
2496         symbols are >=0.)
2497
2498 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
2499
2500         * ptimer.c (ptimer_diff): Fix typo affecting Windows build.
2501
2502 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
2503
2504         * ptimer.c (ptimer_init): In fact, _POSIX_MONOTONIC_CLOCK needs to
2505         be >= 0.
2506
2507         * ptimer.c (ptimer_init): Check whether _POSIX_MONOTONIC_CLOCK is
2508         defined instead of whether it's greater than 0.  glibc defines it
2509         to 0, but still makes it available via sysconf.
2510
2511 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
2512
2513         * mswindows.c (str_to_int64): Rename OVERFLOW and UNDERFLOW to
2514         INT64_OVERFLOW and INT64_UNDERFLOW, since those names are used.
2515
2516 2005-04-07  Hrvoje Niksic  <hniksic@xemacs.org>
2517
2518         * ptimer.c: New file.  Move the "wtimer" functions from utils.c to
2519         this file and rename them to ptimer_.
2520
2521 2005-04-07  Hrvoje Niksic  <hniksic@xemacs.org>
2522
2523         * host.c (NO_ADDRESS): Define NO_ADDRESS only after the system
2524         headers have been included.
2525
2526 2005-04-06  Hrvoje Niksic  <hniksic@xemacs.org>
2527
2528         * http.c (pconn): Include NTLM data, which is per-connection.
2529         (known_authentication_scheme_p): Recognize NTLM authorization.
2530         (create_authorization_line): Call ntlm_input and ntlm_output.
2531
2532         * http-ntlm.c: New file, donated by Daniel Stenberg and originally
2533         written for curl, heavily modified for Wget.
2534
2535         * utils.c (base64_encode): Relocated from http.c, since it is now
2536         used by http-ntlm.c, and will possibly be used elsewhere.
2537         (base64_decode): New function, originally based on code from GNU
2538         recode.
2539
2540 2005-04-02  Hrvoje Niksic  <hniksic@xemacs.org>
2541
2542         * ftp.c (ftp_loop): Ditto.
2543
2544         * ftp-basic.c (ftp_pasv): Use the xzero shorthand for memset(0).
2545         (ftp_lpsv): Ditto.
2546
2547 2005-04-05  Mauro Tortonesi  <mauro@ferrara.linux.it>
2548
2549         * Makefile.in: removed string_t.c from list of source files.
2550
2551 2005-04-04  Mauro Tortonesi  <mauro@ferrara.linux.it>
2552
2553         * string_t.c: Removed.
2554
2555         * string_t.h: Removed.
2556
2557 2005-04-02  Hrvoje Niksic  <hniksic@xemacs.org>
2558
2559         * url.c (rewrite_shorthand_url): Only accept recognized schemes.
2560         That way "foo:80" will correctly be rewritten to "http://foo:80"
2561         instead of left unchanged and ultimately rejected because of
2562         "unsupported scheme foo".
2563
2564 2005-03-31  Hrvoje Niksic  <hniksic@xemacs.org>
2565
2566         * utils.c (number_to_string): Avoid explicit 64-bit constants;
2567         construct them by multiplication at compile-time.
2568
2569         * utils.c, elsewhere: Don't append "L" to 32-bit integer
2570         constants; we aren't really compilable on 16-bit systems anyway.
2571
2572         * hash.c (prime_size): Remove primes larger than 2^31, but include
2573         2^31-1, which is prime.
2574
2575 2005-03-30  Hrvoje Niksic  <hniksic@xemacs.org>
2576
2577         * utils.c (string_set_to_array): New function.
2578
2579         * convert.c: Replace the use of "slists" with sets/hash-tables,
2580         which in fact suit the intended purpose much better.
2581         downloaded_html_list is removed altogether.
2582
2583 2005-03-29  Hrvoje Niksic  <hniksic@xemacs.org>
2584
2585         * ftp.h (enum): Rename GLOBALL, GETALL, and GETONE to
2586         GLOB_GLOBALL, GLOB_GETALL, and GLOB_GETONE to avoid conflict with
2587         Linux headers.
2588
2589 2005-03-29  Hrvoje Niksic  <hniksic@xemacs.org>
2590
2591         * utils.c (numdigit): More correct handling of negative numbers.
2592
2593 2005-03-21  Hrvoje Niksic  <hniksic@xemacs.org>
2594
2595         * http.c (gethttp): Print the human-readable size.
2596
2597         * ftp.c (getftp): Print the human-readable size of the file to be
2598         downloaded.
2599
2600         * utils.c (human_readable): New function.
2601
2602         * utils.c: Renamed "legible" to "with_thousand_seps",
2603         "legible_large_int" to "with_thousand_seps_large", and "legible_1"
2604         to "add_thousand_seps".
2605
2606 2005-03-21  Hrvoje Niksic  <hniksic@xemacs.org>
2607
2608         * http.c (gethttp): Inhibit persistent connections when talking to
2609         proxies, as mandated by RFC 2068.
2610
2611 2005-03-20  Hrvoje Niksic  <hniksic@xemacs.org>
2612
2613         * url.c (unescape_single_char): New function.
2614         (url_escape_dir): Use it to unescape slashes in directory
2615         components.
2616         (url_string): Escape unsafe chars in host name, except for the ':'
2617         charaters, which can appear in IPv6 addresses.
2618
2619         * main.c (main): Don't access the cookie jar directly.
2620
2621         * log.c (escnonprint_internal): Correctly calculate the needed
2622         string size.  Don't forget the buffer's new size after having
2623         reallocated it.
2624         (log_cleanup): New function.  Free the escnonprint ring data.
2625
2626         * init.c (cleanup): Don't free the cookie jar explicitly, it is
2627         now done by http_cleanup.
2628         (cleanup): opt.user_headers is now a vector, free it with
2629         free_vec.
2630
2631         * http.c (gethttp): Make sure to free the request data, the status
2632         message, and the response data before returning from the function.
2633         (save_cookies): New function.
2634         (http_cleanup): Free the cookie jar here.
2635
2636         * hash.c: Renamed string_hash to hash_string and ptrhash to
2637         hash_pointer.  Exported hash_pointer.
2638
2639         * xmalloc.c: Organized malloc_table (previously malloc_debug) as a
2640         simple EQ hash table.  register_ptr and unregister_ptr are now of
2641         O(1) complexity.
2642
2643         * xmalloc.c: Renamed "*_debug" to debugging_* and "*_real" to
2644         checking_*.
2645
2646 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
2647
2648         * utils.c (debug_test_md5): Moved to gen-md5.c.
2649
2650         * mswindows.h: Don't declare inet_ntop, since we don't use it.
2651
2652         * mswindows.h: For consistency, also wrap closesocket, it being
2653         a Winsock call.
2654
2655         * mswindows.h: Don't declare sleep and usleep; we're defining
2656         xsleep now.
2657
2658         * mswindows.h (mkdir): Don't special-case Borland C, _mkdir
2659         works there as well.
2660
2661         * host.c: Don't include winsock header files; the correct ones
2662         are already included by mswindows.h.
2663
2664         * mswindows.c (xsleep): Round toward the nearest millisecond
2665         in an attempt to avoid average short sleeps.
2666
2667         * utils.c (wtimer_granularity): Report correct values for
2668         Windows timers and for high-resolution timers.
2669
2670         * utils.c (wtimer_initialize_once): New function, called to
2671         initialize the timer frequency.
2672
2673         * utils.c: Replace the use of GetSystemTime with high-resolution
2674         counters under Windows.  When high-resolution counters are
2675         unavailable, use GetTickCount().
2676
2677 2005-03-15  Hrvoje Niksic  <hniksic@xemacs.org>
2678
2679         * retr.c (fd_read_body): Undo the 2004-11-18 change.  Instead,
2680         always be "exact".
2681
2682 2005-03-17  Hrvoje Niksic  <hniksic@xemacs.org>
2683
2684         * ftp-basic.c (ftp_login): Don't free the string if ftp_response
2685         returned an error status because the line didn't get allocated in
2686         the first place.
2687
2688 2005-03-15  Hrvoje Niksic  <hniksic@xemacs.org>
2689
2690         * http.c (read_http_response_head): Limit the response size to 64k
2691         bytes.
2692
2693         * retr.c (fd_read_hunk): Accept a MAXSIZE argument that limits the
2694         number of bytes the function is allowed to allocate.
2695         (fd_read_line): Limit the line to 4096 bytes.
2696
2697 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
2698
2699         * wget.h: Include options.h after wgint has been defined.
2700
2701         * options.h (struct options): Declare options processed with
2702         cmd_bytes as wgint, not long.
2703
2704 2005-03-18  Hrvoje Niksic  <hniksic@xemacs.org>
2705
2706         * init.c (cmd_file): Use concat_strings.
2707
2708         * http.c (basic_authentication_encode): Use concat_strings.
2709
2710         * ftp-ls.c (ftp_index): Use concat_strings.
2711
2712         * ftp-basic.c (ftp_request): Use concat_strings.
2713
2714         * utils.c (concat_strings): New function.
2715
2716 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
2717
2718         * init.c (simple_atof): Handle negative numbers; skip whitespace
2719         before the number.
2720         (simple_atoi): Ditto.  Also, check for overflow and underflow.
2721         (cmd_number): Bail out on negative numbers.
2722         (parse_bytes_helper): Ditto.
2723
2724 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
2725
2726         * http.c (gethttp): Handle multiple Set-Cookie headers sent by
2727         remote server.
2728
2729 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
2730
2731         * init.c (defaults): Use passive FTP by default.
2732
2733 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
2734
2735         * mswindows.c: Provide wrappers to Winsock functions that set
2736         errno to WSAGetLastError() in case of failure.  Also provide a
2737         Windows-specific version of strerror.
2738
2739         * mswindows.h: Wrap calls to socket, bind, connect, recv, send,
2740         select, getsockname, getpeername, and setsockopt.
2741
2742 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
2743
2744         * url.c (url_parse): Reject port numbers larger than 65535.  We
2745         also check for overflow while parsing port numbers.
2746
2747 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
2748
2749         * utils.c (read_file): Don't use wgint for file size; LFS won't
2750         work since the file is mmap'ed as a whole.
2751
2752         * options.h: Don't include stdio.h.
2753
2754         * log.c: Ditto.
2755
2756         * init.c: Disambiguate assignment from non-zero test to avoid
2757         Borland C warning.
2758
2759         * http.c (response_new): Don't needlessly post-increment count.
2760
2761         * hash.c: Include stdio.h.
2762
2763         * gnu-md5.h: Don't include stdio.h.
2764
2765         * getopt.h (struct option): Always use const.
2766
2767         * ftp.c (getftp): Avoid unnecessary assignment to RES to avoid
2768         Borland C warning.
2769
2770         * ftp-ls.c: Disambiguate assignment from non-zero test to avoid
2771         Borland C warning.
2772
2773         * cmpt.c (strptime_internal): Don't initialize rp_backup when
2774         !_NL_CURRENT to avoid Borland C warning.
2775
2776 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
2777
2778         * utils.c (fopen_excl): Fix parse error when O_BINARY is
2779         available.
2780
2781 2005-03-05  Hrvoje Niksic  <hniksic@xemacs.org>
2782
2783         * url.c (url_file_name): Don't allow hosts named ".." to be
2784         appended as path elements.
2785
2786 2005-03-03  Hrvoje Niksic  <hniksic@xemacs.org>
2787
2788         * retr.c (retrieve_url): Escape location header.
2789
2790         * http.c (print_server_response_1): Escape server response when
2791         printing it.
2792         (gethttp): Escape host name, status message, location header, and
2793         content type.
2794         (http_loop): Escape error message from server.
2795
2796         * host.c (lookup_host): Escape host name when printing it.
2797
2798         * ftp.c (getftp): Escape user name when printing it.
2799         (getftp): Escape remote file and directory for printing.
2800         (getftp): Escape server listing when printing it.
2801         (ftp_retrieve_list): Escape link name and file name.
2802         (ftp_retrieve_glob): Escape file name.
2803
2804         * ftp-basic.c (ftp_response): Escape server response when printing
2805         it.
2806
2807         * cookies.c (parse_set_cookies): Escape the cookie field when
2808         printing it.
2809         (parse_set_cookies): Escape contents of remote header.
2810         (cookie_handle_set_cookie): Escape host name and cookie domain.
2811
2812         * connect.c (connect_to_ip): Escape the host name.
2813
2814         * log.c (escnonprint): New function, used for printing strings
2815         coming from the server that possibly contain non-ASCII characters.
2816         (escnonprint_uri): Ditto.
2817
2818 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
2819
2820         * ftp.c (getftp): Ditto.
2821
2822         * http.c (gethttp): When we're not supposed to overwrite files,
2823         use fopen_excl to open the file and recompute the file name.
2824
2825         * log.c (redirect_output): Use unique_create to avoid a race
2826         condition.
2827
2828         * mswindows.c (fake_fork_child): Use unique_create.
2829
2830         * utils.c (fopen_excl): New function that opens a stdio stream
2831         with the O_EXCL flag (where available).
2832         (unique_create): New function, like unique_name, but also creating
2833         the file and returning a file pointer.
2834         (fork_to_background): Use unique_create to create the file
2835         immediately to avoid race condition with multiple instances of
2836         wget -b.
2837
2838 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
2839
2840         * host.c (lookup_host): Test for AI_ADDRCONFIG directly, instead
2841         of checking for HAVE_GETADDRINFO_AI_ADDRCONFIG.
2842
2843 2005-02-23  Hrvoje Niksic  <hniksic@xemacs.org>
2844
2845         * host.c (is_valid_ipv6_address): Move here from url.c.
2846         (lookup_host): If the address is numeric, don't print the
2847         "resolving..." line, don't set up DNS timeouts, and set the
2848         AI_NUMERICHOST hint, where available.
2849
2850 2005-02-26  Gisle Vanem  <giva@bgnett.no>
2851
2852         * utils.c: Use the nnnLL syntax under GCC.  Define struct_stat to
2853         struct _stati64 under __MINGW32__ as well as under MS VC.
2854
2855 2005-02-26  Hrvoje Niksic  <hniksic@xemacs.org>
2856
2857         * utils.c: Use the nnnI64 syntax for __int64 constants under all
2858         Windows compilers.
2859         (SPRINTF_WGINT): Use "%I64" under all Windows compilers.
2860
2861         * mswindows.h (WGINT_MAX): Use the nnnI64 syntax for
2862         __int64 constants under all Windows compilers.
2863         (struct_stat): Use `struct stati64' under Borland C.
2864         (fstat): Don't redefine to _fstati64 under Borland.
2865
2866         * mswindows.c: Define str_to_int64 under Borland C as well as
2867         under (older) Visual C.
2868
2869 2005-02-25  Hrvoje Niksic  <hniksic@xemacs.org>
2870
2871         * ftp.c (getftp): Initialize err to suppress compiler warning.
2872
2873 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
2874
2875         * ftp.c (ftp_expected_bytes): Fix bug that caused infloop because
2876         of not correctly skipping the '(' character.
2877
2878 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
2879
2880         * mswindows.c (wget_ftello): Removed.
2881
2882         * mswindows.h: Remove bogus definition of stat.
2883         (wget_ftello): Remove the leftover ftello replacement.
2884
2885 2005-02-20  Hrvoje Niksic  <hniksic@xemacs.org>
2886
2887         * mswindows.c (wget_ftello): Wget's replacement for ftello.
2888
2889         * utils.c (file_size): Use ftello where available.
2890
2891         * ftp-ls.c (ftp_parse_unix_ls): Use str_to_wgint to parse the file
2892         size.
2893         (ftp_parse_winnt_ls): Ditto.
2894
2895         * ftp-basic.c (ftp_size): Use str_to_wgint to convert number to
2896         wgint; pass 10 instead of 0 as the BASE argument.
2897
2898         * ftp.c (ftp_expected_bytes): Use str_to_wgint to parse the file
2899         size.
2900
2901         * sysdep.h (LARGE_INT_FMT): Use __int64 as LARGE_INT on
2902         MSVC/Windows; print it with "%I64".
2903
2904         * wget.h: Define a `wgint' type, normally aliased to (the possibly
2905         64-bit variant of) off_t.
2906
2907         * all: Use `wgint' instead of `long' for numeric variables that
2908         can hold file sizes.
2909
2910         * utils.c (number_to_string): Support printing of `wgint'
2911         argument.
2912         (number_to_static_string): New function.
2913
2914         * all: Replace printf("%ld", long_value) with printf("%s",
2915         number_to_static_string(wgint_value)).
2916
2917 2005-02-18  Mauro Tortonesi <mauro@ferrara.linux.it>
2918
2919         * main.c: Added the --ftp-passwd command line option.
2920
2921         * init.c: Renamed command passwd to ftppasswd.
2922
2923 2005-02-11  Mauro Tortonesi <mauro@ferrara.linux.it>
2924
2925         * string_t.c: Fixed a bug in do_escape and triggered escape of
2926         backslashes in string_escape to avoid ambiguities in the result
2927         string.
2928
2929 2005-02-10  Mauro Tortonesi <mauro@ferrara.linux.it>
2930
2931         * string.h: Renamed to string_t.h to fix a compilation conflict
2932         with the string.h header in the standard C library.
2933
2934         * string.c: Renamed to string_t.c for consistency with string.h.
2935
2936         * string_t.c: Ditto.
2937
2938         * string_t.h: Ditto.
2939
2940 2004-12-31  Mauro Tortonesi <mauro@ferrara.linux.it>
2941
2942         * string.c: New file.
2943
2944         * string.h: New file.
2945
2946         * Makefile.in: Added string.c to the list of modules to compile.
2947
2948         * main.c: Updated copyright.
2949
2950 2004-11-18  Ulf Harnhammar <ulf.harnhammar.9485@student.uu.se>
2951
2952         * ftp-ls.c: Fixed a problem in ftp_parse_winnt_ls that could allow a
2953         malicious remote FTP server to crash wget.
2954
2955 2004-11-18  Hans-Andreas Engel <engel@node.ch>
2956
2957         * http.c: Enable --convert-links (-k) when a single page is downloaded
2958         via --output-document (-O).
2959
2960 2004-11-18  Mauro Tortonesi <mauro@deepspace6.net>
2961
2962         * connect.c: Minor correction to the comment in front of fd_peek.
2963
2964 2004-11-18  Leonid Petrov <nouser@lpetrov.net>
2965
2966         * retr.c: Fix a timeout problem in fd_read_body when using http_proxy.
2967
2968 2004-11-15  YAMAZAKI Makoto <Yamazaki.Makoto@fujixerox.co.jp>
2969
2970         * netrc.c: Fix termination by assertion bug in netrc parsing.
2971
2972 2004-05-09  David Fritz  <zeroxdf@att.net>
2973
2974         * mswindows.c (fake_fork): Pass entire command line to the child
2975         process.
2976
2977 2004-03-31  Hrvoje Niksic  <hniksic@xemacs.org>
2978
2979         * http.c (gethttp): Fix typo: SCHEME_SSL -> SCHEME_HTTPS.
2980
2981 2004-03-30  Hrvoje Niksic  <hniksic@xemacs.org>
2982
2983         * http.c (gethttp): Send the Proxy-Authorization header over
2984         non-SSL connections too.
2985
2986 2004-03-25  David Fritz  <zeroxdf@att.net>
2987
2988         * mswindows.c (fake_fork_child): Ignore error code when
2989         OpenFileMapping() fails; assume it failed because the object does
2990         not exist.
2991
2992 2004-03-24  David Fritz  <zeroxdf@att.net>
2993
2994         * mswindows.c (fake_fork): New function.
2995
2996         * mswindows.c (fork_to_background): Use it.
2997
2998 2004-03-19  David Fritz  <zeroxdf@att.net>
2999
3000         * mswindows.c (ws_hangup): Incorporate old fork_to_background()
3001         code.  Add event name argument.
3002         (fork_to_backgorund): Now a simple wrapper around ws_hangup().
3003         (ws_handler): Correctly handle the case when neither CTRLC_BACKGND
3004         nor CTRLBREAK_BACKGND are defined.  Don't bother handling close,
3005         logoff, or shutdown events.  Call ws_hangup() with the correct
3006         event name; don't assume it was CTRL+Break.
3007
3008 2004-03-19  Hrvoje Niksic  <hniksic@xemacs.org>
3009
3010         * url.c (url_parse): Decode %HH sequences in host name.
3011
3012 2004-03-04  Hrvoje Niksic  <hniksic@xemacs.org>
3013
3014         * convert.c (local_quote_string): Quote "#" as "%23" and "%" as
3015         "%25" when creating links to local files.
3016
3017 2004-03-02  David Fritz  <zeroxdf@att.net>
3018
3019         * mswindows.c (ws_percenttitle): Guard against future changes by
3020         doing nothing if the proper variables have not been initialized.
3021         Clamp percentage value.
3022
3023 2004-03-04  Gisle Vanem  <giva@bgnett.no>
3024
3025         * retr.c (fd_read_body): Don't change console title if quiet.
3026
3027 2004-02-25  David Fritz  <zeroxdf@att.net>
3028
3029         * mswindows.c (set_sleep_mode): Remove argument and return value.
3030         Call GetModuleHandle() instead of LoadLibrary()/FreeLibrary() for
3031         kernel32.dll.  Use typedef for function-pointer.  Don't cast
3032         l-value.  Don't use dereference operator when calling through
3033         function-pointer.
3034         (ws_startup): Update call to set_sleep_mode().
3035         (ws_cleanup): Remove call to set_sleep_mode().
3036
3037 2004-02-23  David Fritz  <zeroxdf@att.net>
3038
3039         * http.c (http_loop): Ditto.
3040
3041         * ftp.c (ftp_loop_internal): Update call to ws_changetitle().
3042
3043         * main.c (main): Don't bother calling ws_changetitle().
3044
3045         * mswindows.h (ws_changetitle): Update prototype.
3046
3047         * mswindows.c (ws_changetitle): Remove second argument.  Use
3048         xfree_null().
3049         (ws_percenttitle): Only update title when percentage has changed.
3050
3051 2004-02-23  David Fritz  <zeroxdf@att.net>
3052
3053         * mswindows.h: Ditto.
3054
3055         * mswindows.c: Misc. formatting/comment tweaks throughout.
3056
3057 2004-02-20  David Fritz  <zeroxdf@att.net>
3058
3059         * main.c (print_help): Remove call to ws_help().
3060
3061         * mswindows.c (ws_help): Remove.
3062
3063         * mswindows.h (ws_help): Remove.
3064
3065 2004-02-16  David Fritz  <zeroxdf@att.net>
3066
3067         * init.c (home_dir): Use aprintf() instead of xmalloc()/sprintf().
3068         Under Windows, if $HOME is not defined, use the directory that
3069         contains the Wget binary instead of hard-coded `C:\'.
3070         (wgetrc_file_name): Under Windows, look for $HOME/.wgetrc then, if
3071         not found, look for wget.ini in the directory of the Wget binary.
3072
3073         * mswindows.c (ws_mypath): Employ slightly more robust methodology.
3074         Strip trailing path separator.
3075
3076 2004-02-06  Hrvoje Niksic  <hniksic@xemacs.org>
3077
3078         * http.c (gethttp): Respect --ignore-length.
3079         (gethttp): Inhibit keep-alive if --ignore-length is specified.
3080
3081 2004-02-06  Hrvoje Niksic  <hniksic@xemacs.org>
3082
3083         * connect.c (sockaddr_set_data): Zero out
3084         sockaddr_in/sockaddr_in6.  Apparently BSD-derived stacks need this
3085         when binding a socket to local address.
3086
3087 2004-02-04  Hrvoje Niksic  <hniksic@xemacs.org>
3088
3089         * hash.c: Make the file compilable outside Wget source tree when
3090         -DSTANDALONE is used.
3091
3092 2004-01-29  Hrvoje Niksic  <hniksic@xemacs.org>
3093
3094         * utils.c (determine_screen_width): Return 0 if not running on
3095         Windows or on a TIOCGWINSZ-capable system.
3096
3097 2004-01-28  David Fritz  <zeroxdf@att.net>
3098
3099         * utils.c (determine_screen_width): Correctly determine console
3100         width under Windows.
3101
3102 2004-01-28  Christian Biere  <christianbiere@gmx.de>
3103
3104         * progress.c (bar_set_params): Fixed syntax error when HAVE_ISATTY
3105         was undefined.
3106
3107         * ftp.c (ftp_loop_internal): Allocate a larger buffer in case
3108         "try" gets translated to something large.  Ditto in http_loop in
3109         http.c.
3110
3111         * http.c (response_header_copy): Don't write to buf[BUFSIZE].
3112
3113         * ftp-opie.c (skey_response): Eliminate unnecessary string
3114         concatenation; just call gen_md5_update twice.
3115
3116 2004-01-25  Hrvoje Niksic  <hniksic@xemacs.org>
3117
3118         * utils.c (xsleep): Don't call usleep with values larger than
3119         1,000,000.
3120
3121 2003-12-16  Hrvoje Niksic  <hniksic@xemacs.org>
3122
3123         * http.c (gethttp): Fix generation of `Content-Length'.
3124
3125 2003-12-15  Gisle Vanem  <giva@bgnett.no>
3126
3127         * url.c (url_skip_credentials): Fixed return value; 'url' if no
3128         credentials.
3129
3130 2003-12-14  Hrvoje Niksic  <hniksic@xemacs.org>
3131
3132         * url.c (url_skip_credentials): Return a pointer directly.
3133
3134 2003-12-14  Hrvoje Niksic  <hniksic@xemacs.org>
3135
3136         * url.c (url_file_name): Ditto.
3137         (parse_errors): Ditto.
3138
3139         * retr.c (retr_rate): Ditto.
3140
3141         * progress.c (create_image): Ditto.
3142
3143         * netrc.c (parse_netrc): Ditto.
3144
3145         * main.c (struct cmdline_option): Ditto.
3146         (redirect_output_signal): Ditto.
3147
3148         * init.c (commands): Ditto.
3149
3150         * ftp-ls.c (ftp_index): Ditto.
3151
3152         * cookies.c (check_domain_match): Declare the pointer to a literal
3153         string as `const'.
3154
3155 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
3156
3157         * retr.c (fd_read_body): Pass total size to progress_create, not
3158         the remaining amount.
3159
3160 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
3161
3162         * retr.c (fd_read_body): Don't fiddle with "interactive timeout"
3163         if read timeout is unset.
3164
3165 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
3166
3167         * connect.c (bind_local): Don't set the IPV6_V6ONLY option on the
3168         socket.
3169
3170 2003-12-06  Hrvoje Niksic  <hniksic@xemacs.org>
3171
3172         * url.c (url_file_name): Respect the setting of
3173         opt.protocol_directories.
3174
3175         * main.c (main): Only check for ret=='?' when longindex is unset.
3176         (option_data): New option --protocol-directories.
3177
3178 2003-12-06  Hrvoje Niksic  <hniksic@xemacs.org>
3179
3180         * ftp.c (getftp): Ditto.
3181
3182         * http.c (gethttp): Correctly calculate bandwidth as total data
3183         read divided with download time.
3184
3185         * retr.c (fd_read_body): Separate the return values for data
3186         written and read.
3187
3188 2003-12-05  Hrvoje Niksic  <hniksic@xemacs.org>
3189
3190         * http.c (H_REDIRECTED): Respect the HTTP/1.1 "303 See Other"
3191         response code.
3192         Suggested by Dan Razzell.
3193
3194 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
3195
3196         * retr.c (fd_read_body): Report the amount of data *written* as
3197         amount_read.  This is not entirely logical, but that's what the
3198         callers expect, and it's not easy to change.
3199
3200         * ftp.c (ftp_loop_internal): Ditto.
3201
3202         * http.c (http_loop): Be smarter about assigning restval; if we're
3203         in the nth pass of a download, simply use the information we have
3204         about how much data has been retrieved as restval.
3205
3206         * ftp.c (getftp): Ditto for FTP "REST" command.
3207
3208         * http.c (gethttp): When the server doesn't respect range, skip
3209         the first RESTVAL bytes of the read body.  Never truncate the
3210         output file.
3211
3212         * retr.c (fd_read_body): Support skipping initial STARTPOS octets.
3213
3214 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
3215
3216         * http.c (skip_short_body): Renamed skip_body to skip_short_body;
3217         don't bother calling fd_read_body.
3218
3219 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
3220
3221         * retr.c (fd_read_body): Sanitize arguments and document them
3222         better.  Make sure the timer is created and updated only if
3223         necessary.  Updated callers.
3224
3225 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
3226
3227         * http.c (skip_body): New function.
3228         (gethttp): Use it to skip the body of the responses we don't care
3229         to download.  That allows us to reuse the connection.
3230         (gethttp): Trust that the HEAD requests will not generate body
3231         data.
3232
3233         * retr.c (fd_read_body): Don't write to OUT if it's NULL.
3234
3235 2003-11-29  Hrvoje Niksic  <hniksic@xemacs.org>
3236
3237         * http.c (gethttp): Initialize SSL only the first time when SSL
3238         URL is downloaded.
3239
3240 2003-11-29  Hrvoje Niksic  <hniksic@xemacs.org>
3241
3242         * cookies.c (cookie_header): Only generate the contents of the
3243         header, not the leading "Cookie: " or the trailing "\r\n".
3244
3245         * http.c (gethttp): When adding headers specified with `--header',
3246         allow them to override the headers generated by Wget.
3247
3248         * init.c (cmd_spec_header): Made opt.user_headers a vector.
3249
3250         * http.c (request_new): New function.  Returns a request structure
3251         which can be modified in various ways, most notably by adding HTTP
3252         headers to the request.
3253         (request_set_header): New function for adding the header to the
3254         request.  If the header is already available, it gets replaced.
3255         (request_send): Construct and send the request.
3256         (gethttp): Use the request_* functions to generate the request.
3257
3258 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
3259
3260         * http.c (gethttp): Don't include the Proxy-Authorization header
3261         in the request tunneled through proxy.
3262
3263 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
3264
3265         * http.c (gethttp): Use the CONNECT handle to establish SSL
3266         passthrough through non-SSL proxies.
3267
3268 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
3269
3270         * init.c: Don't #include netinet/Winsock stuff.
3271
3272 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
3273
3274         * http.c: Deleted the old functions header_process,
3275         header_extract_number, header_exists, header_strdup,
3276         http_process_range, http_process_none, http_process_type, and
3277         http_process_connection.
3278
3279         * http.c (response_new): New function.
3280         (response_header_bounds): Ditto.
3281         (response_header_copy): Ditto.
3282         (response_header_strdup): Ditto.
3283         (response_status): Ditto.
3284         (gethttp): Use the new response_* functions to parse the response.
3285         Support HTTP/0.9 responses.
3286
3287 2003-11-27  Hrvoje Niksic  <hniksic@xemacs.org>
3288
3289         * progress.c (create_image): Don't calculate ETA if nothing has
3290         been downloaded yet, because it causes division by zero.
3291
3292 2003-11-27  Hrvoje Niksic  <hniksic@xemacs.org>
3293
3294         * connect.c (bind_local): Rename sa_len to addrlen because IRIX
3295         headers define sa_len as a macro.
3296
3297 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
3298
3299         * html-parse.c (convert_and_copy): Remove embedded newlines when
3300         AP_TRIM_BLANKS is specified.
3301
3302 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
3303
3304         * ftp.c: Set con->csock to -1 where rbuf_uninitialize was
3305         previously used.
3306
3307 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
3308
3309         * Makefile.in (http$o): Added the trailing backslash that was
3310         missing.
3311
3312 2003-11-21  Hrvoje Niksic  <hniksic@xemacs.org>
3313
3314         * headers.c: Removed.  The file is no longer relevant, now that no
3315         special handling of headers is done by the rbuf code.  Moved
3316         portions to http.c.
3317
3318 2003-11-21  Hrvoje Niksic  <hniksic@xemacs.org>
3319
3320         * rbuf.c: Removed.
3321
3322         * ftp-basic.c (ftp_response): Use fd_read_line.  No longer use
3323         struct rbuf.  Updated all callers.
3324
3325         * http.c (gethttp): Use fd_read_head to read all the headers in
3326         one go.
3327         (next_header): New function.
3328
3329         * retr.c (fd_read_line): New function: reads a line from FD,
3330         leaving the rest of the data unread.
3331         (fd_read_head): New function.
3332
3333         * connect.c (fd_peek): New function, implements peeking.
3334         (poll_internal): New function.
3335         (fd_read): Use it.
3336         (fd_write): Ditto.
3337         (fd_peek): Ditto.
3338         (fd_register_transport): Allow registering a "peeker" callback.
3339
3340 2003-11-20  Hrvoje Niksic  <hniksic@xemacs.org>
3341
3342         * connect.c: Renamed xread/xwrite/xclose to
3343         fd_read/fd_write/fd_close.  The "x" prefix is not appropriate
3344         because the semantics have diverged from read/write/close too
3345         significantly.  Updated all callers.
3346
3347 2003-11-20  Hrvoje Niksic  <hniksic@xemacs.org>
3348
3349         * connect.c (sock_write): It's not necessary to initialize RES.
3350
3351 2003-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
3352
3353         * main.c (main): Don't reference opt.ipv4_only and opt.ipv6_only
3354         if IPv6 is disabled.
3355
3356 2003-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
3357
3358         * connect.c (socket_has_inet6): Only compile it if IPv6 is enabled
3359         and AI_ADDRCONFIG is missing.
3360
3361 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
3362
3363         * gen_sslfunc.c (ssl_init_prng): Warn the user when using a weak
3364         random seed.
3365
3366 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
3367
3368         * host.c (address_list_contains): Renamed address_list_find to
3369         address_list_contains because its result is boolean.
3370
3371 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
3372
3373         * connect.c (select_fd): Return 1 if select is not available.
3374
3375 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
3376
3377         * connect.c (connect_to_host): Don't reference address list after
3378         releasing it.
3379
3380 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
3381
3382         * main.c (print_help): Fix alignment of FTP options output.
3383
3384 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
3385
3386         * host.c (lookup_host): Check for the ability to create IPv6
3387         sockets here.
3388
3389         * init.c (defaults): Don't auto-set --inet4-only on IPv6-less
3390         systems.
3391
3392 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
3393
3394         * main.c (print_help): Fix typo in `-O' help message.  Fix docs of
3395         -Y/--proxy.  Fix docs of `--cookies' and `--glob'.  Improve docs
3396         of --convert-links.  Fix docs of SSL options.
3397
3398 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
3399
3400         * ftp-basic.c: Don't include <arpa/inet.h> and others because
3401         they're no longer needed.
3402
3403 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
3404
3405         * main.c (main): Don't allow setting of both opt.ipv4_only and
3406         opt.ipv6_only.
3407
3408         * init.c (defaults): Mark opt.ipv4_only specially when set
3409         automatically.
3410
3411 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
3412
3413         * host.c (lookup_host): Use AI_ADDRCONFIG only if the family is
3414         unspecified.  This ensures that specifying `--no-inet4' on systems
3415         where IPv6 resolves, but doesn't work behaves the same regardless
3416         of the availability of AI_ADDRCONFIG.
3417
3418 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
3419
3420         * host.c: Don't refer to the now-removed function
3421         forget_host_lookup in the documentation of lookup_host.
3422
3423 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
3424
3425         * http.c (persistent_available_p): Correctly specify the endpoint
3426         argument to socket_ip_address.
3427         (gethttp): When printing the "reusing connection to..." message,
3428         specify the host name of the reused connection, not the current
3429         host name.  That makes more sense because it provides a useful
3430         piece of information -- we know to which host we're supposed to
3431         connect anyway!
3432
3433 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
3434
3435         * init.c: Make sure the options are in alphabetic order!
3436
3437         * host.c (lookup_host): Merge lookup_host_passive and lookup_host
3438         after all -- having both would result in some code duplication.
3439         (lookup_host): Set hints.ai_family to AF_INET if ipv4_only is
3440         requested.  Likewise, set it to AF_INET6 for ipv6_only.  Specify
3441         AI_ADDRCONFIG where available.
3442         (lookup_host): New flag LH_REFRESH that specifies that a cached
3443         entry for HOST should be refreshed.
3444         (cache_query): New function.
3445         (cache_store): Ditto.
3446         (cache_remove): Ditto.
3447         (forget_host_lookup): No longer necessary, replaced with static
3448         function cache_remove.
3449
3450 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
3451
3452         * main.c: Enable -4 and -6 only if IPv6 is enabled.
3453
3454 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
3455
3456         * connect.c (register_transport): Renamed from register_extended.
3457         Explain the intended usage.
3458
3459 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
3460
3461         * url.c (uri_merge): Merging "foo" and "bar" should result in
3462         "bar", not in "foo/bar".
3463         (path_simplify): Don't remove empty path elements; don't
3464         special-case leading slash.
3465         (path_simplify): Don't swallow ".."'s at the beginning of string.
3466         E.g. simplify "foo/../../bar" as "../bar", not as "bar".
3467         (append_uri_pathel): Defang ".." path element upon encountering
3468         it.
3469
3470 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
3471
3472         * http.c (persistent_available_p): Don't attempt to talk to two
3473         different SSL sites over the same secure connection.
3474
3475 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
3476
3477         * http.c (gethttp): Ditto.
3478
3479         * ftp.c (getftp): Use retryable_socket_connect_error instead of
3480         CONNECT_ERROR.
3481
3482         * wget.h (CONNECT_ERROR): Removed.
3483
3484         * connect.c (retryable_socket_connect_error): New function instead
3485         of unsupported_socket_family_error.
3486
3487 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
3488
3489         * wget.h (CONNECT_ERROR): Use it.
3490
3491         * connect.c (unsupported_socket_family_error): New function.
3492
3493 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
3494
3495         * connect.c (bind_local): Renamed bindport to bind_local; return
3496         the socket directly.  Updated callers.
3497         (accept_connection): Renamed acceptport to accept_connection;
3498         return the created socket directly.  Updated callers.
3499
3500 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
3501
3502         * init.c (defaults): Turn on opt.ipv4_only if we're compiling with
3503         IPv6, and AI_ADDRINFO is not available, and AF_INET6 sockets can't
3504         be created.
3505
3506 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
3507
3508         * host.c (lookup_host): Document the fact that the addresses are
3509         returned in order.
3510
3511 2003-11-12  Hrvoje Niksic  <hniksic@xemacs.org>
3512
3513         * utils.c: Use limits.h only where available.
3514
3515         * hash.c: Use INVALID_PTR and INVALID_PTR_BYTE.  Include limits.h.
3516
3517 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
3518
3519         * main.c: Added options --inet4-only and --inet6-only.
3520
3521 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
3522
3523         * host.c (host_errstr): Use the more standard message "Unknown
3524         host".
3525
3526 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
3527
3528         * connect.c (connect_to_host): Use that flag to decide whether to
3529         re-resolve the host name.
3530
3531         * host.c (struct address_list): Added a flag that maintains
3532         whether the connection worked at some point.
3533
3534 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
3535
3536         * host.c (lookup_host): Special-case the numeric addresses only in
3537         the non-IPv6 case.
3538
3539 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
3540
3541         * connect.c (resolve_bind_address): Call lookup_host_passive.
3542         Make sure that opt.bind_address is resolved only once.
3543
3544         * host.c (lookup_host_passive): New function, handles "passive"
3545         lookups.
3546         (lookup_host): Remove the passive flags.  Remove the
3547         family-related flags -- use ip_default_family instead.
3548
3549 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
3550
3551         * html-url.c: Get URLs from <object data="...">.
3552
3553 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
3554
3555         * main.c (option_data): Specify the command to use for --mirror.
3556
3557 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
3558
3559         * cookies.c (cookie_handle_set_cookie): Specify exact match for
3560         unspecified domains.
3561
3562 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
3563
3564         * main.c (main): Removed one-letter options `-C', `-g', `-G', and
3565         `-s'.
3566
3567 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
3568
3569         * main.c (main): Add --dont-remove-listing for backward
3570         compatibility with previous versions.
3571         (print_help): Fix typo, spotted by Dennis Smit.
3572
3573 2003-11-08  Gisle Vanem  <giva@bgnett.no>
3574
3575         * ftp-basic.c: Support Windows-2000 ftp servers. Win-2000 *is*
3576         Win-NT 5.0 so calling it ST_WINNT is okay I guess.
3577
3578 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
3579
3580         * progress.c (update_speed_ring): Clear the speed ring when the
3581         download stalls.
3582
3583         * retr.c (get_contents): Specify 0.95s read timeout, so that the
3584         progress gauge can be updated even when data arrives very slowly
3585         or stalls.
3586
3587 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
3588
3589         * utils.c (wtimer_allocate): Bless the use of wtimer_read on a
3590         timer that has merely been allocated because get_contents() does
3591         that.
3592         (wtimer_update): Abort if the timer is not initialized.
3593
3594 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
3595
3596         * retr.c (get_contents): Pass the timer to limit_bandwidth().
3597
3598         * utils.c (wtimer_update): New function instead of wget_elapsed;
3599         just update the timer, but don't return anything.
3600         (wtimer_read): Read and return the last known value of the timer.
3601
3602 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
3603
3604         * http.c (persistent_available_p): Instead of matching all the
3605         addresses of HOST and last host, determine the peer's IP address
3606         with socket_ip_address and see if that address is one of those
3607         HOST resolves to.
3608
3609         * host.c (address_list_match_all): Removed.
3610         (address_list_find): New function, finds an IP address in the
3611         address list.
3612
3613         * ftp.c (ftp_do_pasv): Get the peer's address here, and pass it to
3614         ftp_epsv so it doesn't need to call getpeername.
3615
3616         * ftp-basic.c (ftp_port): Use socket_ip_address instead of
3617         getpeername.
3618         (ftp_lprt): Ditto.
3619
3620         * connect.c (socket_ip_address): Replaces conaddr, generalized to
3621         either get peer's or local address.
3622         (sockaddr_get_data): Made local to this file.
3623
3624 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
3625
3626         * hash.c (HASH_POSITION): Explicitly accept the hash function.
3627         (grow_hash_table): Extract ht->hash_function outside the loop.
3628         (hash_table_remove): Ditto.
3629         (hash_table_clear): Fill entries with 0xff to clear them.
3630         (hash_table_remove): Mark entries as deleted with the correct
3631         marker.
3632
3633 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
3634
3635         * http.c (persistent_available_p): No reason for the host lookup
3636         to be silent -- it's a lookup like any other.
3637
3638 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
3639
3640         * connect.c (register_extended): Check that fd >= 0.
3641
3642 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
3643
3644         * connect.c (LAZY_RETRIEVE_INFO): Set LAST_INFO.
3645
3646 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
3647
3648         * hash.c (NON_EMPTY): Use the all-bit-set value as the marker that
3649         the field is empty.  This allows NULL pointer and 0 value to be
3650         used as keys, which is necessary for the connect.c code to work
3651         when fd==0.
3652         (hash_table_new): Fill mappings with 0xff.
3653         (grow_hash_table): Ditto.
3654
3655 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
3656
3657         * url.c (url_parse): Allow empty ports.
3658
3659 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
3660
3661         * main.c (print_help): Break the help string into multiple chunks.
3662         (cmdline_option): New option handler OPT_FUNCALL.  Generalized
3663         HANDLE_CMD to generic DATA.
3664         (option_data): Use the new OPT_FUNCALL feature.
3665
3666 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
3667
3668         * log.h: Declare log_init, log_close, and
3669         log_request_redirect_output here.
3670
3671 2003-11-05  Dennis Smit  <ds@nerds-incorporated.org>
3672
3673         * main.c: (main): added --preserve-permissions option.
3674
3675         * ftp.c (ftp_retrieve_list): added support for
3676         --preserve-permissions option.
3677
3678         * init.c: added support for --preserve-permission option.
3679
3680         * option.h: added support for --preserve-permission option.
3681
3682 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
3683
3684         * main.c (init_switches): New function.  Convert option_data to
3685         long_options and short_options, which can be fed to getopt_long.
3686         (main): Execute command-line options by consulting option_data.
3687
3688 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
3689
3690         * gen_sslfunc.c (ssl_read): Implement a more correct check for
3691         EINTR.
3692         (ssl_write): Ditto.
3693         (init_ssl): Use a global SSL context.
3694
3695 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
3696
3697         * connect.c (xclose): Free INFO even if it doesn't provide a
3698         closer.
3699
3700 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
3701
3702         * connect.c: Updated all callers of
3703         iread/ssl_iread/iwrite/ssl_iwrite to use xread and xwrite instead.
3704
3705         * rbuf.h (struct rbuf): Removed the SSL member because SSL is
3706         handled automatically by xread.
3707
3708         * hash.c (ptrhash): Made private.
3709         (ptrcmp): Ditto.
3710         (inthash): Removed.
3711
3712         * connect.c (select_fd): Don't set errno, leave it to the caller.
3713
3714         * gen_sslfunc.c (connect_ssl): Use register_extended to register
3715         SSL callbacks for communication with SSL-enabled endpoints.
3716         (ssl_read): New function.
3717         (ssl_write): Ditto.
3718         (ssl_poll): Ditto.
3719         (ssl_close): Ditto.
3720
3721         * connect.c (register_extended): New function -- register
3722         callbacks for basic socket operations.
3723         (xread): Ditto.
3724         (xwrite): Ditto.
3725         (xclose): Ditto.
3726         (sock_read): New function, default implementation for reading.
3727         (sock_write): Ditto for writing.
3728         (sock_poll): Ditto for polling.
3729         (sock_close): Ditto for closing.
3730
3731 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
3732
3733         * connect.c (bindport): Fix compilation under pre-C99 compilers.
3734
3735 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
3736
3737         * connect.c (connect_to_ip): More compact error checking.
3738         (bindport): Don't treat failed setsockopt as a fatal error.
3739
3740 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
3741
3742         * connect.c (resolve_bind_address): Use a more accurate error
3743         message -- we're not binding to ANY, we're disabling bind
3744         altogether.
3745
3746 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
3747
3748         * cookies.c (save_cookies_mapper): Respect the setting of
3749         keep-session-cookies.
3750         (cookie_jar_load): Import session cookies.
3751         Based on code submitted by Nicolas Schodet.
3752
3753         * utils.c (datetime_str): Use information in TM when it's
3754         non-NULL.
3755
3756         * main.c (main): New option `--keep-session-cookies'.
3757
3758 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
3759
3760         * Makefile.in (realclean): Delete config.h.in.
3761
3762 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
3763
3764         * config-post.h: New file, included from now autogenerated
3765         config.h.in.
3766
3767 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
3768
3769         * progress.c (progress_handle_sigwinch): Don't call
3770         determine_screen_width() from the signal handler.  Instead, just
3771         set a volatile variable.
3772         (bar_create): Check whether SIGWINCH was received.
3773         (bar_update): Ditto.
3774
3775         * sysdep.h: Define SYSTEM_FNMATCH only if HAVE_FNMATCH_H is true.
3776
3777 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
3778
3779         * utils.c (xsleep): New function.  Uses nanosleep where available,
3780         resuming sleeps interrupted by signals.  Updated callers of sleep
3781         and usleep to use xsleep.
3782
3783 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
3784
3785         * ftp-basic.c (ftp_login): Remove shadowing (and bogus)
3786         declaration of SEED.
3787
3788 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
3789
3790         * log.c (logvprintf): Documented better.  Renamed to
3791         log_vprintf_internal to avoid confusion with the public API
3792         functions logprintf and logputs.
3793
3794 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
3795
3796         * wget.h (N_): Don't parenthesize argument.
3797
3798 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
3799
3800         * host.h (ADDRESS_IPV4_DATA): Don't take the address of in.s_addr
3801         because that doesn't work on machines that define it as bitfield.
3802
3803 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
3804
3805         * connect.c (select_fd): Generalize the third argument into WAIT,
3806         so that the caller can request waiting for both read and write.
3807         Updated callers.
3808
3809 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
3810
3811         * html-url.c (cleanup_html_url): Destroy the hash tables, don't
3812         just call free on them.
3813         (init_interesting): Use hash_table_put instead of string_set_add
3814         because we don't need the strdup that the latter function
3815         performs.
3816
3817         * init.c (cleanup): Don't pass NULL to cookie_jar_delete.
3818
3819         * xmalloc.c (xfree_real): Abort when passed a NULL pointer.
3820         (xfree_debug): Print at the file and line of the offending call to
3821         free.
3822
3823 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
3824
3825         * wget.h: Retired the `boolean' type.  Moved the DEFAULT_LOGFILE
3826         define to log.h.  Moved the INFINITE_RECURSION define to recur.h.
3827
3828         * xmalloc.h: Renamed FREE_MAYBE to xfree_null and moved the
3829         definition from wget.h to xmalloc.h.
3830
3831 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
3832
3833         * html-parse.c (decode_entity): New function; split the decoding
3834         of entities here.
3835         (convert_and_copy): Use it to decode entities.
3836         (decode_entity): Handle the &apos entity.
3837         (decode_entity): Don't decode Latin 1 numeric entities.  Don't
3838         decode &#0.
3839
3840 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
3841
3842         * ftp-opie.c (calculate_skey_response): Use uint32_t instead of
3843         `unsigned long' for the cheksum array.  Document the function.
3844
3845 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
3846
3847         * connect.c (acceptport): Don't call select_fd when timeout is not
3848         requested.
3849
3850 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
3851
3852         * host.c: Removed the ip_default_family global variable.
3853
3854         * host.c (lookup_host): Document the function.  Fixed declaration
3855         of VEC.
3856
3857 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
3858
3859         * various: Use new macros xnew, xnew0, xnew_array, and xnew0_array
3860         in various places.
3861
3862 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
3863
3864         * wget.h: Move declarations of malloc and logging code to
3865         xmalloc.h and log.h respectively to unclutter this file.
3866         (STRDUP_ALLOCA): Made it side-effect free.
3867
3868         * xmalloc.h: New files.  Define macros xnew, xnew0, xnew_array,
3869         and xnew0_array.
3870
3871         * xmalloc.c: New file.  Move the xmalloc routines here.
3872
3873 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
3874
3875         * connect.c (sockaddr_set_data): Remove the broken code that
3876         checked for NULL address.
3877
3878 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
3879
3880         * host.c (address_list_from_single): Removed.
3881         (address_list_from_ipv4_addresses): Renamed from
3882         address_list_from_vector.
3883
3884 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
3885
3886         * sysdep.h (CLOSE): Don't call close on file descriptors less than
3887         0, i.e. on uncreated sockets.
3888
3889         * connect.c (resolve_bind_address): Work on struct sockaddr
3890         directly.
3891         (connect_to_host): Replacement for connect_to_many.  Resolve HOST
3892         and connect to any of its addresses.  If we can't connect and the
3893         host name lookup was cached, try to resolve it again.  This should
3894         fix problems with hosts behind dynamic DNS.  Updated all callers.
3895         (connect_to_ip): Replacement for connect_to_one.  Removed SILENT;
3896         added the argument PRINT instead.  Updated all callers.
3897         (set_connection_host_name): Removed.
3898
3899         * host.c (address_list_address_at): New function instead of
3900         address_list_copy_one. It returns a pointer to ip_address *, so
3901         it's not necessary to copy the data.
3902         (address_list_cached_p): New function.
3903         (forget_host_lookup): Ditto.
3904
3905         * connect.c: Got rid of the MSOCK global variable.  Made bindport
3906         return the local socket it creates.  Added a new argument to
3907         acceptport, the socket to call accept on.  Updated callers.
3908         (closeport): Removed.
3909
3910         * connect.c: Moved the sockaddr code from host.c to this file,
3911         because most of that stuff is used for connecting, and has nothing
3912         to do with host names anyway.
3913         (sockaddr_set_data, sockaddr_get_data): New functions, replace the
3914         old sockaddr_set_address, sockaddr_set_port, sockaddr_get_address,
3915         and sockaddr_get_port.
3916
3917 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
3918
3919         * sysdep.h: Use `S >= 8' rather than `S == 8' when looking for
3920         large integers.
3921
3922 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
3923
3924         * url.c (append_uri_pathel): New argument ESCAPED_P that says
3925         whether [B, E) is to be treated as URL-escaped or not.  If
3926         ESCAPED_P is false, don't unescape the region.
3927         (url_file_name): u->file is not URL-escaped.
3928
3929 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
3930
3931         * retr.c (retrieve_from_file): Use retrieve_tree for
3932         page-requisites.
3933
3934         * main.c (main): Don't define opt.recursive when -p is used.
3935         Instead, make sure that recursion is used for HTTP in that case.
3936
3937 2003-10-29  Hrvoje Niksic  <hniksic@xemacs.org>
3938
3939         * host.h: Defined accessors for elements of ip_address.  Updated
3940         all callers.
3941         (address_list_match_all): Use memcmp in the non-IPv6 case.
3942
3943         * wget.h (CONNECT_ERROR): Don't retry connecting if connect()
3944         returned EAFNOSUPPORT.
3945
3946 2003-10-27  Mauro Tortonesi <mauro@deepspace6.net>
3947
3948         * connect.h: changed bindport prototype and added the related
3949         BIND_ON_IPV4_ONLY and BIND_ON_IPV6_ONLY flags.
3950
3951         * connect.c: changed bindport and resolve_bind_address to allow
3952         protocol-version specific DNS resolution. modified conaddr,
3953         acceptport and connect_to_one to make use of struct
3954         sockaddr_storage and of the new ip_address structure.
3955
3956         * ftp-basic.c: added LPRT/LPSV (RFC1639) support, refactored
3957         PORT/PASV (RFC959) and EPRT/EPSV (RFC2428) support code.
3958
3959         * ftp.c: added the ftp_do_port and ftp_do_pasv functions to
3960         handle FTP over IPv6.
3961
3962         * ftp.h: changed prototype of ftp_epsv and added prototypes for
3963         ftp_lpsv, ftp_lprt and ftp_eprt.
3964
3965         * host.c: renamed the
3966         wget_sockaddr_set_address and wget_sockaddr_get_addr, and
3967         wget_sockaddr_{s,g}et_port couples to sockaddr_{s,g}et_address and
3968         sockaddr_{g,s}et_port respectively.  changed
3969         address_list_match_all, address_list_from_addrinfo sockaddr_len,
3970         pretty_print_address, lookup_host, sockaddr_{s,g}et_address and
3971         sockaddr_{g,s}et_port to make use of struct sockaddr_storage and
3972         of the new ip_address structure.  removed map_ipv4_to_ip and
3973         map_ip_to_ipv4.
3974
3975         * host.h: redefined structure ip_address and removed structure
3976         wget_sockaddr.
3977
3978 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
3979
3980         * sysdep.h: Include inttypes.h where available.
3981
3982         * host.c: Switch from u_int32_t to uint32_t.
3983
3984 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
3985
3986         * netrc.c (parse_netrc): Reset the QUOTE flag after the closing
3987         quote.
3988
3989 2003-10-25  Hrvoje Niksic  <hniksic@xemacs.org>
3990
3991         * url.c (is_valid_ipv6_address): Reformat to GNU coding style.
3992         Use enums for NS_IN* constants.  Use ISXDIGIT.
3993
3994         * convert.c (construct_relative): Document better how the function
3995         works.
3996
3997 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
3998
3999         * config.h.in: Deploy preprocessor magic to avoid Ultrix's
4000         <netdb.h> include <bitypes.h> which defines its own u_int32_t.
4001         Reported by Bernhard Simon.
4002
4003 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
4004
4005         * version.c: Bump version.
4006
4007 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
4008
4009         * url.c: Ditto.
4010
4011         * html-parse.c (advance_declaration): Don't use trailing comma in
4012         enum because older compilers don't support it.
4013
4014         * utils.c: Don't redefine HAVE_SIGSETJMP.
4015
4016 2003-10-16  Hrvoje Niksic  <hniksic@xemacs.org>
4017
4018         * convert.c (construct_relative): Don't handle absolute files
4019         specially -- for example, -P/tmp/foo shouldn't imply that
4020         converted files must refer to "/tmp/foo/..."!
4021
4022 2003-10-15  Hrvoje Niksic  <hniksic@xemacs.org>
4023
4024         * http.c: Consider status 307 a valid redirect.
4025
4026 2003-10-15  Philip Stadermann  <philip.stadermann@credativ.de>
4027
4028         * ftp.c (ftp_retrieve_glob): Correctly loop through the list whose
4029         elements might have been deleted.
4030
4031 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
4032
4033         * html-url.c (tag_handle_meta): Set the Refresh link to expect
4034         HTML.
4035         (append_one_url): Renamed to append_url.
4036
4037 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
4038
4039         * sysdep.h: Only define u_int32_t.
4040
4041 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
4042
4043         * utils.c (large_int_to_string): Use snprintf() to print the
4044         number.  This will work even on systems where libc doesn't
4045         understand %lld, but the compiler does, because it will use our
4046         snprintf replacement.
4047
4048         * init.c (parse_bytes_helper): New function.
4049         (cmd_bytes): Use it to parse bytes, but cast the result to long.
4050         (cmd_bytes_large): Ditto, but store the result to LARGE_INT.  Used
4051         for --quota so that --quota=10G works even on machines without
4052         long long.
4053
4054         * options.h (struct options): Declare quota as LARGE_INT.
4055
4056         * retr.c (downloaded_exceeds_quota): Removed.
4057         (downloaded_increase): Ditto.
4058         (total_downloaded_bytes): New variable, replaces opt.downloaded,
4059         which was the wrong place for it anyway.  Updated callers of
4060         downloaded_exceeds_quota and downloaded_increase to check this
4061         variable directly.
4062
4063         * sysdep.h: Get rid of VERY_LONG_TYPE.  Use LARGE_INT for the same
4064         purpose, defined as `long', `long long' or `double', depending on
4065         size of long and whether long long is available.
4066
4067 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
4068
4069         * sysdep.h: Also check size of short for int32_t.
4070
4071 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
4072
4073         * host.c (lookup_host): Use u_int32_t to store the result of
4074         inet_addr().  That removes the need for offset fiddling, caring
4075         about endian-ness, etc.
4076
4077         * sysdep.h: Define int32_t and u_int32_t if not available.
4078
4079 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
4080
4081         * ftp-basic.c (ftp_epsv): Use socklen_t * as the third argument to
4082         getpeername.
4083
4084         * config.h.in: Define socklen_t stub.
4085
4086         * host.c (sockaddr_len): Return socklen_t.
4087
4088         * connect.c (conaddr): Use socklen_t as the third argument to
4089         accept, getsockname, and connect.
4090
4091 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
4092
4093         * recur.c (retrieve_tree): Don't descend into documents that are
4094         not expected to contain HTML, regardless of their content-type.
4095
4096         * html-url.c (tag_url_attributes): Record which attributes are
4097         supposed to yield HTML links that can be followed.
4098         (tag_find_urls): Propagate that information to the caller through
4099         struct urlpos.
4100
4101 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
4102
4103         * hash.c (find_mapping): Return the next available mapping when
4104         the key is not found, not NULL.
4105         (hash_table_put): Use find_mapping to find the storage for the new
4106         data.
4107         (hash_table_put): Grow the table before exceeding maximum
4108         fullness, not afterwards.
4109
4110 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
4111
4112         * hash.c (hash_table_new): Slightly change the meaning of the
4113         first parameter.  Instead of being the minimum initial size, it is
4114         now the minimum number of items that the hash table can take
4115         without needing to resize.
4116
4117 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
4118
4119         * html-url.c (init_interesting): Initialize interesting_tags and
4120         interesting_attributes as hash tables.  This simplifies the code
4121         immensely because hash tables handle allocation and remove
4122         duplicates automatically.
4123         (find_tag): Removed.
4124         (collect_tags_mapper): Instead of calling find_tag, simply get the
4125         entry from interesting_tags hash table, which is both simpler and
4126         faster.
4127
4128 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
4129
4130         * hash.c (hash_table_get): Declare hash-table argument as const.
4131         (find_mapping): Ditto.
4132         (hash_table_get_pair): Ditto.
4133         (hash_table_contains): Ditto.
4134         (hash_table_count): Ditto.
4135
4136 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
4137
4138         * html-url.c (get_urls_html): Parse the appropriate flags to
4139         html-parse.c.
4140
4141         * html-parse.c (map_html_tags): Accept FLAGS from the caller
4142         instead of examining OPT.
4143
4144 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
4145
4146         * html-url.c (find_tag): Switch to binary search.
4147
4148 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
4149
4150         * main.c (print_help): Fix typo; stured -> stored.
4151
4152 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
4153
4154         * getopt.c: Add definitions of getopt_long and getopt_long_only.
4155
4156 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
4157
4158         * config.h.in: Renamed DEBUG to ENABLE_DEBUG.  ENABLE_DEBUG is, I
4159         think, a better name, because it implies that debugging output is
4160         merely possible, not "on by default", as might be construed from
4161         just DEBUG.
4162
4163 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
4164
4165         * ftp.c (has_insecure_name_p): Define it here.
4166
4167         * utils.c (has_wildcards_p): Define it here.
4168
4169         * sysdep.h: Declare fnmatch-related macros here, if not using
4170         system fnmatch().  Update .c files to not declare fnmatch.h
4171         directly.
4172
4173         * cmpt.c (fnmatch): Moved here.  Use it only under non-GNU libc.
4174
4175 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
4176
4177         * getopt.c: Newer version, imported from Free libit.
4178
4179 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
4180
4181         * cookies.c (struct cookie): Remove unused backpointer to cookie
4182         jar.
4183
4184 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
4185
4186         * cmpt.c (memmove): Comment out, since it's no longer used.
4187
4188         * cookies.c (cookie_jar_generate_cookie_header): Allocate room for
4189         chains in one pass.
4190         (find_chains_of_host): Assume that the caller has allocated DEST
4191         to be sufficiently large to take all the data.
4192         (eliminate_dups): Run through the array and eliminate dups on the
4193         fly instead of using memmove.
4194         (cookie_jar_process_set_cookie): Free cookie->domain before
4195         re-setting it.
4196
4197 2003-10-05  Gisle Vanem  <giva@bgnett.no>
4198
4199         * mswindows.c (set_sleep_mode): Fix type of
4200         _SetThreadExecutionState.
4201
4202 2003-10-05  Hrvoje Niksic  <hniksic@xemacs.org>
4203
4204         * utils.c (file_size): Return -1 if fopen() returns NULL.  Prior
4205         to this patch, wget --post-file=nosuchfile dumped core.
4206
4207 2003-10-04  Gisle Vanem  <giva@bgnett.no>
4208
4209         * mswindows.c (run_with_timeout): Use WaitForSingleObject to wait
4210         for thread termination.
4211
4212 2003-10-04  Hrvoje Niksic  <hniksic@xemacs.org>
4213
4214         * log.c: Use `...' in function definitions; ansi2knr will convert
4215         them to va_dcl.  This allowed removal of the ugly VA_START_1 and
4216         VA_START_2 macros.
4217
4218 2003-10-03  Gisle Vanem  <giva@bgnett.no>
4219
4220         * connect.c: And don't include them here.
4221
4222         * mswindows.h: Include winsock headers here.
4223
4224 2003-10-03  Hrvoje Niksic  <hniksic@xemacs.org>
4225
4226         * html-parse.c (convert_and_copy): Move variable declarations
4227         before statements.
4228
4229 2003-10-02  Gisle Vanem  <giva@bgnett.no>
4230
4231         * mswindows.c (run_with_timeout): For Windows: Run the 'fun' in a
4232         thread via a helper function. Continually query the thread's
4233         exit-code until finished or timed out.
4234
4235 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
4236
4237         * wget.h (XMALLOC_ARRAY): Removed.
4238         (ALLOCA_ARRAY): Ditto.
4239
4240         * html-parse.c: Renamed alloca_p to resized.
4241         (GROW_ARRAY): Renamed DO_REALLOC_FROM_ALLOCA to GROW_ARRAY and
4242         returned it to html-parse.c, since nothing else was using it.
4243
4244 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
4245
4246         * retr.c (retrieve_url): Initialize DUMMY storage for DT.  Caught
4247         by valgrind.
4248
4249 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
4250
4251         * html-parse.c (convert_and_copy): Handle numeric entities in
4252         hexadecimal, &#xHH.
4253         (convert_and_copy): Copy the contents directly to the pool without
4254         a stack-allocated intermediary.
4255
4256 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
4257
4258         * utils.c (alarm_set): New function; use either setitimer or alarm
4259         to set up the alarm.
4260         (alarm_cancel): New function; cancel the alarm set up by
4261         alarm_set.
4262         (run_with_timeout): Use them.
4263
4264 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
4265
4266         * url.c (url_parse): Don't leak memory when a reencoded URL turns
4267         out to be invalid.
4268
4269         * url.c (parse_errors): Mark error messages for translation.
4270         (url_error): Translate error messages returned to the caller.
4271
4272 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
4273
4274         * ftp.c (ftp_loop_internal): Initialize TMRATE to NULL to shut up
4275         the compiler.
4276
4277 2003-09-26  Gisle Vanem  <giva@bgnett.no>
4278
4279         * src/mswindows.c: Added ws_percenttitle() showing progress in the
4280         window titlebar. Called from retr.c. Secured ws_mypath().
4281
4282         * windows/config.h.ms: alloca() prototype not needed.  Removed
4283         "#undef ENABLE_NLS"; should be in Makefile IMHO. Moved
4284         WGET_USE_STDARG from mswindows.h to config.ms.h because of #ifdef
4285         in log.c. (MSVC's vararg.h and stdarg.h are incompatible).
4286
4287 2003-09-29  Aaron Hawley <Aaron.Hawley@uvm.edu>
4288
4289         * ftp.c (getftp): --spider option should now work with FTP
4290         downloads.
4291         (ftp_loop_internal): quiet reports and calculations of downloads
4292         when --spider option set, nor try deleting when --delete-after
4293         also set.
4294         (ftp_loop): --spider will skip HTML-ification of .listing file.
4295
4296 2003-09-26  Gisle Vanem  <giva@bgnett.no>
4297
4298         * mswindows.c (read_registry): Removed.
4299         (set_sleep_mode): New function.
4300         (windows_main_junk): Call it.
4301
4302 2003-09-26  Gisle Vanem  <giva@bgnett.no>
4303
4304         * mswindows.c (read_registry): Fix invocation of registry
4305         functions.
4306
4307         * mswindows.c (read_registry): Condition definitions of sleep and
4308         usleep with not HAVE_SLEEP and HAVE_USLEEP respectively.  Define
4309         HAVE_SLEEP and HAVE_USLEEP under __DMC__.
4310
4311 2003-09-24  Hrvoje Niksic  <hniksic@xemacs.org>
4312
4313         * url.c (url_escape_1): Revert unintentional change to lowercase
4314         xdigit escapes.
4315         (url_escape_dir): Document that this function depends on the
4316         output of url_escape_1.
4317
4318 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
4319
4320         * progress.c (create_image): Print the current ETA if we're done
4321         with the download.
4322         (create_image): Change '-' display char to '+' in the progress bar.
4323
4324         * Makefile.in (clean): Remove .libs.
4325
4326 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
4327
4328         * cookies.c (struct cookie): New flag domain_exact.
4329         (update_cookie_field): Skip leading dot in domain.
4330         (find_matching_chains): Match numeric addresses exactly; don't
4331         needlessly copy HOST to the stack.
4332         (matching_cookie): Added argument HOST.  If cookie->domain_exact
4333         is set, check that HOST is equal to cookie->domain.
4334         (cookie_jar_load): Only use TAB as delimiter.  Document the
4335         meaning of DOMAIN-FLAG.  Skip leading dot in domain.
4336         (cookie_jar_load): Don't ignore DOMAIN-FLAG -- instead, set
4337         domain_exact to true if DOMAIN-FLAG is false.
4338         (save_cookies_mapper): If domain_exact is false, prepend the
4339         domain with dot, like Mozilla does.
4340
4341 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
4342
4343         * progress.c (create_image): Print the initial part of the
4344         download with '-' characters, analogous to how dot progress prints
4345         the initial part with ','.
4346
4347         * hash.c (ptrhash): New function.
4348         (ptrcmp): Ditto.
4349         (hash_table_new): Default to identity hash table.
4350
4351 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
4352
4353         * safe-ctype.h (_sch_test): The cast of BIT to unsigned char was
4354         broken -- _sch_istable bitmasks are 16-bit, not 8-bit!  Cast BIT
4355         to unsigned short instead.
4356
4357 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
4358
4359         * url.c (path_simplify): Instead of calls to memmove, handle "./"
4360         and "../" by advancing pointers.
4361
4362 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
4363
4364         * retr.c (getproxy): Moved from url.c.
4365
4366         * convert.c: Split off link conversion from url.c into separate
4367         file.  Also included the book-keeping stuff from recur.c.
4368
4369 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
4370
4371         * init.c: Improved documentation of functions.
4372         (cmd_boolean): Attempt to make code that tries to avoid calling
4373         strcmp for "speed" a bit more readable.
4374
4375         * init.c (simple_atof): Report error on encountering non-digit,
4376         non-"." character.
4377         (simple_atoi): Replacement for myatoi(), calling interface
4378         compatible with simple_atof.  Updated myatoi's callers.
4379
4380 2003-09-21  Bertrand Demiddelaer  <bert@b3rt.org>
4381
4382         * url.c (path_simplify): Would read two bytes past the end of the
4383         string in the "./" case.
4384
4385 2003-09-21  Matthew J. Mellon  <mellon@tymenet.com>
4386
4387         * http.c (gethttp): Recognize content-type "application/xhtml+xml"
4388         as what Wget considers "text/html".
4389
4390 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
4391
4392         * connect.c (connect_with_timeout): Made timeout type double.
4393
4394         * options.h (struct options): New members read_timeout,
4395         dns_timeout, and connect_timeout.
4396         Use them.
4397
4398 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
4399
4400         * init.c (simple_atof): New function.
4401         (cmd_time): Use it.
4402         (cmd_bytes): Accept things like "1.5k" and such.  Use simple_atof
4403         to parse decimals.
4404
4405         * retr.c (limit_bandwidth): Adjust each sleep by the error of the
4406         previous one.
4407
4408 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
4409
4410         * main.c (main): Use setoptval() for setting the options.  Use
4411         run_command for `-e'.
4412
4413         * init.c (parse_line): Rewritten to return COMIND right away.
4414         Changed linkage to static.
4415         (run_wgetrc): Use the available comind when calling setval, so it
4416         doesn't have to be computed twice.
4417         (setval_internal): New function, runs the command's action without
4418         any error checking.
4419         (setoptval): New function, does what setval used to do, but exits
4420         in case of error.
4421         (run_command): New function.
4422
4423 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
4424
4425         * connect.c (select_fd): Change MAXTIME's type to double.  Handle
4426         its decimal part.
4427
4428         * retr.c (sleep_between_retrievals): In the random-wait case, use
4429         random_float() to wait between 0 and 2*opt.wait seconds.
4430
4431         * utils.c (run_with_timeout): Accept `double' timeouts.  Correctly
4432         handle timeout values in (0, 1) range.
4433         (random_float): New function.
4434
4435         * options.h (struct options): Change the types of wait, waitretry,
4436         and timeout to double.
4437
4438         * init.c (cmd_time): Accept floating point time.
4439
4440 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
4441
4442         * retr.c (get_contents): Cosmetic fixes.
4443
4444 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
4445
4446         * url.c (uri_merge): Get rid of uri_merge_1.
4447         (uri_merge): Merge "foo//", "bar" as "foo//bar", not "foo///bar",
4448         i.e. don't add an extra slash merely because BASE ends with two
4449         slashes.
4450         (parse_credentials): Renamed from parse_uname.  Rewrittern in
4451         standard [beg, end) calling style.
4452         (url_skip_credentials): Renamed from url_skip_uname.  Made static.
4453         (url_skip_credentials): Include # and ; as terminators.  Old code
4454         would mistakenly consider "http://foo.com#hniksic@iskon.hr" to
4455         contain a username.
4456         (url_skip_scheme): Removed because it was unused.
4457         (url_has_scheme): Require "scheme" to be at least one char long.
4458
4459 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
4460
4461         * url.c (url_file_name): Expect NULL dir_prefix.
4462
4463         * init.c (cmd_file): Use a macro to prevent multiple #ifdef
4464         WINDOWS.
4465         (defaults): Set dir_prefix to NULL by default.
4466
4467 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
4468
4469         * safe-ctype.h (_sch_test): Cast BIT to unsigned char, like latest
4470         gcc does.
4471
4472 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
4473
4474         * wget.h (BOUNDED_TO_ALLOCA): Evaluate PLACE only once.
4475         (ARRAY_SIZE): Renamed to countof.  All callers updated.
4476
4477 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
4478
4479         * main.c (main): New option --strict-comments.
4480
4481         * html-parse.c (find_comment_end): New function: simple BM search
4482         for "-->".
4483         (map_html_tags): Use it if looking at a comment and not in strict
4484         comments mode.
4485
4486 2003-09-17  Aurelien Marchand  <artaxerxes@users.sf.net>
4487
4488         * ftp.h: Added OS400 system in enum
4489         * ftp-basic.c: recognize OS400 systems
4490         * ftp.c: don't prepend the CWD if talking to OS400, since it
4491         breaks the change in library
4492
4493 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
4494
4495         * retr.c (get_contents): Pass the correct argument to ssl_iread.
4496
4497 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
4498
4499         * safe-ctype.h: Don't #define ctype.h macros to errors because
4500         that loses when someone #include's ctype.h after safe-ctype.h.
4501
4502 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
4503
4504         * url.c: Undef U, W, C after use.
4505
4506 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
4507
4508         * init.c (cmd_spec_restrict_file_names): Allow the OS setting to
4509         be augmented by ",nocontrol" which means don't escape the control
4510         characters, but otherwise keep OS settings.
4511
4512         * url.c (file_unsafe_char): Deleted.
4513         (append_uri_pathel): Query filechr_table directly.
4514         (filechr_table): Separated Unix, Windows, and control-unsafe
4515         characters.
4516
4517 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
4518
4519         * url.c (url_escape_1): New function.
4520         (url_escape): Use it.
4521         (sync_path): Handle pathological cases where u->file and u->dir
4522         contain really strange characters.
4523         (ENCODE): Deleted.
4524         (REENCODE): Deleted.
4525
4526 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
4527
4528         * url.c (url_file_name): Don't reallocate FNAME if the file
4529         doesn't exist, as is usually the case.
4530
4531         * utils.c (unique_name): New flag allow_passthrough.
4532
4533 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
4534
4535         * utils.c (wtimer_sys_diff): Convert the time difference to signed
4536         __int64, then to double.  This works around MS VC++ 6 which can't
4537         convert unsigned __int64 to double directly.
4538
4539 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
4540
4541         * Makefile.in (clean): Also remove the core.<number> files
4542         produced by recent Linux systems.
4543
4544 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
4545
4546         * http.c (post_file): Don't pad the file if it's not large
4547         enough.  Bail out instead.
4548
4549 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
4550
4551         * retr.c (get_contents): Reduce the buffer size to the amount of
4552         data that may pass through for one second.  This prevents long
4553         sleeps when limiting bandwidth.
4554
4555         * connect.c (connect_to_one): Reduce the socket's RCVBUF when
4556         bandwidth limitation to small values is requested.
4557
4558 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
4559
4560         * progress.c (update_speed_ring): Moved the speed ring update to a
4561         separate function and documented it better.
4562
4563         * progress.c: Use `double' for most timers to support granularity
4564         smaller than 1ms.
4565
4566 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
4567
4568         * wget.h (XDIGIT_TO_XCHAR): Implement as index into a literal
4569         string.
4570         (XDIGIT_TO_xchar): Ditto.
4571
4572 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
4573
4574         * utils.c: Change the type of timer-related functions from long to
4575         double, for better precision.  On machines supporting gettimeofday
4576         the timers now work with granularity of less than one millisecond.
4577
4578 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
4579
4580         * cookies.c (parse_set_cookies): Fixed the parser to handle more
4581         edge conditions.
4582         (test_cookies): New function, contains a test suite for
4583         parse_set_cookies.
4584
4585 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
4586
4587         * url.c (strpbrk_or_eos): Implement as a macro under Gcc.
4588
4589 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
4590
4591         * cookies.c (parse_set_cookies): Allow trailing space in
4592         set-cookies header.  Also, allow any amount of whitespace, not
4593         only one character.  Allow empty set-cookies header without
4594         spewing an error.
4595
4596 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
4597
4598         * url.c (append_uri_pathel): Use opt.restrict_file_names when
4599         calling file_unsafe_char.
4600
4601         * init.c: New command restrict_file_names.
4602
4603         * main.c (main): New option --restrict-file-names[=windows,unix].
4604
4605         * url.c (url_file_name): Renamed from url_filename.
4606         (url_file_name): Add directory and hostdir prefix here, not in
4607         mkstruct.
4608         (append_dir_structure): New function, does part of the work that
4609         used to be in mkstruct.  Iterates over path elements in u->path,
4610         calling append_uri_pathel on each one to append it to the file
4611         name.
4612         (append_uri_pathel): URL-unescape a path element and reencode it
4613         with a different set of rules, more appropriate for handling of
4614         files.
4615         (file_unsafe_char): New function, uses a lookup table to decide
4616         whether a character should be escaped for use in file name.
4617         (append_string): New utility function.
4618         (append_char): Ditto.
4619         (file_unsafe_char): New argument restrict_for_windows, decide
4620         whether Windows file names should be escaped in run-time.
4621
4622         * connect.c: Include <stdlib.h> to get prototype for abort().
4623
4624 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
4625
4626         * utils.c (wtimer_sys_set): Extracted the code that sets the
4627         current time here.
4628         (wtimer_reset): Call it.
4629         (wtimer_sys_diff): Extracted the code that calculates the
4630         difference between two system times here.
4631         (wtimer_elapsed): Call it.
4632         (wtimer_elapsed): Don't return a value smaller than the previous
4633         one, which could previously happen when system time is set back.
4634         Instead, reset start time to current time and note the elapsed
4635         offset for future calculations.  The returned times are now
4636         guaranteed to be monotonically nondecreasing.
4637
4638 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
4639
4640         * host.c (lookup_host): Print the result of the DNS lookup.
4641
4642 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
4643
4644         * init.c (cmd_boolean): Accept yes/no along with on/off.
4645         (cmd_lockable_boolean): Ditto.
4646
4647 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
4648
4649         * init.c: New command dns_cache.
4650
4651         * main.c (main): New option --dns-cache[=off].
4652
4653 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
4654
4655         * config.h.in: Initialize HAVE_GETADDRINFO and ENABLE_IPV6.
4656
4657         * all: Use #ifdef ENABLE_IPV6 instead of the older INET6.  Use
4658         HAVE_GETADDRINFO for getaddrinfo-related stuff.
4659
4660 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
4661
4662         * url.c (url_parse): Return an error if the URL contains a [...]
4663         IPv6 numeric address and we don't support IPv6.
4664
4665 2003-09-05  Hrvoje Niksic  <hniksic@xemacs.org>
4666
4667         * url.c (is_valid_ipv6_address): Modified to not require
4668         zero-terminated strings.
4669         (is_valid_ipv4_address): Ditto.
4670
4671 2003-09-05  Mauro Tortonesi <mauro@deepspace6.net>
4672
4673         src/url.c: added RFC 2732 compliance for URL parsing. The
4674         functions is_*_address valid are a modified version of
4675         glibc 2.3.2 inet_pton's code.
4676
4677 2003-09-03  Ahmon Dancy  <dancy@dancysoft.com>
4678
4679         * main.c init.c options.h: Added --retry-connrefused option so
4680         that Connection Refused failures are treated as non-fatal (when
4681         trying to retrieve from busy servers).
4682
4683         * wget.h: New CONNECT_ERROR macro for encapsulating this
4684         modification.
4685
4686         * ftp.c http.c : Use CONNECT_ERROR macro in places where
4687         ECONNREFUSED was checked.
4688
4689 2003-01-11  Ian Abbott  <abbotti@mev.co.uk>
4690
4691         * ftp.c (ftp_retrieve_glob): Reject insecure filenames as determined
4692         by calling new function has_insecure_name_p.  This is based on a
4693         patch by Red Hat.
4694
4695         * fnmatch.c (has_insecure_name_p): New function: returns non-zero
4696         if filename starts with `/' or contains `../' and is therefore
4697         considered insecure.
4698
4699         * fnmatch.h: Declare has_insecure_name_p().
4700
4701 2002-08-03  Hrvoje Niksic  <hniksic@xemacs.org>
4702
4703         * init.c (cmd_file): Allocate RESULT correctly.
4704
4705 2002-07-24  Hrvoje Niksic  <hniksic@xemacs.org>
4706
4707         * recur.c (retrieve_tree): Check whether downloaded_html_set is
4708         non-NULL before using it.
4709
4710 2002-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4711
4712         * html-parse.c (NAME_CHAR_P): Allow almost any character here.
4713
4714 2002-05-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4715
4716         * progress.c (bar_set_params): Fall back to dot progress if the
4717         terminal type is "emacs".
4718
4719 2002-05-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4720
4721         * log.c: Don't #undef WGET_USE_STDARG.
4722
4723 2002-05-16  Hrvoje Niksic  <hniksic@arsdigita.com>
4724
4725         * hash.c (prime_size): Store the offset of the prime number in the
4726         prime table.  When searching, start with the given offset.
4727         (hash_table_new): Pass the pointer to ht->prime_offset to
4728         prime_size.
4729         (grow_hash_table): Ditto.
4730         (prime_size): Make 13 the first prime to make empty hash tables
4731         slightly smaller.
4732
4733 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
4734
4735         * recur.c (download_child_p): Minor optimization to avoid an
4736         unnecessary additional call to schemes_are_similar_p function.
4737
4738 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
4739
4740         * url.c (schemes_are_similar_p): New function to test enumerated
4741         scheme codes for similarity.
4742
4743         * url.h: Declare it.
4744
4745         * recur.c (download_child_p): Use it to compare schemes.  This
4746         also fixes a bug that allows hosts to be spanned (without the
4747         -H option) when the parent scheme is https and the child's is
4748         http or vice versa.
4749
4750 2002-05-14  Bill Richardson  <bill@riverstonenet.com>
4751
4752         * ftp.c (getftp): Don't ftruncate stdout.
4753
4754         * http.c (gethttp): Don't ftruncate stdout.
4755
4756 2002-05-09  Ian Abbott  <abbotti@mev.co.uk>
4757
4758         * cmpt.c (strptime_internal): Synched with glibc-2.1.3.
4759         (get_number): Ditto.
4760         (get_alt_number): Ditto.
4761         (__isleap): New function-like macro used by strptime.
4762         (day_of_the_week): New function used by strptime.
4763         (day_of_the_year): Ditto.
4764         (__mon_yday): Now shared by mktime and strptime implementations.
4765
4766 2002-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
4767
4768         * cookies.c (check_domain_match): Use match_tail in case
4769         insensitive mode.
4770
4771         * utils.c (match_tail): Allow the caller to specify case
4772         insensitive mode.
4773
4774         * cookies.c (store_cookie): When expiry_time is 0, print it as
4775         undefined, not indefinite.
4776
4777 2002-05-07  Ian Abbott  <abbotti@mev.co.uk>
4778
4779         * cookies.c (cookie_jar_process_set_cookie): Do not store
4780         discarded cookie.
4781
4782 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
4783
4784         * cookies.c (check_domain_match): Allow cookies to be set for
4785         subdomains of unknown top-level domains under some circumstances.
4786
4787 2002-04-21  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
4788
4789         * gen_ssl.c:
4790         - allow checking of server cert
4791         - allow defining client cert type
4792         - allow limit of ssl protocol
4793         - check more return values
4794         - added debug message on break
4795
4796 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
4797
4798         * recur.c (download_child_p): Revert order of items in check
4799         number 6 for clarity.
4800
4801 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4802
4803         * init.c: Ditto.
4804
4805         * main.c: Ditto.
4806
4807         * http.c: Use the new interface.
4808
4809         * cookies.c: Provide an OO-style "cookie jar" interface to enable
4810         separate cookie jars.
4811
4812         * http.c (http_atotm): Declare argument as const.
4813
4814 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4815
4816         * cookies.c (cookie_new): Default to PORT_ANY.
4817         (find_cookie_chain_exact): Only search by DOMAIN.
4818         (find_matching_cookie): Also check that PORT matches.
4819         (store_cookie): Only match the domain.
4820         (set_cookie_header_cb): When a cookie "fakes" a domain, assume it
4821         is valid for that host rather than discarding it completely.
4822         (find_matching_chains): Don't search by PORT.
4823         (matching_cookie): Also match PORT.
4824         (load_cookies): Set the port if specified, otherwise leave it as
4825         ANY.
4826         (save_cookies_mapper): Save the port if specified, otherwise leave
4827         it empty.
4828
4829 2002-04-19  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
4830
4831         * init.c: The option `egdfile' was not in sort order.
4832
4833 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
4834
4835         * ftp.c (getftp): Treat directories that begin with <letter>: as
4836         absolute.
4837         (getftp): Strip trailing slashes from con->id before merging it
4838         with TARGET.
4839
4840 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
4841
4842         * http.c (gethttp): If Content-Type is not given, assume
4843         text/html.
4844
4845 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
4846
4847         * recur.c (download_child_p): Don't ignore rejection of HTML
4848         documents that are themselves leaves of recursion.
4849
4850 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
4851
4852         Makefile.in: Updated several dependencies for object files to take
4853         account of nested include files.
4854
4855 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
4856
4857         Makefile.in: The target `connect$o' (connect.o) now depends on
4858         `utils.h'
4859
4860 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
4861
4862         * host.c (SET_H_ERRNO): New function-like macro to set `h_errno'.
4863         (gethostbyname_with_timeout): Use it.
4864
4865         * utils.c: Don't define `SETJMP()', `run_with_timeout_env' or
4866         `abort_run_with_timeout()' when `USE_SIGNAL_TIMEOUT' is undefined.
4867
4868 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
4869
4870         * host.c (getaddrinfo_with_timeout): New function.
4871         (gethostbyname_with_timeout): Ditto.
4872         (lookup_host): Use them.
4873
4874 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4875
4876         * utils.c (number_to_string): Handle the case when n < -INT_MAX.
4877
4878 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4879
4880         * init.c (comind): Use a marginally faster implementation of
4881         binary search.  To quote Martin Buchholz, "a nanosecond saved is a
4882         nanosecond earned."
4883
4884 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4885
4886         * main.c (print_help): Document `--post-data' and `--post-file'.
4887
4888 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4889
4890         * http.c (gethttp): Ditto.
4891
4892         * retr.c (retrieve_url): Initialize variables to appease the
4893         compiler.
4894
4895         * gen_sslfunc.c (ssl_iread): Don't handle EINTR when calling
4896         select_fd.
4897         (ssl_iwrite): Ditto.
4898
4899         * connect.c (select_fd): Rewrite to handle EINTR.  Set errno to
4900         ETIMEDOUT in case of timeout.
4901         (iread): No need to handle EINTR when calling select_fd.
4902         (iwrite): Ditto.
4903
4904 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4905
4906         * retr.c (retrieve_url): Make sure that POST is not honored for
4907         redirections.
4908
4909         * http.c (gethttp): Send the POST data when requested.
4910         (post_file): New function.
4911         (gethttp): Use it.
4912
4913         * main.c (main): Ditto.
4914
4915         * init.c: Add new options.
4916
4917         * options.h (struct options): New options post_data and
4918         post_file_name.
4919
4920 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4921
4922         * connect.c (connect_with_timeout): Firing SIGALRM can result in
4923         connect() exiting with EINTR.  Treat EINTR the same as ETIMEDOUT.
4924
4925 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4926
4927         * connect.c (connect_with_timeout): Use it.
4928
4929         * utils.c (run_with_timeout): New function.
4930
4931 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4932
4933         * url.c (getproxy): Accept a struct url argument.  This obviates
4934         the need for USE_PROXY_P.
4935
4936         * retr.c (retrieve_url): Allow proxy to be a non-FTP URL.
4937
4938         * ftp.c (getftp): Recognize FWTK-style proxy.
4939
4940 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4941
4942         * config.h.in: Only define _VA_LIST when compiled with gcc.
4943
4944 2002-04012  Ian Abbott  <abbotti@mev.co.uk>
4945
4946         * http.c (http_loop): Compensate for MS Windows two-second
4947         granularity of file modification time when comparing timestamps.
4948
4949         * ftp.c (ftp_retrieve_list): Ditto.
4950
4951 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
4952
4953         * utils.c (has_html_suffix_p): New function to test filename for
4954         common html extensions.
4955
4956         * utils.h: Declare it.
4957
4958         * http.c (http_loop): Use it instead of previous test.
4959
4960         * retr.c (retrieve_url): Ditto.
4961
4962         * recur.c (download_child_p): Ditto.
4963
4964 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4965
4966         * config.h.in: Define _VA_LIST on Solaris to prevent stdio.h from
4967         declaring va_list.
4968         From Kevin Rodgers <kevinr@ihs.com>.
4969
4970 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
4971
4972         * Makefile.in: Specify libtool mode explicitly when linking.
4973
4974 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4975
4976         * connect.c (connect_with_timeout): New function.
4977         (connect_to_one): Use it.
4978
4979         * config.h.in: Add stubs for HAVE_SIGSETJMP, HAVE_SIGBLOCK, and
4980         HAVE_SETJMP_H.
4981
4982 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4983
4984         * log.c: Set WGET_USE_STDARG if __STDC__ is defined and stdarg.h
4985         is present.
4986
4987 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4988
4989         * progress.c (bar_create): If INITIAL is larger than TOTAL, fix
4990         TOTAL.
4991         (bar_finish): Likewise.
4992
4993 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4994
4995         * html-url.c (tag_handle_form): New function.  Pick up form
4996         actions and mark them for conversion only.
4997
4998 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4999
5000         * progress.c (struct progress_implementation): Use PARAMS when
5001         declaring the parameters of *create, *update, *finish, and
5002         *set_params.
5003
5004         * netrc.c: Ditto.
5005
5006         * http.c: Reformat some function definitions so that ansi2knr can
5007         read them.
5008
5009         * hash.c (struct hash_table): Use the PARAMS macro around
5010         parameters in the declaration of hash_function and test_function.
5011         (prime_size): Spell 2580823717UL and 3355070839UL as (unsigned
5012         long)0x99d43ea5 and (unsigned long)0xc7fa5177 respectively, so
5013         that pre-ANSI compilers can read them.
5014         (find_mapping): Use PARAMS when declaring EQUALS.
5015         (hash_table_put): Ditto.
5016
5017         * ftp.h: Wrap the parameters of ftp_index declaration in PARAMS.
5018
5019         * cookies.c (cookie_new): Use (unsigned long)0 instead of 0UL,
5020         which was unsupported by pre-ANSI compilers.
5021
5022         From Nelson H. F. Beebe <beebe@math.utah.edu>, for the most part.
5023
5024 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
5025
5026         * url.c (url_filename): Use compose_file_name regardless of
5027         whether opt.dirstruct is set.
5028         (mkstruct): Don't handle the query and the reencoding of DIR; that
5029         is done in compose_file_name.
5030
5031 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
5032
5033         * wget.h: Ditto for extern char *exec_name.
5034
5035         * options.h: Don't guard against OPTIONS_DEFINED_HERE -- it is
5036         perfectly legal to follow an `extern' with a non-`extern' ones,
5037         provided the types match.
5038
5039         * main.c: Don't define OPTIONS_DEFINED_HERE.
5040
5041 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
5042
5043         * progress.c (create_image): Revert to calculating ETA based on
5044         average download speed.
5045         (create_image): Don't print ETA until the download has been active
5046         for at least 3 seconds.
5047         (create_image): When ETA is not available, don't print anything.
5048         The previous version would print --:--.
5049
5050 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
5051
5052         * progress.c (bar_update): Keep updating a subinterval until it
5053         reaches or exceeds a watermark.  That way the measurement will be
5054         guaranteed to span a configurable minimum of time.  The current
5055         default is 3s in 30 100ms intervals.
5056
5057 2002-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
5058
5059         * progress.c (bar_update): Maintain an array of the time it took
5060         to perform previous 30 network reads.
5061         (create_image): Calculate the download speed and ETA based on the
5062         last 30 reads, not the entire download.
5063         (create_image): Make sure that the ETA is not changed more than
5064         once per second.
5065
5066 2002-04-09  Ian Abbott  <abbotti@mev.co.uk>
5067
5068         * mswindows.c (borland_utime): New function conditionally defined
5069         when `HACK_BCC_UTIME_BUG' is defined.  A reimplementation of
5070         `utime()' as Borland's `utime()' function is broken on Windows 9x
5071         systems.  (Original patch by Chin-yuan Kuo <sr1111111@yahoo.com.tw>.)
5072
5073 2002-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
5074
5075         * ftp.c (ftp_loop): Propagate the result of ftp_retrieve_glob.
5076
5077 2002-03-26  Ian Abbott  <abbotti@mev.co.uk>
5078
5079         * Makefile.in: Updated several dependencies for object files.
5080
5081 2002-03-20  Ian Abbott  <abbotti@mev.co.uk>
5082
5083         * mswindows.c: Include "utils.h".
5084
5085 2002-03-18  Ian Abbott  <abbotti@mev.co.uk>
5086
5087         * host.h: Don't include netdb.h on windows.
5088
5089 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
5090
5091         * recur.c (retrieve_tree): Handle the case when start_url doesn't
5092         parse.
5093
5094 2002-02-19  Andreas Damm  <andreas-sourceforge@radab.org>
5095
5096         * wget.h (DO_REALLOC_FROM_ALLOCA): Multiply with sizeof(type) when
5097         calling xmalloc and memcpy.
5098
5099 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
5100
5101         * host.h: Include Unix-specific includes #ifndef WINDOWS.
5102         Patch originally provided by Christian Lackas.
5103
5104 2002-02-11  Christian Lackas  <delta@lackas.net>
5105
5106         * recur.c: recurive downloading for https fixed.
5107
5108 2002-02-19  Alan Eldridge  <alane@geeksrus.net>
5109
5110         * host.h: Also include <netinet/in.h> and <sys/socket.h>.
5111
5112         * ftp-basic.c: Also include <netinet/in.h>.
5113
5114 2002-02-05  Ian Abbott  <abbotti@mev.co.uk>
5115
5116         * http.c (gethttp): when -c used, mark already fully retrieved
5117         file as successfully retrieved.
5118
5119 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
5120
5121         * url.c (url_parse): Don't treat '?' as query string separator
5122         when parsing FTP URLs.
5123
5124 2002-02-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5125
5126         * html-url.c (tag_handle_meta): Don't crash on <meta
5127         http-equiv=refresh> where content is missing.
5128
5129 2002-01-31  Herold Heiko  <Heiko.Herold@previnet.it>
5130
5131         * ftp-basic.c, host.c: don't include sys/socket.h, arpa/inet.h,
5132         netdb.h on windows.
5133
5134 2002-01-30  Hrvoje Niksic  <hniksic@arsdigita.com>
5135
5136         * retr.c (retrieve_url): Remove redirection cycle detection.  This
5137         is because some sites legitimately redirect the user back to the
5138         same location, e.g. after an authorization check performed by
5139         another page.  MAX_REDIRECTIONS is still used to prevent infinite
5140         redirection loops.
5141
5142 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
5143
5144         * http.c (gethttp): Wrap host name in square brackets if it
5145         contains a colon.
5146
5147 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
5148
5149         * url.c (url_parse): Allow all hex digits, not only decimal ones,
5150         to form an IP address.
5151
5152 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
5153
5154         * url.c (urlchr_table): Make square braces reserved, so we can
5155         parse http://[::1]/.
5156         (url_parse): Handle host in braces.
5157         (url_string): If url->host contains colons, wrap it in braces.
5158
5159 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
5160
5161         * connect.c (resolve_bind_address): New function.
5162         (connect_to_one): Use it.
5163         (bindport): Ditto.
5164
5165         * init.c: Don't resolve bind-address here.
5166
5167         * host.c (wget_sockaddr_set_address): Would bug out with ADDR == NULL.
5168
5169 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
5170
5171         * host.c (lookup_host): Use sizeof(ip4_address) to calculate the
5172         offset.
5173         (address_list_new): Use map_ipv4_to_ip.
5174         (wget_sockaddr_set_address): Convert ADDR to IPv4 before using it
5175         in IPv4 context.
5176
5177 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
5178
5179         * source: Integrated IPv6 support.
5180         Written by Thomas Lussnig <thomas.lussnig@bewegungsmelder.de>.
5181
5182 2002-01-15  Ian Abbott  <abbotti@mev.co.uk>
5183
5184         * init.c (cmd_file): Change `\' to `/' for Windows (yes, really!)
5185         (cmd_directory): New function. Like cmd_file(), but strips
5186         trailing directory separators.
5187         (commands): Change action for "dirprefix" from `cmd_file' to
5188         `cmd_directory'.
5189
5190         * utils.c (make_directory): Allow intermediate `mkdir' calls to
5191         fail, as not all path components that do not exist should be
5192         directory components, especially under Windows.
5193
5194 2002-01-17  Hrvoje Niksic  <hniksic@arsdigita.com>
5195
5196         * netrc.c (parse_netrc): Skip leading whitespace before testing
5197         whether the line is empty.  Empty lines still contain the line
5198         terminator.
5199
5200 2002-01-15  Hrvoje Niksic  <hniksic@arsdigita.com>
5201
5202         * gen_sslfunc.c (ssl_iread): Call select on the file descriptor
5203         only if no data is pending in SSL buffers.
5204         From tony@bluetail.com.
5205
5206 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
5207
5208         * headers.c (header_get): Strip trailing whitespace from the
5209         header.
5210
5211 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
5212
5213         * url.c (parse_uname): URL-decode *USER and *PASSWD.
5214
5215 2002-01-07  Ian Abbott <abbotti@mev.co.uk>
5216
5217         * url.c (uri_merge_1): Deal with "net path" relative URL (one that
5218         starts with "//").
5219
5220 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
5221
5222         * http.c (gethttp): Invalidate SOCK if get_contents encountered an
5223         error.
5224
5225 2001-12-24  Hrvoje Niksic  <hniksic@arsdigita.com>
5226
5227         * version.c: Wget 1.8.1 is released.
5228
5229 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
5230
5231         * version.c: Wget 1.8.1-pre3 is released.
5232
5233 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
5234
5235         * recur.c (retrieve_tree): Enqueue the canonical representation of
5236         start_url, so that the test against dl_url_file_map works.
5237
5238 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
5239
5240         * log.c (logputs): Check for requested verbosity before printing
5241         anything.
5242
5243 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
5244
5245         * html-url.c (tag_handle_link): Treat the "shortcut icon" link as
5246         inline.
5247
5248 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
5249
5250         * recur.c (retrieve_tree): Make a copy of file obtained from
5251         dl_url_file_map because the code calls xfree(file) later.
5252
5253 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
5254
5255         * recur.c (register_html): Maintain a hash table of HTML files
5256         along with the list.  Disallow duplicates.
5257         (retrieve_tree): Use downloaded_html_set to check whether the file
5258         found in dl_url_file_map is an HTML file, and descend into it if
5259         so.
5260         (convert_all_links): Don't guard against duplicates in
5261         downloaded_html_list, since they are no longer possible.
5262
5263 2001-12-18  Ian Abbott  <abbotti@mev.co.uk>
5264
5265         * recur.c (retrieve_tree): Pass on referring URL when retrieving
5266         recursed URL.
5267
5268 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
5269
5270         * version.c: Wget 1.8.1-pre2 is released.
5271
5272 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
5273
5274         * retr.c (sleep_between_retrievals): Simplify indentation.
5275
5276 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
5277
5278         * gen_sslfunc.c (ssl_init_prng): Use random_number to get a byte
5279         of "randomness" at a time.
5280         (ssl_init_prng): Don't seed the PRNG; random_number will do that.
5281
5282         * retr.c (sleep_between_retrievals): Use it.  Make sure that the
5283         random amount averages in opt.wait.
5284         (sleep_between_retrievals): Don't seed the PRNG; random_number
5285         will do that.
5286
5287         * utils.c (random_number): New function.
5288
5289 2001-12-14  Hrvoje Niksic  <hniksic@arsdigita.com>
5290
5291         * url.c (path_simplify): Move here from utils.c, and make static.
5292
5293 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
5294
5295         * init.c (wgetrc_file_name): Print correct message when loading
5296         getenv("WGETRC") fails.
5297
5298 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
5299
5300         * recur.c (register_download): Don't abort when one URL references
5301         two different files.
5302
5303 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
5304
5305         * http.c (gethttp): Check for conn->scheme, not u->scheme, before
5306         calling ssl_iwrite.
5307
5308 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
5309
5310         * version.c: Wget 1.8.1-pre1 is released.
5311
5312 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
5313
5314         * res.c (matches): Fix broken URL in the docstring.
5315
5316 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
5317
5318         * html-url.c (tag_url_attributes): Mark <embed href=...> as
5319         external.
5320
5321 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
5322
5323         * url.c (get_urls_file): Cosmetic changes.
5324
5325 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
5326
5327         * html-url.c (append_one_url): Resurrect warning when unable to
5328         resolve a relative link.
5329
5330 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
5331
5332         * html-url.c (collect_tags_mapper): Break into several functions.
5333         (tag_url_attributes): Collect <embed href=...>.
5334
5335 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
5336
5337         * host.c: New type ipv4_address.  Use it consistently instead of
5338         `unsigned char[4]' and `unsigned char *'.
5339         (pretty_print_address): Accept a `const void *', to require even
5340         less casting.
5341
5342 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
5343
5344         * ftp-ls.c (ftp_parse_vms_ls): Fix obvious memory leaks.
5345
5346 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
5347
5348         * main.c (main): Initialize progress after fork_to_background, so
5349         that it knows when to use dots.
5350
5351         * mswindows.c (ws_hangup): Call log_request_redirect_output.
5352
5353         * utils.c (fork_to_background): Print the PID of the child
5354         process.
5355
5356         * log.c (log_request_redirect_output): Set a flag that output
5357         redirection has been requested.  Doing anything else in a signal
5358         handler is unsafe.
5359         (check_redirect_output): New function: check whether redirection
5360         has been requested and, if so, call redirect_output().
5361         (logputs): Call check_redirect_output.
5362         (logprintf): Ditto.
5363         (debug_logprintf): Ditto.
5364         (redirect_output): Print clearer messages.
5365
5366         * main.c (redirect_output_signal): Don't call
5367         redirect_output_signal directly.  Instead, call
5368         log_request_redirect_output.
5369
5370         * utils.c (memfatal): Ditto.
5371
5372         * progress.c (display_image): Use it.
5373
5374         * log.c (log_set_save_context): New function: allow the caller to
5375         turn off saving log context lines.
5376
5377 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
5378
5379         * host.c (address_list_set_faulty): Uncomment a sanity check.
5380
5381 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
5382
5383         * utils.c (long_to_string): Return a pointer after where the
5384         number ends.
5385         (long_to_string): Rename to number_to_string.
5386
5387 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
5388
5389         * utils.c (path_simplify): Correctly handle the unlikely case that
5390         b starts out as path + 1.
5391
5392 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
5393
5394         * utils.c (path_simplify): Rewrite, with better comments, and
5395         without the use of strcpy to move overlapping blocks.
5396
5397 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
5398
5399         * init.c (cmd_spec_progress): Resurrect.  Check whether VAL is a
5400         valid progress type before setting it.
5401
5402 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
5403
5404         * main.c (main): Remove stray debugging message.
5405
5406 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
5407
5408         * progress.c (create_image): Fix ETA padding when hours are prined.
5409
5410 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
5411
5412         * version.c: Wget 1.8 is released.
5413
5414 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
5415
5416         * url.c (reencode_string): Declare static.
5417
5418         * res.c (registered_specs): Declare static.
5419
5420         * progress.c (current_impl_locked): Declare static.
5421
5422         * log.c (flush_log_p): Declare static.
5423         (needs_flushing): Ditto.
5424
5425         * http.c (digest_authentication_encode): Declare static.
5426
5427         * html-url.c (init_interesting): Declare static.
5428
5429         * host.c (host_name_addresses_map): Declare static.
5430
5431         * cookies.c (find_matching_chains): Declare static.
5432
5433         * ftp-ls.c (ftp_parse_vms_ls): Warn about the memory leak
5434         indicated by lint.
5435
5436         * utils.c (path_simplify): Remove unused variable STUB_CHAR.
5437
5438         * host.c (address_list_set_faulty): Document that INDEX is
5439         currently unused.
5440
5441         * url.c (rewrite_shorthand_url): Remove unused variable PATH.
5442
5443 2001-12-08  Hrvoje Niksic  <hniksic@arsdigita.com>
5444
5445         * version.c: Wget 1.8-pre2 is released.
5446
5447 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5448
5449         * progress.c (progress_handle_sigwinch): Set up the signal again.
5450
5451         * utils.c: Include <sys/termios.h>, where Solaris defines
5452         TIOCGWINSZ.
5453
5454         * progress.c (bar_create): Don't use the last column on the screen.
5455         (create_image): Pad ETA to constant size.  Pad SIZE to nine digits
5456         only until it exceeded them.
5457
5458 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5459
5460         * version.c: Wget 1.8-pre1 is released.
5461
5462 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5463
5464         * progress.c (progress_create): Make sure that, when the output is
5465         redirected, the progress implementation gets changed to the
5466         fallback one.
5467         (bar_set_params): Set current_impl_locked to 1 when "force" is
5468         specified.
5469         (progress_create): Don't change the progress implementation if
5470         current_impl_locked is non-zero.
5471
5472         * main.c (redirect_output_signal): Call
5473         progress_schedule_redirect.
5474
5475         * progress.c (progress_schedule_redirect): New function.
5476
5477 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5478
5479         * log.c (logvprintf): Restructure to allow being called multiple
5480         times.
5481         (logprintf): Call logvprintf in a loop.
5482         (debug_logprintf): Ditto.
5483
5484 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5485
5486         * gen_sslfunc.c (ssl_init_prng): Allow the user to disable EGD by
5487         setting egd_file it to empty string.
5488
5489         * main.c (main): Change the option name from --sslegdsock to
5490         --egd-file.
5491
5492 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5493
5494         * gen_sslfunc.c (ssl_init_prng): Make the printed message
5495         translatable.
5496
5497 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5498
5499         * url.c (scheme_disable): New function.
5500
5501         * main.c (main): Call ssl_init_prng from here rather than from
5502         init_ssl, so that it has a chance to disable support for https
5503         before a URL has been resolved.
5504
5505         * gen_sslfunc.c (ssl_init_prng): Seed with rand() if all else
5506         failed.
5507         (ssl_init_prng): Disable support for https if seeding the PRNG
5508         fails.
5509
5510 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5511
5512         * utils.c (read_whole_line): Handle lines beginning with \0.
5513
5514 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
5515
5516         * recur.c (convert_all_links): Guard against duplicates in
5517         downloaded_html_files.
5518         (register_download): Don't invalidate similar-looking URLs.
5519         (match_except_index): New function.
5520
5521 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
5522
5523         * utils.c (path_simplify): Document with test cases.
5524
5525 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
5526
5527         * gen_sslfunc.c: Ditto.
5528
5529         * rbuf.c: Include <string.h>.
5530
5531 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
5532
5533         * recur.c (retrieve_tree): Check whether the URL was already
5534         downloaded before downloading it again.
5535         (descend_child_p): Renamed to download_child_p.
5536         (register_download): When one URL is downloaded to a file already
5537         "owned" by another URL, delete all references that map any URL to
5538         that file.
5539         (register_delete_file): New function.
5540         (retrieve_tree): Use it after deleting a file.
5541
5542         * url.c (url_parse): Re-canonicalize the URL also if the path is
5543         empty, so that e.g. "http://www.server.com" ->
5544         "http://www.server.com/".
5545         (lowercase_str): Use ISUPPER instead of !ISLOWER.
5546
5547         * retr.c (retrieve_url): Use the canonical URL form when calling
5548         register_download().
5549
5550 2001-12-04  Ian Abbott <abbotti@mev.co.uk>
5551
5552         * snprintf.c (dopr): Use `unsigned int' as the second argument to
5553         va_arg when casting to `unsigned short' is intended.
5554
5555 2001-12-04  Herold Heiko  <Heiko.Herold@previnet.it>
5556
5557         * gen_sslfunc.c: on windows provide ssl crypto random
5558           initialization through RAND_screen(); could possibly
5559           be not enough for strong ssl communication (see the
5560           relevant manual page from the openssl package).
5561
5562 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
5563
5564         * url.c (local_quote_string): Reenable quoting of question marks,
5565         but only when `--html-extension' is used.
5566
5567 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
5568
5569         * version.c: Wget 1.8-beta3 is released.
5570
5571 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
5572
5573         * snprintf.c (dopr): Cast the result of va_arg to short int and
5574         short unsigned int where these types are expected to be used.
5575
5576 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
5577
5578         * snprintf.c (dopr): Replace `short int' and `unsigned short int'
5579         with `int' when using it as the second argument to `va_arg'.
5580
5581 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
5582
5583         * host.c (address_list_new_one): New function.
5584         (lookup_host): Use it.
5585
5586 2001-12-03  Andre Majorel  <amajorel@teaser.fr>
5587
5588         * host.c (lookup_host): Don't initialize TMPSTORE directly because
5589         it's not legal C.
5590
5591 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
5592
5593         * ftp-basic.c (ftp_port): Don't return HOSTERR if we fail getting
5594         the socket data.
5595
5596         * ftp.c: Ditto.
5597
5598         * http.c: No need to declare h_errno.
5599
5600         * host.c: Declare h_errno.
5601
5602 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
5603
5604         * utils.c (file_merge): If BASE doesn't contain a slash, just
5605         return a copy of FILE.
5606
5607 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
5608
5609         * version.c: Wget 1.8-beta2 is released.
5610
5611 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5612
5613         * ftp.c (getftp): When PWD fails, assume "/".
5614
5615         * ftp-basic.c (ftp_syst): Fix indentation.
5616
5617 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5618
5619         * url.c (get_urls_file): If opt.base_href is specified, merge each
5620         URL with the base.
5621
5622 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5623
5624         * main.c (print_help): Don't document the removed `-nh'.
5625
5626 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5627
5628         * url.c (url_full_path): Document better.
5629
5630         * http.c (gethttp): Use the full path when creating digest
5631         authorization.
5632
5633 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5634
5635         * cookies.c (path_matches): Return 0 if PREFIX doesn't begin with
5636         '/'.
5637
5638 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5639
5640         * cookies.c (path_matches): FULL_PATH doesn't begin with '/', but
5641         PREFIX does.
5642
5643 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5644
5645         * cookies.c (check_domain_match): Reimplement to match Netscape's
5646         "preliminary specification" for cookies.
5647
5648 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5649
5650         * url.c (replace_attr_refresh_hack): New function.
5651         (convert_links): Call replace_attr_refresh_hack for Refresh
5652         links.  It will add the "TMOUT; URL=" junk before the link.
5653
5654         * html-url.c (collect_tags_mapper): Set ID to the ID of the
5655         "content" attribute, not "http-equiv".
5656         (collect_tags_mapper): Don't use OFFSET to hack the raw_* values;
5657         instead, store the information that this entry belongs to a
5658         "refresh" link.
5659
5660 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5661
5662         * version.c: Wget 1.8-beta1 is released.
5663
5664 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5665
5666         * recur.c (retrieve_tree): Allow -p retrievals to exceed maximum
5667         depth by more than one.
5668
5669 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
5670
5671         * retr.c (retrieve_url): Don't allow more than 20 redirections.
5672
5673 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
5674
5675         * recur.c (retrieve_tree): Skip the non-inline entries when
5676         enqueuing the children of a leaf HTML node in -p mode.
5677         (descend_url_p): Ignore opt.no_parent when in -p mode and UPOS is
5678         "inline".
5679
5680         * html-url.c (get_urls_html): Don't accept dash_p_leaf_HTML.
5681         (collect_tags_mapper): When an entry is "inline", mark it as such.
5682
5683         * recur.c (descend_url_p): Fix test when checking for
5684         acceptance/rejection rules.
5685
5686 2001-10-31 Daniel BODEA <dali@dali-designs.com>
5687
5688         * netrc.c (search_netrc): When slack_default is 0, still look for
5689         an account with matching password, just not the "default account".
5690         HTTP Authorization using .netrc should now work as expected.
5691
5692 2001-11-30  T. Bharath  <TBharath@responsenetworks.com>
5693
5694         * http.c (persistent_available_p): Call SHUTDOWN_SSL if
5695         test_socket_open fails.
5696
5697 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
5698
5699         * progress.c (display_image): Just print one CR to reset the
5700         cursor position.
5701
5702 2001-11-30  Christian Fraenkel  <c.fraenkel@gmx.net>
5703
5704         * init.c: New command `ssl_egd_sock'.
5705
5706         * main.c (main): New option `--sslegdsock'.
5707
5708         * gen_sslfunc.c (ssl_init_prng): Seed the RNG using EGD.
5709
5710 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
5711
5712         * cmpt.c (memmove): Include a simple memmove implementation.
5713
5714 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
5715
5716         * headers: Guard against header files being included twice.
5717
5718 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
5719
5720         * gen-md5.c: Use unsigned char * as the buffer argument to
5721         gen_md5_update.
5722
5723 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
5724
5725         * connect.h: Declare select_fd.
5726
5727 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
5728
5729         * recur.c (descend_url_p): When resolving no_parent, compare with
5730         start_url, not parent url.  Otherwise link from /a/b/ to /a/c/
5731         wouldn't be followed, although the download started from /a/.
5732
5733 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
5734
5735         * config.h.ms, mswindows.h: defined HAVE_ISATTY, use _isatty for
5736         MS VC; somebody with Borland compiler please check and provide
5737         patch if possible;
5738
5739         * cmpt.c: provided a usleep emulation.
5740
5741 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
5742
5743         * host.c (address_list_new): Initialize al->faulty.
5744
5745 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
5746
5747         * http.c (http_process_range): Accept the broken output of
5748         "JavaWebServer/1.1.1".
5749
5750 2001-11-28  Hrvoje Niksic  <hniksic@arsdigita.com>
5751
5752         * progress.c (dot_set_params): If PARAMS is unspecified, use
5753         dot_style, if available.
5754
5755         * init.c: Ditto.
5756
5757         * main.c (main): Resurect --dot-style.
5758
5759         * progress.c (dot_finish): Print the quantity if we're left at the
5760         beginning of a row.
5761
5762 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
5763
5764         * cmpt.c (random): Removed.
5765
5766         * retr.c (sleep_between_retrievals): Use the more portable rand()
5767         instead of random().
5768
5769 2001-11-27  Ian Abbott <abbotti@mev.co.uk>
5770
5771         * retr.c (retrieve_from_file): Initialize `new_file' to NULL to
5772         prevent seg fault.
5773
5774 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
5775
5776         * connect.c (connect_to_many): Use address_list_set_faulty to
5777         prevent the faulty address from being reused.
5778
5779         * host.c (address_list_set_faulty): New function.
5780         (address_list_get_bounds): New function, instead of
5781         address_list_count.
5782
5783 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
5784
5785         * url.c (convert_links): Don't translate %d-%d.
5786
5787         * main.c (print_help): Remove stray HAVE_RANDOM code.
5788
5789 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
5790
5791         * ftp.c (getftp): Improve output after sending PASV.  Don't
5792         attempt to "look up" the IP address we already know; call
5793         connect_to_one directly.
5794
5795 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
5796
5797         * progress.c: Change the default progress implementation to "bar".
5798
5799 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
5800
5801         * progress.c (bar_create): Print two newlines.
5802
5803 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
5804
5805         * cmpt.c (random): New function, a simple-minded replacement for
5806         random() on systems that don't have it.
5807
5808 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
5809
5810         * config.h.in: Put a HAVE_USLEEP stub.
5811
5812         * cmpt.c (usleep): Replacement implementation of usleep using
5813         select.
5814
5815         * init.c: New option init_rate.
5816
5817         * main.c (main): New option --limit-rate.
5818
5819         * retr.c (limit_bandwidth): New function.
5820         (get_contents): Call it to limit the bandwidth used when
5821         downloading.
5822
5823         * progress.c (dot_update): Would print the wrong download speed on
5824         rows other than the first one when the download was continued.
5825         (dot_finish): Ditto.
5826
5827 2001-11-26  Ian Abbott <abbotti@mev.co.uk>
5828
5829         * http.c (gethttp): fix undeclared variable 'err' when compiled
5830         with HAVE_SSL.
5831
5832 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
5833
5834         * progress.c: Don't allocate new timers; use the timing data
5835         propagated from the caller.
5836
5837         * retr.c (get_contents): Allocate and use a timer.
5838
5839 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
5840
5841         * http.c (last_host_ip): Made into an address_list.
5842         (invalidate_persistent): Release pc_last_host_ip.
5843         (register_persistent): Use lookup_host.
5844         (persistent_available_p): Check for equality of hosts using
5845         address_list_match_all.  Call address_list_release.
5846         (http_cleanup): New function.
5847
5848         * ftp.c (getftp): Use lookup_host and connect_to_many.
5849
5850         * http.c (gethttp): Use lookup_host and connect_to_many.
5851
5852         * connect.c (make_connection): Removed.
5853         (connect_to_one): New function.
5854         (connect_to_many): Ditto.
5855         (set_connection_host_name): Ditto.
5856
5857         * host.c (lookup_host): New function; new return type.
5858         (address_list_new): New function.
5859         (address_list_count): Ditto.
5860         (address_list_copy_one): Ditto.
5861         (address_list_delete): Ditto.
5862         (address_list_release): Ditto.
5863         (pretty_print_address): Ditto.
5864
5865 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
5866
5867         * recur.c (retrieve_tree): In case of followed redirection,
5868         blacklist the pre-redirection URL.
5869
5870 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
5871
5872         * recur.c (descend_redirect_p): New function.
5873         (retrieve_tree): Make sure redirections are not blindly followed.
5874
5875 2001-11-04  Alan Eldridge  <alane@geeksrus.net>
5876
5877         * config.h.in: added HAVE_RANDOM.
5878
5879         * options.h: added random_wait to struct options.
5880
5881         * main.c (print_help [HAVE_RANDOM], main): added arg parsing, help
5882         for --random-wait.
5883
5884         * retr.c (sleep_between_retrievals) [HAVE_RANDOM]: added
5885         implementation of random wait times.
5886
5887         * init.c (commands): added "randomwait" keyword.
5888
5889 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5890
5891         * recur.c (descend_url_p): Be more conservative with blacklisting
5892         URLs.
5893         (convert_all_links): Print how many files have been converted, and
5894         how long it took.
5895
5896         * progress.c (create_image): Place the number of downloaded bytes
5897         right after the progress bar.
5898
5899         * utils.c (suffix): Return a pointer into the string.
5900
5901 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5902
5903         * url.c (convert_links): Handle CO_NULLIFY_BASE.
5904
5905         * recur.c (retrieve_tree): Ignore download-ignorable children.
5906         (convert_all_links): Specify CO_NULLIFY_BASE when link_base_p.
5907
5908         * html-url.c (handle_link): Return the newly created urlpos.
5909         (collect_tags_mapper): When dealing with BASE, store the base
5910         reference and mark it as download-ignorable.
5911
5912 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5913
5914         * url.c (convert_links): Attempt to quote '?' as "%3F" when
5915         linking to local files.  Given up on the attempt, as it breaks
5916         local browsing.
5917
5918 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5919
5920         * main.c (private_initialize): Removed.
5921         (main): Don't call private_initialize.
5922
5923         * http.c: Call lookup_host.
5924
5925         * host.c (host_init): Removed.
5926         (add_host_to_cache): Initialize host_name_address_map here, on
5927         demand.
5928         (ngethostbyname): Commented out.
5929
5930         * connect.c (make_connection): Remove dead code; use lookup_host.
5931
5932         * host.c (store_hostaddress): Renamed to lookup_host and reversed
5933         the args.
5934         Removed host_address_name_map and host_slave_master_map.
5935
5936 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5937
5938         * progress.c (dot_create): Align the "[ skipping ... ]" string
5939         with the dots.
5940
5941         * retr.c (rate): Split into two functions: calc_rate and
5942         retr_rate.
5943
5944         * progress.c (create_image): Draw a dummy progress bar even when
5945         total size is unknown.
5946         (display_image): Place the text cursor at the end of the "image".
5947
5948 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5949
5950         * url.c (reencode_string): Use unsigned char, not char --
5951         otherwise the hex digits come out wrong for 8-bit chars such as
5952         nbsp.
5953         (lowercase_str): New function.
5954         (url_parse): Canonicalize u->url if needed.
5955         (get_urls_file): Parse each URL, and return only the valid ones.
5956         (free_urlpos): Call url_free.
5957         (mkstruct): Add :port if the port is non-standard.
5958         (mkstruct): Append the query string to the file name, if any.
5959         (urlpath_length): Use strpbrk_or_eos.
5960         (uri_merge_1): Handle the cases where LINK is an empty string,
5961         where LINK consists only of query, and where LINK consists only of
5962         fragment.
5963         (convert_links): Count and report both kinds of conversion.
5964         (downloaded_file): Use a hash table, not a list.
5965         (downloaded_files_free): Free the hash table.
5966
5967         * retr.c (retrieve_from_file): Ditto.
5968
5969         * main.c (main): Call either retrieve_url or retrieve_tree
5970         for each URL, not both.
5971
5972         * retr.c (register_all_redirections): New function.
5973         (register_redirections_mapper): Ditto.
5974         (retrieve_url): Register the redirections.
5975         (retrieve_url): Make the string "Error parsing proxy ..."
5976         translatable.
5977
5978         * res.c (add_path): Strip leading slash from robots.txt paths so
5979         that the path representations are "compatible".
5980         (free_specs): Free each individual path, too.
5981         (res_cleanup): New function.
5982         (cleanup_hash_table_mapper): Ditto.
5983
5984         * recur.c (url_queue_new): New function.
5985         (url_queue_delete): Ditto.
5986         (url_enqueue): Ditto.
5987         (url_dequeue): Ditto.
5988         (retrieve_tree): New function, replacement for recursive_retrieve.
5989         (descend_url_p): New function.
5990         (register_redirection): New function.
5991
5992         * progress.c (create_image): Cosmetic changes.
5993
5994         * init.c (cleanup): Do all those complex cleanups only if
5995         DEBUG_MALLOC is defined.
5996
5997         * main.c: Removed --simple-check and the corresponding
5998         simple_host_check in init.c.
5999
6000         * html-url.c (handle_link): Parse the URL here, and propagate the
6001         parsed URL to the caller, who would otherwise have to parse it
6002         again.
6003
6004         * host.c (xstrdup_lower): Moved to utils.c.
6005         (realhost): Removed.
6006         (same_host): Ditto.
6007
6008 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
6009
6010         * utils.c (path_simplify): Preserver the (non-)existence of
6011         leading slash.  Return non-zero if changes were made.
6012
6013 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
6014
6015         * progress.c (bar_update): Don't modify bp->total_length if it is
6016         zero.
6017
6018 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
6019
6020         * retr.c (retrieve_url): When the redirection URL doesn't parse,
6021         print the correct error message rather than "UNKNOWN".
6022
6023 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
6024
6025         * progress.c (bar_finish): If the timer didn't record any time
6026         since the download beginning, fake 1ms.
6027
6028 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
6029
6030         * recur.c (recursive_retrieve): Fix typo.
6031
6032 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
6033
6034         * progress.c (create_image): Don't translate "%ld ".
6035
6036 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
6037
6038         * progress.c (bar_set_params): Allow the user to force the use of
6039         the bar.
6040
6041 2001-11-23  Lemble Gregory  <gregory.lemble@st.com>
6042
6043         * gen_sslfunc.c (ssl_init_prng): New function; seed the SSL RNG.
6044
6045 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
6046
6047         * progress.c: Renamed dp_* functions to dot_* for greater clarity
6048         and consistency with bar_*.
6049         (print_download_speed): Get rid of the unneeded '@' character.
6050         (create_image): Fix download rate geometry.
6051
6052         * progress.c (print_elapsed): Remove spurious space.
6053         (print_elapsed): Renamed to print_download_speed, since that's
6054         what it does.
6055
6056 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
6057
6058         * progress.c (bar_update): If the downloaded amount becomes larger
6059         than the expected amount, adjust the expected amount accordingly.
6060
6061 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
6062
6063         * utils.c (determine_screen_width): New function.
6064
6065         * main.c (main): New option `--progress=TYPE'.
6066         (main): Implement compatibility with the old option `--dot-style'.
6067
6068         * init.c: Removed cmd_spec_dotstyle -- that logic is now in
6069         dp_set_params.
6070         (cmd_spec_progress): New function.
6071
6072         * retr.c (get_contents): Use the progress_* functions instead of
6073         the old show_progress().
6074         (show_progress): Removed.
6075         (rate): Print "xxxx.xx K/s" instead of "KB/s".  Ditto for MB/s,
6076         etc.
6077
6078         * progress.c (set_progress_implementation): New function.
6079         (valid_progress_implementation_p): Ditto.
6080         (progress_create): Ditto.
6081         (progress_update): Ditto.
6082         (progress_finish): Ditto.
6083         (dp_create): Ditto.
6084         (dp_update): Ditto.
6085         (dp_finish): Ditto.
6086         (dp_set_params): Ditto.
6087         (print_elapsed): Ditto.
6088
6089 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
6090
6091         * retr.c (show_progress): Use it.
6092
6093         * log.c (log_set_flush): New function.
6094
6095 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
6096
6097         * utils.c (path_simplify): Don't remove trailing slashes.
6098
6099         * ftp.c (ftp_get_listing): Use it.
6100
6101         * utils.c (file_merge): New function.
6102
6103         * url.c (opt_url): Removed.
6104
6105         * recur.c (recursive_retrieve): Inline "opt_url" logic.
6106
6107         * main.c (main): Use xfree(), not free().
6108
6109         * url.c (rewrite_url_maybe): Renamed to rewrite_shorthand_url.
6110
6111         * ftp.c (ccon): Move `ccon' typedef here, since it's only used
6112         internally.
6113
6114         * config.h.in: Include a stub for HAVE_STRPBRK.
6115
6116         * cmpt.c (strpbrk): Include a replacement for systems without
6117         strpbrk().
6118
6119         * ftp.c: Use url_set_dir and url_set_file when modifying the URL.
6120
6121         * url.c (url_set_dir): New function.
6122         (url_set_file): Ditto.
6123
6124         * ftp-basic.c (ftp_process_type): Process FTP type here; the URL
6125         parser makes the URL "params" available, so we can do that in this
6126         function.
6127
6128         * retr.c: Ditto.
6129
6130         * ftp.c: Ditto; pass the local file information in `ccon'.
6131
6132         * http.c: Get rid of the ugly kludge that had URL being replaced
6133         with the proxy URL when proxy retrieval was requested.  Use a
6134         separate parameter to http_loop and gethttp for the proxy URL.
6135
6136         * http.c: Changed to reflect the fact that local file, proxy, and
6137         referer information are no longer stored in struct url.  The local
6138         file information is passed in `struct hstat' now.
6139
6140         * url.c: Reworked URL parsing to be more regular.  Reencode the
6141         URL using reencode_string.
6142         Removed non-URL-related information from struct url.  This
6143         includes fields `proxy', `local', and `referer'.
6144
6145 2001-11-22  Jochen Hein  <jochen@jochen.org>
6146
6147         * main.c (main): Split the copyright notice for easier
6148         translation.
6149
6150 2001-08-21  Dave Turner <dct25@hermes.cam.ac.uk>
6151
6152         * ftp-basic.c (ftp_size): New function to send non-standard SIZE
6153           command to server to request file size.
6154         * ftp.h (ftp_size): Export it.
6155         * ftp.c (getftp): Use new ftp_size function if restoring
6156           transfer of a file with unknown size.
6157
6158 2001-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
6159
6160         * url.c (parseurl): Don't depend on the now-obsolete TYPE.
6161
6162 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
6163
6164         * url.c (getproxy): Handle URL shorthands.
6165
6166 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
6167
6168         * main.c: Remove --wait / --waitretry backwards compatibility
6169         code.
6170
6171 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
6172
6173         * main.c (main): Use it.
6174
6175         * url.c (rewrite_url_maybe): New function.
6176
6177 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
6178
6179         * url.c: Clean up handling of URL schemes.
6180
6181 2001-05-13  Hrvoje Niksic  <hniksic@arsdigita.com>
6182
6183         * url.c: Get rid of `protostrings'.
6184         (skip_proto): Don't use protostrings.
6185         (has_proto): Ditto.
6186
6187 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
6188
6189         * Makefile.in: Conditionally compile getopt.o.
6190
6191 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
6192
6193         * md5.h: Renamed to gnu-md5.h.
6194
6195         * md5.c: Renamed to gnu-md5.c.
6196
6197         * http.c: Ditto.
6198
6199         * ftp-opie.c: Use the new macros.
6200
6201         * sysdep.h: Define md5-related macros.
6202
6203         * config.h.in: Define HAVE_SOLARIS_MD5 or HAVE_BUILTIN_MD5
6204         depending on which md5 implementation is used.
6205
6206 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
6207
6208         * res.c (res_register_specs): Initialize OLD and HP_OLD to appease
6209         the compiler.
6210
6211 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
6212
6213         * http.c (gethttp): Print the whole response line when printing
6214         headers is requested.
6215
6216 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
6217
6218         * res.c: New file.  Implement all RES-related code here.
6219
6220 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
6221
6222         * version.c: Wget 1.7.1 is released.
6223
6224 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
6225
6226         * headers.c (header_extract_number): Ignore trailing whitespace.
6227
6228 2001-08-24  Ian Abbott  <abbotti@mev.co.uk>
6229
6230         * html-url.c (collect_tags_mapper): Fix bug converting links
6231         with -k option for tags with multiple link attributes by
6232         handling links in the order they appear.
6233
6234 2001-08-15  Ian Abbott  <abbotti@mev.co.uk>
6235
6236         * ftp.c (ftp_loop_internal): Avoid a potential buffer overflow in
6237           the call to the 'rate' function by moving it past the error
6238           checking for the 'getftp' function return value.
6239
6240 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
6241
6242         * html-parse.c (advance_declaration): Use 0x22 instead of '"' or
6243         '\"'.  Different compilers' assert macros are broken in different
6244         ways.
6245
6246 2001-09-29  Christian Fraenkel  <c.fraenkel@gmx.net>
6247
6248         * http.c (gethttp): print debug output for errors occuring during
6249         the ssl handshake.
6250
6251 2001-11-16  Chris Seawood  <cls@seawood.org>
6252
6253         * init.c: Ditto.
6254
6255         * host.c: Ditto.
6256
6257         * connect.c: Ditto.
6258
6259         * sysdep.h: Support compilation under BEOS.
6260
6261 2001-06-08  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
6262
6263         * url.c (url_equal): Fix a memory leak when parseurl returns an
6264         error on the second URL. Also, since url_equal is not used at the
6265         moment, do not compile it.
6266
6267         * url.h: Ditto for the prototype of url_equal.
6268
6269 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
6270
6271         * html-parse.c (map_html_tags): Support XML-style empty tags.
6272
6273 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
6274
6275         * wget.h (DO_REALLOC_FROM_ALLOCA): Check for do_realloc_newsize in
6276         loop condition because we're no longer setting SIZEVAR here.
6277
6278 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
6279
6280         * wget.h (DO_REALLOC_FROM_ALLOCA): Set SIZEVAR after the memcpy()
6281         call because it needs the old value.
6282
6283 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
6284
6285         * cookies.c (ATTR_NAME_CHAR): Allow almost any character to be in
6286         an attribute name.
6287
6288 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
6289
6290         * url.c (url_filename): Make sure that slashes that sneak in to
6291         u->file via query string get protected.
6292         (file_name_protect_query_string): New function.
6293
6294 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
6295
6296         * recur.c (recursive_retrieve): Also check undesirable_urls with
6297         canonicalized URL.
6298
6299 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
6300
6301         * http.c (gethttp): Search `.netrc' with real host, not the proxy
6302         one.
6303
6304 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
6305
6306         * sysdep.h (MAP_FAILED): Provide MAP_FAILED for systems that don't
6307         define it.
6308
6309 2001-06-09  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
6310
6311         * ftp.h: Provide correct prototype for ftp_parse_ls().
6312
6313 2001-06-04  Hrvoje Niksic  <hniksic@arsdigita.com>
6314
6315         * version.c: Wget 1.7 is released.
6316
6317 2001-06-03  Karl Eichwalder  <ke@suse.de>
6318
6319         * ftp-ls.c (ftp_parse_ls): Fix typo.
6320
6321 2001-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
6322
6323         * all: Update copyright information.
6324
6325 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
6326
6327         * http.c (gethttp): Indicate that the continued download failed
6328         for *this* file.
6329
6330 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
6331
6332         * version.c: Wget 1.7-pre1 is released.
6333
6334 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
6335
6336         * version.c: Updated version to 1.7-pre1.
6337
6338 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
6339
6340         * gen_sslfunc.c: Don't include <sys/time.h> directly.
6341
6342 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
6343
6344         * http.c (gethttp): Use real URL data for cookies, not the proxy
6345         stuff.
6346
6347 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
6348
6349         * main.c (print_help): Document `--no-http-keep-alive'.
6350
6351         * utils.c (numdigit): Handle negative numbers *correctly*.
6352
6353         * hash.c (make_nocase_string_hash_table): Use term "nocase" rather
6354         than the confusing "unsigned".
6355
6356         * utils.c (string_set_contains): Renamed from string_set_exists.
6357
6358         * hash.c (hash_table_contains): Renamed from hash_table_exists.
6359
6360         * cookies.c: Move case-insensitive hash tables to hash.c.
6361
6362 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
6363
6364         * http.c (gethttp): Before concluding that the file is already
6365         fully retrieved, make sure that the file existed and `Range' was
6366         actually requested.
6367
6368 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
6369
6370         * cookies.c (eliminate_dups): New function.
6371         (build_cookies_request): Use it.
6372         (build_cookies_request): Set chain_store_size after reallocating
6373         all_chains.
6374         (check_domain_match): Annotated for easier future debugging.
6375         (store_cookie): In the debug message, print whether the cookie is
6376         permanent.
6377
6378 2001-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
6379
6380         * http.c (http_loop): Reset no_truncate before deciding whether to
6381         set it.
6382         (gethttp): Further clarify "-c conflicts with existing file" error
6383         message, based on input from Herold Heiko.
6384
6385 2001-05-07  Hrvoje Niksic  <hniksic@arsdigita.com>
6386
6387         * http.c (http_loop): If restval is set, set no_truncate to 1
6388         unconditionally.
6389
6390 2001-05-02  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
6391
6392         * ftp-ls.c (ftp_parse_winnt_ls): Assure months are being correctly
6393         converted. Pointed out by <Stefan.Weil@de.heidelberg.com>.
6394         (ftp_parse_vms_ls): Ditto.
6395
6396 2001-04-30  Hrvoje Niksic  <hniksic@arsdigita.com>
6397
6398         * init.c (cmd_address): Zero SIN before using it; apparently
6399         needed on *BSD.
6400
6401 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
6402
6403         * ftp.c (ftp_loop_internal): Don't set NO_TRUNCATE if the file is
6404         empty.
6405
6406 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
6407
6408         * main.c (main): Make `--cookies' respect its argument.
6409
6410 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
6411
6412         * main.c (main): Removed undocumented option `--email-address'.
6413
6414         * netrc.c: Use the latest read_whole_line.
6415
6416         * init.c (defaults): Set opt.ftp_pass to "-wget@".
6417
6418         * mswindows.c (pwd_cuserid): Ditto.
6419
6420         * utils.c (pwd_cuserid): Removed.
6421
6422         * host.c (ftp_getaddress): Removed.
6423
6424 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
6425
6426         (http_loop): Allocate space for filename_plus_orig_suffix with
6427         alloca; this is more efficient and removes the need to free it
6428         before each and every return.
6429
6430 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
6431
6432         * http.c (gethttp): Return RETRUNNEEDED when the retrieval is
6433         unneeded because the file is already there and fully downloaded,
6434         and -c is specified.
6435         (http_loop): Handle RETRUNNEEDED.
6436
6437         * wget.h (uerr_t): New value RETRUNNEEDED.
6438
6439         * http.c (http_loop): Set no_truncate for files that both exist
6440         and are non-empty.
6441         (gethttp): Consider the download finished when restval >= contlen,
6442         not only when restval==contlen.
6443         (gethttp): Handle redirection before giving up due to -c.
6444         (gethttp): Clarify error message which explains that -c will not
6445         truncate the file.
6446         (gethttp): When returning CONTNOTSUPPORTED, don't forget to free
6447         the stuff that needs freeing and release the socket.
6448
6449 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
6450
6451         * main.c (print_help): Wget booleans accept "off", not "no".
6452
6453 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
6454
6455         * http.c (http_loop): If allow_cache is zero, always disable
6456         caching, not only when retrieving through proxy.
6457
6458         * init.c: Ditto.
6459
6460         * options.h (struct options): Rename proxy_cache to allow_cache.
6461
6462 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
6463
6464         * http.c (mktime_from_utc): Improve documentation.
6465         (http_atotm): Put format strings into a separate array.
6466
6467 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
6468
6469         * safe-ctype.h: Instead of throwing #error when isalpha is
6470         defined, redefine it to something that will throw a compile-time
6471         error if actually *used*.  Do the same for the rest of the
6472         standard C macros.
6473
6474 2001-04-26  Hrvoje Niksic  <hniksic@arsdigita.com>
6475
6476         * url.c (getproxy): Ignore empty proxy vars.
6477
6478 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
6479
6480         * http.c (http_loop): Would load cookies every time.
6481
6482         * cookies.c (load_cookies): Handle cookies whose values contain
6483         embedded spaces.
6484
6485 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
6486
6487         * utils.c: Define each DIGITS_* in one line.
6488
6489 2001-04-25  Roger L. Beeman  <beeman@cisco.com>
6490
6491         * http.c (http_atotm): Initialize t.tm_isdst to 0.
6492         (mktime_from_utc): Prevent mktime() from having discontinuities at
6493         DST transition points.
6494
6495 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
6496
6497         * html-url.c (get_urls_html): Fix documentation.
6498
6499 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
6500
6501         * url.c (UNSAFE_CHAR): Reimplement using a static table.
6502         (url_init): Removed.
6503         (init_unsafe_char_table): Removed.
6504
6505 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
6506
6507         * snprintf.c (dopr): Replace ISDIGIT with '0' <= ch && ch <= '9'.
6508
6509 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
6510
6511         * utils.c: Document timer functions.
6512
6513         * retr.c (rate): Use it.
6514         (rate): Print in GB/s if transfer rate exceeds 1 GB/s.
6515
6516         * utils.c (wtimer_granularity): New function.
6517
6518 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
6519
6520         * retr.c (show_progress): Ditto.
6521
6522         * ftp.c (getftp): Ditto.
6523
6524         * http.c (gethttp): Use new timer functions.
6525
6526         * utils.c (wtimer_allocate): New function.
6527         (wtimer_new): Ditto.
6528         (wtimer_delete): Ditto.
6529         (wtimer_reset): Ditto.
6530         (wtimer_elapsed): Ditto.
6531
6532 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
6533
6534         * utils.c (long_to_string): New, faster version.  Favors smaller
6535         numbers; much of the calculation is now done at compile-time.
6536
6537 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
6538
6539         * utils.c (numdigit): Handle negative numbers.
6540
6541 2001-04-23  Hrvoje Niksic  <hniksic@arsdigita.com>
6542
6543         * retr.c (show_progress): Print the download rate even when the
6544         percentages are not available.
6545
6546 2001-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
6547
6548         * ftp.c (getftp): Adjust expected_bytes if the length is
6549         authoritative.
6550
6551 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
6552
6553         * url.c: Don't declare `construct'.
6554
6555         * hash.c (grow_hash_table): Speed up rehashing; inline storing of
6556         mappings to new locations.
6557         (hash_table_new): Make resize_threshold a field in the hash table,
6558         so we don't have to recalculate it in each hash_table_put.
6559         (grow_hash_table): Update resize_threshold.
6560         (MAX): Remove unused macro.
6561         (prime_size): Made static.
6562
6563 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
6564
6565         * retr.c (retrieve_url): Call uri_merge, not url_concat.
6566
6567         * html-url.c (collect_tags_mapper): Call uri_merge, not
6568         url_concat.
6569
6570         * url.c (mkstruct): Use encode_string instead of xstrdup followed
6571         by URL_CLEANSE.
6572         (path_simplify_with_kludge): Deleted.
6573         (contains_unsafe): Deleted.
6574         (construct): Renamed to uri_merge_1.
6575         (url_concat): Renamed to uri_merge.
6576
6577 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
6578
6579         * url.c (str_url): Use encode_string instead of the unnecessary
6580         CLEANDUP.
6581         (encode_string_maybe): New function, returns input string if no
6582         encoding is needed.
6583         (encode_string): Call encode_string_maybe to do the dirty work,
6584         xstrdup if no work needed.
6585
6586 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
6587
6588         * wget.h (XDIGIT_TO_xchar): Define here.
6589
6590         * url.c (decode_string): Use new name.
6591         (encode_string): Ditto.
6592
6593         * http.c (XDIGIT_TO_xchar): Rename HEXD2asc to XDIGIT_TO_xchar.
6594         (dump_hash): Use new name.
6595
6596         * wget.h: Rename ASC2HEXD and HEXD2ASC to XCHAR_TO_XDIGIT and
6597         XDIGIT_TO_XCHAR respectively.
6598
6599 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
6600
6601         * init.c: Include cookies.h.
6602
6603         * cookies.h: Declare cookies_cleanup.
6604
6605         * cookies.c (check_domain_match): Remove unused variable.
6606         (save_cookies): Remove extraneous argument from debug statement.
6607
6608         * host.c (same_host): Don't call skip_url.
6609
6610         * url.c (skip_url): Removed.  Removed its calls from various
6611         functions in url.c.
6612
6613 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
6614
6615         * cookies.c (unsigned_string_hash): Use the new code in
6616         string_hash as reference.
6617
6618         * hash.c (hash_table_map): Allow deletion and change of the
6619         element processed by MAPFUN.
6620         (string_hash): Use the function from glib.
6621
6622 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
6623
6624         * config.h.in: Include #undef stub.
6625
6626         * hash.c (hash_table_remove): Rewrite to actually clear deleted
6627         entries instead of just marking them as deleted.
6628
6629 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
6630
6631         * hash.h: Declare hash_table_get_pair and hash_table_count.
6632
6633 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
6634
6635         * cookies.c: Declare http_atotm.
6636
6637 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
6638
6639         * ftp-ls.c (ftp_parse_unix_ls): Use octal constants for
6640         permissions.  A compiler that doesn't accept octal constants is
6641         seriously broken and shouldn't be used -- octal constants were
6642         present in K&R C!
6643
6644 2001-01-20  Karl Eichwalder  <ke@suse.de>
6645
6646         * Makefile.in: Provide and use DESTDIR according to the Coding
6647         Standards.
6648
6649 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
6650
6651         * ftp-ls.c (ftp_parse_vms_ls): Make seconds optional in time
6652         specification.
6653
6654 2001-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
6655
6656         * url.c (parseurl): Don't strip trailing slash when u->dir is "/"
6657         because that strips the *leading* slash, thus forcing relative
6658         FTP retrieval.
6659
6660 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
6661
6662         * ftp.c (getftp): Convert initial FTP directory from VMS to UNIX
6663         notation for VMS servers.
6664         (ftp_retrieve_dirs): Do not prepend '/' to f->name when
6665         odir is an empty string.
6666
6667 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
6668
6669         * ftp-ls.c (ftp_parse_winnt_ls): Made the fix for AM/PM more
6670         effective. Suggested by Edward J. Sabol.
6671
6672 2001-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
6673
6674         * cookies.c (build_cookies_request): Use and sort cookies from all
6675         matching domains.
6676         (build_cookies_request): Check for duplicates before generating
6677         the `Cookies' header.
6678
6679         * main.c (main): Don't load cookies here.
6680         (main): Make loadcookies and savecookies call the correct command.
6681
6682         * http.c (http_loop): Load cookies on-demand.
6683
6684 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
6685
6686         * http.c (gethttp): Fix indentation of SSL ifdef.
6687
6688 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
6689
6690         * ftp.c (ftp_retrieve_dirs): Don't forcibly prepend "/" to u->dir;
6691         that hack is no longer necessary.
6692         (getftp): Prepend initial directory to *non*-absolute u->dir's.
6693
6694 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
6695
6696         * init.c (cmd_file): New function.
6697         (enable_tilde_expansion): New variable.
6698         (run_wgetrc): Use it.
6699         (cmd_file): Use it.
6700
6701 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
6702
6703         * init.c: Include cookie-related options.
6704
6705         * main.c (main): Include cookie-specific options.
6706         (main): Load cookies before download is finished.
6707         (main): Save cookies when done.
6708
6709         * http.c (gethttp): Process the `Set-Cookie' header.
6710         (gethttp): Include cookies in the response.
6711
6712         * cookies.c: New file.
6713
6714 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
6715
6716         * utils.c (datetime_str): New function.
6717
6718 2001-04-08  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
6719
6720         * ftp-ls.c (ftp_parse_winnt_ls): The AM/PM change did assume
6721         12:01PM == 00:01, which was obviously wrong. Taken care of this
6722         anomaly.
6723
6724         * ChangeLog: Removed an excess conflict marker. Reformatted the
6725         entry by Philipp Thomas from 2001-03-09.
6726
6727         * ftp-ls.c (ftp_parse_winnt_ls): Ensure that adjusted PM hours lay
6728         between 0 and 23. Elminate unused variable `sec'.
6729
6730 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
6731
6732         * hash.c (hash_table_count): New function.
6733
6734 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
6735
6736         * utils.c (read_file): Cast MAP_FAILED to char *.  Enforced by
6737         Digital Unix cc.
6738
6739 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
6740
6741         * config.h.in: Oops, do the namespace tweaks only on systems we
6742         know about.
6743
6744 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
6745
6746         * hash.c: Include <string.h>.
6747
6748 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
6749
6750         * config.h.in: Define "compilation environment" options that work
6751         under Linux and Solaris.  To be reviewed on other OS'es.
6752
6753 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
6754
6755         * http.c (gethttp): Prepend literal newline with `\n\'.
6756
6757 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
6758
6759         * sysdep.h: Don't define VERY_LONG_FORMAT.
6760
6761         * utils.c (very_long_to_string): New function.
6762         (legible_very_long): Use it; don't use VERY_LONG_FORMAT.
6763
6764 2001-04-04  Christian Fraenkel  <christian.fraenkel@gmx.net>
6765
6766         * url.c (parse_uname): Would run past the end of the string if the
6767         username was present, but the URL did not contain a slash, e.g.
6768         http://foo:bar@myhost.
6769
6770 2001-04-03  KOJIMA Hajime  <kjm@rins.ryukoku.ac.jp>
6771
6772         * http.c (http_atotm): Use %A instead of %a to match full
6773         weekday.  (On most systems there is no difference.)
6774
6775 2001-04-03  Paul Bludov  <paul@ozero.net>
6776
6777         * mswindows.c (sleep): Use SleepEx() instead of Sleep().
6778         (ws_changetitle): Use alloca() instead of malloc() to avoid memory
6779         leak.
6780         (ws_mypath): Use GetModuleFileName instead of argv[0].
6781         (ws_startup): Use data.wVersion for comparison.
6782
6783 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
6784
6785         * http.c (http_loop): Ditto.
6786
6787         * ftp.c (ftp_loop_internal): Made the check whether to continue
6788         retrieval `-O'-friendly.
6789
6790 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
6791
6792         * netrc.c (parse_netrc): Don't trim the line endings explicitly;
6793         they will be handled as whitespace.
6794         (parse_netrc): Correctly handle lines that end with whitespace.
6795
6796 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
6797
6798         * retr.c (retrieve_url): New variable global_download_count used
6799         to identify first retrieval.
6800
6801         * ftp.c (getftp): Ditto.
6802
6803         * http.c (gethttp): Rewind opt.dfp only on first retrieval.
6804
6805 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
6806
6807         * init.c (cmd_address): Heap-allocate the address that gets stored
6808         to CLOSURE.  Old code would simply assign an address on the stack.
6809
6810 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
6811
6812         * ftp.c (ftp_get_listing): Propagate error status.
6813         (ftp_retrieve_glob): Use it.
6814         (ftp_loop): Ditto.
6815
6816 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
6817
6818         * main.c (main): Add -C to the string that is the third arg to
6819         getopt_long().
6820
6821 2001-04-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6822
6823         * ftp.c (getftp): Don't start the download from scratch if `-c'
6824         was specified, but the file is already fully downloaded.
6825
6826         * http.c (gethttp): Don't truncate a pre-existing file if `-c' was
6827         specified and the server doesn't support continued download.
6828         (gethttp): Don't start the download from scratch if `-c' was
6829         specified, but the file is already fully downloaded.
6830
6831 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
6832
6833         (recursive_retrieve): Don't clear the hash tables at this point at
6834         all; it interferes with the normal operation of register_download.
6835
6836 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
6837
6838         * recur.c (recursive_retrieve): Clear the hash tables only when
6839         they are defined.
6840
6841 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
6842
6843         * http.c (gethttp): Make sure the socket is closed with
6844         CLOSE_INVALIDATE before we have drained the body.
6845
6846 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
6847
6848         * retr.c (retrieve_url): Call register_download() for downloaded
6849         files and register_html() for downloaded HTML files.
6850
6851         * recur.c (register_download): New function; register here that a
6852         file has been downloaded, rather than in recursive_retrieve().
6853         (register_html): New function; enqueue the location of HTML files
6854         here rather than in recursive_retrieve().
6855
6856 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
6857
6858         * main.c (print_help): Use multiple fputs instead of a single ugly
6859         printf().
6860         (main): Consistently assign numbers >128 to options without a
6861         corresponding character.
6862
6863 2001-03-09  Philipp Thomas  <pthomas@suse.de>
6864
6865         * safe-ctype.h: New file. Locale independent ctype.h replacement
6866         taken from libiberty.
6867
6868         * safe-ctype.c: New file. Tables for above.
6869
6870         * Makefile.in: Add safe-ctype$o to OBJS.  Add dependencies for
6871         safe-ctype$o.
6872
6873         * cmpt.c: Remove include of ctype.h. Use ISSPACE instead of
6874         isspace.
6875
6876         * ftp-basic.c: Don't include ctype.h.
6877
6878         * ftp-ls.c: Likewise.
6879
6880         * ftp.c: Likewise.
6881
6882         * headers.c: Likewise.
6883
6884         * host.c: Likewise.
6885
6886         * html-parse.c: Likewise.
6887
6888         * html-url.c: Likewise.
6889
6890         * http.c: Likewise.
6891
6892         * init.c: Likewise.
6893
6894         * main.c: Likewise. Set LC_CTYPE along with LC_MESSAGES.
6895
6896         * netrc.c: Likewise.
6897
6898         * recur.c: Likewise.
6899
6900         * retr.c: Likewise.
6901
6902         * snprintf.c: Replace ctype.h with safe-ctype.h. Use ISDIGIT
6903         instead of isdigit.
6904
6905         * sysdep.h: Remove defines of ctype macros as they aren't needed
6906         for safe-ctype-h.
6907
6908         * url.c: Don't include ctype.h.
6909
6910         * utils.c: Likewise.
6911
6912         * wget.h: Include safe-ctype.h.
6913
6914 2001-03-27  Dan Harkless  <wget@harkless.org>
6915
6916         * Makefile.in: Moved top_builddir out of "User configuration
6917         section" of top Makefile and analogous spot in this one.
6918
6919 2001-03-17  Dan Harkless  <wget@harkless.org>
6920
6921         * Makefile.in: Include @SSL_INCLUDES@ substition in INCLUDES.
6922         Define top_builddir.  Link wget with libtool so the user doesn't
6923         have to supply a bunch of custom environment variables to
6924         correctly link with the OpenSSL shared libraries.
6925
6926 2001-03-06  Hack Kampbjorn  <hack@hackdata.com>
6927
6928         * http.c (gethttp): skip :port in host header if it is the
6929         DEFAULT_HTTPS_PORT when using SSL.
6930
6931         * url.c: move the #define of DEFAULT_HTTP_PORT, DEFAULT_FTP_PORT
6932         and DEFAULT_HTTPS_PORT to the header file so it can be use in the
6933         rest of the code.
6934         * url.h: Ditto
6935
6936 2001-03-01  Jonas Jensen  <bones@huleboer.dk>
6937
6938         * retr.c (show_progress): Correctly calculate the number of bytes
6939         in the first line of the download that have been actually
6940         downloaded in this run.
6941
6942 2001-02-23  Dan Harkless  <wget@harkless.org>
6943
6944         * main.c (print_help): --help documentation for -N said it would
6945         re-download files if they had the _same_ timestamp on server.
6946         (print_help): -nr belongs in "FTP options" section of --help
6947         output, not "Recursive retrieval" section.  Alphabetized FTP
6948         options by long option name.
6949
6950 2001-02-16  Dan Harkless  <wget@harkless.org>
6951
6952         * init.c (commands): Hack Kampbjørn <hack@hackdata.com> discovered
6953         that "httpsproxy" had been inserted into commands[] out of
6954         alphabetical order, causing "BUG: unknown command `httpuser'".
6955
6956 2001-02-13  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
6957
6958         * ftp-ls.c (ftp_parse_ls): Added support of ST_MACOS (Unix-like
6959         listing without correct permissons).
6960
6961         * ftp.h (stype): Added ST_MACOS to identify the NetPresenz MacOS
6962         FTP server.
6963
6964         * ftp.c (ftp_retrieve_list): New mirroring logic: A remote file
6965         shall be donwloaded only when it's newer than the local copy or
6966         when it has the same timeestamp but its size is different. ST_VMS
6967         and ST_MACOS as special cases that lie about file size.
6968
6969         * ftp-ls.c (ftp_parse_ls): Support for ST_MACOS.
6970
6971         * Makefile.in: Removed dependency on ftpparse library due to unclear
6972         copyright issues and absence of any feedback to our queries.
6973
6974         * ftp-ls.c: Removed dependency on ftpparse library due to unclear
6975         copyright issues and absence of any feedback to our queries.
6976         (ftp_parse_ls): Added a warning message when remote server system
6977         does not seem to be suported by wget.
6978         (ftp_parse_vms_ls): New function for parsing VMS ftp
6979         server listing output.
6980         (clean_line): New function responsible for removing
6981         end-of-line characters from FTP listing texts.
6982
6983         * ftp.c (getftp): Global variables pwd and host_type are now
6984         member of the ccon structure under names ccon.id and ccon.rs.
6985
6986         * ftp.h (struct ccon): Added formed global variables from ftp.c,
6987         enum stype rs (remote system identification) and char *id (initial
6988         working directory), as suggested by Hrvoje.
6989
6990         * url.c (parse_uname): Added support for passwords containing '@'
6991         characters.
6992         (skip_uname): Ditto.
6993
6994 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
6995
6996         * ftp.c (ftp_loop): Reset con.
6997
6998 2001-01-06  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
6999
7000         * url.c (parse_uname): Added support for passwords containing '@'
7001         characters.
7002         (skip_uname): Ditto.
7003
7004 2001-02-11  Hack Kampbjørn  <hack@hackdata.com>
7005
7006         * url.c (parseurl): Debug-print u->ftp_type.
7007
7008 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
7009
7010         * ftp.c (ftp_loop_internal): Disable padding.
7011         (getftp): Ditto.
7012
7013         * http.c (http_loop): Disable padding.
7014
7015         * retr.c (show_progress): Use it to enable padding.
7016
7017         * retr.c (rate): Optional parameter PAD for padding the rate.
7018
7019 2001-02-10  Hrvoje Niksic  <hniksic@arsdigita.com>
7020
7021         * retr.c (show_progress): Make sure that the last output line
7022         includes progress.
7023
7024 2001-02-10  Jonas Jensen  <bones@huleboer.dk>
7025
7026         * retr.c (show_progress): Print the download rate along with the
7027         percentages.
7028         Along with Anders Thorsby <anders@thorsby.dk>.
7029
7030 2001-02-10  Tim Mooney  <mooney@dogbert.cc.ndsu.NoDak.edu>
7031
7032         * ftp.h: Rename enums `command' to `wget_ftp_command' and
7033         `fstatus' to `wget_ftp_status' because old names clash with Tru64
7034         net/if.h.
7035
7036 2001-02-08  Christian Fraenkel <christian.fraenkel@gmx.net>
7037
7038         * gen_sslfunc.c: verify_callback is now static
7039
7040         * gen_sslfunc.c (init_ssl): load certificate if specified
7041
7042         * gen_sslfunc.c (ssl_printerr): new function
7043
7044         * init.c: added new --sslcertfile and --sslcertkey switches
7045
7046         * main.c: ditto
7047
7048         * options.h: ditto
7049
7050         * http.c (gethttp): abort when init_ssl fails
7051
7052 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
7053
7054         * mswindows.h: Include <malloc.h>; it's needed for alloca().
7055
7056 2001-01-10  Dan Harkless  <wget@harkless.org>
7057
7058         * url.c (str_url): Clarified this function's comment header after
7059         Hrvoje answered my question on the list as to when hide != 1.
7060         Also Hrvoje pointed out I need to use xstrdup() on the string literal.
7061
7062 2001-01-06  Hrvoje Niksic  <hniksic@arsdigita.com>
7063
7064         * connect.c (bindport): Declare addrlen as int.  Diagnosed by
7065         Drazen Kacar <dave@arsdigita.com>.
7066         (conaddr): Ditto.
7067
7068 2001-01-09  Dan Harkless  <wget@harkless.org>
7069
7070         * html-url.c: A bunch of fixup of `--page-requisites'-related
7071         comments to reflect Hrvoje's changes to my code when transplanting
7072         it into this new file, to fix spelling mistakes, to clarify, etc.
7073
7074         * url.c (write_backup_file): Clarified a comment.
7075         (str_url): Henrik van Ginhoven pointed out on the list that we
7076         shouldn't give away the number of characters in the password by
7077         replacing each character with a 'x'.  Use "<password>" instead.
7078
7079         * ftp.c (ftp_retrieve_dirs): The bug where recursion into FTP
7080         directories didn't work if logging in put you in a directory other
7081         than "/" is fixed now.  Removed the comment here warning of the bug.
7082
7083         * main.c (print_help): --continue's description was misleading.
7084         We don't "restart", we "resume".  Also, better to say
7085         "partially-downloaded file" rather than just "existing file".
7086
7087 2001-01-06  Dan Harkless  <wget@harkless.org>
7088
7089         * ChangeLog: The '[Not in 1.6 branch.]'s were decided not to be
7090         the best way to go about my aim.  Removed them in favor of:
7091
7092         * ChangeLog-branches/1.6_branch.ChangeLog: New file.
7093
7094 2001-01-04  Hrvoje Niksic  <hniksic@arsdigita.com>
7095
7096         * url.c (replace_attr): New function, to be used by both
7097         TO_COMPLETE and TO_RELATIVE case in convert_links.
7098         (find_fragment): New function for finding URL fragments.
7099         (replace_attr): Better handle the case where the original string
7100         is not quoted.  Use find_fragment.
7101         (convert_links): Use replace_attr().
7102
7103 2000-12-31  Dan Harkless  <wget@harkless.org>
7104
7105         * ChangeLog: Since this flat file doesn't have multiple branches,
7106         looking at the dates would make you think that things went into
7107         1.6 that actually just went into the 1.7-dev branch.  Added "[Not
7108         in 1.6 branch.]" where appropriate to clarify.
7109
7110 2000-12-30  Dan Harkless  <wget@harkless.org>
7111
7112         * ftp.c, http.c:  Applied Hack Kampbjørn <hack@hackdata.com>'s
7113         patch to deal with h_errno not being defined in netdb.h under Cygwin.
7114
7115 2000-12-18  Csaba Raduly  <csaba.raduly@sophos.com>
7116
7117         * sysdep.h: Include <malloc.h> and <io.h> under Watcom.
7118
7119 2000-12-17  Igor Khristophorov  <igor@atdot.org>
7120
7121         * http.c (check_end): Fix test for '+' or '-'.
7122
7123 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
7124
7125         * url.c (parseurl): Rename inner loop var from i to ind to avoid
7126         clash with the function top-level-declared variable i.
7127         (str_url): Likewise, rename inner-loop i to j.
7128
7129         * recur.c (parse_robots): Don't declare LEN at top of function.
7130         (robots_match): Renamed parameter FORBIDDEN to avoid hiding of
7131         global variable.
7132
7133         * main.c (main): Change erroneous use of bitwise and to logical.
7134
7135         * init.c (cmd_address): Don't heap-allocate `sin'; it can be on
7136         the stack because it will be copied to closure.
7137
7138         Thanks to Csaba Raduly's run of PC-LINT over the sources.
7139
7140 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
7141
7142         * http.c (basic_authentication_encode): Use xmalloc(), not
7143         malloc().  Thanks to Csaba Raduly's run of PC-LINT over the
7144         sources.
7145
7146 2000-12-17  Csaba Raduly  <csaba.raduly@sophos.com>
7147
7148         * sysdep.h: Test for __EMX__ rather than for EMXOS2 for OS/2
7149         compilation.
7150
7151 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
7152
7153         * mswindows.c: Include <errno.h>.
7154
7155         * gen_sslfunc.c: Include <errno.h>.
7156
7157         * ftp-basic.c: Don't attempt to declare errno or h_errno because
7158         they're not used.
7159
7160         * main.c: Include <errno.h> because errno is used.
7161
7162         * ftp.c: Ditto.
7163
7164         * http.c: Include <netdb.h> for h_errno.
7165
7166 2000-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
7167
7168         * html-parse.c (advance_declaration): MSVC assert() chokes on
7169         '\"'.  Use '"' instead.
7170
7171 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
7172
7173         * utils.c (xfree_real): Removed.
7174         (xfree_debug): Just call free().
7175
7176         * wget.h (xfree): Make it an alias for free.
7177
7178 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
7179
7180         * http.c (http_loop): Furthermore, touch output_document only if
7181         it is known to be an existing regular file.
7182
7183 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
7184
7185         * ftp.c (ftp_retrieve_list): Ditto.
7186
7187         * http.c (http_loop): Touch output_document if that is used for
7188         output.
7189
7190 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
7191
7192         * http.c: Include gen_sslfunc.h after including Wget's headers.
7193         (persistent_available_p): Needed coma before `int ssl'.
7194
7195 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
7196
7197         * ftp.c (ftp_loop_internal): Ditto.
7198
7199         * http.c (http_loop): Use it.
7200
7201         * retr.c (sleep_between_retrievals): New function that handles the
7202         logic of opt.wait and opt.waitretry.
7203
7204 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
7205
7206         * rbuf.h: Implement only a single version of RBUF_READCHAR, using
7207         rbuf_read_bufferful when the buffer is depleted.
7208
7209         * rbuf.c (rbuf_read_bufferful): New function.
7210
7211 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
7212
7213         * gen_sslfunc.h: Use ansi2knr style function declarations.
7214
7215         * gen_sslfunc.c: Reformat according to the GNU coding standards.
7216         More should be done.
7217
7218         * http.c (persistent_available_p): Place the cheap SSL test nearer
7219         the top of the function.
7220         (CLOSE_FINISH, CLOSE_INVALIDATE): Define only one version of each.
7221
7222 2000-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
7223
7224         * url.c (init_unsafe_char_table): Reinstate space as an unsafe
7225         char.
7226
7227 2000-12-03  Christian Fraenkel <christian.fraenkel@gmx.net>
7228
7229         * Makefile.in: added gen_sslfunc object
7230         * config.h.in: added HAVE_SSL define
7231         * connect.c: changed select_fd from static int to int
7232         * connect.h: ditto
7233         * gen_sslfunc.h: New file
7234         * gen_sslfunc.c: ditto
7235         * http.c: added HTTPS fuctionality
7236         * retrc.c: ditto
7237         * url.c: ditto
7238         * init.c: added opt.httpsproxy
7239         * options.h: ditto
7240         * rbuf.h: added alternate rbuf struct
7241         * wget.h: added CONSSLERR
7242         * rbuf.c: ditto
7243
7244         * http.c: Added HTTPS fuctionality.
7245
7246         * retrc.c: Ditto.
7247
7248         * url.c: Ditto.
7249
7250         * init.c: Added opt.httpsproxy.
7251
7252         * options.h: Ditto.
7253
7254         * rbuf.h: Added alternate rbuf struct.
7255
7256         * wget.h: Added CONSSLERR.
7257
7258         * rbuf.c: Ditto.
7259
7260 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
7261
7262         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
7263         "ignore_perms" to ignore file and directory permissions for
7264         Windows NT FTP server listings.
7265         (ftp_parse_winnt_ls): New function.
7266         (ftp_parse_ls): Parses UNIX and Windows NT listings
7267         separately. Simple heuristics for distinguishing between UNIX and
7268         MS-DOS-like FTP listing provided by Windows NT FTP service.
7269
7270 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
7271
7272         * ftpparse.c, ftpparse.h: New files.
7273
7274         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
7275         only. Use ftp_parse_nonunix_ls otherwise.
7276         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
7277         exotic FTP servers.
7278
7279         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
7280         FTP servers.
7281
7282         * ftp.c: New static wariables host_type, pwd, and pwd_len.
7283         (getftp): Support for VMS. Support for FTP servers that do not
7284         place you in the root directory after login.
7285         (ftp_retrieve_list): VMS is silent about the real file size, issue
7286         a more appropriate message.
7287         (ftp_get_listing): Pass host_type to ftp_parse_ls.
7288
7289         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
7290
7291 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
7292
7293         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
7294         "ignore_perms" to ignore file and directory permissions for
7295         Windows NT FTP server listings.
7296         (ftp_parse_winnt_ls): New function.
7297         (ftp_parse_ls): Parses UNIX and Windows NT listings
7298         separately. Simple heuristics for distinguishing between UNIX
7299         and MS-DOS-like FTP listing provided by Windows NT FTP service.
7300
7301 2000-11-29  John Summerfield  <summer@OS2.ami.com.au>
7302
7303         * netrc.c (parse_netrc): Get rid of line ending.
7304
7305 2000-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
7306
7307         * ftp.c (ftp_retrieve_list): Undo typo "fix" until resolution by
7308         Dan.
7309
7310 2000-11-24  Karl Eichwalder  <ke@suse.de>
7311
7312         * main.c (print_help): Untabify.
7313
7314 2000-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
7315
7316         * utils.c (xrealloc_debug): Do the unregister/register thing only
7317         if the pointer has actually changed.
7318         (xmalloc_real): Declare `static' in DEBUG_MALLOC builds.
7319         (xfree_real): Ditto.
7320         (xrealloc_real): Ditto.
7321         (xstrdup_real): Ditto.
7322
7323 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
7324
7325         * ftp.c (getftp): ftp_getaddress() returns a malloc'ed copy of the
7326         string; no need to strdup() it.
7327         (getftp): Make pwd_len a local variable.
7328         (ftp_loop): Free PWD before returning.
7329
7330         * init.c (cleanup): Free opt.ftp_pass only if it's non-NULL.
7331
7332 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
7333
7334         * all: Use xfree() instead of free.
7335
7336         * utils.c (xfree): New function.
7337
7338 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
7339
7340         * url.c (convert_links): HTML-quote the converted string.
7341
7342         * utils.c (html_quote_string): Move here from ftp-ls.c
7343         (html_quote_string): Make non-static; declare in utils.h.
7344         (html_quote_string): Convert SP to &#32;.
7345
7346 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
7347
7348         * ftp.c (getftp): Reformat Jan's code according to GNU coding
7349         standards; remove (debugging?) printf's; use '\0' for the ASCII
7350         zero character.  Use alloca() instead of malloc() for
7351         inter-function temporary allocations.
7352
7353 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
7354
7355         * ftpparse.c, ftpparse.h: New files.
7356
7357         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
7358         only. Use ftp_parse_nonunix_ls otherwise.
7359         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
7360         exotic FTP servers.
7361
7362         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
7363         FTP servers.
7364
7365         * ftp.c: New static wariables host_type, pwd, and pwd_len.
7366         (getftp): Support for VMS. Support for FTP servers that do not
7367         place you in the root directory after login.
7368         (ftp_retrieve_list): VMS is silent about the real file size, issue
7369         a more appropriate message.
7370         (ftp_get_listing): Pass host_type to ftp_parse_ls.
7371
7372         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
7373
7374 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
7375
7376         * hash.c (hash_table_put): Don't overwrite deleted mappings.
7377
7378 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
7379
7380         * hash.c (find_mapping): New function.
7381         (hash_table_get): Use it.
7382         (hash_table_get_pair): Ditto.
7383         (hash_table_exists): Ditto.
7384         (hash_table_remove): Ditto.
7385         (hash_table_remove): Really delete the entry if the mapping
7386         following LOCATION is empty.
7387
7388         * utils.c (string_set_add): Check whether the element has existed
7389         before.
7390
7391         * hash.c (hash_table_get_pair): New function.
7392
7393 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
7394
7395         * http.c (http_process_type): Ignore trailing whitespace; use
7396         strdupdelim().
7397
7398         * recur.c (recursive_retrieve): Use the new `convert' field.
7399         (convert_all_links): Ditto.
7400         (convert_all_links): Don't respect meta_disallow_follow.
7401
7402         * html-url.c (handle_link): Fill out link_relative_p and
7403         link_complete_p.
7404
7405         * url.h (struct _urlpos): Make elements more readable.
7406
7407         * recur.c (recursive_retrieve): Call slist_prepend instead of
7408         slist_append.
7409         (convert_all_links): Call slist_nreverse before iterating through
7410         urls_html.
7411
7412         * utils.c (slist_prepend): New function.
7413         (slist_nreverse): Ditto.
7414
7415 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
7416
7417         * http.c (check_end): Constify.
7418
7419 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
7420
7421         * http.c (http_loop): If username and password are known, try the
7422         `Basic' authentication scheme by default.
7423
7424         * connect.h: Declare test_socket_open.
7425
7426 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
7427
7428         * version.c: Bump version from 1.5.3+dev to 1.7-dev.
7429
7430 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
7431
7432         * http.c (gethttp): Don't use the return value of sprintf().
7433         (gethttp): Inhibit keep-alive if opt.http_keep_alive is 0.
7434
7435 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
7436
7437         * recur.c (recursive_retrieve): Print the "so we don't load"
7438         debugging message only if we really don't load.
7439
7440         * http.c (gethttp): Inhibit keep-alive if proxy is being used.
7441         (gethttp): Don't request keep-alive if keep-alive is inhibited.
7442
7443 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
7444
7445         * http.c (gethttp): Make the HTTP persistent connections more
7446         robust.
7447
7448 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
7449
7450         * retr.c (get_contents): If use_expected, make sure that the
7451         appropriate amount of data is being read.
7452
7453         * http.c (gethttp): Check for both `Keep-Alive: ...' and
7454         `Connection: Keep-Alive'.
7455
7456         * wget.h (DEBUGP): Call debug_logprintf only if opt.debug is
7457         turned on.
7458
7459 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
7460
7461         * http.c (connection_available_p): Use it.
7462
7463         * connect.c (test_socket_open): New function.
7464
7465         * http.c (gethttp): Support persistent connections.  Based on the
7466         ideas, and partly on code, by Sam Horrocks <sam@daemoninc.com>.
7467         (register_persistent): New function.
7468         (connection_available_p): Ditto.
7469         (invalidate_connection): Ditto.
7470
7471 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
7472
7473         * url.c (convert_links): Handle UREL2ABS case.
7474
7475         * recur.c (recursive_retrieve): Instead of the list
7476         urls_downloaded, use hash tables dl_file_url_map and
7477         dl_url_file_map.
7478         (convert_all_links): Use them to retrieve data.
7479
7480         * host.c (clean_hosts): Free the hash tables.
7481
7482         * main.c (private_initialize): Call host_init().
7483
7484         * host.c (store_hostaddress): Use a saner, hash table-based data
7485         model.
7486         (realhost): Ditto.
7487         (host_init): Initialize the hash tables.
7488
7489 2000-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
7490
7491         * utils.c (slist_append): Eviscerate NOSORT.  Hash tables are now
7492         used for what the sorted slists used to be used for.
7493         (slist_contains): Don't rely on the list being sorted.
7494         (slist_append): Simplify the code.
7495
7496         * recur.c (recursive_cleanup): Use free_string_set.
7497
7498         * utils.c (string_set_add, string_set_exists, string_set_free):
7499         New functions for easier freeing of hash tables whose keys are
7500         strdup'ed strings.
7501
7502         * recur.c (recursive_retrieve): Use the hash table functions for
7503         storing undesirable URLs.
7504
7505         * hash.c: New file.
7506
7507 2000-11-17  Hrvoje Niksic  <hniksic@arsdigita.com>
7508
7509         * main.c (private_initialize): Call url_init.
7510         (main): Call private_initialize.
7511
7512         * url.c (unsafe_char_table): New table.
7513         (UNSAFE_CHAR): Use it.
7514         (init_unsafe_char_table): New function.
7515         (url_init): New function; call init_unsafe_char_table.
7516
7517 2000-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
7518
7519         * mswindows.h: Define snprintf and vsnprintf to _snprintf and
7520         _vsnprintf respectively.
7521
7522 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
7523
7524         * config.h.in: Do the _XOPEN_SOURCE and _SVID_SOURCE things only
7525         on Linux.
7526
7527 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
7528
7529         * html-url.c (handle_link): Handle HTML fragment identifiers.
7530
7531         * recur.c (recursive_retrieve): If norobot info is respected and
7532         the file is specified not to be followed by robots, respect that.
7533
7534         * html-url.c (collect_tags_mapper): Handle <meta name=robots
7535         content=X>.  For us the important cases are where X is NONE or
7536         where X contains NOFOLLOW.
7537         (get_urls_html): Propagate that information to the caller.
7538
7539 2000-11-13  Hrvoje Niksic  <hniksic@arsdigita.com>
7540
7541         * url.c (convert_links): Unlink the file we might be reading from
7542         before writing to it.
7543         (convert_links): Use alloca instead of malloc for
7544         filename_plus_orig_suffix.
7545
7546 2000-11-12  Hrvoje Niksic  <hniksic@arsdigita.com>
7547
7548         * host.c (realhost): Add HOST to the list with quality==0 only if
7549         it wasn't already there.
7550         Based on analysis by Lu Guohan <feng@public.bjnet.edu.cn>.
7551
7552 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
7553
7554         * url.c (get_urls_file): Ditto.
7555         (convert_links): Ditto.
7556
7557         * html-url.c (get_urls_html): Use read_file() instead of
7558         load_file().
7559
7560         * utils.c (read_file): New function, instead of the old
7561         load_file().
7562         (read_file_free): Ditto.
7563
7564         * url.c (findurl): Search only for the supported protocols.
7565         (convert_links): Use fwrite() when writing out a region of
7566         characters.
7567
7568 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
7569
7570         * ftp-ls.c: Move html_quote_string and ftp_index here.
7571
7572         * url.c: Remove get_urls_html, since that's now in html-url.c.
7573
7574         * html-url.c: New file.
7575
7576         * html-parse.c: New file.
7577
7578 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
7579
7580         * init.c (run_wgetrc): Don't bother killing off '\r' since
7581         pars_line() skips whitespace at end of line anyway.
7582         (parse_line): Oops, it didn't.  Now it does.
7583
7584         * recur.c (parse_robots): Ditto here.
7585
7586         * ftp-ls.c (ftp_parse_unix_ls): Kill off the newline character
7587         manually because read_whole_line no longer does.
7588
7589         * utils.c (read_whole_line): Rewrite to: a) use less memory
7590         (reallocates to needed size after work), b) work faster -->
7591         fgets() instead of getc, c) be more correct --> doesn't kill the
7592         newline character at the end of line.
7593
7594 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
7595
7596         * init.c (comind): Initialize MAX to array size - 1.
7597
7598 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
7599
7600         * url.c (construct): Changed last_slash[-1] to *(last_slash - 1).
7601         Suggested by Edward J. Sabol.
7602
7603 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
7604
7605         * url.c (construct): Handle the case where host name is not
7606         followed by a slash.
7607
7608 2000-11-06  Hrvoje Niksic  <hniksic@arsdigita.com>
7609
7610         * init.c: commands[] need to be sorted!  ("base" wasn't.)
7611
7612 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
7613
7614         * wget.h (DO_REALLOC_FROM_ALLOCA): Use braces to disambiguate
7615         `if'.
7616
7617 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
7618
7619         * url.c (construct): Insert unneeded initialization for the
7620         compiler to shut up.
7621
7622         * config.h.in: Define _XOPEN_SOURCE to 500 to get the prototype
7623         for strptime() (*duh*).  Define _SVID_SOURCE to get S_IFLNK which
7624         otherwise gets lost when you define _XOPEN_SOURCE.
7625
7626         * utils.c (touch): Include the file name in the error message.
7627         From Debian.
7628
7629 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
7630
7631         * log.c (logvprintf): Use vsnprintf() in all cases.  If necessary,
7632         resize the buffer to fit the formated message.  That way, messages
7633         of arbitrary size may be printed.
7634         (logvprintf): Use saved_append() to optionally log the last
7635         several lines of output.
7636         (logputs): Ditto.
7637         (log_close): Adapt to new data structures.
7638         (log_dump): Ditto.
7639         (redirect_output): Print messages to stderr, not to stdout.
7640
7641         * log.c (saved_append_1): New function.  Replaces the old logging
7642         system ("log all output until 10M characters") with a new, much
7643         more reasonable one ("log last screenful of text").
7644         (saved_append): New function; call saved_append_1.
7645         (free_log_line): New function.
7646
7647 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
7648
7649         * url.c (construct): Fix comment.
7650         (find_last_char): Document.
7651
7652 2000-11-04  Hrvoje Niksic  <hniksic@arsdigita.com>
7653
7654         * snprintf.c: New file.
7655
7656 2000-11-03  Hrvoje Niksic  <hniksic@arsdigita.com>
7657
7658         * wget.h: If HAVE_STDARG_H is not defined, don't declare argument
7659         types to logprintf() and debug_logprintf().
7660
7661 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
7662
7663         * ftp.c (ftp_loop_internal): Hide the password from the URL when
7664         printing non-verbose.  Problem spotted by Dariusz Mlynarczyk
7665         <darekm@bydg.lomac.com.pl>.
7666
7667 2000-11-02  Junio Hamano  <junio@twinsun.com>
7668
7669         * ftp-basic.c (ftp_login): Make comparison case-insensitive.
7670
7671 2000-11-02  Tyler Riddle  <triddle@liquidmarket.com>
7672
7673         * http.c (known_authentication_scheme_p): Recognize NTML
7674         authentication.
7675         (create_authorization_line): Treat NTML the same as `Basic'.
7676
7677 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
7678
7679         * retr.c (retrieve_url): Free url before returning.
7680         (retrieve_url): Free mynewloc before returning.
7681         Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
7682
7683 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
7684
7685         * url.c (parseurl): Remove possible reading past the end of
7686         sup_protos[].  Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
7687
7688 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
7689
7690         * main.c (main): In case of opt.downloaded overflowing, print
7691         <overflow> instead of a totally bogus random value.
7692
7693         * retr.c (retrieve_from_file): Ditto.
7694
7695         * recur.c (recursive_retrieve): Ditto.
7696
7697         * main.c (main): Ditto.
7698
7699         * http.c (http_loop): Ditto.
7700
7701         * ftp.c (ftp_loop_internal): Use downloaded_increase() instead of
7702         `+=', and downloaded_exceeds_quota() instead of the simple-minded
7703         check.
7704         (ftp_retrieve_list): Ditto.
7705         (ftp_retrieve_dirs): Ditto.
7706         (ftp_retrieve_glob): Ditto.
7707
7708         * retr.c (downloaded_increase): New function.  Notice overflows of
7709         opt.downloaded.
7710         (downloaded_exceeds_quota): Make sure that opt.downloaded is not
7711         used if it overflowed.
7712
7713         * options.h (struct options): New member downloaded_overflow.
7714
7715 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
7716
7717         * wget.h (enum): Remove extra space after last enumeration.
7718
7719 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
7720
7721         * main.c (main): Use legible_very_long() for printing
7722         opt.downloaded.
7723
7724         * utils.c (legible_1): New function that operates on strings and
7725         does the brunt of legible()'s work.
7726         (legible): Use legible_1().
7727         (legible_very_long): New function; dump the argument with
7728         sprintf(), and call legible_1().
7729
7730         * options.h (struct options): Use VERY_LONG_TYPE for
7731         opt.downloaded.
7732
7733         * sysdep.h (VERY_LONG_TYPE): Define it to have a 64-bit or greater
7734         type.
7735
7736         * config.h.in: Make sure that SIZEOF_LONG and SIZEOF_LONG_LONG get
7737         defined.  Define HAVE_LONG_LONG if long long is available.
7738
7739 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
7740
7741         * utils.c (long_to_string): Update with a later, better version.
7742
7743 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
7744
7745         * url.c (path_simplify_with_kludge): New function.
7746         (path_simplify_with_kludge): Disable it.  Instead...
7747         (parse_dir): ...make sure that at this point the right thing is
7748         done, i.e. that "query" part of the URL (?...) is always assigned
7749         to the file, never to the directory portion of the path.
7750
7751 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
7752
7753         * retr.c (retrieve_url): Detect redirection cycles.
7754
7755 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
7756
7757         * url.c (get_urls_html): Decode HTML entities using
7758         html_decode_entities.
7759
7760         * html.c (htmlfindurl): Don't count the `#' in numeric entities
7761         (&#NNN;) as an HTML fragemnt.
7762         (html_decode_entities): New function.
7763
7764 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
7765
7766         * html.c (htmlfindurl): Fix recognition of # HTML fragments.
7767
7768 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
7769
7770         * url.c (construct): Rewritten for clarity.  Avoids the
7771         unnecessary copying and stack-allocation the old version
7772         performed.
7773
7774 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
7775
7776         * ftp.c (getftp): Ditto.
7777
7778         * http.c (gethttp): Rewind the stream when retrying from scratch.
7779
7780 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
7781
7782         * retr.c (retrieve_url): Use url_concat() to handle relative
7783         redirections instead of /ad hoc/ code.
7784
7785         * url.c (url_concat): New function encapsulating weird
7786         construct().
7787         (urllen_http_hack): New function.
7788         (construct): When constructing new URLs, recognize that `?' does
7789         not form part of the file name in HTTP.
7790
7791 2000-10-13  Adrian Aichner  <adrian@xemacs.org>
7792
7793         * retr.c: Add msec timing support for WINDOWS.
7794         * retr.c (reset_timer): GetSystemTime() on WINDOWS.
7795         * retr.c (elapsed_time): Calculate delta time to msec on WINDOWS.
7796
7797 2000-10-27  Dan Harkless  <wget@harkless.org>
7798
7799         * retr.c (retrieve_url): Manually applied T. Bharath
7800         <TBharath@responsenetworks.com>'s patch to get wget to grok
7801         illegal relative URL redirects.  Reformatted and re-commented it.
7802
7803 2000-10-23  Dan Harkless  <wget@harkless.org>
7804
7805         * connect.c (make_connection and bindport): Manually applied Rob
7806         Mayoff <mayoff@dqd.com>'s 1.5.3 patch to add --bind-address,
7807         changing coding style to GNU's.
7808
7809         * ftp.c (ftp_loop_internal): --delete-after wasn't implemented for
7810         files downloaded via FTP.  Per a comment, .listing files were not
7811         counted towards number of bytes and files downloaded because they're
7812         deleted anyway.  Well, they aren't under -nr, so count them then.
7813
7814         * init.c: Manually applied Rob Mayoff's 1.5.3 patch to add
7815         --bind-address, alphabetizing, changing coding style to GNU's,
7816         commenting, and renaming cmd_ip_address() to cmd_address() to
7817         imply hostnames also okay.
7818
7819         * main.c (main): --delete-after didn't delete the root of the
7820         tree.  Ignore --convert-links if --delete-after was specified.
7821         Manually applied Rob Mayoff's 1.5.3 patch to add --bind-address,
7822         fixing duplicate use of added-since-1.5.3 case value.
7823         (print_help): Clarified that --delete-after deletes local files.
7824         Rob forgot to add a line for his new --bind-address option.
7825
7826         * options.h (struct options): Manually applied Rob Mayoff's patch
7827         to add --bind-address (bind_address structure member).
7828
7829         * recur.c (recursive_retrieve): Improved comment; added DEBUGP().
7830         Ignore --convert-links if --delete-after was specified.
7831
7832         * retr.c (retrieve_from_file): Just added a DEBUGP().
7833
7834 2000-10-19  Dan Harkless  <wget@harkless.org>
7835
7836         * ftp.c (ftp_loop_internal): downloaded_file() enumerators changed.
7837         (getftp): Applied Piotr Sulecki <Piotr.Sulecki@ios.krakow.pl>'s
7838         patch to work around FTP servers that incorrectly respond to the
7839         "REST" command with the remaining size rather than the total file size.
7840
7841         * http.c (gethttp): Improved a comment and added code to tack on
7842         ".html" to text/html files without that extension when -E specified.
7843         (http_loop): Use new downloaded_file() enumerators and deal with
7844         the case of gethttp() called xrealloc() on u->local.
7845
7846         * init.c (commands): Added new "htmlextension" command.
7847         Also renamed John Daily's cmd_quad() to the more descriptive
7848         cmd_lockable_boolean(), alpha-sorted the CMD_DECLARE()s and
7849         removed duplicate cmd_boolean() declaration.
7850
7851         * main.c (print_help): Added my new -E / --html-extension option.
7852         (main): Undocumented --email-address option previously used -E synonym.
7853         Stole it away for the much more deserving --html-extension's use.
7854
7855         * options.h (struct options): Added html_extension field.
7856
7857         * url.c (convert_links): URL X that we saved as X.html locally due
7858         to -E needs to be backed up as X.orig, not X.html.orig.  Added comments.
7859         (downloaded_file): Now remembers if we added .html extension to a file.
7860
7861         * url.h (downloaded_file_t): Added extra enumerators to support above.
7862         (downloaded_file): Now takes and returns a downloaded_file_t.
7863
7864         * wget.h (unnamed "dt" enum): Added ADDED_HTML_EXTENSION enumerator.
7865
7866 2000-10-09  Dan Harkless  <wget@harkless.org>
7867
7868         * html.c (htmlfindurl): Added unneeded initialization to quiet warning.
7869
7870         * main.c (print_help): Clarified what --retr-symlinks does.
7871
7872 2000-09-15  John Daily  <jdaily@cyberdude.com>
7873
7874         * init.c: Add support for "always" and "never" values to allow
7875         .wgetrc to override commandline (useful e.g. with .pm files
7876         calling `wget --passive-ftp' when your firewall doesn't allow that).
7877
7878         * ftp.c (getftp): passive_ftp is first option to support always/never.
7879
7880 2000-08-30  Dan Harkless  <wget@harkless.org>
7881
7882         * ftp.c (ftp_retrieve_list): Use new INFINITE_RECURSION #define.
7883
7884         * html.c: htmlfindurl() now takes final `dash_p_leaf_HTML' parameter.
7885         Wrapped some > 80-column lines.  When -p is specified and we're at a
7886         leaf node, do not traverse <A>, <AREA>, or <LINK> tags other than
7887         <LINK REL="stylesheet">.
7888
7889         * html.h (htmlfindurl): Now takes final `dash_p_leaf_HTML' parameter.
7890
7891         * init.c: Added new -p / --page-requisites / page_requisites option.
7892
7893         * main.c (print_help): Clarified that -l inf and -l 0 both allow
7894         infinite recursion.  Changed the unhelpful --mirrior description
7895         to simply give the options it's equivalent to.  Added new -p option.
7896         (main): Added some comments; handle new -p / --page-requisites.
7897
7898         * options.h (struct options): Added new page_requisites field.
7899
7900         * recur.c: Changed "URL-s" to "URLs" and "HTML-s" to "HTMLs".
7901         Calculate and pass down new `dash_p_leaf_HTML' parameter to
7902         get_urls_html().  Use new INFINITE_RECURSION #define.
7903
7904         * retr.c: Changed "URL-s" to "URLs".  get_urls_html() now takes
7905         final `dash_p_leaf_HTML' parameter.
7906
7907         * url.c: get_urls_html() and htmlfindurl() now take final
7908         `dash_p_leaf_HTML' parameter.
7909
7910         * url.h (get_urls_html): Now takes final `dash_p_leaf_HTML' parameter.
7911
7912         * wget.h: Added some comments and new INFINITE_RECURSION #define.
7913
7914 2000-08-23  Dan Harkless  <wget@harkless.org>
7915
7916         * main.c (print_help): -B / --base was not mentioned.
7917
7918 2000-08-22  Dan Harkless  <wget@harkless.org>
7919
7920         * main.c (print_help): Modified -nc description to mention that it
7921         also prevents the creation of multiple versions of the same file
7922         with ".<number>" suffixes.
7923
7924 2000-07-14  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
7925
7926         * retr.c (retrieve_url): Consistently strdup opt.referer when
7927         setting u->referer.
7928
7929 2000-06-09  Dan Harkless  <wget@harkless.org>
7930
7931         * main.c (print_help): --help output for --waitretry was over 80 cols.
7932
7933 2000-06-09  Hrvoje Niksic  <hniksic@iskon.hr>
7934
7935         * url.c (encode_string): Fix comment.
7936         Suggested by Herold Heiko <Heiko.Herold@previnet.it>.
7937
7938 2000-06-01  Const Kaplinsky  <const@ce.cctpu.edu.ru>
7939
7940         * ftp.c (ftp_retrieve_list): Change permissions only on plain
7941         files.
7942
7943 2000-06-01  Hrvoje Niksic  <hniksic@iskon.hr>
7944
7945         * url.c (str_url): Print the port number only if it's different
7946         from the default port number for that protocol.
7947
7948 2000-05-22  Dan Harkless  <wget@harkless.org>
7949
7950         * main.c (print_help): Added --help line for Damir Dzeko
7951         <ddzeko@zesoi.fer.hr>'s until-now-undocumented --referer option.
7952         Removed comments that --referer and --waitretry were undocumented.
7953         Changed "`.wgetrc' command" to "`.wgetrc'-style command" on --help
7954         line for --execute.
7955
7956 2000-05-18  Hrvoje Niksic  <hniksic@iskon.hr>
7957
7958         * ftp.c (getftp): Ditto.
7959
7960         * http.c (gethttp): Check for return value of fclose/fflush.
7961
7962 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
7963
7964         * host.c (store_hostaddress): Instead of shifting ADDR, start
7965         copying from the correct address.
7966
7967 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
7968
7969         * http.c (gethttp): Don't free REQUEST -- it was allocated with
7970         alloca().
7971         Pointed out by Gisle Vanem <gvanem@eunet.no>.
7972
7973 2000-04-04  Dan Harkless  <wget@harkless.org>
7974
7975         * host.c (store_hostaddress): R. K. Owen's patch introduces a
7976         "left shift count >= width of type" warning on 32-bit
7977         architectures.  Got rid of it by tricking the compiler w/ a variable.
7978
7979         * url.c (UNSAFE_CHAR): The macro didn't include all the illegal
7980         characters per RFC1738, namely everything above '~'.  It also
7981         generated a warning on OSes where char =~ unsigned char.  Fixed.
7982
7983 1998-10-17  Hrvoje Niksic  <hniksic@srce.hr>
7984
7985         * http.c (http_process_type): Removed needless strdup(), a memory
7986         leak.
7987
7988 1998-09-25  Hrvoje Niksic  <hniksic@srce.hr>
7989
7990         * html.c (htmlfindurl): Set PH to the first occurrence of `#'.
7991
7992 1998-09-25  Simon Munton  <simonm@m4data.co.uk>
7993
7994         * init.c (wgetrc_file_name): Don't free HOME under Windows.
7995
7996 1998-12-01  "R. K. Owen"  <rkowen@Nersc.GOV>
7997
7998         * host.c (store_hostaddress): Fix for big endian 64-bit machines.
7999
8000 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
8001
8002         * url.c (UNSAFE_CHAR): New macro.
8003         (contains_unsafe): Use it.
8004         (encode_string): Ditto.
8005
8006 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
8007
8008         * main.c (i18n_initialize): Use LC_MESSAGES only if available.
8009
8010 2000-03-31  Hrvoje Niksic  <hniksic@srce.hr>
8011
8012         * Use TOUPPER/TOLOWER.
8013
8014 1998-12-22  Alexander V. Lukyanov  <lav@yars.free.net>
8015
8016         * ftp-opie.c (btoe): Zero-terminate OSTORE.
8017
8018 2000-03-21  Hrvoje Niksic  <hniksic@iskon.hr>
8019
8020         * wget.h (DO_REALLOC_FROM_ALLOCA): Ditto.
8021
8022         * sysdep.h (ISALNUM): New macro.
8023         (TOLOWER): Ditto.
8024         (TOUPPER): Ditto.
8025
8026 2000-03-10  Dan Harkless  <wget@harkless.org>
8027
8028         * html.c (idmatch): Implemented checking of my new --follow-tags
8029         and --ignore-tags options.
8030
8031         * init.c (commands): Added comment reminding people adding new
8032         entries doing allocation to add corresponding freeing in cleanup().
8033         (commands): Added new followtags and ignoretags commands.
8034         (cleanup): Free storage for new followtags and ignoretags.
8035
8036         * main.c: Use of "comma-separated list" was random -- normalized
8037         it.  Did some alphabetization.  Added comments pointing out
8038         "Options without arguments" and "Options accepting an argument"
8039         sections of long_options[].  Added new options --follow-tags and
8040         -G / --ignore-tags.  Added comment that Damir's --referer is
8041         currently undocumented.  Added comment that Heiko's --waitretry is
8042         partially undocumented (mentioned in --help but not in
8043         wget.texi).  Moved improperly sorted 24, 129, and 'G' cases.
8044
8045         * options.h (struct options): Added new fields follow_tags and
8046         ignore_tags.
8047
8048         * wget.h: Added "#define EQ 0" so we can say "strcmp(a, b) == EQ".
8049
8050 2000-03-02  Dan Harkless  <wget@harkless.org>
8051
8052         * ftp.c (ftp_loop_internal): Heiko introduced "suggest explicit
8053         braces to avoid ambiguous `else'" warnings.  Eliminated them.
8054
8055         * http.c (gethttp): Dan Berger's query string patch is totally
8056         bogus.  If you have two different URLs, gen_page.cgi?page1 and
8057         get_page.cgi?page2, they'll both be saved as get_page.cgi and the
8058         second will overwrite the first.  Also, parameters to implicit
8059         CGIs, like "http://www.host.com/db/?2000-03-02" cause the URLs to
8060         be printed with trailing garbage characters, and could seg fault.
8061         Backing out the patch, which Dan B. informed me by email was just
8062         a kludge to download StarOffice from Sun made necessary due to
8063         wget's unconditional escaping of certain characters (room for an
8064         option there?).
8065         (http_loop): Heiko introduced "suggest explicit braces to avoid
8066         ambiguous `else'" warnings.  Eliminated them.
8067
8068         * main.c: Heiko's --wait / --waitretry backwards compatibility
8069         code looks to have been totally untested -- automatic variable
8070         'wr' was used without being initialized, and a long int was passed
8071         into setval()'s char* val parameter.
8072
8073         * recur.c (parse_robots): Applied Edward J. Sabol
8074         <sabol@alderaan.gsfc.nasa.gov>'s patch for Guan Yang's reported
8075         problem with "User-agent:<space>*<space>" lines in robots.txt.
8076
8077         * url.c (parseurl, str_url): Removing Dan Berger's code (see
8078         http.c above for explanation).
8079
8080 1999-08-25  Heiko Herold  <Heiko.Herold@previnet.it>
8081
8082         * ftp.c: Respect new option waitretry.
8083
8084 2000-01-30  Damir Dzeko  <ddzeko@zesoi.fer.hr>
8085
8086         * http.c (gethttp): Send custom Referer, if required.
8087
8088 1999-09-24  Charles G Waldman  <cgw@fnal.gov>
8089
8090         * netrc.c (parse_netrc): Allow passwords to contain spaces.
8091
8092         * netrc.c (parse_netrc): New function.
8093
8094 1999-09-17  Dan Berger  <dberger@ix.netcom.com>
8095
8096         * http.c (gethttp): Send it.
8097
8098         * url.c (parseurl): Detect query string in HTTP URL-s.
8099         (str_url): Print it.
8100
8101 2000-03-02  HIROSE Masaaki  <hirose31@t3.rim.or.jp>
8102
8103         * html.c (html_allow): Add <link href=...> and <script src=...>.
8104
8105 1999-05-02  andrew deryabin  <djsf@softhome.net>
8106
8107         * http.c (gethttp): Specify port in `Host' header only if it's
8108         different from 80.
8109
8110 1998-11-03  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
8111
8112         * recur.c (recursive_retrieve): If a finite maximum depth is
8113         specified, and we're are already at that depth, don't download the
8114         HTML file for parsing.
8115
8116 2000-03-01  Dan Harkless  <wget@harkless.org>
8117
8118         * ftp.c (ftp_loop_internal): Call new downloaded_file() function,
8119         even though we don't do conversion on HTML files retrieved via
8120         FTP, so _current_ usage of downloaded_file() makes this call unneeded.
8121         (ftp_retrieve_list): Added a comment saying where we need to
8122         stat() a .orig file if FTP'd HTML file conversion is ever implemented.
8123         (ftp_retrieve_list): "Local file '%s' is more recent," is sometimes
8124         a lie -- reworded as "Server file no newer than local file '%s' --".
8125
8126         * http.c (http_loop): Fixed a typo and clarified a comment.
8127         (http_loop): When -K and -N are specified together, compare size
8128         and timestamp of server file X against local file X.orig (if
8129         extant) rather than converted local file X.
8130         (http_loop): "Local file '%s' is more recent," is sometimes a lie
8131         -- reworded as "Server file no newer than local file '%s' --".
8132         (http_loop): Call new downloaded_file() function to prevent
8133         wrongful overwriting of .orig file when -N is specified.
8134
8135         * url.c (convert_links): When -K specified, only rename X to
8136         X.orig if downloaded_file() returns TRUE.  Otherwise when we skip
8137         file X due to -N, we clobber an X.orig from a previous invocation.
8138         (convert_links): Call the failsafe xstrdup(), not the real strdup().
8139         (convert_links): Added a note asking anyone who understands how
8140         multiple URLs can correspond to a single file to comment it.
8141         (downloaded_file): Added this new function.
8142
8143         * url.h (downloaded_file): Added prototype for this new function
8144         as well as its downloaded_file_t enum type.
8145
8146         * wget.h (boolean): Added this new typedef and TRUE and FALSE #defines.
8147
8148 2000-02-29  Dan Harkless  <wget@harkless.org>
8149
8150         * version.c: Upped version to developer-only "1.5.3+dev".
8151
8152 2000-02-18  Dan Harkless  <wget@harkless.org>
8153
8154         * init.c (backup_converted): Added this new option.
8155
8156         * main.c (-K / --backup-converted): Added this new option.
8157
8158         * options.h (backup_converted): Added this new option.
8159
8160         * url.c (convert_links): When backup_converted is specified, save
8161         file X as X.orig before converting.
8162
8163         * url.h (urlpos): Fixed typo -- said "Rekative" instead of "Relative".
8164
8165 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
8166
8167         * version.c: Wget 1.5.3 is released.
8168
8169 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
8170
8171         * host.c (ftp_getaddress): Don't warn when reverse-lookup of local
8172         address doesn't yield FQDN.
8173
8174 1998-09-21  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
8175
8176         * cmpt.c (strerror): Fix declaration of sys_errlist.
8177
8178 1998-09-11  Hrvoje Niksic  <hniksic@srce.hr>
8179
8180         * main.c (main): Don't use an array subscript as the first
8181         argument to STRDUP_ALLOCA.
8182         From Kaveh R. Ghazi.
8183
8184 1998-09-11  Szakacsits Szabolcs  <szaka@sienet.hu>
8185
8186         * html.c (htmlfindurl): Download table background.
8187
8188 1998-09-11  Hans Grobler  <grobh@conde.ee.sun.ac.za>
8189
8190         * init.c (parse_line): Would free *com before allocating it.
8191         (parse_line): Would free com instead of *com.
8192
8193 1998-09-10  Howard Gayle  <howard@fjst.com>
8194
8195         * url.c (get_urls_html): Would drop the last character of the
8196         link.
8197
8198 1998-09-10  Hrvoje Niksic  <hniksic@srce.hr>
8199
8200         * http.c (http_loop): Don't print status code if quiet.
8201
8202 1998-09-10  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
8203
8204         * log.c: Use <stdarg.h> only when __STDC__.
8205
8206 1998-09-10  Adam D. Moss  <adam@foxbox.org>
8207
8208         * html.c (htmlfindurl): Download <layer src=...>.
8209
8210 1998-09-10  Howard Gayle  <howard@fjst.com>
8211
8212         * ftp.c (ftp_retrieve_list): Don't update the time stamp of a file
8213         not retrieved.
8214
8215 1998-06-27  Hrvoje Niksic  <hniksic@srce.hr>
8216
8217         * utils.c: Include <libc.h> on NeXT.
8218
8219 1998-06-26  Heinz Salzmann  <heinz.salzmann@intermetall.de>
8220
8221         * url.c (get_urls_html): Fix calculation of URL position.
8222
8223 1998-06-23  Hrvoje Niksic  <hniksic@srce.hr>
8224
8225         * version.c: Wget 1.5.2 is released.
8226
8227 1998-06-23  Dave Love  <d.love@dl.ac.uk>
8228
8229         * ftp.c, init.c, netrc.c: Include errno.h.
8230
8231         * http.c: Include errno.h and time header.
8232
8233         * Makefile.in (exext): Define.
8234         (install.bin, uninstall.bin): Use it.
8235
8236 1998-06-21  Hrvoje Niksic  <hniksic@srce.hr>
8237
8238         * http.c (http_loop): Don't attempt to compare local and remote
8239         sizes if the remote size is unknown.
8240
8241 1998-06-16  Hrvoje Niksic  <hniksic@srce.hr>
8242
8243         * url.c (get_urls_html): Use malloc() instead of alloca in the
8244         loop.
8245
8246 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
8247
8248         * version.c: Wget 1.5.2-b4 is released.
8249
8250 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
8251
8252         * url.c (get_urls_html): Ignore spaces before and after the URI.
8253
8254 1998-06-08  Wanderlei Antonio Cavassin  <cavassin@conectiva.com.br>
8255
8256         * ftp.c (getftp): Translate `done'.
8257
8258 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
8259
8260         * version.c: Wget 1.5.2-b3 is released.
8261
8262 1998-06-06  Alexander Kourakos  <awk@bnt.com>
8263
8264         * init.c (cleanup): Close dfp, don't free it.
8265
8266 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
8267
8268         * utils.c (make_directory): Twiddle.
8269
8270         * config.h.in: Added template for access().
8271
8272 1998-06-05  Mathieu Guillaume  <mat@cythere.com>
8273
8274         * html.c (htmlfindurl): Download <input src=...>
8275
8276 1998-06-03  Hrvoje Niksic  <hniksic@srce.hr>
8277
8278         * utils.c (file_exists_p): Use access() with two arguments.
8279
8280 1998-05-27  Martin Kraemer  <Martin.Kraemer@mch.sni.de>
8281
8282         * netrc.c (parse_netrc): Correct logic.
8283
8284 1998-05-27  Hrvoje Niksic  <hniksic@srce.hr>
8285
8286         * ftp.c (getftp): Added `break'; suggested by Lin Zhe Min
8287         <ljm@ljm.wownet.net>.
8288
8289 1998-05-24  Hrvoje Niksic  <hniksic@srce.hr>
8290
8291         * version.c: Wget 1.5.2-b2 is released.
8292
8293 1998-05-18  Juan Jose Rodriguez  <jcnsoft@jal1.telmex.net.mx>
8294
8295         * mswindows.h: Don't translate mkdir to _mkdir under Borland.
8296
8297 1998-05-17  Hrvoje Niksic  <hniksic@srce.hr>
8298
8299         * retr.c (elapsed_time): Return correct value when
8300         HAVE_GETTIMEOFDAY is undefined.
8301
8302 1998-05-13  Hrvoje Niksic  <hniksic@srce.hr>
8303
8304         * version.c: Wget 1.5.2-b1 is released.
8305
8306 1998-05-08  Hrvoje Niksic  <hniksic@srce.hr>
8307
8308         * getopt.c (_getopt_internal): Use exec_name instead of argv[0].
8309         (_getopt_internal): Don't translate `#if 0'-ed strings.
8310
8311 1998-05-06  Douglas E. Wegscheid  <wegscd@whirlpool.com>
8312
8313         * mswindows.c (ws_handler): Use fork_to_background().
8314
8315 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
8316
8317         * version.c: Wget 1.5.1 is released.
8318
8319 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
8320
8321         * http.c (parse_http_status_line): Avoid `minor' and `major'
8322         names.
8323
8324 1998-05-02  Hrvoje Niksic  <hniksic@srce.hr>
8325
8326         * utils.c (mkdirhier): Renamed to make_directory.
8327
8328 1998-05-01  Hrvoje Niksic  <hniksic@srce.hr>
8329
8330         * mswindows.c (fork_to_background): Define under Windows.
8331
8332         * utils.c (fork_to_background): New function.
8333
8334         * html.c (htmlfindurl): Removed rerdundant casts.
8335
8336 1998-05-01  Douglas E. Wegscheid  <wegscd@whirlpool.com>
8337
8338         * mswindows.c (ws_mypath): Cache the path.
8339
8340 1998-04-30  Douglas E. Wegscheid  <wegscd@whirlpool.com>
8341
8342         * ftp.h: Prefix enum ftype members with FT_.
8343
8344         * ftp-ls.c, ftp.c, html.h: Adjust accordingly.
8345
8346         * mswindows.h: Use stat under Borland, _stat under MSVC.
8347
8348 1998-04-28  Hrvoje Niksic  <hniksic@srce.hr>
8349
8350         * http.c (known_authentication_scheme_p): New function.
8351         (gethttp): Handle authorization more correctly.
8352
8353         * ftp-basic.h: Removed.
8354
8355         * cmpt.h: Removed.
8356
8357         * utils.c: Include <unistd.h> before <pwd.h>; needed under SunOS
8358         with gcc 2.8.
8359         (numdigit): Use `while' loop.
8360
8361         * http.c (create_authorization_line): Detect authentication
8362         schemes case-insensitively.
8363
8364         * http.c (extract_header_attr): Use strdupdelim().
8365         (digest_authentication_encode): Move declaration of local
8366         variables to smaller scope.
8367         (digest_authentication_encode): Reset REALM, OPAQUE and NONCE.
8368         (create_authorization_line): Detect authentication schemes
8369         case-insensitively.
8370
8371         * utils.c (touch): Constify.
8372
8373         * http.c (gethttp): Report a nicer error when no data is received.
8374
8375         * rbuf.h (RBUF_READCHAR): Ditto.
8376
8377         * ftp-basic.c (ftp_response): Use sizeof.
8378
8379 1998-04-27  Hrvoje Niksic  <hniksic@srce.hr>
8380
8381         * retr.c (print_percentage): EXPECTED is long, not int.
8382         (print_percentage): Use floating-point arithmetic to avoid
8383         overflow with large files' sizes multiplied with 100.
8384
8385 1998-04-27  Gregor Hoffleit  <flight@mathi.uni-heidelberg.de>
8386
8387         * config.h.in: Added pid_t stub.
8388
8389         * sysdep.h (S_ISREG): Moved here from mswindows.h (NeXT doesn't
8390         define it).
8391
8392 1998-04-20  Hrvoje Niksic  <hniksic@srce.hr>
8393
8394         * version.c: Wget 1.5.0 is released.
8395
8396 1998-04-18  Hrvoje Niksic  <hniksic@srce.hr>
8397
8398         * url.c (str_url): Ditto.
8399
8400         * ftp-basic.c (ftp_rest): Use new name.
8401
8402         * utils.c (long_to_string): Renamed from prnum().
8403
8404 1998-04-16  Hrvoje Niksic  <hniksic@srce.hr>
8405
8406         * version.c: Wget 1.5-b17 is released.
8407
8408 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
8409
8410         * headers.c (header_get): New argument FLAGS.
8411
8412         * http.c (gethttp): If request is malformed, bail out of the
8413         header loop.
8414         (gethttp): Check for empty header *after* the status line checks.
8415         (gethttp): Disallow continuations for status line.
8416
8417 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
8418
8419         * version.c: Wget 1.5-b16 is released.
8420
8421 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
8422
8423         * init.c (commands): Renamed `always_rest' to `continue'.
8424
8425 1998-04-05  Hrvoje Niksic  <hniksic@srce.hr>
8426
8427         * all: Use it.
8428
8429         * log.c (logputs): New argument.
8430         (logvprintf): Ditto.
8431         (logprintf): Ditto.
8432
8433 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
8434
8435         * http.c (http_atotm): Update comment.
8436
8437         * main.c (i18n_initialize): Set LC_MESSAGES, not LC_ALL.
8438
8439         * wget.h: Renamed ENABLED_NLS to HAVE_NLS.
8440
8441         * main.c (i18n_initialize): New function.
8442         (main): Use it.
8443
8444         * log.c: Include <unistd.h>.
8445
8446         * retr.c (show_progress): Cast alloca to char *.
8447
8448 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
8449
8450         * version.c: Wget 1.5-b15 is released.
8451
8452 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
8453
8454         * utils.h: Declare file_non_directory_p().
8455
8456 1998-04-03  Hrvoje Niksic  <hniksic@srce.hr>
8457
8458         * main.c (main): It's `tries', not `numtries' now.
8459
8460 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
8461
8462         * init.c (getperms): Removed.
8463
8464 1998-04-01  Tim Charron  <tcharron@interlog.com>
8465
8466         * log.c (logvprintf): Don't use ARGS twice.
8467
8468 1998-04-01  John  <john@futuresguide.com>
8469
8470         * mswindows.c: Cleaned up.
8471
8472 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
8473
8474         * version.c: Wget 1.5-b14 is released.
8475
8476 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
8477
8478         * ftp-opie.c (STRLEN4): New macro.
8479         (btoe): Use it.
8480
8481 1998-04-01  Junio Hamano  <junio@twinsun.com>
8482
8483         * http.c: Document all the Digest functions.
8484
8485 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
8486
8487         * utils.c (file_non_directory_p): Renamed from isfile().
8488
8489         * mswindows.h (S_ISREG): New macro, suggested by Tim Adam.
8490
8491 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
8492
8493         * utils.c (mkdirhier): Use 0777 instead of opt.dirmode.
8494
8495         * init.c (cmd_spec_dotstyle): Use 48 dots per line for binary
8496         style.
8497         (cmd_permissions): Removed.
8498
8499         * config.h.in: Add template for WORDS_BIGENDIAN.
8500
8501 1998-03-31  Junio Hamano  <junio@twinsun.com>
8502
8503         * http.c (HEXD2asc): New macro.
8504         (dump_hash): Use it.
8505
8506 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
8507
8508         * version.c: Wget 1.5-b13 is released.
8509
8510 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
8511
8512         * main.c (main): Don't try to use `com'.
8513
8514 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
8515
8516         * init.c (cmd_permissions): New function.
8517
8518 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
8519
8520         * version.c: Wget 1.5-b12 is released.
8521
8522 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
8523
8524         * init.c (commands): Renamed `numtries' to `tries'.
8525         (cmd_spec_debug): Removed.
8526         (home_dir): Under Windows, return `C:\' if HOME is undefined.
8527
8528 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
8529
8530         * config.h.in: Define _XOPEN_SOURCE.
8531
8532         * init.c (check_user_specified_header): New function.
8533         (cmd_spec_header): Use it.
8534         (cmd_spec_useragent): New function.
8535
8536 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
8537
8538         * version.c: Wget 1.5-b11 is released.
8539
8540 1998-03-28  Hrvoje Niksic  <hniksic@srce.hr>
8541
8542         * wget.h: Include <libintl.h> only if NLS is enabled.
8543
8544 1998-03-26  Hrvoje Niksic  <hniksic@srce.hr>
8545
8546         * options.h (struct options): Made `wait' a long.
8547         (struct options): Ditto for `timeout'.
8548
8549 1998-03-19  Hrvoje Niksic  <hniksic@srce.hr>
8550
8551         * utils.c (exists): Renamed to file_exists_p.
8552         (file_exists_p): Use access() if available.
8553
8554 1998-03-17  Hrvoje Niksic  <hniksic@srce.hr>
8555
8556         * utils.c (memfatal): Set save_log_p to 0 to avoid potential
8557         infloop.
8558
8559         * log.c: do_logging -> save_log_p.
8560
8561         * config.h.in: Added template for HAVE_VSNPRINTF.
8562
8563 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
8564
8565         * init.c: Ditto.
8566
8567         * http.c: Protect declaration against non-ANSI compiler.
8568
8569         * log.c (logvprintf): Use vsnprintf() if available.
8570
8571         * getopt.c (main): Don't translate test stuff.
8572
8573 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
8574
8575         * version.c: Wget 1.5-b10 is released.
8576
8577 1998-03-11  Hrvoje Niksic  <hniksic@srce.hr>
8578
8579         * ftp.c (getftp): Don't translate "CWD %s".
8580
8581         * wget.h (GCC_FORMAT_ATTR): Renamed from FORMAT_ATTR.
8582
8583 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
8584
8585         * ftp-opie.c (btoe): Use memcpy() instead of strncat().
8586
8587         * log.c (logputs): New function.
8588         (logvprintf): Renamed from vlogmsg; use logputs().
8589
8590         * retr.c (show_progress): Print `[100%]' when the retrieval is
8591         finished.
8592
8593         * init.c (run_wgetrc): Use FILE, not PATH.
8594         (wgetrc_file_name): Ditto.
8595
8596 1998-03-07  Tim Adam  <tma@osa.com.au>
8597
8598         * recur.c (parse_robots): Correctly reset `entries' on empty
8599         disallow.
8600
8601 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
8602
8603         * init.c (cmd_spec_debug): Use cmd_boolean().
8604
8605 1998-02-23  Hrvoje Niksic  <hniksic@srce.hr>
8606
8607         * http.c (gethttp): Create proxy-authorization correctly.
8608
8609 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
8610
8611         * md5.c: Ditto.
8612
8613         * getopt.c: Use ANSI function definitions.
8614
8615         * ftp-opie.c: New file.
8616
8617         * options.h: Don't redefine EXTERN.
8618
8619         * init.c: Sort it correctly.
8620
8621 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
8622
8623         * version.c: Wget 1.5-b9 is released.
8624
8625 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
8626
8627         * recur.c (recursive_retrieve): Reset `first_time'.
8628
8629         * ftp.c (getftp): Added `default' clause to switches of uerr_t.
8630
8631         * rbuf.c (rbuf_peek): Simplified.
8632         (rbuf_flush): Use MINVAL.
8633
8634         * wget.h (MINVAL): Moved from url.h.
8635
8636         * rbuf.h (RBUF_FD): New macro.
8637
8638         * url.c (add_url): Add to the head of the list.
8639
8640         * ftp.c (ftp_retrieve_list): Set the permissions to downloaded
8641         file.
8642         (getftp): Set the default permissions to 0600.
8643
8644 1998-02-21  Hrvoje Niksic  <hniksic@srce.hr>
8645
8646         * url.c (get_urls_html): Ditto.
8647         (convert_links): Ditto.
8648
8649         * recur.c (parse_robots): Ditto.
8650
8651         * html.c (ftp_index): Ditto.
8652
8653         * ftp-ls.c (ftp_parse_unix_ls): Open file as binary.
8654
8655         * init.c (defaults): Initialize `opt' to zero via memset.
8656
8657         * http.c (digest_authentication_encode): goto considered harmful.
8658
8659 1998-02-19  Hrvoje Niksic  <hniksic@srce.hr>
8660
8661         * ftp.c (delelement): Simplify and fix leak.
8662
8663 1998-02-18  Hrvoje Niksic  <hniksic@srce.hr>
8664
8665         * http.c (dump_hash): Use HEXD2ASC instead of home-grown stuff.
8666
8667         * url.h (HEXD2ASC): Removed warning.
8668
8669         * init.c (comind): Use binary search.
8670         (commands): Reorganized.
8671         (setval): Ditto.
8672         (cmd_boolean): New function.
8673         (cmd_number): Ditto.
8674         (cmd_number_inf): Ditto.
8675         (cmd_string): Ditto.
8676         (cmd_vector): Ditto.
8677         (cmd_directory_vector): Ditto.
8678         (cmd_bytes): Ditto.
8679         (cmd_time): Ditto.
8680         (cmd_spec_debug): Ditto.
8681         (cmd_spec_dirmode): Ditto.
8682         (cmd_spec_dirstruct): Ditto.
8683         (cmd_spec_dotstyle): Ditto.
8684         (cmd_spec_header): Ditto.
8685         (cmd_spec_htmlify): Ditto.
8686         (cmd_spec_mirror): Ditto.
8687         (cmd_spec_outputdocument): Ditto.
8688         (cmd_spec_recursive): Ditto.
8689         (settime): Merged with cmd_time().
8690         (setbytes): Merged with cmd_bytes().
8691         (setonoff): Merged with cmd_boolean().
8692         (onoff): Ditto.
8693
8694 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
8695
8696         * Makefile.in (distclean): Remove `config.h'.
8697
8698 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
8699
8700         * version.c: Wget 1.5-b8 is released.
8701
8702 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
8703
8704         * http.c (digest_authentication_encode): New function.
8705         (create_authorization_line): Use it.
8706         (dump_hash): New function.
8707         (digest_authentication_encode): Use it.
8708
8709         * fnmatch.c: Renamed from `mtch.c'.
8710
8711 1998-02-15  Karl Eichwalder  <ke@suse.de>
8712
8713         * main.c (main): Tag "Written by..." string as translatable.
8714
8715 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
8716
8717         * wget.h (FREE_MAYBE): New macro.
8718
8719         * http.c (create_authorization_line): Don't use ANSI C string
8720         concatenation feature.
8721         (basic_authentication_encode): Use alloca() for temporary
8722         variables.
8723
8724         * recur.h: Ditto.
8725
8726         * http.c: Ditto.
8727
8728         * headers.h: Ditto.
8729
8730         * ftp-basic.c: Protect declaration against non-ANSI compiler.
8731
8732         * http.c (create_authorization_line): Cast `unsigned char *' to
8733         `char *' for sprintf, to shut up the noisy Digital Unix cc.
8734
8735 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
8736
8737         * version.c: Wget 1.5-b7 is released.
8738
8739 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
8740
8741         * cmpt.c (strstr): Synched with glibc-2.0.6.
8742
8743         * ftp-basic.c (calculate_skey_response): Ditto.
8744         (calculate_skey_response): Use alloca().
8745
8746         * http.c (create_authorization_line): Work with FSF's version of
8747         md5.c.
8748
8749         * md5.c: New file, from GNU libc.
8750
8751 1998-02-14  Hrvoje Niksic  <hniksic@srce.hr>
8752
8753         * url.h (URL_CLEANSE): Name the temporary variable more carefully.
8754
8755 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
8756
8757         * http.c (basic_authentication_encode): New function, instead of
8758         the macro.
8759
8760 1998-02-13  Junio Hamano  <junio@twinsun.com>
8761
8762         * http.c: Add HTTP-DA support.
8763         * ftp-basic.c: Add Opie/S-key support.
8764         * config.h.in, Makefile.in: Add HTTP-DA and Opie/S-key support.
8765         * md5.c, md5.h: New files.
8766
8767 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
8768
8769         * http.c (http_process_range): Renamed from hprocrange().
8770         (http_process_range): Parse the whole header.
8771
8772         * headers.c: New file.
8773         (header_process): New function.
8774         (header_get): Renamed from fetch_next_header.
8775
8776         * all: Include utils.h only where necessary.
8777
8778         * wget.h: Declare xmalloc(), xrealloc() and xstrdup() here.
8779
8780         * wget.h: Add provisions for dmalloc.
8781
8782 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
8783
8784         * version.c: Wget 1.5-b6 is released.
8785
8786 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
8787
8788         * ftp.c (ftp_loop): Determine `filename' more precisely.
8789
8790         * init.c (setval): Don't set `opt.quiet' if output-document is
8791         `-'.
8792
8793         * log.c (log_init): Print to STDERR instead of STDOUT.
8794         (vlogmsg): Use STDERR by default.
8795         (logflush): Ditto.
8796
8797 1998-02-11  Simon Josefsson  <jas@pdc.kth.se>
8798
8799         * host.c: Use addr_in again.
8800
8801 1998-02-08  Karl Eichwalder  <karl@suse.de>
8802
8803         * http.c (gethttp): Fixed typo.
8804
8805 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
8806
8807         * version.c: Wget 1.5-b5 is released.
8808
8809 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
8810
8811         * retr.c (show_progress): Use it.
8812
8813         * log.c (logflush): New function.
8814
8815         * wget.h: Utilize __attribute__ if on gcc.
8816
8817 1998-02-07  Hrvoje Niksic  <hniksic@srce.hr>
8818
8819         * http.c (base64_encode_line): New argument LENGTH.
8820         (BASIC_AUTHENTICATION_ENCODE): Use it.
8821         (BASIC_AUTHENTICATION_ENCODE): Take length of HEADER into account.
8822
8823         * main.c (main): Fixed fprintf() format mismatch.
8824
8825 1998-02-06  Hrvoje Niksic  <hniksic@srce.hr>
8826
8827         * version.c: Wget 1.5-b4 is released.
8828
8829 1998-02-03  Simon Josefsson  <jas@pdc.kth.se>
8830
8831         * host.c: use sockaddr_in instead of addr_in.
8832
8833 1998-02-04  Hrvoje Niksic  <hniksic@srce.hr>
8834
8835         * init.c (cleanup): Use it.
8836
8837         * recur.c (recursive_cleanup): New function.
8838
8839         * retr.c (retrieve_from_file): Ditto.
8840
8841         * main.c (main): Use it.
8842
8843         * recur.c (recursive_reset): New function.
8844
8845         * retr.c (retrieve_from_file): Ditto.
8846
8847         * main.c (main): Simplify call to recursive_retrieve().
8848
8849         * recur.c (recursive_retrieve): Removed FLAGS argument.
8850
8851         * http.c (gethttp): Changed call to iwrite().
8852
8853 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
8854
8855         * url.c (get_urls_html): Ditto.
8856         (free_urlpos): Ditto.
8857         (mkstruct): Ditto.
8858         (construct): Ditto.
8859
8860         * retr.c (retrieve_url): Move declaration of local variables to
8861         smaller scope.
8862
8863         * url.c (urlproto): Use it.
8864         (parseurl): Ditto.
8865         (str_url): Ditto.
8866         (get_urls_html): Ditto.
8867
8868         * utils.h (ARRAY_SIZE): New macro.
8869
8870         * url.c (proto): Moved from url.h.
8871
8872         * url.h (URL_CLEANSE): Reformatted.
8873         (USE_PROXY_P): Renamed from USE_PROXY.
8874
8875         * ftp-basic.c: Adjust to the new interface of iwrite().
8876
8877         * ftp-basic.c (ftp_port): Use alloca().
8878
8879 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
8880
8881         * version.c: Wget 1.5-b3 is released.
8882
8883         * host.c (ftp_getaddress): Don't print to stderr directly.
8884
8885         * init.c (setbytes): Support `g' for gigabytes.
8886         (cmdtype): New specification CTIME.
8887         (setval): Use it with settime().
8888         (commands): Use it for WAIT and TIMEOUT.
8889
8890 1998-02-02  Hrvoje Niksic  <hniksic@srce.hr>
8891
8892         * http.c (BASIC_AUTHENTICATION_ENCODE): New macro.
8893         (gethttp): Use it.
8894
8895         * utils.c (unique_name_1): Moved from url.c.
8896         (unique_name): Ditto.
8897
8898         * url.c (url_filename): Ditto.
8899
8900         * log.c (redirect_output): Changed call to unique_name().
8901
8902         * url.c (unique_name_1): Renamed from unique_name().
8903         (unique_name): Changed interface.
8904
8905         * init.c (enum cmdid): Moved from init.h.
8906         (cmdtype): Ditto.
8907         (struct cmd): Ditto.
8908
8909         * main.c (main): Use it.
8910         (main): Moved `--backups' to not have a short option.
8911
8912         * options.h (struct options): New member BACKGROUND.
8913
8914         * main.c (print_help): Rearranged.
8915         (main): New long options for -n* short options: --no-directories,
8916         --no-host-directories, --non-verbose, --no-host-lookup and
8917         --dont-remove-listing.
8918
8919 1998-02-01  Hrvoje Niksic  <hniksic@srce.hr>
8920
8921         * main.c (main): Use log_close().
8922
8923         * log.c: New variable LOGFP.
8924         (vlogmsg): Use it.
8925         (redirect_output): Don't open /dev/null; set LOGFP to stdin
8926         instead.
8927         (log_close): New function.
8928
8929         * options.h (struct options): Removed LFILE.
8930
8931         * log.c (log_enable): Removed.
8932
8933         * main.c (main): Use it.
8934
8935         * log.c (log_init): New function.
8936
8937         * url.c (get_urls_html): Removed needless assignment to BASE.
8938
8939         * host.c (add_hlist): Don't set CMP needlessly.
8940
8941         * utils.c (match_backwards): Ditto.
8942         (in_acclist): Ditto.
8943
8944         * url.c (findurl): Ditto.
8945
8946         * netrc.c (parse_netrc): Ditto.
8947
8948         * log.c (log_dump): Ditto.
8949
8950         * html.c (html_quote_string): Ditto.
8951
8952         * ftp-basic.c (ftp_request): Made static.
8953
8954         * connect.c: Made global variables static.
8955
8956         * url.c (construct): Ditto.
8957
8958         * init.c (init_path): Avoid assignment inside `if'-condition.
8959
8960         * ftp.c: Don't include in.h or winsock.h.
8961
8962         * ftp.c (ftp_loop): Use SZ.
8963
8964         * connect.c (bindport): Cast &addrlen to int *.
8965         (conaddr): Ditto.
8966
8967         * init.c (initialize): Don't use SYSTEM_WGETRC unconditionally.
8968
8969 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
8970
8971         * ftp.c (getftp): Initialize opt.ftp_pass here.
8972         (ftp_retrieve_dirs): Use alloca().
8973
8974         * init.c (defaults): Don't initialize opt.ftp_pass.
8975
8976         * sysdep.h (S_ISLNK): Declare for OS/2; ditto for lstat.
8977         From Ivan F. Martinez <ivanfm@ecodigit.com.br>.
8978
8979 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
8980
8981         * recur.c (parse_robots): Check for comments more correctly.
8982
8983         * host.c (ftp_getaddress): Use STRDUP_ALLOCA.
8984         (ftp_getaddress): Add diagnostics when reverse-lookup yields only
8985         hostname.
8986
8987 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
8988
8989         * version.c: Wget 1.5-b2 is released.
8990
8991         * netrc.c (NETRC_FILE_NAME): Moved from netrc.h.
8992
8993         * utils.c (proclist): Pass FNM_PATHNAME to fnmatch().
8994
8995         * ftp-basic.c (ftp_pasv): Avoid unnecessary casting to unsigned
8996         char.
8997
8998         * log.c: Don't attempt to hide arguments from ansi2knr.
8999
9000         * cmpt.c: Synched strptime() and mktime() with glibc-2.0.6.
9001
9002         * ansi2knr.c: Use a later version, from fileutils-3.16l alpha.
9003
9004         * ftp.c (getftp): Ditto.
9005
9006         * http.c (gethttp): Use it.
9007
9008         * retr.c (get_contents): New argument EXPECTED; pass it to
9009         show_progress().
9010         (show_progress): New argument EXPECTED; use it to display
9011         percentages.
9012
9013         * init.c (setval): Ditto.
9014
9015         * http.c (gethttp): Ditto.
9016         (http_loop): Ditto.
9017
9018         * ftp.c (getftp): Ditto.
9019         (ftp_loop_internal): Ditto.
9020
9021         * ftp-ls.c (ftp_parse_unix_ls): Use abort() instead of assert(0).
9022
9023         * sysdep.h (CLOSE): Simplify; use DEBUGP.
9024
9025         * netrc.c (search_netrc): Use alloca().
9026
9027         * init.c (defaults): Initialize no_flush.
9028
9029         * log.c (vlogmsg): Don't flush if no_flush.
9030
9031         * options.h (struct options): New variable no_flush.
9032
9033         * main.c (main): Don't play games with buffering.
9034
9035         * log.c (vlogmsg): Flush the output after every message.
9036
9037 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
9038
9039         * init.c (parse_line): Ditto.
9040
9041         * url.c (get_urls_html): Ditto.
9042
9043         * main.c (main): Don't cast to unsigned char.
9044
9045         * init.c (run_wgetrc): Don't cast to unsigned char.
9046         (parse_line): Accept char instead of unsigned char.
9047
9048         * html.c (htmlfindurl): Use char instead of unsigned char.
9049
9050         * all: Use them.
9051
9052         * sysdep.h: Add wrappers to ctype macros to make them
9053         eight-bit-clean:
9054
9055 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
9056
9057         * html.c (htmlfindurl): Download <img lowsrc=...>
9058
9059         * main.c (main): Ignore SIGPIPE.
9060
9061         * connect.c (select_fd): New argument WRITEP.
9062         (iwrite): Call select_fd().
9063
9064 1997-02-27  Fila Kolodny <fila@ibi.com>
9065
9066         * ftp.c (ftp_retrieve_list): If retrieving symlink and the proper
9067         one already exists, just skip it.
9068
9069 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
9070
9071         * http.c (gethttp): Cosmetic changes.
9072
9073         * http.c (check_end): Allow `+D...' instead of `GMT'.
9074         From Fabrizio Pollastri <pollastri@cstv.to.cnr.it>.
9075
9076         * url.c (process_ftp_type): New function.
9077         (parseurl): Use it.
9078
9079         * connect.c (iwrite): Allow writing in a few chunks.
9080         (bindport): Made SRV static, so addr can point to it.
9081         (select_fd): Removed HPUX kludge.
9082
9083         * host.c (free_hlist): Incorporated into clean_hosts().
9084
9085 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
9086
9087         * host.c (hlist): Made static.
9088         (search_address): Cosmetic change.
9089
9090 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
9091
9092         * version.c: Wget v1.5-b1 is released.
9093
9094         * http.c (hgetlen): Use sizeof() to get the header length.
9095         (hgetrange): Ditto.
9096         (hgettype): Ditto.
9097         (hgetlocation): Ditto.
9098         (hgetmodified): Ditto.
9099         (haccepts_none): Ditto.
9100
9101         * main.c (main): Updated `--version' and `--help' output, as per
9102         Francois Pinard's suggestions.
9103
9104         * main.c: Include locale.h; call setlocale(), bindtextdomain() and
9105         textdomain().
9106
9107         * config.h.in: Define stubs for I18N3.
9108
9109         * wget.h: Include libintl.h.
9110
9111 1998-01-28  Hrvoje Niksic  <hniksic@srce.hr>
9112
9113         * url.c (mkstruct): Check for opt.cut_dirs.
9114         (mkstruct): alloca()-te more, xmalloc() less.
9115
9116         * utils.c (load_file): Check for ferror().
9117
9118         * url.c (get_urls_file): Close only the files we opened.
9119         (get_urls_html): Ditto.
9120         (count_slashes): New function.
9121
9122         * http.h: Removed.
9123
9124         * http.c (gethttp): Respect username and password provided by
9125         proxy URL.
9126         (base64_encode_line): Write into an existing buffer instead of
9127         malloc-ing a new one.
9128         (struct http_stat): Moved from http.h
9129
9130         * retr.c (retrieve_url): Free SUF.
9131
9132         * all: Removed lots of unnecessary .h dependencies.
9133
9134         * html.c (global_state): Made static.
9135
9136         * utils.h (ALLOCA_ARRAY): New macro.
9137
9138         * main.c (main): New option `--cut-dirs'.
9139
9140         * url.c (construct): Use alloca() for T.
9141
9142         * utils.c (mkdirhier): Use STRDUP_ALLOCA.
9143
9144         * host.c (_host_t): Moved from host.h.
9145         (struct host): Renamed from _host_t.
9146         (store_hostaddress): Use STRDUP_ALLOCA for INET_S.
9147         (realhost): Ditto.
9148
9149         * host.h: Don't include url.h.
9150
9151         * ftp.c (LIST_FILENAME): Moved from ftp.h.
9152
9153         * init.c (DEFAULT_FTP_ACCT): Moved from ftp.h.
9154
9155         * main.c (main): Enable log if the output goes to a TTY.
9156
9157         * connect.h: Removed unused constant `BACKLOG'.
9158
9159         * config.h.in: Check for isatty().
9160
9161         * Makefile.in (LINK): Use CFLAGS when linking.
9162
9163 1998-01-27  Hrvoje Niksic  <hniksic@srce.hr>
9164
9165         * mswindows.c (ws_hangup): Use redirect_output().
9166
9167         * main.c (redirect_output_signal): New function; use
9168         redirect_output().
9169
9170         * log.c (redirect_output): New function, based on hangup(), which
9171         is deleted.
9172
9173         * log.c (vlogmsg): New function.
9174
9175         * wget.h (DEBUGP): Use debug_logmsg().
9176
9177         * main.c (hangup): Use it.
9178
9179         * log.c (log_dump): New function.
9180
9181         * utils.h (DO_REALLOC): Use `long' for various sizes.
9182
9183         * http.c (hskip_lws): Use `while', for clarity.
9184         (HTTP_DYNAMIC_LINE_BUFFER): New constant.
9185         (fetch_next_header): Use it instead of DYNAMIC_LINE_BUFFER.
9186
9187         * ftp-basic.c (FTP_DYNAMIC_LINE_BUFFER): New constant.
9188         (ftp_response): Use it instead of DYNAMIC_LINE_BUFFER.
9189
9190         * utils.c (DYNAMIC_LINE_BUFFER): Moved from utils.c.
9191         (LEGIBLE_SEPARATOR): Ditto.
9192         (FILE_BUFFER_SIZE): Ditto.
9193
9194         * retr.c (BUFFER_SIZE): Moved from retr.h.
9195
9196         * log.c: New file.
9197         (logmsg): Moved from utils.c.
9198         (debug_logmsg): New function.
9199
9200         * mswindows.h: Include it here.
9201
9202         * init.c: Ditto.
9203
9204         * utils.c: Don't include <windows.h>.
9205
9206 1998-01-25  Hrvoje Niksic  <hniksic@srce.hr>
9207
9208         * host.c (ftp_getaddress): Ditto.
9209
9210         * main.c (main): Use it.
9211
9212         * utils.h (STRDUP_ALLOCA): New macro.
9213
9214         * init.c: Prepend `wget: ' to error messages printed on stderr.
9215
9216         * utils.c (mkdirhier): Renamed from mymkdir.
9217         (touch): Renamed from my_touch.
9218         (pwd_cuserid): Renamed from my_cuserid().
9219
9220 1998-01-24  Andy Eskilsson  <andy.eskilsson@telelogic.se>
9221
9222         * utils.c (accdir): Process wildcards.
9223         (proclist): New function.
9224         (accdir): Use it to avoid code repetition.
9225
9226 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
9227
9228         * recur.c (parse_robots): Respect opt.useragent; use alloca().
9229
9230         * http.c (gethttp): Construct useragent accordingly.
9231
9232         * version.c: Changed version string to numbers-only.
9233
9234         * main.c (print_help): List all the options.
9235
9236         * mswindows.c (windows_main_junk): Initialize argv0 here.
9237
9238 1998-01-24  Karl Heuer  <kwzh@gnu.org>
9239
9240         * netrc.c (search_netrc): Initialize `l' only after processing
9241         netrc.
9242
9243         * main.c (main): Don't trap SIGHUP if it's being ignored.
9244
9245 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
9246
9247         * all: Use logmsg().
9248
9249         * utils.c (time_str): Moved from retr.c.
9250         (logmsg): New function.
9251         (logmsg_noflush): Ditto.
9252
9253         * rbuf.c: New file, moved buf_* functions here.
9254
9255         * ftp.c (ftp_expected_bytes): Moved from ftp-basic.c.
9256
9257         * ftp-basic.c (ftp_rest): Use prnum().
9258
9259         * ftp-basic.c: Ditto.
9260
9261         * ftp.c: Use the new reading functions and macros.
9262
9263         * retr.c (buf_initialize): New function.
9264         (buf_initialized_p): Ditto.
9265         (buf_uninitialize): Ditto.
9266         (buf_fd): Ditto.
9267
9268         * http.c (fetch_next_header): Use the BUF_READCHAR macro for
9269         efficiency.
9270         (gethttp): Use alloca() where appropriate.
9271
9272         * retr.c (buf_readchar): Use it.
9273         (buf_peek): Use rstreams.
9274
9275         * retr.h (BUF_READCHAR): New macro.
9276
9277         * init.c (home_dir): Rewritten for clarity.
9278         (init_path): Ditto.
9279
9280         * mswindows.c (ws_backgnd): Made static.
9281         (read_registry): Ditto.
9282         (ws_cleanup): Ditto.
9283         (ws_handler): Ditto.
9284
9285 1998-01-23  Hrvoje Niksic  <hniksic@srce.hr>
9286
9287         * alloca.c: New file.
9288
9289         * Makefile.in (ALLOCA): Define.
9290
9291         * mswindows.c (ws_help): Constify.
9292         (ws_help): Use alloca.
9293
9294         * mswindows.c: Reformat.
9295
9296         * all: Added _(...) annotations for I18N snarfing and translation.
9297
9298         * host.c (ftp_getaddress): Nuke SYSINFO.
9299         (ftp_getaddress): Don't use getdomainname().
9300         (ftp_getaddress): Use uname(), where available.
9301
9302         * http.c (gethttp): Protect a stray fprintf().
9303
9304         * init.c (settime): New function.
9305         (setval): Treat WAIT specially, allowing suffixes like `m' for
9306         minutes, etc.
9307
9308 1998-01-21  Hrvoje Niksic  <hniksic@srce.hr>
9309
9310         * url.c (get_urls_html): Use alloca() for TEMP.
9311
9312 1998-01-21  Jordan Mendelson  <jordy@wserv.com>
9313
9314         * url.c (rotate_backups): New function.
9315
9316         * http.c (gethttp): Ditto.
9317
9318         * ftp.c (getftp): Rotate backups.
9319
9320 1997-12-18  Hrvoje Niksic  <hniksic@srce.hr>
9321
9322         * all: Renamed nmalloc(), nrealloc() and nstrdup() to xmalloc(),
9323         xrealloc() and xstrdup().  Use the new functions.
9324
9325         * url.c (decode_string): Made static.
9326         (has_proto): Ditto.
9327         (parse_dir): Ditto.
9328         (parse_uname): Ditto.
9329         (mkstruct): Ditto.
9330         (construct): Ditto.
9331         (construct_relative): Ditto.
9332
9333         * retr.c (show_progress): Made static.
9334
9335         * recur.c (robots_url): Made static.
9336         (retrieve_robots): Ditto.
9337         (parse_robots): Ditto.
9338         (robots_match): Ditto.
9339
9340         * main.h: Removed.
9341
9342         * main.c (printhelp): Made static.
9343         (hangup): Ditto.
9344
9345         * init.c (comind): Made static.
9346         (defaults): Ditto.
9347         (init_path): Ditto.
9348         (run_wgetrc): Ditto.
9349         (onoff): Ditto.
9350         (setonoff): Ditto.
9351         (setnum): Ditto.
9352         (myatoi): Ditto.
9353         (getperms): Ditto.
9354         (setbytes): Ditto.
9355
9356         * http.c (fetch_next_header): Made static.
9357         (hparsestatline): Ditto.
9358         (hskip_lws): Ditto.
9359         (hgetlen): Ditto.
9360         (hgetrange): Ditto.
9361         (hgettype): Ditto.
9362         (hgetlocation): Ditto.
9363         (hgetmodified): Ditto.
9364         (haccepts_none): Ditto.
9365         (gethttp): Ditto.
9366         (base64_encode_line): Ditto.
9367         (mktime_from_utc): Ditto.
9368         (http_atotm): Ditto.
9369
9370         * html.c (idmatch): Made static.
9371
9372         * host.c (search_host): Made static.
9373         (search_address): Ditto.
9374         (free_hlist): Ditto.
9375
9376         * ftp.c (getftp): Made static.
9377         (ftp_loop_internal): Ditto.
9378         (ftp_get_listing): Ditto.
9379         (ftp_retrieve_list): Ditto.
9380         (ftp_retrieve_dirs): Ditto.
9381         (ftp_retrieve_glob): Ditto.
9382         (freefileinfo): Ditto.
9383         (delelement): Ditto.
9384
9385         * ftp-ls.c (symperms): Made static.
9386         (ftp_parse_unix_ls): Ditto.
9387
9388         * connect.c (select_fd): Made static.
9389
9390         * utils.c (xmalloc): Renamed from nmalloc.
9391         (xrealloc): Renamed from nrealloc.
9392         (xstrdup): Renamed from nstrdup.
9393
9394         * getopt.c (exchange): Use alloca.
9395
9396         * mswindows.c (mycuserid): Use strncpy.
9397
9398         * New files mswindows.c, mswindows.h, sysdep.h.  winjunk.c,
9399         systhings.h, windecl.h and winjunk.h removed.
9400
9401         * mswindows.c (sleep): New function.
9402
9403         * utils.c: Include <windows.h> under Windows.
9404
9405 1997-06-12  Darko Budor  <dbudor@zesoi.fer.hr>
9406
9407         * url.h (URL_UNSAFE): Change default under Windows.
9408
9409         * retr.c (retrieve_from_file): Respect opt.delete_after.
9410
9411         * main.c (main): Call ws_help on Windows.
9412
9413         * winjunk.c (windows_main_junk): New function.
9414
9415         * main.c (main): Junk-process argv[0].
9416
9417         * http.c (mktime_from_utc): Return -1 if mktime failed.
9418
9419         * http.c (http_loop): Ditto.
9420
9421         * ftp.c (ftp_loop_internal): Change title on Windows when using a
9422         new URL.
9423
9424         * winjunk.c (getdomainname): Lots of functions.
9425
9426 1997-06-12  Hrvoje Niksic  <hniksic@srce.hr>
9427
9428         * cmpt.c (strptime_internal): Handle years more correctly for
9429         `%y'.
9430
9431 1997-06-09  Mike Thomas <mthomas@reality.ctron.com>
9432
9433         * http.c (gethttp): Allocate enough space for
9434         `Proxy-Authorization' header.
9435
9436 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
9437
9438         * version.c: Wget/1.4.5 is released.
9439
9440 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
9441
9442         * retr.c (get_contents): Check return value of fwrite more
9443         carefully.
9444
9445 1997-03-30  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
9446
9447         * cmpt.c (strptime_internal) [case 'Y']: Always subtract 1900 from
9448         year, regardless of century.
9449
9450 1997-03-30  Hrvoje Niksic  <hniksic@srce.hr>
9451
9452         * utils.c (isfile): Use `lstat' instead of `stat'.
9453
9454 1997-03-29  Hrvoje Niksic  <hniksic@srce.hr>
9455
9456         * utils.c (numdigit): Use explicit test.
9457
9458 1997-03-21  Hrvoje Niksic  <hniksic@srce.hr>
9459
9460         * http.c (http_loop): Always use `url_filename' to get u->local.
9461
9462 1997-03-20  Hrvoje Niksic  <hniksic@srce.hr>
9463
9464         * url.c: Recognize https.
9465
9466 1997-03-13  Hrvoje Niksic  <hniksic@srce.hr>
9467
9468         * recur.c (recursive_retrieve): Lowercase just the host name.
9469
9470 1997-03-09  Hrvoje Niksic  <hniksic@srce.hr>
9471
9472         * url.c (get_urls_file): Use the correct test.
9473         (get_urls_html): Ditto.
9474
9475 1997-03-07  Hrvoje Niksic  <hniksic@srce.hr>
9476
9477         * connect.c: Reverted addrlen to int.
9478
9479         * init.c (parse_line): Check for -1 instead of NONE.
9480
9481         * version.c: Changed version to 1.4.5.
9482
9483 1997-02-17  Hrvoje Niksic  <hniksic@srce.hr>
9484
9485         * init.c: New option netrc.
9486         (initialize): Don't parse .netrc.
9487
9488         * cmpt.c (recursive): Return rp.
9489         (strptime_internal): Match the long strings first, the abbreviated
9490         second.
9491
9492 1997-02-16  Hrvoje Niksic  <hniksic@srce.hr>
9493
9494         * http.c (check_end): New function.
9495         (http_atotm): Use it.
9496
9497 1997-02-13  gilles Cedoc  <gilles@cedocar.fr>
9498
9499         * http.c (gethttp): Use them.
9500
9501         * init.c: New options proxy_user and proxy_passwd.
9502
9503 1997-02-14  Hrvoje Niksic  <hniksic@srce.hr>
9504
9505         * ftp.c (ftp_retrieve_list): Create links even if not relative.
9506
9507 1997-02-10  Hrvoje Niksic  <hniksic@srce.hr>
9508
9509         * recur.c (recursive_retrieve): Lowercase the host name, if the
9510         URL is not "optimized".
9511
9512         * host.c (realhost): Return l->hostname, even if it matches with
9513         host.
9514
9515 1997-02-10  Marin Purgar  <pmc@asgard.hr>
9516
9517         * connect.c: Make addrlen size_t instead of int.
9518         (conaddr): Ditto.
9519
9520 1997-02-09  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
9521
9522         * systhings.h: Define S_ISLNK on NeXT too.
9523
9524 1997-02-09  Hrvoje Niksic  <hniksic@srce.hr>
9525
9526         * version.c: Released 1.4.3.
9527
9528         * url.c: Futher update to list of protostrings.
9529         (skip_proto): Skip `//' correctly for FTP and HTTP.
9530
9531         * url.c (get_urls_html): Handle bogus `http:' things a little
9532         different.
9533
9534         * main.c (main): Removed `follow-ftp' from `f'.
9535         (main): Dumped the `prefix-files' and `file-prefix' options and
9536         features; old and bogus.
9537         (main): Exit on failed setval() in `-e'.
9538
9539         * http.c (fetch_next_header): Use it to detect header continuation
9540         correctly.
9541
9542         * retr.c (buf_peek): New function.
9543
9544 1997-02-08  Hrvoje Niksic  <hniksic@srce.hr>
9545
9546         * wget.h: Include time.h and stuff.
9547
9548 1997-02-08  Roger Beeman  <beeman@cisco.com>
9549
9550         * ftp.c: Include <time.h>
9551
9552 1997-02-07  Hrvoje Niksic  <hniksic@srce.hr>
9553
9554         * url.c (findurl): Would read over buffer limits.
9555
9556 1997-02-06  Hrvoje Niksic  <hniksic@srce.hr>
9557
9558         * ftp-ls.c (ftp_parse_unix_ls): Allow spaces in file names.
9559
9560 1997-02-05  Hrvoje Niksic  <hniksic@srce.hr>
9561
9562         * http.c (http_atotm): Initialize tm.is_dst.
9563
9564 1997-02-02  Hrvoje Niksic  <hniksic@srce.hr>
9565
9566         * http.c (gethttp): Don't print the number of retrieved headers.
9567
9568         * main.c (main): New option `--no-clobber', alias for `-nc'.
9569
9570         * url.c: Recognize `https://'.
9571
9572 1997-02-01  Hrvoje Niksic  <hniksic@srce.hr>
9573
9574         * host.c (herrmsg): Don't use h_errno.
9575
9576 1997-01-30  Hrvoje Niksic  <hniksic@srce.hr>
9577
9578         * host.c (accept_domain): Use it.
9579
9580         * main.c (main): New option `--exclude-domains'.
9581
9582         * retr.c (retrieve_url): Use it.
9583         (retrieve_url): Bail out when an URL is redirecting to itself.
9584
9585         * url.c (url_equal): New function.
9586
9587 1997-01-29  Hrvoje Niksic  <hniksic@srce.hr>
9588
9589         * connect.c: Include arpa/inet.h instead of arpa/nameser.h.
9590
9591         * http.c (mk_utc_time): New function.
9592         (http_atotm): Use it; handle time zones correctly.
9593
9594 1997-01-28  Hrvoje Niksic  <hniksic@srce.hr>
9595
9596         * http.c: Ditto.
9597
9598         * ftp-basic.c: Use it instead of WRITE.
9599
9600         * connect.c (iwrite): New function.
9601
9602 1997-01-27  Hrvoje Niksic  <hniksic@srce.hr>
9603
9604         * cmpt.c (mktime): New function.
9605
9606         * netrc.c: Include <sys/types.h>.
9607
9608         * main.c (main): Wouldn't recognize --spider.
9609
9610         * retr.c (rate): Use `B', `KB' and `MB'.
9611         (reset_timer,elapsed_time): Moved from utils.c.
9612
9613         * ftp.c (ftp_retrieve_list): Ditto.
9614
9615         * http.c (http_loop): Don't touch the file if opt.dfp.
9616
9617 1997-01-24  Hrvoje Niksic  <hniksic@srce.hr>
9618
9619         * cmpt.c: New file.
9620
9621         * ftp.c (ftp_retrieve_glob): New argument semantics.
9622         (ftp_retrieve_dirs): Use it.
9623         (ftp_loop): Ditto.
9624
9625         * html.c (htmlfindurl): Recognize `'' as the quote char.
9626
9627 1997-01-23  Hrvoje Niksic  <hniksic@srce.hr>
9628
9629         * ftp.c (ftp_loop_internal): Use it.
9630
9631         * utils.c (remove_link): New function.
9632
9633 1997-01-22  Hrvoje Niksic  <hniksic@srce.hr>
9634
9635         * retr.c (retrieve_url): Require STRICT redirection URL.
9636
9637         * url.c (parseurl): New argument STRICT.
9638
9639         * http.c (hparsestatline): Be a little-bit less strict about
9640         status line format.
9641
9642 1997-01-21  Hrvoje Niksic  <hniksic@srce.hr>
9643
9644         * http.c (gethttp): Use it.
9645
9646         * main.c (main): Don't use '<digit>' as options.
9647
9648         * init.c: New option ignore_length.
9649
9650         * http.c (gethttp): Ditto.
9651         (http_loop): Check for redirection without Location:.
9652         (gethttp): Don't print Length unless RETROKF.
9653
9654         * ftp.c (getftp): Use it.
9655
9656         * url.c (mkalldirs): New function.
9657
9658         * utils.c (mymkdir): Don't check for existing non-directory.
9659
9660         * url.c (mkstruct): Don't create the directory.
9661
9662 1997-01-20  Hrvoje Niksic  <hniksic@srce.hr>
9663
9664         * init.c (setval): Removed NO_RECURSION checks.
9665
9666 1997-01-19  Hrvoje Niksic  <hniksic@srce.hr>
9667
9668         * version.c: "Released" 1.4.3-pre2.
9669
9670         * recur.c (recursive_retrieve): Bypass host checking only if URL
9671         is ftp AND parent URL is not ftp.
9672
9673         * ftp-basic.c (ftp_request): Print out Turtle Power.
9674
9675         * ftp.c (ftp_loop): Call ftp_retrieve_glob with 0 if there's no
9676         wildcard.
9677         (ftp_retrieve_glob): Call ftp_loop_internal even on empty list, if
9678         not glob.
9679
9680         * http.c (gethttp): Be a little bit smarter about status codes.
9681
9682         * recur.c (recursive_retrieve): Always reset opt.recursive when
9683         dealing with FTP.
9684
9685 1997-01-18  Hrvoje Niksic  <hniksic@srce.hr>
9686
9687         * retr.c (retrieve_url): New variable location_changed; use it for
9688         tests instead of mynewloc.
9689         (retrieve_url): Allow heuristic adding of html.
9690
9691         * url.c (url_filename): Don't use the `%' in Windows file names.
9692
9693         * http.c (http_loop): Always time-stamp the local file.
9694
9695         * http.c (http_loop): Ditto.
9696
9697         * ftp.c (ftp_retrieve_list): Use it.
9698
9699         * utils.c (my_touch): New function.
9700
9701         * ftp.c (ftp_retrieve_list): Use #ifdef HAVE_STRUCT_UTIMBUF
9702         instead of #ifndef NeXT.
9703
9704         * utils.c (strptime): New version, by Ulrich Drepper.
9705
9706 1997-01-17  Hrvoje Niksic  <hniksic@srce.hr>
9707
9708         * http.c (haccepts_none): Renamed from `haccepts_bytes'.
9709         (gethttp): If haccepts_none(), disable ACCEPTRANGES.
9710         (http_loop): Would remove ACCEPTRANGES.
9711
9712         * ftp.c (getftp): Call ftp_list with NULL.
9713
9714 1997-01-15  Hrvoje Niksic  <hniksic@srce.hr>
9715
9716         * html.c (ftp_index): Don't print minutes and seconds if we don't
9717         know them; beautify the output.
9718
9719         * ftp.c (getftp): Don't close the socket on FTPNSFOD.
9720
9721 1997-01-14  Hrvoje Niksic  <hniksic@srce.hr>
9722
9723         * utils.c (strptime): New function.
9724         (strptime): Don't use get_alt_number.
9725         (strptime): Don't use locale.
9726         (match_string): Made it a function.
9727
9728 1997-01-12  Hrvoje Niksic  <hniksic@srce.hr>
9729
9730         * http.c (http_atotm): New function.
9731         (http_loop): Use it.
9732
9733         * atotm.c: Removed from the distribution.
9734
9735         * http.c (base64_encode_line): Rewrite.
9736
9737 1997-01-09  Hrvoje Niksic  <hniksic@srce.hr>
9738
9739         * ftp.c (getftp): Use ftp_expected_bytes; print size.
9740
9741         * ftp-basic.c (ftp_response): Use ftp_last_respline.
9742         (ftp_expected_bytes): New function.
9743
9744         * ftp.c (getftp): Print the unauthoritative file length.
9745
9746         * ftp-ls.c: Renamed from ftp-unix.c.
9747         (ftp_parse_ls): Moved from ftp.c.
9748         (ftp_parse_unix_ls): Recognize seconds in time spec.
9749         (ftp_parse_unix_ls): Recognize year-less dates of the previous
9750         year.
9751
9752 1997-01-08  Hrvoje Niksic  <hniksic@srce.hr>
9753
9754         * ftp-basic.c: Don't declare errno if #defined.
9755
9756         * host.c (ftp_getaddress): Check for sysinfo legally.
9757
9758 1997-01-08  Darko Budor  <dbudor@diana.zems.fer.hr>
9759
9760         * connect.c (iread): Use READ.
9761
9762 1996-12-23  Hrvoje Niksic  <hniksic@srce.hr>
9763
9764         * url.c: Recognize finger, rlogin, tn3270, mid and cid as valid
9765         schemes.
9766
9767 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
9768
9769         * host.c (ftp_getaddress): Allow `.' in hostname.
9770
9771 1996-12-26  Darko Budor <dbudor@zems.fer.hr>
9772
9773         * wget.h: READ and WRITE macros for use instead of read and write
9774         on sockets, grep READ *.c, grep WRITE *.c
9775
9776         * wsstartup.c: new file - startup for winsock
9777
9778         * wsstartup.h: new file
9779
9780         * win32decl.h: new file - fixup for <errno.h> and winsock trouble
9781
9782         * configure.bat: Configure utility for MSVC
9783
9784         * src/Makefile.ms,config.h.ms: new files for use with MSVC 4.x
9785
9786 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
9787
9788         * version.c: Released 1.4.3-pre.
9789
9790         * utils.c (prnum): Accept long.
9791         (legible): Use prnum().
9792
9793         * connect.c (make_connection): Accept port as short.
9794         (bindport): Ditto.
9795
9796         * http.c (gethttp): Use search_netrc.
9797
9798 1996-12-21  Hrvoje Niksic  <hniksic@srce.hr>
9799
9800         * ftp.c (getftp): Use search_netrc.
9801
9802         * netrc.c (free_netrc): New function.
9803
9804         * init.c (home_dir): New function.
9805
9806         * url.c (convert_links): Allow REL2ABS changes.
9807
9808 1996-12-21  Gordon Matzigkeit  <gord@gnu.ai.mit.edu>
9809
9810         * netrc.c: New file.
9811         (parse_netrc, maybe_add_to_list): New functions.
9812
9813 1996-12-17  Hrvoje Niksic  <hniksic@srce.hr>
9814
9815         * retr.c (retrieve_url): Reset opt.recursion before calling
9816         ftp_loop if it is reached through newloc.
9817
9818         * init.c (run_wgetrc): Print the wgetrc path too, when reporting
9819         error; don't use "Syntax error", since we don't know if it is
9820         really a syntax error.
9821
9822 1996-12-16  Hrvoje Niksic  <hniksic@srce.hr>
9823
9824         * utils.c (acceptable): Extract the filename part of the path.
9825
9826         * recur.c (recursive_retrieve): Call acceptable() with the right
9827         argument; would bug out on wildcards.
9828
9829         * init.c (parse_line): Likewise.
9830
9831         * html.c (htmlfindurl): Cast to char * when calling stuff.
9832
9833 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
9834
9835         * ftp.c (getftp): Use ftp_pasv.
9836
9837         * ftp-basic.c (ftp_request): Accept NULL value.
9838         (ftp_pasv): New function.
9839
9840         * options.h (struct options): Add passive FTP option.
9841
9842 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
9843
9844         * url.c (parseurl): Debug output.
9845
9846         * utils.c (path_simplify): New one, adapted from bash's
9847         canonicalize_pathname().
9848
9849 1996-12-14  Hrvoje Niksic  <hniksic@srce.hr>
9850
9851         * ftp.c (getftp): Don't discard the buffer.
9852
9853         * retr.c (get_contents): New parameter nobuf.
9854
9855 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
9856
9857         * html.c (htmlfindurl): Recognize <meta contents="d; URL=...".
9858
9859         * init.c (setval): Strip the trailing slashes on CVECDIR.
9860
9861 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
9862
9863         * init.c: Make excludes and includes under CVECDIR instead of
9864         CVEC.
9865
9866 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
9867
9868         * url.c (get_urls_html): Skip "http:".
9869
9870 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
9871
9872         * utils.c (strcasecmp): From glibc.
9873         (strncasecmp): Also.
9874         (strstr): Also.
9875
9876         * url.c: Added javascript: to the list of URLs prefixes.
9877
9878 1996-12-12  Shawn McHorse  <riffraff@txdirect.net>
9879
9880         * recur.c (retrieve_robots): Print the warning message only if
9881         verbose.
9882
9883 1996-12-12  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
9884
9885         * ftp.c (ftp_retrieve_list): Use NeXT old utime interface.
9886
9887 1996-12-12  Hrvoje Niksic  <hniksic@srce.hr>
9888
9889         * systhings.h: New file.
9890
9891         * ../configure.in: Check for utime.h
9892
9893         * ftp.c: Check whether we have unistd.h.
9894
9895 1996-11-27  Hrvoje Niksic  <hniksic@srce.hr>
9896
9897         * recur.c (recursive_retrieve): Send the canonical URL as referer.
9898         (recursive_retrieve): Call get_urls_html with the canonical URL.
9899
9900 1996-12-13  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
9901
9902         * (configure.in, config.h.in, src/Makefile.in, src/*.[ch]): Add
9903         ansi2knr support for compilers which don't support ANSI style
9904         function prototypes and signatures.
9905
9906         * (aclocal.m4, src/ansi2knr.c, src/ansi2knr.1): New files.
9907
9908 1996-11-26  Hrvoje Niksic  <hniksic@srce.hr>
9909
9910         * url.c: Use it; Recognize paths ending with "." and ".." as
9911         directories.
9912         (url_filename): Append .n whenever file exists and could be a
9913         directory.
9914
9915         * url.h (ISDDOT): New macro.
9916
9917         * init.c (parse_line): Use unsigned char.
9918
9919         * url.c (get_urls_html): Cast to unsigned char * when calling
9920         htmlfindurl.
9921
9922         * html.c (htmlfindurl): Use unsigned char.
9923
9924         * version.c: Changed version to 1.4.3.
9925
9926 1996-11-25  Hrvoje Niksic  <hniksic@srce.hr>
9927
9928         * version.c: Released 1.4.2.
9929
9930         * ftp.c (getftp): Simplified assertion.
9931         (ftp_loop_internal): Remove symlink before downloading.
9932         (ftp_retrieve_list): Unlink the symlink name before attempting to
9933         create a symlink!
9934
9935         * options.h (struct options): Renamed print_server_response to
9936         server_response.
9937
9938         * ftp.c (rel_constr): Removed.
9939         (ftp_retrieve_list): Don't use it.
9940         (ftp_retrieve_list): Use opt.retr_symlinks.
9941
9942 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
9943
9944         * main.c (main): New option retr_symlinks.
9945
9946         * url.c (convert_links): Print verbose message.
9947
9948 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
9949
9950         * http.c (http_loop): Reset newloc in the beginning of function;
9951         would cause FMR in retrieve_url.
9952
9953 1996-11-23  Hrvoje Niksic  <hniksic@srce.hr>
9954
9955         * recur.c (convert_all_links): Find the URL of each HTML document,
9956         and feed it to get_urls_html; would bug out.
9957         (convert_all_links): Check for l2 instead of dl; removed dl.
9958
9959         * url.c (convert_links): Don't refer to freed newname.
9960
9961         * recur.c (recursive_retrieve): Add this_url to urls_downloaded.
9962
9963         * main.c (main): Print the OS_TYPE in the debug output, too.
9964
9965         * recur.c (recursive_retrieve): Check for opt.delete_after.
9966
9967         * main.c (main): New option delete-after.
9968
9969         * init.c (setval): Cleaned up.
9970
9971 1996-11-21  Hrvoje Niksic  <hniksic@srce.hr>
9972
9973         * Makefile.in (wget): Make `wget' the default target.
9974
9975         * ftp.c (ftp_loop_internal): Move noclobber checking out of the
9976         loop.
9977         (ftp_retrieve_list): Warn about non-matching sizes.
9978
9979         * http.c (http_loop): Made -nc non-dependent on opt.recursive.
9980
9981         * init.c (setnum): Renamed from setnuminf; New argument flags.
9982         (setval): Use it.
9983
9984         * main.c (main): Sorted the options.
9985         (main): New option --wait.
9986
9987 1996-11-21  Shawn McHorse  <riffraff@txdirect.net>
9988
9989         * html.c (htmlfindurl): Reset s->in_quote after getting out of
9990         quotes.
9991
9992 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
9993
9994         * version.c: Changed version to 1.4.2.
9995
9996 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
9997
9998         * version.c: Released 1.4.1.
9999
10000         * html.c (html_quote_string): New function.
10001         (ftp_index): Use it.
10002         (htmlfindurl): A more gentle ending debug message.
10003
10004         * ftp.c (ftp_loop): Check for opt.htmlify.
10005
10006         * init.c: New command htmlify.
10007
10008         * ftp.c (getftp): Nicer error messages, with `'-encapsulated
10009         strings.
10010         (ftp_loop): Print size of index.html.
10011
10012         * init.c (setval): Implement "styles".
10013
10014         * main.c (main): New option dotstyle.
10015
10016 1996-11-19  Hrvoje Niksic  <hniksic@srce.hr>
10017
10018         * ftp.c (getftp): Close the master socket in case of errors, after
10019         bindport().
10020
10021         * connect.c (bindport): Initialize msock to -1.
10022
10023         * ftp.c (getftp): Initialize dtsock to -1.
10024
10025         * connect.c (closeport): Don't close sock if sock == -1.
10026
10027 1996-11-18  Hrvoje Niksic  <hniksic@srce.hr>
10028
10029         * init.c (setnuminf): Nuked default value -- just leave unchanged.
10030         (setval): Don't send default values.
10031         (defaults): Use DEFAULT_TIMEOUT -- aaargh.
10032
10033         * options.h (struct options): Use long for dot_bytes.
10034
10035         * init.c (setquota): Renamed to setbytes.
10036         (setval): Use setbytes on DOTBYTES.
10037
10038 1996-11-17  Hrvoje Niksic  <hniksic@srce.hr>
10039
10040         * ftp.c (getftp): Initialize con->dltime.
10041
10042         * recur.c (recursive_retrieve): Use same_host instead of
10043         try_robots; simply load robots_txt whenever the host is changed.
10044         (recursive_retrieve): Free forbidden before calling parse_robots.
10045
10046 1996-11-16  Hrvoje Niksic  <hniksic@srce.hr>
10047
10048         * retr.c (show_progress): Use them.
10049
10050         * options.h (struct options): New options dot_bytes, dots_on_line
10051         and dot_spacing.
10052
10053 1996-11-16  Mark Boyns  <boyns@sdsu.edu>
10054
10055         * recur.c (recursive_retrieve): Retrieve directories regardless of
10056         acc/rej rules; check for empty u->file.
10057
10058 1996-11-14  Hrvoje Niksic  <hniksic@srce.hr>
10059
10060         * init.c (setval): Use it.
10061
10062         * utils.c (merge_vecs): New function.
10063
10064         * init.c (setval): Reset the list-type functions when encountering
10065         "".
10066
10067 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
10068
10069         * recur.c (recursive_retrieve): Use base_url instead of this_url
10070         for no_parent.
10071
10072 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
10073
10074         * html.c (htmlfindurl): Reset s->in_quote after exiting the quote.
10075
10076 1996-11-13  Hrvoje Niksic  <hniksic@srce.hr>
10077
10078         * utils.c (sepstring): Rewrote; don't use strtok.
10079
10080         * recur.c (recursive_retrieve): Enter assorted this_url to slist
10081         when running the first time.
10082         (retrieve_robots): Warn to ignore errors when robots are loaded.
10083
10084         * utils.c (load_file): Moved from url.c.
10085
10086         * http.c: Made static variables const too in h* functions.
10087
10088         * main.c (main): Renamed --continue-ftp to --continue.
10089
10090         * recur.c (recursive_retrieve): Use it.
10091
10092         * utils.c (frontcmp): New function.
10093
10094         * url.c (accdir): New function.
10095
10096         * html.c (htmlfindurl): Recognize <area href=...>.
10097
10098         * ftp.c (ftp_retrieve_dirs): Implemented opt.includes.
10099
10100         * init.c (setval): Free the existing opt.excludes and
10101         opt.includes, if available.
10102
10103         * main.c (main): New option -I.
10104
10105 1996-11-12  Hrvoje Niksic  <hniksic@srce.hr>
10106
10107         * ftp.c (ftp_retrieve_glob): Do not weed out directories.
10108
10109         * version.c: Changed version to 1.4.1.
10110
10111 1996-11-11  Hrvoje Niksic  <hniksic@srce.hr>
10112
10113         * version.c: Released 1.4.0.
10114
10115 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
10116
10117         * main.c (main): Free com and val after parse_line.
10118         (printhelp): Reorder the listing.
10119
10120         * http.c: More robust header parsing.
10121
10122         * http.c: Allow any number of spaces, or no spaces, precede ':'.
10123         (hskip_lws): New function.
10124         (haccepts_bytes): New function.
10125         (gethttp): Use it.
10126
10127         * init.c (setval): Check header sanity.
10128         (setval): Allow resetting of headers.
10129
10130 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
10131
10132         * http.c (http_loop): Don't use has_wildcards.
10133
10134         * http.c (gethttp): Free all_headers -- would leak.
10135
10136         * recur.c (recursive_retrieve): Initialize depth to 1 instead of
10137         0 -- this fixes a long-standing bug in -rl.
10138
10139 1996-11-09  Hrvoje Niksic  <hniksic@srce.hr>
10140
10141         * ftp.c: Use -1 as "impossible" value for con->fd.
10142
10143         * url.h (URL_SEPARATOR): Don't treat `*' and `+' as separators.
10144
10145         * init.c (parse_line): Use isalpha.
10146
10147         * ftp-unix.c: Use HAVE_UNISTD_H.
10148
10149         * mtch.c (has_wildcards): Don't match \.
10150
10151         * http.c (http_loop): Warn on HTTP wildcard usage.
10152
10153 1996-11-08  Hrvoje Niksic  <hniksic@srce.hr>
10154
10155         * url.c (url_filename): Do not create numbered suffixes if
10156         opt.noclobber -- would bug out on -nc.
10157
10158 1996-11-07  Hrvoje Niksic  <hniksic@srce.hr>
10159
10160         * recur.c (parse_robots): Don't chuck out the commands without
10161         arguments (`Disallow:<empty>' didn't work).
10162         (parse_robots): Compare versions lowercase.
10163         (parse_robots): Match on base_version, not version_string!
10164         (parse_robots): Handle comments properly.
10165         (parse_robots): Match versions in a sane way.
10166
10167         * init.c: Print nicer error messages.
10168
10169         * version.c: Changed version to 1.4.0.
10170
10171 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
10172
10173         * version.c: Released 1.4.0-test2.
10174
10175         * init.c (run_wgetrc): Close fp.
10176
10177         * ftp.c (ftp_retrieve_dirs): Allocate the correct length for
10178         u->dir.
10179
10180 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
10181
10182         * init.c (setquota): Allow inf as quota specification.
10183
10184 1996-11-05  Hrvoje Niksic  <hniksic@srce.hr>
10185
10186         * ftp.c (ftp_retrieve_dirs): Return QUOTEXC if quota exceeded.
10187         (ftp_retrieve_glob): Return QUOTEXC on quota exceeded.
10188
10189         * main.c (main): Check for quota by comparison with downloaded
10190         stuff, not from status.
10191
10192         * connect.c (select_fd): Should compile on HPUX without warnings now.
10193
10194         * ftp.c (ftp_get_listing): Check whether ftp_loop_internal
10195         returned RETROK.
10196
10197 1996-11-04  Hrvoje Niksic  <hniksic@srce.hr>
10198
10199         * ftp.c (ftp_retrieve_glob): Print the pattern nicely.
10200         (getftp): Return FTPRETRINT on control connection error.
10201
10202         * html.c (htmlfindurl): Recognize <embed src=...> and
10203         <bgsound src=...>.
10204         (ftp_index): Handle username and password correctly.
10205
10206         * main.c (main): Made `-np' a synonim for --no-parent.
10207
10208 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
10209
10210         * ftp.c (ftp_loop): Check for opt.ftp_glob too before calling
10211         ftp_retrieve_glob.
10212
10213         * version.c: Changed version to 1.4.0-test2.
10214
10215 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
10216
10217         * version.c: Released 1.4.0-test1.
10218
10219         * url.c (str_url): Don't use sprintf when creating %2F-prefixed
10220         directory.
10221         (convert_links): Removed definition of make_backup.
10222
10223         * http.h: Removed definition of MAX_ERROR_LENGTH.
10224
10225         * host.c (ftp_getaddress): Check for "(none)" domains.
10226
10227         * ftp.c (ftp_retrieve_dirs): Docfix.
10228
10229         * http.c (gethttp): Use ou->referer instead of u->referer.
10230
10231         * retr.c (retrieve_url): Reset u to avoid freeing pointers twice;
10232         this was known to cause coredumps on Linux.
10233
10234         * html.c (ftp_index): Cast the argument to local_time to time_t *.
10235
10236 1996-11-01  Hrvoje Niksic  <hniksic@srce.hr>
10237
10238         * connect.c (select_fd): Use exceptfds -- once and for all.
10239
10240         * retr.c (retrieve_from_file): Free filename after
10241         recursive_retrieve.
10242         (retrieve_from_file): Send RFIRST_TIME to recursive_retrieve on
10243         first-time retrieval.
10244         (retrieve_from_file): Return uerr_t; new argument, count.
10245         (retrieve_from_file): Break on QUOTEXC.
10246
10247         * init.c (setquota): Fixed a bug that caused rejection of
10248         non-postfixed values..
10249
10250 1996-10-30  Hrvoje Niksic  <hniksic@srce.hr>
10251
10252         * version.c: Changed name to wget.
10253
10254         * connect.c (iread): Smarter use of select.
10255         (select_fd): Set errno on timeout.  If not timeout, return 1
10256         instead of 0.
10257
10258 1996-10-29  Hrvoje Niksic  <hniksic@srce.hr>
10259
10260         * ftp.c (ftp_loop_internal): Don't use con->cmd before
10261         establishing it.
10262
10263 1996-10-26  Hrvoje Niksic  <hniksic@srce.hr>
10264
10265         * http.c (gethttp): Send correct referer when using proxy.
10266         (gethttp): Use struct urlinfo ou to access the relevant data; send
10267         correct authorization in all cases.
10268
10269         * host.c (same_host): Use skip_uname to skip username and
10270         password.
10271
10272         * url.c (skip_uname): New function.
10273         (parseurl): Use it.
10274
10275         * host.c (same_host): Do not assume HTTP -- same_host should now
10276         be totally foolproof.
10277
10278         * url.c (skip_proto): New function.
10279         (parse_uname): Use it.
10280
10281         * http.c (gethttp): Create local user and passwd from what is
10282         given.
10283
10284         * url.c (parseurl): Check for HTTP username and password too.
10285
10286 1996-10-25  Hrvoje Niksic  <hniksic@srce.hr>
10287
10288         * config.h.in: Removed #define gethostbyname R...
10289
10290 1996-10-22  Hrvoje Niksic  <hniksic@srce.hr>
10291
10292         * version.c: Changed version to 1.4.0-test1.
10293
10294 1996-10-21  Hrvoje Niksic  <hniksic@srce.hr>
10295
10296         * version.c: "Released" 1.4b29.
10297
10298         * recur.c (recursive_retrieve): Check for no_parent.
10299
10300         * init.c (setval): Option update.
10301
10302         * main.c (main): New option no-parent.
10303
10304         * options.h (struct options): New variable no_parent.
10305
10306         * recur.c (recursive_retrieve): Only files are checked for
10307         opt.accepts and opt.rejects.
10308         (recursive_retrieve): Check directories for opt.excludes.
10309         (recursive_retrieve): Make the dir absolute when checking
10310         opt.excludes.
10311
10312         * html.c (htmlfindurl): Recognize <applet code=...> and <script
10313         src=...>
10314
10315 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
10316
10317         * ftp.c (getftp): Do not line-break assert entries at all.
10318         (ftp_retrieve_dirs): docfix.
10319
10320         * connect.c (select_fd): Use fd + 1 as nfds.
10321
10322         * version.c: Changed version to 1.4b29.
10323
10324 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
10325
10326         * version.c: "Released" 1.4b28.
10327
10328         * ftp.c (ftp_loop_internal): Check whether f->size == len and
10329         don't continue the loop if it is.
10330         (ftp_get_listing): Remove list_filename on unsuccesful loop.
10331
10332 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
10333
10334         * ftp.c (ftp_loop_internal): Use strcpy to initialize tmp.
10335         (getftp): Do not use multiline assert.
10336
10337         * http.c (hparsestatline): Use mjr and mnr instead of major and
10338         minor, which don't compile on Ultrix.
10339         (http_loop): Use strcpy() to initialize tmp.
10340
10341         * all: Geturl -> Fetch
10342
10343 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
10344
10345         * recur.c (parse_robots): Fixed an off-by-one bug when looking for
10346         ':'.
10347
10348         * html.c (htmlfindurl): Fixed several possible off-by-one bugs by
10349         moving `bufsize &&' to the beginning of each check in for-loops.
10350
10351         * recur.c (parse_robots): Close fp on exit.
10352
10353         * url.c (mymkdir): Check for each directory before creating.
10354
10355 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
10356
10357         * version.c: Changed version to 1.4b28.
10358
10359 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
10360
10361         * version.c: "Released" 1.4b27.
10362
10363         * init.c (parse_line): Use isspace.
10364         (parse_line): Free *com on all errors.
10365
10366         * ftp.c (ftp_loop): Change FTPOK to RETROK before exiting.
10367         (delelement): Use next instead of f->next and prev instead of
10368         f->prev.
10369         (delelement): Free the members of the deleted element.
10370
10371         * http.c (http_loop): Do not return RETROK on code != 20x.
10372
10373         * init.c (cleanup): Free opt.user_header.
10374         (cleanup): Free opt.domains.
10375
10376         * url.c (freelists): Moved to cleanup().
10377
10378         * http.c (hparsestatline): Docfix.
10379
10380         * main.c (main): Return with error status on unsuccesful
10381         retrieval.
10382
10383         * init.c (setval): Do not remove listing when mirroring.
10384
10385         * url.c (url_filename): Use opt.fileprefix.
10386
10387         * ftp.c (ftp_get_listing): Use url_filename to get filename for
10388         .listing.
10389
10390         * main.c (main): New option: -rn.
10391
10392 1996-10-15  Hrvoje Niksic  <hniksic@srce.hr>
10393
10394         * Makefile.in (RM): Added RM = rm -f.
10395
10396         * host.c (clean_hosts): New function.
10397         (free_hlist): Just free the list, no reset.
10398
10399         * version.c: Changed version to 1.4b27.
10400
10401 1996-10-13  Hrvoje Niksic  <hniksic@srce.hr>
10402
10403         * version.c: "Released" 1.4b26.
10404
10405         * retr.c (retrieve_from_file): If call get_urls_html with
10406         opt.spider to make it silent in spider mode.
10407
10408         * url.c (str_url): Use CLEANDUP instead of URL_CLEANSE.
10409
10410         * url.h (CLEANDUP): New macro.
10411
10412         * http.c (gethttp): Fixed a bug that freed location only when it
10413         was NULL.
10414
10415         * retr.c (retrieve_url): Free url if it will not be stored,
10416         i.e. newloc is NULL.
10417
10418         * html.c (htmlfindurl): Handle exiting from quotes correctly; the
10419         old version would bug out on <a href="x#a"href="y">.
10420
10421         * html.h (state_t): New member in_quote.
10422
10423         * html.c (htmlfindurl): Free s->attr at the beginning of
10424         attr-loop.
10425
10426         * recur.c (recursive_retrieve): Recognize RCLEANUP.
10427         (tried_robots): Make hosts a global variable.
10428         (recursive_retrieve): Free constr after URL host optimization.
10429         (tried_robots): Free urlinfo before exiting.
10430
10431         * utils.c (free_slist): New function.
10432
10433         * recur.c (recursive_retrieve): Use flags to add cleanup
10434         possibility.
10435
10436         * main.c (main): Free filename after recursive_retrieve.
10437
10438         * http.c (gethttp): Store successful responses too.
10439
10440 1996-10-12  Hrvoje Niksic  <hniksic@srce.hr>
10441
10442         * all: Constified the whole source.  This required some minor
10443         changes in many functions in url.c, possibly introducing bugs -- I
10444         hope not.
10445
10446         * ftp-basic.c: Removed last_respline.
10447
10448         * http.c (gethttp): Free type.
10449
10450         * host.c (same_host): Free real1 and real2.
10451
10452         * main.c (main): New option --spider.
10453
10454         * retr.c (get_contents): Don't reset errno.
10455
10456         * main.c (main): Sorted the options.
10457
10458         * connect.c (iread): Set errno to ETIMEDOUT only if it was left
10459         uninitialized by select().
10460
10461         * http.c (http_loop): Print the time when the connection is
10462         closed.
10463         (gethttp): Debug-print the HTTP request.
10464
10465 1996-10-11  Hrvoje Niksic  <hniksic@srce.hr>
10466
10467         * connect.c (iread): Do not try reading after timeout.
10468
10469         * main.c (main): Would bug out on -T.
10470
10471         * connect.c (select_fd): Do not use exceptfds.
10472         (iread): Set ETIMEDOUT on select_fd <= 0.
10473
10474         * version.c: Changed version to 1.4b26.
10475
10476 1996-10-10  Hrvoje Niksic  <hniksic@srce.hr>
10477
10478         * version.c: "Released" 1.4b25.
10479
10480         * ftp-unix.c (ftp_parse_unix_ls): Ignore lines without file name
10481         or link name.
10482
10483         * http.c (gethttp): Add errcode to struct hstat.
10484         (http_loop): Use it.
10485
10486         * url.c (no_proxy_match): Simplify using char** for no_proxy.
10487
10488         * options.h (struct options): Make opt.no_proxy a vector.
10489
10490         * utils.c (sepstring): Use !*s instead of !strlen(s).
10491
10492         * init.c (setval): Set opt.maxreclevel to 0 on --mirror.
10493         (getperms): Use ISODIGIT instead of isdigit.
10494
10495         * ftp.c (getftp): Print time.
10496
10497         * main.c (main): Use legible output of downloaded quantity.
10498
10499         * ftp.c (getftp): Use elapsed_time().
10500         (ftp_loop_internal): Use rate().
10501
10502         * http.c (http_loop): Add download ratio output; Use rate().
10503
10504         * utils.c (rate): New function.
10505
10506 1996-10-09  Hrvoje Niksic  <hniksic@srce.hr>
10507
10508         * http.c (http_loop): Use timer.
10509
10510         * ftp.c: Split to ftp-basic.c and ftp.c
10511
10512         * utils.c (reset_timer): New function.
10513         (elapsed_time): New function.
10514
10515         * retr.c (show_progress): Make bytes_in_line and offs long; should
10516         work on 16-bit machines.
10517
10518 1996-10-08  Hrvoje Niksic  <hniksic@srce.hr>
10519
10520         * url.c (in_acclist): New argument backward.
10521
10522         * ftp.c (ftp_retrieve_glob): Use acceptable() to determine whether
10523         a file should be retrieved according to suffix.
10524         (ftp_get_listing): Check the return value of unlink; Do not call
10525         ftp_retrieve_dirs if depth reached maxreclevel.
10526         (ftp_retrieve_dirs): Check whether the directory is in
10527         exclude-list.
10528
10529         * main.c (main): Print the version number at the beginning of
10530         DEBUG output.
10531         (main): Use strrchr when creating exec_name.
10532
10533         * ftp.c (ftp_retrieve_glob): Do not close control connection.
10534
10535         * version.c: Changed version to 1.4b25.
10536
10537 1996-10-07  Hrvoje Niksic  <hniksic@srce.hr>
10538
10539         * version.c: "Released" 1.4b24.
10540
10541         * Makefile.in: Rewrite.
10542
10543         * ftp.c (ftp_loop_internal): Likewise.
10544
10545         * retr.c (time_str): Check for failed time().
10546
10547         * html.c (htmlfindurl): Recognize <fig src> and <overlay src> from
10548         HTML3.0.
10549
10550         * retr.c (time_str): Return time_t *.
10551
10552         * connect.c (bindport): Close msock on unsuccesful bind.
10553         (bindport): The same for getsockname and listen.
10554
10555         * retr.c (retrieve_url): Allow any number of retries on
10556         proxy.
10557
10558         * http.c (gethttp): Do not treat errno == 0 as timeout.
10559         (http_loop): Likewise.
10560         (http_loop): Cosmetic changes.
10561
10562         * connect.c (iread): Set errno to ETIMEDOUT in case of timeout.
10563
10564         * retr.c (get_contents): Reset errno.
10565
10566         * ftp.c (getftp): Minor fixes.
10567
10568 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
10569
10570         * http.c: Do not use backups.
10571
10572         * geturl.1 (WARNING): Warn that man-page could be obsolete.
10573
10574         * getopt.c (getopt_long): Moved to getopt.c
10575
10576         * geturl.texi: Enhanced.
10577
10578         * main.c (main): Use it.
10579
10580         * recur.c (convert_all_links): New function.
10581
10582         * utils.c (add_slist): New argument flags.
10583
10584         * recur.c (recursive_retrieve): Update a list of downloaded URLs.
10585         (parse_robots): Do not chuck out empty value fields.
10586         (parse_robots): Make yourself welcome on empty Disallow.
10587
10588         * version.c: Changed version to 1.4b24.
10589
10590 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
10591
10592         * version.c: "Released" 1.4b23.
10593
10594         * ftp.c (ftp_loop_internal): Get the time after getftp.
10595
10596         * Makefile.in (install.info): New target.
10597         (install): Use it.
10598
10599         * http.c (http_loop): Fix output when doing -O.
10600
10601 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
10602
10603         * geturl.texi: New file.
10604
10605         * main.c (main): Do not print the warnings and download summary if
10606         opt.quiet is set.
10607
10608         * version.c: Changed version to 1.4b23.
10609
10610 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
10611
10612         * "Released" 1.4b22.
10613
10614         * atotm.c (atotm): Use True and False instead of TRUE and FALSE,
10615         to avoid redefinition warnings.
10616
10617         * host.c (store_hostaddress): Use memcpy() to copy the address
10618         returned by inet_addr.
10619
10620         * version.c: Changed version to 1.4b22.
10621
10622 1996-10-04  Hrvoje Niksic  <hniksic@srce.hr>
10623
10624         * version.c: "Released" 1.4b21.
10625
10626         * ftp-unix.c (ftp_parse_ls): Renamed to ftp_parse_unix_ls.
10627
10628         * ftp.c (ftp_port): Use conaddr.
10629         (getftp): Print the file length.
10630         (ftp_retrieve_list): Check the stamps of plain files only.
10631
10632         * connect.c (closeport): Do not call shutdown().
10633         (conaddr): New function.
10634
10635         * html.c (ftp_index): Made it dfp-aware.
10636
10637         * init.c (cleanup): New name of freemem. Close opt.dfp.
10638
10639         * ftp.c (getftp): Use opt.dfp if it is set.
10640
10641         * ftp-unix.c (ftp_parse_ls): Recognize time in h:mm format.
10642
10643         * ftp.c (ftp_retrieve_dirs): Fixed a bug that caused incorrect
10644         CWDs to be sent with recursive FTP retrievals.
10645
10646 1996-10-03  Hrvoje Niksic  <hniksic@srce.hr>
10647
10648         * recur.c (parse_robots): Made it more compliant with "official"
10649         specifications.
10650
10651         * http.c: New function.
10652
10653         * ftp-unix.c (ftp_parse_ls): Added better debug output.
10654
10655         * ftp.c (getftp): Print out the LIST in case of
10656         opt.print_server_response.
10657
10658         * version.c: Changed version to 1.4b21.
10659
10660 1996-10-01  Hrvoje Niksic  <hniksic@srce.hr>
10661
10662         * version.c: "Released" 1.4b20.
10663
10664         * README: Update.
10665
10666         * http.c (gethttp): Preset lengths of various headers instead of
10667         calculating them dynamically.
10668         (gethttp): Check for 206 partial contents.
10669
10670 1996-09-30  Hrvoje Niksic  <hniksic@srce.hr>
10671
10672         * configure.in: Set SYSTEM_GETURLRC to $libdir/geturlrc
10673
10674         * http.c (gethttp): Send the port number in the Host: header.
10675
10676 1996-09-29  Hrvoje Niksic  <hniksic@srce.hr>
10677
10678         * http.c (gethttp): Send host: header.
10679         (gethttp): Add the possibility of user-defined headers.
10680         (gethttp): Move decision about pragma: no-cache to http_loop,
10681         where it belongs.
10682         (gethttp): Pass a struct instead of enormous argument list.
10683         (http_loop): Use a new, fancier display format.
10684         (ftp_loop): Likewise.
10685
10686         * main.c: (hangup): Turn off buffering of the new log file.
10687
10688         * install-sh: Likewise.
10689
10690         * config.sub: Replace with the one in autoconf-2.10
10691
10692         * geturl.1: Update.
10693
10694         * init.c: New options httpuser and httppasswd.
10695
10696         * http.c: (base64_encode_line): New function.
10697         (gethttp): Send authentication.
10698
10699         * connect.c (make_connection): Use store_hostaddress.
10700
10701 1996-09-28  Hrvoje Niksic  <hniksic@srce.hr>
10702
10703         * host.c (store_hostaddress): New function.
10704
10705         * NEWS: Update.
10706
10707         * http.c (hgetrange): New function.
10708         (gethttp): Use ranges.
10709
10710         * utils.c (numdigit): Accept long instead of int.
10711
10712         * http.c (http_loop): Add restart capabilities.
10713
10714         * ftp.c (ftp_retrieve_glob): Fixed a bug that could cause matchres
10715         being used uninitialized.
10716         (ftp_retrieve_list): Similar fix.
10717
10718         * host.c (add_hlist): Fixed a bug that could cause cmp being used
10719         uninitialized.
10720
10721         * url.c (construct_relative): New function.
10722
10723         * recur.c (recursive_retrieve): Use it.
10724
10725         * retr.c (convert_links): New function.
10726
10727 1996-09-27  Hrvoje Niksic  <hniksic@srce.hr>
10728
10729         * url.c (free_urlpos): New function.
10730
10731         * recur.c (recursive_retrieve): Adapt.
10732
10733         * url.c (get_urls_html): Return a linked list instead of a vector.
10734
10735         * url.c (get_urls_file): Return a linked list instead of a vector.
10736
10737         * geturl.1: Update.
10738
10739         * http.c (gethttp): Implement it.
10740
10741         * init.c (setval): New option: SAVEHEADERS
10742
10743         * ftp.c (ftp_loop_internal): Do not set restval if listing is to
10744         be retrieved. Lack of this test caused bugs when the connection
10745         was lost during listing.
10746
10747         * retr.c (retrieve_url): Fixed a bug that caused
10748         coredumps. *newloc is now reset by default.
10749         (retrieve_url): Lift the twenty-tries limit on proxies.
10750
10751         * version.c: Changed version to 1.4b20.
10752
10753 1996-09-20  Hrvoje Niksic  <hniksic@srce.hr>
10754
10755         * version.c: "Released" 1.4b19.
10756
10757 1996-09-19  Hrvoje Niksic  <hniksic@srce.hr>
10758
10759         * ftp.c (ftp_loop_internal): Renamed from ftp_1fl_loop.
10760         (getftp): Changed prototype to accept ccon *.
10761
10762 1996-09-17  Hrvoje Niksic  <hniksic@srce.hr>
10763
10764         * ftp.c (ftp_retrieve_list): Fixed a bug that caused setting
10765         incorrect values to files pointed to by symbolic links.
10766         (ftp_1fl_loop): Do not count listings among the downloaded URL-s.
10767
10768 1996-09-16  Hrvoje Niksic  <hniksic@srce.hr>
10769
10770         * url.c (mkstruct): Do not prepend "./" in front of a pathname.
10771
10772         * main.c (main): New option: --user-agent.
10773
10774         * geturl.1: Ditto.
10775
10776         * init.h: Ditto.
10777
10778         * init.c (setval): Ditto.
10779
10780         * main.c (main): Rename "server-headers" to "server-response".
10781
10782         * ftp-unix.c (ftp_parse_ls): Check for asterisks at the end of
10783         executables in 'ls -F' listings.
10784
10785 1996-09-15  Hrvoje Niksic  <hniksic@srce.hr>
10786
10787         * url.c (parseurl): Remove realloc() and sprintf().
10788         (str_url): Get rid of sprintf().
10789
10790         * recur.c (recursive_retrieve): Enable FTP recursion through proxy
10791         servers.
10792
10793         * url.h (URL_CLEANSE): Made it else-resistant.
10794         (USE_PROXY): New macro.
10795
10796 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
10797
10798         * NEWS: Update.
10799
10800         * version.c: Changed version to 1.4b19.
10801
10802 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
10803
10804         * version.c: "Released" 1.4b18.
10805
10806         * url.c: Made it reallocate space exponentially.
10807
10808 1996-09-14  Drazen Kacar  <dave@fly.cc.fer.hr>
10809
10810         * html.c (htmlfindurl): Added <frame src> and <iframe src> among
10811         the list of stuff to fetch.
10812
10813 1996-09-13  Hrvoje Niksic  <hniksic@srce.hr>
10814
10815         * url.c (get_urls_html): Fixed a bug that caused SIGSEGV's with
10816         -Fi.
10817
10818         * html.c (htmlfindurl): Rewrite.
10819
10820         * http.c (gethttp): Use opt.proxy_cache.
10821
10822         * main.c (main): Added --cache option.
10823
10824         * ftp.c (ftp_response): Print server response if opt.print_server
10825         response is set.
10826         (getftp): Print newlines after each request if the server response
10827         is to be printed.
10828         (ftp_response): Copy the last response line to last_respline.
10829
10830         * http.c (gethttp): Add Pragma: nocache for retried
10831         proxy-retrievals.
10832
10833         * ftp.c (getftp): Use it.
10834
10835         * retr.c (buf_discard): New function.
10836
10837         * ftp.c (ftp_response): Use buf_readchar().
10838         (getftp): Flush the control connection buffer before calling
10839         get_contents().
10840
10841         * retr.c (buf_readchar): New function.
10842         (buf_flush): New function.
10843         (get_contents): Use buf_readchar() instead of read(x, x, 1).
10844         (get_contents): Use buf_flush.
10845
10846 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
10847
10848         * ftp.c: Incorporate changes to ftp_response.
10849
10850         * ftp.c (ftp_response): Allocate the server response dynamically,
10851         as in read_whole_line and fetch_next_header.
10852
10853         * utils.c (read_whole_line): Fixed a bug that prevented reading
10854         the last line if it is not \n-terminated. Also fixed a possible
10855         memory overflow.
10856
10857         * http.c (fetch_next_header): Return malloc-ed string as large as
10858         needed.
10859         (gethttp): Use new fetch_next_header.
10860
10861 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
10862
10863         * http.c (hgetlen): Compute the header length the first time only.
10864         (hgettype): Ditto.
10865         (hgetlocation): Ditto.
10866         (hgetmodified): Ditto.
10867
10868 1996-09-11  Hrvoje Niksic  <hniksic@srce.hr>
10869
10870         * sample.geturlrc: Update.
10871
10872 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
10873
10874         * http.c (http_loop): Ditto.
10875
10876         * ftp.c (getftp): Open the output file as binary.
10877
10878         * version.c: Changed version to 1.4b18.
10879
10880 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
10881
10882         * version.c: "Released" 1.4b17.
10883
10884         * ftp-unix.c (ftp_parse_ls): If unable to open file, return NULL
10885         instead of failed assertion.
10886
10887 1996-09-09  Hrvoje Niksic  <hniksic@srce.hr>
10888
10889         * ftp.c (ftp_get_listing): Add a numbered suffix to LIST_FILENAME
10890         if a file of that name already exists.
10891
10892 1996-09-05  Hrvoje Niksic  <hniksic@srce.hr>
10893
10894         * ftp.c (ftp_1fl_loop): Handler FTPPORTERR and FOPENERR correctly.
10895
10896         * config.h.in: Define gethostbyname as Rgethostbyname when using
10897         Socks.
10898
10899         * configure.in: Check for -lresolv if using Socks.
10900
10901         * version.c: Changed version to 1.4b17.
10902
10903 1996-07-15  Hrvoje Niksic  <hniksic@srce.hr>
10904
10905         * version.c: "Released" 1.4b16.
10906
10907         * http.c (gethttp): More intelligent check for first line of HTTP
10908         response.
10909         (gethttp): Would bug out on time-stamping.
10910
10911         * version.c: Changed version to 1.4b16.
10912
10913 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
10914
10915         * version.c: Released 1.4b15.
10916
10917         * http.c (http_loop): Print \n after the loop entry, not before.
10918
10919         * url.c (url_filename): Use ISDOT.
10920
10921         * url.h (ISDOT): New macro.
10922
10923         * recur.c (recursive_retrieve): Change only opt.recursive for
10924         following FTP.
10925
10926 1996-07-11  Antonio Rosella <antonio.rosella@agip.it>
10927
10928         * socks/geturl.cgi: Fixed version No.
10929
10930         * socks/download-netscape.html: Ditto.
10931
10932         * socks/download.html: Changed socks.html to download.html.
10933
10934 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
10935
10936         * url.c (url_filename): Check for opt.dirstruct instead for
10937         opt.recursive && opt.dirstruct.
10938
10939         * init.c (defaults): Ditto.
10940         (defaults): Reset dirstruct by default.
10941         (setval): Set opt.dirstruct whenever setting recursive.
10942
10943         * init.h: Removed FORCEDIRHIER.
10944
10945         * INSTALL: Added -L to socks-description.
10946
10947         * version.c: Changed version to 1.4b15.
10948
10949 1996-07-10  Hrvoje Niksic  <hniksic@srce.hr>
10950
10951         * version.c: "Released" 1.4b14.
10952
10953         * geturl.1: Update AUTHOR to include Rosella as contributor.
10954
10955         * NEWS: Update.
10956
10957         * socks/geturl.cgi: Simplified command creation, nuked <blink>.
10958
10959         * socks/geturl.cgi: Wrap nutscape extensions within if $netscape.
10960         (cal_time): Fix == to eq.
10961
10962         * socks/geturl.cgi: GPL-ized with permission of A. Rosella.
10963
10964         * geturl.1 (hostname): Moved URL CONVENTIONS to the beginning.
10965
10966         * Makefile.in: Use @VERSION@.
10967
10968         * configure.in: Check version from version.c.
10969
10970         * socks/geturl.cgi: Changed /pub/bin/perl to /usr/bin/perl.
10971
10972         * socks/download.html: Created from download-netscape.html, made
10973         HTML-2.0 compliant.
10974
10975         * recur.c (recursive_retrieve): Set opt.force_dir_hier when
10976         following FTP links from recursions.
10977
10978 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
10979
10980         * url.c (mymkdir): Fixed a bug that prevented mymkdir() to create
10981         absolute directories correctly.
10982
10983         * version.c: Changed version to 1.4b14.
10984
10985 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
10986
10987         * version.c: "Released" 1.4b13.
10988
10989         * url.c (make_backup): New function.
10990
10991         * http.c (http_loop): Make a backup copy of the local file (using
10992         rename(2)) before opening it.
10993
10994         * main.c (main): Added --backups.
10995
10996         * host.c (ftp_getaddress): Bail out on failed mycuserid().
10997         (ftp_getaddress): Check for leading dot on MY_DOMAIN.
10998         (ftp_getaddress): Check for empty, null or (null) domain.
10999
11000         * url.c (get_urls_html): If this_url is NULL, the base must have a
11001         protocol.
11002         (parseurl): Use has_proto.
11003
11004         * retr.c (retrieve_url): Warn when proxy is used with more than 20
11005         retries.
11006
11007         * url.c (mkstruct): Create the directory (calling mymkdir()) only
11008         if it is not already there.
11009         (has_proto): New function.
11010         (get_urls_html): Eliminate the remaining call to findurl -- use
11011         has_proto.
11012
11013         * geturl.1: Ditto.
11014
11015         * main.c: Change -X to -x.
11016
11017         * url.c (url_filename): Simplify creation of filename if
11018         prefix_files is set.
11019         (url_filename): Simplify everything. And I do mean *everything*.
11020         (mkstruct): Add dir_prefix before hostname.
11021         (path_simplify): Fixed a bug that caused writing outside the path
11022         string in case of "." and ".." path strings.
11023
11024 1996-07-06  Hrvoje Niksic  <hniksic@srce.hr>
11025
11026         * init.c: Added --mirror.
11027
11028         * main.c (main): Added -X to force saving of directory hierarchy.
11029
11030         * ftp.c (ftp_retrieve_list): Added recursion depth counter.
11031         (ftp_retrieve_list): Check whether quota is exceeded.
11032
11033         * url.c (get_urls_html): Skip leading blanks for absolute URIs.
11034
11035         * http.c (gethttp): Use referer if present.
11036
11037         * recur.c (recursive_retrieve): Set u->referer before calling
11038         retrieve_url.
11039
11040         * url.c (newurl): Use memset to nullify the struct members.
11041         (freeurl): Free the referer field too.
11042
11043         * url.h: Added referer to urlinfo.
11044
11045         * geturl.1: Updated the manual to document some of the new features.
11046
11047         * utils.c (numdigit): Moved from url.c.
11048
11049         * README: Rewritten.
11050
11051         * config.h.in: Add the support for socks.
11052
11053         * configure.in: Add the support for socks.
11054
11055         * url.c (url_filename): If the dir_prefix is ".", work with just
11056         the file name.
11057         (url_filename): Do not look for .n extensions if timestamping if
11058         turned on.
11059
11060         * retr.c (show_progress): Skip the over-abundant restval data, and
11061         print the rest of it with ',' instead of '.'.
11062
11063 1996-07-05  Hrvoje Niksic  <hniksic@srce.hr>
11064
11065         * retr.c (show_progress): Changed second arg. to long (as it
11066         should be).
11067         (show_progress): Moved to retr.c.
11068         (get_contents): Moved to retr.c.
11069
11070         * version.c: Change version to 1.4b13.
11071
11072 1996-07-05  Hrvoje Lacko <hlacko@fly.cc.fer.hr>
11073
11074         * url.c (in_acclist): Would return after the first suffix.
11075
11076 1996-07-04  Hrvoje Niksic  <hniksic@srce.hr>
11077
11078         * version.c: "Released" 1.4b12.
11079
11080         * url.c (path_simplify): More kludgifications.
11081         (get_urls_html): Use new parameters for htmlfindurl.
11082
11083         * html.c: Removed memorizing "parser states", since the new
11084         organization does not require them.
11085
11086         * init.c (run_geturlrc): Use read_whole_line.
11087
11088         * ftp-unix.c (ftp_parse_ls): Use read_whole_line.
11089
11090         * recur.c (parse_robots): Use read_whole_line.
11091
11092         * utils.c (read_whole_line): New function.
11093
11094         * recur.c (tried_robots): Use add_slist/in_slist, *much* cleaner.
11095
11096         * host.c (ngethostbyname): Call inet_addr just once. Yet to be
11097         tested on OSF and Ultrix.
11098         (add_hlist): New function.
11099         (free_hlist): New function.
11100         (search_host): New function.
11101         (search_address): New function.
11102         (realhost): Use search_host, search_address and add_hlist.
11103         (same_host): Replaced realloc() with strdupdelim(), made
11104         case-insensitive, fixed a memory leak.
11105
11106         * html.c (ftp_index): Fixed tm_min and tm_sec to be tm_hour and
11107         tm_min, like intended.
11108
11109         * version.c: Change user agent information to
11110         Geturl/version.
11111
11112 1996-07-03  Hrvoje Niksic  <hniksic@srce.hr>
11113
11114         * utils.c: Renamed nmalloc.c to utils.c, .h likewise.
11115
11116         * url.c (acceptable): Always accept directories.
11117
11118         * ftp-unix.c (ftp_parse_ls): Support brain-damaged "ls -F"-loving
11119         servers by stripping trailing @ from symlinks and trailing / from
11120         directories.
11121
11122         * ftp.c (ftp_loop): Debugged the "enhanced" heuristics. :-)
11123
11124         * url.c (skip_url): Use toupper instead of UCASE.
11125
11126         * host.c (sufmatch): Made it case-insensitive.
11127
11128         * url.c (match_backwards_or_pattern): Fixed i == -1 to j == -1.
11129         (match_backwards): New function, instead of
11130         match_backwards_or_pattern.
11131
11132         * recur.c (recursive_retrieve): Increased performance by
11133         introducing inl, which reduces number of calls to in_slist to only
11134         one.
11135
11136         * ftp.c (ftp_loop): Enhanced the heuristics that decides which
11137         routine to use.
11138
11139         * main.c (printhelp): Removed the warranty stuff.
11140
11141 1996-07-02  Hrvoje Niksic  <hniksic@srce.hr>
11142
11143         * url.c (add_slist): Simplify.
11144         (match_backwards_or_pattern): New function.
11145         (in_acclist): Use match_backwards_or_pattern.
11146         (matches): Remove.
11147
11148 1996-06-30  Hrvoje Niksic  <hniksic@srce.hr>
11149
11150         * ftp.c (ftp_loop): Call ftp_index on empty file names, if not
11151         recursive.
11152
11153         * html.c (ftp_index): Fixed to work. Beautified the output.
11154
11155         * ftp.c (ftp_retrieve_glob): Another argument to control whether
11156         globbing is to be used.
11157         (ftp_retrieve_list): Compare the time-stamps of local and remote
11158         files to determine whether to download.
11159
11160 1996-06-29  Hrvoje Niksic  <hniksic@srce.hr>
11161
11162         * ftp.c (rel_constr): New function.
11163
11164         * retr.c (retrieve_from_file): Check for text/html before
11165         retrieving recursively.
11166
11167         * main.c (main): Check whether the file is HTML before going into
11168         recursive HTML retrieving.
11169
11170         * ftp.c (ftp_retrieve_list): Manage directories.
11171         (ftp_retrieve_glob): Pass all the file-types to ftp_retrieve_list.
11172         (ftp_1fl_loop): Fixed a bug that caused con->com to be incorrectly
11173         initialized, causing bugchecks in getftp to fail.
11174
11175         * configure.in: Check for symlink.
11176
11177         * ftp.c (ftp_retrieve_list): Added support for symlinks.
11178
11179         * version.c: "Released" 1.4b10.
11180
11181         * atotm.c (atotm): Redeclared as time_t.
11182
11183         * init.c: New variable "timestamping".
11184
11185         * main.c (main): New option 'N'.
11186
11187         * http.c (hgetlocation): Case-insensitive match.
11188         (hgetmodified): New function.
11189         (http_loop): Implement time-stamping.
11190
11191 1996-06-28  Hrvoje Niksic  <hniksic@srce.hr>
11192
11193         * version.c: Changed version to 1.4b10
11194
11195         * atotm.c: New file, from phttpd.
11196
11197         * options.h (struct options): New parameter timestamping.
11198
11199         * version.c: 1.4b9 "released".
11200
11201         * recur.c (recursive_retrieve): Used linked list (ulist) for
11202         faster storing of URLs.
11203
11204         * url.c (get_urls_html): Removed the old kludge with comparing the
11205         outputs of htmlfindurl and findurl.
11206         (get_urls_html): Added better protocol support here.
11207         (create_hash): Removed, as well as add_hash and in_hash.
11208         (addslist): New function.
11209         (in_slist): ditto
11210
11211         * version.c: Released 1.4b8, changed version to b9.
11212
11213 1996-06-27  Hrvoje Niksic  <hniksic@srce.hr>
11214
11215         * ftp.c (freefileinfo): New function.
11216         (delelement): New function.
11217
11218         * everywhere: GPL!
11219
11220         * ftp.c (ftp_loop): Use ccon.
11221         (ftp_retrieve_glob): Likewise.
11222
11223         * ftp.h: Define ccon, to define status of control connection.
11224
11225         * ftp.c (ftp_get_listing): New function.
11226         (ftp_retrieve_more): New function.
11227         (ftp_retrieve_glob): New function.
11228
11229 1996-06-25  Hrvoje Niksic  <hniksic@srce.hr>
11230
11231         * configure.in: Removed the search for cuserid().
11232
11233         * init.c (getmode): Renamed to getperms.
11234
11235 1996-06-24  Hrvoje Niksic  <hniksic@srce.hr>
11236
11237         * version.c: New version.
11238
11239         * main.c (hangup): New function, that handles hangup. Hangup
11240         signal now causes geturl to stop writing on stdout, and to write
11241         to a log file.
11242
11243         * ftp.c (getftp): "Released" 1.4b7.
11244
11245         * html.c (htmlfindurl): Ignore everything inside <head>...</head>.
11246         (ftp_index): Use fileinfo/urlinfo.
11247
11248         * ftp-unix.c (ftp_parse_ls): New function.
11249         (symperms): New function.
11250
11251         * ftp.c (ftp_1fl_loop): New function, to handle 1-file loops.
11252
11253         * retr.c (retrieve_url): Added FTP support.
11254
11255 1996-06-23  Hrvoje Niksic  <hniksic@srce.hr>
11256
11257         * geturl.h: Removed NOTFTP2HTML enum.
11258         Added DO_LOGIN, DO_CWD and DO_LIST. LIST_ONLY is obsolete.
11259
11260         * ftp.c (getftp): Resynched with urlinfo.
11261         (getftp): Removed HMTL-ization of index.html from getftp.
11262
11263         * version.c: 1.4b6 "released".
11264
11265         * options.h (options): New struct, to keep options in.
11266
11267         * http.c (http_loop,gethttp): Synched with proxy.
11268
11269         * retr.c (retrieve_url): Implemented proxy retrieval.
11270
11271         * main.c (main): Use retrieve_from_file.
11272
11273 1996-06-22  Hrvoje Niksic  <hniksic@srce.hr>
11274
11275         * retr.c (retrieve_from_file): New function.
11276
11277         * url.c (parseurl): Modified to return URLOK if all OK. Protocol
11278         can be found in u->proto.
11279
11280         * ftp.c (ftp_response): Fixed to accept multi-line responses as
11281         per RFC 959.
11282
11283         * recr.c (recursive_retrieve): Take newloc from retrieve_url.
11284
11285         * url.c (mymkdir): Removed the file of the same name, if one
11286         exists.
11287         (isfile): New function.
11288         (mkstruct): Fixed the '/' glitches.
11289         (path_simplify): Hacked to treat something/.. correctly.
11290
11291 1996-06-21  Hrvoje Niksic  <hniksic@srce.hr>
11292
11293         * http.c (gethttp): Close the socket after error in headers.
11294         (http_loop): HEOF no longer a fatal header.
11295
11296         * loop.c (retrieve_url): When dt is NULL, do not modify it. This
11297         simplifies the syntax of calling retrieve_url.
11298
11299         * recr.c (recursive_retrieve): Modified to use get_urls_html.
11300
11301         * url.c (get_urls_file): New function.
11302         (get_urls_html): New function.
11303
11304         * recr.c (recursive_retrieve): Patched up to conform to the
11305         standards.
11306
11307         * http.c (gethttp): Synched with the rest...
11308         (gethttp): Treat only CONREFUSED specially, with connection
11309         errors.
11310
11311         * init.c,geturl.1,http.c (http_loop): Removed kill_error.
11312
11313 1996-06-20  Hrvoje Niksic  <hniksic@srce.hr>
11314
11315         * http.c (http_loop): New function.
11316
11317         * loop.c: Removed *lots* of stuff from retrieve_url.
11318
11319         * url.c (parseurl): Changed to work with urlinfo. Integrated
11320         username finding and path parsing.
11321         (newurl): New function.
11322         (freeurl): New function.
11323         (mkstruct): Removed the old bogosities, made it urlinfo-compliant.
11324         (url_filename): Likewise.
11325         (path_simplify): Accept relative paths too.
11326         (opt_url): Made urlinfo-compliant, removed bogosities.
11327         (path_simplify): Expanded to accept relative paths.
11328         (str_url): A replacement for hide_url
11329         (decode_string): Fixed a bug that caused malfunctioning when
11330         encountering an illegal %.. combination.
11331         (opt_url): Removed the argument. Dot-optimizations are now default.
11332
11333         * nmalloc.c (strdupdelim): New function.
11334
11335         * url.h: Added the urlinfo structure
11336
11337 1996-06-19  Hrvoje Niksic  <hniksic@srce.hr>
11338
11339         * url.c (hide_url): Thrown out the protocol assertion. Do not
11340         change the URL if the protocol if not recognized.
11341         (findurl): Put continue instead of break.
11342
11343 1996-06-18  Hrvoje Niksic  <hniksic@srce.hr>
11344
11345         * sample.geturlrc: Changed the defaults to be commented out and
11346         harmless (previous defaults caused pains if copied to
11347         ~/.geturlrc).
11348
11349         * http.c (gethttp): Print the HTTP request in debug mode.
11350
11351         * connect.c (iread): Added EINTR check loop to select-ing
11352         too. EINTR is now correctly handled with select().
11353
11354         * TODO: new file
11355
11356 1996-05-07  Hrvoje Niksic  <hniksic@srce.hr>
11357
11358         * host.c (same_host): Made the function a little bit more
11359         intelligent regarding diversified URL syntaxes.
11360
11361         * url.c (skip_url): Spaces are now skipped after URL:
11362
11363         * Released 1.3.1 with the patch to prevent crashing when sending
11364         NULL to robot* functions and the patch to compile "out of the box"
11365         on AIX.
11366
11367         * recr.c (recursive_retrieve): Added checking whether this_url is
11368         NULL when calling the robot functions.
11369
11370         * ChangeLog: New file.