sjero.net Git - wget/blob - src/ChangeLog

   1 2005-04-10  Hrvoje Niksic  <hniksic@xemacs.org>
   2
   3         * wget.h (DEBUGP): Use __builtin_expect to give a hint to GCC that
   4         opt.debug is false in the vast majority of cases.
   5
   6 2005-04-10  Hrvoje Niksic  <hniksic@xemacs.org>
   7
   8         * config-post.h: Declare alloca as void *, not char *.
   9
  10 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
  11
  12         * recur.c (download_child_p): When -p is used, (temporarily)
  13         ignore accept/reject rules for HTMLs, even when they are at the
  14         maximum recursion depth.  That is because with -p we are, if
  15         necessary, overstepping the max. depth to get the requisites.
  16
  17 2004-06-12  Larry Jones <lawrence.jones@ugsplm.com>
  18
  19         * recur.c (download_child_p): Correct the logic in check number 6:
  20         test opt.reclevel (not DEPTH) against INFINITE_RECURSION.
  21
  22 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
  23
  24         * url.c: Use "static const" in preference to "const static".
  25         Sun's cc warns that "storage class after type is obsolescent".
  26
  27         * url.c (urlchr_table): Don't mark ~ as unsafe, too many broken
  28         web sites are confused when ~ is changed to %7E.  Their servers
  29         redirect /%7Efoo/ to /~foo/, which Wget again accesses using %7E,
  30         causing further redirections, therefore looping infinitely.  See
  31         Debian bug #301624 for an example.
  32
  33 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
  34
  35         * alloca.c: Include wget.h to be able to use xmalloc.  In addition
  36         to defining malloc to xmalloc, also define free to xfree.
  37
  38 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
  39
  40         * http-ntlm.c (ntlm_output): Use "char", not "unsigned char" for
  41         ntlmbuf.  Our base64 functions accept char anyway.
  42         (ntlm_output): Join up the format string, since we nominally
  43         support K&R compilers.
  44         (ntlm_output): Ditto.
  45
  46 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
  47
  48         * ptimer.c: Use Windows timers under Cygwin, whose POSIX timer
  49         implementation is incomplete.
  50
  51 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
  52
  53         * ptimer.c (struct ptimer): Remove the unused initialized field.
  54
  55         * ptimer.c: Renamed function parameters from WT (which used to
  56         stand for wget_timer or wtimer) to PT.
  57
  58 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
  59
  60         * ptimer.c (posix_init): Be smarter about choosing clocks.  In
  61         decreasing order of preference, use CLOCK_MONOTONIC,
  62         CLOCK_HIGHRES, and CLOCK_REALTIME.
  63         (ptimer_allocate): Removed.
  64
  65         * ptimer.c: Refactor the code by cleanly separating the
  66         architecture-dependent code from the architecture-independent
  67         code.
  68
  69 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
  70
  71         * ptimer.c (ptimer_init): Explicitly check that
  72         _POSIX_MONOTONIC_CLOCK is *both* defined and >=0.  (Undefined
  73         symbols are >=0.)
  74
  75 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
  76
  77         * ptimer.c (ptimer_diff): Fix typo affecting Windows build.
  78
  79 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
  80
  81         * ptimer.c (ptimer_init): In fact, _POSIX_MONOTONIC_CLOCK needs to
  82         be >= 0.
  83
  84         * ptimer.c (ptimer_init): Check whether _POSIX_MONOTONIC_CLOCK is
  85         defined instead of whether it's greater than 0.  glibc defines it
  86         to 0, but still makes it available via sysconf.
  87
  88 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
  89
  90         * mswindows.c (str_to_int64): Rename OVERFLOW and UNDERFLOW to
  91         INT64_OVERFLOW and INT64_UNDERFLOW, since those names are used.
  92
  93 2005-04-07  Hrvoje Niksic  <hniksic@xemacs.org>
  94
  95         * ptimer.c: New file.  Move the "wtimer" functions from utils.c to
  96         this file and rename them to ptimer_.
  97
  98 2005-04-07  Hrvoje Niksic  <hniksic@xemacs.org>
  99
 100         * host.c (NO_ADDRESS): Define NO_ADDRESS only after the system
 101         headers have been included.
 102
 103 2005-04-06  Hrvoje Niksic  <hniksic@xemacs.org>
 104
 105         * http.c (pconn): Include NTLM data, which is per-connection.
 106         (known_authentication_scheme_p): Recognize NTLM authorization.
 107         (create_authorization_line): Call ntlm_input and ntlm_output.
 108
 109         * http-ntlm.c: New file, donated by Daniel Stenberg and originally
 110         written for curl, heavily modified for Wget.
 111
 112         * utils.c (base64_encode): Relocated from http.c, since it is now
 113         used by http-ntlm.c, and will possibly be used elsewhere.
 114         (base64_decode): New function, originally based on code from GNU
 115         recode.
 116
 117 2005-04-02  Hrvoje Niksic  <hniksic@xemacs.org>
 118
 119         * ftp.c (ftp_loop): Ditto.
 120
 121         * ftp-basic.c (ftp_pasv): Use the xzero shorthand for memset(0).
 122         (ftp_lpsv): Ditto.
 123
 124 2005-04-05  Mauro Tortonesi  <mauro@ferrara.linux.it>
 125
 126         * Makefile.in: removed string_t.c from list of source files.
 127
 128 2005-04-04  Mauro Tortonesi  <mauro@ferrara.linux.it>
 129
 130         * string_t.c: Removed.
 131
 132         * string_t.h: Removed.
 133
 134 2005-04-02  Hrvoje Niksic  <hniksic@xemacs.org>
 135
 136         * url.c (rewrite_shorthand_url): Only accept recognized schemes.
 137         That way "foo:80" will correctly be rewritten to "http://foo:80"
 138         instead of left unchanged and ultimately rejected because of
 139         "unsupported scheme foo".
 140
 141 2005-03-31  Hrvoje Niksic  <hniksic@xemacs.org>
 142
 143         * utils.c (number_to_string): Avoid explicit 64-bit constants;
 144         construct them by multiplication at compile-time.
 145
 146         * utils.c, elsewhere: Don't append "L" to 32-bit integer
 147         constants; we aren't really compilable on 16-bit systems anyway.
 148
 149         * hash.c (prime_size): Remove primes larger than 2^31, but include
 150         2^31-1, which is prime.
 151
 152 2005-03-30  Hrvoje Niksic  <hniksic@xemacs.org>
 153
 154         * utils.c (string_set_to_array): New function.
 155
 156         * convert.c: Replace the use of "slists" with sets/hash-tables,
 157         which in fact suit the intended purpose much better.
 158         downloaded_html_list is removed altogether.
 159
 160 2005-03-29  Hrvoje Niksic  <hniksic@xemacs.org>
 161
 162         * ftp.h (enum): Rename GLOBALL, GETALL, and GETONE to
 163         GLOB_GLOBALL, GLOB_GETALL, and GLOB_GETONE to avoid conflict with
 164         Linux headers.
 165
 166 2005-03-29  Hrvoje Niksic  <hniksic@xemacs.org>
 167
 168         * utils.c (numdigit): More correct handling of negative numbers.
 169
 170 2005-03-21  Hrvoje Niksic  <hniksic@xemacs.org>
 171
 172         * http.c (gethttp): Print the human-readable size.
 173
 174         * ftp.c (getftp): Print the human-readable size of the file to be
 175         downloaded.
 176
 177         * utils.c (human_readable): New function.
 178
 179         * utils.c: Renamed "legible" to "with_thousand_seps",
 180         "legible_large_int" to "with_thousand_seps_large", and "legible_1"
 181         to "add_thousand_seps".
 182
 183 2005-03-21  Hrvoje Niksic  <hniksic@xemacs.org>
 184
 185         * http.c (gethttp): Inhibit persistent connections when talking to
 186         proxies, as mandated by RFC 2068.
 187
 188 2005-03-20  Hrvoje Niksic  <hniksic@xemacs.org>
 189
 190         * url.c (unescape_single_char): New function.
 191         (url_escape_dir): Use it to unescape slashes in directory
 192         components.
 193         (url_string): Escape unsafe chars in host name, except for the ':'
 194         charaters, which can appear in IPv6 addresses.
 195
 196         * main.c (main): Don't access the cookie jar directly.
 197
 198         * log.c (escnonprint_internal): Correctly calculate the needed
 199         string size.  Don't forget the buffer's new size after having
 200         reallocated it.
 201         (log_cleanup): New function.  Free the escnonprint ring data.
 202
 203         * init.c (cleanup): Don't free the cookie jar explicitly, it is
 204         now done by http_cleanup.
 205         (cleanup): opt.user_headers is now a vector, free it with
 206         free_vec.
 207
 208         * http.c (gethttp): Make sure to free the request data, the status
 209         message, and the response data before returning from the function.
 210         (save_cookies): New function.
 211         (http_cleanup): Free the cookie jar here.
 212
 213         * hash.c: Renamed string_hash to hash_string and ptrhash to
 214         hash_pointer.  Exported hash_pointer.
 215
 216         * xmalloc.c: Organized malloc_table (previously malloc_debug) as a
 217         simple EQ hash table.  register_ptr and unregister_ptr are now of
 218         O(1) complexity.
 219
 220         * xmalloc.c: Renamed "*_debug" to debugging_* and "*_real" to
 221         checking_*.
 222
 223 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
 224
 225         * utils.c (debug_test_md5): Moved to gen-md5.c.
 226
 227         * mswindows.h: Don't declare inet_ntop, since we don't use it.
 228
 229         * mswindows.h: For consistency, also wrap closesocket, it being
 230         a Winsock call.
 231
 232         * mswindows.h: Don't declare sleep and usleep; we're defining
 233         xsleep now.
 234
 235         * mswindows.h (mkdir): Don't special-case Borland C, _mkdir
 236         works there as well.
 237
 238         * host.c: Don't include winsock header files; the correct ones
 239         are already included by mswindows.h.
 240
 241         * mswindows.c (xsleep): Round toward the nearest millisecond
 242         in an attempt to avoid average short sleeps.
 243
 244         * utils.c (wtimer_granularity): Report correct values for
 245         Windows timers and for high-resolution timers.
 246
 247         * utils.c (wtimer_initialize_once): New function, called to
 248         initialize the timer frequency.
 249
 250         * utils.c: Replace the use of GetSystemTime with high-resolution
 251         counters under Windows.  When high-resolution counters are
 252         unavailable, use GetTickCount().
 253
 254 2005-03-15  Hrvoje Niksic  <hniksic@xemacs.org>
 255
 256         * retr.c (fd_read_body): Undo the 2004-11-18 change.  Instead,
 257         always be "exact".
 258
 259 2005-03-17  Hrvoje Niksic  <hniksic@xemacs.org>
 260
 261         * ftp-basic.c (ftp_login): Don't free the string if ftp_response
 262         returned an error status because the line didn't get allocated in
 263         the first place.
 264
 265 2005-03-15  Hrvoje Niksic  <hniksic@xemacs.org>
 266
 267         * http.c (read_http_response_head): Limit the response size to 64k
 268         bytes.
 269
 270         * retr.c (fd_read_hunk): Accept a MAXSIZE argument that limits the
 271         number of bytes the function is allowed to allocate.
 272         (fd_read_line): Limit the line to 4096 bytes.
 273
 274 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
 275
 276         * wget.h: Include options.h after wgint has been defined.
 277
 278         * options.h (struct options): Declare options processed with
 279         cmd_bytes as wgint, not long.
 280
 281 2005-03-18  Hrvoje Niksic  <hniksic@xemacs.org>
 282
 283         * init.c (cmd_file): Use concat_strings.
 284
 285         * http.c (basic_authentication_encode): Use concat_strings.
 286
 287         * ftp-ls.c (ftp_index): Use concat_strings.
 288
 289         * ftp-basic.c (ftp_request): Use concat_strings.
 290
 291         * utils.c (concat_strings): New function.
 292
 293 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
 294
 295         * init.c (simple_atof): Handle negative numbers; skip whitespace
 296         before the number.
 297         (simple_atoi): Ditto.  Also, check for overflow and underflow.
 298         (cmd_number): Bail out on negative numbers.
 299         (parse_bytes_helper): Ditto.
 300
 301 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
 302
 303         * http.c (gethttp): Handle multiple Set-Cookie headers sent by
 304         remote server.
 305
 306 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
 307
 308         * init.c (defaults): Use passive FTP by default.
 309
 310 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
 311
 312         * mswindows.c: Provide wrappers to Winsock functions that set
 313         errno to WSAGetLastError() in case of failure.  Also provide a
 314         Windows-specific version of strerror.
 315
 316         * mswindows.h: Wrap calls to socket, bind, connect, recv, send,
 317         select, getsockname, getpeername, and setsockopt.
 318
 319 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
 320
 321         * url.c (url_parse): Reject port numbers larger than 65535.  We
 322         also check for overflow while parsing port numbers.
 323
 324 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
 325
 326         * utils.c (read_file): Don't use wgint for file size; LFS won't
 327         work since the file is mmap'ed as a whole.
 328
 329         * options.h: Don't include stdio.h.
 330
 331         * log.c: Ditto.
 332
 333         * init.c: Disambiguate assignment from non-zero test to avoid
 334         Borland C warning.
 335
 336         * http.c (response_new): Don't needlessly post-increment count.
 337
 338         * hash.c: Include stdio.h.
 339
 340         * gnu-md5.h: Don't include stdio.h.
 341
 342         * getopt.h (struct option): Always use const.
 343
 344         * ftp.c (getftp): Avoid unnecessary assignment to RES to avoid
 345         Borland C warning.
 346
 347         * ftp-ls.c: Disambiguate assignment from non-zero test to avoid
 348         Borland C warning.
 349
 350         * cmpt.c (strptime_internal): Don't initialize rp_backup when
 351         !_NL_CURRENT to avoid Borland C warning.
 352
 353 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
 354
 355         * utils.c (fopen_excl): Fix parse error when O_BINARY is
 356         available.
 357
 358 2005-03-05  Hrvoje Niksic  <hniksic@xemacs.org>
 359
 360         * url.c (url_file_name): Don't allow hosts named ".." to be
 361         appended as path elements.
 362
 363 2005-03-03  Hrvoje Niksic  <hniksic@xemacs.org>
 364
 365         * retr.c (retrieve_url): Escape location header.
 366
 367         * http.c (print_server_response_1): Escape server response when
 368         printing it.
 369         (gethttp): Escape host name, status message, location header, and
 370         content type.
 371         (http_loop): Escape error message from server.
 372
 373         * host.c (lookup_host): Escape host name when printing it.
 374
 375         * ftp.c (getftp): Escape user name when printing it.
 376         (getftp): Escape remote file and directory for printing.
 377         (getftp): Escape server listing when printing it.
 378         (ftp_retrieve_list): Escape link name and file name.
 379         (ftp_retrieve_glob): Escape file name.
 380
 381         * ftp-basic.c (ftp_response): Escape server response when printing
 382         it.
 383
 384         * cookies.c (parse_set_cookies): Escape the cookie field when
 385         printing it.
 386         (parse_set_cookies): Escape contents of remote header.
 387         (cookie_handle_set_cookie): Escape host name and cookie domain.
 388
 389         * connect.c (connect_to_ip): Escape the host name.
 390
 391         * log.c (escnonprint): New function, used for printing strings
 392         coming from the server that possibly contain non-ASCII characters.
 393         (escnonprint_uri): Ditto.
 394
 395 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
 396
 397         * ftp.c (getftp): Ditto.
 398
 399         * http.c (gethttp): When we're not supposed to overwrite files,
 400         use fopen_excl to open the file and recompute the file name.
 401
 402         * log.c (redirect_output): Use unique_create to avoid a race
 403         condition.
 404
 405         * mswindows.c (fake_fork_child): Use unique_create.
 406
 407         * utils.c (fopen_excl): New function that opens a stdio stream
 408         with the O_EXCL flag (where available).
 409         (unique_create): New function, like unique_name, but also creating
 410         the file and returning a file pointer.
 411         (fork_to_background): Use unique_create to create the file
 412         immediately to avoid race condition with multiple instances of
 413         wget -b.
 414
 415 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
 416
 417         * host.c (lookup_host): Test for AI_ADDRCONFIG directly, instead
 418         of checking for HAVE_GETADDRINFO_AI_ADDRCONFIG.
 419
 420 2005-02-23  Hrvoje Niksic  <hniksic@xemacs.org>
 421
 422         * host.c (is_valid_ipv6_address): Move here from url.c.
 423         (lookup_host): If the address is numeric, don't print the
 424         "resolving..." line, don't set up DNS timeouts, and set the
 425         AI_NUMERICHOST hint, where available.
 426
 427 2005-02-26  Gisle Vanem  <giva@bgnett.no>
 428
 429         * utils.c: Use the nnnLL syntax under GCC.  Define struct_stat to
 430         struct _stati64 under __MINGW32__ as well as under MS VC.
 431
 432 2005-02-26  Hrvoje Niksic  <hniksic@xemacs.org>
 433
 434         * utils.c: Use the nnnI64 syntax for __int64 constants under all
 435         Windows compilers.
 436         (SPRINTF_WGINT): Use "%I64" under all Windows compilers.
 437
 438         * mswindows.h (WGINT_MAX): Use the nnnI64 syntax for
 439         __int64 constants under all Windows compilers.
 440         (struct_stat): Use `struct stati64' under Borland C.
 441         (fstat): Don't redefine to _fstati64 under Borland.
 442
 443         * mswindows.c: Define str_to_int64 under Borland C as well as
 444         under (older) Visual C.
 445
 446 2005-02-25  Hrvoje Niksic  <hniksic@xemacs.org>
 447
 448         * ftp.c (getftp): Initialize err to suppress compiler warning.
 449
 450 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
 451
 452         * ftp.c (ftp_expected_bytes): Fix bug that caused infloop because
 453         of not correctly skipping the '(' character.
 454
 455 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
 456
 457         * mswindows.c (wget_ftello): Removed.
 458
 459         * mswindows.h: Remove bogus definition of stat.
 460         (wget_ftello): Remove the leftover ftello replacement.
 461
 462 2005-02-20  Hrvoje Niksic  <hniksic@xemacs.org>
 463
 464         * mswindows.c (wget_ftello): Wget's replacement for ftello.
 465
 466         * utils.c (file_size): Use ftello where available.
 467
 468         * ftp-ls.c (ftp_parse_unix_ls): Use str_to_wgint to parse the file
 469         size.
 470         (ftp_parse_winnt_ls): Ditto.
 471
 472         * ftp-basic.c (ftp_size): Use str_to_wgint to convert number to
 473         wgint; pass 10 instead of 0 as the BASE argument.
 474
 475         * ftp.c (ftp_expected_bytes): Use str_to_wgint to parse the file
 476         size.
 477
 478         * sysdep.h (LARGE_INT_FMT): Use __int64 as LARGE_INT on
 479         MSVC/Windows; print it with "%I64".
 480
 481         * wget.h: Define a `wgint' type, normally aliased to (the possibly
 482         64-bit variant of) off_t.
 483
 484         * all: Use `wgint' instead of `long' for numeric variables that
 485         can hold file sizes.
 486
 487         * utils.c (number_to_string): Support printing of `wgint'
 488         argument.
 489         (number_to_static_string): New function.
 490
 491         * all: Replace printf("%ld", long_value) with printf("%s",
 492         number_to_static_string(wgint_value)).
 493
 494 2005-02-18  Mauro Tortonesi <mauro@ferrara.linux.it>
 495
 496         * main.c: Added the --ftp-passwd command line option.
 497
 498         * init.c: Renamed command passwd to ftppasswd.
 499
 500 2005-02-11  Mauro Tortonesi <mauro@ferrara.linux.it>
 501
 502         * string_t.c: Fixed a bug in do_escape and triggered escape of
 503         backslashes in string_escape to avoid ambiguities in the result
 504         string.
 505
 506 2005-02-10  Mauro Tortonesi <mauro@ferrara.linux.it>
 507
 508         * string.h: Renamed to string_t.h to fix a compilation conflict
 509         with the string.h header in the standard C library.
 510
 511         * string.c: Renamed to string_t.c for consistency with string.h.
 512
 513         * string_t.c: Ditto.
 514
 515         * string_t.h: Ditto.
 516
 517 2004-12-31  Mauro Tortonesi <mauro@ferrara.linux.it>
 518
 519         * string.c: New file.
 520
 521         * string.h: New file.
 522
 523         * Makefile.in: Added string.c to the list of modules to compile.
 524
 525         * main.c: Updated copyright.
 526
 527 2004-11-18  Ulf Harnhammar <ulf.harnhammar.9485@student.uu.se>
 528
 529         * ftp-ls.c: Fixed a problem in ftp_parse_winnt_ls that could allow a
 530         malicious remote FTP server to crash wget.
 531
 532 2004-11-18  Hans-Andreas Engel <engel@node.ch>
 533
 534         * http.c: Enable --convert-links (-k) when a single page is downloaded
 535         via --output-document (-O).
 536
 537 2004-11-18  Mauro Tortonesi <mauro@deepspace6.net>
 538
 539         * connect.c: Minor correction to the comment in front of fd_peek.
 540
 541 2004-11-18  Leonid Petrov <nouser@lpetrov.net>
 542
 543         * retr.c: Fix a timeout problem in fd_read_body when using http_proxy.
 544
 545 2004-11-15  YAMAZAKI Makoto <Yamazaki.Makoto@fujixerox.co.jp>
 546
 547         * netrc.c: Fix termination by assertion bug in netrc parsing.
 548
 549 2004-05-09  David Fritz  <zeroxdf@att.net>
 550
 551         * mswindows.c (fake_fork): Pass entire command line to the child
 552         process.
 553
 554 2004-03-31  Hrvoje Niksic  <hniksic@xemacs.org>
 555
 556         * http.c (gethttp): Fix typo: SCHEME_SSL -> SCHEME_HTTPS.
 557
 558 2004-03-30  Hrvoje Niksic  <hniksic@xemacs.org>
 559
 560         * http.c (gethttp): Send the Proxy-Authorization header over
 561         non-SSL connections too.
 562
 563 2004-03-25  David Fritz  <zeroxdf@att.net>
 564
 565         * mswindows.c (fake_fork_child): Ignore error code when
 566         OpenFileMapping() fails; assume it failed because the object does
 567         not exist.
 568
 569 2004-03-24  David Fritz  <zeroxdf@att.net>
 570
 571         * mswindows.c (fake_fork): New function.
 572
 573         * mswindows.c (fork_to_background): Use it.
 574
 575 2004-03-19  David Fritz  <zeroxdf@att.net>
 576
 577         * mswindows.c (ws_hangup): Incorporate old fork_to_background()
 578         code.  Add event name argument.
 579         (fork_to_backgorund): Now a simple wrapper around ws_hangup().
 580         (ws_handler): Correctly handle the case when neither CTRLC_BACKGND
 581         nor CTRLBREAK_BACKGND are defined.  Don't bother handling close,
 582         logoff, or shutdown events.  Call ws_hangup() with the correct
 583         event name; don't assume it was CTRL+Break.
 584
 585 2004-03-19  Hrvoje Niksic  <hniksic@xemacs.org>
 586
 587         * url.c (url_parse): Decode %HH sequences in host name.
 588
 589 2004-03-04  Hrvoje Niksic  <hniksic@xemacs.org>
 590
 591         * convert.c (local_quote_string): Quote "#" as "%23" and "%" as
 592         "%25" when creating links to local files.
 593
 594 2004-03-02  David Fritz  <zeroxdf@att.net>
 595
 596         * mswindows.c (ws_percenttitle): Guard against future changes by
 597         doing nothing if the proper variables have not been initialized.
 598         Clamp percentage value.
 599
 600 2004-03-04  Gisle Vanem  <giva@bgnett.no>
 601
 602         * retr.c (fd_read_body): Don't change console title if quiet.
 603
 604 2004-02-25  David Fritz  <zeroxdf@att.net>
 605
 606         * mswindows.c (set_sleep_mode): Remove argument and return value.
 607         Call GetModuleHandle() instead of LoadLibrary()/FreeLibrary() for
 608         kernel32.dll.  Use typedef for function-pointer.  Don't cast
 609         l-value.  Don't use dereference operator when calling through
 610         function-pointer.
 611         (ws_startup): Update call to set_sleep_mode().
 612         (ws_cleanup): Remove call to set_sleep_mode().
 613
 614 2004-02-23  David Fritz  <zeroxdf@att.net>
 615
 616         * http.c (http_loop): Ditto.
 617
 618         * ftp.c (ftp_loop_internal): Update call to ws_changetitle().
 619
 620         * main.c (main): Don't bother calling ws_changetitle().
 621
 622         * mswindows.h (ws_changetitle): Update prototype.
 623
 624         * mswindows.c (ws_changetitle): Remove second argument.  Use
 625         xfree_null().
 626         (ws_percenttitle): Only update title when percentage has changed.
 627
 628 2004-02-23  David Fritz  <zeroxdf@att.net>
 629
 630         * mswindows.h: Ditto.
 631
 632         * mswindows.c: Misc. formatting/comment tweaks throughout.
 633
 634 2004-02-20  David Fritz  <zeroxdf@att.net>
 635
 636         * main.c (print_help): Remove call to ws_help().
 637
 638         * mswindows.c (ws_help): Remove.
 639
 640         * mswindows.h (ws_help): Remove.
 641
 642 2004-02-16  David Fritz  <zeroxdf@att.net>
 643
 644         * init.c (home_dir): Use aprintf() instead of xmalloc()/sprintf().
 645         Under Windows, if $HOME is not defined, use the directory that
 646         contains the Wget binary instead of hard-coded `C:\'.
 647         (wgetrc_file_name): Under Windows, look for $HOME/.wgetrc then, if
 648         not found, look for wget.ini in the directory of the Wget binary.
 649
 650         * mswindows.c (ws_mypath): Employ slightly more robust methodology.
 651         Strip trailing path separator.
 652
 653 2004-02-06  Hrvoje Niksic  <hniksic@xemacs.org>
 654
 655         * http.c (gethttp): Respect --ignore-length.
 656         (gethttp): Inhibit keep-alive if --ignore-length is specified.
 657
 658 2004-02-06  Hrvoje Niksic  <hniksic@xemacs.org>
 659
 660         * connect.c (sockaddr_set_data): Zero out
 661         sockaddr_in/sockaddr_in6.  Apparently BSD-derived stacks need this
 662         when binding a socket to local address.
 663
 664 2004-02-04  Hrvoje Niksic  <hniksic@xemacs.org>
 665
 666         * hash.c: Make the file compilable outside Wget source tree when
 667         -DSTANDALONE is used.
 668
 669 2004-01-29  Hrvoje Niksic  <hniksic@xemacs.org>
 670
 671         * utils.c (determine_screen_width): Return 0 if not running on
 672         Windows or on a TIOCGWINSZ-capable system.
 673
 674 2004-01-28  David Fritz  <zeroxdf@att.net>
 675
 676         * utils.c (determine_screen_width): Correctly determine console
 677         width under Windows.
 678
 679 2004-01-28  Christian Biere  <christianbiere@gmx.de>
 680
 681         * progress.c (bar_set_params): Fixed syntax error when HAVE_ISATTY
 682         was undefined.
 683
 684         * ftp.c (ftp_loop_internal): Allocate a larger buffer in case
 685         "try" gets translated to something large.  Ditto in http_loop in
 686         http.c.
 687
 688         * http.c (response_header_copy): Don't write to buf[BUFSIZE].
 689
 690         * ftp-opie.c (skey_response): Eliminate unnecessary string
 691         concatenation; just call gen_md5_update twice.
 692
 693 2004-01-25  Hrvoje Niksic  <hniksic@xemacs.org>
 694
 695         * utils.c (xsleep): Don't call usleep with values larger than
 696         1,000,000.
 697
 698 2003-12-16  Hrvoje Niksic  <hniksic@xemacs.org>
 699
 700         * http.c (gethttp): Fix generation of `Content-Length'.
 701
 702 2003-12-15  Gisle Vanem  <giva@bgnett.no>
 703
 704         * url.c (url_skip_credentials): Fixed return value; 'url' if no
 705         credentials.
 706
 707 2003-12-14  Hrvoje Niksic  <hniksic@xemacs.org>
 708
 709         * url.c (url_skip_credentials): Return a pointer directly.
 710
 711 2003-12-14  Hrvoje Niksic  <hniksic@xemacs.org>
 712
 713         * url.c (url_file_name): Ditto.
 714         (parse_errors): Ditto.
 715
 716         * retr.c (retr_rate): Ditto.
 717
 718         * progress.c (create_image): Ditto.
 719
 720         * netrc.c (parse_netrc): Ditto.
 721
 722         * main.c (struct cmdline_option): Ditto.
 723         (redirect_output_signal): Ditto.
 724
 725         * init.c (commands): Ditto.
 726
 727         * ftp-ls.c (ftp_index): Ditto.
 728
 729         * cookies.c (check_domain_match): Declare the pointer to a literal
 730         string as `const'.
 731
 732 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
 733
 734         * retr.c (fd_read_body): Pass total size to progress_create, not
 735         the remaining amount.
 736
 737 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
 738
 739         * retr.c (fd_read_body): Don't fiddle with "interactive timeout"
 740         if read timeout is unset.
 741
 742 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
 743
 744         * connect.c (bind_local): Don't set the IPV6_V6ONLY option on the
 745         socket.
 746
 747 2003-12-06  Hrvoje Niksic  <hniksic@xemacs.org>
 748
 749         * url.c (url_file_name): Respect the setting of
 750         opt.protocol_directories.
 751
 752         * main.c (main): Only check for ret=='?' when longindex is unset.
 753         (option_data): New option --protocol-directories.
 754
 755 2003-12-06  Hrvoje Niksic  <hniksic@xemacs.org>
 756
 757         * ftp.c (getftp): Ditto.
 758
 759         * http.c (gethttp): Correctly calculate bandwidth as total data
 760         read divided with download time.
 761
 762         * retr.c (fd_read_body): Separate the return values for data
 763         written and read.
 764
 765 2003-12-05  Hrvoje Niksic  <hniksic@xemacs.org>
 766
 767         * http.c (H_REDIRECTED): Respect the HTTP/1.1 "303 See Other"
 768         response code.
 769         Suggested by Dan Razzell.
 770
 771 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
 772
 773         * retr.c (fd_read_body): Report the amount of data *written* as
 774         amount_read.  This is not entirely logical, but that's what the
 775         callers expect, and it's not easy to change.
 776
 777         * ftp.c (ftp_loop_internal): Ditto.
 778
 779         * http.c (http_loop): Be smarter about assigning restval; if we're
 780         in the nth pass of a download, simply use the information we have
 781         about how much data has been retrieved as restval.
 782
 783         * ftp.c (getftp): Ditto for FTP "REST" command.
 784
 785         * http.c (gethttp): When the server doesn't respect range, skip
 786         the first RESTVAL bytes of the read body.  Never truncate the
 787         output file.
 788
 789         * retr.c (fd_read_body): Support skipping initial STARTPOS octets.
 790
 791 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
 792
 793         * http.c (skip_short_body): Renamed skip_body to skip_short_body;
 794         don't bother calling fd_read_body.
 795
 796 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
 797
 798         * retr.c (fd_read_body): Sanitize arguments and document them
 799         better.  Make sure the timer is created and updated only if
 800         necessary.  Updated callers.
 801
 802 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
 803
 804         * http.c (skip_body): New function.
 805         (gethttp): Use it to skip the body of the responses we don't care
 806         to download.  That allows us to reuse the connection.
 807         (gethttp): Trust that the HEAD requests will not generate body
 808         data.
 809
 810         * retr.c (fd_read_body): Don't write to OUT if it's NULL.
 811
 812 2003-11-29  Hrvoje Niksic  <hniksic@xemacs.org>
 813
 814         * http.c (gethttp): Initialize SSL only the first time when SSL
 815         URL is downloaded.
 816
 817 2003-11-29  Hrvoje Niksic  <hniksic@xemacs.org>
 818
 819         * cookies.c (cookie_header): Only generate the contents of the
 820         header, not the leading "Cookie: " or the trailing "\r\n".
 821
 822         * http.c (gethttp): When adding headers specified with `--header',
 823         allow them to override the headers generated by Wget.
 824
 825         * init.c (cmd_spec_header): Made opt.user_headers a vector.
 826
 827         * http.c (request_new): New function.  Returns a request structure
 828         which can be modified in various ways, most notably by adding HTTP
 829         headers to the request.
 830         (request_set_header): New function for adding the header to the
 831         request.  If the header is already available, it gets replaced.
 832         (request_send): Construct and send the request.
 833         (gethttp): Use the request_* functions to generate the request.
 834
 835 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
 836
 837         * http.c (gethttp): Don't include the Proxy-Authorization header
 838         in the request tunneled through proxy.
 839
 840 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
 841
 842         * http.c (gethttp): Use the CONNECT handle to establish SSL
 843         passthrough through non-SSL proxies.
 844
 845 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
 846
 847         * init.c: Don't #include netinet/Winsock stuff.
 848
 849 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
 850
 851         * http.c: Deleted the old functions header_process,
 852         header_extract_number, header_exists, header_strdup,
 853         http_process_range, http_process_none, http_process_type, and
 854         http_process_connection.
 855
 856         * http.c (response_new): New function.
 857         (response_header_bounds): Ditto.
 858         (response_header_copy): Ditto.
 859         (response_header_strdup): Ditto.
 860         (response_status): Ditto.
 861         (gethttp): Use the new response_* functions to parse the response.
 862         Support HTTP/0.9 responses.
 863
 864 2003-11-27  Hrvoje Niksic  <hniksic@xemacs.org>
 865
 866         * progress.c (create_image): Don't calculate ETA if nothing has
 867         been downloaded yet, because it causes division by zero.
 868
 869 2003-11-27  Hrvoje Niksic  <hniksic@xemacs.org>
 870
 871         * connect.c (bind_local): Rename sa_len to addrlen because IRIX
 872         headers define sa_len as a macro.
 873
 874 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
 875
 876         * html-parse.c (convert_and_copy): Remove embedded newlines when
 877         AP_TRIM_BLANKS is specified.
 878
 879 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
 880
 881         * ftp.c: Set con->csock to -1 where rbuf_uninitialize was
 882         previously used.
 883
 884 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
 885
 886         * Makefile.in (http$o): Added the trailing backslash that was
 887         missing.
 888
 889 2003-11-21  Hrvoje Niksic  <hniksic@xemacs.org>
 890
 891         * headers.c: Removed.  The file is no longer relevant, now that no
 892         special handling of headers is done by the rbuf code.  Moved
 893         portions to http.c.
 894
 895 2003-11-21  Hrvoje Niksic  <hniksic@xemacs.org>
 896
 897         * rbuf.c: Removed.
 898
 899         * ftp-basic.c (ftp_response): Use fd_read_line.  No longer use
 900         struct rbuf.  Updated all callers.
 901
 902         * http.c (gethttp): Use fd_read_head to read all the headers in
 903         one go.
 904         (next_header): New function.
 905
 906         * retr.c (fd_read_line): New function: reads a line from FD,
 907         leaving the rest of the data unread.
 908         (fd_read_head): New function.
 909
 910         * connect.c (fd_peek): New function, implements peeking.
 911         (poll_internal): New function.
 912         (fd_read): Use it.
 913         (fd_write): Ditto.
 914         (fd_peek): Ditto.
 915         (fd_register_transport): Allow registering a "peeker" callback.
 916
 917 2003-11-20  Hrvoje Niksic  <hniksic@xemacs.org>
 918
 919         * connect.c: Renamed xread/xwrite/xclose to
 920         fd_read/fd_write/fd_close.  The "x" prefix is not appropriate
 921         because the semantics have diverged from read/write/close too
 922         significantly.  Updated all callers.
 923
 924 2003-11-20  Hrvoje Niksic  <hniksic@xemacs.org>
 925
 926         * connect.c (sock_write): It's not necessary to initialize RES.
 927
 928 2003-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
 929
 930         * main.c (main): Don't reference opt.ipv4_only and opt.ipv6_only
 931         if IPv6 is disabled.
 932
 933 2003-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
 934
 935         * connect.c (socket_has_inet6): Only compile it if IPv6 is enabled
 936         and AI_ADDRCONFIG is missing.
 937
 938 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
 939
 940         * gen_sslfunc.c (ssl_init_prng): Warn the user when using a weak
 941         random seed.
 942
 943 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
 944
 945         * host.c (address_list_contains): Renamed address_list_find to
 946         address_list_contains because its result is boolean.
 947
 948 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
 949
 950         * connect.c (select_fd): Return 1 if select is not available.
 951
 952 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
 953
 954         * connect.c (connect_to_host): Don't reference address list after
 955         releasing it.
 956
 957 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
 958
 959         * main.c (print_help): Fix alignment of FTP options output.
 960
 961 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
 962
 963         * host.c (lookup_host): Check for the ability to create IPv6
 964         sockets here.
 965
 966         * init.c (defaults): Don't auto-set --inet4-only on IPv6-less
 967         systems.
 968
 969 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
 970
 971         * main.c (print_help): Fix typo in `-O' help message.  Fix docs of
 972         -Y/--proxy.  Fix docs of `--cookies' and `--glob'.  Improve docs
 973         of --convert-links.  Fix docs of SSL options.
 974
 975 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
 976
 977         * ftp-basic.c: Don't include <arpa/inet.h> and others because
 978         they're no longer needed.
 979
 980 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
 981
 982         * main.c (main): Don't allow setting of both opt.ipv4_only and
 983         opt.ipv6_only.
 984
 985         * init.c (defaults): Mark opt.ipv4_only specially when set
 986         automatically.
 987
 988 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
 989
 990         * host.c (lookup_host): Use AI_ADDRCONFIG only if the family is
 991         unspecified.  This ensures that specifying `--no-inet4' on systems
 992         where IPv6 resolves, but doesn't work behaves the same regardless
 993         of the availability of AI_ADDRCONFIG.
 994
 995 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
 996
 997         * host.c: Don't refer to the now-removed function
 998         forget_host_lookup in the documentation of lookup_host.
 999
1000 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
1001
1002         * http.c (persistent_available_p): Correctly specify the endpoint
1003         argument to socket_ip_address.
1004         (gethttp): When printing the "reusing connection to..." message,
1005         specify the host name of the reused connection, not the current
1006         host name.  That makes more sense because it provides a useful
1007         piece of information -- we know to which host we're supposed to
1008         connect anyway!
1009
1010 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
1011
1012         * init.c: Make sure the options are in alphabetic order!
1013
1014         * host.c (lookup_host): Merge lookup_host_passive and lookup_host
1015         after all -- having both would result in some code duplication.
1016         (lookup_host): Set hints.ai_family to AF_INET if ipv4_only is
1017         requested.  Likewise, set it to AF_INET6 for ipv6_only.  Specify
1018         AI_ADDRCONFIG where available.
1019         (lookup_host): New flag LH_REFRESH that specifies that a cached
1020         entry for HOST should be refreshed.
1021         (cache_query): New function.
1022         (cache_store): Ditto.
1023         (cache_remove): Ditto.
1024         (forget_host_lookup): No longer necessary, replaced with static
1025         function cache_remove.
1026
1027 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
1028
1029         * main.c: Enable -4 and -6 only if IPv6 is enabled.
1030
1031 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
1032
1033         * connect.c (register_transport): Renamed from register_extended.
1034         Explain the intended usage.
1035
1036 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
1037
1038         * url.c (uri_merge): Merging "foo" and "bar" should result in
1039         "bar", not in "foo/bar".
1040         (path_simplify): Don't remove empty path elements; don't
1041         special-case leading slash.
1042         (path_simplify): Don't swallow ".."'s at the beginning of string.
1043         E.g. simplify "foo/../../bar" as "../bar", not as "bar".
1044         (append_uri_pathel): Defang ".." path element upon encountering
1045         it.
1046
1047 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
1048
1049         * http.c (persistent_available_p): Don't attempt to talk to two
1050         different SSL sites over the same secure connection.
1051
1052 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
1053
1054         * http.c (gethttp): Ditto.
1055
1056         * ftp.c (getftp): Use retryable_socket_connect_error instead of
1057         CONNECT_ERROR.
1058
1059         * wget.h (CONNECT_ERROR): Removed.
1060
1061         * connect.c (retryable_socket_connect_error): New function instead
1062         of unsupported_socket_family_error.
1063
1064 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
1065
1066         * wget.h (CONNECT_ERROR): Use it.
1067
1068         * connect.c (unsupported_socket_family_error): New function.
1069
1070 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
1071
1072         * connect.c (bind_local): Renamed bindport to bind_local; return
1073         the socket directly.  Updated callers.
1074         (accept_connection): Renamed acceptport to accept_connection;
1075         return the created socket directly.  Updated callers.
1076
1077 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
1078
1079         * init.c (defaults): Turn on opt.ipv4_only if we're compiling with
1080         IPv6, and AI_ADDRINFO is not available, and AF_INET6 sockets can't
1081         be created.
1082
1083 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
1084
1085         * host.c (lookup_host): Document the fact that the addresses are
1086         returned in order.
1087
1088 2003-11-12  Hrvoje Niksic  <hniksic@xemacs.org>
1089
1090         * utils.c: Use limits.h only where available.
1091
1092         * hash.c: Use INVALID_PTR and INVALID_PTR_BYTE.  Include limits.h.
1093
1094 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
1095
1096         * main.c: Added options --inet4-only and --inet6-only.
1097
1098 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
1099
1100         * host.c (host_errstr): Use the more standard message "Unknown
1101         host".
1102
1103 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
1104
1105         * connect.c (connect_to_host): Use that flag to decide whether to
1106         re-resolve the host name.
1107
1108         * host.c (struct address_list): Added a flag that maintains
1109         whether the connection worked at some point.
1110
1111 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
1112
1113         * host.c (lookup_host): Special-case the numeric addresses only in
1114         the non-IPv6 case.
1115
1116 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
1117
1118         * connect.c (resolve_bind_address): Call lookup_host_passive.
1119         Make sure that opt.bind_address is resolved only once.
1120
1121         * host.c (lookup_host_passive): New function, handles "passive"
1122         lookups.
1123         (lookup_host): Remove the passive flags.  Remove the
1124         family-related flags -- use ip_default_family instead.
1125
1126 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
1127
1128         * html-url.c: Get URLs from <object data="...">.
1129
1130 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
1131
1132         * main.c (option_data): Specify the command to use for --mirror.
1133
1134 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1135
1136         * cookies.c (cookie_handle_set_cookie): Specify exact match for
1137         unspecified domains.
1138
1139 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1140
1141         * main.c (main): Removed one-letter options `-C', `-g', `-G', and
1142         `-s'.
1143
1144 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1145
1146         * main.c (main): Add --dont-remove-listing for backward
1147         compatibility with previous versions.
1148         (print_help): Fix typo, spotted by Dennis Smit.
1149
1150 2003-11-08  Gisle Vanem  <giva@bgnett.no>
1151
1152         * ftp-basic.c: Support Windows-2000 ftp servers. Win-2000 *is*
1153         Win-NT 5.0 so calling it ST_WINNT is okay I guess.
1154
1155 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1156
1157         * progress.c (update_speed_ring): Clear the speed ring when the
1158         download stalls.
1159
1160         * retr.c (get_contents): Specify 0.95s read timeout, so that the
1161         progress gauge can be updated even when data arrives very slowly
1162         or stalls.
1163
1164 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1165
1166         * utils.c (wtimer_allocate): Bless the use of wtimer_read on a
1167         timer that has merely been allocated because get_contents() does
1168         that.
1169         (wtimer_update): Abort if the timer is not initialized.
1170
1171 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1172
1173         * retr.c (get_contents): Pass the timer to limit_bandwidth().
1174
1175         * utils.c (wtimer_update): New function instead of wget_elapsed;
1176         just update the timer, but don't return anything.
1177         (wtimer_read): Read and return the last known value of the timer.
1178
1179 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1180
1181         * http.c (persistent_available_p): Instead of matching all the
1182         addresses of HOST and last host, determine the peer's IP address
1183         with socket_ip_address and see if that address is one of those
1184         HOST resolves to.
1185
1186         * host.c (address_list_match_all): Removed.
1187         (address_list_find): New function, finds an IP address in the
1188         address list.
1189
1190         * ftp.c (ftp_do_pasv): Get the peer's address here, and pass it to
1191         ftp_epsv so it doesn't need to call getpeername.
1192
1193         * ftp-basic.c (ftp_port): Use socket_ip_address instead of
1194         getpeername.
1195         (ftp_lprt): Ditto.
1196
1197         * connect.c (socket_ip_address): Replaces conaddr, generalized to
1198         either get peer's or local address.
1199         (sockaddr_get_data): Made local to this file.
1200
1201 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1202
1203         * hash.c (HASH_POSITION): Explicitly accept the hash function.
1204         (grow_hash_table): Extract ht->hash_function outside the loop.
1205         (hash_table_remove): Ditto.
1206         (hash_table_clear): Fill entries with 0xff to clear them.
1207         (hash_table_remove): Mark entries as deleted with the correct
1208         marker.
1209
1210 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1211
1212         * http.c (persistent_available_p): No reason for the host lookup
1213         to be silent -- it's a lookup like any other.
1214
1215 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
1216
1217         * connect.c (register_extended): Check that fd >= 0.
1218
1219 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
1220
1221         * connect.c (LAZY_RETRIEVE_INFO): Set LAST_INFO.
1222
1223 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
1224
1225         * hash.c (NON_EMPTY): Use the all-bit-set value as the marker that
1226         the field is empty.  This allows NULL pointer and 0 value to be
1227         used as keys, which is necessary for the connect.c code to work
1228         when fd==0.
1229         (hash_table_new): Fill mappings with 0xff.
1230         (grow_hash_table): Ditto.
1231
1232 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
1233
1234         * url.c (url_parse): Allow empty ports.
1235
1236 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
1237
1238         * main.c (print_help): Break the help string into multiple chunks.
1239         (cmdline_option): New option handler OPT_FUNCALL.  Generalized
1240         HANDLE_CMD to generic DATA.
1241         (option_data): Use the new OPT_FUNCALL feature.
1242
1243 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
1244
1245         * log.h: Declare log_init, log_close, and
1246         log_request_redirect_output here.
1247
1248 2003-11-05  Dennis Smit  <ds@nerds-incorporated.org>
1249
1250         * main.c: (main): added --preserve-permissions option.
1251
1252         * ftp.c (ftp_retrieve_list): added support for
1253         --preserve-permissions option.
1254
1255         * init.c: added support for --preserve-permission option.
1256
1257         * option.h: added support for --preserve-permission option.
1258
1259 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
1260
1261         * main.c (init_switches): New function.  Convert option_data to
1262         long_options and short_options, which can be fed to getopt_long.
1263         (main): Execute command-line options by consulting option_data.
1264
1265 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
1266
1267         * gen_sslfunc.c (ssl_read): Implement a more correct check for
1268         EINTR.
1269         (ssl_write): Ditto.
1270         (init_ssl): Use a global SSL context.
1271
1272 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
1273
1274         * connect.c (xclose): Free INFO even if it doesn't provide a
1275         closer.
1276
1277 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
1278
1279         * connect.c: Updated all callers of
1280         iread/ssl_iread/iwrite/ssl_iwrite to use xread and xwrite instead.
1281
1282         * rbuf.h (struct rbuf): Removed the SSL member because SSL is
1283         handled automatically by xread.
1284
1285         * hash.c (ptrhash): Made private.
1286         (ptrcmp): Ditto.
1287         (inthash): Removed.
1288
1289         * connect.c (select_fd): Don't set errno, leave it to the caller.
1290
1291         * gen_sslfunc.c (connect_ssl): Use register_extended to register
1292         SSL callbacks for communication with SSL-enabled endpoints.
1293         (ssl_read): New function.
1294         (ssl_write): Ditto.
1295         (ssl_poll): Ditto.
1296         (ssl_close): Ditto.
1297
1298         * connect.c (register_extended): New function -- register
1299         callbacks for basic socket operations.
1300         (xread): Ditto.
1301         (xwrite): Ditto.
1302         (xclose): Ditto.
1303         (sock_read): New function, default implementation for reading.
1304         (sock_write): Ditto for writing.
1305         (sock_poll): Ditto for polling.
1306         (sock_close): Ditto for closing.
1307
1308 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
1309
1310         * connect.c (bindport): Fix compilation under pre-C99 compilers.
1311
1312 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
1313
1314         * connect.c (connect_to_ip): More compact error checking.
1315         (bindport): Don't treat failed setsockopt as a fatal error.
1316
1317 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
1318
1319         * connect.c (resolve_bind_address): Use a more accurate error
1320         message -- we're not binding to ANY, we're disabling bind
1321         altogether.
1322
1323 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
1324
1325         * cookies.c (save_cookies_mapper): Respect the setting of
1326         keep-session-cookies.
1327         (cookie_jar_load): Import session cookies.
1328         Based on code submitted by Nicolas Schodet.
1329
1330         * utils.c (datetime_str): Use information in TM when it's
1331         non-NULL.
1332
1333         * main.c (main): New option `--keep-session-cookies'.
1334
1335 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
1336
1337         * Makefile.in (realclean): Delete config.h.in.
1338
1339 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
1340
1341         * config-post.h: New file, included from now autogenerated
1342         config.h.in.
1343
1344 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
1345
1346         * progress.c (progress_handle_sigwinch): Don't call
1347         determine_screen_width() from the signal handler.  Instead, just
1348         set a volatile variable.
1349         (bar_create): Check whether SIGWINCH was received.
1350         (bar_update): Ditto.
1351
1352         * sysdep.h: Define SYSTEM_FNMATCH only if HAVE_FNMATCH_H is true.
1353
1354 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
1355
1356         * utils.c (xsleep): New function.  Uses nanosleep where available,
1357         resuming sleeps interrupted by signals.  Updated callers of sleep
1358         and usleep to use xsleep.
1359
1360 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
1361
1362         * ftp-basic.c (ftp_login): Remove shadowing (and bogus)
1363         declaration of SEED.
1364
1365 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
1366
1367         * log.c (logvprintf): Documented better.  Renamed to
1368         log_vprintf_internal to avoid confusion with the public API
1369         functions logprintf and logputs.
1370
1371 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
1372
1373         * wget.h (N_): Don't parenthesize argument.
1374
1375 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
1376
1377         * host.h (ADDRESS_IPV4_DATA): Don't take the address of in.s_addr
1378         because that doesn't work on machines that define it as bitfield.
1379
1380 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
1381
1382         * connect.c (select_fd): Generalize the third argument into WAIT,
1383         so that the caller can request waiting for both read and write.
1384         Updated callers.
1385
1386 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
1387
1388         * html-url.c (cleanup_html_url): Destroy the hash tables, don't
1389         just call free on them.
1390         (init_interesting): Use hash_table_put instead of string_set_add
1391         because we don't need the strdup that the latter function
1392         performs.
1393
1394         * init.c (cleanup): Don't pass NULL to cookie_jar_delete.
1395
1396         * xmalloc.c (xfree_real): Abort when passed a NULL pointer.
1397         (xfree_debug): Print at the file and line of the offending call to
1398         free.
1399
1400 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
1401
1402         * wget.h: Retired the `boolean' type.  Moved the DEFAULT_LOGFILE
1403         define to log.h.  Moved the INFINITE_RECURSION define to recur.h.
1404
1405         * xmalloc.h: Renamed FREE_MAYBE to xfree_null and moved the
1406         definition from wget.h to xmalloc.h.
1407
1408 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
1409
1410         * html-parse.c (decode_entity): New function; split the decoding
1411         of entities here.
1412         (convert_and_copy): Use it to decode entities.
1413         (decode_entity): Handle the &apos entity.
1414         (decode_entity): Don't decode Latin 1 numeric entities.  Don't
1415         decode &#0.
1416
1417 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
1418
1419         * ftp-opie.c (calculate_skey_response): Use uint32_t instead of
1420         `unsigned long' for the cheksum array.  Document the function.
1421
1422 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
1423
1424         * connect.c (acceptport): Don't call select_fd when timeout is not
1425         requested.
1426
1427 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
1428
1429         * host.c: Removed the ip_default_family global variable.
1430
1431         * host.c (lookup_host): Document the function.  Fixed declaration
1432         of VEC.
1433
1434 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
1435
1436         * various: Use new macros xnew, xnew0, xnew_array, and xnew0_array
1437         in various places.
1438
1439 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
1440
1441         * wget.h: Move declarations of malloc and logging code to
1442         xmalloc.h and log.h respectively to unclutter this file.
1443         (STRDUP_ALLOCA): Made it side-effect free.
1444
1445         * xmalloc.h: New files.  Define macros xnew, xnew0, xnew_array,
1446         and xnew0_array.
1447
1448         * xmalloc.c: New file.  Move the xmalloc routines here.
1449
1450 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
1451
1452         * connect.c (sockaddr_set_data): Remove the broken code that
1453         checked for NULL address.
1454
1455 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
1456
1457         * host.c (address_list_from_single): Removed.
1458         (address_list_from_ipv4_addresses): Renamed from
1459         address_list_from_vector.
1460
1461 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
1462
1463         * sysdep.h (CLOSE): Don't call close on file descriptors less than
1464         0, i.e. on uncreated sockets.
1465
1466         * connect.c (resolve_bind_address): Work on struct sockaddr
1467         directly.
1468         (connect_to_host): Replacement for connect_to_many.  Resolve HOST
1469         and connect to any of its addresses.  If we can't connect and the
1470         host name lookup was cached, try to resolve it again.  This should
1471         fix problems with hosts behind dynamic DNS.  Updated all callers.
1472         (connect_to_ip): Replacement for connect_to_one.  Removed SILENT;
1473         added the argument PRINT instead.  Updated all callers.
1474         (set_connection_host_name): Removed.
1475
1476         * host.c (address_list_address_at): New function instead of
1477         address_list_copy_one. It returns a pointer to ip_address *, so
1478         it's not necessary to copy the data.
1479         (address_list_cached_p): New function.
1480         (forget_host_lookup): Ditto.
1481
1482         * connect.c: Got rid of the MSOCK global variable.  Made bindport
1483         return the local socket it creates.  Added a new argument to
1484         acceptport, the socket to call accept on.  Updated callers.
1485         (closeport): Removed.
1486
1487         * connect.c: Moved the sockaddr code from host.c to this file,
1488         because most of that stuff is used for connecting, and has nothing
1489         to do with host names anyway.
1490         (sockaddr_set_data, sockaddr_get_data): New functions, replace the
1491         old sockaddr_set_address, sockaddr_set_port, sockaddr_get_address,
1492         and sockaddr_get_port.
1493
1494 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
1495
1496         * sysdep.h: Use `S >= 8' rather than `S == 8' when looking for
1497         large integers.
1498
1499 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
1500
1501         * url.c (append_uri_pathel): New argument ESCAPED_P that says
1502         whether [B, E) is to be treated as URL-escaped or not.  If
1503         ESCAPED_P is false, don't unescape the region.
1504         (url_file_name): u->file is not URL-escaped.
1505
1506 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
1507
1508         * retr.c (retrieve_from_file): Use retrieve_tree for
1509         page-requisites.
1510
1511         * main.c (main): Don't define opt.recursive when -p is used.
1512         Instead, make sure that recursion is used for HTTP in that case.
1513
1514 2003-10-29  Hrvoje Niksic  <hniksic@xemacs.org>
1515
1516         * host.h: Defined accessors for elements of ip_address.  Updated
1517         all callers.
1518         (address_list_match_all): Use memcmp in the non-IPv6 case.
1519
1520         * wget.h (CONNECT_ERROR): Don't retry connecting if connect()
1521         returned EAFNOSUPPORT.
1522
1523 2003-10-27  Mauro Tortonesi <mauro@deepspace6.net>
1524
1525         * connect.h: changed bindport prototype and added the related
1526         BIND_ON_IPV4_ONLY and BIND_ON_IPV6_ONLY flags.
1527
1528         * connect.c: changed bindport and resolve_bind_address to allow
1529         protocol-version specific DNS resolution. modified conaddr,
1530         acceptport and connect_to_one to make use of struct
1531         sockaddr_storage and of the new ip_address structure.
1532
1533         * ftp-basic.c: added LPRT/LPSV (RFC1639) support, refactored
1534         PORT/PASV (RFC959) and EPRT/EPSV (RFC2428) support code.
1535
1536         * ftp.c: added the ftp_do_port and ftp_do_pasv functions to
1537         handle FTP over IPv6.
1538
1539         * ftp.h: changed prototype of ftp_epsv and added prototypes for
1540         ftp_lpsv, ftp_lprt and ftp_eprt.
1541
1542         * host.c: renamed the
1543         wget_sockaddr_set_address and wget_sockaddr_get_addr, and
1544         wget_sockaddr_{s,g}et_port couples to sockaddr_{s,g}et_address and
1545         sockaddr_{g,s}et_port respectively.  changed
1546         address_list_match_all, address_list_from_addrinfo sockaddr_len,
1547         pretty_print_address, lookup_host, sockaddr_{s,g}et_address and
1548         sockaddr_{g,s}et_port to make use of struct sockaddr_storage and
1549         of the new ip_address structure.  removed map_ipv4_to_ip and
1550         map_ip_to_ipv4.
1551
1552         * host.h: redefined structure ip_address and removed structure
1553         wget_sockaddr.
1554
1555 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
1556
1557         * sysdep.h: Include inttypes.h where available.
1558
1559         * host.c: Switch from u_int32_t to uint32_t.
1560
1561 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
1562
1563         * netrc.c (parse_netrc): Reset the QUOTE flag after the closing
1564         quote.
1565
1566 2003-10-25  Hrvoje Niksic  <hniksic@xemacs.org>
1567
1568         * url.c (is_valid_ipv6_address): Reformat to GNU coding style.
1569         Use enums for NS_IN* constants.  Use ISXDIGIT.
1570
1571         * convert.c (construct_relative): Document better how the function
1572         works.
1573
1574 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
1575
1576         * config.h.in: Deploy preprocessor magic to avoid Ultrix's
1577         <netdb.h> include <bitypes.h> which defines its own u_int32_t.
1578         Reported by Bernhard Simon.
1579
1580 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
1581
1582         * version.c: Bump version.
1583
1584 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
1585
1586         * url.c: Ditto.
1587
1588         * html-parse.c (advance_declaration): Don't use trailing comma in
1589         enum because older compilers don't support it.
1590
1591         * utils.c: Don't redefine HAVE_SIGSETJMP.
1592
1593 2003-10-16  Hrvoje Niksic  <hniksic@xemacs.org>
1594
1595         * convert.c (construct_relative): Don't handle absolute files
1596         specially -- for example, -P/tmp/foo shouldn't imply that
1597         converted files must refer to "/tmp/foo/..."!
1598
1599 2003-10-15  Hrvoje Niksic  <hniksic@xemacs.org>
1600
1601         * http.c: Consider status 307 a valid redirect.
1602
1603 2003-10-15  Philip Stadermann  <philip.stadermann@credativ.de>
1604
1605         * ftp.c (ftp_retrieve_glob): Correctly loop through the list whose
1606         elements might have been deleted.
1607
1608 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
1609
1610         * html-url.c (tag_handle_meta): Set the Refresh link to expect
1611         HTML.
1612         (append_one_url): Renamed to append_url.
1613
1614 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
1615
1616         * sysdep.h: Only define u_int32_t.
1617
1618 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
1619
1620         * utils.c (large_int_to_string): Use snprintf() to print the
1621         number.  This will work even on systems where libc doesn't
1622         understand %lld, but the compiler does, because it will use our
1623         snprintf replacement.
1624
1625         * init.c (parse_bytes_helper): New function.
1626         (cmd_bytes): Use it to parse bytes, but cast the result to long.
1627         (cmd_bytes_large): Ditto, but store the result to LARGE_INT.  Used
1628         for --quota so that --quota=10G works even on machines without
1629         long long.
1630
1631         * options.h (struct options): Declare quota as LARGE_INT.
1632
1633         * retr.c (downloaded_exceeds_quota): Removed.
1634         (downloaded_increase): Ditto.
1635         (total_downloaded_bytes): New variable, replaces opt.downloaded,
1636         which was the wrong place for it anyway.  Updated callers of
1637         downloaded_exceeds_quota and downloaded_increase to check this
1638         variable directly.
1639
1640         * sysdep.h: Get rid of VERY_LONG_TYPE.  Use LARGE_INT for the same
1641         purpose, defined as `long', `long long' or `double', depending on
1642         size of long and whether long long is available.
1643
1644 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
1645
1646         * sysdep.h: Also check size of short for int32_t.
1647
1648 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
1649
1650         * host.c (lookup_host): Use u_int32_t to store the result of
1651         inet_addr().  That removes the need for offset fiddling, caring
1652         about endian-ness, etc.
1653
1654         * sysdep.h: Define int32_t and u_int32_t if not available.
1655
1656 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
1657
1658         * ftp-basic.c (ftp_epsv): Use socklen_t * as the third argument to
1659         getpeername.
1660
1661         * config.h.in: Define socklen_t stub.
1662
1663         * host.c (sockaddr_len): Return socklen_t.
1664
1665         * connect.c (conaddr): Use socklen_t as the third argument to
1666         accept, getsockname, and connect.
1667
1668 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
1669
1670         * recur.c (retrieve_tree): Don't descend into documents that are
1671         not expected to contain HTML, regardless of their content-type.
1672
1673         * html-url.c (tag_url_attributes): Record which attributes are
1674         supposed to yield HTML links that can be followed.
1675         (tag_find_urls): Propagate that information to the caller through
1676         struct urlpos.
1677
1678 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
1679
1680         * hash.c (find_mapping): Return the next available mapping when
1681         the key is not found, not NULL.
1682         (hash_table_put): Use find_mapping to find the storage for the new
1683         data.
1684         (hash_table_put): Grow the table before exceeding maximum
1685         fullness, not afterwards.
1686
1687 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
1688
1689         * hash.c (hash_table_new): Slightly change the meaning of the
1690         first parameter.  Instead of being the minimum initial size, it is
1691         now the minimum number of items that the hash table can take
1692         without needing to resize.
1693
1694 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
1695
1696         * html-url.c (init_interesting): Initialize interesting_tags and
1697         interesting_attributes as hash tables.  This simplifies the code
1698         immensely because hash tables handle allocation and remove
1699         duplicates automatically.
1700         (find_tag): Removed.
1701         (collect_tags_mapper): Instead of calling find_tag, simply get the
1702         entry from interesting_tags hash table, which is both simpler and
1703         faster.
1704
1705 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
1706
1707         * hash.c (hash_table_get): Declare hash-table argument as const.
1708         (find_mapping): Ditto.
1709         (hash_table_get_pair): Ditto.
1710         (hash_table_contains): Ditto.
1711         (hash_table_count): Ditto.
1712
1713 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1714
1715         * html-url.c (get_urls_html): Parse the appropriate flags to
1716         html-parse.c.
1717
1718         * html-parse.c (map_html_tags): Accept FLAGS from the caller
1719         instead of examining OPT.
1720
1721 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1722
1723         * html-url.c (find_tag): Switch to binary search.
1724
1725 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1726
1727         * main.c (print_help): Fix typo; stured -> stored.
1728
1729 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1730
1731         * getopt.c: Add definitions of getopt_long and getopt_long_only.
1732
1733 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1734
1735         * config.h.in: Renamed DEBUG to ENABLE_DEBUG.  ENABLE_DEBUG is, I
1736         think, a better name, because it implies that debugging output is
1737         merely possible, not "on by default", as might be construed from
1738         just DEBUG.
1739
1740 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1741
1742         * ftp.c (has_insecure_name_p): Define it here.
1743
1744         * utils.c (has_wildcards_p): Define it here.
1745
1746         * sysdep.h: Declare fnmatch-related macros here, if not using
1747         system fnmatch().  Update .c files to not declare fnmatch.h
1748         directly.
1749
1750         * cmpt.c (fnmatch): Moved here.  Use it only under non-GNU libc.
1751
1752 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
1753
1754         * getopt.c: Newer version, imported from Free libit.
1755
1756 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
1757
1758         * cookies.c (struct cookie): Remove unused backpointer to cookie
1759         jar.
1760
1761 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
1762
1763         * cmpt.c (memmove): Comment out, since it's no longer used.
1764
1765         * cookies.c (cookie_jar_generate_cookie_header): Allocate room for
1766         chains in one pass.
1767         (find_chains_of_host): Assume that the caller has allocated DEST
1768         to be sufficiently large to take all the data.
1769         (eliminate_dups): Run through the array and eliminate dups on the
1770         fly instead of using memmove.
1771         (cookie_jar_process_set_cookie): Free cookie->domain before
1772         re-setting it.
1773
1774 2003-10-05  Gisle Vanem  <giva@bgnett.no>
1775
1776         * mswindows.c (set_sleep_mode): Fix type of
1777         _SetThreadExecutionState.
1778
1779 2003-10-05  Hrvoje Niksic  <hniksic@xemacs.org>
1780
1781         * utils.c (file_size): Return -1 if fopen() returns NULL.  Prior
1782         to this patch, wget --post-file=nosuchfile dumped core.
1783
1784 2003-10-04  Gisle Vanem  <giva@bgnett.no>
1785
1786         * mswindows.c (run_with_timeout): Use WaitForSingleObject to wait
1787         for thread termination.
1788
1789 2003-10-04  Hrvoje Niksic  <hniksic@xemacs.org>
1790
1791         * log.c: Use `...' in function definitions; ansi2knr will convert
1792         them to va_dcl.  This allowed removal of the ugly VA_START_1 and
1793         VA_START_2 macros.
1794
1795 2003-10-03  Gisle Vanem  <giva@bgnett.no>
1796
1797         * connect.c: And don't include them here.
1798
1799         * mswindows.h: Include winsock headers here.
1800
1801 2003-10-03  Hrvoje Niksic  <hniksic@xemacs.org>
1802
1803         * html-parse.c (convert_and_copy): Move variable declarations
1804         before statements.
1805
1806 2003-10-02  Gisle Vanem  <giva@bgnett.no>
1807
1808         * mswindows.c (run_with_timeout): For Windows: Run the 'fun' in a
1809         thread via a helper function. Continually query the thread's
1810         exit-code until finished or timed out.
1811
1812 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
1813
1814         * wget.h (XMALLOC_ARRAY): Removed.
1815         (ALLOCA_ARRAY): Ditto.
1816
1817         * html-parse.c: Renamed alloca_p to resized.
1818         (GROW_ARRAY): Renamed DO_REALLOC_FROM_ALLOCA to GROW_ARRAY and
1819         returned it to html-parse.c, since nothing else was using it.
1820
1821 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
1822
1823         * retr.c (retrieve_url): Initialize DUMMY storage for DT.  Caught
1824         by valgrind.
1825
1826 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
1827
1828         * html-parse.c (convert_and_copy): Handle numeric entities in
1829         hexadecimal, &#xHH.
1830         (convert_and_copy): Copy the contents directly to the pool without
1831         a stack-allocated intermediary.
1832
1833 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
1834
1835         * utils.c (alarm_set): New function; use either setitimer or alarm
1836         to set up the alarm.
1837         (alarm_cancel): New function; cancel the alarm set up by
1838         alarm_set.
1839         (run_with_timeout): Use them.
1840
1841 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
1842
1843         * url.c (url_parse): Don't leak memory when a reencoded URL turns
1844         out to be invalid.
1845
1846         * url.c (parse_errors): Mark error messages for translation.
1847         (url_error): Translate error messages returned to the caller.
1848
1849 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
1850
1851         * ftp.c (ftp_loop_internal): Initialize TMRATE to NULL to shut up
1852         the compiler.
1853
1854 2003-09-26  Gisle Vanem  <giva@bgnett.no>
1855
1856         * src/mswindows.c: Added ws_percenttitle() showing progress in the
1857         window titlebar. Called from retr.c. Secured ws_mypath().
1858
1859         * windows/config.h.ms: alloca() prototype not needed.  Removed
1860         "#undef ENABLE_NLS"; should be in Makefile IMHO. Moved
1861         WGET_USE_STDARG from mswindows.h to config.ms.h because of #ifdef
1862         in log.c. (MSVC's vararg.h and stdarg.h are incompatible).
1863
1864 2003-09-29  Aaron Hawley <Aaron.Hawley@uvm.edu>
1865
1866         * ftp.c (getftp): --spider option should now work with FTP
1867         downloads.
1868         (ftp_loop_internal): quiet reports and calculations of downloads
1869         when --spider option set, nor try deleting when --delete-after
1870         also set.
1871         (ftp_loop): --spider will skip HTML-ification of .listing file.
1872
1873 2003-09-26  Gisle Vanem  <giva@bgnett.no>
1874
1875         * mswindows.c (read_registry): Removed.
1876         (set_sleep_mode): New function.
1877         (windows_main_junk): Call it.
1878
1879 2003-09-26  Gisle Vanem  <giva@bgnett.no>
1880
1881         * mswindows.c (read_registry): Fix invocation of registry
1882         functions.
1883
1884         * mswindows.c (read_registry): Condition definitions of sleep and
1885         usleep with not HAVE_SLEEP and HAVE_USLEEP respectively.  Define
1886         HAVE_SLEEP and HAVE_USLEEP under __DMC__.
1887
1888 2003-09-24  Hrvoje Niksic  <hniksic@xemacs.org>
1889
1890         * url.c (url_escape_1): Revert unintentional change to lowercase
1891         xdigit escapes.
1892         (url_escape_dir): Document that this function depends on the
1893         output of url_escape_1.
1894
1895 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
1896
1897         * progress.c (create_image): Print the current ETA if we're done
1898         with the download.
1899         (create_image): Change '-' display char to '+' in the progress bar.
1900
1901         * Makefile.in (clean): Remove .libs.
1902
1903 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
1904
1905         * cookies.c (struct cookie): New flag domain_exact.
1906         (update_cookie_field): Skip leading dot in domain.
1907         (find_matching_chains): Match numeric addresses exactly; don't
1908         needlessly copy HOST to the stack.
1909         (matching_cookie): Added argument HOST.  If cookie->domain_exact
1910         is set, check that HOST is equal to cookie->domain.
1911         (cookie_jar_load): Only use TAB as delimiter.  Document the
1912         meaning of DOMAIN-FLAG.  Skip leading dot in domain.
1913         (cookie_jar_load): Don't ignore DOMAIN-FLAG -- instead, set
1914         domain_exact to true if DOMAIN-FLAG is false.
1915         (save_cookies_mapper): If domain_exact is false, prepend the
1916         domain with dot, like Mozilla does.
1917
1918 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
1919
1920         * progress.c (create_image): Print the initial part of the
1921         download with '-' characters, analogous to how dot progress prints
1922         the initial part with ','.
1923
1924         * hash.c (ptrhash): New function.
1925         (ptrcmp): Ditto.
1926         (hash_table_new): Default to identity hash table.
1927
1928 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
1929
1930         * safe-ctype.h (_sch_test): The cast of BIT to unsigned char was
1931         broken -- _sch_istable bitmasks are 16-bit, not 8-bit!  Cast BIT
1932         to unsigned short instead.
1933
1934 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
1935
1936         * url.c (path_simplify): Instead of calls to memmove, handle "./"
1937         and "../" by advancing pointers.
1938
1939 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
1940
1941         * retr.c (getproxy): Moved from url.c.
1942
1943         * convert.c: Split off link conversion from url.c into separate
1944         file.  Also included the book-keeping stuff from recur.c.
1945
1946 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
1947
1948         * init.c: Improved documentation of functions.
1949         (cmd_boolean): Attempt to make code that tries to avoid calling
1950         strcmp for "speed" a bit more readable.
1951
1952         * init.c (simple_atof): Report error on encountering non-digit,
1953         non-"." character.
1954         (simple_atoi): Replacement for myatoi(), calling interface
1955         compatible with simple_atof.  Updated myatoi's callers.
1956
1957 2003-09-21  Bertrand Demiddelaer  <bert@b3rt.org>
1958
1959         * url.c (path_simplify): Would read two bytes past the end of the
1960         string in the "./" case.
1961
1962 2003-09-21  Matthew J. Mellon  <mellon@tymenet.com>
1963
1964         * http.c (gethttp): Recognize content-type "application/xhtml+xml"
1965         as what Wget considers "text/html".
1966
1967 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
1968
1969         * connect.c (connect_with_timeout): Made timeout type double.
1970
1971         * options.h (struct options): New members read_timeout,
1972         dns_timeout, and connect_timeout.
1973         Use them.
1974
1975 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
1976
1977         * init.c (simple_atof): New function.
1978         (cmd_time): Use it.
1979         (cmd_bytes): Accept things like "1.5k" and such.  Use simple_atof
1980         to parse decimals.
1981
1982         * retr.c (limit_bandwidth): Adjust each sleep by the error of the
1983         previous one.
1984
1985 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
1986
1987         * main.c (main): Use setoptval() for setting the options.  Use
1988         run_command for `-e'.
1989
1990         * init.c (parse_line): Rewritten to return COMIND right away.
1991         Changed linkage to static.
1992         (run_wgetrc): Use the available comind when calling setval, so it
1993         doesn't have to be computed twice.
1994         (setval_internal): New function, runs the command's action without
1995         any error checking.
1996         (setoptval): New function, does what setval used to do, but exits
1997         in case of error.
1998         (run_command): New function.
1999
2000 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
2001
2002         * connect.c (select_fd): Change MAXTIME's type to double.  Handle
2003         its decimal part.
2004
2005         * retr.c (sleep_between_retrievals): In the random-wait case, use
2006         random_float() to wait between 0 and 2*opt.wait seconds.
2007
2008         * utils.c (run_with_timeout): Accept `double' timeouts.  Correctly
2009         handle timeout values in (0, 1) range.
2010         (random_float): New function.
2011
2012         * options.h (struct options): Change the types of wait, waitretry,
2013         and timeout to double.
2014
2015         * init.c (cmd_time): Accept floating point time.
2016
2017 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
2018
2019         * retr.c (get_contents): Cosmetic fixes.
2020
2021 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
2022
2023         * url.c (uri_merge): Get rid of uri_merge_1.
2024         (uri_merge): Merge "foo//", "bar" as "foo//bar", not "foo///bar",
2025         i.e. don't add an extra slash merely because BASE ends with two
2026         slashes.
2027         (parse_credentials): Renamed from parse_uname.  Rewrittern in
2028         standard [beg, end) calling style.
2029         (url_skip_credentials): Renamed from url_skip_uname.  Made static.
2030         (url_skip_credentials): Include # and ; as terminators.  Old code
2031         would mistakenly consider "http://foo.com#hniksic@iskon.hr" to
2032         contain a username.
2033         (url_skip_scheme): Removed because it was unused.
2034         (url_has_scheme): Require "scheme" to be at least one char long.
2035
2036 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
2037
2038         * url.c (url_file_name): Expect NULL dir_prefix.
2039
2040         * init.c (cmd_file): Use a macro to prevent multiple #ifdef
2041         WINDOWS.
2042         (defaults): Set dir_prefix to NULL by default.
2043
2044 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
2045
2046         * safe-ctype.h (_sch_test): Cast BIT to unsigned char, like latest
2047         gcc does.
2048
2049 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
2050
2051         * wget.h (BOUNDED_TO_ALLOCA): Evaluate PLACE only once.
2052         (ARRAY_SIZE): Renamed to countof.  All callers updated.
2053
2054 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
2055
2056         * main.c (main): New option --strict-comments.
2057
2058         * html-parse.c (find_comment_end): New function: simple BM search
2059         for "-->".
2060         (map_html_tags): Use it if looking at a comment and not in strict
2061         comments mode.
2062
2063 2003-09-17  Aurelien Marchand  <artaxerxes@users.sf.net>
2064
2065         * ftp.h: Added OS400 system in enum
2066         * ftp-basic.c: recognize OS400 systems
2067         * ftp.c: don't prepend the CWD if talking to OS400, since it
2068         breaks the change in library
2069
2070 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
2071
2072         * retr.c (get_contents): Pass the correct argument to ssl_iread.
2073
2074 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
2075
2076         * safe-ctype.h: Don't #define ctype.h macros to errors because
2077         that loses when someone #include's ctype.h after safe-ctype.h.
2078
2079 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
2080
2081         * url.c: Undef U, W, C after use.
2082
2083 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
2084
2085         * init.c (cmd_spec_restrict_file_names): Allow the OS setting to
2086         be augmented by ",nocontrol" which means don't escape the control
2087         characters, but otherwise keep OS settings.
2088
2089         * url.c (file_unsafe_char): Deleted.
2090         (append_uri_pathel): Query filechr_table directly.
2091         (filechr_table): Separated Unix, Windows, and control-unsafe
2092         characters.
2093
2094 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
2095
2096         * url.c (url_escape_1): New function.
2097         (url_escape): Use it.
2098         (sync_path): Handle pathological cases where u->file and u->dir
2099         contain really strange characters.
2100         (ENCODE): Deleted.
2101         (REENCODE): Deleted.
2102
2103 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
2104
2105         * url.c (url_file_name): Don't reallocate FNAME if the file
2106         doesn't exist, as is usually the case.
2107
2108         * utils.c (unique_name): New flag allow_passthrough.
2109
2110 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
2111
2112         * utils.c (wtimer_sys_diff): Convert the time difference to signed
2113         __int64, then to double.  This works around MS VC++ 6 which can't
2114         convert unsigned __int64 to double directly.
2115
2116 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
2117
2118         * Makefile.in (clean): Also remove the core.<number> files
2119         produced by recent Linux systems.
2120
2121 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
2122
2123         * http.c (post_file): Don't pad the file if it's not large
2124         enough.  Bail out instead.
2125
2126 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
2127
2128         * retr.c (get_contents): Reduce the buffer size to the amount of
2129         data that may pass through for one second.  This prevents long
2130         sleeps when limiting bandwidth.
2131
2132         * connect.c (connect_to_one): Reduce the socket's RCVBUF when
2133         bandwidth limitation to small values is requested.
2134
2135 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
2136
2137         * progress.c (update_speed_ring): Moved the speed ring update to a
2138         separate function and documented it better.
2139
2140         * progress.c: Use `double' for most timers to support granularity
2141         smaller than 1ms.
2142
2143 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
2144
2145         * wget.h (XDIGIT_TO_XCHAR): Implement as index into a literal
2146         string.
2147         (XDIGIT_TO_xchar): Ditto.
2148
2149 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
2150
2151         * utils.c: Change the type of timer-related functions from long to
2152         double, for better precision.  On machines supporting gettimeofday
2153         the timers now work with granularity of less than one millisecond.
2154
2155 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
2156
2157         * cookies.c (parse_set_cookies): Fixed the parser to handle more
2158         edge conditions.
2159         (test_cookies): New function, contains a test suite for
2160         parse_set_cookies.
2161
2162 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
2163
2164         * url.c (strpbrk_or_eos): Implement as a macro under Gcc.
2165
2166 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
2167
2168         * cookies.c (parse_set_cookies): Allow trailing space in
2169         set-cookies header.  Also, allow any amount of whitespace, not
2170         only one character.  Allow empty set-cookies header without
2171         spewing an error.
2172
2173 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
2174
2175         * url.c (append_uri_pathel): Use opt.restrict_file_names when
2176         calling file_unsafe_char.
2177
2178         * init.c: New command restrict_file_names.
2179
2180         * main.c (main): New option --restrict-file-names[=windows,unix].
2181
2182         * url.c (url_file_name): Renamed from url_filename.
2183         (url_file_name): Add directory and hostdir prefix here, not in
2184         mkstruct.
2185         (append_dir_structure): New function, does part of the work that
2186         used to be in mkstruct.  Iterates over path elements in u->path,
2187         calling append_uri_pathel on each one to append it to the file
2188         name.
2189         (append_uri_pathel): URL-unescape a path element and reencode it
2190         with a different set of rules, more appropriate for handling of
2191         files.
2192         (file_unsafe_char): New function, uses a lookup table to decide
2193         whether a character should be escaped for use in file name.
2194         (append_string): New utility function.
2195         (append_char): Ditto.
2196         (file_unsafe_char): New argument restrict_for_windows, decide
2197         whether Windows file names should be escaped in run-time.
2198
2199         * connect.c: Include <stdlib.h> to get prototype for abort().
2200
2201 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
2202
2203         * utils.c (wtimer_sys_set): Extracted the code that sets the
2204         current time here.
2205         (wtimer_reset): Call it.
2206         (wtimer_sys_diff): Extracted the code that calculates the
2207         difference between two system times here.
2208         (wtimer_elapsed): Call it.
2209         (wtimer_elapsed): Don't return a value smaller than the previous
2210         one, which could previously happen when system time is set back.
2211         Instead, reset start time to current time and note the elapsed
2212         offset for future calculations.  The returned times are now
2213         guaranteed to be monotonically nondecreasing.
2214
2215 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
2216
2217         * host.c (lookup_host): Print the result of the DNS lookup.
2218
2219 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
2220
2221         * init.c (cmd_boolean): Accept yes/no along with on/off.
2222         (cmd_lockable_boolean): Ditto.
2223
2224 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
2225
2226         * init.c: New command dns_cache.
2227
2228         * main.c (main): New option --dns-cache[=off].
2229
2230 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
2231
2232         * config.h.in: Initialize HAVE_GETADDRINFO and ENABLE_IPV6.
2233
2234         * all: Use #ifdef ENABLE_IPV6 instead of the older INET6.  Use
2235         HAVE_GETADDRINFO for getaddrinfo-related stuff.
2236
2237 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
2238
2239         * url.c (url_parse): Return an error if the URL contains a [...]
2240         IPv6 numeric address and we don't support IPv6.
2241
2242 2003-09-05  Hrvoje Niksic  <hniksic@xemacs.org>
2243
2244         * url.c (is_valid_ipv6_address): Modified to not require
2245         zero-terminated strings.
2246         (is_valid_ipv4_address): Ditto.
2247
2248 2003-09-05  Mauro Tortonesi <mauro@deepspace6.net>
2249
2250         src/url.c: added RFC 2732 compliance for URL parsing. The
2251         functions is_*_address valid are a modified version of
2252         glibc 2.3.2 inet_pton's code.
2253
2254 2003-09-03  Ahmon Dancy  <dancy@dancysoft.com>
2255
2256         * main.c init.c options.h: Added --retry-connrefused option so
2257         that Connection Refused failures are treated as non-fatal (when
2258         trying to retrieve from busy servers).
2259
2260         * wget.h: New CONNECT_ERROR macro for encapsulating this
2261         modification.
2262
2263         * ftp.c http.c : Use CONNECT_ERROR macro in places where
2264         ECONNREFUSED was checked.
2265
2266 2003-01-11  Ian Abbott  <abbotti@mev.co.uk>
2267
2268         * ftp.c (ftp_retrieve_glob): Reject insecure filenames as determined
2269         by calling new function has_insecure_name_p.  This is based on a
2270         patch by Red Hat.
2271
2272         * fnmatch.c (has_insecure_name_p): New function: returns non-zero
2273         if filename starts with `/' or contains `../' and is therefore
2274         considered insecure.
2275
2276         * fnmatch.h: Declare has_insecure_name_p().
2277
2278 2002-08-03  Hrvoje Niksic  <hniksic@xemacs.org>
2279
2280         * init.c (cmd_file): Allocate RESULT correctly.
2281
2282 2002-07-24  Hrvoje Niksic  <hniksic@xemacs.org>
2283
2284         * recur.c (retrieve_tree): Check whether downloaded_html_set is
2285         non-NULL before using it.
2286
2287 2002-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2288
2289         * html-parse.c (NAME_CHAR_P): Allow almost any character here.
2290
2291 2002-05-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2292
2293         * progress.c (bar_set_params): Fall back to dot progress if the
2294         terminal type is "emacs".
2295
2296 2002-05-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2297
2298         * log.c: Don't #undef WGET_USE_STDARG.
2299
2300 2002-05-16  Hrvoje Niksic  <hniksic@arsdigita.com>
2301
2302         * hash.c (prime_size): Store the offset of the prime number in the
2303         prime table.  When searching, start with the given offset.
2304         (hash_table_new): Pass the pointer to ht->prime_offset to
2305         prime_size.
2306         (grow_hash_table): Ditto.
2307         (prime_size): Make 13 the first prime to make empty hash tables
2308         slightly smaller.
2309
2310 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
2311
2312         * recur.c (download_child_p): Minor optimization to avoid an
2313         unnecessary additional call to schemes_are_similar_p function.
2314
2315 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
2316
2317         * url.c (schemes_are_similar_p): New function to test enumerated
2318         scheme codes for similarity.
2319
2320         * url.h: Declare it.
2321
2322         * recur.c (download_child_p): Use it to compare schemes.  This
2323         also fixes a bug that allows hosts to be spanned (without the
2324         -H option) when the parent scheme is https and the child's is
2325         http or vice versa.
2326
2327 2002-05-14  Bill Richardson  <bill@riverstonenet.com>
2328
2329         * ftp.c (getftp): Don't ftruncate stdout.
2330
2331         * http.c (gethttp): Don't ftruncate stdout.
2332
2333 2002-05-09  Ian Abbott  <abbotti@mev.co.uk>
2334
2335         * cmpt.c (strptime_internal): Synched with glibc-2.1.3.
2336         (get_number): Ditto.
2337         (get_alt_number): Ditto.
2338         (__isleap): New function-like macro used by strptime.
2339         (day_of_the_week): New function used by strptime.
2340         (day_of_the_year): Ditto.
2341         (__mon_yday): Now shared by mktime and strptime implementations.
2342
2343 2002-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
2344
2345         * cookies.c (check_domain_match): Use match_tail in case
2346         insensitive mode.
2347
2348         * utils.c (match_tail): Allow the caller to specify case
2349         insensitive mode.
2350
2351         * cookies.c (store_cookie): When expiry_time is 0, print it as
2352         undefined, not indefinite.
2353
2354 2002-05-07  Ian Abbott  <abbotti@mev.co.uk>
2355
2356         * cookies.c (cookie_jar_process_set_cookie): Do not store
2357         discarded cookie.
2358
2359 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
2360
2361         * cookies.c (check_domain_match): Allow cookies to be set for
2362         subdomains of unknown top-level domains under some circumstances.
2363
2364 2002-04-21  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
2365
2366         * gen_ssl.c:
2367         - allow checking of server cert
2368         - allow defining client cert type
2369         - allow limit of ssl protocol
2370         - check more return values
2371         - added debug message on break
2372
2373 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
2374
2375         * recur.c (download_child_p): Revert order of items in check
2376         number 6 for clarity.
2377
2378 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2379
2380         * init.c: Ditto.
2381
2382         * main.c: Ditto.
2383
2384         * http.c: Use the new interface.
2385
2386         * cookies.c: Provide an OO-style "cookie jar" interface to enable
2387         separate cookie jars.
2388
2389         * http.c (http_atotm): Declare argument as const.
2390
2391 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2392
2393         * cookies.c (cookie_new): Default to PORT_ANY.
2394         (find_cookie_chain_exact): Only search by DOMAIN.
2395         (find_matching_cookie): Also check that PORT matches.
2396         (store_cookie): Only match the domain.
2397         (set_cookie_header_cb): When a cookie "fakes" a domain, assume it
2398         is valid for that host rather than discarding it completely.
2399         (find_matching_chains): Don't search by PORT.
2400         (matching_cookie): Also match PORT.
2401         (load_cookies): Set the port if specified, otherwise leave it as
2402         ANY.
2403         (save_cookies_mapper): Save the port if specified, otherwise leave
2404         it empty.
2405
2406 2002-04-19  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
2407
2408         * init.c: The option `egdfile' was not in sort order.
2409
2410 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
2411
2412         * ftp.c (getftp): Treat directories that begin with <letter>: as
2413         absolute.
2414         (getftp): Strip trailing slashes from con->id before merging it
2415         with TARGET.
2416
2417 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
2418
2419         * http.c (gethttp): If Content-Type is not given, assume
2420         text/html.
2421
2422 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
2423
2424         * recur.c (download_child_p): Don't ignore rejection of HTML
2425         documents that are themselves leaves of recursion.
2426
2427 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
2428
2429         Makefile.in: Updated several dependencies for object files to take
2430         account of nested include files.
2431
2432 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
2433
2434         Makefile.in: The target `connect$o' (connect.o) now depends on
2435         `utils.h'
2436
2437 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
2438
2439         * host.c (SET_H_ERRNO): New function-like macro to set `h_errno'.
2440         (gethostbyname_with_timeout): Use it.
2441
2442         * utils.c: Don't define `SETJMP()', `run_with_timeout_env' or
2443         `abort_run_with_timeout()' when `USE_SIGNAL_TIMEOUT' is undefined.
2444
2445 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
2446
2447         * host.c (getaddrinfo_with_timeout): New function.
2448         (gethostbyname_with_timeout): Ditto.
2449         (lookup_host): Use them.
2450
2451 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2452
2453         * utils.c (number_to_string): Handle the case when n < -INT_MAX.
2454
2455 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2456
2457         * init.c (comind): Use a marginally faster implementation of
2458         binary search.  To quote Martin Buchholz, "a nanosecond saved is a
2459         nanosecond earned."
2460
2461 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2462
2463         * main.c (print_help): Document `--post-data' and `--post-file'.
2464
2465 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2466
2467         * http.c (gethttp): Ditto.
2468
2469         * retr.c (retrieve_url): Initialize variables to appease the
2470         compiler.
2471
2472         * gen_sslfunc.c (ssl_iread): Don't handle EINTR when calling
2473         select_fd.
2474         (ssl_iwrite): Ditto.
2475
2476         * connect.c (select_fd): Rewrite to handle EINTR.  Set errno to
2477         ETIMEDOUT in case of timeout.
2478         (iread): No need to handle EINTR when calling select_fd.
2479         (iwrite): Ditto.
2480
2481 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2482
2483         * retr.c (retrieve_url): Make sure that POST is not honored for
2484         redirections.
2485
2486         * http.c (gethttp): Send the POST data when requested.
2487         (post_file): New function.
2488         (gethttp): Use it.
2489
2490         * main.c (main): Ditto.
2491
2492         * init.c: Add new options.
2493
2494         * options.h (struct options): New options post_data and
2495         post_file_name.
2496
2497 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2498
2499         * connect.c (connect_with_timeout): Firing SIGALRM can result in
2500         connect() exiting with EINTR.  Treat EINTR the same as ETIMEDOUT.
2501
2502 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2503
2504         * connect.c (connect_with_timeout): Use it.
2505
2506         * utils.c (run_with_timeout): New function.
2507
2508 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2509
2510         * url.c (getproxy): Accept a struct url argument.  This obviates
2511         the need for USE_PROXY_P.
2512
2513         * retr.c (retrieve_url): Allow proxy to be a non-FTP URL.
2514
2515         * ftp.c (getftp): Recognize FWTK-style proxy.
2516
2517 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2518
2519         * config.h.in: Only define _VA_LIST when compiled with gcc.
2520
2521 2002-04012  Ian Abbott  <abbotti@mev.co.uk>
2522
2523         * http.c (http_loop): Compensate for MS Windows two-second
2524         granularity of file modification time when comparing timestamps.
2525
2526         * ftp.c (ftp_retrieve_list): Ditto.
2527
2528 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
2529
2530         * utils.c (has_html_suffix_p): New function to test filename for
2531         common html extensions.
2532
2533         * utils.h: Declare it.
2534
2535         * http.c (http_loop): Use it instead of previous test.
2536
2537         * retr.c (retrieve_url): Ditto.
2538
2539         * recur.c (download_child_p): Ditto.
2540
2541 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2542
2543         * config.h.in: Define _VA_LIST on Solaris to prevent stdio.h from
2544         declaring va_list.
2545         From Kevin Rodgers <kevinr@ihs.com>.
2546
2547 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
2548
2549         * Makefile.in: Specify libtool mode explicitly when linking.
2550
2551 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2552
2553         * connect.c (connect_with_timeout): New function.
2554         (connect_to_one): Use it.
2555
2556         * config.h.in: Add stubs for HAVE_SIGSETJMP, HAVE_SIGBLOCK, and
2557         HAVE_SETJMP_H.
2558
2559 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2560
2561         * log.c: Set WGET_USE_STDARG if __STDC__ is defined and stdarg.h
2562         is present.
2563
2564 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2565
2566         * progress.c (bar_create): If INITIAL is larger than TOTAL, fix
2567         TOTAL.
2568         (bar_finish): Likewise.
2569
2570 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2571
2572         * html-url.c (tag_handle_form): New function.  Pick up form
2573         actions and mark them for conversion only.
2574
2575 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2576
2577         * progress.c (struct progress_implementation): Use PARAMS when
2578         declaring the parameters of *create, *update, *finish, and
2579         *set_params.
2580
2581         * netrc.c: Ditto.
2582
2583         * http.c: Reformat some function definitions so that ansi2knr can
2584         read them.
2585
2586         * hash.c (struct hash_table): Use the PARAMS macro around
2587         parameters in the declaration of hash_function and test_function.
2588         (prime_size): Spell 2580823717UL and 3355070839UL as (unsigned
2589         long)0x99d43ea5 and (unsigned long)0xc7fa5177 respectively, so
2590         that pre-ANSI compilers can read them.
2591         (find_mapping): Use PARAMS when declaring EQUALS.
2592         (hash_table_put): Ditto.
2593
2594         * ftp.h: Wrap the parameters of ftp_index declaration in PARAMS.
2595
2596         * cookies.c (cookie_new): Use (unsigned long)0 instead of 0UL,
2597         which was unsupported by pre-ANSI compilers.
2598
2599         From Nelson H. F. Beebe <beebe@math.utah.edu>, for the most part.
2600
2601 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2602
2603         * url.c (url_filename): Use compose_file_name regardless of
2604         whether opt.dirstruct is set.
2605         (mkstruct): Don't handle the query and the reencoding of DIR; that
2606         is done in compose_file_name.
2607
2608 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2609
2610         * wget.h: Ditto for extern char *exec_name.
2611
2612         * options.h: Don't guard against OPTIONS_DEFINED_HERE -- it is
2613         perfectly legal to follow an `extern' with a non-`extern' ones,
2614         provided the types match.
2615
2616         * main.c: Don't define OPTIONS_DEFINED_HERE.
2617
2618 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2619
2620         * progress.c (create_image): Revert to calculating ETA based on
2621         average download speed.
2622         (create_image): Don't print ETA until the download has been active
2623         for at least 3 seconds.
2624         (create_image): When ETA is not available, don't print anything.
2625         The previous version would print --:--.
2626
2627 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2628
2629         * progress.c (bar_update): Keep updating a subinterval until it
2630         reaches or exceeds a watermark.  That way the measurement will be
2631         guaranteed to span a configurable minimum of time.  The current
2632         default is 3s in 30 100ms intervals.
2633
2634 2002-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2635
2636         * progress.c (bar_update): Maintain an array of the time it took
2637         to perform previous 30 network reads.
2638         (create_image): Calculate the download speed and ETA based on the
2639         last 30 reads, not the entire download.
2640         (create_image): Make sure that the ETA is not changed more than
2641         once per second.
2642
2643 2002-04-09  Ian Abbott  <abbotti@mev.co.uk>
2644
2645         * mswindows.c (borland_utime): New function conditionally defined
2646         when `HACK_BCC_UTIME_BUG' is defined.  A reimplementation of
2647         `utime()' as Borland's `utime()' function is broken on Windows 9x
2648         systems.  (Original patch by Chin-yuan Kuo <sr1111111@yahoo.com.tw>.)
2649
2650 2002-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
2651
2652         * ftp.c (ftp_loop): Propagate the result of ftp_retrieve_glob.
2653
2654 2002-03-26  Ian Abbott  <abbotti@mev.co.uk>
2655
2656         * Makefile.in: Updated several dependencies for object files.
2657
2658 2002-03-20  Ian Abbott  <abbotti@mev.co.uk>
2659
2660         * mswindows.c: Include "utils.h".
2661
2662 2002-03-18  Ian Abbott  <abbotti@mev.co.uk>
2663
2664         * host.h: Don't include netdb.h on windows.
2665
2666 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2667
2668         * recur.c (retrieve_tree): Handle the case when start_url doesn't
2669         parse.
2670
2671 2002-02-19  Andreas Damm  <andreas-sourceforge@radab.org>
2672
2673         * wget.h (DO_REALLOC_FROM_ALLOCA): Multiply with sizeof(type) when
2674         calling xmalloc and memcpy.
2675
2676 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2677
2678         * host.h: Include Unix-specific includes #ifndef WINDOWS.
2679         Patch originally provided by Christian Lackas.
2680
2681 2002-02-11  Christian Lackas  <delta@lackas.net>
2682
2683         * recur.c: recurive downloading for https fixed.
2684
2685 2002-02-19  Alan Eldridge  <alane@geeksrus.net>
2686
2687         * host.h: Also include <netinet/in.h> and <sys/socket.h>.
2688
2689         * ftp-basic.c: Also include <netinet/in.h>.
2690
2691 2002-02-05  Ian Abbott  <abbotti@mev.co.uk>
2692
2693         * http.c (gethttp): when -c used, mark already fully retrieved
2694         file as successfully retrieved.
2695
2696 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2697
2698         * url.c (url_parse): Don't treat '?' as query string separator
2699         when parsing FTP URLs.
2700
2701 2002-02-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2702
2703         * html-url.c (tag_handle_meta): Don't crash on <meta
2704         http-equiv=refresh> where content is missing.
2705
2706 2002-01-31  Herold Heiko  <Heiko.Herold@previnet.it>
2707
2708         * ftp-basic.c, host.c: don't include sys/socket.h, arpa/inet.h,
2709         netdb.h on windows.
2710
2711 2002-01-30  Hrvoje Niksic  <hniksic@arsdigita.com>
2712
2713         * retr.c (retrieve_url): Remove redirection cycle detection.  This
2714         is because some sites legitimately redirect the user back to the
2715         same location, e.g. after an authorization check performed by
2716         another page.  MAX_REDIRECTIONS is still used to prevent infinite
2717         redirection loops.
2718
2719 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2720
2721         * http.c (gethttp): Wrap host name in square brackets if it
2722         contains a colon.
2723
2724 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2725
2726         * url.c (url_parse): Allow all hex digits, not only decimal ones,
2727         to form an IP address.
2728
2729 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2730
2731         * url.c (urlchr_table): Make square braces reserved, so we can
2732         parse http://[::1]/.
2733         (url_parse): Handle host in braces.
2734         (url_string): If url->host contains colons, wrap it in braces.
2735
2736 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2737
2738         * connect.c (resolve_bind_address): New function.
2739         (connect_to_one): Use it.
2740         (bindport): Ditto.
2741
2742         * init.c: Don't resolve bind-address here.
2743
2744         * host.c (wget_sockaddr_set_address): Would bug out with ADDR == NULL.
2745
2746 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2747
2748         * host.c (lookup_host): Use sizeof(ip4_address) to calculate the
2749         offset.
2750         (address_list_new): Use map_ipv4_to_ip.
2751         (wget_sockaddr_set_address): Convert ADDR to IPv4 before using it
2752         in IPv4 context.
2753
2754 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2755
2756         * source: Integrated IPv6 support.
2757         Written by Thomas Lussnig <thomas.lussnig@bewegungsmelder.de>.
2758
2759 2002-01-15  Ian Abbott  <abbotti@mev.co.uk>
2760
2761         * init.c (cmd_file): Change `\' to `/' for Windows (yes, really!)
2762         (cmd_directory): New function. Like cmd_file(), but strips
2763         trailing directory separators.
2764         (commands): Change action for "dirprefix" from `cmd_file' to
2765         `cmd_directory'.
2766
2767         * utils.c (make_directory): Allow intermediate `mkdir' calls to
2768         fail, as not all path components that do not exist should be
2769         directory components, especially under Windows.
2770
2771 2002-01-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2772
2773         * netrc.c (parse_netrc): Skip leading whitespace before testing
2774         whether the line is empty.  Empty lines still contain the line
2775         terminator.
2776
2777 2002-01-15  Hrvoje Niksic  <hniksic@arsdigita.com>
2778
2779         * gen_sslfunc.c (ssl_iread): Call select on the file descriptor
2780         only if no data is pending in SSL buffers.
2781         From tony@bluetail.com.
2782
2783 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2784
2785         * headers.c (header_get): Strip trailing whitespace from the
2786         header.
2787
2788 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2789
2790         * url.c (parse_uname): URL-decode *USER and *PASSWD.
2791
2792 2002-01-07  Ian Abbott <abbotti@mev.co.uk>
2793
2794         * url.c (uri_merge_1): Deal with "net path" relative URL (one that
2795         starts with "//").
2796
2797 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2798
2799         * http.c (gethttp): Invalidate SOCK if get_contents encountered an
2800         error.
2801
2802 2001-12-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2803
2804         * version.c: Wget 1.8.1 is released.
2805
2806 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2807
2808         * version.c: Wget 1.8.1-pre3 is released.
2809
2810 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2811
2812         * recur.c (retrieve_tree): Enqueue the canonical representation of
2813         start_url, so that the test against dl_url_file_map works.
2814
2815 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2816
2817         * log.c (logputs): Check for requested verbosity before printing
2818         anything.
2819
2820 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2821
2822         * html-url.c (tag_handle_link): Treat the "shortcut icon" link as
2823         inline.
2824
2825 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2826
2827         * recur.c (retrieve_tree): Make a copy of file obtained from
2828         dl_url_file_map because the code calls xfree(file) later.
2829
2830 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2831
2832         * recur.c (register_html): Maintain a hash table of HTML files
2833         along with the list.  Disallow duplicates.
2834         (retrieve_tree): Use downloaded_html_set to check whether the file
2835         found in dl_url_file_map is an HTML file, and descend into it if
2836         so.
2837         (convert_all_links): Don't guard against duplicates in
2838         downloaded_html_list, since they are no longer possible.
2839
2840 2001-12-18  Ian Abbott  <abbotti@mev.co.uk>
2841
2842         * recur.c (retrieve_tree): Pass on referring URL when retrieving
2843         recursed URL.
2844
2845 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2846
2847         * version.c: Wget 1.8.1-pre2 is released.
2848
2849 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2850
2851         * retr.c (sleep_between_retrievals): Simplify indentation.
2852
2853 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2854
2855         * gen_sslfunc.c (ssl_init_prng): Use random_number to get a byte
2856         of "randomness" at a time.
2857         (ssl_init_prng): Don't seed the PRNG; random_number will do that.
2858
2859         * retr.c (sleep_between_retrievals): Use it.  Make sure that the
2860         random amount averages in opt.wait.
2861         (sleep_between_retrievals): Don't seed the PRNG; random_number
2862         will do that.
2863
2864         * utils.c (random_number): New function.
2865
2866 2001-12-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2867
2868         * url.c (path_simplify): Move here from utils.c, and make static.
2869
2870 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2871
2872         * init.c (wgetrc_file_name): Print correct message when loading
2873         getenv("WGETRC") fails.
2874
2875 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2876
2877         * recur.c (register_download): Don't abort when one URL references
2878         two different files.
2879
2880 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2881
2882         * http.c (gethttp): Check for conn->scheme, not u->scheme, before
2883         calling ssl_iwrite.
2884
2885 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2886
2887         * version.c: Wget 1.8.1-pre1 is released.
2888
2889 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2890
2891         * res.c (matches): Fix broken URL in the docstring.
2892
2893 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2894
2895         * html-url.c (tag_url_attributes): Mark <embed href=...> as
2896         external.
2897
2898 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2899
2900         * url.c (get_urls_file): Cosmetic changes.
2901
2902 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2903
2904         * html-url.c (append_one_url): Resurrect warning when unable to
2905         resolve a relative link.
2906
2907 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2908
2909         * html-url.c (collect_tags_mapper): Break into several functions.
2910         (tag_url_attributes): Collect <embed href=...>.
2911
2912 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2913
2914         * host.c: New type ipv4_address.  Use it consistently instead of
2915         `unsigned char[4]' and `unsigned char *'.
2916         (pretty_print_address): Accept a `const void *', to require even
2917         less casting.
2918
2919 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2920
2921         * ftp-ls.c (ftp_parse_vms_ls): Fix obvious memory leaks.
2922
2923 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2924
2925         * main.c (main): Initialize progress after fork_to_background, so
2926         that it knows when to use dots.
2927
2928         * mswindows.c (ws_hangup): Call log_request_redirect_output.
2929
2930         * utils.c (fork_to_background): Print the PID of the child
2931         process.
2932
2933         * log.c (log_request_redirect_output): Set a flag that output
2934         redirection has been requested.  Doing anything else in a signal
2935         handler is unsafe.
2936         (check_redirect_output): New function: check whether redirection
2937         has been requested and, if so, call redirect_output().
2938         (logputs): Call check_redirect_output.
2939         (logprintf): Ditto.
2940         (debug_logprintf): Ditto.
2941         (redirect_output): Print clearer messages.
2942
2943         * main.c (redirect_output_signal): Don't call
2944         redirect_output_signal directly.  Instead, call
2945         log_request_redirect_output.
2946
2947         * utils.c (memfatal): Ditto.
2948
2949         * progress.c (display_image): Use it.
2950
2951         * log.c (log_set_save_context): New function: allow the caller to
2952         turn off saving log context lines.
2953
2954 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2955
2956         * host.c (address_list_set_faulty): Uncomment a sanity check.
2957
2958 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2959
2960         * utils.c (long_to_string): Return a pointer after where the
2961         number ends.
2962         (long_to_string): Rename to number_to_string.
2963
2964 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2965
2966         * utils.c (path_simplify): Correctly handle the unlikely case that
2967         b starts out as path + 1.
2968
2969 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2970
2971         * utils.c (path_simplify): Rewrite, with better comments, and
2972         without the use of strcpy to move overlapping blocks.
2973
2974 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2975
2976         * init.c (cmd_spec_progress): Resurrect.  Check whether VAL is a
2977         valid progress type before setting it.
2978
2979 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2980
2981         * main.c (main): Remove stray debugging message.
2982
2983 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2984
2985         * progress.c (create_image): Fix ETA padding when hours are prined.
2986
2987 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2988
2989         * version.c: Wget 1.8 is released.
2990
2991 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2992
2993         * url.c (reencode_string): Declare static.
2994
2995         * res.c (registered_specs): Declare static.
2996
2997         * progress.c (current_impl_locked): Declare static.
2998
2999         * log.c (flush_log_p): Declare static.
3000         (needs_flushing): Ditto.
3001
3002         * http.c (digest_authentication_encode): Declare static.
3003
3004         * html-url.c (init_interesting): Declare static.
3005
3006         * host.c (host_name_addresses_map): Declare static.
3007
3008         * cookies.c (find_matching_chains): Declare static.
3009
3010         * ftp-ls.c (ftp_parse_vms_ls): Warn about the memory leak
3011         indicated by lint.
3012
3013         * utils.c (path_simplify): Remove unused variable STUB_CHAR.
3014
3015         * host.c (address_list_set_faulty): Document that INDEX is
3016         currently unused.
3017
3018         * url.c (rewrite_shorthand_url): Remove unused variable PATH.
3019
3020 2001-12-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3021
3022         * version.c: Wget 1.8-pre2 is released.
3023
3024 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3025
3026         * progress.c (progress_handle_sigwinch): Set up the signal again.
3027
3028         * utils.c: Include <sys/termios.h>, where Solaris defines
3029         TIOCGWINSZ.
3030
3031         * progress.c (bar_create): Don't use the last column on the screen.
3032         (create_image): Pad ETA to constant size.  Pad SIZE to nine digits
3033         only until it exceeded them.
3034
3035 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3036
3037         * version.c: Wget 1.8-pre1 is released.
3038
3039 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3040
3041         * progress.c (progress_create): Make sure that, when the output is
3042         redirected, the progress implementation gets changed to the
3043         fallback one.
3044         (bar_set_params): Set current_impl_locked to 1 when "force" is
3045         specified.
3046         (progress_create): Don't change the progress implementation if
3047         current_impl_locked is non-zero.
3048
3049         * main.c (redirect_output_signal): Call
3050         progress_schedule_redirect.
3051
3052         * progress.c (progress_schedule_redirect): New function.
3053
3054 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3055
3056         * log.c (logvprintf): Restructure to allow being called multiple
3057         times.
3058         (logprintf): Call logvprintf in a loop.
3059         (debug_logprintf): Ditto.
3060
3061 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3062
3063         * gen_sslfunc.c (ssl_init_prng): Allow the user to disable EGD by
3064         setting egd_file it to empty string.
3065
3066         * main.c (main): Change the option name from --sslegdsock to
3067         --egd-file.
3068
3069 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3070
3071         * gen_sslfunc.c (ssl_init_prng): Make the printed message
3072         translatable.
3073
3074 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3075
3076         * url.c (scheme_disable): New function.
3077
3078         * main.c (main): Call ssl_init_prng from here rather than from
3079         init_ssl, so that it has a chance to disable support for https
3080         before a URL has been resolved.
3081
3082         * gen_sslfunc.c (ssl_init_prng): Seed with rand() if all else
3083         failed.
3084         (ssl_init_prng): Disable support for https if seeding the PRNG
3085         fails.
3086
3087 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3088
3089         * utils.c (read_whole_line): Handle lines beginning with \0.
3090
3091 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
3092
3093         * recur.c (convert_all_links): Guard against duplicates in
3094         downloaded_html_files.
3095         (register_download): Don't invalidate similar-looking URLs.
3096         (match_except_index): New function.
3097
3098 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
3099
3100         * utils.c (path_simplify): Document with test cases.
3101
3102 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
3103
3104         * gen_sslfunc.c: Ditto.
3105
3106         * rbuf.c: Include <string.h>.
3107
3108 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
3109
3110         * recur.c (retrieve_tree): Check whether the URL was already
3111         downloaded before downloading it again.
3112         (descend_child_p): Renamed to download_child_p.
3113         (register_download): When one URL is downloaded to a file already
3114         "owned" by another URL, delete all references that map any URL to
3115         that file.
3116         (register_delete_file): New function.
3117         (retrieve_tree): Use it after deleting a file.
3118
3119         * url.c (url_parse): Re-canonicalize the URL also if the path is
3120         empty, so that e.g. "http://www.server.com" ->
3121         "http://www.server.com/".
3122         (lowercase_str): Use ISUPPER instead of !ISLOWER.
3123
3124         * retr.c (retrieve_url): Use the canonical URL form when calling
3125         register_download().
3126
3127 2001-12-04  Ian Abbott <abbotti@mev.co.uk>
3128
3129         * snprintf.c (dopr): Use `unsigned int' as the second argument to
3130         va_arg when casting to `unsigned short' is intended.
3131
3132 2001-12-04  Herold Heiko  <Heiko.Herold@previnet.it>
3133
3134         * gen_sslfunc.c: on windows provide ssl crypto random
3135           initialization through RAND_screen(); could possibly
3136           be not enough for strong ssl communication (see the
3137           relevant manual page from the openssl package).
3138
3139 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
3140
3141         * url.c (local_quote_string): Reenable quoting of question marks,
3142         but only when `--html-extension' is used.
3143
3144 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
3145
3146         * version.c: Wget 1.8-beta3 is released.
3147
3148 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
3149
3150         * snprintf.c (dopr): Cast the result of va_arg to short int and
3151         short unsigned int where these types are expected to be used.
3152
3153 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
3154
3155         * snprintf.c (dopr): Replace `short int' and `unsigned short int'
3156         with `int' when using it as the second argument to `va_arg'.
3157
3158 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
3159
3160         * host.c (address_list_new_one): New function.
3161         (lookup_host): Use it.
3162
3163 2001-12-03  Andre Majorel  <amajorel@teaser.fr>
3164
3165         * host.c (lookup_host): Don't initialize TMPSTORE directly because
3166         it's not legal C.
3167
3168 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
3169
3170         * ftp-basic.c (ftp_port): Don't return HOSTERR if we fail getting
3171         the socket data.
3172
3173         * ftp.c: Ditto.
3174
3175         * http.c: No need to declare h_errno.
3176
3177         * host.c: Declare h_errno.
3178
3179 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3180
3181         * utils.c (file_merge): If BASE doesn't contain a slash, just
3182         return a copy of FILE.
3183
3184 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3185
3186         * version.c: Wget 1.8-beta2 is released.
3187
3188 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3189
3190         * ftp.c (getftp): When PWD fails, assume "/".
3191
3192         * ftp-basic.c (ftp_syst): Fix indentation.
3193
3194 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3195
3196         * url.c (get_urls_file): If opt.base_href is specified, merge each
3197         URL with the base.
3198
3199 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3200
3201         * main.c (print_help): Don't document the removed `-nh'.
3202
3203 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3204
3205         * url.c (url_full_path): Document better.
3206
3207         * http.c (gethttp): Use the full path when creating digest
3208         authorization.
3209
3210 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3211
3212         * cookies.c (path_matches): Return 0 if PREFIX doesn't begin with
3213         '/'.
3214
3215 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3216
3217         * cookies.c (path_matches): FULL_PATH doesn't begin with '/', but
3218         PREFIX does.
3219
3220 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3221
3222         * cookies.c (check_domain_match): Reimplement to match Netscape's
3223         "preliminary specification" for cookies.
3224
3225 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3226
3227         * url.c (replace_attr_refresh_hack): New function.
3228         (convert_links): Call replace_attr_refresh_hack for Refresh
3229         links.  It will add the "TMOUT; URL=" junk before the link.
3230
3231         * html-url.c (collect_tags_mapper): Set ID to the ID of the
3232         "content" attribute, not "http-equiv".
3233         (collect_tags_mapper): Don't use OFFSET to hack the raw_* values;
3234         instead, store the information that this entry belongs to a
3235         "refresh" link.
3236
3237 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3238
3239         * version.c: Wget 1.8-beta1 is released.
3240
3241 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3242
3243         * recur.c (retrieve_tree): Allow -p retrievals to exceed maximum
3244         depth by more than one.
3245
3246 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
3247
3248         * retr.c (retrieve_url): Don't allow more than 20 redirections.
3249
3250 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
3251
3252         * recur.c (retrieve_tree): Skip the non-inline entries when
3253         enqueuing the children of a leaf HTML node in -p mode.
3254         (descend_url_p): Ignore opt.no_parent when in -p mode and UPOS is
3255         "inline".
3256
3257         * html-url.c (get_urls_html): Don't accept dash_p_leaf_HTML.
3258         (collect_tags_mapper): When an entry is "inline", mark it as such.
3259
3260         * recur.c (descend_url_p): Fix test when checking for
3261         acceptance/rejection rules.
3262
3263 2001-10-31 Daniel BODEA <dali@dali-designs.com>
3264
3265         * netrc.c (search_netrc): When slack_default is 0, still look for
3266         an account with matching password, just not the "default account".
3267         HTTP Authorization using .netrc should now work as expected.
3268
3269 2001-11-30  T. Bharath  <TBharath@responsenetworks.com>
3270
3271         * http.c (persistent_available_p): Call SHUTDOWN_SSL if
3272         test_socket_open fails.
3273
3274 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
3275
3276         * progress.c (display_image): Just print one CR to reset the
3277         cursor position.
3278
3279 2001-11-30  Christian Fraenkel  <c.fraenkel@gmx.net>
3280
3281         * init.c: New command `ssl_egd_sock'.
3282
3283         * main.c (main): New option `--sslegdsock'.
3284
3285         * gen_sslfunc.c (ssl_init_prng): Seed the RNG using EGD.
3286
3287 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3288
3289         * cmpt.c (memmove): Include a simple memmove implementation.
3290
3291 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3292
3293         * headers: Guard against header files being included twice.
3294
3295 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3296
3297         * gen-md5.c: Use unsigned char * as the buffer argument to
3298         gen_md5_update.
3299
3300 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3301
3302         * connect.h: Declare select_fd.
3303
3304 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3305
3306         * recur.c (descend_url_p): When resolving no_parent, compare with
3307         start_url, not parent url.  Otherwise link from /a/b/ to /a/c/
3308         wouldn't be followed, although the download started from /a/.
3309
3310 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
3311
3312         * config.h.ms, mswindows.h: defined HAVE_ISATTY, use _isatty for
3313         MS VC; somebody with Borland compiler please check and provide
3314         patch if possible;
3315
3316         * cmpt.c: provided a usleep emulation.
3317
3318 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3319
3320         * host.c (address_list_new): Initialize al->faulty.
3321
3322 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3323
3324         * http.c (http_process_range): Accept the broken output of
3325         "JavaWebServer/1.1.1".
3326
3327 2001-11-28  Hrvoje Niksic  <hniksic@arsdigita.com>
3328
3329         * progress.c (dot_set_params): If PARAMS is unspecified, use
3330         dot_style, if available.
3331
3332         * init.c: Ditto.
3333
3334         * main.c (main): Resurect --dot-style.
3335
3336         * progress.c (dot_finish): Print the quantity if we're left at the
3337         beginning of a row.
3338
3339 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3340
3341         * cmpt.c (random): Removed.
3342
3343         * retr.c (sleep_between_retrievals): Use the more portable rand()
3344         instead of random().
3345
3346 2001-11-27  Ian Abbott <abbotti@mev.co.uk>
3347
3348         * retr.c (retrieve_from_file): Initialize `new_file' to NULL to
3349         prevent seg fault.
3350
3351 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3352
3353         * connect.c (connect_to_many): Use address_list_set_faulty to
3354         prevent the faulty address from being reused.
3355
3356         * host.c (address_list_set_faulty): New function.
3357         (address_list_get_bounds): New function, instead of
3358         address_list_count.
3359
3360 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3361
3362         * url.c (convert_links): Don't translate %d-%d.
3363
3364         * main.c (print_help): Remove stray HAVE_RANDOM code.
3365
3366 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3367
3368         * ftp.c (getftp): Improve output after sending PASV.  Don't
3369         attempt to "look up" the IP address we already know; call
3370         connect_to_one directly.
3371
3372 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3373
3374         * progress.c: Change the default progress implementation to "bar".
3375
3376 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3377
3378         * progress.c (bar_create): Print two newlines.
3379
3380 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3381
3382         * cmpt.c (random): New function, a simple-minded replacement for
3383         random() on systems that don't have it.
3384
3385 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3386
3387         * config.h.in: Put a HAVE_USLEEP stub.
3388
3389         * cmpt.c (usleep): Replacement implementation of usleep using
3390         select.
3391
3392         * init.c: New option init_rate.
3393
3394         * main.c (main): New option --limit-rate.
3395
3396         * retr.c (limit_bandwidth): New function.
3397         (get_contents): Call it to limit the bandwidth used when
3398         downloading.
3399
3400         * progress.c (dot_update): Would print the wrong download speed on
3401         rows other than the first one when the download was continued.
3402         (dot_finish): Ditto.
3403
3404 2001-11-26  Ian Abbott <abbotti@mev.co.uk>
3405
3406         * http.c (gethttp): fix undeclared variable 'err' when compiled
3407         with HAVE_SSL.
3408
3409 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3410
3411         * progress.c: Don't allocate new timers; use the timing data
3412         propagated from the caller.
3413
3414         * retr.c (get_contents): Allocate and use a timer.
3415
3416 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3417
3418         * http.c (last_host_ip): Made into an address_list.
3419         (invalidate_persistent): Release pc_last_host_ip.
3420         (register_persistent): Use lookup_host.
3421         (persistent_available_p): Check for equality of hosts using
3422         address_list_match_all.  Call address_list_release.
3423         (http_cleanup): New function.
3424
3425         * ftp.c (getftp): Use lookup_host and connect_to_many.
3426
3427         * http.c (gethttp): Use lookup_host and connect_to_many.
3428
3429         * connect.c (make_connection): Removed.
3430         (connect_to_one): New function.
3431         (connect_to_many): Ditto.
3432         (set_connection_host_name): Ditto.
3433
3434         * host.c (lookup_host): New function; new return type.
3435         (address_list_new): New function.
3436         (address_list_count): Ditto.
3437         (address_list_copy_one): Ditto.
3438         (address_list_delete): Ditto.
3439         (address_list_release): Ditto.
3440         (pretty_print_address): Ditto.
3441
3442 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3443
3444         * recur.c (retrieve_tree): In case of followed redirection,
3445         blacklist the pre-redirection URL.
3446
3447 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3448
3449         * recur.c (descend_redirect_p): New function.
3450         (retrieve_tree): Make sure redirections are not blindly followed.
3451
3452 2001-11-04  Alan Eldridge  <alane@geeksrus.net>
3453
3454         * config.h.in: added HAVE_RANDOM.
3455
3456         * options.h: added random_wait to struct options.
3457
3458         * main.c (print_help [HAVE_RANDOM], main): added arg parsing, help
3459         for --random-wait.
3460
3461         * retr.c (sleep_between_retrievals) [HAVE_RANDOM]: added
3462         implementation of random wait times.
3463
3464         * init.c (commands): added "randomwait" keyword.
3465
3466 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3467
3468         * recur.c (descend_url_p): Be more conservative with blacklisting
3469         URLs.
3470         (convert_all_links): Print how many files have been converted, and
3471         how long it took.
3472
3473         * progress.c (create_image): Place the number of downloaded bytes
3474         right after the progress bar.
3475
3476         * utils.c (suffix): Return a pointer into the string.
3477
3478 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3479
3480         * url.c (convert_links): Handle CO_NULLIFY_BASE.
3481
3482         * recur.c (retrieve_tree): Ignore download-ignorable children.
3483         (convert_all_links): Specify CO_NULLIFY_BASE when link_base_p.
3484
3485         * html-url.c (handle_link): Return the newly created urlpos.
3486         (collect_tags_mapper): When dealing with BASE, store the base
3487         reference and mark it as download-ignorable.
3488
3489 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3490
3491         * url.c (convert_links): Attempt to quote '?' as "%3F" when
3492         linking to local files.  Given up on the attempt, as it breaks
3493         local browsing.
3494
3495 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3496
3497         * main.c (private_initialize): Removed.
3498         (main): Don't call private_initialize.
3499
3500         * http.c: Call lookup_host.
3501
3502         * host.c (host_init): Removed.
3503         (add_host_to_cache): Initialize host_name_address_map here, on
3504         demand.
3505         (ngethostbyname): Commented out.
3506
3507         * connect.c (make_connection): Remove dead code; use lookup_host.
3508
3509         * host.c (store_hostaddress): Renamed to lookup_host and reversed
3510         the args.
3511         Removed host_address_name_map and host_slave_master_map.
3512
3513 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3514
3515         * progress.c (dot_create): Align the "[ skipping ... ]" string
3516         with the dots.
3517
3518         * retr.c (rate): Split into two functions: calc_rate and
3519         retr_rate.
3520
3521         * progress.c (create_image): Draw a dummy progress bar even when
3522         total size is unknown.
3523         (display_image): Place the text cursor at the end of the "image".
3524
3525 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3526
3527         * url.c (reencode_string): Use unsigned char, not char --
3528         otherwise the hex digits come out wrong for 8-bit chars such as
3529         nbsp.
3530         (lowercase_str): New function.
3531         (url_parse): Canonicalize u->url if needed.
3532         (get_urls_file): Parse each URL, and return only the valid ones.
3533         (free_urlpos): Call url_free.
3534         (mkstruct): Add :port if the port is non-standard.
3535         (mkstruct): Append the query string to the file name, if any.
3536         (urlpath_length): Use strpbrk_or_eos.
3537         (uri_merge_1): Handle the cases where LINK is an empty string,
3538         where LINK consists only of query, and where LINK consists only of
3539         fragment.
3540         (convert_links): Count and report both kinds of conversion.
3541         (downloaded_file): Use a hash table, not a list.
3542         (downloaded_files_free): Free the hash table.
3543
3544         * retr.c (retrieve_from_file): Ditto.
3545
3546         * main.c (main): Call either retrieve_url or retrieve_tree
3547         for each URL, not both.
3548
3549         * retr.c (register_all_redirections): New function.
3550         (register_redirections_mapper): Ditto.
3551         (retrieve_url): Register the redirections.
3552         (retrieve_url): Make the string "Error parsing proxy ..."
3553         translatable.
3554
3555         * res.c (add_path): Strip leading slash from robots.txt paths so
3556         that the path representations are "compatible".
3557         (free_specs): Free each individual path, too.
3558         (res_cleanup): New function.
3559         (cleanup_hash_table_mapper): Ditto.
3560
3561         * recur.c (url_queue_new): New function.
3562         (url_queue_delete): Ditto.
3563         (url_enqueue): Ditto.
3564         (url_dequeue): Ditto.
3565         (retrieve_tree): New function, replacement for recursive_retrieve.
3566         (descend_url_p): New function.
3567         (register_redirection): New function.
3568
3569         * progress.c (create_image): Cosmetic changes.
3570
3571         * init.c (cleanup): Do all those complex cleanups only if
3572         DEBUG_MALLOC is defined.
3573
3574         * main.c: Removed --simple-check and the corresponding
3575         simple_host_check in init.c.
3576
3577         * html-url.c (handle_link): Parse the URL here, and propagate the
3578         parsed URL to the caller, who would otherwise have to parse it
3579         again.
3580
3581         * host.c (xstrdup_lower): Moved to utils.c.
3582         (realhost): Removed.
3583         (same_host): Ditto.
3584
3585 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3586
3587         * utils.c (path_simplify): Preserver the (non-)existence of
3588         leading slash.  Return non-zero if changes were made.
3589
3590 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3591
3592         * progress.c (bar_update): Don't modify bp->total_length if it is
3593         zero.
3594
3595 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3596
3597         * retr.c (retrieve_url): When the redirection URL doesn't parse,
3598         print the correct error message rather than "UNKNOWN".
3599
3600 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3601
3602         * progress.c (bar_finish): If the timer didn't record any time
3603         since the download beginning, fake 1ms.
3604
3605 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3606
3607         * recur.c (recursive_retrieve): Fix typo.
3608
3609 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
3610
3611         * progress.c (create_image): Don't translate "%ld ".
3612
3613 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
3614
3615         * progress.c (bar_set_params): Allow the user to force the use of
3616         the bar.
3617
3618 2001-11-23  Lemble Gregory  <gregory.lemble@st.com>
3619
3620         * gen_sslfunc.c (ssl_init_prng): New function; seed the SSL RNG.
3621
3622 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
3623
3624         * progress.c: Renamed dp_* functions to dot_* for greater clarity
3625         and consistency with bar_*.
3626         (print_download_speed): Get rid of the unneeded '@' character.
3627         (create_image): Fix download rate geometry.
3628
3629         * progress.c (print_elapsed): Remove spurious space.
3630         (print_elapsed): Renamed to print_download_speed, since that's
3631         what it does.
3632
3633 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
3634
3635         * progress.c (bar_update): If the downloaded amount becomes larger
3636         than the expected amount, adjust the expected amount accordingly.
3637
3638 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
3639
3640         * utils.c (determine_screen_width): New function.
3641
3642         * main.c (main): New option `--progress=TYPE'.
3643         (main): Implement compatibility with the old option `--dot-style'.
3644
3645         * init.c: Removed cmd_spec_dotstyle -- that logic is now in
3646         dp_set_params.
3647         (cmd_spec_progress): New function.
3648
3649         * retr.c (get_contents): Use the progress_* functions instead of
3650         the old show_progress().
3651         (show_progress): Removed.
3652         (rate): Print "xxxx.xx K/s" instead of "KB/s".  Ditto for MB/s,
3653         etc.
3654
3655         * progress.c (set_progress_implementation): New function.
3656         (valid_progress_implementation_p): Ditto.
3657         (progress_create): Ditto.
3658         (progress_update): Ditto.
3659         (progress_finish): Ditto.
3660         (dp_create): Ditto.
3661         (dp_update): Ditto.
3662         (dp_finish): Ditto.
3663         (dp_set_params): Ditto.
3664         (print_elapsed): Ditto.
3665
3666 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
3667
3668         * retr.c (show_progress): Use it.
3669
3670         * log.c (log_set_flush): New function.
3671
3672 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
3673
3674         * utils.c (path_simplify): Don't remove trailing slashes.
3675
3676         * ftp.c (ftp_get_listing): Use it.
3677
3678         * utils.c (file_merge): New function.
3679
3680         * url.c (opt_url): Removed.
3681
3682         * recur.c (recursive_retrieve): Inline "opt_url" logic.
3683
3684         * main.c (main): Use xfree(), not free().
3685
3686         * url.c (rewrite_url_maybe): Renamed to rewrite_shorthand_url.
3687
3688         * ftp.c (ccon): Move `ccon' typedef here, since it's only used
3689         internally.
3690
3691         * config.h.in: Include a stub for HAVE_STRPBRK.
3692
3693         * cmpt.c (strpbrk): Include a replacement for systems without
3694         strpbrk().
3695
3696         * ftp.c: Use url_set_dir and url_set_file when modifying the URL.
3697
3698         * url.c (url_set_dir): New function.
3699         (url_set_file): Ditto.
3700
3701         * ftp-basic.c (ftp_process_type): Process FTP type here; the URL
3702         parser makes the URL "params" available, so we can do that in this
3703         function.
3704
3705         * retr.c: Ditto.
3706
3707         * ftp.c: Ditto; pass the local file information in `ccon'.
3708
3709         * http.c: Get rid of the ugly kludge that had URL being replaced
3710         with the proxy URL when proxy retrieval was requested.  Use a
3711         separate parameter to http_loop and gethttp for the proxy URL.
3712
3713         * http.c: Changed to reflect the fact that local file, proxy, and
3714         referer information are no longer stored in struct url.  The local
3715         file information is passed in `struct hstat' now.
3716
3717         * url.c: Reworked URL parsing to be more regular.  Reencode the
3718         URL using reencode_string.
3719         Removed non-URL-related information from struct url.  This
3720         includes fields `proxy', `local', and `referer'.
3721
3722 2001-11-22  Jochen Hein  <jochen@jochen.org>
3723
3724         * main.c (main): Split the copyright notice for easier
3725         translation.
3726
3727 2001-08-21  Dave Turner <dct25@hermes.cam.ac.uk>
3728
3729         * ftp-basic.c (ftp_size): New function to send non-standard SIZE
3730           command to server to request file size.
3731         * ftp.h (ftp_size): Export it.
3732         * ftp.c (getftp): Use new ftp_size function if restoring
3733           transfer of a file with unknown size.
3734
3735 2001-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
3736
3737         * url.c (parseurl): Don't depend on the now-obsolete TYPE.
3738
3739 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3740
3741         * url.c (getproxy): Handle URL shorthands.
3742
3743 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3744
3745         * main.c: Remove --wait / --waitretry backwards compatibility
3746         code.
3747
3748 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3749
3750         * main.c (main): Use it.
3751
3752         * url.c (rewrite_url_maybe): New function.
3753
3754 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3755
3756         * url.c: Clean up handling of URL schemes.
3757
3758 2001-05-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3759
3760         * url.c: Get rid of `protostrings'.
3761         (skip_proto): Don't use protostrings.
3762         (has_proto): Ditto.
3763
3764 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3765
3766         * Makefile.in: Conditionally compile getopt.o.
3767
3768 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3769
3770         * md5.h: Renamed to gnu-md5.h.
3771
3772         * md5.c: Renamed to gnu-md5.c.
3773
3774         * http.c: Ditto.
3775
3776         * ftp-opie.c: Use the new macros.
3777
3778         * sysdep.h: Define md5-related macros.
3779
3780         * config.h.in: Define HAVE_SOLARIS_MD5 or HAVE_BUILTIN_MD5
3781         depending on which md5 implementation is used.
3782
3783 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3784
3785         * res.c (res_register_specs): Initialize OLD and HP_OLD to appease
3786         the compiler.
3787
3788 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3789
3790         * http.c (gethttp): Print the whole response line when printing
3791         headers is requested.
3792
3793 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3794
3795         * res.c: New file.  Implement all RES-related code here.
3796
3797 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3798
3799         * version.c: Wget 1.7.1 is released.
3800
3801 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
3802
3803         * headers.c (header_extract_number): Ignore trailing whitespace.
3804
3805 2001-08-24  Ian Abbott  <abbotti@mev.co.uk>
3806
3807         * html-url.c (collect_tags_mapper): Fix bug converting links
3808         with -k option for tags with multiple link attributes by
3809         handling links in the order they appear.
3810
3811 2001-08-15  Ian Abbott  <abbotti@mev.co.uk>
3812
3813         * ftp.c (ftp_loop_internal): Avoid a potential buffer overflow in
3814           the call to the 'rate' function by moving it past the error
3815           checking for the 'getftp' function return value.
3816
3817 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
3818
3819         * html-parse.c (advance_declaration): Use 0x22 instead of '"' or
3820         '\"'.  Different compilers' assert macros are broken in different
3821         ways.
3822
3823 2001-09-29  Christian Fraenkel  <c.fraenkel@gmx.net>
3824
3825         * http.c (gethttp): print debug output for errors occuring during
3826         the ssl handshake.
3827
3828 2001-11-16  Chris Seawood  <cls@seawood.org>
3829
3830         * init.c: Ditto.
3831
3832         * host.c: Ditto.
3833
3834         * connect.c: Ditto.
3835
3836         * sysdep.h: Support compilation under BEOS.
3837
3838 2001-06-08  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
3839
3840         * url.c (url_equal): Fix a memory leak when parseurl returns an
3841         error on the second URL. Also, since url_equal is not used at the
3842         moment, do not compile it.
3843
3844         * url.h: Ditto for the prototype of url_equal.
3845
3846 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
3847
3848         * html-parse.c (map_html_tags): Support XML-style empty tags.
3849
3850 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3851
3852         * wget.h (DO_REALLOC_FROM_ALLOCA): Check for do_realloc_newsize in
3853         loop condition because we're no longer setting SIZEVAR here.
3854
3855 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3856
3857         * wget.h (DO_REALLOC_FROM_ALLOCA): Set SIZEVAR after the memcpy()
3858         call because it needs the old value.
3859
3860 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3861
3862         * cookies.c (ATTR_NAME_CHAR): Allow almost any character to be in
3863         an attribute name.
3864
3865 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3866
3867         * url.c (url_filename): Make sure that slashes that sneak in to
3868         u->file via query string get protected.
3869         (file_name_protect_query_string): New function.
3870
3871 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3872
3873         * recur.c (recursive_retrieve): Also check undesirable_urls with
3874         canonicalized URL.
3875
3876 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3877
3878         * http.c (gethttp): Search `.netrc' with real host, not the proxy
3879         one.
3880
3881 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3882
3883         * sysdep.h (MAP_FAILED): Provide MAP_FAILED for systems that don't
3884         define it.
3885
3886 2001-06-09  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3887
3888         * ftp.h: Provide correct prototype for ftp_parse_ls().
3889
3890 2001-06-04  Hrvoje Niksic  <hniksic@arsdigita.com>
3891
3892         * version.c: Wget 1.7 is released.
3893
3894 2001-06-03  Karl Eichwalder  <ke@suse.de>
3895
3896         * ftp-ls.c (ftp_parse_ls): Fix typo.
3897
3898 2001-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3899
3900         * all: Update copyright information.
3901
3902 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3903
3904         * http.c (gethttp): Indicate that the continued download failed
3905         for *this* file.
3906
3907 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3908
3909         * version.c: Wget 1.7-pre1 is released.
3910
3911 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3912
3913         * version.c: Updated version to 1.7-pre1.
3914
3915 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3916
3917         * gen_sslfunc.c: Don't include <sys/time.h> directly.
3918
3919 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3920
3921         * http.c (gethttp): Use real URL data for cookies, not the proxy
3922         stuff.
3923
3924 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3925
3926         * main.c (print_help): Document `--no-http-keep-alive'.
3927
3928         * utils.c (numdigit): Handle negative numbers *correctly*.
3929
3930         * hash.c (make_nocase_string_hash_table): Use term "nocase" rather
3931         than the confusing "unsigned".
3932
3933         * utils.c (string_set_contains): Renamed from string_set_exists.
3934
3935         * hash.c (hash_table_contains): Renamed from hash_table_exists.
3936
3937         * cookies.c: Move case-insensitive hash tables to hash.c.
3938
3939 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3940
3941         * http.c (gethttp): Before concluding that the file is already
3942         fully retrieved, make sure that the file existed and `Range' was
3943         actually requested.
3944
3945 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3946
3947         * cookies.c (eliminate_dups): New function.
3948         (build_cookies_request): Use it.
3949         (build_cookies_request): Set chain_store_size after reallocating
3950         all_chains.
3951         (check_domain_match): Annotated for easier future debugging.
3952         (store_cookie): In the debug message, print whether the cookie is
3953         permanent.
3954
3955 2001-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3956
3957         * http.c (http_loop): Reset no_truncate before deciding whether to
3958         set it.
3959         (gethttp): Further clarify "-c conflicts with existing file" error
3960         message, based on input from Herold Heiko.
3961
3962 2001-05-07  Hrvoje Niksic  <hniksic@arsdigita.com>
3963
3964         * http.c (http_loop): If restval is set, set no_truncate to 1
3965         unconditionally.
3966
3967 2001-05-02  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3968
3969         * ftp-ls.c (ftp_parse_winnt_ls): Assure months are being correctly
3970         converted. Pointed out by <Stefan.Weil@de.heidelberg.com>.
3971         (ftp_parse_vms_ls): Ditto.
3972
3973 2001-04-30  Hrvoje Niksic  <hniksic@arsdigita.com>
3974
3975         * init.c (cmd_address): Zero SIN before using it; apparently
3976         needed on *BSD.
3977
3978 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3979
3980         * ftp.c (ftp_loop_internal): Don't set NO_TRUNCATE if the file is
3981         empty.
3982
3983 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
3984
3985         * main.c (main): Make `--cookies' respect its argument.
3986
3987 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
3988
3989         * main.c (main): Removed undocumented option `--email-address'.
3990
3991         * netrc.c: Use the latest read_whole_line.
3992
3993         * init.c (defaults): Set opt.ftp_pass to "-wget@".
3994
3995         * mswindows.c (pwd_cuserid): Ditto.
3996
3997         * utils.c (pwd_cuserid): Removed.
3998
3999         * host.c (ftp_getaddress): Removed.
4000
4001 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
4002
4003         (http_loop): Allocate space for filename_plus_orig_suffix with
4004         alloca; this is more efficient and removes the need to free it
4005         before each and every return.
4006
4007 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
4008
4009         * http.c (gethttp): Return RETRUNNEEDED when the retrieval is
4010         unneeded because the file is already there and fully downloaded,
4011         and -c is specified.
4012         (http_loop): Handle RETRUNNEEDED.
4013
4014         * wget.h (uerr_t): New value RETRUNNEEDED.
4015
4016         * http.c (http_loop): Set no_truncate for files that both exist
4017         and are non-empty.
4018         (gethttp): Consider the download finished when restval >= contlen,
4019         not only when restval==contlen.
4020         (gethttp): Handle redirection before giving up due to -c.
4021         (gethttp): Clarify error message which explains that -c will not
4022         truncate the file.
4023         (gethttp): When returning CONTNOTSUPPORTED, don't forget to free
4024         the stuff that needs freeing and release the socket.
4025
4026 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4027
4028         * main.c (print_help): Wget booleans accept "off", not "no".
4029
4030 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4031
4032         * http.c (http_loop): If allow_cache is zero, always disable
4033         caching, not only when retrieving through proxy.
4034
4035         * init.c: Ditto.
4036
4037         * options.h (struct options): Rename proxy_cache to allow_cache.
4038
4039 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4040
4041         * http.c (mktime_from_utc): Improve documentation.
4042         (http_atotm): Put format strings into a separate array.
4043
4044 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4045
4046         * safe-ctype.h: Instead of throwing #error when isalpha is
4047         defined, redefine it to something that will throw a compile-time
4048         error if actually *used*.  Do the same for the rest of the
4049         standard C macros.
4050
4051 2001-04-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4052
4053         * url.c (getproxy): Ignore empty proxy vars.
4054
4055 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4056
4057         * http.c (http_loop): Would load cookies every time.
4058
4059         * cookies.c (load_cookies): Handle cookies whose values contain
4060         embedded spaces.
4061
4062 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4063
4064         * utils.c: Define each DIGITS_* in one line.
4065
4066 2001-04-25  Roger L. Beeman  <beeman@cisco.com>
4067
4068         * http.c (http_atotm): Initialize t.tm_isdst to 0.
4069         (mktime_from_utc): Prevent mktime() from having discontinuities at
4070         DST transition points.
4071
4072 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4073
4074         * html-url.c (get_urls_html): Fix documentation.
4075
4076 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4077
4078         * url.c (UNSAFE_CHAR): Reimplement using a static table.
4079         (url_init): Removed.
4080         (init_unsafe_char_table): Removed.
4081
4082 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4083
4084         * snprintf.c (dopr): Replace ISDIGIT with '0' <= ch && ch <= '9'.
4085
4086 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4087
4088         * utils.c: Document timer functions.
4089
4090         * retr.c (rate): Use it.
4091         (rate): Print in GB/s if transfer rate exceeds 1 GB/s.
4092
4093         * utils.c (wtimer_granularity): New function.
4094
4095 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4096
4097         * retr.c (show_progress): Ditto.
4098
4099         * ftp.c (getftp): Ditto.
4100
4101         * http.c (gethttp): Use new timer functions.
4102
4103         * utils.c (wtimer_allocate): New function.
4104         (wtimer_new): Ditto.
4105         (wtimer_delete): Ditto.
4106         (wtimer_reset): Ditto.
4107         (wtimer_elapsed): Ditto.
4108
4109 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4110
4111         * utils.c (long_to_string): New, faster version.  Favors smaller
4112         numbers; much of the calculation is now done at compile-time.
4113
4114 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4115
4116         * utils.c (numdigit): Handle negative numbers.
4117
4118 2001-04-23  Hrvoje Niksic  <hniksic@arsdigita.com>
4119
4120         * retr.c (show_progress): Print the download rate even when the
4121         percentages are not available.
4122
4123 2001-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
4124
4125         * ftp.c (getftp): Adjust expected_bytes if the length is
4126         authoritative.
4127
4128 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4129
4130         * url.c: Don't declare `construct'.
4131
4132         * hash.c (grow_hash_table): Speed up rehashing; inline storing of
4133         mappings to new locations.
4134         (hash_table_new): Make resize_threshold a field in the hash table,
4135         so we don't have to recalculate it in each hash_table_put.
4136         (grow_hash_table): Update resize_threshold.
4137         (MAX): Remove unused macro.
4138         (prime_size): Made static.
4139
4140 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4141
4142         * retr.c (retrieve_url): Call uri_merge, not url_concat.
4143
4144         * html-url.c (collect_tags_mapper): Call uri_merge, not
4145         url_concat.
4146
4147         * url.c (mkstruct): Use encode_string instead of xstrdup followed
4148         by URL_CLEANSE.
4149         (path_simplify_with_kludge): Deleted.
4150         (contains_unsafe): Deleted.
4151         (construct): Renamed to uri_merge_1.
4152         (url_concat): Renamed to uri_merge.
4153
4154 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4155
4156         * url.c (str_url): Use encode_string instead of the unnecessary
4157         CLEANDUP.
4158         (encode_string_maybe): New function, returns input string if no
4159         encoding is needed.
4160         (encode_string): Call encode_string_maybe to do the dirty work,
4161         xstrdup if no work needed.
4162
4163 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4164
4165         * wget.h (XDIGIT_TO_xchar): Define here.
4166
4167         * url.c (decode_string): Use new name.
4168         (encode_string): Ditto.
4169
4170         * http.c (XDIGIT_TO_xchar): Rename HEXD2asc to XDIGIT_TO_xchar.
4171         (dump_hash): Use new name.
4172
4173         * wget.h: Rename ASC2HEXD and HEXD2ASC to XCHAR_TO_XDIGIT and
4174         XDIGIT_TO_XCHAR respectively.
4175
4176 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4177
4178         * init.c: Include cookies.h.
4179
4180         * cookies.h: Declare cookies_cleanup.
4181
4182         * cookies.c (check_domain_match): Remove unused variable.
4183         (save_cookies): Remove extraneous argument from debug statement.
4184
4185         * host.c (same_host): Don't call skip_url.
4186
4187         * url.c (skip_url): Removed.  Removed its calls from various
4188         functions in url.c.
4189
4190 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4191
4192         * cookies.c (unsigned_string_hash): Use the new code in
4193         string_hash as reference.
4194
4195         * hash.c (hash_table_map): Allow deletion and change of the
4196         element processed by MAPFUN.
4197         (string_hash): Use the function from glib.
4198
4199 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4200
4201         * config.h.in: Include #undef stub.
4202
4203         * hash.c (hash_table_remove): Rewrite to actually clear deleted
4204         entries instead of just marking them as deleted.
4205
4206 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4207
4208         * hash.h: Declare hash_table_get_pair and hash_table_count.
4209
4210 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4211
4212         * cookies.c: Declare http_atotm.
4213
4214 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4215
4216         * ftp-ls.c (ftp_parse_unix_ls): Use octal constants for
4217         permissions.  A compiler that doesn't accept octal constants is
4218         seriously broken and shouldn't be used -- octal constants were
4219         present in K&R C!
4220
4221 2001-01-20  Karl Eichwalder  <ke@suse.de>
4222
4223         * Makefile.in: Provide and use DESTDIR according to the Coding
4224         Standards.
4225
4226 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4227
4228         * ftp-ls.c (ftp_parse_vms_ls): Make seconds optional in time
4229         specification.
4230
4231 2001-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4232
4233         * url.c (parseurl): Don't strip trailing slash when u->dir is "/"
4234         because that strips the *leading* slash, thus forcing relative
4235         FTP retrieval.
4236
4237 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4238
4239         * ftp.c (getftp): Convert initial FTP directory from VMS to UNIX
4240         notation for VMS servers.
4241         (ftp_retrieve_dirs): Do not prepend '/' to f->name when
4242         odir is an empty string.
4243
4244 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4245
4246         * ftp-ls.c (ftp_parse_winnt_ls): Made the fix for AM/PM more
4247         effective. Suggested by Edward J. Sabol.
4248
4249 2001-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4250
4251         * cookies.c (build_cookies_request): Use and sort cookies from all
4252         matching domains.
4253         (build_cookies_request): Check for duplicates before generating
4254         the `Cookies' header.
4255
4256         * main.c (main): Don't load cookies here.
4257         (main): Make loadcookies and savecookies call the correct command.
4258
4259         * http.c (http_loop): Load cookies on-demand.
4260
4261 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4262
4263         * http.c (gethttp): Fix indentation of SSL ifdef.
4264
4265 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4266
4267         * ftp.c (ftp_retrieve_dirs): Don't forcibly prepend "/" to u->dir;
4268         that hack is no longer necessary.
4269         (getftp): Prepend initial directory to *non*-absolute u->dir's.
4270
4271 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4272
4273         * init.c (cmd_file): New function.
4274         (enable_tilde_expansion): New variable.
4275         (run_wgetrc): Use it.
4276         (cmd_file): Use it.
4277
4278 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
4279
4280         * init.c: Include cookie-related options.
4281
4282         * main.c (main): Include cookie-specific options.
4283         (main): Load cookies before download is finished.
4284         (main): Save cookies when done.
4285
4286         * http.c (gethttp): Process the `Set-Cookie' header.
4287         (gethttp): Include cookies in the response.
4288
4289         * cookies.c: New file.
4290
4291 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
4292
4293         * utils.c (datetime_str): New function.
4294
4295 2001-04-08  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4296
4297         * ftp-ls.c (ftp_parse_winnt_ls): The AM/PM change did assume
4298         12:01PM == 00:01, which was obviously wrong. Taken care of this
4299         anomaly.
4300
4301         * ChangeLog: Removed an excess conflict marker. Reformatted the
4302         entry by Philipp Thomas from 2001-03-09.
4303
4304         * ftp-ls.c (ftp_parse_winnt_ls): Ensure that adjusted PM hours lay
4305         between 0 and 23. Elminate unused variable `sec'.
4306
4307 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
4308
4309         * hash.c (hash_table_count): New function.
4310
4311 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4312
4313         * utils.c (read_file): Cast MAP_FAILED to char *.  Enforced by
4314         Digital Unix cc.
4315
4316 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4317
4318         * config.h.in: Oops, do the namespace tweaks only on systems we
4319         know about.
4320
4321 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4322
4323         * hash.c: Include <string.h>.
4324
4325 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4326
4327         * config.h.in: Define "compilation environment" options that work
4328         under Linux and Solaris.  To be reviewed on other OS'es.
4329
4330 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4331
4332         * http.c (gethttp): Prepend literal newline with `\n\'.
4333
4334 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4335
4336         * sysdep.h: Don't define VERY_LONG_FORMAT.
4337
4338         * utils.c (very_long_to_string): New function.
4339         (legible_very_long): Use it; don't use VERY_LONG_FORMAT.
4340
4341 2001-04-04  Christian Fraenkel  <christian.fraenkel@gmx.net>
4342
4343         * url.c (parse_uname): Would run past the end of the string if the
4344         username was present, but the URL did not contain a slash, e.g.
4345         http://foo:bar@myhost.
4346
4347 2001-04-03  KOJIMA Hajime  <kjm@rins.ryukoku.ac.jp>
4348
4349         * http.c (http_atotm): Use %A instead of %a to match full
4350         weekday.  (On most systems there is no difference.)
4351
4352 2001-04-03  Paul Bludov  <paul@ozero.net>
4353
4354         * mswindows.c (sleep): Use SleepEx() instead of Sleep().
4355         (ws_changetitle): Use alloca() instead of malloc() to avoid memory
4356         leak.
4357         (ws_mypath): Use GetModuleFileName instead of argv[0].
4358         (ws_startup): Use data.wVersion for comparison.
4359
4360 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4361
4362         * http.c (http_loop): Ditto.
4363
4364         * ftp.c (ftp_loop_internal): Made the check whether to continue
4365         retrieval `-O'-friendly.
4366
4367 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4368
4369         * netrc.c (parse_netrc): Don't trim the line endings explicitly;
4370         they will be handled as whitespace.
4371         (parse_netrc): Correctly handle lines that end with whitespace.
4372
4373 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4374
4375         * retr.c (retrieve_url): New variable global_download_count used
4376         to identify first retrieval.
4377
4378         * ftp.c (getftp): Ditto.
4379
4380         * http.c (gethttp): Rewind opt.dfp only on first retrieval.
4381
4382 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4383
4384         * init.c (cmd_address): Heap-allocate the address that gets stored
4385         to CLOSURE.  Old code would simply assign an address on the stack.
4386
4387 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
4388
4389         * ftp.c (ftp_get_listing): Propagate error status.
4390         (ftp_retrieve_glob): Use it.
4391         (ftp_loop): Ditto.
4392
4393 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
4394
4395         * main.c (main): Add -C to the string that is the third arg to
4396         getopt_long().
4397
4398 2001-04-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4399
4400         * ftp.c (getftp): Don't start the download from scratch if `-c'
4401         was specified, but the file is already fully downloaded.
4402
4403         * http.c (gethttp): Don't truncate a pre-existing file if `-c' was
4404         specified and the server doesn't support continued download.
4405         (gethttp): Don't start the download from scratch if `-c' was
4406         specified, but the file is already fully downloaded.
4407
4408 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
4409
4410         (recursive_retrieve): Don't clear the hash tables at this point at
4411         all; it interferes with the normal operation of register_download.
4412
4413 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
4414
4415         * recur.c (recursive_retrieve): Clear the hash tables only when
4416         they are defined.
4417
4418 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
4419
4420         * http.c (gethttp): Make sure the socket is closed with
4421         CLOSE_INVALIDATE before we have drained the body.
4422
4423 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
4424
4425         * retr.c (retrieve_url): Call register_download() for downloaded
4426         files and register_html() for downloaded HTML files.
4427
4428         * recur.c (register_download): New function; register here that a
4429         file has been downloaded, rather than in recursive_retrieve().
4430         (register_html): New function; enqueue the location of HTML files
4431         here rather than in recursive_retrieve().
4432
4433 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
4434
4435         * main.c (print_help): Use multiple fputs instead of a single ugly
4436         printf().
4437         (main): Consistently assign numbers >128 to options without a
4438         corresponding character.
4439
4440 2001-03-09  Philipp Thomas  <pthomas@suse.de>
4441
4442         * safe-ctype.h: New file. Locale independent ctype.h replacement
4443         taken from libiberty.
4444
4445         * safe-ctype.c: New file. Tables for above.
4446
4447         * Makefile.in: Add safe-ctype$o to OBJS.  Add dependencies for
4448         safe-ctype$o.
4449
4450         * cmpt.c: Remove include of ctype.h. Use ISSPACE instead of
4451         isspace.
4452
4453         * ftp-basic.c: Don't include ctype.h.
4454
4455         * ftp-ls.c: Likewise.
4456
4457         * ftp.c: Likewise.
4458
4459         * headers.c: Likewise.
4460
4461         * host.c: Likewise.
4462
4463         * html-parse.c: Likewise.
4464
4465         * html-url.c: Likewise.
4466
4467         * http.c: Likewise.
4468
4469         * init.c: Likewise.
4470
4471         * main.c: Likewise. Set LC_CTYPE along with LC_MESSAGES.
4472
4473         * netrc.c: Likewise.
4474
4475         * recur.c: Likewise.
4476
4477         * retr.c: Likewise.
4478
4479         * snprintf.c: Replace ctype.h with safe-ctype.h. Use ISDIGIT
4480         instead of isdigit.
4481
4482         * sysdep.h: Remove defines of ctype macros as they aren't needed
4483         for safe-ctype-h.
4484
4485         * url.c: Don't include ctype.h.
4486
4487         * utils.c: Likewise.
4488
4489         * wget.h: Include safe-ctype.h.
4490
4491 2001-03-27  Dan Harkless  <wget@harkless.org>
4492
4493         * Makefile.in: Moved top_builddir out of "User configuration
4494         section" of top Makefile and analogous spot in this one.
4495
4496 2001-03-17  Dan Harkless  <wget@harkless.org>
4497
4498         * Makefile.in: Include @SSL_INCLUDES@ substition in INCLUDES.
4499         Define top_builddir.  Link wget with libtool so the user doesn't
4500         have to supply a bunch of custom environment variables to
4501         correctly link with the OpenSSL shared libraries.
4502
4503 2001-03-06  Hack Kampbjorn  <hack@hackdata.com>
4504
4505         * http.c (gethttp): skip :port in host header if it is the
4506         DEFAULT_HTTPS_PORT when using SSL.
4507
4508         * url.c: move the #define of DEFAULT_HTTP_PORT, DEFAULT_FTP_PORT
4509         and DEFAULT_HTTPS_PORT to the header file so it can be use in the
4510         rest of the code.
4511         * url.h: Ditto
4512
4513 2001-03-01  Jonas Jensen  <bones@huleboer.dk>
4514
4515         * retr.c (show_progress): Correctly calculate the number of bytes
4516         in the first line of the download that have been actually
4517         downloaded in this run.
4518
4519 2001-02-23  Dan Harkless  <wget@harkless.org>
4520
4521         * main.c (print_help): --help documentation for -N said it would
4522         re-download files if they had the _same_ timestamp on server.
4523         (print_help): -nr belongs in "FTP options" section of --help
4524         output, not "Recursive retrieval" section.  Alphabetized FTP
4525         options by long option name.
4526
4527 2001-02-16  Dan Harkless  <wget@harkless.org>
4528
4529         * init.c (commands): Hack Kampbjørn <hack@hackdata.com> discovered
4530         that "httpsproxy" had been inserted into commands[] out of
4531         alphabetical order, causing "BUG: unknown command `httpuser'".
4532
4533 2001-02-13  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4534
4535         * ftp-ls.c (ftp_parse_ls): Added support of ST_MACOS (Unix-like
4536         listing without correct permissons).
4537
4538         * ftp.h (stype): Added ST_MACOS to identify the NetPresenz MacOS
4539         FTP server.
4540
4541         * ftp.c (ftp_retrieve_list): New mirroring logic: A remote file
4542         shall be donwloaded only when it's newer than the local copy or
4543         when it has the same timeestamp but its size is different. ST_VMS
4544         and ST_MACOS as special cases that lie about file size.
4545
4546         * ftp-ls.c (ftp_parse_ls): Support for ST_MACOS.
4547
4548         * Makefile.in: Removed dependency on ftpparse library due to unclear
4549         copyright issues and absence of any feedback to our queries.
4550
4551         * ftp-ls.c: Removed dependency on ftpparse library due to unclear
4552         copyright issues and absence of any feedback to our queries.
4553         (ftp_parse_ls): Added a warning message when remote server system
4554         does not seem to be suported by wget.
4555         (ftp_parse_vms_ls): New function for parsing VMS ftp
4556         server listing output.
4557         (clean_line): New function responsible for removing
4558         end-of-line characters from FTP listing texts.
4559
4560         * ftp.c (getftp): Global variables pwd and host_type are now
4561         member of the ccon structure under names ccon.id and ccon.rs.
4562
4563         * ftp.h (struct ccon): Added formed global variables from ftp.c,
4564         enum stype rs (remote system identification) and char *id (initial
4565         working directory), as suggested by Hrvoje.
4566
4567         * url.c (parse_uname): Added support for passwords containing '@'
4568         characters.
4569         (skip_uname): Ditto.
4570
4571 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4572
4573         * ftp.c (ftp_loop): Reset con.
4574
4575 2001-01-06  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4576
4577         * url.c (parse_uname): Added support for passwords containing '@'
4578         characters.
4579         (skip_uname): Ditto.
4580
4581 2001-02-11  Hack Kampbjørn  <hack@hackdata.com>
4582
4583         * url.c (parseurl): Debug-print u->ftp_type.
4584
4585 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4586
4587         * ftp.c (ftp_loop_internal): Disable padding.
4588         (getftp): Ditto.
4589
4590         * http.c (http_loop): Disable padding.
4591
4592         * retr.c (show_progress): Use it to enable padding.
4593
4594         * retr.c (rate): Optional parameter PAD for padding the rate.
4595
4596 2001-02-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4597
4598         * retr.c (show_progress): Make sure that the last output line
4599         includes progress.
4600
4601 2001-02-10  Jonas Jensen  <bones@huleboer.dk>
4602
4603         * retr.c (show_progress): Print the download rate along with the
4604         percentages.
4605         Along with Anders Thorsby <anders@thorsby.dk>.
4606
4607 2001-02-10  Tim Mooney  <mooney@dogbert.cc.ndsu.NoDak.edu>
4608
4609         * ftp.h: Rename enums `command' to `wget_ftp_command' and
4610         `fstatus' to `wget_ftp_status' because old names clash with Tru64
4611         net/if.h.
4612
4613 2001-02-08  Christian Fraenkel <christian.fraenkel@gmx.net>
4614
4615         * gen_sslfunc.c: verify_callback is now static
4616
4617         * gen_sslfunc.c (init_ssl): load certificate if specified
4618
4619         * gen_sslfunc.c (ssl_printerr): new function
4620
4621         * init.c: added new --sslcertfile and --sslcertkey switches
4622
4623         * main.c: ditto
4624
4625         * options.h: ditto
4626
4627         * http.c (gethttp): abort when init_ssl fails
4628
4629 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
4630
4631         * mswindows.h: Include <malloc.h>; it's needed for alloca().
4632
4633 2001-01-10  Dan Harkless  <wget@harkless.org>
4634
4635         * url.c (str_url): Clarified this function's comment header after
4636         Hrvoje answered my question on the list as to when hide != 1.
4637         Also Hrvoje pointed out I need to use xstrdup() on the string literal.
4638
4639 2001-01-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4640
4641         * connect.c (bindport): Declare addrlen as int.  Diagnosed by
4642         Drazen Kacar <dave@arsdigita.com>.
4643         (conaddr): Ditto.
4644
4645 2001-01-09  Dan Harkless  <wget@harkless.org>
4646
4647         * html-url.c: A bunch of fixup of `--page-requisites'-related
4648         comments to reflect Hrvoje's changes to my code when transplanting
4649         it into this new file, to fix spelling mistakes, to clarify, etc.
4650
4651         * url.c (write_backup_file): Clarified a comment.
4652         (str_url): Henrik van Ginhoven pointed out on the list that we
4653         shouldn't give away the number of characters in the password by
4654         replacing each character with a 'x'.  Use "<password>" instead.
4655
4656         * ftp.c (ftp_retrieve_dirs): The bug where recursion into FTP
4657         directories didn't work if logging in put you in a directory other
4658         than "/" is fixed now.  Removed the comment here warning of the bug.
4659
4660         * main.c (print_help): --continue's description was misleading.
4661         We don't "restart", we "resume".  Also, better to say
4662         "partially-downloaded file" rather than just "existing file".
4663
4664 2001-01-06  Dan Harkless  <wget@harkless.org>
4665
4666         * ChangeLog: The '[Not in 1.6 branch.]'s were decided not to be
4667         the best way to go about my aim.  Removed them in favor of:
4668
4669         * ChangeLog-branches/1.6_branch.ChangeLog: New file.
4670
4671 2001-01-04  Hrvoje Niksic  <hniksic@arsdigita.com>
4672
4673         * url.c (replace_attr): New function, to be used by both
4674         TO_COMPLETE and TO_RELATIVE case in convert_links.
4675         (find_fragment): New function for finding URL fragments.
4676         (replace_attr): Better handle the case where the original string
4677         is not quoted.  Use find_fragment.
4678         (convert_links): Use replace_attr().
4679
4680 2000-12-31  Dan Harkless  <wget@harkless.org>
4681
4682         * ChangeLog: Since this flat file doesn't have multiple branches,
4683         looking at the dates would make you think that things went into
4684         1.6 that actually just went into the 1.7-dev branch.  Added "[Not
4685         in 1.6 branch.]" where appropriate to clarify.
4686
4687 2000-12-30  Dan Harkless  <wget@harkless.org>
4688
4689         * ftp.c, http.c:  Applied Hack Kampbjørn <hack@hackdata.com>'s
4690         patch to deal with h_errno not being defined in netdb.h under Cygwin.
4691
4692 2000-12-18  Csaba Raduly  <csaba.raduly@sophos.com>
4693
4694         * sysdep.h: Include <malloc.h> and <io.h> under Watcom.
4695
4696 2000-12-17  Igor Khristophorov  <igor@atdot.org>
4697
4698         * http.c (check_end): Fix test for '+' or '-'.
4699
4700 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
4701
4702         * url.c (parseurl): Rename inner loop var from i to ind to avoid
4703         clash with the function top-level-declared variable i.
4704         (str_url): Likewise, rename inner-loop i to j.
4705
4706         * recur.c (parse_robots): Don't declare LEN at top of function.
4707         (robots_match): Renamed parameter FORBIDDEN to avoid hiding of
4708         global variable.
4709
4710         * main.c (main): Change erroneous use of bitwise and to logical.
4711
4712         * init.c (cmd_address): Don't heap-allocate `sin'; it can be on
4713         the stack because it will be copied to closure.
4714
4715         Thanks to Csaba Raduly's run of PC-LINT over the sources.
4716
4717 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
4718
4719         * http.c (basic_authentication_encode): Use xmalloc(), not
4720         malloc().  Thanks to Csaba Raduly's run of PC-LINT over the
4721         sources.
4722
4723 2000-12-17  Csaba Raduly  <csaba.raduly@sophos.com>
4724
4725         * sysdep.h: Test for __EMX__ rather than for EMXOS2 for OS/2
4726         compilation.
4727
4728 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
4729
4730         * mswindows.c: Include <errno.h>.
4731
4732         * gen_sslfunc.c: Include <errno.h>.
4733
4734         * ftp-basic.c: Don't attempt to declare errno or h_errno because
4735         they're not used.
4736
4737         * main.c: Include <errno.h> because errno is used.
4738
4739         * ftp.c: Ditto.
4740
4741         * http.c: Include <netdb.h> for h_errno.
4742
4743 2000-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4744
4745         * html-parse.c (advance_declaration): MSVC assert() chokes on
4746         '\"'.  Use '"' instead.
4747
4748 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4749
4750         * utils.c (xfree_real): Removed.
4751         (xfree_debug): Just call free().
4752
4753         * wget.h (xfree): Make it an alias for free.
4754
4755 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4756
4757         * http.c (http_loop): Furthermore, touch output_document only if
4758         it is known to be an existing regular file.
4759
4760 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4761
4762         * ftp.c (ftp_retrieve_list): Ditto.
4763
4764         * http.c (http_loop): Touch output_document if that is used for
4765         output.
4766
4767 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4768
4769         * http.c: Include gen_sslfunc.h after including Wget's headers.
4770         (persistent_available_p): Needed coma before `int ssl'.
4771
4772 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4773
4774         * ftp.c (ftp_loop_internal): Ditto.
4775
4776         * http.c (http_loop): Use it.
4777
4778         * retr.c (sleep_between_retrievals): New function that handles the
4779         logic of opt.wait and opt.waitretry.
4780
4781 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4782
4783         * rbuf.h: Implement only a single version of RBUF_READCHAR, using
4784         rbuf_read_bufferful when the buffer is depleted.
4785
4786         * rbuf.c (rbuf_read_bufferful): New function.
4787
4788 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4789
4790         * gen_sslfunc.h: Use ansi2knr style function declarations.
4791
4792         * gen_sslfunc.c: Reformat according to the GNU coding standards.
4793         More should be done.
4794
4795         * http.c (persistent_available_p): Place the cheap SSL test nearer
4796         the top of the function.
4797         (CLOSE_FINISH, CLOSE_INVALIDATE): Define only one version of each.
4798
4799 2000-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
4800
4801         * url.c (init_unsafe_char_table): Reinstate space as an unsafe
4802         char.
4803
4804 2000-12-03  Christian Fraenkel <christian.fraenkel@gmx.net>
4805
4806         * Makefile.in: added gen_sslfunc object
4807         * config.h.in: added HAVE_SSL define
4808         * connect.c: changed select_fd from static int to int
4809         * connect.h: ditto
4810         * gen_sslfunc.h: New file
4811         * gen_sslfunc.c: ditto
4812         * http.c: added HTTPS fuctionality
4813         * retrc.c: ditto
4814         * url.c: ditto
4815         * init.c: added opt.httpsproxy
4816         * options.h: ditto
4817         * rbuf.h: added alternate rbuf struct
4818         * wget.h: added CONSSLERR
4819         * rbuf.c: ditto
4820
4821         * http.c: Added HTTPS fuctionality.
4822
4823         * retrc.c: Ditto.
4824
4825         * url.c: Ditto.
4826
4827         * init.c: Added opt.httpsproxy.
4828
4829         * options.h: Ditto.
4830
4831         * rbuf.h: Added alternate rbuf struct.
4832
4833         * wget.h: Added CONSSLERR.
4834
4835         * rbuf.c: Ditto.
4836
4837 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4838
4839         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
4840         "ignore_perms" to ignore file and directory permissions for
4841         Windows NT FTP server listings.
4842         (ftp_parse_winnt_ls): New function.
4843         (ftp_parse_ls): Parses UNIX and Windows NT listings
4844         separately. Simple heuristics for distinguishing between UNIX and
4845         MS-DOS-like FTP listing provided by Windows NT FTP service.
4846
4847 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4848
4849         * ftpparse.c, ftpparse.h: New files.
4850
4851         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
4852         only. Use ftp_parse_nonunix_ls otherwise.
4853         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
4854         exotic FTP servers.
4855
4856         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
4857         FTP servers.
4858
4859         * ftp.c: New static wariables host_type, pwd, and pwd_len.
4860         (getftp): Support for VMS. Support for FTP servers that do not
4861         place you in the root directory after login.
4862         (ftp_retrieve_list): VMS is silent about the real file size, issue
4863         a more appropriate message.
4864         (ftp_get_listing): Pass host_type to ftp_parse_ls.
4865
4866         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
4867
4868 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4869
4870         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
4871         "ignore_perms" to ignore file and directory permissions for
4872         Windows NT FTP server listings.
4873         (ftp_parse_winnt_ls): New function.
4874         (ftp_parse_ls): Parses UNIX and Windows NT listings
4875         separately. Simple heuristics for distinguishing between UNIX
4876         and MS-DOS-like FTP listing provided by Windows NT FTP service.
4877
4878 2000-11-29  John Summerfield  <summer@OS2.ami.com.au>
4879
4880         * netrc.c (parse_netrc): Get rid of line ending.
4881
4882 2000-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4883
4884         * ftp.c (ftp_retrieve_list): Undo typo "fix" until resolution by
4885         Dan.
4886
4887 2000-11-24  Karl Eichwalder  <ke@suse.de>
4888
4889         * main.c (print_help): Untabify.
4890
4891 2000-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
4892
4893         * utils.c (xrealloc_debug): Do the unregister/register thing only
4894         if the pointer has actually changed.
4895         (xmalloc_real): Declare `static' in DEBUG_MALLOC builds.
4896         (xfree_real): Ditto.
4897         (xrealloc_real): Ditto.
4898         (xstrdup_real): Ditto.
4899
4900 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
4901
4902         * ftp.c (getftp): ftp_getaddress() returns a malloc'ed copy of the
4903         string; no need to strdup() it.
4904         (getftp): Make pwd_len a local variable.
4905         (ftp_loop): Free PWD before returning.
4906
4907         * init.c (cleanup): Free opt.ftp_pass only if it's non-NULL.
4908
4909 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
4910
4911         * all: Use xfree() instead of free.
4912
4913         * utils.c (xfree): New function.
4914
4915 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
4916
4917         * url.c (convert_links): HTML-quote the converted string.
4918
4919         * utils.c (html_quote_string): Move here from ftp-ls.c
4920         (html_quote_string): Make non-static; declare in utils.h.
4921         (html_quote_string): Convert SP to &#32;.
4922
4923 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
4924
4925         * ftp.c (getftp): Reformat Jan's code according to GNU coding
4926         standards; remove (debugging?) printf's; use '\0' for the ASCII
4927         zero character.  Use alloca() instead of malloc() for
4928         inter-function temporary allocations.
4929
4930 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4931
4932         * ftpparse.c, ftpparse.h: New files.
4933
4934         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
4935         only. Use ftp_parse_nonunix_ls otherwise.
4936         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
4937         exotic FTP servers.
4938
4939         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
4940         FTP servers.
4941
4942         * ftp.c: New static wariables host_type, pwd, and pwd_len.
4943         (getftp): Support for VMS. Support for FTP servers that do not
4944         place you in the root directory after login.
4945         (ftp_retrieve_list): VMS is silent about the real file size, issue
4946         a more appropriate message.
4947         (ftp_get_listing): Pass host_type to ftp_parse_ls.
4948
4949         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
4950
4951 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
4952
4953         * hash.c (hash_table_put): Don't overwrite deleted mappings.
4954
4955 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
4956
4957         * hash.c (find_mapping): New function.
4958         (hash_table_get): Use it.
4959         (hash_table_get_pair): Ditto.
4960         (hash_table_exists): Ditto.
4961         (hash_table_remove): Ditto.
4962         (hash_table_remove): Really delete the entry if the mapping
4963         following LOCATION is empty.
4964
4965         * utils.c (string_set_add): Check whether the element has existed
4966         before.
4967
4968         * hash.c (hash_table_get_pair): New function.
4969
4970 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4971
4972         * http.c (http_process_type): Ignore trailing whitespace; use
4973         strdupdelim().
4974
4975         * recur.c (recursive_retrieve): Use the new `convert' field.
4976         (convert_all_links): Ditto.
4977         (convert_all_links): Don't respect meta_disallow_follow.
4978
4979         * html-url.c (handle_link): Fill out link_relative_p and
4980         link_complete_p.
4981
4982         * url.h (struct _urlpos): Make elements more readable.
4983
4984         * recur.c (recursive_retrieve): Call slist_prepend instead of
4985         slist_append.
4986         (convert_all_links): Call slist_nreverse before iterating through
4987         urls_html.
4988
4989         * utils.c (slist_prepend): New function.
4990         (slist_nreverse): Ditto.
4991
4992 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4993
4994         * http.c (check_end): Constify.
4995
4996 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4997
4998         * http.c (http_loop): If username and password are known, try the
4999         `Basic' authentication scheme by default.
5000
5001         * connect.h: Declare test_socket_open.
5002
5003 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
5004
5005         * version.c: Bump version from 1.5.3+dev to 1.7-dev.
5006
5007 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
5008
5009         * http.c (gethttp): Don't use the return value of sprintf().
5010         (gethttp): Inhibit keep-alive if opt.http_keep_alive is 0.
5011
5012 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
5013
5014         * recur.c (recursive_retrieve): Print the "so we don't load"
5015         debugging message only if we really don't load.
5016
5017         * http.c (gethttp): Inhibit keep-alive if proxy is being used.
5018         (gethttp): Don't request keep-alive if keep-alive is inhibited.
5019
5020 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
5021
5022         * http.c (gethttp): Make the HTTP persistent connections more
5023         robust.
5024
5025 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
5026
5027         * retr.c (get_contents): If use_expected, make sure that the
5028         appropriate amount of data is being read.
5029
5030         * http.c (gethttp): Check for both `Keep-Alive: ...' and
5031         `Connection: Keep-Alive'.
5032
5033         * wget.h (DEBUGP): Call debug_logprintf only if opt.debug is
5034         turned on.
5035
5036 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
5037
5038         * http.c (connection_available_p): Use it.
5039
5040         * connect.c (test_socket_open): New function.
5041
5042         * http.c (gethttp): Support persistent connections.  Based on the
5043         ideas, and partly on code, by Sam Horrocks <sam@daemoninc.com>.
5044         (register_persistent): New function.
5045         (connection_available_p): Ditto.
5046         (invalidate_connection): Ditto.
5047
5048 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
5049
5050         * url.c (convert_links): Handle UREL2ABS case.
5051
5052         * recur.c (recursive_retrieve): Instead of the list
5053         urls_downloaded, use hash tables dl_file_url_map and
5054         dl_url_file_map.
5055         (convert_all_links): Use them to retrieve data.
5056
5057         * host.c (clean_hosts): Free the hash tables.
5058
5059         * main.c (private_initialize): Call host_init().
5060
5061         * host.c (store_hostaddress): Use a saner, hash table-based data
5062         model.
5063         (realhost): Ditto.
5064         (host_init): Initialize the hash tables.
5065
5066 2000-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
5067
5068         * utils.c (slist_append): Eviscerate NOSORT.  Hash tables are now
5069         used for what the sorted slists used to be used for.
5070         (slist_contains): Don't rely on the list being sorted.
5071         (slist_append): Simplify the code.
5072
5073         * recur.c (recursive_cleanup): Use free_string_set.
5074
5075         * utils.c (string_set_add, string_set_exists, string_set_free):
5076         New functions for easier freeing of hash tables whose keys are
5077         strdup'ed strings.
5078
5079         * recur.c (recursive_retrieve): Use the hash table functions for
5080         storing undesirable URLs.
5081
5082         * hash.c: New file.
5083
5084 2000-11-17  Hrvoje Niksic  <hniksic@arsdigita.com>
5085
5086         * main.c (private_initialize): Call url_init.
5087         (main): Call private_initialize.
5088
5089         * url.c (unsafe_char_table): New table.
5090         (UNSAFE_CHAR): Use it.
5091         (init_unsafe_char_table): New function.
5092         (url_init): New function; call init_unsafe_char_table.
5093
5094 2000-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
5095
5096         * mswindows.h: Define snprintf and vsnprintf to _snprintf and
5097         _vsnprintf respectively.
5098
5099 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
5100
5101         * config.h.in: Do the _XOPEN_SOURCE and _SVID_SOURCE things only
5102         on Linux.
5103
5104 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
5105
5106         * html-url.c (handle_link): Handle HTML fragment identifiers.
5107
5108         * recur.c (recursive_retrieve): If norobot info is respected and
5109         the file is specified not to be followed by robots, respect that.
5110
5111         * html-url.c (collect_tags_mapper): Handle <meta name=robots
5112         content=X>.  For us the important cases are where X is NONE or
5113         where X contains NOFOLLOW.
5114         (get_urls_html): Propagate that information to the caller.
5115
5116 2000-11-13  Hrvoje Niksic  <hniksic@arsdigita.com>
5117
5118         * url.c (convert_links): Unlink the file we might be reading from
5119         before writing to it.
5120         (convert_links): Use alloca instead of malloc for
5121         filename_plus_orig_suffix.
5122
5123 2000-11-12  Hrvoje Niksic  <hniksic@arsdigita.com>
5124
5125         * host.c (realhost): Add HOST to the list with quality==0 only if
5126         it wasn't already there.
5127         Based on analysis by Lu Guohan <feng@public.bjnet.edu.cn>.
5128
5129 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
5130
5131         * url.c (get_urls_file): Ditto.
5132         (convert_links): Ditto.
5133
5134         * html-url.c (get_urls_html): Use read_file() instead of
5135         load_file().
5136
5137         * utils.c (read_file): New function, instead of the old
5138         load_file().
5139         (read_file_free): Ditto.
5140
5141         * url.c (findurl): Search only for the supported protocols.
5142         (convert_links): Use fwrite() when writing out a region of
5143         characters.
5144
5145 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
5146
5147         * ftp-ls.c: Move html_quote_string and ftp_index here.
5148
5149         * url.c: Remove get_urls_html, since that's now in html-url.c.
5150
5151         * html-url.c: New file.
5152
5153         * html-parse.c: New file.
5154
5155 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
5156
5157         * init.c (run_wgetrc): Don't bother killing off '\r' since
5158         pars_line() skips whitespace at end of line anyway.
5159         (parse_line): Oops, it didn't.  Now it does.
5160
5161         * recur.c (parse_robots): Ditto here.
5162
5163         * ftp-ls.c (ftp_parse_unix_ls): Kill off the newline character
5164         manually because read_whole_line no longer does.
5165
5166         * utils.c (read_whole_line): Rewrite to: a) use less memory
5167         (reallocates to needed size after work), b) work faster -->
5168         fgets() instead of getc, c) be more correct --> doesn't kill the
5169         newline character at the end of line.
5170
5171 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
5172
5173         * init.c (comind): Initialize MAX to array size - 1.
5174
5175 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
5176
5177         * url.c (construct): Changed last_slash[-1] to *(last_slash - 1).
5178         Suggested by Edward J. Sabol.
5179
5180 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
5181
5182         * url.c (construct): Handle the case where host name is not
5183         followed by a slash.
5184
5185 2000-11-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5186
5187         * init.c: commands[] need to be sorted!  ("base" wasn't.)
5188
5189 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
5190
5191         * wget.h (DO_REALLOC_FROM_ALLOCA): Use braces to disambiguate
5192         `if'.
5193
5194 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
5195
5196         * url.c (construct): Insert unneeded initialization for the
5197         compiler to shut up.
5198
5199         * config.h.in: Define _XOPEN_SOURCE to 500 to get the prototype
5200         for strptime() (*duh*).  Define _SVID_SOURCE to get S_IFLNK which
5201         otherwise gets lost when you define _XOPEN_SOURCE.
5202
5203         * utils.c (touch): Include the file name in the error message.
5204         From Debian.
5205
5206 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
5207
5208         * log.c (logvprintf): Use vsnprintf() in all cases.  If necessary,
5209         resize the buffer to fit the formated message.  That way, messages
5210         of arbitrary size may be printed.
5211         (logvprintf): Use saved_append() to optionally log the last
5212         several lines of output.
5213         (logputs): Ditto.
5214         (log_close): Adapt to new data structures.
5215         (log_dump): Ditto.
5216         (redirect_output): Print messages to stderr, not to stdout.
5217
5218         * log.c (saved_append_1): New function.  Replaces the old logging
5219         system ("log all output until 10M characters") with a new, much
5220         more reasonable one ("log last screenful of text").
5221         (saved_append): New function; call saved_append_1.
5222         (free_log_line): New function.
5223
5224 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
5225
5226         * url.c (construct): Fix comment.
5227         (find_last_char): Document.
5228
5229 2000-11-04  Hrvoje Niksic  <hniksic@arsdigita.com>
5230
5231         * snprintf.c: New file.
5232
5233 2000-11-03  Hrvoje Niksic  <hniksic@arsdigita.com>
5234
5235         * wget.h: If HAVE_STDARG_H is not defined, don't declare argument
5236         types to logprintf() and debug_logprintf().
5237
5238 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
5239
5240         * ftp.c (ftp_loop_internal): Hide the password from the URL when
5241         printing non-verbose.  Problem spotted by Dariusz Mlynarczyk
5242         <darekm@bydg.lomac.com.pl>.
5243
5244 2000-11-02  Junio Hamano  <junio@twinsun.com>
5245
5246         * ftp-basic.c (ftp_login): Make comparison case-insensitive.
5247
5248 2000-11-02  Tyler Riddle  <triddle@liquidmarket.com>
5249
5250         * http.c (known_authentication_scheme_p): Recognize NTML
5251         authentication.
5252         (create_authorization_line): Treat NTML the same as `Basic'.
5253
5254 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
5255
5256         * retr.c (retrieve_url): Free url before returning.
5257         (retrieve_url): Free mynewloc before returning.
5258         Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
5259
5260 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
5261
5262         * url.c (parseurl): Remove possible reading past the end of
5263         sup_protos[].  Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
5264
5265 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5266
5267         * main.c (main): In case of opt.downloaded overflowing, print
5268         <overflow> instead of a totally bogus random value.
5269
5270         * retr.c (retrieve_from_file): Ditto.
5271
5272         * recur.c (recursive_retrieve): Ditto.
5273
5274         * main.c (main): Ditto.
5275
5276         * http.c (http_loop): Ditto.
5277
5278         * ftp.c (ftp_loop_internal): Use downloaded_increase() instead of
5279         `+=', and downloaded_exceeds_quota() instead of the simple-minded
5280         check.
5281         (ftp_retrieve_list): Ditto.
5282         (ftp_retrieve_dirs): Ditto.
5283         (ftp_retrieve_glob): Ditto.
5284
5285         * retr.c (downloaded_increase): New function.  Notice overflows of
5286         opt.downloaded.
5287         (downloaded_exceeds_quota): Make sure that opt.downloaded is not
5288         used if it overflowed.
5289
5290         * options.h (struct options): New member downloaded_overflow.
5291
5292 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5293
5294         * wget.h (enum): Remove extra space after last enumeration.
5295
5296 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5297
5298         * main.c (main): Use legible_very_long() for printing
5299         opt.downloaded.
5300
5301         * utils.c (legible_1): New function that operates on strings and
5302         does the brunt of legible()'s work.
5303         (legible): Use legible_1().
5304         (legible_very_long): New function; dump the argument with
5305         sprintf(), and call legible_1().
5306
5307         * options.h (struct options): Use VERY_LONG_TYPE for
5308         opt.downloaded.
5309
5310         * sysdep.h (VERY_LONG_TYPE): Define it to have a 64-bit or greater
5311         type.
5312
5313         * config.h.in: Make sure that SIZEOF_LONG and SIZEOF_LONG_LONG get
5314         defined.  Define HAVE_LONG_LONG if long long is available.
5315
5316 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5317
5318         * utils.c (long_to_string): Update with a later, better version.
5319
5320 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5321
5322         * url.c (path_simplify_with_kludge): New function.
5323         (path_simplify_with_kludge): Disable it.  Instead...
5324         (parse_dir): ...make sure that at this point the right thing is
5325         done, i.e. that "query" part of the URL (?...) is always assigned
5326         to the file, never to the directory portion of the path.
5327
5328 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5329
5330         * retr.c (retrieve_url): Detect redirection cycles.
5331
5332 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5333
5334         * url.c (get_urls_html): Decode HTML entities using
5335         html_decode_entities.
5336
5337         * html.c (htmlfindurl): Don't count the `#' in numeric entities
5338         (&#NNN;) as an HTML fragemnt.
5339         (html_decode_entities): New function.
5340
5341 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5342
5343         * html.c (htmlfindurl): Fix recognition of # HTML fragments.
5344
5345 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5346
5347         * url.c (construct): Rewritten for clarity.  Avoids the
5348         unnecessary copying and stack-allocation the old version
5349         performed.
5350
5351 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
5352
5353         * ftp.c (getftp): Ditto.
5354
5355         * http.c (gethttp): Rewind the stream when retrying from scratch.
5356
5357 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
5358
5359         * retr.c (retrieve_url): Use url_concat() to handle relative
5360         redirections instead of /ad hoc/ code.
5361
5362         * url.c (url_concat): New function encapsulating weird
5363         construct().
5364         (urllen_http_hack): New function.
5365         (construct): When constructing new URLs, recognize that `?' does
5366         not form part of the file name in HTTP.
5367
5368 2000-10-13  Adrian Aichner  <adrian@xemacs.org>
5369
5370         * retr.c: Add msec timing support for WINDOWS.
5371         * retr.c (reset_timer): GetSystemTime() on WINDOWS.
5372         * retr.c (elapsed_time): Calculate delta time to msec on WINDOWS.
5373
5374 2000-10-27  Dan Harkless  <wget@harkless.org>
5375
5376         * retr.c (retrieve_url): Manually applied T. Bharath
5377         <TBharath@responsenetworks.com>'s patch to get wget to grok
5378         illegal relative URL redirects.  Reformatted and re-commented it.
5379
5380 2000-10-23  Dan Harkless  <wget@harkless.org>
5381
5382         * connect.c (make_connection and bindport): Manually applied Rob
5383         Mayoff <mayoff@dqd.com>'s 1.5.3 patch to add --bind-address,
5384         changing coding style to GNU's.
5385
5386         * ftp.c (ftp_loop_internal): --delete-after wasn't implemented for
5387         files downloaded via FTP.  Per a comment, .listing files were not
5388         counted towards number of bytes and files downloaded because they're
5389         deleted anyway.  Well, they aren't under -nr, so count them then.
5390
5391         * init.c: Manually applied Rob Mayoff's 1.5.3 patch to add
5392         --bind-address, alphabetizing, changing coding style to GNU's,
5393         commenting, and renaming cmd_ip_address() to cmd_address() to
5394         imply hostnames also okay.
5395
5396         * main.c (main): --delete-after didn't delete the root of the
5397         tree.  Ignore --convert-links if --delete-after was specified.
5398         Manually applied Rob Mayoff's 1.5.3 patch to add --bind-address,
5399         fixing duplicate use of added-since-1.5.3 case value.
5400         (print_help): Clarified that --delete-after deletes local files.
5401         Rob forgot to add a line for his new --bind-address option.
5402
5403         * options.h (struct options): Manually applied Rob Mayoff's patch
5404         to add --bind-address (bind_address structure member).
5405
5406         * recur.c (recursive_retrieve): Improved comment; added DEBUGP().
5407         Ignore --convert-links if --delete-after was specified.
5408
5409         * retr.c (retrieve_from_file): Just added a DEBUGP().
5410
5411 2000-10-19  Dan Harkless  <wget@harkless.org>
5412
5413         * ftp.c (ftp_loop_internal): downloaded_file() enumerators changed.
5414         (getftp): Applied Piotr Sulecki <Piotr.Sulecki@ios.krakow.pl>'s
5415         patch to work around FTP servers that incorrectly respond to the
5416         "REST" command with the remaining size rather than the total file size.
5417
5418         * http.c (gethttp): Improved a comment and added code to tack on
5419         ".html" to text/html files without that extension when -E specified.
5420         (http_loop): Use new downloaded_file() enumerators and deal with
5421         the case of gethttp() called xrealloc() on u->local.
5422
5423         * init.c (commands): Added new "htmlextension" command.
5424         Also renamed John Daily's cmd_quad() to the more descriptive
5425         cmd_lockable_boolean(), alpha-sorted the CMD_DECLARE()s and
5426         removed duplicate cmd_boolean() declaration.
5427
5428         * main.c (print_help): Added my new -E / --html-extension option.
5429         (main): Undocumented --email-address option previously used -E synonym.
5430         Stole it away for the much more deserving --html-extension's use.
5431
5432         * options.h (struct options): Added html_extension field.
5433
5434         * url.c (convert_links): URL X that we saved as X.html locally due
5435         to -E needs to be backed up as X.orig, not X.html.orig.  Added comments.
5436         (downloaded_file): Now remembers if we added .html extension to a file.
5437
5438         * url.h (downloaded_file_t): Added extra enumerators to support above.
5439         (downloaded_file): Now takes and returns a downloaded_file_t.
5440
5441         * wget.h (unnamed "dt" enum): Added ADDED_HTML_EXTENSION enumerator.
5442
5443 2000-10-09  Dan Harkless  <wget@harkless.org>
5444
5445         * html.c (htmlfindurl): Added unneeded initialization to quiet warning.
5446
5447         * main.c (print_help): Clarified what --retr-symlinks does.
5448
5449 2000-09-15  John Daily  <jdaily@cyberdude.com>
5450
5451         * init.c: Add support for "always" and "never" values to allow
5452         .wgetrc to override commandline (useful e.g. with .pm files
5453         calling `wget --passive-ftp' when your firewall doesn't allow that).
5454
5455         * ftp.c (getftp): passive_ftp is first option to support always/never.
5456
5457 2000-08-30  Dan Harkless  <wget@harkless.org>
5458
5459         * ftp.c (ftp_retrieve_list): Use new INFINITE_RECURSION #define.
5460
5461         * html.c: htmlfindurl() now takes final `dash_p_leaf_HTML' parameter.
5462         Wrapped some > 80-column lines.  When -p is specified and we're at a
5463         leaf node, do not traverse <A>, <AREA>, or <LINK> tags other than
5464         <LINK REL="stylesheet">.
5465
5466         * html.h (htmlfindurl): Now takes final `dash_p_leaf_HTML' parameter.
5467
5468         * init.c: Added new -p / --page-requisites / page_requisites option.
5469
5470         * main.c (print_help): Clarified that -l inf and -l 0 both allow
5471         infinite recursion.  Changed the unhelpful --mirrior description
5472         to simply give the options it's equivalent to.  Added new -p option.
5473         (main): Added some comments; handle new -p / --page-requisites.
5474
5475         * options.h (struct options): Added new page_requisites field.
5476
5477         * recur.c: Changed "URL-s" to "URLs" and "HTML-s" to "HTMLs".
5478         Calculate and pass down new `dash_p_leaf_HTML' parameter to
5479         get_urls_html().  Use new INFINITE_RECURSION #define.
5480
5481         * retr.c: Changed "URL-s" to "URLs".  get_urls_html() now takes
5482         final `dash_p_leaf_HTML' parameter.
5483
5484         * url.c: get_urls_html() and htmlfindurl() now take final
5485         `dash_p_leaf_HTML' parameter.
5486
5487         * url.h (get_urls_html): Now takes final `dash_p_leaf_HTML' parameter.
5488
5489         * wget.h: Added some comments and new INFINITE_RECURSION #define.
5490
5491 2000-08-23  Dan Harkless  <wget@harkless.org>
5492
5493         * main.c (print_help): -B / --base was not mentioned.
5494
5495 2000-08-22  Dan Harkless  <wget@harkless.org>
5496
5497         * main.c (print_help): Modified -nc description to mention that it
5498         also prevents the creation of multiple versions of the same file
5499         with ".<number>" suffixes.
5500
5501 2000-07-14  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5502
5503         * retr.c (retrieve_url): Consistently strdup opt.referer when
5504         setting u->referer.
5505
5506 2000-06-09  Dan Harkless  <wget@harkless.org>
5507
5508         * main.c (print_help): --help output for --waitretry was over 80 cols.
5509
5510 2000-06-09  Hrvoje Niksic  <hniksic@iskon.hr>
5511
5512         * url.c (encode_string): Fix comment.
5513         Suggested by Herold Heiko <Heiko.Herold@previnet.it>.
5514
5515 2000-06-01  Const Kaplinsky  <const@ce.cctpu.edu.ru>
5516
5517         * ftp.c (ftp_retrieve_list): Change permissions only on plain
5518         files.
5519
5520 2000-06-01  Hrvoje Niksic  <hniksic@iskon.hr>
5521
5522         * url.c (str_url): Print the port number only if it's different
5523         from the default port number for that protocol.
5524
5525 2000-05-22  Dan Harkless  <wget@harkless.org>
5526
5527         * main.c (print_help): Added --help line for Damir Dzeko
5528         <ddzeko@zesoi.fer.hr>'s until-now-undocumented --referer option.
5529         Removed comments that --referer and --waitretry were undocumented.
5530         Changed "`.wgetrc' command" to "`.wgetrc'-style command" on --help
5531         line for --execute.
5532
5533 2000-05-18  Hrvoje Niksic  <hniksic@iskon.hr>
5534
5535         * ftp.c (getftp): Ditto.
5536
5537         * http.c (gethttp): Check for return value of fclose/fflush.
5538
5539 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
5540
5541         * host.c (store_hostaddress): Instead of shifting ADDR, start
5542         copying from the correct address.
5543
5544 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
5545
5546         * http.c (gethttp): Don't free REQUEST -- it was allocated with
5547         alloca().
5548         Pointed out by Gisle Vanem <gvanem@eunet.no>.
5549
5550 2000-04-04  Dan Harkless  <wget@harkless.org>
5551
5552         * host.c (store_hostaddress): R. K. Owen's patch introduces a
5553         "left shift count >= width of type" warning on 32-bit
5554         architectures.  Got rid of it by tricking the compiler w/ a variable.
5555
5556         * url.c (UNSAFE_CHAR): The macro didn't include all the illegal
5557         characters per RFC1738, namely everything above '~'.  It also
5558         generated a warning on OSes where char =~ unsigned char.  Fixed.
5559
5560 1998-10-17  Hrvoje Niksic  <hniksic@srce.hr>
5561
5562         * http.c (http_process_type): Removed needless strdup(), a memory
5563         leak.
5564
5565 1998-09-25  Hrvoje Niksic  <hniksic@srce.hr>
5566
5567         * html.c (htmlfindurl): Set PH to the first occurrence of `#'.
5568
5569 1998-09-25  Simon Munton  <simonm@m4data.co.uk>
5570
5571         * init.c (wgetrc_file_name): Don't free HOME under Windows.
5572
5573 1998-12-01  "R. K. Owen"  <rkowen@Nersc.GOV>
5574
5575         * host.c (store_hostaddress): Fix for big endian 64-bit machines.
5576
5577 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
5578
5579         * url.c (UNSAFE_CHAR): New macro.
5580         (contains_unsafe): Use it.
5581         (encode_string): Ditto.
5582
5583 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
5584
5585         * main.c (i18n_initialize): Use LC_MESSAGES only if available.
5586
5587 2000-03-31  Hrvoje Niksic  <hniksic@srce.hr>
5588
5589         * Use TOUPPER/TOLOWER.
5590
5591 1998-12-22  Alexander V. Lukyanov  <lav@yars.free.net>
5592
5593         * ftp-opie.c (btoe): Zero-terminate OSTORE.
5594
5595 2000-03-21  Hrvoje Niksic  <hniksic@iskon.hr>
5596
5597         * wget.h (DO_REALLOC_FROM_ALLOCA): Ditto.
5598
5599         * sysdep.h (ISALNUM): New macro.
5600         (TOLOWER): Ditto.
5601         (TOUPPER): Ditto.
5602
5603 2000-03-10  Dan Harkless  <wget@harkless.org>
5604
5605         * html.c (idmatch): Implemented checking of my new --follow-tags
5606         and --ignore-tags options.
5607
5608         * init.c (commands): Added comment reminding people adding new
5609         entries doing allocation to add corresponding freeing in cleanup().
5610         (commands): Added new followtags and ignoretags commands.
5611         (cleanup): Free storage for new followtags and ignoretags.
5612
5613         * main.c: Use of "comma-separated list" was random -- normalized
5614         it.  Did some alphabetization.  Added comments pointing out
5615         "Options without arguments" and "Options accepting an argument"
5616         sections of long_options[].  Added new options --follow-tags and
5617         -G / --ignore-tags.  Added comment that Damir's --referer is
5618         currently undocumented.  Added comment that Heiko's --waitretry is
5619         partially undocumented (mentioned in --help but not in
5620         wget.texi).  Moved improperly sorted 24, 129, and 'G' cases.
5621
5622         * options.h (struct options): Added new fields follow_tags and
5623         ignore_tags.
5624
5625         * wget.h: Added "#define EQ 0" so we can say "strcmp(a, b) == EQ".
5626
5627 2000-03-02  Dan Harkless  <wget@harkless.org>
5628
5629         * ftp.c (ftp_loop_internal): Heiko introduced "suggest explicit
5630         braces to avoid ambiguous `else'" warnings.  Eliminated them.
5631
5632         * http.c (gethttp): Dan Berger's query string patch is totally
5633         bogus.  If you have two different URLs, gen_page.cgi?page1 and
5634         get_page.cgi?page2, they'll both be saved as get_page.cgi and the
5635         second will overwrite the first.  Also, parameters to implicit
5636         CGIs, like "http://www.host.com/db/?2000-03-02" cause the URLs to
5637         be printed with trailing garbage characters, and could seg fault.
5638         Backing out the patch, which Dan B. informed me by email was just
5639         a kludge to download StarOffice from Sun made necessary due to
5640         wget's unconditional escaping of certain characters (room for an
5641         option there?).
5642         (http_loop): Heiko introduced "suggest explicit braces to avoid
5643         ambiguous `else'" warnings.  Eliminated them.
5644
5645         * main.c: Heiko's --wait / --waitretry backwards compatibility
5646         code looks to have been totally untested -- automatic variable
5647         'wr' was used without being initialized, and a long int was passed
5648         into setval()'s char* val parameter.
5649
5650         * recur.c (parse_robots): Applied Edward J. Sabol
5651         <sabol@alderaan.gsfc.nasa.gov>'s patch for Guan Yang's reported
5652         problem with "User-agent:<space>*<space>" lines in robots.txt.
5653
5654         * url.c (parseurl, str_url): Removing Dan Berger's code (see
5655         http.c above for explanation).
5656
5657 1999-08-25  Heiko Herold  <Heiko.Herold@previnet.it>
5658
5659         * ftp.c: Respect new option waitretry.
5660
5661 2000-01-30  Damir Dzeko  <ddzeko@zesoi.fer.hr>
5662
5663         * http.c (gethttp): Send custom Referer, if required.
5664
5665 1999-09-24  Charles G Waldman  <cgw@fnal.gov>
5666
5667         * netrc.c (parse_netrc): Allow passwords to contain spaces.
5668
5669         * netrc.c (parse_netrc): New function.
5670
5671 1999-09-17  Dan Berger  <dberger@ix.netcom.com>
5672
5673         * http.c (gethttp): Send it.
5674
5675         * url.c (parseurl): Detect query string in HTTP URL-s.
5676         (str_url): Print it.
5677
5678 2000-03-02  HIROSE Masaaki  <hirose31@t3.rim.or.jp>
5679
5680         * html.c (html_allow): Add <link href=...> and <script src=...>.
5681
5682 1999-05-02  andrew deryabin  <djsf@softhome.net>
5683
5684         * http.c (gethttp): Specify port in `Host' header only if it's
5685         different from 80.
5686
5687 1998-11-03  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
5688
5689         * recur.c (recursive_retrieve): If a finite maximum depth is
5690         specified, and we're are already at that depth, don't download the
5691         HTML file for parsing.
5692
5693 2000-03-01  Dan Harkless  <wget@harkless.org>
5694
5695         * ftp.c (ftp_loop_internal): Call new downloaded_file() function,
5696         even though we don't do conversion on HTML files retrieved via
5697         FTP, so _current_ usage of downloaded_file() makes this call unneeded.
5698         (ftp_retrieve_list): Added a comment saying where we need to
5699         stat() a .orig file if FTP'd HTML file conversion is ever implemented.
5700         (ftp_retrieve_list): "Local file '%s' is more recent," is sometimes
5701         a lie -- reworded as "Server file no newer than local file '%s' --".
5702
5703         * http.c (http_loop): Fixed a typo and clarified a comment.
5704         (http_loop): When -K and -N are specified together, compare size
5705         and timestamp of server file X against local file X.orig (if
5706         extant) rather than converted local file X.
5707         (http_loop): "Local file '%s' is more recent," is sometimes a lie
5708         -- reworded as "Server file no newer than local file '%s' --".
5709         (http_loop): Call new downloaded_file() function to prevent
5710         wrongful overwriting of .orig file when -N is specified.
5711
5712         * url.c (convert_links): When -K specified, only rename X to
5713         X.orig if downloaded_file() returns TRUE.  Otherwise when we skip
5714         file X due to -N, we clobber an X.orig from a previous invocation.
5715         (convert_links): Call the failsafe xstrdup(), not the real strdup().
5716         (convert_links): Added a note asking anyone who understands how
5717         multiple URLs can correspond to a single file to comment it.
5718         (downloaded_file): Added this new function.
5719
5720         * url.h (downloaded_file): Added prototype for this new function
5721         as well as its downloaded_file_t enum type.
5722
5723         * wget.h (boolean): Added this new typedef and TRUE and FALSE #defines.
5724
5725 2000-02-29  Dan Harkless  <wget@harkless.org>
5726
5727         * version.c: Upped version to developer-only "1.5.3+dev".
5728
5729 2000-02-18  Dan Harkless  <wget@harkless.org>
5730
5731         * init.c (backup_converted): Added this new option.
5732
5733         * main.c (-K / --backup-converted): Added this new option.
5734
5735         * options.h (backup_converted): Added this new option.
5736
5737         * url.c (convert_links): When backup_converted is specified, save
5738         file X as X.orig before converting.
5739
5740         * url.h (urlpos): Fixed typo -- said "Rekative" instead of "Relative".
5741
5742 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
5743
5744         * version.c: Wget 1.5.3 is released.
5745
5746 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
5747
5748         * host.c (ftp_getaddress): Don't warn when reverse-lookup of local
5749         address doesn't yield FQDN.
5750
5751 1998-09-21  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
5752
5753         * cmpt.c (strerror): Fix declaration of sys_errlist.
5754
5755 1998-09-11  Hrvoje Niksic  <hniksic@srce.hr>
5756
5757         * main.c (main): Don't use an array subscript as the first
5758         argument to STRDUP_ALLOCA.
5759         From Kaveh R. Ghazi.
5760
5761 1998-09-11  Szakacsits Szabolcs  <szaka@sienet.hu>
5762
5763         * html.c (htmlfindurl): Download table background.
5764
5765 1998-09-11  Hans Grobler  <grobh@conde.ee.sun.ac.za>
5766
5767         * init.c (parse_line): Would free *com before allocating it.
5768         (parse_line): Would free com instead of *com.
5769
5770 1998-09-10  Howard Gayle  <howard@fjst.com>
5771
5772         * url.c (get_urls_html): Would drop the last character of the
5773         link.
5774
5775 1998-09-10  Hrvoje Niksic  <hniksic@srce.hr>
5776
5777         * http.c (http_loop): Don't print status code if quiet.
5778
5779 1998-09-10  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
5780
5781         * log.c: Use <stdarg.h> only when __STDC__.
5782
5783 1998-09-10  Adam D. Moss  <adam@foxbox.org>
5784
5785         * html.c (htmlfindurl): Download <layer src=...>.
5786
5787 1998-09-10  Howard Gayle  <howard@fjst.com>
5788
5789         * ftp.c (ftp_retrieve_list): Don't update the time stamp of a file
5790         not retrieved.
5791
5792 1998-06-27  Hrvoje Niksic  <hniksic@srce.hr>
5793
5794         * utils.c: Include <libc.h> on NeXT.
5795
5796 1998-06-26  Heinz Salzmann  <heinz.salzmann@intermetall.de>
5797
5798         * url.c (get_urls_html): Fix calculation of URL position.
5799
5800 1998-06-23  Hrvoje Niksic  <hniksic@srce.hr>
5801
5802         * version.c: Wget 1.5.2 is released.
5803
5804 1998-06-23  Dave Love  <d.love@dl.ac.uk>
5805
5806         * ftp.c, init.c, netrc.c: Include errno.h.
5807
5808         * http.c: Include errno.h and time header.
5809
5810         * Makefile.in (exext): Define.
5811         (install.bin, uninstall.bin): Use it.
5812
5813 1998-06-21  Hrvoje Niksic  <hniksic@srce.hr>
5814
5815         * http.c (http_loop): Don't attempt to compare local and remote
5816         sizes if the remote size is unknown.
5817
5818 1998-06-16  Hrvoje Niksic  <hniksic@srce.hr>
5819
5820         * url.c (get_urls_html): Use malloc() instead of alloca in the
5821         loop.
5822
5823 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
5824
5825         * version.c: Wget 1.5.2-b4 is released.
5826
5827 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
5828
5829         * url.c (get_urls_html): Ignore spaces before and after the URI.
5830
5831 1998-06-08  Wanderlei Antonio Cavassin  <cavassin@conectiva.com.br>
5832
5833         * ftp.c (getftp): Translate `done'.
5834
5835 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
5836
5837         * version.c: Wget 1.5.2-b3 is released.
5838
5839 1998-06-06  Alexander Kourakos  <awk@bnt.com>
5840
5841         * init.c (cleanup): Close dfp, don't free it.
5842
5843 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
5844
5845         * utils.c (make_directory): Twiddle.
5846
5847         * config.h.in: Added template for access().
5848
5849 1998-06-05  Mathieu Guillaume  <mat@cythere.com>
5850
5851         * html.c (htmlfindurl): Download <input src=...>
5852
5853 1998-06-03  Hrvoje Niksic  <hniksic@srce.hr>
5854
5855         * utils.c (file_exists_p): Use access() with two arguments.
5856
5857 1998-05-27  Martin Kraemer  <Martin.Kraemer@mch.sni.de>
5858
5859         * netrc.c (parse_netrc): Correct logic.
5860
5861 1998-05-27  Hrvoje Niksic  <hniksic@srce.hr>
5862
5863         * ftp.c (getftp): Added `break'; suggested by Lin Zhe Min
5864         <ljm@ljm.wownet.net>.
5865
5866 1998-05-24  Hrvoje Niksic  <hniksic@srce.hr>
5867
5868         * version.c: Wget 1.5.2-b2 is released.
5869
5870 1998-05-18  Juan Jose Rodriguez  <jcnsoft@jal1.telmex.net.mx>
5871
5872         * mswindows.h: Don't translate mkdir to _mkdir under Borland.
5873
5874 1998-05-17  Hrvoje Niksic  <hniksic@srce.hr>
5875
5876         * retr.c (elapsed_time): Return correct value when
5877         HAVE_GETTIMEOFDAY is undefined.
5878
5879 1998-05-13  Hrvoje Niksic  <hniksic@srce.hr>
5880
5881         * version.c: Wget 1.5.2-b1 is released.
5882
5883 1998-05-08  Hrvoje Niksic  <hniksic@srce.hr>
5884
5885         * getopt.c (_getopt_internal): Use exec_name instead of argv[0].
5886         (_getopt_internal): Don't translate `#if 0'-ed strings.
5887
5888 1998-05-06  Douglas E. Wegscheid  <wegscd@whirlpool.com>
5889
5890         * mswindows.c (ws_handler): Use fork_to_background().
5891
5892 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
5893
5894         * version.c: Wget 1.5.1 is released.
5895
5896 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
5897
5898         * http.c (parse_http_status_line): Avoid `minor' and `major'
5899         names.
5900
5901 1998-05-02  Hrvoje Niksic  <hniksic@srce.hr>
5902
5903         * utils.c (mkdirhier): Renamed to make_directory.
5904
5905 1998-05-01  Hrvoje Niksic  <hniksic@srce.hr>
5906
5907         * mswindows.c (fork_to_background): Define under Windows.
5908
5909         * utils.c (fork_to_background): New function.
5910
5911         * html.c (htmlfindurl): Removed rerdundant casts.
5912
5913 1998-05-01  Douglas E. Wegscheid  <wegscd@whirlpool.com>
5914
5915         * mswindows.c (ws_mypath): Cache the path.
5916
5917 1998-04-30  Douglas E. Wegscheid  <wegscd@whirlpool.com>
5918
5919         * ftp.h: Prefix enum ftype members with FT_.
5920
5921         * ftp-ls.c, ftp.c, html.h: Adjust accordingly.
5922
5923         * mswindows.h: Use stat under Borland, _stat under MSVC.
5924
5925 1998-04-28  Hrvoje Niksic  <hniksic@srce.hr>
5926
5927         * http.c (known_authentication_scheme_p): New function.
5928         (gethttp): Handle authorization more correctly.
5929
5930         * ftp-basic.h: Removed.
5931
5932         * cmpt.h: Removed.
5933
5934         * utils.c: Include <unistd.h> before <pwd.h>; needed under SunOS
5935         with gcc 2.8.
5936         (numdigit): Use `while' loop.
5937
5938         * http.c (create_authorization_line): Detect authentication
5939         schemes case-insensitively.
5940
5941         * http.c (extract_header_attr): Use strdupdelim().
5942         (digest_authentication_encode): Move declaration of local
5943         variables to smaller scope.
5944         (digest_authentication_encode): Reset REALM, OPAQUE and NONCE.
5945         (create_authorization_line): Detect authentication schemes
5946         case-insensitively.
5947
5948         * utils.c (touch): Constify.
5949
5950         * http.c (gethttp): Report a nicer error when no data is received.
5951
5952         * rbuf.h (RBUF_READCHAR): Ditto.
5953
5954         * ftp-basic.c (ftp_response): Use sizeof.
5955
5956 1998-04-27  Hrvoje Niksic  <hniksic@srce.hr>
5957
5958         * retr.c (print_percentage): EXPECTED is long, not int.
5959         (print_percentage): Use floating-point arithmetic to avoid
5960         overflow with large files' sizes multiplied with 100.
5961
5962 1998-04-27  Gregor Hoffleit  <flight@mathi.uni-heidelberg.de>
5963
5964         * config.h.in: Added pid_t stub.
5965
5966         * sysdep.h (S_ISREG): Moved here from mswindows.h (NeXT doesn't
5967         define it).
5968
5969 1998-04-20  Hrvoje Niksic  <hniksic@srce.hr>
5970
5971         * version.c: Wget 1.5.0 is released.
5972
5973 1998-04-18  Hrvoje Niksic  <hniksic@srce.hr>
5974
5975         * url.c (str_url): Ditto.
5976
5977         * ftp-basic.c (ftp_rest): Use new name.
5978
5979         * utils.c (long_to_string): Renamed from prnum().
5980
5981 1998-04-16  Hrvoje Niksic  <hniksic@srce.hr>
5982
5983         * version.c: Wget 1.5-b17 is released.
5984
5985 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
5986
5987         * headers.c (header_get): New argument FLAGS.
5988
5989         * http.c (gethttp): If request is malformed, bail out of the
5990         header loop.
5991         (gethttp): Check for empty header *after* the status line checks.
5992         (gethttp): Disallow continuations for status line.
5993
5994 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
5995
5996         * version.c: Wget 1.5-b16 is released.
5997
5998 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
5999
6000         * init.c (commands): Renamed `always_rest' to `continue'.
6001
6002 1998-04-05  Hrvoje Niksic  <hniksic@srce.hr>
6003
6004         * all: Use it.
6005
6006         * log.c (logputs): New argument.
6007         (logvprintf): Ditto.
6008         (logprintf): Ditto.
6009
6010 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
6011
6012         * http.c (http_atotm): Update comment.
6013
6014         * main.c (i18n_initialize): Set LC_MESSAGES, not LC_ALL.
6015
6016         * wget.h: Renamed ENABLED_NLS to HAVE_NLS.
6017
6018         * main.c (i18n_initialize): New function.
6019         (main): Use it.
6020
6021         * log.c: Include <unistd.h>.
6022
6023         * retr.c (show_progress): Cast alloca to char *.
6024
6025 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
6026
6027         * version.c: Wget 1.5-b15 is released.
6028
6029 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
6030
6031         * utils.h: Declare file_non_directory_p().
6032
6033 1998-04-03  Hrvoje Niksic  <hniksic@srce.hr>
6034
6035         * main.c (main): It's `tries', not `numtries' now.
6036
6037 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
6038
6039         * init.c (getperms): Removed.
6040
6041 1998-04-01  Tim Charron  <tcharron@interlog.com>
6042
6043         * log.c (logvprintf): Don't use ARGS twice.
6044
6045 1998-04-01  John  <john@futuresguide.com>
6046
6047         * mswindows.c: Cleaned up.
6048
6049 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
6050
6051         * version.c: Wget 1.5-b14 is released.
6052
6053 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
6054
6055         * ftp-opie.c (STRLEN4): New macro.
6056         (btoe): Use it.
6057
6058 1998-04-01  Junio Hamano  <junio@twinsun.com>
6059
6060         * http.c: Document all the Digest functions.
6061
6062 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
6063
6064         * utils.c (file_non_directory_p): Renamed from isfile().
6065
6066         * mswindows.h (S_ISREG): New macro, suggested by Tim Adam.
6067
6068 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
6069
6070         * utils.c (mkdirhier): Use 0777 instead of opt.dirmode.
6071
6072         * init.c (cmd_spec_dotstyle): Use 48 dots per line for binary
6073         style.
6074         (cmd_permissions): Removed.
6075
6076         * config.h.in: Add template for WORDS_BIGENDIAN.
6077
6078 1998-03-31  Junio Hamano  <junio@twinsun.com>
6079
6080         * http.c (HEXD2asc): New macro.
6081         (dump_hash): Use it.
6082
6083 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
6084
6085         * version.c: Wget 1.5-b13 is released.
6086
6087 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
6088
6089         * main.c (main): Don't try to use `com'.
6090
6091 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
6092
6093         * init.c (cmd_permissions): New function.
6094
6095 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
6096
6097         * version.c: Wget 1.5-b12 is released.
6098
6099 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
6100
6101         * init.c (commands): Renamed `numtries' to `tries'.
6102         (cmd_spec_debug): Removed.
6103         (home_dir): Under Windows, return `C:\' if HOME is undefined.
6104
6105 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
6106
6107         * config.h.in: Define _XOPEN_SOURCE.
6108
6109         * init.c (check_user_specified_header): New function.
6110         (cmd_spec_header): Use it.
6111         (cmd_spec_useragent): New function.
6112
6113 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
6114
6115         * version.c: Wget 1.5-b11 is released.
6116
6117 1998-03-28  Hrvoje Niksic  <hniksic@srce.hr>
6118
6119         * wget.h: Include <libintl.h> only if NLS is enabled.
6120
6121 1998-03-26  Hrvoje Niksic  <hniksic@srce.hr>
6122
6123         * options.h (struct options): Made `wait' a long.
6124         (struct options): Ditto for `timeout'.
6125
6126 1998-03-19  Hrvoje Niksic  <hniksic@srce.hr>
6127
6128         * utils.c (exists): Renamed to file_exists_p.
6129         (file_exists_p): Use access() if available.
6130
6131 1998-03-17  Hrvoje Niksic  <hniksic@srce.hr>
6132
6133         * utils.c (memfatal): Set save_log_p to 0 to avoid potential
6134         infloop.
6135
6136         * log.c: do_logging -> save_log_p.
6137
6138         * config.h.in: Added template for HAVE_VSNPRINTF.
6139
6140 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
6141
6142         * init.c: Ditto.
6143
6144         * http.c: Protect declaration against non-ANSI compiler.
6145
6146         * log.c (logvprintf): Use vsnprintf() if available.
6147
6148         * getopt.c (main): Don't translate test stuff.
6149
6150 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
6151
6152         * version.c: Wget 1.5-b10 is released.
6153
6154 1998-03-11  Hrvoje Niksic  <hniksic@srce.hr>
6155
6156         * ftp.c (getftp): Don't translate "CWD %s".
6157
6158         * wget.h (GCC_FORMAT_ATTR): Renamed from FORMAT_ATTR.
6159
6160 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
6161
6162         * ftp-opie.c (btoe): Use memcpy() instead of strncat().
6163
6164         * log.c (logputs): New function.
6165         (logvprintf): Renamed from vlogmsg; use logputs().
6166
6167         * retr.c (show_progress): Print `[100%]' when the retrieval is
6168         finished.
6169
6170         * init.c (run_wgetrc): Use FILE, not PATH.
6171         (wgetrc_file_name): Ditto.
6172
6173 1998-03-07  Tim Adam  <tma@osa.com.au>
6174
6175         * recur.c (parse_robots): Correctly reset `entries' on empty
6176         disallow.
6177
6178 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
6179
6180         * init.c (cmd_spec_debug): Use cmd_boolean().
6181
6182 1998-02-23  Hrvoje Niksic  <hniksic@srce.hr>
6183
6184         * http.c (gethttp): Create proxy-authorization correctly.
6185
6186 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
6187
6188         * md5.c: Ditto.
6189
6190         * getopt.c: Use ANSI function definitions.
6191
6192         * ftp-opie.c: New file.
6193
6194         * options.h: Don't redefine EXTERN.
6195
6196         * init.c: Sort it correctly.
6197
6198 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
6199
6200         * version.c: Wget 1.5-b9 is released.
6201
6202 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
6203
6204         * recur.c (recursive_retrieve): Reset `first_time'.
6205
6206         * ftp.c (getftp): Added `default' clause to switches of uerr_t.
6207
6208         * rbuf.c (rbuf_peek): Simplified.
6209         (rbuf_flush): Use MINVAL.
6210
6211         * wget.h (MINVAL): Moved from url.h.
6212
6213         * rbuf.h (RBUF_FD): New macro.
6214
6215         * url.c (add_url): Add to the head of the list.
6216
6217         * ftp.c (ftp_retrieve_list): Set the permissions to downloaded
6218         file.
6219         (getftp): Set the default permissions to 0600.
6220
6221 1998-02-21  Hrvoje Niksic  <hniksic@srce.hr>
6222
6223         * url.c (get_urls_html): Ditto.
6224         (convert_links): Ditto.
6225
6226         * recur.c (parse_robots): Ditto.
6227
6228         * html.c (ftp_index): Ditto.
6229
6230         * ftp-ls.c (ftp_parse_unix_ls): Open file as binary.
6231
6232         * init.c (defaults): Initialize `opt' to zero via memset.
6233
6234         * http.c (digest_authentication_encode): goto considered harmful.
6235
6236 1998-02-19  Hrvoje Niksic  <hniksic@srce.hr>
6237
6238         * ftp.c (delelement): Simplify and fix leak.
6239
6240 1998-02-18  Hrvoje Niksic  <hniksic@srce.hr>
6241
6242         * http.c (dump_hash): Use HEXD2ASC instead of home-grown stuff.
6243
6244         * url.h (HEXD2ASC): Removed warning.
6245
6246         * init.c (comind): Use binary search.
6247         (commands): Reorganized.
6248         (setval): Ditto.
6249         (cmd_boolean): New function.
6250         (cmd_number): Ditto.
6251         (cmd_number_inf): Ditto.
6252         (cmd_string): Ditto.
6253         (cmd_vector): Ditto.
6254         (cmd_directory_vector): Ditto.
6255         (cmd_bytes): Ditto.
6256         (cmd_time): Ditto.
6257         (cmd_spec_debug): Ditto.
6258         (cmd_spec_dirmode): Ditto.
6259         (cmd_spec_dirstruct): Ditto.
6260         (cmd_spec_dotstyle): Ditto.
6261         (cmd_spec_header): Ditto.
6262         (cmd_spec_htmlify): Ditto.
6263         (cmd_spec_mirror): Ditto.
6264         (cmd_spec_outputdocument): Ditto.
6265         (cmd_spec_recursive): Ditto.
6266         (settime): Merged with cmd_time().
6267         (setbytes): Merged with cmd_bytes().
6268         (setonoff): Merged with cmd_boolean().
6269         (onoff): Ditto.
6270
6271 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
6272
6273         * Makefile.in (distclean): Remove `config.h'.
6274
6275 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
6276
6277         * version.c: Wget 1.5-b8 is released.
6278
6279 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
6280
6281         * http.c (digest_authentication_encode): New function.
6282         (create_authorization_line): Use it.
6283         (dump_hash): New function.
6284         (digest_authentication_encode): Use it.
6285
6286         * fnmatch.c: Renamed from `mtch.c'.
6287
6288 1998-02-15  Karl Eichwalder  <ke@suse.de>
6289
6290         * main.c (main): Tag "Written by..." string as translatable.
6291
6292 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
6293
6294         * wget.h (FREE_MAYBE): New macro.
6295
6296         * http.c (create_authorization_line): Don't use ANSI C string
6297         concatenation feature.
6298         (basic_authentication_encode): Use alloca() for temporary
6299         variables.
6300
6301         * recur.h: Ditto.
6302
6303         * http.c: Ditto.
6304
6305         * headers.h: Ditto.
6306
6307         * ftp-basic.c: Protect declaration against non-ANSI compiler.
6308
6309         * http.c (create_authorization_line): Cast `unsigned char *' to
6310         `char *' for sprintf, to shut up the noisy Digital Unix cc.
6311
6312 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
6313
6314         * version.c: Wget 1.5-b7 is released.
6315
6316 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
6317
6318         * cmpt.c (strstr): Synched with glibc-2.0.6.
6319
6320         * ftp-basic.c (calculate_skey_response): Ditto.
6321         (calculate_skey_response): Use alloca().
6322
6323         * http.c (create_authorization_line): Work with FSF's version of
6324         md5.c.
6325
6326         * md5.c: New file, from GNU libc.
6327
6328 1998-02-14  Hrvoje Niksic  <hniksic@srce.hr>
6329
6330         * url.h (URL_CLEANSE): Name the temporary variable more carefully.
6331
6332 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
6333
6334         * http.c (basic_authentication_encode): New function, instead of
6335         the macro.
6336
6337 1998-02-13  Junio Hamano  <junio@twinsun.com>
6338
6339         * http.c: Add HTTP-DA support.
6340         * ftp-basic.c: Add Opie/S-key support.
6341         * config.h.in, Makefile.in: Add HTTP-DA and Opie/S-key support.
6342         * md5.c, md5.h: New files.
6343
6344 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
6345
6346         * http.c (http_process_range): Renamed from hprocrange().
6347         (http_process_range): Parse the whole header.
6348
6349         * headers.c: New file.
6350         (header_process): New function.
6351         (header_get): Renamed from fetch_next_header.
6352
6353         * all: Include utils.h only where necessary.
6354
6355         * wget.h: Declare xmalloc(), xrealloc() and xstrdup() here.
6356
6357         * wget.h: Add provisions for dmalloc.
6358
6359 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
6360
6361         * version.c: Wget 1.5-b6 is released.
6362
6363 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
6364
6365         * ftp.c (ftp_loop): Determine `filename' more precisely.
6366
6367         * init.c (setval): Don't set `opt.quiet' if output-document is
6368         `-'.
6369
6370         * log.c (log_init): Print to STDERR instead of STDOUT.
6371         (vlogmsg): Use STDERR by default.
6372         (logflush): Ditto.
6373
6374 1998-02-11  Simon Josefsson  <jas@pdc.kth.se>
6375
6376         * host.c: Use addr_in again.
6377
6378 1998-02-08  Karl Eichwalder  <karl@suse.de>
6379
6380         * http.c (gethttp): Fixed typo.
6381
6382 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
6383
6384         * version.c: Wget 1.5-b5 is released.
6385
6386 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
6387
6388         * retr.c (show_progress): Use it.
6389
6390         * log.c (logflush): New function.
6391
6392         * wget.h: Utilize __attribute__ if on gcc.
6393
6394 1998-02-07  Hrvoje Niksic  <hniksic@srce.hr>
6395
6396         * http.c (base64_encode_line): New argument LENGTH.
6397         (BASIC_AUTHENTICATION_ENCODE): Use it.
6398         (BASIC_AUTHENTICATION_ENCODE): Take length of HEADER into account.
6399
6400         * main.c (main): Fixed fprintf() format mismatch.
6401
6402 1998-02-06  Hrvoje Niksic  <hniksic@srce.hr>
6403
6404         * version.c: Wget 1.5-b4 is released.
6405
6406 1998-02-03  Simon Josefsson  <jas@pdc.kth.se>
6407
6408         * host.c: use sockaddr_in instead of addr_in.
6409
6410 1998-02-04  Hrvoje Niksic  <hniksic@srce.hr>
6411
6412         * init.c (cleanup): Use it.
6413
6414         * recur.c (recursive_cleanup): New function.
6415
6416         * retr.c (retrieve_from_file): Ditto.
6417
6418         * main.c (main): Use it.
6419
6420         * recur.c (recursive_reset): New function.
6421
6422         * retr.c (retrieve_from_file): Ditto.
6423
6424         * main.c (main): Simplify call to recursive_retrieve().
6425
6426         * recur.c (recursive_retrieve): Removed FLAGS argument.
6427
6428         * http.c (gethttp): Changed call to iwrite().
6429
6430 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
6431
6432         * url.c (get_urls_html): Ditto.
6433         (free_urlpos): Ditto.
6434         (mkstruct): Ditto.
6435         (construct): Ditto.
6436
6437         * retr.c (retrieve_url): Move declaration of local variables to
6438         smaller scope.
6439
6440         * url.c (urlproto): Use it.
6441         (parseurl): Ditto.
6442         (str_url): Ditto.
6443         (get_urls_html): Ditto.
6444
6445         * utils.h (ARRAY_SIZE): New macro.
6446
6447         * url.c (proto): Moved from url.h.
6448
6449         * url.h (URL_CLEANSE): Reformatted.
6450         (USE_PROXY_P): Renamed from USE_PROXY.
6451
6452         * ftp-basic.c: Adjust to the new interface of iwrite().
6453
6454         * ftp-basic.c (ftp_port): Use alloca().
6455
6456 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
6457
6458         * version.c: Wget 1.5-b3 is released.
6459
6460         * host.c (ftp_getaddress): Don't print to stderr directly.
6461
6462         * init.c (setbytes): Support `g' for gigabytes.
6463         (cmdtype): New specification CTIME.
6464         (setval): Use it with settime().
6465         (commands): Use it for WAIT and TIMEOUT.
6466
6467 1998-02-02  Hrvoje Niksic  <hniksic@srce.hr>
6468
6469         * http.c (BASIC_AUTHENTICATION_ENCODE): New macro.
6470         (gethttp): Use it.
6471
6472         * utils.c (unique_name_1): Moved from url.c.
6473         (unique_name): Ditto.
6474
6475         * url.c (url_filename): Ditto.
6476
6477         * log.c (redirect_output): Changed call to unique_name().
6478
6479         * url.c (unique_name_1): Renamed from unique_name().
6480         (unique_name): Changed interface.
6481
6482         * init.c (enum cmdid): Moved from init.h.
6483         (cmdtype): Ditto.
6484         (struct cmd): Ditto.
6485
6486         * main.c (main): Use it.
6487         (main): Moved `--backups' to not have a short option.
6488
6489         * options.h (struct options): New member BACKGROUND.
6490
6491         * main.c (print_help): Rearranged.
6492         (main): New long options for -n* short options: --no-directories,
6493         --no-host-directories, --non-verbose, --no-host-lookup and
6494         --dont-remove-listing.
6495
6496 1998-02-01  Hrvoje Niksic  <hniksic@srce.hr>
6497
6498         * main.c (main): Use log_close().
6499
6500         * log.c: New variable LOGFP.
6501         (vlogmsg): Use it.
6502         (redirect_output): Don't open /dev/null; set LOGFP to stdin
6503         instead.
6504         (log_close): New function.
6505
6506         * options.h (struct options): Removed LFILE.
6507
6508         * log.c (log_enable): Removed.
6509
6510         * main.c (main): Use it.
6511
6512         * log.c (log_init): New function.
6513
6514         * url.c (get_urls_html): Removed needless assignment to BASE.
6515
6516         * host.c (add_hlist): Don't set CMP needlessly.
6517
6518         * utils.c (match_backwards): Ditto.
6519         (in_acclist): Ditto.
6520
6521         * url.c (findurl): Ditto.
6522
6523         * netrc.c (parse_netrc): Ditto.
6524
6525         * log.c (log_dump): Ditto.
6526
6527         * html.c (html_quote_string): Ditto.
6528
6529         * ftp-basic.c (ftp_request): Made static.
6530
6531         * connect.c: Made global variables static.
6532
6533         * url.c (construct): Ditto.
6534
6535         * init.c (init_path): Avoid assignment inside `if'-condition.
6536
6537         * ftp.c: Don't include in.h or winsock.h.
6538
6539         * ftp.c (ftp_loop): Use SZ.
6540
6541         * connect.c (bindport): Cast &addrlen to int *.
6542         (conaddr): Ditto.
6543
6544         * init.c (initialize): Don't use SYSTEM_WGETRC unconditionally.
6545
6546 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
6547
6548         * ftp.c (getftp): Initialize opt.ftp_pass here.
6549         (ftp_retrieve_dirs): Use alloca().
6550
6551         * init.c (defaults): Don't initialize opt.ftp_pass.
6552
6553         * sysdep.h (S_ISLNK): Declare for OS/2; ditto for lstat.
6554         From Ivan F. Martinez <ivanfm@ecodigit.com.br>.
6555
6556 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
6557
6558         * recur.c (parse_robots): Check for comments more correctly.
6559
6560         * host.c (ftp_getaddress): Use STRDUP_ALLOCA.
6561         (ftp_getaddress): Add diagnostics when reverse-lookup yields only
6562         hostname.
6563
6564 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
6565
6566         * version.c: Wget 1.5-b2 is released.
6567
6568         * netrc.c (NETRC_FILE_NAME): Moved from netrc.h.
6569
6570         * utils.c (proclist): Pass FNM_PATHNAME to fnmatch().
6571
6572         * ftp-basic.c (ftp_pasv): Avoid unnecessary casting to unsigned
6573         char.
6574
6575         * log.c: Don't attempt to hide arguments from ansi2knr.
6576
6577         * cmpt.c: Synched strptime() and mktime() with glibc-2.0.6.
6578
6579         * ansi2knr.c: Use a later version, from fileutils-3.16l alpha.
6580
6581         * ftp.c (getftp): Ditto.
6582
6583         * http.c (gethttp): Use it.
6584
6585         * retr.c (get_contents): New argument EXPECTED; pass it to
6586         show_progress().
6587         (show_progress): New argument EXPECTED; use it to display
6588         percentages.
6589
6590         * init.c (setval): Ditto.
6591
6592         * http.c (gethttp): Ditto.
6593         (http_loop): Ditto.
6594
6595         * ftp.c (getftp): Ditto.
6596         (ftp_loop_internal): Ditto.
6597
6598         * ftp-ls.c (ftp_parse_unix_ls): Use abort() instead of assert(0).
6599
6600         * sysdep.h (CLOSE): Simplify; use DEBUGP.
6601
6602         * netrc.c (search_netrc): Use alloca().
6603
6604         * init.c (defaults): Initialize no_flush.
6605
6606         * log.c (vlogmsg): Don't flush if no_flush.
6607
6608         * options.h (struct options): New variable no_flush.
6609
6610         * main.c (main): Don't play games with buffering.
6611
6612         * log.c (vlogmsg): Flush the output after every message.
6613
6614 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
6615
6616         * init.c (parse_line): Ditto.
6617
6618         * url.c (get_urls_html): Ditto.
6619
6620         * main.c (main): Don't cast to unsigned char.
6621
6622         * init.c (run_wgetrc): Don't cast to unsigned char.
6623         (parse_line): Accept char instead of unsigned char.
6624
6625         * html.c (htmlfindurl): Use char instead of unsigned char.
6626
6627         * all: Use them.
6628
6629         * sysdep.h: Add wrappers to ctype macros to make them
6630         eight-bit-clean:
6631
6632 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
6633
6634         * html.c (htmlfindurl): Download <img lowsrc=...>
6635
6636         * main.c (main): Ignore SIGPIPE.
6637
6638         * connect.c (select_fd): New argument WRITEP.
6639         (iwrite): Call select_fd().
6640
6641 1997-02-27  Fila Kolodny <fila@ibi.com>
6642
6643         * ftp.c (ftp_retrieve_list): If retrieving symlink and the proper
6644         one already exists, just skip it.
6645
6646 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
6647
6648         * http.c (gethttp): Cosmetic changes.
6649
6650         * http.c (check_end): Allow `+D...' instead of `GMT'.
6651         From Fabrizio Pollastri <pollastri@cstv.to.cnr.it>.
6652
6653         * url.c (process_ftp_type): New function.
6654         (parseurl): Use it.
6655
6656         * connect.c (iwrite): Allow writing in a few chunks.
6657         (bindport): Made SRV static, so addr can point to it.
6658         (select_fd): Removed HPUX kludge.
6659
6660         * host.c (free_hlist): Incorporated into clean_hosts().
6661
6662 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
6663
6664         * host.c (hlist): Made static.
6665         (search_address): Cosmetic change.
6666
6667 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
6668
6669         * version.c: Wget v1.5-b1 is released.
6670
6671         * http.c (hgetlen): Use sizeof() to get the header length.
6672         (hgetrange): Ditto.
6673         (hgettype): Ditto.
6674         (hgetlocation): Ditto.
6675         (hgetmodified): Ditto.
6676         (haccepts_none): Ditto.
6677
6678         * main.c (main): Updated `--version' and `--help' output, as per
6679         Francois Pinard's suggestions.
6680
6681         * main.c: Include locale.h; call setlocale(), bindtextdomain() and
6682         textdomain().
6683
6684         * config.h.in: Define stubs for I18N3.
6685
6686         * wget.h: Include libintl.h.
6687
6688 1998-01-28  Hrvoje Niksic  <hniksic@srce.hr>
6689
6690         * url.c (mkstruct): Check for opt.cut_dirs.
6691         (mkstruct): alloca()-te more, xmalloc() less.
6692
6693         * utils.c (load_file): Check for ferror().
6694
6695         * url.c (get_urls_file): Close only the files we opened.
6696         (get_urls_html): Ditto.
6697         (count_slashes): New function.
6698
6699         * http.h: Removed.
6700
6701         * http.c (gethttp): Respect username and password provided by
6702         proxy URL.
6703         (base64_encode_line): Write into an existing buffer instead of
6704         malloc-ing a new one.
6705         (struct http_stat): Moved from http.h
6706
6707         * retr.c (retrieve_url): Free SUF.
6708
6709         * all: Removed lots of unnecessary .h dependencies.
6710
6711         * html.c (global_state): Made static.
6712
6713         * utils.h (ALLOCA_ARRAY): New macro.
6714
6715         * main.c (main): New option `--cut-dirs'.
6716
6717         * url.c (construct): Use alloca() for T.
6718
6719         * utils.c (mkdirhier): Use STRDUP_ALLOCA.
6720
6721         * host.c (_host_t): Moved from host.h.
6722         (struct host): Renamed from _host_t.
6723         (store_hostaddress): Use STRDUP_ALLOCA for INET_S.
6724         (realhost): Ditto.
6725
6726         * host.h: Don't include url.h.
6727
6728         * ftp.c (LIST_FILENAME): Moved from ftp.h.
6729
6730         * init.c (DEFAULT_FTP_ACCT): Moved from ftp.h.
6731
6732         * main.c (main): Enable log if the output goes to a TTY.
6733
6734         * connect.h: Removed unused constant `BACKLOG'.
6735
6736         * config.h.in: Check for isatty().
6737
6738         * Makefile.in (LINK): Use CFLAGS when linking.
6739
6740 1998-01-27  Hrvoje Niksic  <hniksic@srce.hr>
6741
6742         * mswindows.c (ws_hangup): Use redirect_output().
6743
6744         * main.c (redirect_output_signal): New function; use
6745         redirect_output().
6746
6747         * log.c (redirect_output): New function, based on hangup(), which
6748         is deleted.
6749
6750         * log.c (vlogmsg): New function.
6751
6752         * wget.h (DEBUGP): Use debug_logmsg().
6753
6754         * main.c (hangup): Use it.
6755
6756         * log.c (log_dump): New function.
6757
6758         * utils.h (DO_REALLOC): Use `long' for various sizes.
6759
6760         * http.c (hskip_lws): Use `while', for clarity.
6761         (HTTP_DYNAMIC_LINE_BUFFER): New constant.
6762         (fetch_next_header): Use it instead of DYNAMIC_LINE_BUFFER.
6763
6764         * ftp-basic.c (FTP_DYNAMIC_LINE_BUFFER): New constant.
6765         (ftp_response): Use it instead of DYNAMIC_LINE_BUFFER.
6766
6767         * utils.c (DYNAMIC_LINE_BUFFER): Moved from utils.c.
6768         (LEGIBLE_SEPARATOR): Ditto.
6769         (FILE_BUFFER_SIZE): Ditto.
6770
6771         * retr.c (BUFFER_SIZE): Moved from retr.h.
6772
6773         * log.c: New file.
6774         (logmsg): Moved from utils.c.
6775         (debug_logmsg): New function.
6776
6777         * mswindows.h: Include it here.
6778
6779         * init.c: Ditto.
6780
6781         * utils.c: Don't include <windows.h>.
6782
6783 1998-01-25  Hrvoje Niksic  <hniksic@srce.hr>
6784
6785         * host.c (ftp_getaddress): Ditto.
6786
6787         * main.c (main): Use it.
6788
6789         * utils.h (STRDUP_ALLOCA): New macro.
6790
6791         * init.c: Prepend `wget: ' to error messages printed on stderr.
6792
6793         * utils.c (mkdirhier): Renamed from mymkdir.
6794         (touch): Renamed from my_touch.
6795         (pwd_cuserid): Renamed from my_cuserid().
6796
6797 1998-01-24  Andy Eskilsson  <andy.eskilsson@telelogic.se>
6798
6799         * utils.c (accdir): Process wildcards.
6800         (proclist): New function.
6801         (accdir): Use it to avoid code repetition.
6802
6803 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
6804
6805         * recur.c (parse_robots): Respect opt.useragent; use alloca().
6806
6807         * http.c (gethttp): Construct useragent accordingly.
6808
6809         * version.c: Changed version string to numbers-only.
6810
6811         * main.c (print_help): List all the options.
6812
6813         * mswindows.c (windows_main_junk): Initialize argv0 here.
6814
6815 1998-01-24  Karl Heuer  <kwzh@gnu.org>
6816
6817         * netrc.c (search_netrc): Initialize `l' only after processing
6818         netrc.
6819
6820         * main.c (main): Don't trap SIGHUP if it's being ignored.
6821
6822 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
6823
6824         * all: Use logmsg().
6825
6826         * utils.c (time_str): Moved from retr.c.
6827         (logmsg): New function.
6828         (logmsg_noflush): Ditto.
6829
6830         * rbuf.c: New file, moved buf_* functions here.
6831
6832         * ftp.c (ftp_expected_bytes): Moved from ftp-basic.c.
6833
6834         * ftp-basic.c (ftp_rest): Use prnum().
6835
6836         * ftp-basic.c: Ditto.
6837
6838         * ftp.c: Use the new reading functions and macros.
6839
6840         * retr.c (buf_initialize): New function.
6841         (buf_initialized_p): Ditto.
6842         (buf_uninitialize): Ditto.
6843         (buf_fd): Ditto.
6844
6845         * http.c (fetch_next_header): Use the BUF_READCHAR macro for
6846         efficiency.
6847         (gethttp): Use alloca() where appropriate.
6848
6849         * retr.c (buf_readchar): Use it.
6850         (buf_peek): Use rstreams.
6851
6852         * retr.h (BUF_READCHAR): New macro.
6853
6854         * init.c (home_dir): Rewritten for clarity.
6855         (init_path): Ditto.
6856
6857         * mswindows.c (ws_backgnd): Made static.
6858         (read_registry): Ditto.
6859         (ws_cleanup): Ditto.
6860         (ws_handler): Ditto.
6861
6862 1998-01-23  Hrvoje Niksic  <hniksic@srce.hr>
6863
6864         * alloca.c: New file.
6865
6866         * Makefile.in (ALLOCA): Define.
6867
6868         * mswindows.c (ws_help): Constify.
6869         (ws_help): Use alloca.
6870
6871         * mswindows.c: Reformat.
6872
6873         * all: Added _(...) annotations for I18N snarfing and translation.
6874
6875         * host.c (ftp_getaddress): Nuke SYSINFO.
6876         (ftp_getaddress): Don't use getdomainname().
6877         (ftp_getaddress): Use uname(), where available.
6878
6879         * http.c (gethttp): Protect a stray fprintf().
6880
6881         * init.c (settime): New function.
6882         (setval): Treat WAIT specially, allowing suffixes like `m' for
6883         minutes, etc.
6884
6885 1998-01-21  Hrvoje Niksic  <hniksic@srce.hr>
6886
6887         * url.c (get_urls_html): Use alloca() for TEMP.
6888
6889 1998-01-21  Jordan Mendelson  <jordy@wserv.com>
6890
6891         * url.c (rotate_backups): New function.
6892
6893         * http.c (gethttp): Ditto.
6894
6895         * ftp.c (getftp): Rotate backups.
6896
6897 1997-12-18  Hrvoje Niksic  <hniksic@srce.hr>
6898
6899         * all: Renamed nmalloc(), nrealloc() and nstrdup() to xmalloc(),
6900         xrealloc() and xstrdup().  Use the new functions.
6901
6902         * url.c (decode_string): Made static.
6903         (has_proto): Ditto.
6904         (parse_dir): Ditto.
6905         (parse_uname): Ditto.
6906         (mkstruct): Ditto.
6907         (construct): Ditto.
6908         (construct_relative): Ditto.
6909
6910         * retr.c (show_progress): Made static.
6911
6912         * recur.c (robots_url): Made static.
6913         (retrieve_robots): Ditto.
6914         (parse_robots): Ditto.
6915         (robots_match): Ditto.
6916
6917         * main.h: Removed.
6918
6919         * main.c (printhelp): Made static.
6920         (hangup): Ditto.
6921
6922         * init.c (comind): Made static.
6923         (defaults): Ditto.
6924         (init_path): Ditto.
6925         (run_wgetrc): Ditto.
6926         (onoff): Ditto.
6927         (setonoff): Ditto.
6928         (setnum): Ditto.
6929         (myatoi): Ditto.
6930         (getperms): Ditto.
6931         (setbytes): Ditto.
6932
6933         * http.c (fetch_next_header): Made static.
6934         (hparsestatline): Ditto.
6935         (hskip_lws): Ditto.
6936         (hgetlen): Ditto.
6937         (hgetrange): Ditto.
6938         (hgettype): Ditto.
6939         (hgetlocation): Ditto.
6940         (hgetmodified): Ditto.
6941         (haccepts_none): Ditto.
6942         (gethttp): Ditto.
6943         (base64_encode_line): Ditto.
6944         (mktime_from_utc): Ditto.
6945         (http_atotm): Ditto.
6946
6947         * html.c (idmatch): Made static.
6948
6949         * host.c (search_host): Made static.
6950         (search_address): Ditto.
6951         (free_hlist): Ditto.
6952
6953         * ftp.c (getftp): Made static.
6954         (ftp_loop_internal): Ditto.
6955         (ftp_get_listing): Ditto.
6956         (ftp_retrieve_list): Ditto.
6957         (ftp_retrieve_dirs): Ditto.
6958         (ftp_retrieve_glob): Ditto.
6959         (freefileinfo): Ditto.
6960         (delelement): Ditto.
6961
6962         * ftp-ls.c (symperms): Made static.
6963         (ftp_parse_unix_ls): Ditto.
6964
6965         * connect.c (select_fd): Made static.
6966
6967         * utils.c (xmalloc): Renamed from nmalloc.
6968         (xrealloc): Renamed from nrealloc.
6969         (xstrdup): Renamed from nstrdup.
6970
6971         * getopt.c (exchange): Use alloca.
6972
6973         * mswindows.c (mycuserid): Use strncpy.
6974
6975         * New files mswindows.c, mswindows.h, sysdep.h.  winjunk.c,
6976         systhings.h, windecl.h and winjunk.h removed.
6977
6978         * mswindows.c (sleep): New function.
6979
6980         * utils.c: Include <windows.h> under Windows.
6981
6982 1997-06-12  Darko Budor  <dbudor@zesoi.fer.hr>
6983
6984         * url.h (URL_UNSAFE): Change default under Windows.
6985
6986         * retr.c (retrieve_from_file): Respect opt.delete_after.
6987
6988         * main.c (main): Call ws_help on Windows.
6989
6990         * winjunk.c (windows_main_junk): New function.
6991
6992         * main.c (main): Junk-process argv[0].
6993
6994         * http.c (mktime_from_utc): Return -1 if mktime failed.
6995
6996         * http.c (http_loop): Ditto.
6997
6998         * ftp.c (ftp_loop_internal): Change title on Windows when using a
6999         new URL.
7000
7001         * winjunk.c (getdomainname): Lots of functions.
7002
7003 1997-06-12  Hrvoje Niksic  <hniksic@srce.hr>
7004
7005         * cmpt.c (strptime_internal): Handle years more correctly for
7006         `%y'.
7007
7008 1997-06-09  Mike Thomas <mthomas@reality.ctron.com>
7009
7010         * http.c (gethttp): Allocate enough space for
7011         `Proxy-Authorization' header.
7012
7013 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
7014
7015         * version.c: Wget/1.4.5 is released.
7016
7017 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
7018
7019         * retr.c (get_contents): Check return value of fwrite more
7020         carefully.
7021
7022 1997-03-30  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
7023
7024         * cmpt.c (strptime_internal) [case 'Y']: Always subtract 1900 from
7025         year, regardless of century.
7026
7027 1997-03-30  Hrvoje Niksic  <hniksic@srce.hr>
7028
7029         * utils.c (isfile): Use `lstat' instead of `stat'.
7030
7031 1997-03-29  Hrvoje Niksic  <hniksic@srce.hr>
7032
7033         * utils.c (numdigit): Use explicit test.
7034
7035 1997-03-21  Hrvoje Niksic  <hniksic@srce.hr>
7036
7037         * http.c (http_loop): Always use `url_filename' to get u->local.
7038
7039 1997-03-20  Hrvoje Niksic  <hniksic@srce.hr>
7040
7041         * url.c: Recognize https.
7042
7043 1997-03-13  Hrvoje Niksic  <hniksic@srce.hr>
7044
7045         * recur.c (recursive_retrieve): Lowercase just the host name.
7046
7047 1997-03-09  Hrvoje Niksic  <hniksic@srce.hr>
7048
7049         * url.c (get_urls_file): Use the correct test.
7050         (get_urls_html): Ditto.
7051
7052 1997-03-07  Hrvoje Niksic  <hniksic@srce.hr>
7053
7054         * connect.c: Reverted addrlen to int.
7055
7056         * init.c (parse_line): Check for -1 instead of NONE.
7057
7058         * version.c: Changed version to 1.4.5.
7059
7060 1997-02-17  Hrvoje Niksic  <hniksic@srce.hr>
7061
7062         * init.c: New option netrc.
7063         (initialize): Don't parse .netrc.
7064
7065         * cmpt.c (recursive): Return rp.
7066         (strptime_internal): Match the long strings first, the abbreviated
7067         second.
7068
7069 1997-02-16  Hrvoje Niksic  <hniksic@srce.hr>
7070
7071         * http.c (check_end): New function.
7072         (http_atotm): Use it.
7073
7074 1997-02-13  gilles Cedoc  <gilles@cedocar.fr>
7075
7076         * http.c (gethttp): Use them.
7077
7078         * init.c: New options proxy_user and proxy_passwd.
7079
7080 1997-02-14  Hrvoje Niksic  <hniksic@srce.hr>
7081
7082         * ftp.c (ftp_retrieve_list): Create links even if not relative.
7083
7084 1997-02-10  Hrvoje Niksic  <hniksic@srce.hr>
7085
7086         * recur.c (recursive_retrieve): Lowercase the host name, if the
7087         URL is not "optimized".
7088
7089         * host.c (realhost): Return l->hostname, even if it matches with
7090         host.
7091
7092 1997-02-10  Marin Purgar  <pmc@asgard.hr>
7093
7094         * connect.c: Make addrlen size_t instead of int.
7095         (conaddr): Ditto.
7096
7097 1997-02-09  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
7098
7099         * systhings.h: Define S_ISLNK on NeXT too.
7100
7101 1997-02-09  Hrvoje Niksic  <hniksic@srce.hr>
7102
7103         * version.c: Released 1.4.3.
7104
7105         * url.c: Futher update to list of protostrings.
7106         (skip_proto): Skip `//' correctly for FTP and HTTP.
7107
7108         * url.c (get_urls_html): Handle bogus `http:' things a little
7109         different.
7110
7111         * main.c (main): Removed `follow-ftp' from `f'.
7112         (main): Dumped the `prefix-files' and `file-prefix' options and
7113         features; old and bogus.
7114         (main): Exit on failed setval() in `-e'.
7115
7116         * http.c (fetch_next_header): Use it to detect header continuation
7117         correctly.
7118
7119         * retr.c (buf_peek): New function.
7120
7121 1997-02-08  Hrvoje Niksic  <hniksic@srce.hr>
7122
7123         * wget.h: Include time.h and stuff.
7124
7125 1997-02-08  Roger Beeman  <beeman@cisco.com>
7126
7127         * ftp.c: Include <time.h>
7128
7129 1997-02-07  Hrvoje Niksic  <hniksic@srce.hr>
7130
7131         * url.c (findurl): Would read over buffer limits.
7132
7133 1997-02-06  Hrvoje Niksic  <hniksic@srce.hr>
7134
7135         * ftp-ls.c (ftp_parse_unix_ls): Allow spaces in file names.
7136
7137 1997-02-05  Hrvoje Niksic  <hniksic@srce.hr>
7138
7139         * http.c (http_atotm): Initialize tm.is_dst.
7140
7141 1997-02-02  Hrvoje Niksic  <hniksic@srce.hr>
7142
7143         * http.c (gethttp): Don't print the number of retrieved headers.
7144
7145         * main.c (main): New option `--no-clobber', alias for `-nc'.
7146
7147         * url.c: Recognize `https://'.
7148
7149 1997-02-01  Hrvoje Niksic  <hniksic@srce.hr>
7150
7151         * host.c (herrmsg): Don't use h_errno.
7152
7153 1997-01-30  Hrvoje Niksic  <hniksic@srce.hr>
7154
7155         * host.c (accept_domain): Use it.
7156
7157         * main.c (main): New option `--exclude-domains'.
7158
7159         * retr.c (retrieve_url): Use it.
7160         (retrieve_url): Bail out when an URL is redirecting to itself.
7161
7162         * url.c (url_equal): New function.
7163
7164 1997-01-29  Hrvoje Niksic  <hniksic@srce.hr>
7165
7166         * connect.c: Include arpa/inet.h instead of arpa/nameser.h.
7167
7168         * http.c (mk_utc_time): New function.
7169         (http_atotm): Use it; handle time zones correctly.
7170
7171 1997-01-28  Hrvoje Niksic  <hniksic@srce.hr>
7172
7173         * http.c: Ditto.
7174
7175         * ftp-basic.c: Use it instead of WRITE.
7176
7177         * connect.c (iwrite): New function.
7178
7179 1997-01-27  Hrvoje Niksic  <hniksic@srce.hr>
7180
7181         * cmpt.c (mktime): New function.
7182
7183         * netrc.c: Include <sys/types.h>.
7184
7185         * main.c (main): Wouldn't recognize --spider.
7186
7187         * retr.c (rate): Use `B', `KB' and `MB'.
7188         (reset_timer,elapsed_time): Moved from utils.c.
7189
7190         * ftp.c (ftp_retrieve_list): Ditto.
7191
7192         * http.c (http_loop): Don't touch the file if opt.dfp.
7193
7194 1997-01-24  Hrvoje Niksic  <hniksic@srce.hr>
7195
7196         * cmpt.c: New file.
7197
7198         * ftp.c (ftp_retrieve_glob): New argument semantics.
7199         (ftp_retrieve_dirs): Use it.
7200         (ftp_loop): Ditto.
7201
7202         * html.c (htmlfindurl): Recognize `'' as the quote char.
7203
7204 1997-01-23  Hrvoje Niksic  <hniksic@srce.hr>
7205
7206         * ftp.c (ftp_loop_internal): Use it.
7207
7208         * utils.c (remove_link): New function.
7209
7210 1997-01-22  Hrvoje Niksic  <hniksic@srce.hr>
7211
7212         * retr.c (retrieve_url): Require STRICT redirection URL.
7213
7214         * url.c (parseurl): New argument STRICT.
7215
7216         * http.c (hparsestatline): Be a little-bit less strict about
7217         status line format.
7218
7219 1997-01-21  Hrvoje Niksic  <hniksic@srce.hr>
7220
7221         * http.c (gethttp): Use it.
7222
7223         * main.c (main): Don't use '<digit>' as options.
7224
7225         * init.c: New option ignore_length.
7226
7227         * http.c (gethttp): Ditto.
7228         (http_loop): Check for redirection without Location:.
7229         (gethttp): Don't print Length unless RETROKF.
7230
7231         * ftp.c (getftp): Use it.
7232
7233         * url.c (mkalldirs): New function.
7234
7235         * utils.c (mymkdir): Don't check for existing non-directory.
7236
7237         * url.c (mkstruct): Don't create the directory.
7238
7239 1997-01-20  Hrvoje Niksic  <hniksic@srce.hr>
7240
7241         * init.c (setval): Removed NO_RECURSION checks.
7242
7243 1997-01-19  Hrvoje Niksic  <hniksic@srce.hr>
7244
7245         * version.c: "Released" 1.4.3-pre2.
7246
7247         * recur.c (recursive_retrieve): Bypass host checking only if URL
7248         is ftp AND parent URL is not ftp.
7249
7250         * ftp-basic.c (ftp_request): Print out Turtle Power.
7251
7252         * ftp.c (ftp_loop): Call ftp_retrieve_glob with 0 if there's no
7253         wildcard.
7254         (ftp_retrieve_glob): Call ftp_loop_internal even on empty list, if
7255         not glob.
7256
7257         * http.c (gethttp): Be a little bit smarter about status codes.
7258
7259         * recur.c (recursive_retrieve): Always reset opt.recursive when
7260         dealing with FTP.
7261
7262 1997-01-18  Hrvoje Niksic  <hniksic@srce.hr>
7263
7264         * retr.c (retrieve_url): New variable location_changed; use it for
7265         tests instead of mynewloc.
7266         (retrieve_url): Allow heuristic adding of html.
7267
7268         * url.c (url_filename): Don't use the `%' in Windows file names.
7269
7270         * http.c (http_loop): Always time-stamp the local file.
7271
7272         * http.c (http_loop): Ditto.
7273
7274         * ftp.c (ftp_retrieve_list): Use it.
7275
7276         * utils.c (my_touch): New function.
7277
7278         * ftp.c (ftp_retrieve_list): Use #ifdef HAVE_STRUCT_UTIMBUF
7279         instead of #ifndef NeXT.
7280
7281         * utils.c (strptime): New version, by Ulrich Drepper.
7282
7283 1997-01-17  Hrvoje Niksic  <hniksic@srce.hr>
7284
7285         * http.c (haccepts_none): Renamed from `haccepts_bytes'.
7286         (gethttp): If haccepts_none(), disable ACCEPTRANGES.
7287         (http_loop): Would remove ACCEPTRANGES.
7288
7289         * ftp.c (getftp): Call ftp_list with NULL.
7290
7291 1997-01-15  Hrvoje Niksic  <hniksic@srce.hr>
7292
7293         * html.c (ftp_index): Don't print minutes and seconds if we don't
7294         know them; beautify the output.
7295
7296         * ftp.c (getftp): Don't close the socket on FTPNSFOD.
7297
7298 1997-01-14  Hrvoje Niksic  <hniksic@srce.hr>
7299
7300         * utils.c (strptime): New function.
7301         (strptime): Don't use get_alt_number.
7302         (strptime): Don't use locale.
7303         (match_string): Made it a function.
7304
7305 1997-01-12  Hrvoje Niksic  <hniksic@srce.hr>
7306
7307         * http.c (http_atotm): New function.
7308         (http_loop): Use it.
7309
7310         * atotm.c: Removed from the distribution.
7311
7312         * http.c (base64_encode_line): Rewrite.
7313
7314 1997-01-09  Hrvoje Niksic  <hniksic@srce.hr>
7315
7316         * ftp.c (getftp): Use ftp_expected_bytes; print size.
7317
7318         * ftp-basic.c (ftp_response): Use ftp_last_respline.
7319         (ftp_expected_bytes): New function.
7320
7321         * ftp.c (getftp): Print the unauthoritative file length.
7322
7323         * ftp-ls.c: Renamed from ftp-unix.c.
7324         (ftp_parse_ls): Moved from ftp.c.
7325         (ftp_parse_unix_ls): Recognize seconds in time spec.
7326         (ftp_parse_unix_ls): Recognize year-less dates of the previous
7327         year.
7328
7329 1997-01-08  Hrvoje Niksic  <hniksic@srce.hr>
7330
7331         * ftp-basic.c: Don't declare errno if #defined.
7332
7333         * host.c (ftp_getaddress): Check for sysinfo legally.
7334
7335 1997-01-08  Darko Budor  <dbudor@diana.zems.fer.hr>
7336
7337         * connect.c (iread): Use READ.
7338
7339 1996-12-23  Hrvoje Niksic  <hniksic@srce.hr>
7340
7341         * url.c: Recognize finger, rlogin, tn3270, mid and cid as valid
7342         schemes.
7343
7344 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
7345
7346         * host.c (ftp_getaddress): Allow `.' in hostname.
7347
7348 1996-12-26  Darko Budor <dbudor@zems.fer.hr>
7349
7350         * wget.h: READ and WRITE macros for use instead of read and write
7351         on sockets, grep READ *.c, grep WRITE *.c
7352
7353         * wsstartup.c: new file - startup for winsock
7354
7355         * wsstartup.h: new file
7356
7357         * win32decl.h: new file - fixup for <errno.h> and winsock trouble
7358
7359         * configure.bat: Configure utility for MSVC
7360
7361         * src/Makefile.ms,config.h.ms: new files for use with MSVC 4.x
7362
7363 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
7364
7365         * version.c: Released 1.4.3-pre.
7366
7367         * utils.c (prnum): Accept long.
7368         (legible): Use prnum().
7369
7370         * connect.c (make_connection): Accept port as short.
7371         (bindport): Ditto.
7372
7373         * http.c (gethttp): Use search_netrc.
7374
7375 1996-12-21  Hrvoje Niksic  <hniksic@srce.hr>
7376
7377         * ftp.c (getftp): Use search_netrc.
7378
7379         * netrc.c (free_netrc): New function.
7380
7381         * init.c (home_dir): New function.
7382
7383         * url.c (convert_links): Allow REL2ABS changes.
7384
7385 1996-12-21  Gordon Matzigkeit  <gord@gnu.ai.mit.edu>
7386
7387         * netrc.c: New file.
7388         (parse_netrc, maybe_add_to_list): New functions.
7389
7390 1996-12-17  Hrvoje Niksic  <hniksic@srce.hr>
7391
7392         * retr.c (retrieve_url): Reset opt.recursion before calling
7393         ftp_loop if it is reached through newloc.
7394
7395         * init.c (run_wgetrc): Print the wgetrc path too, when reporting
7396         error; don't use "Syntax error", since we don't know if it is
7397         really a syntax error.
7398
7399 1996-12-16  Hrvoje Niksic  <hniksic@srce.hr>
7400
7401         * utils.c (acceptable): Extract the filename part of the path.
7402
7403         * recur.c (recursive_retrieve): Call acceptable() with the right
7404         argument; would bug out on wildcards.
7405
7406         * init.c (parse_line): Likewise.
7407
7408         * html.c (htmlfindurl): Cast to char * when calling stuff.
7409
7410 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
7411
7412         * ftp.c (getftp): Use ftp_pasv.
7413
7414         * ftp-basic.c (ftp_request): Accept NULL value.
7415         (ftp_pasv): New function.
7416
7417         * options.h (struct options): Add passive FTP option.
7418
7419 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
7420
7421         * url.c (parseurl): Debug output.
7422
7423         * utils.c (path_simplify): New one, adapted from bash's
7424         canonicalize_pathname().
7425
7426 1996-12-14  Hrvoje Niksic  <hniksic@srce.hr>
7427
7428         * ftp.c (getftp): Don't discard the buffer.
7429
7430         * retr.c (get_contents): New parameter nobuf.
7431
7432 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
7433
7434         * html.c (htmlfindurl): Recognize <meta contents="d; URL=...".
7435
7436         * init.c (setval): Strip the trailing slashes on CVECDIR.
7437
7438 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
7439
7440         * init.c: Make excludes and includes under CVECDIR instead of
7441         CVEC.
7442
7443 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
7444
7445         * url.c (get_urls_html): Skip "http:".
7446
7447 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
7448
7449         * utils.c (strcasecmp): From glibc.
7450         (strncasecmp): Also.
7451         (strstr): Also.
7452
7453         * url.c: Added javascript: to the list of URLs prefixes.
7454
7455 1996-12-12  Shawn McHorse  <riffraff@txdirect.net>
7456
7457         * recur.c (retrieve_robots): Print the warning message only if
7458         verbose.
7459
7460 1996-12-12  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
7461
7462         * ftp.c (ftp_retrieve_list): Use NeXT old utime interface.
7463
7464 1996-12-12  Hrvoje Niksic  <hniksic@srce.hr>
7465
7466         * systhings.h: New file.
7467
7468         * ../configure.in: Check for utime.h
7469
7470         * ftp.c: Check whether we have unistd.h.
7471
7472 1996-11-27  Hrvoje Niksic  <hniksic@srce.hr>
7473
7474         * recur.c (recursive_retrieve): Send the canonical URL as referer.
7475         (recursive_retrieve): Call get_urls_html with the canonical URL.
7476
7477 1996-12-13  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
7478
7479         * (configure.in, config.h.in, src/Makefile.in, src/*.[ch]): Add
7480         ansi2knr support for compilers which don't support ANSI style
7481         function prototypes and signatures.
7482
7483         * (aclocal.m4, src/ansi2knr.c, src/ansi2knr.1): New files.
7484
7485 1996-11-26  Hrvoje Niksic  <hniksic@srce.hr>
7486
7487         * url.c: Use it; Recognize paths ending with "." and ".." as
7488         directories.
7489         (url_filename): Append .n whenever file exists and could be a
7490         directory.
7491
7492         * url.h (ISDDOT): New macro.
7493
7494         * init.c (parse_line): Use unsigned char.
7495
7496         * url.c (get_urls_html): Cast to unsigned char * when calling
7497         htmlfindurl.
7498
7499         * html.c (htmlfindurl): Use unsigned char.
7500
7501         * version.c: Changed version to 1.4.3.
7502
7503 1996-11-25  Hrvoje Niksic  <hniksic@srce.hr>
7504
7505         * version.c: Released 1.4.2.
7506
7507         * ftp.c (getftp): Simplified assertion.
7508         (ftp_loop_internal): Remove symlink before downloading.
7509         (ftp_retrieve_list): Unlink the symlink name before attempting to
7510         create a symlink!
7511
7512         * options.h (struct options): Renamed print_server_response to
7513         server_response.
7514
7515         * ftp.c (rel_constr): Removed.
7516         (ftp_retrieve_list): Don't use it.
7517         (ftp_retrieve_list): Use opt.retr_symlinks.
7518
7519 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
7520
7521         * main.c (main): New option retr_symlinks.
7522
7523         * url.c (convert_links): Print verbose message.
7524
7525 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
7526
7527         * http.c (http_loop): Reset newloc in the beginning of function;
7528         would cause FMR in retrieve_url.
7529
7530 1996-11-23  Hrvoje Niksic  <hniksic@srce.hr>
7531
7532         * recur.c (convert_all_links): Find the URL of each HTML document,
7533         and feed it to get_urls_html; would bug out.
7534         (convert_all_links): Check for l2 instead of dl; removed dl.
7535
7536         * url.c (convert_links): Don't refer to freed newname.
7537
7538         * recur.c (recursive_retrieve): Add this_url to urls_downloaded.
7539
7540         * main.c (main): Print the OS_TYPE in the debug output, too.
7541
7542         * recur.c (recursive_retrieve): Check for opt.delete_after.
7543
7544         * main.c (main): New option delete-after.
7545
7546         * init.c (setval): Cleaned up.
7547
7548 1996-11-21  Hrvoje Niksic  <hniksic@srce.hr>
7549
7550         * Makefile.in (wget): Make `wget' the default target.
7551
7552         * ftp.c (ftp_loop_internal): Move noclobber checking out of the
7553         loop.
7554         (ftp_retrieve_list): Warn about non-matching sizes.
7555
7556         * http.c (http_loop): Made -nc non-dependent on opt.recursive.
7557
7558         * init.c (setnum): Renamed from setnuminf; New argument flags.
7559         (setval): Use it.
7560
7561         * main.c (main): Sorted the options.
7562         (main): New option --wait.
7563
7564 1996-11-21  Shawn McHorse  <riffraff@txdirect.net>
7565
7566         * html.c (htmlfindurl): Reset s->in_quote after getting out of
7567         quotes.
7568
7569 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
7570
7571         * version.c: Changed version to 1.4.2.
7572
7573 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
7574
7575         * version.c: Released 1.4.1.
7576
7577         * html.c (html_quote_string): New function.
7578         (ftp_index): Use it.
7579         (htmlfindurl): A more gentle ending debug message.
7580
7581         * ftp.c (ftp_loop): Check for opt.htmlify.
7582
7583         * init.c: New command htmlify.
7584
7585         * ftp.c (getftp): Nicer error messages, with `'-encapsulated
7586         strings.
7587         (ftp_loop): Print size of index.html.
7588
7589         * init.c (setval): Implement "styles".
7590
7591         * main.c (main): New option dotstyle.
7592
7593 1996-11-19  Hrvoje Niksic  <hniksic@srce.hr>
7594
7595         * ftp.c (getftp): Close the master socket in case of errors, after
7596         bindport().
7597
7598         * connect.c (bindport): Initialize msock to -1.
7599
7600         * ftp.c (getftp): Initialize dtsock to -1.
7601
7602         * connect.c (closeport): Don't close sock if sock == -1.
7603
7604 1996-11-18  Hrvoje Niksic  <hniksic@srce.hr>
7605
7606         * init.c (setnuminf): Nuked default value -- just leave unchanged.
7607         (setval): Don't send default values.
7608         (defaults): Use DEFAULT_TIMEOUT -- aaargh.
7609
7610         * options.h (struct options): Use long for dot_bytes.
7611
7612         * init.c (setquota): Renamed to setbytes.
7613         (setval): Use setbytes on DOTBYTES.
7614
7615 1996-11-17  Hrvoje Niksic  <hniksic@srce.hr>
7616
7617         * ftp.c (getftp): Initialize con->dltime.
7618
7619         * recur.c (recursive_retrieve): Use same_host instead of
7620         try_robots; simply load robots_txt whenever the host is changed.
7621         (recursive_retrieve): Free forbidden before calling parse_robots.
7622
7623 1996-11-16  Hrvoje Niksic  <hniksic@srce.hr>
7624
7625         * retr.c (show_progress): Use them.
7626
7627         * options.h (struct options): New options dot_bytes, dots_on_line
7628         and dot_spacing.
7629
7630 1996-11-16  Mark Boyns  <boyns@sdsu.edu>
7631
7632         * recur.c (recursive_retrieve): Retrieve directories regardless of
7633         acc/rej rules; check for empty u->file.
7634
7635 1996-11-14  Hrvoje Niksic  <hniksic@srce.hr>
7636
7637         * init.c (setval): Use it.
7638
7639         * utils.c (merge_vecs): New function.
7640
7641         * init.c (setval): Reset the list-type functions when encountering
7642         "".
7643
7644 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
7645
7646         * recur.c (recursive_retrieve): Use base_url instead of this_url
7647         for no_parent.
7648
7649 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
7650
7651         * html.c (htmlfindurl): Reset s->in_quote after exiting the quote.
7652
7653 1996-11-13  Hrvoje Niksic  <hniksic@srce.hr>
7654
7655         * utils.c (sepstring): Rewrote; don't use strtok.
7656
7657         * recur.c (recursive_retrieve): Enter assorted this_url to slist
7658         when running the first time.
7659         (retrieve_robots): Warn to ignore errors when robots are loaded.
7660
7661         * utils.c (load_file): Moved from url.c.
7662
7663         * http.c: Made static variables const too in h* functions.
7664
7665         * main.c (main): Renamed --continue-ftp to --continue.
7666
7667         * recur.c (recursive_retrieve): Use it.
7668
7669         * utils.c (frontcmp): New function.
7670
7671         * url.c (accdir): New function.
7672
7673         * html.c (htmlfindurl): Recognize <area href=...>.
7674
7675         * ftp.c (ftp_retrieve_dirs): Implemented opt.includes.
7676
7677         * init.c (setval): Free the existing opt.excludes and
7678         opt.includes, if available.
7679
7680         * main.c (main): New option -I.
7681
7682 1996-11-12  Hrvoje Niksic  <hniksic@srce.hr>
7683
7684         * ftp.c (ftp_retrieve_glob): Do not weed out directories.
7685
7686         * version.c: Changed version to 1.4.1.
7687
7688 1996-11-11  Hrvoje Niksic  <hniksic@srce.hr>
7689
7690         * version.c: Released 1.4.0.
7691
7692 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
7693
7694         * main.c (main): Free com and val after parse_line.
7695         (printhelp): Reorder the listing.
7696
7697         * http.c: More robust header parsing.
7698
7699         * http.c: Allow any number of spaces, or no spaces, precede ':'.
7700         (hskip_lws): New function.
7701         (haccepts_bytes): New function.
7702         (gethttp): Use it.
7703
7704         * init.c (setval): Check header sanity.
7705         (setval): Allow resetting of headers.
7706
7707 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
7708
7709         * http.c (http_loop): Don't use has_wildcards.
7710
7711         * http.c (gethttp): Free all_headers -- would leak.
7712
7713         * recur.c (recursive_retrieve): Initialize depth to 1 instead of
7714         0 -- this fixes a long-standing bug in -rl.
7715
7716 1996-11-09  Hrvoje Niksic  <hniksic@srce.hr>
7717
7718         * ftp.c: Use -1 as "impossible" value for con->fd.
7719
7720         * url.h (URL_SEPARATOR): Don't treat `*' and `+' as separators.
7721
7722         * init.c (parse_line): Use isalpha.
7723
7724         * ftp-unix.c: Use HAVE_UNISTD_H.
7725
7726         * mtch.c (has_wildcards): Don't match \.
7727
7728         * http.c (http_loop): Warn on HTTP wildcard usage.
7729
7730 1996-11-08  Hrvoje Niksic  <hniksic@srce.hr>
7731
7732         * url.c (url_filename): Do not create numbered suffixes if
7733         opt.noclobber -- would bug out on -nc.
7734
7735 1996-11-07  Hrvoje Niksic  <hniksic@srce.hr>
7736
7737         * recur.c (parse_robots): Don't chuck out the commands without
7738         arguments (`Disallow:<empty>' didn't work).
7739         (parse_robots): Compare versions lowercase.
7740         (parse_robots): Match on base_version, not version_string!
7741         (parse_robots): Handle comments properly.
7742         (parse_robots): Match versions in a sane way.
7743
7744         * init.c: Print nicer error messages.
7745
7746         * version.c: Changed version to 1.4.0.
7747
7748 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
7749
7750         * version.c: Released 1.4.0-test2.
7751
7752         * init.c (run_wgetrc): Close fp.
7753
7754         * ftp.c (ftp_retrieve_dirs): Allocate the correct length for
7755         u->dir.
7756
7757 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
7758
7759         * init.c (setquota): Allow inf as quota specification.
7760
7761 1996-11-05  Hrvoje Niksic  <hniksic@srce.hr>
7762
7763         * ftp.c (ftp_retrieve_dirs): Return QUOTEXC if quota exceeded.
7764         (ftp_retrieve_glob): Return QUOTEXC on quota exceeded.
7765
7766         * main.c (main): Check for quota by comparison with downloaded
7767         stuff, not from status.
7768
7769         * connect.c (select_fd): Should compile on HPUX without warnings now.
7770
7771         * ftp.c (ftp_get_listing): Check whether ftp_loop_internal
7772         returned RETROK.
7773
7774 1996-11-04  Hrvoje Niksic  <hniksic@srce.hr>
7775
7776         * ftp.c (ftp_retrieve_glob): Print the pattern nicely.
7777         (getftp): Return FTPRETRINT on control connection error.
7778
7779         * html.c (htmlfindurl): Recognize <embed src=...> and
7780         <bgsound src=...>.
7781         (ftp_index): Handle username and password correctly.
7782
7783         * main.c (main): Made `-np' a synonim for --no-parent.
7784
7785 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
7786
7787         * ftp.c (ftp_loop): Check for opt.ftp_glob too before calling
7788         ftp_retrieve_glob.
7789
7790         * version.c: Changed version to 1.4.0-test2.
7791
7792 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
7793
7794         * version.c: Released 1.4.0-test1.
7795
7796         * url.c (str_url): Don't use sprintf when creating %2F-prefixed
7797         directory.
7798         (convert_links): Removed definition of make_backup.
7799
7800         * http.h: Removed definition of MAX_ERROR_LENGTH.
7801
7802         * host.c (ftp_getaddress): Check for "(none)" domains.
7803
7804         * ftp.c (ftp_retrieve_dirs): Docfix.
7805
7806         * http.c (gethttp): Use ou->referer instead of u->referer.
7807
7808         * retr.c (retrieve_url): Reset u to avoid freeing pointers twice;
7809         this was known to cause coredumps on Linux.
7810
7811         * html.c (ftp_index): Cast the argument to local_time to time_t *.
7812
7813 1996-11-01  Hrvoje Niksic  <hniksic@srce.hr>
7814
7815         * connect.c (select_fd): Use exceptfds -- once and for all.
7816
7817         * retr.c (retrieve_from_file): Free filename after
7818         recursive_retrieve.
7819         (retrieve_from_file): Send RFIRST_TIME to recursive_retrieve on
7820         first-time retrieval.
7821         (retrieve_from_file): Return uerr_t; new argument, count.
7822         (retrieve_from_file): Break on QUOTEXC.
7823
7824         * init.c (setquota): Fixed a bug that caused rejection of
7825         non-postfixed values..
7826
7827 1996-10-30  Hrvoje Niksic  <hniksic@srce.hr>
7828
7829         * version.c: Changed name to wget.
7830
7831         * connect.c (iread): Smarter use of select.
7832         (select_fd): Set errno on timeout.  If not timeout, return 1
7833         instead of 0.
7834
7835 1996-10-29  Hrvoje Niksic  <hniksic@srce.hr>
7836
7837         * ftp.c (ftp_loop_internal): Don't use con->cmd before
7838         establishing it.
7839
7840 1996-10-26  Hrvoje Niksic  <hniksic@srce.hr>
7841
7842         * http.c (gethttp): Send correct referer when using proxy.
7843         (gethttp): Use struct urlinfo ou to access the relevant data; send
7844         correct authorization in all cases.
7845
7846         * host.c (same_host): Use skip_uname to skip username and
7847         password.
7848
7849         * url.c (skip_uname): New function.
7850         (parseurl): Use it.
7851
7852         * host.c (same_host): Do not assume HTTP -- same_host should now
7853         be totally foolproof.
7854
7855         * url.c (skip_proto): New function.
7856         (parse_uname): Use it.
7857
7858         * http.c (gethttp): Create local user and passwd from what is
7859         given.
7860
7861         * url.c (parseurl): Check for HTTP username and password too.
7862
7863 1996-10-25  Hrvoje Niksic  <hniksic@srce.hr>
7864
7865         * config.h.in: Removed #define gethostbyname R...
7866
7867 1996-10-22  Hrvoje Niksic  <hniksic@srce.hr>
7868
7869         * version.c: Changed version to 1.4.0-test1.
7870
7871 1996-10-21  Hrvoje Niksic  <hniksic@srce.hr>
7872
7873         * version.c: "Released" 1.4b29.
7874
7875         * recur.c (recursive_retrieve): Check for no_parent.
7876
7877         * init.c (setval): Option update.
7878
7879         * main.c (main): New option no-parent.
7880
7881         * options.h (struct options): New variable no_parent.
7882
7883         * recur.c (recursive_retrieve): Only files are checked for
7884         opt.accepts and opt.rejects.
7885         (recursive_retrieve): Check directories for opt.excludes.
7886         (recursive_retrieve): Make the dir absolute when checking
7887         opt.excludes.
7888
7889         * html.c (htmlfindurl): Recognize <applet code=...> and <script
7890         src=...>
7891
7892 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
7893
7894         * ftp.c (getftp): Do not line-break assert entries at all.
7895         (ftp_retrieve_dirs): docfix.
7896
7897         * connect.c (select_fd): Use fd + 1 as nfds.
7898
7899         * version.c: Changed version to 1.4b29.
7900
7901 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
7902
7903         * version.c: "Released" 1.4b28.
7904
7905         * ftp.c (ftp_loop_internal): Check whether f->size == len and
7906         don't continue the loop if it is.
7907         (ftp_get_listing): Remove list_filename on unsuccesful loop.
7908
7909 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
7910
7911         * ftp.c (ftp_loop_internal): Use strcpy to initialize tmp.
7912         (getftp): Do not use multiline assert.
7913
7914         * http.c (hparsestatline): Use mjr and mnr instead of major and
7915         minor, which don't compile on Ultrix.
7916         (http_loop): Use strcpy() to initialize tmp.
7917
7918         * all: Geturl -> Fetch
7919
7920 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
7921
7922         * recur.c (parse_robots): Fixed an off-by-one bug when looking for
7923         ':'.
7924
7925         * html.c (htmlfindurl): Fixed several possible off-by-one bugs by
7926         moving `bufsize &&' to the beginning of each check in for-loops.
7927
7928         * recur.c (parse_robots): Close fp on exit.
7929
7930         * url.c (mymkdir): Check for each directory before creating.
7931
7932 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
7933
7934         * version.c: Changed version to 1.4b28.
7935
7936 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
7937
7938         * version.c: "Released" 1.4b27.
7939
7940         * init.c (parse_line): Use isspace.
7941         (parse_line): Free *com on all errors.
7942
7943         * ftp.c (ftp_loop): Change FTPOK to RETROK before exiting.
7944         (delelement): Use next instead of f->next and prev instead of
7945         f->prev.
7946         (delelement): Free the members of the deleted element.
7947
7948         * http.c (http_loop): Do not return RETROK on code != 20x.
7949
7950         * init.c (cleanup): Free opt.user_header.
7951         (cleanup): Free opt.domains.
7952
7953         * url.c (freelists): Moved to cleanup().
7954
7955         * http.c (hparsestatline): Docfix.
7956
7957         * main.c (main): Return with error status on unsuccesful
7958         retrieval.
7959
7960         * init.c (setval): Do not remove listing when mirroring.
7961
7962         * url.c (url_filename): Use opt.fileprefix.
7963
7964         * ftp.c (ftp_get_listing): Use url_filename to get filename for
7965         .listing.
7966
7967         * main.c (main): New option: -rn.
7968
7969 1996-10-15  Hrvoje Niksic  <hniksic@srce.hr>
7970
7971         * Makefile.in (RM): Added RM = rm -f.
7972
7973         * host.c (clean_hosts): New function.
7974         (free_hlist): Just free the list, no reset.
7975
7976         * version.c: Changed version to 1.4b27.
7977
7978 1996-10-13  Hrvoje Niksic  <hniksic@srce.hr>
7979
7980         * version.c: "Released" 1.4b26.
7981
7982         * retr.c (retrieve_from_file): If call get_urls_html with
7983         opt.spider to make it silent in spider mode.
7984
7985         * url.c (str_url): Use CLEANDUP instead of URL_CLEANSE.
7986
7987         * url.h (CLEANDUP): New macro.
7988
7989         * http.c (gethttp): Fixed a bug that freed location only when it
7990         was NULL.
7991
7992         * retr.c (retrieve_url): Free url if it will not be stored,
7993         i.e. newloc is NULL.
7994
7995         * html.c (htmlfindurl): Handle exiting from quotes correctly; the
7996         old version would bug out on <a href="x#a"href="y">.
7997
7998         * html.h (state_t): New member in_quote.
7999
8000         * html.c (htmlfindurl): Free s->attr at the beginning of
8001         attr-loop.
8002
8003         * recur.c (recursive_retrieve): Recognize RCLEANUP.
8004         (tried_robots): Make hosts a global variable.
8005         (recursive_retrieve): Free constr after URL host optimization.
8006         (tried_robots): Free urlinfo before exiting.
8007
8008         * utils.c (free_slist): New function.
8009
8010         * recur.c (recursive_retrieve): Use flags to add cleanup
8011         possibility.
8012
8013         * main.c (main): Free filename after recursive_retrieve.
8014
8015         * http.c (gethttp): Store successful responses too.
8016
8017 1996-10-12  Hrvoje Niksic  <hniksic@srce.hr>
8018
8019         * all: Constified the whole source.  This required some minor
8020         changes in many functions in url.c, possibly introducing bugs -- I
8021         hope not.
8022
8023         * ftp-basic.c: Removed last_respline.
8024
8025         * http.c (gethttp): Free type.
8026
8027         * host.c (same_host): Free real1 and real2.
8028
8029         * main.c (main): New option --spider.
8030
8031         * retr.c (get_contents): Don't reset errno.
8032
8033         * main.c (main): Sorted the options.
8034
8035         * connect.c (iread): Set errno to ETIMEDOUT only if it was left
8036         uninitialized by select().
8037
8038         * http.c (http_loop): Print the time when the connection is
8039         closed.
8040         (gethttp): Debug-print the HTTP request.
8041
8042 1996-10-11  Hrvoje Niksic  <hniksic@srce.hr>
8043
8044         * connect.c (iread): Do not try reading after timeout.
8045
8046         * main.c (main): Would bug out on -T.
8047
8048         * connect.c (select_fd): Do not use exceptfds.
8049         (iread): Set ETIMEDOUT on select_fd <= 0.
8050
8051         * version.c: Changed version to 1.4b26.
8052
8053 1996-10-10  Hrvoje Niksic  <hniksic@srce.hr>
8054
8055         * version.c: "Released" 1.4b25.
8056
8057         * ftp-unix.c (ftp_parse_unix_ls): Ignore lines without file name
8058         or link name.
8059
8060         * http.c (gethttp): Add errcode to struct hstat.
8061         (http_loop): Use it.
8062
8063         * url.c (no_proxy_match): Simplify using char** for no_proxy.
8064
8065         * options.h (struct options): Make opt.no_proxy a vector.
8066
8067         * utils.c (sepstring): Use !*s instead of !strlen(s).
8068
8069         * init.c (setval): Set opt.maxreclevel to 0 on --mirror.
8070         (getperms): Use ISODIGIT instead of isdigit.
8071
8072         * ftp.c (getftp): Print time.
8073
8074         * main.c (main): Use legible output of downloaded quantity.
8075
8076         * ftp.c (getftp): Use elapsed_time().
8077         (ftp_loop_internal): Use rate().
8078
8079         * http.c (http_loop): Add download ratio output; Use rate().
8080
8081         * utils.c (rate): New function.
8082
8083 1996-10-09  Hrvoje Niksic  <hniksic@srce.hr>
8084
8085         * http.c (http_loop): Use timer.
8086
8087         * ftp.c: Split to ftp-basic.c and ftp.c
8088
8089         * utils.c (reset_timer): New function.
8090         (elapsed_time): New function.
8091
8092         * retr.c (show_progress): Make bytes_in_line and offs long; should
8093         work on 16-bit machines.
8094
8095 1996-10-08  Hrvoje Niksic  <hniksic@srce.hr>
8096
8097         * url.c (in_acclist): New argument backward.
8098
8099         * ftp.c (ftp_retrieve_glob): Use acceptable() to determine whether
8100         a file should be retrieved according to suffix.
8101         (ftp_get_listing): Check the return value of unlink; Do not call
8102         ftp_retrieve_dirs if depth reached maxreclevel.
8103         (ftp_retrieve_dirs): Check whether the directory is in
8104         exclude-list.
8105
8106         * main.c (main): Print the version number at the beginning of
8107         DEBUG output.
8108         (main): Use strrchr when creating exec_name.
8109
8110         * ftp.c (ftp_retrieve_glob): Do not close control connection.
8111
8112         * version.c: Changed version to 1.4b25.
8113
8114 1996-10-07  Hrvoje Niksic  <hniksic@srce.hr>
8115
8116         * version.c: "Released" 1.4b24.
8117
8118         * Makefile.in: Rewrite.
8119
8120         * ftp.c (ftp_loop_internal): Likewise.
8121
8122         * retr.c (time_str): Check for failed time().
8123
8124         * html.c (htmlfindurl): Recognize <fig src> and <overlay src> from
8125         HTML3.0.
8126
8127         * retr.c (time_str): Return time_t *.
8128
8129         * connect.c (bindport): Close msock on unsuccesful bind.
8130         (bindport): The same for getsockname and listen.
8131
8132         * retr.c (retrieve_url): Allow any number of retries on
8133         proxy.
8134
8135         * http.c (gethttp): Do not treat errno == 0 as timeout.
8136         (http_loop): Likewise.
8137         (http_loop): Cosmetic changes.
8138
8139         * connect.c (iread): Set errno to ETIMEDOUT in case of timeout.
8140
8141         * retr.c (get_contents): Reset errno.
8142
8143         * ftp.c (getftp): Minor fixes.
8144
8145 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
8146
8147         * http.c: Do not use backups.
8148
8149         * geturl.1 (WARNING): Warn that man-page could be obsolete.
8150
8151         * getopt.c (getopt_long): Moved to getopt.c
8152
8153         * geturl.texi: Enhanced.
8154
8155         * main.c (main): Use it.
8156
8157         * recur.c (convert_all_links): New function.
8158
8159         * utils.c (add_slist): New argument flags.
8160
8161         * recur.c (recursive_retrieve): Update a list of downloaded URLs.
8162         (parse_robots): Do not chuck out empty value fields.
8163         (parse_robots): Make yourself welcome on empty Disallow.
8164
8165         * version.c: Changed version to 1.4b24.
8166
8167 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
8168
8169         * version.c: "Released" 1.4b23.
8170
8171         * ftp.c (ftp_loop_internal): Get the time after getftp.
8172
8173         * Makefile.in (install.info): New target.
8174         (install): Use it.
8175
8176         * http.c (http_loop): Fix output when doing -O.
8177
8178 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
8179
8180         * geturl.texi: New file.
8181
8182         * main.c (main): Do not print the warnings and download summary if
8183         opt.quiet is set.
8184
8185         * version.c: Changed version to 1.4b23.
8186
8187 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
8188
8189         * "Released" 1.4b22.
8190
8191         * atotm.c (atotm): Use True and False instead of TRUE and FALSE,
8192         to avoid redefinition warnings.
8193
8194         * host.c (store_hostaddress): Use memcpy() to copy the address
8195         returned by inet_addr.
8196
8197         * version.c: Changed version to 1.4b22.
8198
8199 1996-10-04  Hrvoje Niksic  <hniksic@srce.hr>
8200
8201         * version.c: "Released" 1.4b21.
8202
8203         * ftp-unix.c (ftp_parse_ls): Renamed to ftp_parse_unix_ls.
8204
8205         * ftp.c (ftp_port): Use conaddr.
8206         (getftp): Print the file length.
8207         (ftp_retrieve_list): Check the stamps of plain files only.
8208
8209         * connect.c (closeport): Do not call shutdown().
8210         (conaddr): New function.
8211
8212         * html.c (ftp_index): Made it dfp-aware.
8213
8214         * init.c (cleanup): New name of freemem. Close opt.dfp.
8215
8216         * ftp.c (getftp): Use opt.dfp if it is set.
8217
8218         * ftp-unix.c (ftp_parse_ls): Recognize time in h:mm format.
8219
8220         * ftp.c (ftp_retrieve_dirs): Fixed a bug that caused incorrect
8221         CWDs to be sent with recursive FTP retrievals.
8222
8223 1996-10-03  Hrvoje Niksic  <hniksic@srce.hr>
8224
8225         * recur.c (parse_robots): Made it more compliant with "official"
8226         specifications.
8227
8228         * http.c: New function.
8229
8230         * ftp-unix.c (ftp_parse_ls): Added better debug output.
8231
8232         * ftp.c (getftp): Print out the LIST in case of
8233         opt.print_server_response.
8234
8235         * version.c: Changed version to 1.4b21.
8236
8237 1996-10-01  Hrvoje Niksic  <hniksic@srce.hr>
8238
8239         * version.c: "Released" 1.4b20.
8240
8241         * README: Update.
8242
8243         * http.c (gethttp): Preset lengths of various headers instead of
8244         calculating them dynamically.
8245         (gethttp): Check for 206 partial contents.
8246
8247 1996-09-30  Hrvoje Niksic  <hniksic@srce.hr>
8248
8249         * configure.in: Set SYSTEM_GETURLRC to $libdir/geturlrc
8250
8251         * http.c (gethttp): Send the port number in the Host: header.
8252
8253 1996-09-29  Hrvoje Niksic  <hniksic@srce.hr>
8254
8255         * http.c (gethttp): Send host: header.
8256         (gethttp): Add the possibility of user-defined headers.
8257         (gethttp): Move decision about pragma: no-cache to http_loop,
8258         where it belongs.
8259         (gethttp): Pass a struct instead of enormous argument list.
8260         (http_loop): Use a new, fancier display format.
8261         (ftp_loop): Likewise.
8262
8263         * main.c: (hangup): Turn off buffering of the new log file.
8264
8265         * install-sh: Likewise.
8266
8267         * config.sub: Replace with the one in autoconf-2.10
8268
8269         * geturl.1: Update.
8270
8271         * init.c: New options httpuser and httppasswd.
8272
8273         * http.c: (base64_encode_line): New function.
8274         (gethttp): Send authentication.
8275
8276         * connect.c (make_connection): Use store_hostaddress.
8277
8278 1996-09-28  Hrvoje Niksic  <hniksic@srce.hr>
8279
8280         * host.c (store_hostaddress): New function.
8281
8282         * NEWS: Update.
8283
8284         * http.c (hgetrange): New function.
8285         (gethttp): Use ranges.
8286
8287         * utils.c (numdigit): Accept long instead of int.
8288
8289         * http.c (http_loop): Add restart capabilities.
8290
8291         * ftp.c (ftp_retrieve_glob): Fixed a bug that could cause matchres
8292         being used uninitialized.
8293         (ftp_retrieve_list): Similar fix.
8294
8295         * host.c (add_hlist): Fixed a bug that could cause cmp being used
8296         uninitialized.
8297
8298         * url.c (construct_relative): New function.
8299
8300         * recur.c (recursive_retrieve): Use it.
8301
8302         * retr.c (convert_links): New function.
8303
8304 1996-09-27  Hrvoje Niksic  <hniksic@srce.hr>
8305
8306         * url.c (free_urlpos): New function.
8307
8308         * recur.c (recursive_retrieve): Adapt.
8309
8310         * url.c (get_urls_html): Return a linked list instead of a vector.
8311
8312         * url.c (get_urls_file): Return a linked list instead of a vector.
8313
8314         * geturl.1: Update.
8315
8316         * http.c (gethttp): Implement it.
8317
8318         * init.c (setval): New option: SAVEHEADERS
8319
8320         * ftp.c (ftp_loop_internal): Do not set restval if listing is to
8321         be retrieved. Lack of this test caused bugs when the connection
8322         was lost during listing.
8323
8324         * retr.c (retrieve_url): Fixed a bug that caused
8325         coredumps. *newloc is now reset by default.
8326         (retrieve_url): Lift the twenty-tries limit on proxies.
8327
8328         * version.c: Changed version to 1.4b20.
8329
8330 1996-09-20  Hrvoje Niksic  <hniksic@srce.hr>
8331
8332         * version.c: "Released" 1.4b19.
8333
8334 1996-09-19  Hrvoje Niksic  <hniksic@srce.hr>
8335
8336         * ftp.c (ftp_loop_internal): Renamed from ftp_1fl_loop.
8337         (getftp): Changed prototype to accept ccon *.
8338
8339 1996-09-17  Hrvoje Niksic  <hniksic@srce.hr>
8340
8341         * ftp.c (ftp_retrieve_list): Fixed a bug that caused setting
8342         incorrect values to files pointed to by symbolic links.
8343         (ftp_1fl_loop): Do not count listings among the downloaded URL-s.
8344
8345 1996-09-16  Hrvoje Niksic  <hniksic@srce.hr>
8346
8347         * url.c (mkstruct): Do not prepend "./" in front of a pathname.
8348
8349         * main.c (main): New option: --user-agent.
8350
8351         * geturl.1: Ditto.
8352
8353         * init.h: Ditto.
8354
8355         * init.c (setval): Ditto.
8356
8357         * main.c (main): Rename "server-headers" to "server-response".
8358
8359         * ftp-unix.c (ftp_parse_ls): Check for asterisks at the end of
8360         executables in 'ls -F' listings.
8361
8362 1996-09-15  Hrvoje Niksic  <hniksic@srce.hr>
8363
8364         * url.c (parseurl): Remove realloc() and sprintf().
8365         (str_url): Get rid of sprintf().
8366
8367         * recur.c (recursive_retrieve): Enable FTP recursion through proxy
8368         servers.
8369
8370         * url.h (URL_CLEANSE): Made it else-resistant.
8371         (USE_PROXY): New macro.
8372
8373 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
8374
8375         * NEWS: Update.
8376
8377         * version.c: Changed version to 1.4b19.
8378
8379 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
8380
8381         * version.c: "Released" 1.4b18.
8382
8383         * url.c: Made it reallocate space exponentially.
8384
8385 1996-09-14  Drazen Kacar  <dave@fly.cc.fer.hr>
8386
8387         * html.c (htmlfindurl): Added <frame src> and <iframe src> among
8388         the list of stuff to fetch.
8389
8390 1996-09-13  Hrvoje Niksic  <hniksic@srce.hr>
8391
8392         * url.c (get_urls_html): Fixed a bug that caused SIGSEGV's with
8393         -Fi.
8394
8395         * html.c (htmlfindurl): Rewrite.
8396
8397         * http.c (gethttp): Use opt.proxy_cache.
8398
8399         * main.c (main): Added --cache option.
8400
8401         * ftp.c (ftp_response): Print server response if opt.print_server
8402         response is set.
8403         (getftp): Print newlines after each request if the server response
8404         is to be printed.
8405         (ftp_response): Copy the last response line to last_respline.
8406
8407         * http.c (gethttp): Add Pragma: nocache for retried
8408         proxy-retrievals.
8409
8410         * ftp.c (getftp): Use it.
8411
8412         * retr.c (buf_discard): New function.
8413
8414         * ftp.c (ftp_response): Use buf_readchar().
8415         (getftp): Flush the control connection buffer before calling
8416         get_contents().
8417
8418         * retr.c (buf_readchar): New function.
8419         (buf_flush): New function.
8420         (get_contents): Use buf_readchar() instead of read(x, x, 1).
8421         (get_contents): Use buf_flush.
8422
8423 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
8424
8425         * ftp.c: Incorporate changes to ftp_response.
8426
8427         * ftp.c (ftp_response): Allocate the server response dynamically,
8428         as in read_whole_line and fetch_next_header.
8429
8430         * utils.c (read_whole_line): Fixed a bug that prevented reading
8431         the last line if it is not \n-terminated. Also fixed a possible
8432         memory overflow.
8433
8434         * http.c (fetch_next_header): Return malloc-ed string as large as
8435         needed.
8436         (gethttp): Use new fetch_next_header.
8437
8438 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
8439
8440         * http.c (hgetlen): Compute the header length the first time only.
8441         (hgettype): Ditto.
8442         (hgetlocation): Ditto.
8443         (hgetmodified): Ditto.
8444
8445 1996-09-11  Hrvoje Niksic  <hniksic@srce.hr>
8446
8447         * sample.geturlrc: Update.
8448
8449 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
8450
8451         * http.c (http_loop): Ditto.
8452
8453         * ftp.c (getftp): Open the output file as binary.
8454
8455         * version.c: Changed version to 1.4b18.
8456
8457 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
8458
8459         * version.c: "Released" 1.4b17.
8460
8461         * ftp-unix.c (ftp_parse_ls): If unable to open file, return NULL
8462         instead of failed assertion.
8463
8464 1996-09-09  Hrvoje Niksic  <hniksic@srce.hr>
8465
8466         * ftp.c (ftp_get_listing): Add a numbered suffix to LIST_FILENAME
8467         if a file of that name already exists.
8468
8469 1996-09-05  Hrvoje Niksic  <hniksic@srce.hr>
8470
8471         * ftp.c (ftp_1fl_loop): Handler FTPPORTERR and FOPENERR correctly.
8472
8473         * config.h.in: Define gethostbyname as Rgethostbyname when using
8474         Socks.
8475
8476         * configure.in: Check for -lresolv if using Socks.
8477
8478         * version.c: Changed version to 1.4b17.
8479
8480 1996-07-15  Hrvoje Niksic  <hniksic@srce.hr>
8481
8482         * version.c: "Released" 1.4b16.
8483
8484         * http.c (gethttp): More intelligent check for first line of HTTP
8485         response.
8486         (gethttp): Would bug out on time-stamping.
8487
8488         * version.c: Changed version to 1.4b16.
8489
8490 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
8491
8492         * version.c: Released 1.4b15.
8493
8494         * http.c (http_loop): Print \n after the loop entry, not before.
8495
8496         * url.c (url_filename): Use ISDOT.
8497
8498         * url.h (ISDOT): New macro.
8499
8500         * recur.c (recursive_retrieve): Change only opt.recursive for
8501         following FTP.
8502
8503 1996-07-11  Antonio Rosella <antonio.rosella@agip.it>
8504
8505         * socks/geturl.cgi: Fixed version No.
8506
8507         * socks/download-netscape.html: Ditto.
8508
8509         * socks/download.html: Changed socks.html to download.html.
8510
8511 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
8512
8513         * url.c (url_filename): Check for opt.dirstruct instead for
8514         opt.recursive && opt.dirstruct.
8515
8516         * init.c (defaults): Ditto.
8517         (defaults): Reset dirstruct by default.
8518         (setval): Set opt.dirstruct whenever setting recursive.
8519
8520         * init.h: Removed FORCEDIRHIER.
8521
8522         * INSTALL: Added -L to socks-description.
8523
8524         * version.c: Changed version to 1.4b15.
8525
8526 1996-07-10  Hrvoje Niksic  <hniksic@srce.hr>
8527
8528         * version.c: "Released" 1.4b14.
8529
8530         * geturl.1: Update AUTHOR to include Rosella as contributor.
8531
8532         * NEWS: Update.
8533
8534         * socks/geturl.cgi: Simplified command creation, nuked <blink>.
8535
8536         * socks/geturl.cgi: Wrap nutscape extensions within if $netscape.
8537         (cal_time): Fix == to eq.
8538
8539         * socks/geturl.cgi: GPL-ized with permission of A. Rosella.
8540
8541         * geturl.1 (hostname): Moved URL CONVENTIONS to the beginning.
8542
8543         * Makefile.in: Use @VERSION@.
8544
8545         * configure.in: Check version from version.c.
8546
8547         * socks/geturl.cgi: Changed /pub/bin/perl to /usr/bin/perl.
8548
8549         * socks/download.html: Created from download-netscape.html, made
8550         HTML-2.0 compliant.
8551
8552         * recur.c (recursive_retrieve): Set opt.force_dir_hier when
8553         following FTP links from recursions.
8554
8555 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
8556
8557         * url.c (mymkdir): Fixed a bug that prevented mymkdir() to create
8558         absolute directories correctly.
8559
8560         * version.c: Changed version to 1.4b14.
8561
8562 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
8563
8564         * version.c: "Released" 1.4b13.
8565
8566         * url.c (make_backup): New function.
8567
8568         * http.c (http_loop): Make a backup copy of the local file (using
8569         rename(2)) before opening it.
8570
8571         * main.c (main): Added --backups.
8572
8573         * host.c (ftp_getaddress): Bail out on failed mycuserid().
8574         (ftp_getaddress): Check for leading dot on MY_DOMAIN.
8575         (ftp_getaddress): Check for empty, null or (null) domain.
8576
8577         * url.c (get_urls_html): If this_url is NULL, the base must have a
8578         protocol.
8579         (parseurl): Use has_proto.
8580
8581         * retr.c (retrieve_url): Warn when proxy is used with more than 20
8582         retries.
8583
8584         * url.c (mkstruct): Create the directory (calling mymkdir()) only
8585         if it is not already there.
8586         (has_proto): New function.
8587         (get_urls_html): Eliminate the remaining call to findurl -- use
8588         has_proto.
8589
8590         * geturl.1: Ditto.
8591
8592         * main.c: Change -X to -x.
8593
8594         * url.c (url_filename): Simplify creation of filename if
8595         prefix_files is set.
8596         (url_filename): Simplify everything. And I do mean *everything*.
8597         (mkstruct): Add dir_prefix before hostname.
8598         (path_simplify): Fixed a bug that caused writing outside the path
8599         string in case of "." and ".." path strings.
8600
8601 1996-07-06  Hrvoje Niksic  <hniksic@srce.hr>
8602
8603         * init.c: Added --mirror.
8604
8605         * main.c (main): Added -X to force saving of directory hierarchy.
8606
8607         * ftp.c (ftp_retrieve_list): Added recursion depth counter.
8608         (ftp_retrieve_list): Check whether quota is exceeded.
8609
8610         * url.c (get_urls_html): Skip leading blanks for absolute URIs.
8611
8612         * http.c (gethttp): Use referer if present.
8613
8614         * recur.c (recursive_retrieve): Set u->referer before calling
8615         retrieve_url.
8616
8617         * url.c (newurl): Use memset to nullify the struct members.
8618         (freeurl): Free the referer field too.
8619
8620         * url.h: Added referer to urlinfo.
8621
8622         * geturl.1: Updated the manual to document some of the new features.
8623
8624         * utils.c (numdigit): Moved from url.c.
8625
8626         * README: Rewritten.
8627
8628         * config.h.in: Add the support for socks.
8629
8630         * configure.in: Add the support for socks.
8631
8632         * url.c (url_filename): If the dir_prefix is ".", work with just
8633         the file name.
8634         (url_filename): Do not look for .n extensions if timestamping if
8635         turned on.
8636
8637         * retr.c (show_progress): Skip the over-abundant restval data, and
8638         print the rest of it with ',' instead of '.'.
8639
8640 1996-07-05  Hrvoje Niksic  <hniksic@srce.hr>
8641
8642         * retr.c (show_progress): Changed second arg. to long (as it
8643         should be).
8644         (show_progress): Moved to retr.c.
8645         (get_contents): Moved to retr.c.
8646
8647         * version.c: Change version to 1.4b13.
8648
8649 1996-07-05  Hrvoje Lacko <hlacko@fly.cc.fer.hr>
8650
8651         * url.c (in_acclist): Would return after the first suffix.
8652
8653 1996-07-04  Hrvoje Niksic  <hniksic@srce.hr>
8654
8655         * version.c: "Released" 1.4b12.
8656
8657         * url.c (path_simplify): More kludgifications.
8658         (get_urls_html): Use new parameters for htmlfindurl.
8659
8660         * html.c: Removed memorizing "parser states", since the new
8661         organization does not require them.
8662
8663         * init.c (run_geturlrc): Use read_whole_line.
8664
8665         * ftp-unix.c (ftp_parse_ls): Use read_whole_line.
8666
8667         * recur.c (parse_robots): Use read_whole_line.
8668
8669         * utils.c (read_whole_line): New function.
8670
8671         * recur.c (tried_robots): Use add_slist/in_slist, *much* cleaner.
8672
8673         * host.c (ngethostbyname): Call inet_addr just once. Yet to be
8674         tested on OSF and Ultrix.
8675         (add_hlist): New function.
8676         (free_hlist): New function.
8677         (search_host): New function.
8678         (search_address): New function.
8679         (realhost): Use search_host, search_address and add_hlist.
8680         (same_host): Replaced realloc() with strdupdelim(), made
8681         case-insensitive, fixed a memory leak.
8682
8683         * html.c (ftp_index): Fixed tm_min and tm_sec to be tm_hour and
8684         tm_min, like intended.
8685
8686         * version.c: Change user agent information to
8687         Geturl/version.
8688
8689 1996-07-03  Hrvoje Niksic  <hniksic@srce.hr>
8690
8691         * utils.c: Renamed nmalloc.c to utils.c, .h likewise.
8692
8693         * url.c (acceptable): Always accept directories.
8694
8695         * ftp-unix.c (ftp_parse_ls): Support brain-damaged "ls -F"-loving
8696         servers by stripping trailing @ from symlinks and trailing / from
8697         directories.
8698
8699         * ftp.c (ftp_loop): Debugged the "enhanced" heuristics. :-)
8700
8701         * url.c (skip_url): Use toupper instead of UCASE.
8702
8703         * host.c (sufmatch): Made it case-insensitive.
8704
8705         * url.c (match_backwards_or_pattern): Fixed i == -1 to j == -1.
8706         (match_backwards): New function, instead of
8707         match_backwards_or_pattern.
8708
8709         * recur.c (recursive_retrieve): Increased performance by
8710         introducing inl, which reduces number of calls to in_slist to only
8711         one.
8712
8713         * ftp.c (ftp_loop): Enhanced the heuristics that decides which
8714         routine to use.
8715
8716         * main.c (printhelp): Removed the warranty stuff.
8717
8718 1996-07-02  Hrvoje Niksic  <hniksic@srce.hr>
8719
8720         * url.c (add_slist): Simplify.
8721         (match_backwards_or_pattern): New function.
8722         (in_acclist): Use match_backwards_or_pattern.
8723         (matches): Remove.
8724
8725 1996-06-30  Hrvoje Niksic  <hniksic@srce.hr>
8726
8727         * ftp.c (ftp_loop): Call ftp_index on empty file names, if not
8728         recursive.
8729
8730         * html.c (ftp_index): Fixed to work. Beautified the output.
8731
8732         * ftp.c (ftp_retrieve_glob): Another argument to control whether
8733         globbing is to be used.
8734         (ftp_retrieve_list): Compare the time-stamps of local and remote
8735         files to determine whether to download.
8736
8737 1996-06-29  Hrvoje Niksic  <hniksic@srce.hr>
8738
8739         * ftp.c (rel_constr): New function.
8740
8741         * retr.c (retrieve_from_file): Check for text/html before
8742         retrieving recursively.
8743
8744         * main.c (main): Check whether the file is HTML before going into
8745         recursive HTML retrieving.
8746
8747         * ftp.c (ftp_retrieve_list): Manage directories.
8748         (ftp_retrieve_glob): Pass all the file-types to ftp_retrieve_list.
8749         (ftp_1fl_loop): Fixed a bug that caused con->com to be incorrectly
8750         initialized, causing bugchecks in getftp to fail.
8751
8752         * configure.in: Check for symlink.
8753
8754         * ftp.c (ftp_retrieve_list): Added support for symlinks.
8755
8756         * version.c: "Released" 1.4b10.
8757
8758         * atotm.c (atotm): Redeclared as time_t.
8759
8760         * init.c: New variable "timestamping".
8761
8762         * main.c (main): New option 'N'.
8763
8764         * http.c (hgetlocation): Case-insensitive match.
8765         (hgetmodified): New function.
8766         (http_loop): Implement time-stamping.
8767
8768 1996-06-28  Hrvoje Niksic  <hniksic@srce.hr>
8769
8770         * version.c: Changed version to 1.4b10
8771
8772         * atotm.c: New file, from phttpd.
8773
8774         * options.h (struct options): New parameter timestamping.
8775
8776         * version.c: 1.4b9 "released".
8777
8778         * recur.c (recursive_retrieve): Used linked list (ulist) for
8779         faster storing of URLs.
8780
8781         * url.c (get_urls_html): Removed the old kludge with comparing the
8782         outputs of htmlfindurl and findurl.
8783         (get_urls_html): Added better protocol support here.
8784         (create_hash): Removed, as well as add_hash and in_hash.
8785         (addslist): New function.
8786         (in_slist): ditto
8787
8788         * version.c: Released 1.4b8, changed version to b9.
8789
8790 1996-06-27  Hrvoje Niksic  <hniksic@srce.hr>
8791
8792         * ftp.c (freefileinfo): New function.
8793         (delelement): New function.
8794
8795         * everywhere: GPL!
8796
8797         * ftp.c (ftp_loop): Use ccon.
8798         (ftp_retrieve_glob): Likewise.
8799
8800         * ftp.h: Define ccon, to define status of control connection.
8801
8802         * ftp.c (ftp_get_listing): New function.
8803         (ftp_retrieve_more): New function.
8804         (ftp_retrieve_glob): New function.
8805
8806 1996-06-25  Hrvoje Niksic  <hniksic@srce.hr>
8807
8808         * configure.in: Removed the search for cuserid().
8809
8810         * init.c (getmode): Renamed to getperms.
8811
8812 1996-06-24  Hrvoje Niksic  <hniksic@srce.hr>
8813
8814         * version.c: New version.
8815
8816         * main.c (hangup): New function, that handles hangup. Hangup
8817         signal now causes geturl to stop writing on stdout, and to write
8818         to a log file.
8819
8820         * ftp.c (getftp): "Released" 1.4b7.
8821
8822         * html.c (htmlfindurl): Ignore everything inside <head>...</head>.
8823         (ftp_index): Use fileinfo/urlinfo.
8824
8825         * ftp-unix.c (ftp_parse_ls): New function.
8826         (symperms): New function.
8827
8828         * ftp.c (ftp_1fl_loop): New function, to handle 1-file loops.
8829
8830         * retr.c (retrieve_url): Added FTP support.
8831
8832 1996-06-23  Hrvoje Niksic  <hniksic@srce.hr>
8833
8834         * geturl.h: Removed NOTFTP2HTML enum.
8835         Added DO_LOGIN, DO_CWD and DO_LIST. LIST_ONLY is obsolete.
8836
8837         * ftp.c (getftp): Resynched with urlinfo.
8838         (getftp): Removed HMTL-ization of index.html from getftp.
8839
8840         * version.c: 1.4b6 "released".
8841
8842         * options.h (options): New struct, to keep options in.
8843
8844         * http.c (http_loop,gethttp): Synched with proxy.
8845
8846         * retr.c (retrieve_url): Implemented proxy retrieval.
8847
8848         * main.c (main): Use retrieve_from_file.
8849
8850 1996-06-22  Hrvoje Niksic  <hniksic@srce.hr>
8851
8852         * retr.c (retrieve_from_file): New function.
8853
8854         * url.c (parseurl): Modified to return URLOK if all OK. Protocol
8855         can be found in u->proto.
8856
8857         * ftp.c (ftp_response): Fixed to accept multi-line responses as
8858         per RFC 959.
8859
8860         * recr.c (recursive_retrieve): Take newloc from retrieve_url.
8861
8862         * url.c (mymkdir): Removed the file of the same name, if one
8863         exists.
8864         (isfile): New function.
8865         (mkstruct): Fixed the '/' glitches.
8866         (path_simplify): Hacked to treat something/.. correctly.
8867
8868 1996-06-21  Hrvoje Niksic  <hniksic@srce.hr>
8869
8870         * http.c (gethttp): Close the socket after error in headers.
8871         (http_loop): HEOF no longer a fatal header.
8872
8873         * loop.c (retrieve_url): When dt is NULL, do not modify it. This
8874         simplifies the syntax of calling retrieve_url.
8875
8876         * recr.c (recursive_retrieve): Modified to use get_urls_html.
8877
8878         * url.c (get_urls_file): New function.
8879         (get_urls_html): New function.
8880
8881         * recr.c (recursive_retrieve): Patched up to conform to the
8882         standards.
8883
8884         * http.c (gethttp): Synched with the rest...
8885         (gethttp): Treat only CONREFUSED specially, with connection
8886         errors.
8887
8888         * init.c,geturl.1,http.c (http_loop): Removed kill_error.
8889
8890 1996-06-20  Hrvoje Niksic  <hniksic@srce.hr>
8891
8892         * http.c (http_loop): New function.
8893
8894         * loop.c: Removed *lots* of stuff from retrieve_url.
8895
8896         * url.c (parseurl): Changed to work with urlinfo. Integrated
8897         username finding and path parsing.
8898         (newurl): New function.
8899         (freeurl): New function.
8900         (mkstruct): Removed the old bogosities, made it urlinfo-compliant.
8901         (url_filename): Likewise.
8902         (path_simplify): Accept relative paths too.
8903         (opt_url): Made urlinfo-compliant, removed bogosities.
8904         (path_simplify): Expanded to accept relative paths.
8905         (str_url): A replacement for hide_url
8906         (decode_string): Fixed a bug that caused malfunctioning when
8907         encountering an illegal %.. combination.
8908         (opt_url): Removed the argument. Dot-optimizations are now default.
8909
8910         * nmalloc.c (strdupdelim): New function.
8911
8912         * url.h: Added the urlinfo structure
8913
8914 1996-06-19  Hrvoje Niksic  <hniksic@srce.hr>
8915
8916         * url.c (hide_url): Thrown out the protocol assertion. Do not
8917         change the URL if the protocol if not recognized.
8918         (findurl): Put continue instead of break.
8919
8920 1996-06-18  Hrvoje Niksic  <hniksic@srce.hr>
8921
8922         * sample.geturlrc: Changed the defaults to be commented out and
8923         harmless (previous defaults caused pains if copied to
8924         ~/.geturlrc).
8925
8926         * http.c (gethttp): Print the HTTP request in debug mode.
8927
8928         * connect.c (iread): Added EINTR check loop to select-ing
8929         too. EINTR is now correctly handled with select().
8930
8931         * TODO: new file
8932
8933 1996-05-07  Hrvoje Niksic  <hniksic@srce.hr>
8934
8935         * host.c (same_host): Made the function a little bit more
8936         intelligent regarding diversified URL syntaxes.
8937
8938         * url.c (skip_url): Spaces are now skipped after URL:
8939
8940         * Released 1.3.1 with the patch to prevent crashing when sending
8941         NULL to robot* functions and the patch to compile "out of the box"
8942         on AIX.
8943
8944         * recr.c (recursive_retrieve): Added checking whether this_url is
8945         NULL when calling the robot functions.
8946
8947         * ChangeLog: New file.