sjero.net Git - wget/blob - src/ChangeLog

   1 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
   2
   3         * main.c (secs_to_human_time): Use print_decimal when printing
   4         total download time in seconds.
   5
   6         * progress.c (print_row_stats): Use it to print total download
   7         time at the end of the download.
   8         (create_image): Ditto.
   9
  10         * utils.c (print_decimal): New function; print small decimal
  11         numbers with more precision than large ones.
  12
  13         * progress.c (print_row_stats): New function.  Print ETA after the
  14         download rate at the end of each row.
  15
  16 2005-06-28  Hrvoje Niksic  <hniksic@xemacs.org>
  17
  18         * init.c (parse_line): Check for alphanumerics.
  19
  20 2005-06-28  Hrvoje Niksic  <hniksic@xemacs.org>
  21
  22         * (dot_create): Remove unnecessary casts.
  23
  24 2005-06-28  Hrvoje Niksic  <hniksic@xemacs.org>
  25
  26         * ftp.c (getftp): Delete trailing newlines from LIST output so
  27         lines don't come out with trailing \015\012 with -S.
  28
  29 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
  30
  31         * mswindows.h: Remove superfluous includes.
  32
  33 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
  34
  35         * config-post.h (alloca): Amend alloca declaration to take care of
  36         all Win32 compilers, not just MSVC and MinGW.
  37
  38 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
  39
  40         * utils.c (get_grouping_data): Force separator to "." rather than
  41         " " when "," is taken.
  42
  43 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
  44
  45         * wget.h (PTR_FORMAT): Cast the result of sizeof to int before
  46         passing it to printf's %*.
  47
  48         * retr.h: Declare output_stream and output_stream_regular.
  49
  50         * ftp.h: Declare ftp_last_respline.
  51
  52         * convert.h: Declare dl_url_file_map.
  53
  54         * http.h: New file.
  55
  56 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
  57
  58         * cookies.c: Make cookies_now static.
  59
  60 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
  61
  62         * utils.c (human_readable): Remove intermediary cast to long; MSVC
  63         has problems casting *unsigned* __int64 to double.
  64
  65 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
  66
  67         * sysdep.h: Use the system-provided fnmatch by default.
  68
  69 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
  70
  71         * http.c (mktime_from_utc): Renamed to timegm and moved to cmpt.c.
  72         Don't compile it if GNU timegm is available.
  73         (http_atotm): Use timegm.
  74
  75 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
  76
  77         * http.c (http_atotm): Correctly query the old locale value.
  78
  79 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
  80
  81         * config-post.h (alloca): Don't #define alloca under MinGW32,
  82         which defines it in malloc.h, included from mswindows.h.
  83
  84 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
  85
  86         * utils.c (get_grouping_data): Force the use of separators in C
  87         locale.
  88
  89 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
  90
  91         * main.c (i18n_initialize): Set all locale categories.
  92
  93         * http.c (http_atotm): Temporarily set locale to "C".
  94
  95 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
  96
  97         * http.c (gethttp): Improve "POST data file missing" error
  98         message.
  99
 100 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
 101
 102         * progress.c (set_progress_implementation): Type COLON as const
 103         char *.
 104
 105 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
 106
 107         * utils.c (with_thousand_seps): Handle negative numbers.
 108
 109 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
 110
 111         * progress.c (create_image): Mark the "eta" string for translation.
 112
 113 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
 114
 115         * html-url.c (get_urls_file): Don't explicitly set entry->next to
 116         NULL since entry is already zeroed out.
 117
 118 2005-06-26  Gisle Vanem  <giva@bgnett.no>
 119
 120         * mswindows.h: Define gai_strerror under MinGW.
 121
 122 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
 123
 124         * utils.c (with_thousand_seps): Correctly implement thousand seps
 125         consisting of more than one character.
 126
 127 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
 128
 129         * main.c (secs_to_human_time): Ditto.
 130
 131         * progress.c (create_image): Print more exact duration of very
 132         short downloads.
 133
 134         * main.c (secs_to_human_time): Don't translate time suffixes "h",
 135         "m", and "s", which are not strictly SI, but are "accepted for use
 136         with SI".
 137         (secs_to_human_time): Print really small intervals as 0s, not
 138         0.00s.
 139
 140 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
 141
 142         * config-post.h: Replace the alloca declaration with the one from
 143         the latest Autoconf manual.  This should remove a warning with GCC
 144         on AIX.
 145
 146 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
 147
 148         * ftp.c (getftp): Always invoke SIZE, not only when continuing a
 149         download.
 150
 151         * main.c (main): Ditto here.
 152
 153         * progress.c (create_image): When the download is finished, print
 154         how long it took.
 155
 156 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
 157
 158         * main.c (main): Print the downloaded and quota amounts with the
 159         "human_readable" function.
 160
 161         * ftp.c (print_length): Ditto.
 162
 163         * http.c (gethttp): Don't display thousand separators.
 164
 165         * utils.c (with_thousand_seps): Rewritten to respect locale
 166         settings and to be type size agnostic.
 167
 168 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
 169
 170         * utils.c (human_readable): Divide with 1024 instead of shifting
 171         so the operation can work with non-integer N.
 172
 173 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
 174
 175         * progress.c (eta_to_human): New logic for more human-readable
 176         ETA.
 177
 178 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
 179
 180         * utils.c (with_thousand_seps_sum): Decrease buffer size so it
 181         cannot overrun add_thousand_seps's buffer.
 182
 183 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
 184
 185         * utils.c (SPRINTF_WGINT): The correct format is %I64d, not just
 186         %I64.
 187
 188 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
 189
 190         * http.c (http_loop): Don't warn about wildcards in HTTP URLs if
 191         globbing isn't requested in the first place.
 192
 193         * retr.c (retrieve_url): Temporarily turn off globbing when
 194         processing HTTP->FTP redirects.
 195
 196 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
 197
 198         * utils.c (with_thousand_seps_sum): Now defined only if
 199         SUM_SIZE_INT is double.
 200
 201         * wget.h (SUM_SIZE_INT): Instead of bothering with long, long
 202         long, __int64, and friends, simply either use wgint or double, end
 203         of story.  Since we know how to print either, we no longer need
 204         LARGE_INT_FMT.
 205
 206         * sysdeps.h (LARGE_INT): Renamed to SUM_SIZE_INT to better reflect
 207         its intent, and moved to wget.h.
 208
 209 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
 210
 211         * Makefile.in: No need to clean .libs.
 212
 213 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
 214
 215         * cookies.c (parse_set_cookies): Cast pointer subtraction to int
 216         before using it with %d; AIX compiler warns on this.
 217         Reported by Jens Schleusener.
 218
 219 2005-06-24  Hrvoje Niksic  <hniksic@xemacs.org>
 220
 221         * http.c (gethttp): Don't prepend / here.
 222
 223         * cookies.c (cookie_handle_set_cookie): Prepend / to PATH.
 224         (cookie_header): Ditto.
 225
 226 2005-06-24  Hrvoje Niksic  <hniksic@xemacs.org>
 227
 228         * init.c: opt.verbose must be declared as int.
 229
 230 2005-06-23  Hrvoje Niksic  <hniksic@xemacs.org>
 231
 232         * cmpt.c (strpbrk): Removed.
 233         (mktime): Removed.
 234         Include <time.h>.
 235
 236 2005-06-23  Hrvoje Niksic  <hniksic@xemacs.org>
 237
 238         * utils.c (read_file): Ditto.
 239
 240         * main.c (main): Use struct_fstat.
 241
 242         * mswindows.h (struct_fstat): Define a struct_fstat to deal with
 243         the fact that Borland 5.5 has 64-bit stat, but not 64-bit fstat!
 244
 245 2005-06-23  Hrvoje Niksic  <hniksic@xemacs.org>
 246
 247         * sysdep.h: Remove code that deals with Watcom.
 248
 249 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
 250
 251         * all: Use bool instead of int and false/true instead of 0/non-0
 252         for boolean variables and values.
 253
 254 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
 255
 256         * sysdep.h: Include the stdbool.h/_Bool/bool blurb from Autoconf.
 257
 258 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
 259
 260         * init.c (cmd_lockable_boolean): Removed.
 261
 262 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
 263
 264         * cookies.c (struct cookie): Use 1-bit bitfields for booleans
 265         which makes the structure takes less space at no cost in
 266         complexity.
 267
 268 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
 269
 270         * Makefile.in ($(OBJ)): Add the config.h dependency.
 271
 272 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
 273
 274         * openssl.c, connect.c, host.c: Replace instances of #ifdef
 275         ENABLE_DEBUG if (opt.debug) {...} #endif with IF_DEBUG {...}.
 276
 277         * main.c: Rename the IF_DEBUG defined here to WHEN_DEBUG.
 278
 279         * wget.h (IF_DEBUG): New macro.
 280         (DEBUGP): Define in terms of IF_DEBUG.
 281
 282 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
 283
 284         * http.c (gethttp): Only handle --set-cookies (and assert that
 285         cookie jar exists) if opt.cookies is true.  Failure to do so
 286         triggered the assert when --no-cookies was used and the server
 287         sent a Set-Cookie header.  Ouch!
 288
 289 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
 290
 291         * connect.c (select_fd): Expect select() to exist.
 292
 293         * utils.c (xsleep): Always use select() as sleep fallback on
 294         non-Windows platforms.
 295
 296         * ptimer.c: Delete the implementation of PTIMER_TIME.
 297
 298         * main.c: Assume existence of signal(), test for different signal
 299         names instead.
 300
 301         * cmpt.c: Better document reasons why certain functions are
 302         included.
 303
 304 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
 305
 306         * Makefile.in: Remove the manually maintained dependency list;
 307         make all object files depend on every header.
 308
 309 2005-06-20  Hrvoje Niksic  <hniksic@xemacs.org>
 310
 311         * hash.c: Rename "mapping" to "cell" to avoid confusion with the
 312         term "mapping" (or "map") sometimes being used for the entire hash
 313         table.  Also rename "non-empty" to "occupied" for easier reading
 314         of if (!NON_EMPTY (...)) ... .
 315
 316 2005-06-20  Hrvoje Niksic  <hniksic@xemacs.org>
 317
 318         * main.c, ptimer.c, sysdep.h, utils.c: Use #elif to simplify reading of
 319         chained if-else-else-else-... statements.
 320
 321 2005-06-20  Hrvoje Niksic  <hniksic@xemacs.org>
 322
 323         * all: Return type of signal handlers is `void'.  Include signal.h
 324         unconditionally.
 325
 326         * all: Don't explicitly cast values returned by malloc.  We no
 327         longer support ancient compilers that don't declare malloc, and we
 328         never supported C++ builds.
 329
 330 2005-06-19  Hrvoje Niksic  <hniksic@xemacs.org>
 331
 332         * all: Don't declare errno.  Include both time.h and sys/time.h,
 333         as long as sys/time.h exists.  Don't dereference function pointers
 334         when invoking the functions they point to.
 335
 336         * cmpt.c (memmove): Remove function mandated by C89.
 337         (strerror): Ditto.
 338         (strstr): Ditto.
 339
 340         * all: Undo the K&R-ization changes from 2005-05-03.
 341
 342         * all: Remove support for K&R compilers: use C89 function
 343         declarations, remove definition of PARAMS, remove support for
 344         varargs, and remove ansi2knr.  Assume the presence of time.h,
 345         string.h, and other headers mandated by C89.
 346
 347 2005-06-19  Hrvoje Niksic  <hniksic@xemacs.org>
 348
 349         * init.c (cmd_lockable_boolean): Don't recognize literal "2" and
 350         "-1" values; unlike 0 and 1, those should never be exposed to the
 351         user.  Update the error message to be more self-consistent, as
 352         proposed by Benno Schulenberg.
 353
 354 2005-06-18  Hrvoje Niksic  <hniksic@xemacs.org>
 355
 356         * http.c (gethttp): Don't free "head" before using it to save
 357         headers.
 358
 359 2005-06-18  Hrvoje Niksic  <hniksic@xemacs.org>
 360
 361         * http.c (gethttp): When -E is in use, check for file existence
 362         after appending ".html" to the name and modify the file name if
 363         necessary.
 364
 365 2005-06-17  Hrvoje Niksic  <hniksic@xemacs.org>
 366
 367         * connect.c (socket_has_inet6): Removed.
 368
 369         * host.c (lookup_host): Don't use the AI_ADDRCONFIG getaddrinfo
 370         hint.
 371
 372 2005-06-16  Hrvoje Niksic  <hniksic@xemacs.org>
 373
 374         * init.c (cmd_lockable_boolean): Improve the error message so it
 375         lists the more useful values first.
 376
 377 2005-06-15  Hrvoje Niksic  <hniksic@xemacs.org>
 378
 379         * http.c (gethttp): Also report the system error when the POST
 380         data file is missing.
 381
 382 2005-06-15  Benno Schulenberg  <benno@nietvergeten.nl>
 383
 384         * ftp.c, http.c, connect.c, cookies.c, html-url.c, init.c, res.c:
 385         Gettext-ize messages that were previously missed.
 386
 387 2005-06-15  Hrvoje Niksic  <hniksic@xemacs.org>
 388
 389         * host.h (ip_address): Remove the trailing comma from the type
 390         enum in the no-IPv6 case.
 391
 392         * main.c (struct cmdline_option): Remove the trailing comma from
 393         the enum.
 394
 395         Reported by Jens Schleusener.
 396
 397 2005-05-30  Hrvoje Niksic  <hniksic@xemacs.org>
 398
 399         * url.c (strpbrk_or_eos): Check for a recent GCC version before
 400         using the statement-as-expression extension.
 401
 402 2005-05-30  Hrvoje Niksic  <hniksic@xemacs.org>
 403
 404         * http.c (gethttp): Don't attempt to "skip short body" if we're
 405         issuing a HEAD request (in which case the response head is not
 406         followed by a body).
 407
 408 2005-05-30  Hrvoje Niksic  <hniksic@xemacs.org>
 409
 410         * init.c (cmd_spec_header): Don't split the string along the
 411         commas using cmd_vector; just append the new value using
 412         vec_append instead.
 413
 414         * utils.c (vec_append): New function.
 415
 416 2005-05-27  Andreas Beckmann  <debian@abeckmann.de>
 417
 418         * html-url.c (tag_handle_link): Mark the content from the <link
 419         src="..."> tag as expecting HTML.
 420
 421 2005-05-24  Hrvoje Niksic  <hniksic@xemacs.org>
 422
 423         * http.c (http_atotm): Document the origin of the "cookie date"
 424         format.
 425
 426 2005-05-21  Hrvoje Niksic  <hniksic@xemacs.org>
 427
 428         * init.c (setval_internal): Report exact command name alongside
 429         the "display name".
 430
 431 2005-05-18  Hrvoje Niksic  <hniksic@xemacs.org>
 432
 433         * cookies.c (update_cookie_field): Explicitly cast -1 to time_t to
 434         cope with systems where time_t is unsigned.
 435
 436         * cookies.c: Remove unnecessary casts to time_t from values
 437         already of that type.
 438
 439 2005-05-17  Hrvoje Niksic  <hniksic@xemacs.org>
 440
 441         * ftp.c (ftp_loop_internal): Same here.
 442
 443         * http.c (http_loop): Don't clobber the file when -c is specified
 444         and the first attempt to retrieve the file fails.
 445
 446 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
 447
 448         * openssl.c (ssl_check_certificate): Print all issues with a
 449         certificate.
 450
 451 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
 452
 453         * ftp-basic.c: Don't xfree() the line returned by ftp_response if
 454         the returned code is not FTPOK.
 455
 456 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
 457
 458         * init.c (cleanup): Don't free the non-existent opt.ftp_acc.  Free
 459         the SSL-related stuff.
 460
 461 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
 462
 463         * ftp.c (print_length): Consistently print \n at end of the
 464         "Length" line.
 465
 466 2005-05-14  Hrvoje Niksic  <hniksic@xemacs.org>
 467
 468         * openssl.c (ssl_connect): Announce the beginning and the end of
 469         the SSL handshake when in debug mode.
 470
 471         * wget.h (PTR_FORMAT): New macro for easier printing of pointer
 472         values.  Use %0*lx along with PTR_FORMAT instead of %p.
 473
 474 2005-05-14  Hrvoje Niksic  <hniksic@xemacs.org>
 475
 476         * http.c (gethttp): Would forget to close the connection when
 477         keep_alive was not used.
 478
 479 2005-05-13  Hrvoje Niksic  <hniksic@xemacs.org>
 480
 481         * openssl.c (pattern_match): Document the code that decides
 482         whether "*" matches ".".
 483
 484 2005-05-12  Hrvoje Niksic  <hniksic@xemacs.org>
 485
 486         * ftp-ls.c (ftp_index): Use %d to print the port number, which is
 487         now int.
 488         From Steven M. Schweda's VMS patches.
 489
 490 2005-05-12  Hrvoje Niksic  <hniksic@xemacs.org>
 491
 492         * url.c (rewrite_shorthand_url): Don't rewrite "https://host" to
 493         "ftp://https//host" when SSL is not used.
 494
 495 2005-05-11  Hrvoje Niksic  <hniksic@xemacs.org>
 496
 497         * openssl.c (ssl_check_server_identity): Renamed to
 498         ssl_check_certificate because it does more than just checking the
 499         server's identity.
 500         (ssl_check_certificate): Tell the user about
 501         --no-check-certificate.
 502
 503 2005-05-11  Hrvoje Niksic  <hniksic@xemacs.org>
 504
 505         * openssl.c (ssl_init): Always use SSL_VERIFY_NONE, so that the
 506         handshake finishes even if the certificate is invalid.  That way
 507         ssl_check_server_identity can provide better diagnostics on why
 508         the verification failed.
 509
 510 2005-05-11  Hrvoje Niksic  <hniksic@xemacs.org>
 511
 512         * openssl.c (pattern_match): New function.
 513         (ssl_check_server_identity): Treat peer certificate common name as
 514         wildcard.
 515
 516 2005-05-10  Hrvoje Niksic  <hniksic@xemacs.org>
 517
 518         * openssl.c (ssl_check_server_identity): Print certificate subject
 519         and issuer.
 520
 521 2005-05-10  Hrvoje Niksic  <hniksic@xemacs.org>
 522
 523         * res.c (res_register_specs): Correctly pass pointers to
 524         hash_table_get_pair.
 525
 526 2005-05-10  Hrvoje Niksic  <hniksic@xemacs.org>
 527
 528         * http.c (gethttp): Call ssl_check_server_identity.
 529
 530         * openssl.c (ssl_check_server_identity): New function, verifies
 531         that the host name in the certificate matches the actual host
 532         name.
 533         (verify_cert_callback): Removed, since it didn't do anything
 534         except returning the preverify_ok argument.
 535
 536         * connect.c (fd_transport_context): Allow retrieval of the context
 537         pointer registered with fd_register_transport.
 538
 539 2005-05-09  Hrvoje Niksic  <hniksic@xemacs.org>
 540
 541         * openssl.c (verify_cert_callback): Renamed from verify_callback.
 542         Always return the received "ok" value.  Print the X509 name in
 543         debug mode.
 544         (ssl_init): Enable partial writes in SSL context.
 545
 546 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
 547
 548         * http.c (http_loop): Check for wildcards in the URL path
 549         component, not in the whole URL.
 550
 551         * ftp.c (ftp_loop): Check for wildcards in URL path before
 552         unescaping, so the users can escape globbing metacharacters with %
 553         escapes.
 554
 555 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
 556
 557         * init.c (run_command): Correctly interpret the return value of
 558         parse_line.
 559         (commands): Re-alphabetize.
 560
 561 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
 562
 563         * netrc.c (parse_netrc): Explicitly check for assignment != NULL
 564         to silence warning from Borland C.
 565
 566         * url.c (sync_path): Don't unnecessarily increment p.
 567         (url_parse): Don't unnecessarily set url_encode to NULL just
 568         prior to return from the function.
 569
 570 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
 571
 572         * log.c (escnonprint_internal): Place variable declarations
 573         before other statements.
 574
 575 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
 576
 577         * html-url.c: Include recur.h.
 578
 579         * http.c (request_new): Define as accepting no args.
 580
 581 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
 582
 583         * url.c (strpbrk_or_eos): Made inline.  Use strchr(s, '\0') for
 584         finding the NUL char position.
 585
 586 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
 587
 588         * url.c (decide_copy_method): Renamed to char_needs_escaping.
 589         Since it now returns only two possible values, change it to return
 590         boolean (int).
 591
 592 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
 593
 594         * ftp-basic.c (ftp_request): Prevent newlines in VALUE causing
 595         inadvertent sending of multiple FTP commands.
 596
 597 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
 598
 599         * url.c (decide_copy_method): Never cause reencode_escapes to
 600         decode % escapes; it is too intrusive and breaks some servers.
 601
 602 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
 603
 604         * http.c (gethttp): When tunnelling SSL traffic over proxy with
 605         CONNECT, we're really talking to the remote server directly.
 606         Because of this, the request-line argument must be the URL path
 607         rather than the whole URL, as it would be when using regular
 608         proxies.
 609         Reported by Charles Lane.
 610
 611 2005-05-06  Hrvoje Niksic  <hniksic@xemacs.org>
 612
 613         * init.c (cmd_spec_useragent): Allow empty User-Agent.
 614
 615         * http.c (gethttp): Don't print "unknown authentication scheme"
 616         for failed Basic authentication.
 617         (SET_USER_AGENT): Don't set user-agent if opt.useragent is empty.
 618         (gethttp): Use alloca for allocation of www_authenticate.
 619
 620 2005-05-06  Hrvoje Niksic  <hniksic@xemacs.org>
 621
 622         * main.c (print_help): Fix wording of --secure-protocol help text.
 623
 624 2005-05-06  Hrvoje Niksic  <hniksic@xemacs.org>
 625
 626         * cmpt.c (strstr): Updated from glibc 2.3.5.
 627
 628 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
 629
 630         * http.c (http_atotm): Zero out the whole struct tm being passed
 631         to strptime.
 632
 633 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
 634
 635         * main.c (main): Propagate option name to setoptval.
 636
 637         * init.c (setoptval): Accept another argument, OPTNAME.  Propagate
 638         that argument as the option name independently of the actual
 639         command, determined by command_by_name(com).
 640
 641 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
 642
 643         * init.c (parse_line): Make the return value indicate whether
 644         there was a syntax error or a setter failed.
 645         (run_wgetrc): Return an indication on whether an error has been
 646         encountered.
 647         (initialize): Abort if there have been errors running either
 648         .wgetrc file.
 649
 650 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
 651
 652         * log.c (copy_and_escape): Slightly reduce code repetition between
 653         the two loops.
 654
 655 2005-05-05  Charles C.Fu  <ccwf@bacchus.com>
 656
 657         * utils.c (proclist): Strip leading slash when calling fnmatch
 658         too, otherwise wildcard comparisons always fail.
 659
 660 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
 661
 662         * utils.c (touch): Set access time to current time.
 663
 664 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
 665
 666         * url.c (url_unescape): Don't unescape %00, it effectively
 667         truncates the string.
 668
 669 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
 670
 671         * log.c (copy_and_escape): Replace the FOR_URI argument with a
 672         slightly more general mechanism for specifying different kinds of
 673         escape.
 674
 675 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
 676
 677         * ftp-basic.c (ftp_response): Fix printing FTP server response.
 678
 679 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
 680
 681         * retr.c (limit_bandwidth_reset): Reset sleep_adjust.
 682         (limit_bandwidth): Don't allow huge "adjustment" values that
 683         result from being suspended for a while.
 684
 685 2005-05-04  Hrvoje Niksic  <hniksic@xemacs.org>
 686
 687         * wget.h: If gettext was found but libtintl.h wasn't, declare
 688         gettext's return type to avoid type mismatches.
 689
 690 2005-05-03  Hrvoje Niksic  <hniksic@xemacs.org>
 691
 692         * url.c (url_parse): Rename label `error' to avoid conflict with
 693         identifier.
 694
 695         * retr.c (fd_read_body): Rename label `out' to avoid conflict with
 696         identifier.
 697         (fd_read_hunk): Use explicit double constant.
 698         (retrieve_from_file): Don't use string concatenation.
 699         (sleep_between_retrievals): Make sure xsleep is called with a
 700         `double' argument.
 701         (no_proxy_match): Define as static, like it is declared.
 702
 703         * progress.c (bar_create): Use 0.0 instead of 0 because K&R
 704         compilers can't automatically promote it.
 705
 706         * http-ntlm.c (ntlm_output): Replace \xHH sequences with \OOO for
 707         the sake of old compilers.
 708
 709         * ftp.c (ftp_loop_internal): Don't use string concatenation.
 710
 711         * http.c (request_send): Use explicit double constants when
 712         calling fd_read and fd_write.
 713         (post_file): Ditto.
 714         (gethttp): Ditto.
 715         (skip_short_body): Ditto.
 716
 717         * ftp-basic.c: When calling fd_write, specify the last argument as
 718         a `double' constant for the sake of K&R compilers which don't see
 719         the prototype and therefore can't promote it to double
 720         automatically.
 721
 722         * cookies.c (cookie_jar_load): Rename abort label to abort_cookie
 723         to avoid name conflict in K&R compilers.
 724
 725 2005-04-29  Hrvoje Niksic  <hniksic@xemacs.org>
 726
 727         * ptimer.c (posix_init): Since we allow _POSIX_MONOTONIC_CLOCK==0,
 728         it is not enough to check for _POSIX_MONOTONIC_CLOCK-0, we must
 729         also check for defined(_POSIX_MONOTONIC_CLOCK).
 730
 731 2005-04-28  Hrvoje Niksic  <hniksic@xemacs.org>
 732
 733         * ftp.c, hash.c, connect.c, host.c, http.c: Remove unreached code,
 734         such as "break" following return or abort.
 735
 736 2005-04-28  Hrvoje Niksic  <hniksic@xemacs.org>
 737
 738         * init.c (commands): Wrap the use of opt.random_file in #ifdef
 739         HAVE_SSL.
 740
 741 2005-04-28  Hrvoje Niksic  <hniksic@xemacs.org>
 742
 743         * http.c (gethttp): Correctly set the user agent.
 744
 745 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
 746
 747         * init.c (cmd_spec_useragent): Free the old value of
 748         opt.useragent before setting the new one.
 749
 750 2005-04-27  Mauro Tortonesi  <mauro@ferrara.linux.it>
 751
 752         * main.c: Map --ftp-password, --http-password and --proxy-password to
 753         the new ftppassword, httppassword and proxypassword commands
 754         respectively.  Document the --user and --password options in the help
 755         string.
 756
 757 2005-04-27  Mauro Tortonesi  <mauro@ferrara.linux.it>
 758
 759         * ftp.c: Add support for --user and --password.
 760
 761         * http.c: Add support for --user and --password.
 762
 763         * init.c: Deprecated ftppasswd, httppasswd, login, passwd and
 764         proxypasswd commands.  Added ftppassword, ftpuser, httppassword,
 765         password, proxypassword and user commands.
 766
 767         * main.c: Renamed --ftp-passwd to --ftp-password.  Added --ftp-user,
 768         --http-password, --password, --proxy-password and --user.  Deprecated
 769         --http-passwd and --proxy-passwd.  Added documentation for new options
 770         and removed documentation for deprecated options in the help string.
 771
 772         * options.h (struct options): Added user and passwd members to handle
 773         --user and --password respectively.  Renamed ftp_acc and ftp_pass
 774         members to ftp_user and ftp_passwd for consistency.
 775
 776 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
 777
 778         * main.c (print_help): Advertise "DER", not "ASN1".
 779
 780 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
 781
 782         * openssl.c (init_prng): Disable the weak random seed by default.
 783
 784         * http.c (gethttp): Simplify SSL initialization; disable SSL when
 785         anything goes wrong with the initialization.
 786
 787         * options.h (struct options): New option opt.random_file.
 788
 789 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
 790
 791         * init.c: Wrap private key commands in IF_SSL.
 792
 793 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
 794
 795         * openssl.c (ssl_init): Ditto.
 796
 797         * options.h (struct options): Allow separate specification of key
 798         type and certificate type.
 799
 800         * init.c (cmd_spec_cert_type): Provide a "der" synonym for "asn1"
 801         certificate encoding.
 802
 803 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
 804
 805         * openssl.c: Renamed "gen_sslfunc.c" to "openssl.c" and
 806         "gen_sslfunc.h" to "openssl.h".  This reflects the intent of
 807         openssl.c encapsulating the OpenSSL-specific code.
 808
 809 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
 810
 811         * init.c: Renamed "closure" (a synonym for context in some
 812         cultures) to "place", which more accurately reflects the usage.
 813
 814 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
 815
 816         * gen_sslfunc.c (ssl_init): Use default locations for loading the
 817         certificate bundles.
 818         (ssl_init_prng): Disable the cryptographically weak PRNG
 819         initialization fallback.
 820
 821         * init.c: Renamed SSL command-line arguments and wgetrc commands.
 822         (defaults): Check the server certificate by default.
 823
 824 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
 825
 826         * cookies.c (cookie_handle_set_cookie): Delete the part of the
 827         path after the trailing slash.
 828
 829         * http.c (gethttp): Call cookie_handle_set_cookie with path that
 830         begins with '/'.
 831
 832 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
 833
 834         * http.c (gethttp): Call skip_short_body only if keep_alive is in
 835         use.
 836         (gethttp): Send the User-Agent header with the CONNECT request as
 837         well.
 838
 839 2005-04-25  Hrvoje Niksic  <hniksic@xemacs.org>
 840
 841         * main.c (option_data): Removed support for the undocumented flag
 842         --use-proxy.
 843
 844 2005-04-25  Hrvoje Niksic  <hniksic@xemacs.org>
 845
 846         * main.c (option_data): Don't treat -Y as a boolean switch; treat
 847         it as a value switch instead, so "-Y off" continues to work.
 848
 849 2005-04-24  Hrvoje Niksic  <hniksic@xemacs.org>
 850
 851         * utils.c (aprintf): Delete unreachable statement.
 852
 853 2005-04-24  Hrvoje Niksic  <hniksic@xemacs.org>
 854
 855         * host.c (cmp_prefer_ipv4): New function.
 856         (cmp_prefer_ipv6): New function.
 857         (lookup_host): Use the appropriate comparator according to
 858         opt.prefer_family.
 859
 860         * init.c: New option prefer_family.
 861
 862         * host.c (is_valid_ipv6_address): Spell NS_* constants in lower
 863         case to avoid clash with system headers.
 864         (lookup_host): Reorder the addresses so that IPv4 ones come first.
 865
 866         * utils.c (stable_sort): New function.
 867
 868 2005-04-24  Hrvoje Niksic  <hniksic@xemacs.org>
 869
 870         * connect.c (retryable_socket_connect_error): Return 0 for
 871         ENETUNREACH and EHOSTUNREACH.
 872
 873 2005-04-23  Hrvoje Niksic  <hniksic@xemacs.org>
 874
 875         * cmpt.c: Reenable the memmove implementation for systems that
 876         lack it.
 877
 878         * http.c (gethttp): Store the "authorized" state of the persistent
 879         connection.
 880         (request_remove_header): New function.
 881         (gethttp): Don't send the "Basic" authentication if the connection
 882         is already authorized.
 883
 884 2005-04-23  Hrvoje Niksic  <hniksic@xemacs.org>
 885
 886         * utils.c (base64_encode): Treat input as unsigned chars.
 887         Required for correct encoding of binary stuff.
 888
 889 2005-04-23  Hrvoje Niksic  <hniksic@xemacs.org>
 890
 891         * http-ntlm.c: Format the function definitions in an
 892         ansi2knr-friendly fashion.
 893
 894 2005-04-22  Hrvoje Niksic  <hniksic@xemacs.org>
 895
 896         * http.c (gethttp): Handle multiple WWW-Authentication headers,
 897         only one of which is recognized.  Those are sent by IIS with NTLM
 898         authorization.
 899         (create_authorization_line): Propagate information whether
 900         authorization is finished.
 901         (gethttp): Only stop authorization when it's really finished, not
 902         after fixed two steps.
 903
 904 2005-04-21  Hrvoje Niksic  <hniksic@xemacs.org>
 905
 906         * gen_sslfunc.c (ssl_init): Fix warning message text; mark the
 907         message as translatable.
 908
 909 2005-04-21  Hrvoje Niksic  <hniksic@xemacs.org>
 910
 911         * main.c (print_help): Print the EGD option outside the cluster of
 912         SSL options.
 913
 914 2005-04-21  Hrvoje Niksic  <hniksic@xemacs.org>
 915
 916         * http-ntlm.c (ntlm_output): Fix setting the domain.
 917         Suggested by Sami Krank.
 918
 919 2005-04-20  Mauro Tortonesi  <mauro@ferrara.linux.it>
 920
 921         * connect.c: Set IPV6_V6ONLY socket option when -6 switch is used.
 922
 923 2005-04-20  FUJISHIMA Satsuki  <sf@FreeBSD.org>
 924
 925         * http.c (request_set_header): Fix the check whether a new header
 926         needs to be allocated.
 927
 928 2005-04-18  Hrvoje Niksic  <hniksic@xemacs.org>
 929
 930         * utils.c (base64_encode): Use the parameter order that makes more
 931         sense.  Return the length of the base64 written.  Updated all
 932         callers.
 933
 934 2005-04-17  Hrvoje Niksic  <hniksic@xemacs.org>
 935
 936         * http.c (request_set_header): Free NAME when VALUE is NULL and
 937         freeing the header name is requested.
 938
 939 2005-04-17  Hrvoje Niksic  <hniksic@xemacs.org>
 940
 941         * snprintf.c (fmtstr): Declare VALUE as const char *.
 942         Based on patch by Russ Allbery.
 943
 944 2005-04-17  Hrvoje Niksic  <hniksic@xemacs.org>
 945
 946         * snprintf.c (fmtfp): More correct handling of significant digit
 947         count with %g -- 0.002 has one significant digit, not three.
 948
 949 2005-04-16  Hrvoje Niksic  <hniksic@xemacs.org>
 950
 951         * retr.c (fd_read_body): Respect read timeout with non-interactive
 952         or no progress gauge -- treat ETIMEDOUT specially only when
 953         progress_interactive.
 954         Reported by FUJISHIMA Satsuki.
 955
 956 2005-04-16  FUJISHIMA Satsuki  <sf@FreeBSD.org>
 957
 958         * http.c (gethttp): Don't use HTTP/1.0 persistent connections over
 959         proxy.
 960
 961 2005-04-16  Hrvoje Niksic  <hniksic@xemacs.org>
 962
 963         * snprintf.c: Use the PARAMS macro to handle prototypes.  Write
 964         function definitions in the ansi2knr-friendly way.
 965         (fmtstr): If string precision is specified, don't read VALUE past
 966         it.
 967         (dopr): Actually print %g and %e formats.
 968         (fmtfp): Fix a bug that caused 0.01 to be printed as 0.1.
 969         (fmtfp): Use LLONG in floating point conversions to be able to
 970         convert more digits.
 971         (fmtfp): Interpret precision as number of significant digits with
 972         %g.
 973         (fmtfp): Omit trailing decimal zeros with %g.
 974
 975         * snprintf.c: Don't include <ctype.h> because none of it is used.
 976         Include strings.h/string.h, as per Autoconf.
 977
 978 2005-04-15  Hrvoje Niksic  <hniksic@xemacs.org>
 979
 980         * ptimer.c: Use _POSIX_TIMERS - 0 > 0, which handles the case when
 981         _POSIX_TIMERS is defined but empty, as well as the case when it is
 982         undefined.  Do the same with the check for _POSIX_MONOTONIC_CLOCK.
 983         Suggested by Larry Jones.
 984
 985 2005-04-15  Hrvoje Niksic  <hniksic@xemacs.org>
 986
 987         * ptimer.c: Check that _POSIX_TIMERS is defined as well as > 0.
 988         Problem reported by Steven M. Schweda.
 989
 990 2005-04-14  Hrvoje Niksic  <hniksic@xemacs.org>
 991
 992         * http.c (skip_short_body): Print the skipped body data in debug
 993         mode.
 994         (skip_short_body): Don't skip more than 4k of body data.
 995         (skip_short_body): Return whether the skipping was successful.
 996         (gethttp): If skip_short_body failed, invalidate the connection.
 997
 998 2005-04-12  Gisle Vanem  <giva@bgnett.no>
 999
1000         * ftp.c (getftp): Ditto.
1001
1002         * http.c (gethttp): Open the output file in binary mode.
1003
1004 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
1005
1006         * hash.c: Conditionalize including config.h on HAVE_CONFIG_H
1007         instead of on STANDALONE.
1008
1009 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
1010
1011         * gen_sslfunc.c (ssl_print_errors): Made static.
1012         (ssl_print_errors): Eliminate potentially dangerous fixed-size
1013         error buffer.  Passing NULL to ERR_error_string causes it to use
1014         its own static buffer, which is fine for our purposes.
1015
1016         * gen_sslfunc.c: Include gen_sslfunc.h.  Make the declarations of
1017         ssl_init and ssl_conect match the actual definitions.
1018         (ssl_connect): Simply return a boolean, the SSL context is no
1019         longer useful as a return value.
1020
1021         * retr.c: Don't include SSL headers; we don't need them.
1022
1023 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
1024
1025         * config-post.h: Don't define _VA_LIST under Solaris; it breaks
1026         compilation with GCC 3.4 under Solaris 10.  (It was defined to
1027         avoid a warning with previous versions of GCC.)
1028
1029 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
1030
1031         * xmalloc.c (register_ptr): Warn the user to increase SZ prior to
1032         aborting.
1033
1034 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
1035
1036         * convert.c (convert_cleanup): Free converted_files.
1037
1038 2005-04-10  Hrvoje Niksic  <hniksic@xemacs.org>
1039
1040         * wget.h (DEBUGP): Use __builtin_expect to give a hint to GCC that
1041         opt.debug is false in the vast majority of cases.
1042
1043 2005-04-10  Hrvoje Niksic  <hniksic@xemacs.org>
1044
1045         * config-post.h: Declare alloca as void *, not char *.
1046
1047 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
1048
1049         * recur.c (download_child_p): When -p is used, (temporarily)
1050         ignore accept/reject rules for HTMLs, even when they are at the
1051         maximum recursion depth.  That is because with -p we are, if
1052         necessary, overstepping the max. depth to get the requisites.
1053
1054 2004-06-12  Larry Jones <lawrence.jones@ugsplm.com>
1055
1056         * recur.c (download_child_p): Correct the logic in check number 6:
1057         test opt.reclevel (not DEPTH) against INFINITE_RECURSION.
1058
1059 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
1060
1061         * url.c: Use "static const" in preference to "const static".
1062         Sun's cc warns that "storage class after type is obsolescent".
1063
1064         * url.c (urlchr_table): Don't mark ~ as unsafe, too many broken
1065         web sites are confused when ~ is changed to %7E.  Their servers
1066         redirect /%7Efoo/ to /~foo/, which Wget again accesses using %7E,
1067         causing further redirections, therefore looping infinitely.  See
1068         Debian bug #301624 for an example.
1069
1070 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
1071
1072         * alloca.c: Include wget.h to be able to use xmalloc.  In addition
1073         to defining malloc to xmalloc, also define free to xfree.
1074
1075 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
1076
1077         * http-ntlm.c (ntlm_output): Use "char", not "unsigned char" for
1078         ntlmbuf.  Our base64 functions accept char anyway.
1079         (ntlm_output): Join up the format string, since we nominally
1080         support K&R compilers.
1081         (ntlm_output): Ditto.
1082
1083 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
1084
1085         * ptimer.c: Use Windows timers under Cygwin, whose POSIX timer
1086         implementation is incomplete.
1087
1088 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
1089
1090         * ptimer.c (struct ptimer): Remove the unused initialized field.
1091
1092         * ptimer.c: Renamed function parameters from WT (which used to
1093         stand for wget_timer or wtimer) to PT.
1094
1095 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
1096
1097         * ptimer.c (posix_init): Be smarter about choosing clocks.  In
1098         decreasing order of preference, use CLOCK_MONOTONIC,
1099         CLOCK_HIGHRES, and CLOCK_REALTIME.
1100         (ptimer_allocate): Removed.
1101
1102         * ptimer.c: Refactor the code by cleanly separating the
1103         architecture-dependent code from the architecture-independent
1104         code.
1105
1106 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
1107
1108         * ptimer.c (ptimer_init): Explicitly check that
1109         _POSIX_MONOTONIC_CLOCK is *both* defined and >=0.  (Undefined
1110         symbols are >=0.)
1111
1112 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
1113
1114         * ptimer.c (ptimer_diff): Fix typo affecting Windows build.
1115
1116 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
1117
1118         * ptimer.c (ptimer_init): In fact, _POSIX_MONOTONIC_CLOCK needs to
1119         be >= 0.
1120
1121         * ptimer.c (ptimer_init): Check whether _POSIX_MONOTONIC_CLOCK is
1122         defined instead of whether it's greater than 0.  glibc defines it
1123         to 0, but still makes it available via sysconf.
1124
1125 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
1126
1127         * mswindows.c (str_to_int64): Rename OVERFLOW and UNDERFLOW to
1128         INT64_OVERFLOW and INT64_UNDERFLOW, since those names are used.
1129
1130 2005-04-07  Hrvoje Niksic  <hniksic@xemacs.org>
1131
1132         * ptimer.c: New file.  Move the "wtimer" functions from utils.c to
1133         this file and rename them to ptimer_.
1134
1135 2005-04-07  Hrvoje Niksic  <hniksic@xemacs.org>
1136
1137         * host.c (NO_ADDRESS): Define NO_ADDRESS only after the system
1138         headers have been included.
1139
1140 2005-04-06  Hrvoje Niksic  <hniksic@xemacs.org>
1141
1142         * http.c (pconn): Include NTLM data, which is per-connection.
1143         (known_authentication_scheme_p): Recognize NTLM authorization.
1144         (create_authorization_line): Call ntlm_input and ntlm_output.
1145
1146         * http-ntlm.c: New file, donated by Daniel Stenberg and originally
1147         written for curl, heavily modified for Wget.
1148
1149         * utils.c (base64_encode): Relocated from http.c, since it is now
1150         used by http-ntlm.c, and will possibly be used elsewhere.
1151         (base64_decode): New function, originally based on code from GNU
1152         recode.
1153
1154 2005-04-02  Hrvoje Niksic  <hniksic@xemacs.org>
1155
1156         * ftp.c (ftp_loop): Ditto.
1157
1158         * ftp-basic.c (ftp_pasv): Use the xzero shorthand for memset(0).
1159         (ftp_lpsv): Ditto.
1160
1161 2005-04-05  Mauro Tortonesi  <mauro@ferrara.linux.it>
1162
1163         * Makefile.in: removed string_t.c from list of source files.
1164
1165 2005-04-04  Mauro Tortonesi  <mauro@ferrara.linux.it>
1166
1167         * string_t.c: Removed.
1168
1169         * string_t.h: Removed.
1170
1171 2005-04-02  Hrvoje Niksic  <hniksic@xemacs.org>
1172
1173         * url.c (rewrite_shorthand_url): Only accept recognized schemes.
1174         That way "foo:80" will correctly be rewritten to "http://foo:80"
1175         instead of left unchanged and ultimately rejected because of
1176         "unsupported scheme foo".
1177
1178 2005-03-31  Hrvoje Niksic  <hniksic@xemacs.org>
1179
1180         * utils.c (number_to_string): Avoid explicit 64-bit constants;
1181         construct them by multiplication at compile-time.
1182
1183         * utils.c, elsewhere: Don't append "L" to 32-bit integer
1184         constants; we aren't really compilable on 16-bit systems anyway.
1185
1186         * hash.c (prime_size): Remove primes larger than 2^31, but include
1187         2^31-1, which is prime.
1188
1189 2005-03-30  Hrvoje Niksic  <hniksic@xemacs.org>
1190
1191         * utils.c (string_set_to_array): New function.
1192
1193         * convert.c: Replace the use of "slists" with sets/hash-tables,
1194         which in fact suit the intended purpose much better.
1195         downloaded_html_list is removed altogether.
1196
1197 2005-03-29  Hrvoje Niksic  <hniksic@xemacs.org>
1198
1199         * ftp.h (enum): Rename GLOBALL, GETALL, and GETONE to
1200         GLOB_GLOBALL, GLOB_GETALL, and GLOB_GETONE to avoid conflict with
1201         Linux headers.
1202
1203 2005-03-29  Hrvoje Niksic  <hniksic@xemacs.org>
1204
1205         * utils.c (numdigit): More correct handling of negative numbers.
1206
1207 2005-03-21  Hrvoje Niksic  <hniksic@xemacs.org>
1208
1209         * http.c (gethttp): Print the human-readable size.
1210
1211         * ftp.c (getftp): Print the human-readable size of the file to be
1212         downloaded.
1213
1214         * utils.c (human_readable): New function.
1215
1216         * utils.c: Renamed "legible" to "with_thousand_seps",
1217         "legible_large_int" to "with_thousand_seps_large", and "legible_1"
1218         to "add_thousand_seps".
1219
1220 2005-03-21  Hrvoje Niksic  <hniksic@xemacs.org>
1221
1222         * http.c (gethttp): Inhibit persistent connections when talking to
1223         proxies, as mandated by RFC 2068.
1224
1225 2005-03-20  Hrvoje Niksic  <hniksic@xemacs.org>
1226
1227         * url.c (unescape_single_char): New function.
1228         (url_escape_dir): Use it to unescape slashes in directory
1229         components.
1230         (url_string): Escape unsafe chars in host name, except for the ':'
1231         charaters, which can appear in IPv6 addresses.
1232
1233         * main.c (main): Don't access the cookie jar directly.
1234
1235         * log.c (escnonprint_internal): Correctly calculate the needed
1236         string size.  Don't forget the buffer's new size after having
1237         reallocated it.
1238         (log_cleanup): New function.  Free the escnonprint ring data.
1239
1240         * init.c (cleanup): Don't free the cookie jar explicitly, it is
1241         now done by http_cleanup.
1242         (cleanup): opt.user_headers is now a vector, free it with
1243         free_vec.
1244
1245         * http.c (gethttp): Make sure to free the request data, the status
1246         message, and the response data before returning from the function.
1247         (save_cookies): New function.
1248         (http_cleanup): Free the cookie jar here.
1249
1250         * hash.c: Renamed string_hash to hash_string and ptrhash to
1251         hash_pointer.  Exported hash_pointer.
1252
1253         * xmalloc.c: Organized malloc_table (previously malloc_debug) as a
1254         simple EQ hash table.  register_ptr and unregister_ptr are now of
1255         O(1) complexity.
1256
1257         * xmalloc.c: Renamed "*_debug" to debugging_* and "*_real" to
1258         checking_*.
1259
1260 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
1261
1262         * utils.c (debug_test_md5): Moved to gen-md5.c.
1263
1264         * mswindows.h: Don't declare inet_ntop, since we don't use it.
1265
1266         * mswindows.h: For consistency, also wrap closesocket, it being
1267         a Winsock call.
1268
1269         * mswindows.h: Don't declare sleep and usleep; we're defining
1270         xsleep now.
1271
1272         * mswindows.h (mkdir): Don't special-case Borland C, _mkdir
1273         works there as well.
1274
1275         * host.c: Don't include winsock header files; the correct ones
1276         are already included by mswindows.h.
1277
1278         * mswindows.c (xsleep): Round toward the nearest millisecond
1279         in an attempt to avoid average short sleeps.
1280
1281         * utils.c (wtimer_granularity): Report correct values for
1282         Windows timers and for high-resolution timers.
1283
1284         * utils.c (wtimer_initialize_once): New function, called to
1285         initialize the timer frequency.
1286
1287         * utils.c: Replace the use of GetSystemTime with high-resolution
1288         counters under Windows.  When high-resolution counters are
1289         unavailable, use GetTickCount().
1290
1291 2005-03-15  Hrvoje Niksic  <hniksic@xemacs.org>
1292
1293         * retr.c (fd_read_body): Undo the 2004-11-18 change.  Instead,
1294         always be "exact".
1295
1296 2005-03-17  Hrvoje Niksic  <hniksic@xemacs.org>
1297
1298         * ftp-basic.c (ftp_login): Don't free the string if ftp_response
1299         returned an error status because the line didn't get allocated in
1300         the first place.
1301
1302 2005-03-15  Hrvoje Niksic  <hniksic@xemacs.org>
1303
1304         * http.c (read_http_response_head): Limit the response size to 64k
1305         bytes.
1306
1307         * retr.c (fd_read_hunk): Accept a MAXSIZE argument that limits the
1308         number of bytes the function is allowed to allocate.
1309         (fd_read_line): Limit the line to 4096 bytes.
1310
1311 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
1312
1313         * wget.h: Include options.h after wgint has been defined.
1314
1315         * options.h (struct options): Declare options processed with
1316         cmd_bytes as wgint, not long.
1317
1318 2005-03-18  Hrvoje Niksic  <hniksic@xemacs.org>
1319
1320         * init.c (cmd_file): Use concat_strings.
1321
1322         * http.c (basic_authentication_encode): Use concat_strings.
1323
1324         * ftp-ls.c (ftp_index): Use concat_strings.
1325
1326         * ftp-basic.c (ftp_request): Use concat_strings.
1327
1328         * utils.c (concat_strings): New function.
1329
1330 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
1331
1332         * init.c (simple_atof): Handle negative numbers; skip whitespace
1333         before the number.
1334         (simple_atoi): Ditto.  Also, check for overflow and underflow.
1335         (cmd_number): Bail out on negative numbers.
1336         (parse_bytes_helper): Ditto.
1337
1338 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
1339
1340         * http.c (gethttp): Handle multiple Set-Cookie headers sent by
1341         remote server.
1342
1343 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
1344
1345         * init.c (defaults): Use passive FTP by default.
1346
1347 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
1348
1349         * mswindows.c: Provide wrappers to Winsock functions that set
1350         errno to WSAGetLastError() in case of failure.  Also provide a
1351         Windows-specific version of strerror.
1352
1353         * mswindows.h: Wrap calls to socket, bind, connect, recv, send,
1354         select, getsockname, getpeername, and setsockopt.
1355
1356 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
1357
1358         * url.c (url_parse): Reject port numbers larger than 65535.  We
1359         also check for overflow while parsing port numbers.
1360
1361 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
1362
1363         * utils.c (read_file): Don't use wgint for file size; LFS won't
1364         work since the file is mmap'ed as a whole.
1365
1366         * options.h: Don't include stdio.h.
1367
1368         * log.c: Ditto.
1369
1370         * init.c: Disambiguate assignment from non-zero test to avoid
1371         Borland C warning.
1372
1373         * http.c (response_new): Don't needlessly post-increment count.
1374
1375         * hash.c: Include stdio.h.
1376
1377         * gnu-md5.h: Don't include stdio.h.
1378
1379         * getopt.h (struct option): Always use const.
1380
1381         * ftp.c (getftp): Avoid unnecessary assignment to RES to avoid
1382         Borland C warning.
1383
1384         * ftp-ls.c: Disambiguate assignment from non-zero test to avoid
1385         Borland C warning.
1386
1387         * cmpt.c (strptime_internal): Don't initialize rp_backup when
1388         !_NL_CURRENT to avoid Borland C warning.
1389
1390 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
1391
1392         * utils.c (fopen_excl): Fix parse error when O_BINARY is
1393         available.
1394
1395 2005-03-05  Hrvoje Niksic  <hniksic@xemacs.org>
1396
1397         * url.c (url_file_name): Don't allow hosts named ".." to be
1398         appended as path elements.
1399
1400 2005-03-03  Hrvoje Niksic  <hniksic@xemacs.org>
1401
1402         * retr.c (retrieve_url): Escape location header.
1403
1404         * http.c (print_server_response_1): Escape server response when
1405         printing it.
1406         (gethttp): Escape host name, status message, location header, and
1407         content type.
1408         (http_loop): Escape error message from server.
1409
1410         * host.c (lookup_host): Escape host name when printing it.
1411
1412         * ftp.c (getftp): Escape user name when printing it.
1413         (getftp): Escape remote file and directory for printing.
1414         (getftp): Escape server listing when printing it.
1415         (ftp_retrieve_list): Escape link name and file name.
1416         (ftp_retrieve_glob): Escape file name.
1417
1418         * ftp-basic.c (ftp_response): Escape server response when printing
1419         it.
1420
1421         * cookies.c (parse_set_cookies): Escape the cookie field when
1422         printing it.
1423         (parse_set_cookies): Escape contents of remote header.
1424         (cookie_handle_set_cookie): Escape host name and cookie domain.
1425
1426         * connect.c (connect_to_ip): Escape the host name.
1427
1428         * log.c (escnonprint): New function, used for printing strings
1429         coming from the server that possibly contain non-ASCII characters.
1430         (escnonprint_uri): Ditto.
1431
1432 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
1433
1434         * ftp.c (getftp): Ditto.
1435
1436         * http.c (gethttp): When we're not supposed to overwrite files,
1437         use fopen_excl to open the file and recompute the file name.
1438
1439         * log.c (redirect_output): Use unique_create to avoid a race
1440         condition.
1441
1442         * mswindows.c (fake_fork_child): Use unique_create.
1443
1444         * utils.c (fopen_excl): New function that opens a stdio stream
1445         with the O_EXCL flag (where available).
1446         (unique_create): New function, like unique_name, but also creating
1447         the file and returning a file pointer.
1448         (fork_to_background): Use unique_create to create the file
1449         immediately to avoid race condition with multiple instances of
1450         wget -b.
1451
1452 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
1453
1454         * host.c (lookup_host): Test for AI_ADDRCONFIG directly, instead
1455         of checking for HAVE_GETADDRINFO_AI_ADDRCONFIG.
1456
1457 2005-02-23  Hrvoje Niksic  <hniksic@xemacs.org>
1458
1459         * host.c (is_valid_ipv6_address): Move here from url.c.
1460         (lookup_host): If the address is numeric, don't print the
1461         "resolving..." line, don't set up DNS timeouts, and set the
1462         AI_NUMERICHOST hint, where available.
1463
1464 2005-02-26  Gisle Vanem  <giva@bgnett.no>
1465
1466         * utils.c: Use the nnnLL syntax under GCC.  Define struct_stat to
1467         struct _stati64 under __MINGW32__ as well as under MS VC.
1468
1469 2005-02-26  Hrvoje Niksic  <hniksic@xemacs.org>
1470
1471         * utils.c: Use the nnnI64 syntax for __int64 constants under all
1472         Windows compilers.
1473         (SPRINTF_WGINT): Use "%I64" under all Windows compilers.
1474
1475         * mswindows.h (WGINT_MAX): Use the nnnI64 syntax for
1476         __int64 constants under all Windows compilers.
1477         (struct_stat): Use `struct stati64' under Borland C.
1478         (fstat): Don't redefine to _fstati64 under Borland.
1479
1480         * mswindows.c: Define str_to_int64 under Borland C as well as
1481         under (older) Visual C.
1482
1483 2005-02-25  Hrvoje Niksic  <hniksic@xemacs.org>
1484
1485         * ftp.c (getftp): Initialize err to suppress compiler warning.
1486
1487 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
1488
1489         * ftp.c (ftp_expected_bytes): Fix bug that caused infloop because
1490         of not correctly skipping the '(' character.
1491
1492 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
1493
1494         * mswindows.c (wget_ftello): Removed.
1495
1496         * mswindows.h: Remove bogus definition of stat.
1497         (wget_ftello): Remove the leftover ftello replacement.
1498
1499 2005-02-20  Hrvoje Niksic  <hniksic@xemacs.org>
1500
1501         * mswindows.c (wget_ftello): Wget's replacement for ftello.
1502
1503         * utils.c (file_size): Use ftello where available.
1504
1505         * ftp-ls.c (ftp_parse_unix_ls): Use str_to_wgint to parse the file
1506         size.
1507         (ftp_parse_winnt_ls): Ditto.
1508
1509         * ftp-basic.c (ftp_size): Use str_to_wgint to convert number to
1510         wgint; pass 10 instead of 0 as the BASE argument.
1511
1512         * ftp.c (ftp_expected_bytes): Use str_to_wgint to parse the file
1513         size.
1514
1515         * sysdep.h (LARGE_INT_FMT): Use __int64 as LARGE_INT on
1516         MSVC/Windows; print it with "%I64".
1517
1518         * wget.h: Define a `wgint' type, normally aliased to (the possibly
1519         64-bit variant of) off_t.
1520
1521         * all: Use `wgint' instead of `long' for numeric variables that
1522         can hold file sizes.
1523
1524         * utils.c (number_to_string): Support printing of `wgint'
1525         argument.
1526         (number_to_static_string): New function.
1527
1528         * all: Replace printf("%ld", long_value) with printf("%s",
1529         number_to_static_string(wgint_value)).
1530
1531 2005-02-18  Mauro Tortonesi <mauro@ferrara.linux.it>
1532
1533         * main.c: Added the --ftp-passwd command line option.
1534
1535         * init.c: Renamed command passwd to ftppasswd.
1536
1537 2005-02-11  Mauro Tortonesi <mauro@ferrara.linux.it>
1538
1539         * string_t.c: Fixed a bug in do_escape and triggered escape of
1540         backslashes in string_escape to avoid ambiguities in the result
1541         string.
1542
1543 2005-02-10  Mauro Tortonesi <mauro@ferrara.linux.it>
1544
1545         * string.h: Renamed to string_t.h to fix a compilation conflict
1546         with the string.h header in the standard C library.
1547
1548         * string.c: Renamed to string_t.c for consistency with string.h.
1549
1550         * string_t.c: Ditto.
1551
1552         * string_t.h: Ditto.
1553
1554 2004-12-31  Mauro Tortonesi <mauro@ferrara.linux.it>
1555
1556         * string.c: New file.
1557
1558         * string.h: New file.
1559
1560         * Makefile.in: Added string.c to the list of modules to compile.
1561
1562         * main.c: Updated copyright.
1563
1564 2004-11-18  Ulf Harnhammar <ulf.harnhammar.9485@student.uu.se>
1565
1566         * ftp-ls.c: Fixed a problem in ftp_parse_winnt_ls that could allow a
1567         malicious remote FTP server to crash wget.
1568
1569 2004-11-18  Hans-Andreas Engel <engel@node.ch>
1570
1571         * http.c: Enable --convert-links (-k) when a single page is downloaded
1572         via --output-document (-O).
1573
1574 2004-11-18  Mauro Tortonesi <mauro@deepspace6.net>
1575
1576         * connect.c: Minor correction to the comment in front of fd_peek.
1577
1578 2004-11-18  Leonid Petrov <nouser@lpetrov.net>
1579
1580         * retr.c: Fix a timeout problem in fd_read_body when using http_proxy.
1581
1582 2004-11-15  YAMAZAKI Makoto <Yamazaki.Makoto@fujixerox.co.jp>
1583
1584         * netrc.c: Fix termination by assertion bug in netrc parsing.
1585
1586 2004-05-09  David Fritz  <zeroxdf@att.net>
1587
1588         * mswindows.c (fake_fork): Pass entire command line to the child
1589         process.
1590
1591 2004-03-31  Hrvoje Niksic  <hniksic@xemacs.org>
1592
1593         * http.c (gethttp): Fix typo: SCHEME_SSL -> SCHEME_HTTPS.
1594
1595 2004-03-30  Hrvoje Niksic  <hniksic@xemacs.org>
1596
1597         * http.c (gethttp): Send the Proxy-Authorization header over
1598         non-SSL connections too.
1599
1600 2004-03-25  David Fritz  <zeroxdf@att.net>
1601
1602         * mswindows.c (fake_fork_child): Ignore error code when
1603         OpenFileMapping() fails; assume it failed because the object does
1604         not exist.
1605
1606 2004-03-24  David Fritz  <zeroxdf@att.net>
1607
1608         * mswindows.c (fake_fork): New function.
1609
1610         * mswindows.c (fork_to_background): Use it.
1611
1612 2004-03-19  David Fritz  <zeroxdf@att.net>
1613
1614         * mswindows.c (ws_hangup): Incorporate old fork_to_background()
1615         code.  Add event name argument.
1616         (fork_to_backgorund): Now a simple wrapper around ws_hangup().
1617         (ws_handler): Correctly handle the case when neither CTRLC_BACKGND
1618         nor CTRLBREAK_BACKGND are defined.  Don't bother handling close,
1619         logoff, or shutdown events.  Call ws_hangup() with the correct
1620         event name; don't assume it was CTRL+Break.
1621
1622 2004-03-19  Hrvoje Niksic  <hniksic@xemacs.org>
1623
1624         * url.c (url_parse): Decode %HH sequences in host name.
1625
1626 2004-03-04  Hrvoje Niksic  <hniksic@xemacs.org>
1627
1628         * convert.c (local_quote_string): Quote "#" as "%23" and "%" as
1629         "%25" when creating links to local files.
1630
1631 2004-03-02  David Fritz  <zeroxdf@att.net>
1632
1633         * mswindows.c (ws_percenttitle): Guard against future changes by
1634         doing nothing if the proper variables have not been initialized.
1635         Clamp percentage value.
1636
1637 2004-03-04  Gisle Vanem  <giva@bgnett.no>
1638
1639         * retr.c (fd_read_body): Don't change console title if quiet.
1640
1641 2004-02-25  David Fritz  <zeroxdf@att.net>
1642
1643         * mswindows.c (set_sleep_mode): Remove argument and return value.
1644         Call GetModuleHandle() instead of LoadLibrary()/FreeLibrary() for
1645         kernel32.dll.  Use typedef for function-pointer.  Don't cast
1646         l-value.  Don't use dereference operator when calling through
1647         function-pointer.
1648         (ws_startup): Update call to set_sleep_mode().
1649         (ws_cleanup): Remove call to set_sleep_mode().
1650
1651 2004-02-23  David Fritz  <zeroxdf@att.net>
1652
1653         * http.c (http_loop): Ditto.
1654
1655         * ftp.c (ftp_loop_internal): Update call to ws_changetitle().
1656
1657         * main.c (main): Don't bother calling ws_changetitle().
1658
1659         * mswindows.h (ws_changetitle): Update prototype.
1660
1661         * mswindows.c (ws_changetitle): Remove second argument.  Use
1662         xfree_null().
1663         (ws_percenttitle): Only update title when percentage has changed.
1664
1665 2004-02-23  David Fritz  <zeroxdf@att.net>
1666
1667         * mswindows.h: Ditto.
1668
1669         * mswindows.c: Misc. formatting/comment tweaks throughout.
1670
1671 2004-02-20  David Fritz  <zeroxdf@att.net>
1672
1673         * main.c (print_help): Remove call to ws_help().
1674
1675         * mswindows.c (ws_help): Remove.
1676
1677         * mswindows.h (ws_help): Remove.
1678
1679 2004-02-16  David Fritz  <zeroxdf@att.net>
1680
1681         * init.c (home_dir): Use aprintf() instead of xmalloc()/sprintf().
1682         Under Windows, if $HOME is not defined, use the directory that
1683         contains the Wget binary instead of hard-coded `C:\'.
1684         (wgetrc_file_name): Under Windows, look for $HOME/.wgetrc then, if
1685         not found, look for wget.ini in the directory of the Wget binary.
1686
1687         * mswindows.c (ws_mypath): Employ slightly more robust methodology.
1688         Strip trailing path separator.
1689
1690 2004-02-06  Hrvoje Niksic  <hniksic@xemacs.org>
1691
1692         * http.c (gethttp): Respect --ignore-length.
1693         (gethttp): Inhibit keep-alive if --ignore-length is specified.
1694
1695 2004-02-06  Hrvoje Niksic  <hniksic@xemacs.org>
1696
1697         * connect.c (sockaddr_set_data): Zero out
1698         sockaddr_in/sockaddr_in6.  Apparently BSD-derived stacks need this
1699         when binding a socket to local address.
1700
1701 2004-02-04  Hrvoje Niksic  <hniksic@xemacs.org>
1702
1703         * hash.c: Make the file compilable outside Wget source tree when
1704         -DSTANDALONE is used.
1705
1706 2004-01-29  Hrvoje Niksic  <hniksic@xemacs.org>
1707
1708         * utils.c (determine_screen_width): Return 0 if not running on
1709         Windows or on a TIOCGWINSZ-capable system.
1710
1711 2004-01-28  David Fritz  <zeroxdf@att.net>
1712
1713         * utils.c (determine_screen_width): Correctly determine console
1714         width under Windows.
1715
1716 2004-01-28  Christian Biere  <christianbiere@gmx.de>
1717
1718         * progress.c (bar_set_params): Fixed syntax error when HAVE_ISATTY
1719         was undefined.
1720
1721         * ftp.c (ftp_loop_internal): Allocate a larger buffer in case
1722         "try" gets translated to something large.  Ditto in http_loop in
1723         http.c.
1724
1725         * http.c (response_header_copy): Don't write to buf[BUFSIZE].
1726
1727         * ftp-opie.c (skey_response): Eliminate unnecessary string
1728         concatenation; just call gen_md5_update twice.
1729
1730 2004-01-25  Hrvoje Niksic  <hniksic@xemacs.org>
1731
1732         * utils.c (xsleep): Don't call usleep with values larger than
1733         1,000,000.
1734
1735 2003-12-16  Hrvoje Niksic  <hniksic@xemacs.org>
1736
1737         * http.c (gethttp): Fix generation of `Content-Length'.
1738
1739 2003-12-15  Gisle Vanem  <giva@bgnett.no>
1740
1741         * url.c (url_skip_credentials): Fixed return value; 'url' if no
1742         credentials.
1743
1744 2003-12-14  Hrvoje Niksic  <hniksic@xemacs.org>
1745
1746         * url.c (url_skip_credentials): Return a pointer directly.
1747
1748 2003-12-14  Hrvoje Niksic  <hniksic@xemacs.org>
1749
1750         * url.c (url_file_name): Ditto.
1751         (parse_errors): Ditto.
1752
1753         * retr.c (retr_rate): Ditto.
1754
1755         * progress.c (create_image): Ditto.
1756
1757         * netrc.c (parse_netrc): Ditto.
1758
1759         * main.c (struct cmdline_option): Ditto.
1760         (redirect_output_signal): Ditto.
1761
1762         * init.c (commands): Ditto.
1763
1764         * ftp-ls.c (ftp_index): Ditto.
1765
1766         * cookies.c (check_domain_match): Declare the pointer to a literal
1767         string as `const'.
1768
1769 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
1770
1771         * retr.c (fd_read_body): Pass total size to progress_create, not
1772         the remaining amount.
1773
1774 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
1775
1776         * retr.c (fd_read_body): Don't fiddle with "interactive timeout"
1777         if read timeout is unset.
1778
1779 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
1780
1781         * connect.c (bind_local): Don't set the IPV6_V6ONLY option on the
1782         socket.
1783
1784 2003-12-06  Hrvoje Niksic  <hniksic@xemacs.org>
1785
1786         * url.c (url_file_name): Respect the setting of
1787         opt.protocol_directories.
1788
1789         * main.c (main): Only check for ret=='?' when longindex is unset.
1790         (option_data): New option --protocol-directories.
1791
1792 2003-12-06  Hrvoje Niksic  <hniksic@xemacs.org>
1793
1794         * ftp.c (getftp): Ditto.
1795
1796         * http.c (gethttp): Correctly calculate bandwidth as total data
1797         read divided with download time.
1798
1799         * retr.c (fd_read_body): Separate the return values for data
1800         written and read.
1801
1802 2003-12-05  Hrvoje Niksic  <hniksic@xemacs.org>
1803
1804         * http.c (H_REDIRECTED): Respect the HTTP/1.1 "303 See Other"
1805         response code.
1806         Suggested by Dan Razzell.
1807
1808 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
1809
1810         * retr.c (fd_read_body): Report the amount of data *written* as
1811         amount_read.  This is not entirely logical, but that's what the
1812         callers expect, and it's not easy to change.
1813
1814         * ftp.c (ftp_loop_internal): Ditto.
1815
1816         * http.c (http_loop): Be smarter about assigning restval; if we're
1817         in the nth pass of a download, simply use the information we have
1818         about how much data has been retrieved as restval.
1819
1820         * ftp.c (getftp): Ditto for FTP "REST" command.
1821
1822         * http.c (gethttp): When the server doesn't respect range, skip
1823         the first RESTVAL bytes of the read body.  Never truncate the
1824         output file.
1825
1826         * retr.c (fd_read_body): Support skipping initial STARTPOS octets.
1827
1828 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
1829
1830         * http.c (skip_short_body): Renamed skip_body to skip_short_body;
1831         don't bother calling fd_read_body.
1832
1833 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
1834
1835         * retr.c (fd_read_body): Sanitize arguments and document them
1836         better.  Make sure the timer is created and updated only if
1837         necessary.  Updated callers.
1838
1839 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
1840
1841         * http.c (skip_body): New function.
1842         (gethttp): Use it to skip the body of the responses we don't care
1843         to download.  That allows us to reuse the connection.
1844         (gethttp): Trust that the HEAD requests will not generate body
1845         data.
1846
1847         * retr.c (fd_read_body): Don't write to OUT if it's NULL.
1848
1849 2003-11-29  Hrvoje Niksic  <hniksic@xemacs.org>
1850
1851         * http.c (gethttp): Initialize SSL only the first time when SSL
1852         URL is downloaded.
1853
1854 2003-11-29  Hrvoje Niksic  <hniksic@xemacs.org>
1855
1856         * cookies.c (cookie_header): Only generate the contents of the
1857         header, not the leading "Cookie: " or the trailing "\r\n".
1858
1859         * http.c (gethttp): When adding headers specified with `--header',
1860         allow them to override the headers generated by Wget.
1861
1862         * init.c (cmd_spec_header): Made opt.user_headers a vector.
1863
1864         * http.c (request_new): New function.  Returns a request structure
1865         which can be modified in various ways, most notably by adding HTTP
1866         headers to the request.
1867         (request_set_header): New function for adding the header to the
1868         request.  If the header is already available, it gets replaced.
1869         (request_send): Construct and send the request.
1870         (gethttp): Use the request_* functions to generate the request.
1871
1872 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
1873
1874         * http.c (gethttp): Don't include the Proxy-Authorization header
1875         in the request tunneled through proxy.
1876
1877 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
1878
1879         * http.c (gethttp): Use the CONNECT handle to establish SSL
1880         passthrough through non-SSL proxies.
1881
1882 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
1883
1884         * init.c: Don't #include netinet/Winsock stuff.
1885
1886 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
1887
1888         * http.c: Deleted the old functions header_process,
1889         header_extract_number, header_exists, header_strdup,
1890         http_process_range, http_process_none, http_process_type, and
1891         http_process_connection.
1892
1893         * http.c (response_new): New function.
1894         (response_header_bounds): Ditto.
1895         (response_header_copy): Ditto.
1896         (response_header_strdup): Ditto.
1897         (response_status): Ditto.
1898         (gethttp): Use the new response_* functions to parse the response.
1899         Support HTTP/0.9 responses.
1900
1901 2003-11-27  Hrvoje Niksic  <hniksic@xemacs.org>
1902
1903         * progress.c (create_image): Don't calculate ETA if nothing has
1904         been downloaded yet, because it causes division by zero.
1905
1906 2003-11-27  Hrvoje Niksic  <hniksic@xemacs.org>
1907
1908         * connect.c (bind_local): Rename sa_len to addrlen because IRIX
1909         headers define sa_len as a macro.
1910
1911 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
1912
1913         * html-parse.c (convert_and_copy): Remove embedded newlines when
1914         AP_TRIM_BLANKS is specified.
1915
1916 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
1917
1918         * ftp.c: Set con->csock to -1 where rbuf_uninitialize was
1919         previously used.
1920
1921 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
1922
1923         * Makefile.in (http$o): Added the trailing backslash that was
1924         missing.
1925
1926 2003-11-21  Hrvoje Niksic  <hniksic@xemacs.org>
1927
1928         * headers.c: Removed.  The file is no longer relevant, now that no
1929         special handling of headers is done by the rbuf code.  Moved
1930         portions to http.c.
1931
1932 2003-11-21  Hrvoje Niksic  <hniksic@xemacs.org>
1933
1934         * rbuf.c: Removed.
1935
1936         * ftp-basic.c (ftp_response): Use fd_read_line.  No longer use
1937         struct rbuf.  Updated all callers.
1938
1939         * http.c (gethttp): Use fd_read_head to read all the headers in
1940         one go.
1941         (next_header): New function.
1942
1943         * retr.c (fd_read_line): New function: reads a line from FD,
1944         leaving the rest of the data unread.
1945         (fd_read_head): New function.
1946
1947         * connect.c (fd_peek): New function, implements peeking.
1948         (poll_internal): New function.
1949         (fd_read): Use it.
1950         (fd_write): Ditto.
1951         (fd_peek): Ditto.
1952         (fd_register_transport): Allow registering a "peeker" callback.
1953
1954 2003-11-20  Hrvoje Niksic  <hniksic@xemacs.org>
1955
1956         * connect.c: Renamed xread/xwrite/xclose to
1957         fd_read/fd_write/fd_close.  The "x" prefix is not appropriate
1958         because the semantics have diverged from read/write/close too
1959         significantly.  Updated all callers.
1960
1961 2003-11-20  Hrvoje Niksic  <hniksic@xemacs.org>
1962
1963         * connect.c (sock_write): It's not necessary to initialize RES.
1964
1965 2003-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
1966
1967         * main.c (main): Don't reference opt.ipv4_only and opt.ipv6_only
1968         if IPv6 is disabled.
1969
1970 2003-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
1971
1972         * connect.c (socket_has_inet6): Only compile it if IPv6 is enabled
1973         and AI_ADDRCONFIG is missing.
1974
1975 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
1976
1977         * gen_sslfunc.c (ssl_init_prng): Warn the user when using a weak
1978         random seed.
1979
1980 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
1981
1982         * host.c (address_list_contains): Renamed address_list_find to
1983         address_list_contains because its result is boolean.
1984
1985 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
1986
1987         * connect.c (select_fd): Return 1 if select is not available.
1988
1989 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
1990
1991         * connect.c (connect_to_host): Don't reference address list after
1992         releasing it.
1993
1994 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
1995
1996         * main.c (print_help): Fix alignment of FTP options output.
1997
1998 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
1999
2000         * host.c (lookup_host): Check for the ability to create IPv6
2001         sockets here.
2002
2003         * init.c (defaults): Don't auto-set --inet4-only on IPv6-less
2004         systems.
2005
2006 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
2007
2008         * main.c (print_help): Fix typo in `-O' help message.  Fix docs of
2009         -Y/--proxy.  Fix docs of `--cookies' and `--glob'.  Improve docs
2010         of --convert-links.  Fix docs of SSL options.
2011
2012 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
2013
2014         * ftp-basic.c: Don't include <arpa/inet.h> and others because
2015         they're no longer needed.
2016
2017 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
2018
2019         * main.c (main): Don't allow setting of both opt.ipv4_only and
2020         opt.ipv6_only.
2021
2022         * init.c (defaults): Mark opt.ipv4_only specially when set
2023         automatically.
2024
2025 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
2026
2027         * host.c (lookup_host): Use AI_ADDRCONFIG only if the family is
2028         unspecified.  This ensures that specifying `--no-inet4' on systems
2029         where IPv6 resolves, but doesn't work behaves the same regardless
2030         of the availability of AI_ADDRCONFIG.
2031
2032 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
2033
2034         * host.c: Don't refer to the now-removed function
2035         forget_host_lookup in the documentation of lookup_host.
2036
2037 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
2038
2039         * http.c (persistent_available_p): Correctly specify the endpoint
2040         argument to socket_ip_address.
2041         (gethttp): When printing the "reusing connection to..." message,
2042         specify the host name of the reused connection, not the current
2043         host name.  That makes more sense because it provides a useful
2044         piece of information -- we know to which host we're supposed to
2045         connect anyway!
2046
2047 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
2048
2049         * init.c: Make sure the options are in alphabetic order!
2050
2051         * host.c (lookup_host): Merge lookup_host_passive and lookup_host
2052         after all -- having both would result in some code duplication.
2053         (lookup_host): Set hints.ai_family to AF_INET if ipv4_only is
2054         requested.  Likewise, set it to AF_INET6 for ipv6_only.  Specify
2055         AI_ADDRCONFIG where available.
2056         (lookup_host): New flag LH_REFRESH that specifies that a cached
2057         entry for HOST should be refreshed.
2058         (cache_query): New function.
2059         (cache_store): Ditto.
2060         (cache_remove): Ditto.
2061         (forget_host_lookup): No longer necessary, replaced with static
2062         function cache_remove.
2063
2064 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
2065
2066         * main.c: Enable -4 and -6 only if IPv6 is enabled.
2067
2068 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
2069
2070         * connect.c (register_transport): Renamed from register_extended.
2071         Explain the intended usage.
2072
2073 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
2074
2075         * url.c (uri_merge): Merging "foo" and "bar" should result in
2076         "bar", not in "foo/bar".
2077         (path_simplify): Don't remove empty path elements; don't
2078         special-case leading slash.
2079         (path_simplify): Don't swallow ".."'s at the beginning of string.
2080         E.g. simplify "foo/../../bar" as "../bar", not as "bar".
2081         (append_uri_pathel): Defang ".." path element upon encountering
2082         it.
2083
2084 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
2085
2086         * http.c (persistent_available_p): Don't attempt to talk to two
2087         different SSL sites over the same secure connection.
2088
2089 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
2090
2091         * http.c (gethttp): Ditto.
2092
2093         * ftp.c (getftp): Use retryable_socket_connect_error instead of
2094         CONNECT_ERROR.
2095
2096         * wget.h (CONNECT_ERROR): Removed.
2097
2098         * connect.c (retryable_socket_connect_error): New function instead
2099         of unsupported_socket_family_error.
2100
2101 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
2102
2103         * wget.h (CONNECT_ERROR): Use it.
2104
2105         * connect.c (unsupported_socket_family_error): New function.
2106
2107 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
2108
2109         * connect.c (bind_local): Renamed bindport to bind_local; return
2110         the socket directly.  Updated callers.
2111         (accept_connection): Renamed acceptport to accept_connection;
2112         return the created socket directly.  Updated callers.
2113
2114 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
2115
2116         * init.c (defaults): Turn on opt.ipv4_only if we're compiling with
2117         IPv6, and AI_ADDRINFO is not available, and AF_INET6 sockets can't
2118         be created.
2119
2120 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
2121
2122         * host.c (lookup_host): Document the fact that the addresses are
2123         returned in order.
2124
2125 2003-11-12  Hrvoje Niksic  <hniksic@xemacs.org>
2126
2127         * utils.c: Use limits.h only where available.
2128
2129         * hash.c: Use INVALID_PTR and INVALID_PTR_BYTE.  Include limits.h.
2130
2131 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
2132
2133         * main.c: Added options --inet4-only and --inet6-only.
2134
2135 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
2136
2137         * host.c (host_errstr): Use the more standard message "Unknown
2138         host".
2139
2140 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
2141
2142         * connect.c (connect_to_host): Use that flag to decide whether to
2143         re-resolve the host name.
2144
2145         * host.c (struct address_list): Added a flag that maintains
2146         whether the connection worked at some point.
2147
2148 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
2149
2150         * host.c (lookup_host): Special-case the numeric addresses only in
2151         the non-IPv6 case.
2152
2153 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
2154
2155         * connect.c (resolve_bind_address): Call lookup_host_passive.
2156         Make sure that opt.bind_address is resolved only once.
2157
2158         * host.c (lookup_host_passive): New function, handles "passive"
2159         lookups.
2160         (lookup_host): Remove the passive flags.  Remove the
2161         family-related flags -- use ip_default_family instead.
2162
2163 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
2164
2165         * html-url.c: Get URLs from <object data="...">.
2166
2167 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
2168
2169         * main.c (option_data): Specify the command to use for --mirror.
2170
2171 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2172
2173         * cookies.c (cookie_handle_set_cookie): Specify exact match for
2174         unspecified domains.
2175
2176 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2177
2178         * main.c (main): Removed one-letter options `-C', `-g', `-G', and
2179         `-s'.
2180
2181 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2182
2183         * main.c (main): Add --dont-remove-listing for backward
2184         compatibility with previous versions.
2185         (print_help): Fix typo, spotted by Dennis Smit.
2186
2187 2003-11-08  Gisle Vanem  <giva@bgnett.no>
2188
2189         * ftp-basic.c: Support Windows-2000 ftp servers. Win-2000 *is*
2190         Win-NT 5.0 so calling it ST_WINNT is okay I guess.
2191
2192 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2193
2194         * progress.c (update_speed_ring): Clear the speed ring when the
2195         download stalls.
2196
2197         * retr.c (get_contents): Specify 0.95s read timeout, so that the
2198         progress gauge can be updated even when data arrives very slowly
2199         or stalls.
2200
2201 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2202
2203         * utils.c (wtimer_allocate): Bless the use of wtimer_read on a
2204         timer that has merely been allocated because get_contents() does
2205         that.
2206         (wtimer_update): Abort if the timer is not initialized.
2207
2208 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2209
2210         * retr.c (get_contents): Pass the timer to limit_bandwidth().
2211
2212         * utils.c (wtimer_update): New function instead of wget_elapsed;
2213         just update the timer, but don't return anything.
2214         (wtimer_read): Read and return the last known value of the timer.
2215
2216 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2217
2218         * http.c (persistent_available_p): Instead of matching all the
2219         addresses of HOST and last host, determine the peer's IP address
2220         with socket_ip_address and see if that address is one of those
2221         HOST resolves to.
2222
2223         * host.c (address_list_match_all): Removed.
2224         (address_list_find): New function, finds an IP address in the
2225         address list.
2226
2227         * ftp.c (ftp_do_pasv): Get the peer's address here, and pass it to
2228         ftp_epsv so it doesn't need to call getpeername.
2229
2230         * ftp-basic.c (ftp_port): Use socket_ip_address instead of
2231         getpeername.
2232         (ftp_lprt): Ditto.
2233
2234         * connect.c (socket_ip_address): Replaces conaddr, generalized to
2235         either get peer's or local address.
2236         (sockaddr_get_data): Made local to this file.
2237
2238 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2239
2240         * hash.c (HASH_POSITION): Explicitly accept the hash function.
2241         (grow_hash_table): Extract ht->hash_function outside the loop.
2242         (hash_table_remove): Ditto.
2243         (hash_table_clear): Fill entries with 0xff to clear them.
2244         (hash_table_remove): Mark entries as deleted with the correct
2245         marker.
2246
2247 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2248
2249         * http.c (persistent_available_p): No reason for the host lookup
2250         to be silent -- it's a lookup like any other.
2251
2252 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2253
2254         * connect.c (register_extended): Check that fd >= 0.
2255
2256 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
2257
2258         * connect.c (LAZY_RETRIEVE_INFO): Set LAST_INFO.
2259
2260 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
2261
2262         * hash.c (NON_EMPTY): Use the all-bit-set value as the marker that
2263         the field is empty.  This allows NULL pointer and 0 value to be
2264         used as keys, which is necessary for the connect.c code to work
2265         when fd==0.
2266         (hash_table_new): Fill mappings with 0xff.
2267         (grow_hash_table): Ditto.
2268
2269 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
2270
2271         * url.c (url_parse): Allow empty ports.
2272
2273 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
2274
2275         * main.c (print_help): Break the help string into multiple chunks.
2276         (cmdline_option): New option handler OPT_FUNCALL.  Generalized
2277         HANDLE_CMD to generic DATA.
2278         (option_data): Use the new OPT_FUNCALL feature.
2279
2280 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
2281
2282         * log.h: Declare log_init, log_close, and
2283         log_request_redirect_output here.
2284
2285 2003-11-05  Dennis Smit  <ds@nerds-incorporated.org>
2286
2287         * main.c: (main): added --preserve-permissions option.
2288
2289         * ftp.c (ftp_retrieve_list): added support for
2290         --preserve-permissions option.
2291
2292         * init.c: added support for --preserve-permission option.
2293
2294         * option.h: added support for --preserve-permission option.
2295
2296 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
2297
2298         * main.c (init_switches): New function.  Convert option_data to
2299         long_options and short_options, which can be fed to getopt_long.
2300         (main): Execute command-line options by consulting option_data.
2301
2302 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
2303
2304         * gen_sslfunc.c (ssl_read): Implement a more correct check for
2305         EINTR.
2306         (ssl_write): Ditto.
2307         (init_ssl): Use a global SSL context.
2308
2309 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
2310
2311         * connect.c (xclose): Free INFO even if it doesn't provide a
2312         closer.
2313
2314 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
2315
2316         * connect.c: Updated all callers of
2317         iread/ssl_iread/iwrite/ssl_iwrite to use xread and xwrite instead.
2318
2319         * rbuf.h (struct rbuf): Removed the SSL member because SSL is
2320         handled automatically by xread.
2321
2322         * hash.c (ptrhash): Made private.
2323         (ptrcmp): Ditto.
2324         (inthash): Removed.
2325
2326         * connect.c (select_fd): Don't set errno, leave it to the caller.
2327
2328         * gen_sslfunc.c (connect_ssl): Use register_extended to register
2329         SSL callbacks for communication with SSL-enabled endpoints.
2330         (ssl_read): New function.
2331         (ssl_write): Ditto.
2332         (ssl_poll): Ditto.
2333         (ssl_close): Ditto.
2334
2335         * connect.c (register_extended): New function -- register
2336         callbacks for basic socket operations.
2337         (xread): Ditto.
2338         (xwrite): Ditto.
2339         (xclose): Ditto.
2340         (sock_read): New function, default implementation for reading.
2341         (sock_write): Ditto for writing.
2342         (sock_poll): Ditto for polling.
2343         (sock_close): Ditto for closing.
2344
2345 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
2346
2347         * connect.c (bindport): Fix compilation under pre-C99 compilers.
2348
2349 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
2350
2351         * connect.c (connect_to_ip): More compact error checking.
2352         (bindport): Don't treat failed setsockopt as a fatal error.
2353
2354 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
2355
2356         * connect.c (resolve_bind_address): Use a more accurate error
2357         message -- we're not binding to ANY, we're disabling bind
2358         altogether.
2359
2360 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
2361
2362         * cookies.c (save_cookies_mapper): Respect the setting of
2363         keep-session-cookies.
2364         (cookie_jar_load): Import session cookies.
2365         Based on code submitted by Nicolas Schodet.
2366
2367         * utils.c (datetime_str): Use information in TM when it's
2368         non-NULL.
2369
2370         * main.c (main): New option `--keep-session-cookies'.
2371
2372 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
2373
2374         * Makefile.in (realclean): Delete config.h.in.
2375
2376 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
2377
2378         * config-post.h: New file, included from now autogenerated
2379         config.h.in.
2380
2381 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
2382
2383         * progress.c (progress_handle_sigwinch): Don't call
2384         determine_screen_width() from the signal handler.  Instead, just
2385         set a volatile variable.
2386         (bar_create): Check whether SIGWINCH was received.
2387         (bar_update): Ditto.
2388
2389         * sysdep.h: Define SYSTEM_FNMATCH only if HAVE_FNMATCH_H is true.
2390
2391 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
2392
2393         * utils.c (xsleep): New function.  Uses nanosleep where available,
2394         resuming sleeps interrupted by signals.  Updated callers of sleep
2395         and usleep to use xsleep.
2396
2397 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
2398
2399         * ftp-basic.c (ftp_login): Remove shadowing (and bogus)
2400         declaration of SEED.
2401
2402 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
2403
2404         * log.c (logvprintf): Documented better.  Renamed to
2405         log_vprintf_internal to avoid confusion with the public API
2406         functions logprintf and logputs.
2407
2408 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
2409
2410         * wget.h (N_): Don't parenthesize argument.
2411
2412 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
2413
2414         * host.h (ADDRESS_IPV4_DATA): Don't take the address of in.s_addr
2415         because that doesn't work on machines that define it as bitfield.
2416
2417 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
2418
2419         * connect.c (select_fd): Generalize the third argument into WAIT,
2420         so that the caller can request waiting for both read and write.
2421         Updated callers.
2422
2423 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
2424
2425         * html-url.c (cleanup_html_url): Destroy the hash tables, don't
2426         just call free on them.
2427         (init_interesting): Use hash_table_put instead of string_set_add
2428         because we don't need the strdup that the latter function
2429         performs.
2430
2431         * init.c (cleanup): Don't pass NULL to cookie_jar_delete.
2432
2433         * xmalloc.c (xfree_real): Abort when passed a NULL pointer.
2434         (xfree_debug): Print at the file and line of the offending call to
2435         free.
2436
2437 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
2438
2439         * wget.h: Retired the `boolean' type.  Moved the DEFAULT_LOGFILE
2440         define to log.h.  Moved the INFINITE_RECURSION define to recur.h.
2441
2442         * xmalloc.h: Renamed FREE_MAYBE to xfree_null and moved the
2443         definition from wget.h to xmalloc.h.
2444
2445 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
2446
2447         * html-parse.c (decode_entity): New function; split the decoding
2448         of entities here.
2449         (convert_and_copy): Use it to decode entities.
2450         (decode_entity): Handle the &apos entity.
2451         (decode_entity): Don't decode Latin 1 numeric entities.  Don't
2452         decode &#0.
2453
2454 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
2455
2456         * ftp-opie.c (calculate_skey_response): Use uint32_t instead of
2457         `unsigned long' for the cheksum array.  Document the function.
2458
2459 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
2460
2461         * connect.c (acceptport): Don't call select_fd when timeout is not
2462         requested.
2463
2464 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
2465
2466         * host.c: Removed the ip_default_family global variable.
2467
2468         * host.c (lookup_host): Document the function.  Fixed declaration
2469         of VEC.
2470
2471 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
2472
2473         * various: Use new macros xnew, xnew0, xnew_array, and xnew0_array
2474         in various places.
2475
2476 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
2477
2478         * wget.h: Move declarations of malloc and logging code to
2479         xmalloc.h and log.h respectively to unclutter this file.
2480         (STRDUP_ALLOCA): Made it side-effect free.
2481
2482         * xmalloc.h: New files.  Define macros xnew, xnew0, xnew_array,
2483         and xnew0_array.
2484
2485         * xmalloc.c: New file.  Move the xmalloc routines here.
2486
2487 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
2488
2489         * connect.c (sockaddr_set_data): Remove the broken code that
2490         checked for NULL address.
2491
2492 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
2493
2494         * host.c (address_list_from_single): Removed.
2495         (address_list_from_ipv4_addresses): Renamed from
2496         address_list_from_vector.
2497
2498 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
2499
2500         * sysdep.h (CLOSE): Don't call close on file descriptors less than
2501         0, i.e. on uncreated sockets.
2502
2503         * connect.c (resolve_bind_address): Work on struct sockaddr
2504         directly.
2505         (connect_to_host): Replacement for connect_to_many.  Resolve HOST
2506         and connect to any of its addresses.  If we can't connect and the
2507         host name lookup was cached, try to resolve it again.  This should
2508         fix problems with hosts behind dynamic DNS.  Updated all callers.
2509         (connect_to_ip): Replacement for connect_to_one.  Removed SILENT;
2510         added the argument PRINT instead.  Updated all callers.
2511         (set_connection_host_name): Removed.
2512
2513         * host.c (address_list_address_at): New function instead of
2514         address_list_copy_one. It returns a pointer to ip_address *, so
2515         it's not necessary to copy the data.
2516         (address_list_cached_p): New function.
2517         (forget_host_lookup): Ditto.
2518
2519         * connect.c: Got rid of the MSOCK global variable.  Made bindport
2520         return the local socket it creates.  Added a new argument to
2521         acceptport, the socket to call accept on.  Updated callers.
2522         (closeport): Removed.
2523
2524         * connect.c: Moved the sockaddr code from host.c to this file,
2525         because most of that stuff is used for connecting, and has nothing
2526         to do with host names anyway.
2527         (sockaddr_set_data, sockaddr_get_data): New functions, replace the
2528         old sockaddr_set_address, sockaddr_set_port, sockaddr_get_address,
2529         and sockaddr_get_port.
2530
2531 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
2532
2533         * sysdep.h: Use `S >= 8' rather than `S == 8' when looking for
2534         large integers.
2535
2536 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
2537
2538         * url.c (append_uri_pathel): New argument ESCAPED_P that says
2539         whether [B, E) is to be treated as URL-escaped or not.  If
2540         ESCAPED_P is false, don't unescape the region.
2541         (url_file_name): u->file is not URL-escaped.
2542
2543 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
2544
2545         * retr.c (retrieve_from_file): Use retrieve_tree for
2546         page-requisites.
2547
2548         * main.c (main): Don't define opt.recursive when -p is used.
2549         Instead, make sure that recursion is used for HTTP in that case.
2550
2551 2003-10-29  Hrvoje Niksic  <hniksic@xemacs.org>
2552
2553         * host.h: Defined accessors for elements of ip_address.  Updated
2554         all callers.
2555         (address_list_match_all): Use memcmp in the non-IPv6 case.
2556
2557         * wget.h (CONNECT_ERROR): Don't retry connecting if connect()
2558         returned EAFNOSUPPORT.
2559
2560 2003-10-27  Mauro Tortonesi <mauro@deepspace6.net>
2561
2562         * connect.h: changed bindport prototype and added the related
2563         BIND_ON_IPV4_ONLY and BIND_ON_IPV6_ONLY flags.
2564
2565         * connect.c: changed bindport and resolve_bind_address to allow
2566         protocol-version specific DNS resolution. modified conaddr,
2567         acceptport and connect_to_one to make use of struct
2568         sockaddr_storage and of the new ip_address structure.
2569
2570         * ftp-basic.c: added LPRT/LPSV (RFC1639) support, refactored
2571         PORT/PASV (RFC959) and EPRT/EPSV (RFC2428) support code.
2572
2573         * ftp.c: added the ftp_do_port and ftp_do_pasv functions to
2574         handle FTP over IPv6.
2575
2576         * ftp.h: changed prototype of ftp_epsv and added prototypes for
2577         ftp_lpsv, ftp_lprt and ftp_eprt.
2578
2579         * host.c: renamed the
2580         wget_sockaddr_set_address and wget_sockaddr_get_addr, and
2581         wget_sockaddr_{s,g}et_port couples to sockaddr_{s,g}et_address and
2582         sockaddr_{g,s}et_port respectively.  changed
2583         address_list_match_all, address_list_from_addrinfo sockaddr_len,
2584         pretty_print_address, lookup_host, sockaddr_{s,g}et_address and
2585         sockaddr_{g,s}et_port to make use of struct sockaddr_storage and
2586         of the new ip_address structure.  removed map_ipv4_to_ip and
2587         map_ip_to_ipv4.
2588
2589         * host.h: redefined structure ip_address and removed structure
2590         wget_sockaddr.
2591
2592 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
2593
2594         * sysdep.h: Include inttypes.h where available.
2595
2596         * host.c: Switch from u_int32_t to uint32_t.
2597
2598 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
2599
2600         * netrc.c (parse_netrc): Reset the QUOTE flag after the closing
2601         quote.
2602
2603 2003-10-25  Hrvoje Niksic  <hniksic@xemacs.org>
2604
2605         * url.c (is_valid_ipv6_address): Reformat to GNU coding style.
2606         Use enums for NS_IN* constants.  Use ISXDIGIT.
2607
2608         * convert.c (construct_relative): Document better how the function
2609         works.
2610
2611 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
2612
2613         * config.h.in: Deploy preprocessor magic to avoid Ultrix's
2614         <netdb.h> include <bitypes.h> which defines its own u_int32_t.
2615         Reported by Bernhard Simon.
2616
2617 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
2618
2619         * version.c: Bump version.
2620
2621 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
2622
2623         * url.c: Ditto.
2624
2625         * html-parse.c (advance_declaration): Don't use trailing comma in
2626         enum because older compilers don't support it.
2627
2628         * utils.c: Don't redefine HAVE_SIGSETJMP.
2629
2630 2003-10-16  Hrvoje Niksic  <hniksic@xemacs.org>
2631
2632         * convert.c (construct_relative): Don't handle absolute files
2633         specially -- for example, -P/tmp/foo shouldn't imply that
2634         converted files must refer to "/tmp/foo/..."!
2635
2636 2003-10-15  Hrvoje Niksic  <hniksic@xemacs.org>
2637
2638         * http.c: Consider status 307 a valid redirect.
2639
2640 2003-10-15  Philip Stadermann  <philip.stadermann@credativ.de>
2641
2642         * ftp.c (ftp_retrieve_glob): Correctly loop through the list whose
2643         elements might have been deleted.
2644
2645 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
2646
2647         * html-url.c (tag_handle_meta): Set the Refresh link to expect
2648         HTML.
2649         (append_one_url): Renamed to append_url.
2650
2651 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
2652
2653         * sysdep.h: Only define u_int32_t.
2654
2655 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
2656
2657         * utils.c (large_int_to_string): Use snprintf() to print the
2658         number.  This will work even on systems where libc doesn't
2659         understand %lld, but the compiler does, because it will use our
2660         snprintf replacement.
2661
2662         * init.c (parse_bytes_helper): New function.
2663         (cmd_bytes): Use it to parse bytes, but cast the result to long.
2664         (cmd_bytes_large): Ditto, but store the result to LARGE_INT.  Used
2665         for --quota so that --quota=10G works even on machines without
2666         long long.
2667
2668         * options.h (struct options): Declare quota as LARGE_INT.
2669
2670         * retr.c (downloaded_exceeds_quota): Removed.
2671         (downloaded_increase): Ditto.
2672         (total_downloaded_bytes): New variable, replaces opt.downloaded,
2673         which was the wrong place for it anyway.  Updated callers of
2674         downloaded_exceeds_quota and downloaded_increase to check this
2675         variable directly.
2676
2677         * sysdep.h: Get rid of VERY_LONG_TYPE.  Use LARGE_INT for the same
2678         purpose, defined as `long', `long long' or `double', depending on
2679         size of long and whether long long is available.
2680
2681 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
2682
2683         * sysdep.h: Also check size of short for int32_t.
2684
2685 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
2686
2687         * host.c (lookup_host): Use u_int32_t to store the result of
2688         inet_addr().  That removes the need for offset fiddling, caring
2689         about endian-ness, etc.
2690
2691         * sysdep.h: Define int32_t and u_int32_t if not available.
2692
2693 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
2694
2695         * ftp-basic.c (ftp_epsv): Use socklen_t * as the third argument to
2696         getpeername.
2697
2698         * config.h.in: Define socklen_t stub.
2699
2700         * host.c (sockaddr_len): Return socklen_t.
2701
2702         * connect.c (conaddr): Use socklen_t as the third argument to
2703         accept, getsockname, and connect.
2704
2705 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
2706
2707         * recur.c (retrieve_tree): Don't descend into documents that are
2708         not expected to contain HTML, regardless of their content-type.
2709
2710         * html-url.c (tag_url_attributes): Record which attributes are
2711         supposed to yield HTML links that can be followed.
2712         (tag_find_urls): Propagate that information to the caller through
2713         struct urlpos.
2714
2715 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
2716
2717         * hash.c (find_mapping): Return the next available mapping when
2718         the key is not found, not NULL.
2719         (hash_table_put): Use find_mapping to find the storage for the new
2720         data.
2721         (hash_table_put): Grow the table before exceeding maximum
2722         fullness, not afterwards.
2723
2724 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
2725
2726         * hash.c (hash_table_new): Slightly change the meaning of the
2727         first parameter.  Instead of being the minimum initial size, it is
2728         now the minimum number of items that the hash table can take
2729         without needing to resize.
2730
2731 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
2732
2733         * html-url.c (init_interesting): Initialize interesting_tags and
2734         interesting_attributes as hash tables.  This simplifies the code
2735         immensely because hash tables handle allocation and remove
2736         duplicates automatically.
2737         (find_tag): Removed.
2738         (collect_tags_mapper): Instead of calling find_tag, simply get the
2739         entry from interesting_tags hash table, which is both simpler and
2740         faster.
2741
2742 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
2743
2744         * hash.c (hash_table_get): Declare hash-table argument as const.
2745         (find_mapping): Ditto.
2746         (hash_table_get_pair): Ditto.
2747         (hash_table_contains): Ditto.
2748         (hash_table_count): Ditto.
2749
2750 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
2751
2752         * html-url.c (get_urls_html): Parse the appropriate flags to
2753         html-parse.c.
2754
2755         * html-parse.c (map_html_tags): Accept FLAGS from the caller
2756         instead of examining OPT.
2757
2758 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
2759
2760         * html-url.c (find_tag): Switch to binary search.
2761
2762 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
2763
2764         * main.c (print_help): Fix typo; stured -> stored.
2765
2766 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
2767
2768         * getopt.c: Add definitions of getopt_long and getopt_long_only.
2769
2770 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
2771
2772         * config.h.in: Renamed DEBUG to ENABLE_DEBUG.  ENABLE_DEBUG is, I
2773         think, a better name, because it implies that debugging output is
2774         merely possible, not "on by default", as might be construed from
2775         just DEBUG.
2776
2777 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
2778
2779         * ftp.c (has_insecure_name_p): Define it here.
2780
2781         * utils.c (has_wildcards_p): Define it here.
2782
2783         * sysdep.h: Declare fnmatch-related macros here, if not using
2784         system fnmatch().  Update .c files to not declare fnmatch.h
2785         directly.
2786
2787         * cmpt.c (fnmatch): Moved here.  Use it only under non-GNU libc.
2788
2789 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
2790
2791         * getopt.c: Newer version, imported from Free libit.
2792
2793 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
2794
2795         * cookies.c (struct cookie): Remove unused backpointer to cookie
2796         jar.
2797
2798 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
2799
2800         * cmpt.c (memmove): Comment out, since it's no longer used.
2801
2802         * cookies.c (cookie_jar_generate_cookie_header): Allocate room for
2803         chains in one pass.
2804         (find_chains_of_host): Assume that the caller has allocated DEST
2805         to be sufficiently large to take all the data.
2806         (eliminate_dups): Run through the array and eliminate dups on the
2807         fly instead of using memmove.
2808         (cookie_jar_process_set_cookie): Free cookie->domain before
2809         re-setting it.
2810
2811 2003-10-05  Gisle Vanem  <giva@bgnett.no>
2812
2813         * mswindows.c (set_sleep_mode): Fix type of
2814         _SetThreadExecutionState.
2815
2816 2003-10-05  Hrvoje Niksic  <hniksic@xemacs.org>
2817
2818         * utils.c (file_size): Return -1 if fopen() returns NULL.  Prior
2819         to this patch, wget --post-file=nosuchfile dumped core.
2820
2821 2003-10-04  Gisle Vanem  <giva@bgnett.no>
2822
2823         * mswindows.c (run_with_timeout): Use WaitForSingleObject to wait
2824         for thread termination.
2825
2826 2003-10-04  Hrvoje Niksic  <hniksic@xemacs.org>
2827
2828         * log.c: Use `...' in function definitions; ansi2knr will convert
2829         them to va_dcl.  This allowed removal of the ugly VA_START_1 and
2830         VA_START_2 macros.
2831
2832 2003-10-03  Gisle Vanem  <giva@bgnett.no>
2833
2834         * connect.c: And don't include them here.
2835
2836         * mswindows.h: Include winsock headers here.
2837
2838 2003-10-03  Hrvoje Niksic  <hniksic@xemacs.org>
2839
2840         * html-parse.c (convert_and_copy): Move variable declarations
2841         before statements.
2842
2843 2003-10-02  Gisle Vanem  <giva@bgnett.no>
2844
2845         * mswindows.c (run_with_timeout): For Windows: Run the 'fun' in a
2846         thread via a helper function. Continually query the thread's
2847         exit-code until finished or timed out.
2848
2849 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
2850
2851         * wget.h (XMALLOC_ARRAY): Removed.
2852         (ALLOCA_ARRAY): Ditto.
2853
2854         * html-parse.c: Renamed alloca_p to resized.
2855         (GROW_ARRAY): Renamed DO_REALLOC_FROM_ALLOCA to GROW_ARRAY and
2856         returned it to html-parse.c, since nothing else was using it.
2857
2858 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
2859
2860         * retr.c (retrieve_url): Initialize DUMMY storage for DT.  Caught
2861         by valgrind.
2862
2863 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
2864
2865         * html-parse.c (convert_and_copy): Handle numeric entities in
2866         hexadecimal, &#xHH.
2867         (convert_and_copy): Copy the contents directly to the pool without
2868         a stack-allocated intermediary.
2869
2870 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
2871
2872         * utils.c (alarm_set): New function; use either setitimer or alarm
2873         to set up the alarm.
2874         (alarm_cancel): New function; cancel the alarm set up by
2875         alarm_set.
2876         (run_with_timeout): Use them.
2877
2878 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
2879
2880         * url.c (url_parse): Don't leak memory when a reencoded URL turns
2881         out to be invalid.
2882
2883         * url.c (parse_errors): Mark error messages for translation.
2884         (url_error): Translate error messages returned to the caller.
2885
2886 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
2887
2888         * ftp.c (ftp_loop_internal): Initialize TMRATE to NULL to shut up
2889         the compiler.
2890
2891 2003-09-26  Gisle Vanem  <giva@bgnett.no>
2892
2893         * src/mswindows.c: Added ws_percenttitle() showing progress in the
2894         window titlebar. Called from retr.c. Secured ws_mypath().
2895
2896         * windows/config.h.ms: alloca() prototype not needed.  Removed
2897         "#undef ENABLE_NLS"; should be in Makefile IMHO. Moved
2898         WGET_USE_STDARG from mswindows.h to config.ms.h because of #ifdef
2899         in log.c. (MSVC's vararg.h and stdarg.h are incompatible).
2900
2901 2003-09-29  Aaron Hawley <Aaron.Hawley@uvm.edu>
2902
2903         * ftp.c (getftp): --spider option should now work with FTP
2904         downloads.
2905         (ftp_loop_internal): quiet reports and calculations of downloads
2906         when --spider option set, nor try deleting when --delete-after
2907         also set.
2908         (ftp_loop): --spider will skip HTML-ification of .listing file.
2909
2910 2003-09-26  Gisle Vanem  <giva@bgnett.no>
2911
2912         * mswindows.c (read_registry): Removed.
2913         (set_sleep_mode): New function.
2914         (windows_main_junk): Call it.
2915
2916 2003-09-26  Gisle Vanem  <giva@bgnett.no>
2917
2918         * mswindows.c (read_registry): Fix invocation of registry
2919         functions.
2920
2921         * mswindows.c (read_registry): Condition definitions of sleep and
2922         usleep with not HAVE_SLEEP and HAVE_USLEEP respectively.  Define
2923         HAVE_SLEEP and HAVE_USLEEP under __DMC__.
2924
2925 2003-09-24  Hrvoje Niksic  <hniksic@xemacs.org>
2926
2927         * url.c (url_escape_1): Revert unintentional change to lowercase
2928         xdigit escapes.
2929         (url_escape_dir): Document that this function depends on the
2930         output of url_escape_1.
2931
2932 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
2933
2934         * progress.c (create_image): Print the current ETA if we're done
2935         with the download.
2936         (create_image): Change '-' display char to '+' in the progress bar.
2937
2938         * Makefile.in (clean): Remove .libs.
2939
2940 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
2941
2942         * cookies.c (struct cookie): New flag domain_exact.
2943         (update_cookie_field): Skip leading dot in domain.
2944         (find_matching_chains): Match numeric addresses exactly; don't
2945         needlessly copy HOST to the stack.
2946         (matching_cookie): Added argument HOST.  If cookie->domain_exact
2947         is set, check that HOST is equal to cookie->domain.
2948         (cookie_jar_load): Only use TAB as delimiter.  Document the
2949         meaning of DOMAIN-FLAG.  Skip leading dot in domain.
2950         (cookie_jar_load): Don't ignore DOMAIN-FLAG -- instead, set
2951         domain_exact to true if DOMAIN-FLAG is false.
2952         (save_cookies_mapper): If domain_exact is false, prepend the
2953         domain with dot, like Mozilla does.
2954
2955 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
2956
2957         * progress.c (create_image): Print the initial part of the
2958         download with '-' characters, analogous to how dot progress prints
2959         the initial part with ','.
2960
2961         * hash.c (ptrhash): New function.
2962         (ptrcmp): Ditto.
2963         (hash_table_new): Default to identity hash table.
2964
2965 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
2966
2967         * safe-ctype.h (_sch_test): The cast of BIT to unsigned char was
2968         broken -- _sch_istable bitmasks are 16-bit, not 8-bit!  Cast BIT
2969         to unsigned short instead.
2970
2971 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
2972
2973         * url.c (path_simplify): Instead of calls to memmove, handle "./"
2974         and "../" by advancing pointers.
2975
2976 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
2977
2978         * retr.c (getproxy): Moved from url.c.
2979
2980         * convert.c: Split off link conversion from url.c into separate
2981         file.  Also included the book-keeping stuff from recur.c.
2982
2983 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
2984
2985         * init.c: Improved documentation of functions.
2986         (cmd_boolean): Attempt to make code that tries to avoid calling
2987         strcmp for "speed" a bit more readable.
2988
2989         * init.c (simple_atof): Report error on encountering non-digit,
2990         non-"." character.
2991         (simple_atoi): Replacement for myatoi(), calling interface
2992         compatible with simple_atof.  Updated myatoi's callers.
2993
2994 2003-09-21  Bertrand Demiddelaer  <bert@b3rt.org>
2995
2996         * url.c (path_simplify): Would read two bytes past the end of the
2997         string in the "./" case.
2998
2999 2003-09-21  Matthew J. Mellon  <mellon@tymenet.com>
3000
3001         * http.c (gethttp): Recognize content-type "application/xhtml+xml"
3002         as what Wget considers "text/html".
3003
3004 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
3005
3006         * connect.c (connect_with_timeout): Made timeout type double.
3007
3008         * options.h (struct options): New members read_timeout,
3009         dns_timeout, and connect_timeout.
3010         Use them.
3011
3012 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
3013
3014         * init.c (simple_atof): New function.
3015         (cmd_time): Use it.
3016         (cmd_bytes): Accept things like "1.5k" and such.  Use simple_atof
3017         to parse decimals.
3018
3019         * retr.c (limit_bandwidth): Adjust each sleep by the error of the
3020         previous one.
3021
3022 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
3023
3024         * main.c (main): Use setoptval() for setting the options.  Use
3025         run_command for `-e'.
3026
3027         * init.c (parse_line): Rewritten to return COMIND right away.
3028         Changed linkage to static.
3029         (run_wgetrc): Use the available comind when calling setval, so it
3030         doesn't have to be computed twice.
3031         (setval_internal): New function, runs the command's action without
3032         any error checking.
3033         (setoptval): New function, does what setval used to do, but exits
3034         in case of error.
3035         (run_command): New function.
3036
3037 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
3038
3039         * connect.c (select_fd): Change MAXTIME's type to double.  Handle
3040         its decimal part.
3041
3042         * retr.c (sleep_between_retrievals): In the random-wait case, use
3043         random_float() to wait between 0 and 2*opt.wait seconds.
3044
3045         * utils.c (run_with_timeout): Accept `double' timeouts.  Correctly
3046         handle timeout values in (0, 1) range.
3047         (random_float): New function.
3048
3049         * options.h (struct options): Change the types of wait, waitretry,
3050         and timeout to double.
3051
3052         * init.c (cmd_time): Accept floating point time.
3053
3054 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
3055
3056         * retr.c (get_contents): Cosmetic fixes.
3057
3058 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
3059
3060         * url.c (uri_merge): Get rid of uri_merge_1.
3061         (uri_merge): Merge "foo//", "bar" as "foo//bar", not "foo///bar",
3062         i.e. don't add an extra slash merely because BASE ends with two
3063         slashes.
3064         (parse_credentials): Renamed from parse_uname.  Rewrittern in
3065         standard [beg, end) calling style.
3066         (url_skip_credentials): Renamed from url_skip_uname.  Made static.
3067         (url_skip_credentials): Include # and ; as terminators.  Old code
3068         would mistakenly consider "http://foo.com#hniksic@iskon.hr" to
3069         contain a username.
3070         (url_skip_scheme): Removed because it was unused.
3071         (url_has_scheme): Require "scheme" to be at least one char long.
3072
3073 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
3074
3075         * url.c (url_file_name): Expect NULL dir_prefix.
3076
3077         * init.c (cmd_file): Use a macro to prevent multiple #ifdef
3078         WINDOWS.
3079         (defaults): Set dir_prefix to NULL by default.
3080
3081 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
3082
3083         * safe-ctype.h (_sch_test): Cast BIT to unsigned char, like latest
3084         gcc does.
3085
3086 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
3087
3088         * wget.h (BOUNDED_TO_ALLOCA): Evaluate PLACE only once.
3089         (ARRAY_SIZE): Renamed to countof.  All callers updated.
3090
3091 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
3092
3093         * main.c (main): New option --strict-comments.
3094
3095         * html-parse.c (find_comment_end): New function: simple BM search
3096         for "-->".
3097         (map_html_tags): Use it if looking at a comment and not in strict
3098         comments mode.
3099
3100 2003-09-17  Aurelien Marchand  <artaxerxes@users.sf.net>
3101
3102         * ftp.h: Added OS400 system in enum
3103         * ftp-basic.c: recognize OS400 systems
3104         * ftp.c: don't prepend the CWD if talking to OS400, since it
3105         breaks the change in library
3106
3107 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
3108
3109         * retr.c (get_contents): Pass the correct argument to ssl_iread.
3110
3111 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
3112
3113         * safe-ctype.h: Don't #define ctype.h macros to errors because
3114         that loses when someone #include's ctype.h after safe-ctype.h.
3115
3116 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
3117
3118         * url.c: Undef U, W, C after use.
3119
3120 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
3121
3122         * init.c (cmd_spec_restrict_file_names): Allow the OS setting to
3123         be augmented by ",nocontrol" which means don't escape the control
3124         characters, but otherwise keep OS settings.
3125
3126         * url.c (file_unsafe_char): Deleted.
3127         (append_uri_pathel): Query filechr_table directly.
3128         (filechr_table): Separated Unix, Windows, and control-unsafe
3129         characters.
3130
3131 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
3132
3133         * url.c (url_escape_1): New function.
3134         (url_escape): Use it.
3135         (sync_path): Handle pathological cases where u->file and u->dir
3136         contain really strange characters.
3137         (ENCODE): Deleted.
3138         (REENCODE): Deleted.
3139
3140 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
3141
3142         * url.c (url_file_name): Don't reallocate FNAME if the file
3143         doesn't exist, as is usually the case.
3144
3145         * utils.c (unique_name): New flag allow_passthrough.
3146
3147 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
3148
3149         * utils.c (wtimer_sys_diff): Convert the time difference to signed
3150         __int64, then to double.  This works around MS VC++ 6 which can't
3151         convert unsigned __int64 to double directly.
3152
3153 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
3154
3155         * Makefile.in (clean): Also remove the core.<number> files
3156         produced by recent Linux systems.
3157
3158 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
3159
3160         * http.c (post_file): Don't pad the file if it's not large
3161         enough.  Bail out instead.
3162
3163 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
3164
3165         * retr.c (get_contents): Reduce the buffer size to the amount of
3166         data that may pass through for one second.  This prevents long
3167         sleeps when limiting bandwidth.
3168
3169         * connect.c (connect_to_one): Reduce the socket's RCVBUF when
3170         bandwidth limitation to small values is requested.
3171
3172 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
3173
3174         * progress.c (update_speed_ring): Moved the speed ring update to a
3175         separate function and documented it better.
3176
3177         * progress.c: Use `double' for most timers to support granularity
3178         smaller than 1ms.
3179
3180 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
3181
3182         * wget.h (XDIGIT_TO_XCHAR): Implement as index into a literal
3183         string.
3184         (XDIGIT_TO_xchar): Ditto.
3185
3186 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
3187
3188         * utils.c: Change the type of timer-related functions from long to
3189         double, for better precision.  On machines supporting gettimeofday
3190         the timers now work with granularity of less than one millisecond.
3191
3192 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
3193
3194         * cookies.c (parse_set_cookies): Fixed the parser to handle more
3195         edge conditions.
3196         (test_cookies): New function, contains a test suite for
3197         parse_set_cookies.
3198
3199 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
3200
3201         * url.c (strpbrk_or_eos): Implement as a macro under Gcc.
3202
3203 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
3204
3205         * cookies.c (parse_set_cookies): Allow trailing space in
3206         set-cookies header.  Also, allow any amount of whitespace, not
3207         only one character.  Allow empty set-cookies header without
3208         spewing an error.
3209
3210 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
3211
3212         * url.c (append_uri_pathel): Use opt.restrict_file_names when
3213         calling file_unsafe_char.
3214
3215         * init.c: New command restrict_file_names.
3216
3217         * main.c (main): New option --restrict-file-names[=windows,unix].
3218
3219         * url.c (url_file_name): Renamed from url_filename.
3220         (url_file_name): Add directory and hostdir prefix here, not in
3221         mkstruct.
3222         (append_dir_structure): New function, does part of the work that
3223         used to be in mkstruct.  Iterates over path elements in u->path,
3224         calling append_uri_pathel on each one to append it to the file
3225         name.
3226         (append_uri_pathel): URL-unescape a path element and reencode it
3227         with a different set of rules, more appropriate for handling of
3228         files.
3229         (file_unsafe_char): New function, uses a lookup table to decide
3230         whether a character should be escaped for use in file name.
3231         (append_string): New utility function.
3232         (append_char): Ditto.
3233         (file_unsafe_char): New argument restrict_for_windows, decide
3234         whether Windows file names should be escaped in run-time.
3235
3236         * connect.c: Include <stdlib.h> to get prototype for abort().
3237
3238 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
3239
3240         * utils.c (wtimer_sys_set): Extracted the code that sets the
3241         current time here.
3242         (wtimer_reset): Call it.
3243         (wtimer_sys_diff): Extracted the code that calculates the
3244         difference between two system times here.
3245         (wtimer_elapsed): Call it.
3246         (wtimer_elapsed): Don't return a value smaller than the previous
3247         one, which could previously happen when system time is set back.
3248         Instead, reset start time to current time and note the elapsed
3249         offset for future calculations.  The returned times are now
3250         guaranteed to be monotonically nondecreasing.
3251
3252 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
3253
3254         * host.c (lookup_host): Print the result of the DNS lookup.
3255
3256 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
3257
3258         * init.c (cmd_boolean): Accept yes/no along with on/off.
3259         (cmd_lockable_boolean): Ditto.
3260
3261 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
3262
3263         * init.c: New command dns_cache.
3264
3265         * main.c (main): New option --dns-cache[=off].
3266
3267 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
3268
3269         * config.h.in: Initialize HAVE_GETADDRINFO and ENABLE_IPV6.
3270
3271         * all: Use #ifdef ENABLE_IPV6 instead of the older INET6.  Use
3272         HAVE_GETADDRINFO for getaddrinfo-related stuff.
3273
3274 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
3275
3276         * url.c (url_parse): Return an error if the URL contains a [...]
3277         IPv6 numeric address and we don't support IPv6.
3278
3279 2003-09-05  Hrvoje Niksic  <hniksic@xemacs.org>
3280
3281         * url.c (is_valid_ipv6_address): Modified to not require
3282         zero-terminated strings.
3283         (is_valid_ipv4_address): Ditto.
3284
3285 2003-09-05  Mauro Tortonesi <mauro@deepspace6.net>
3286
3287         src/url.c: added RFC 2732 compliance for URL parsing. The
3288         functions is_*_address valid are a modified version of
3289         glibc 2.3.2 inet_pton's code.
3290
3291 2003-09-03  Ahmon Dancy  <dancy@dancysoft.com>
3292
3293         * main.c init.c options.h: Added --retry-connrefused option so
3294         that Connection Refused failures are treated as non-fatal (when
3295         trying to retrieve from busy servers).
3296
3297         * wget.h: New CONNECT_ERROR macro for encapsulating this
3298         modification.
3299
3300         * ftp.c http.c : Use CONNECT_ERROR macro in places where
3301         ECONNREFUSED was checked.
3302
3303 2003-01-11  Ian Abbott  <abbotti@mev.co.uk>
3304
3305         * ftp.c (ftp_retrieve_glob): Reject insecure filenames as determined
3306         by calling new function has_insecure_name_p.  This is based on a
3307         patch by Red Hat.
3308
3309         * fnmatch.c (has_insecure_name_p): New function: returns non-zero
3310         if filename starts with `/' or contains `../' and is therefore
3311         considered insecure.
3312
3313         * fnmatch.h: Declare has_insecure_name_p().
3314
3315 2002-08-03  Hrvoje Niksic  <hniksic@xemacs.org>
3316
3317         * init.c (cmd_file): Allocate RESULT correctly.
3318
3319 2002-07-24  Hrvoje Niksic  <hniksic@xemacs.org>
3320
3321         * recur.c (retrieve_tree): Check whether downloaded_html_set is
3322         non-NULL before using it.
3323
3324 2002-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3325
3326         * html-parse.c (NAME_CHAR_P): Allow almost any character here.
3327
3328 2002-05-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3329
3330         * progress.c (bar_set_params): Fall back to dot progress if the
3331         terminal type is "emacs".
3332
3333 2002-05-20  Hrvoje Niksic  <hniksic@arsdigita.com>
3334
3335         * log.c: Don't #undef WGET_USE_STDARG.
3336
3337 2002-05-16  Hrvoje Niksic  <hniksic@arsdigita.com>
3338
3339         * hash.c (prime_size): Store the offset of the prime number in the
3340         prime table.  When searching, start with the given offset.
3341         (hash_table_new): Pass the pointer to ht->prime_offset to
3342         prime_size.
3343         (grow_hash_table): Ditto.
3344         (prime_size): Make 13 the first prime to make empty hash tables
3345         slightly smaller.
3346
3347 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
3348
3349         * recur.c (download_child_p): Minor optimization to avoid an
3350         unnecessary additional call to schemes_are_similar_p function.
3351
3352 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
3353
3354         * url.c (schemes_are_similar_p): New function to test enumerated
3355         scheme codes for similarity.
3356
3357         * url.h: Declare it.
3358
3359         * recur.c (download_child_p): Use it to compare schemes.  This
3360         also fixes a bug that allows hosts to be spanned (without the
3361         -H option) when the parent scheme is https and the child's is
3362         http or vice versa.
3363
3364 2002-05-14  Bill Richardson  <bill@riverstonenet.com>
3365
3366         * ftp.c (getftp): Don't ftruncate stdout.
3367
3368         * http.c (gethttp): Don't ftruncate stdout.
3369
3370 2002-05-09  Ian Abbott  <abbotti@mev.co.uk>
3371
3372         * cmpt.c (strptime_internal): Synched with glibc-2.1.3.
3373         (get_number): Ditto.
3374         (get_alt_number): Ditto.
3375         (__isleap): New function-like macro used by strptime.
3376         (day_of_the_week): New function used by strptime.
3377         (day_of_the_year): Ditto.
3378         (__mon_yday): Now shared by mktime and strptime implementations.
3379
3380 2002-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3381
3382         * cookies.c (check_domain_match): Use match_tail in case
3383         insensitive mode.
3384
3385         * utils.c (match_tail): Allow the caller to specify case
3386         insensitive mode.
3387
3388         * cookies.c (store_cookie): When expiry_time is 0, print it as
3389         undefined, not indefinite.
3390
3391 2002-05-07  Ian Abbott  <abbotti@mev.co.uk>
3392
3393         * cookies.c (cookie_jar_process_set_cookie): Do not store
3394         discarded cookie.
3395
3396 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
3397
3398         * cookies.c (check_domain_match): Allow cookies to be set for
3399         subdomains of unknown top-level domains under some circumstances.
3400
3401 2002-04-21  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
3402
3403         * gen_ssl.c:
3404         - allow checking of server cert
3405         - allow defining client cert type
3406         - allow limit of ssl protocol
3407         - check more return values
3408         - added debug message on break
3409
3410 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
3411
3412         * recur.c (download_child_p): Revert order of items in check
3413         number 6 for clarity.
3414
3415 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
3416
3417         * init.c: Ditto.
3418
3419         * main.c: Ditto.
3420
3421         * http.c: Use the new interface.
3422
3423         * cookies.c: Provide an OO-style "cookie jar" interface to enable
3424         separate cookie jars.
3425
3426         * http.c (http_atotm): Declare argument as const.
3427
3428 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
3429
3430         * cookies.c (cookie_new): Default to PORT_ANY.
3431         (find_cookie_chain_exact): Only search by DOMAIN.
3432         (find_matching_cookie): Also check that PORT matches.
3433         (store_cookie): Only match the domain.
3434         (set_cookie_header_cb): When a cookie "fakes" a domain, assume it
3435         is valid for that host rather than discarding it completely.
3436         (find_matching_chains): Don't search by PORT.
3437         (matching_cookie): Also match PORT.
3438         (load_cookies): Set the port if specified, otherwise leave it as
3439         ANY.
3440         (save_cookies_mapper): Save the port if specified, otherwise leave
3441         it empty.
3442
3443 2002-04-19  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
3444
3445         * init.c: The option `egdfile' was not in sort order.
3446
3447 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
3448
3449         * ftp.c (getftp): Treat directories that begin with <letter>: as
3450         absolute.
3451         (getftp): Strip trailing slashes from con->id before merging it
3452         with TARGET.
3453
3454 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
3455
3456         * http.c (gethttp): If Content-Type is not given, assume
3457         text/html.
3458
3459 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
3460
3461         * recur.c (download_child_p): Don't ignore rejection of HTML
3462         documents that are themselves leaves of recursion.
3463
3464 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
3465
3466         Makefile.in: Updated several dependencies for object files to take
3467         account of nested include files.
3468
3469 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
3470
3471         Makefile.in: The target `connect$o' (connect.o) now depends on
3472         `utils.h'
3473
3474 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
3475
3476         * host.c (SET_H_ERRNO): New function-like macro to set `h_errno'.
3477         (gethostbyname_with_timeout): Use it.
3478
3479         * utils.c: Don't define `SETJMP()', `run_with_timeout_env' or
3480         `abort_run_with_timeout()' when `USE_SIGNAL_TIMEOUT' is undefined.
3481
3482 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
3483
3484         * host.c (getaddrinfo_with_timeout): New function.
3485         (gethostbyname_with_timeout): Ditto.
3486         (lookup_host): Use them.
3487
3488 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3489
3490         * utils.c (number_to_string): Handle the case when n < -INT_MAX.
3491
3492 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3493
3494         * init.c (comind): Use a marginally faster implementation of
3495         binary search.  To quote Martin Buchholz, "a nanosecond saved is a
3496         nanosecond earned."
3497
3498 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3499
3500         * main.c (print_help): Document `--post-data' and `--post-file'.
3501
3502 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3503
3504         * http.c (gethttp): Ditto.
3505
3506         * retr.c (retrieve_url): Initialize variables to appease the
3507         compiler.
3508
3509         * gen_sslfunc.c (ssl_iread): Don't handle EINTR when calling
3510         select_fd.
3511         (ssl_iwrite): Ditto.
3512
3513         * connect.c (select_fd): Rewrite to handle EINTR.  Set errno to
3514         ETIMEDOUT in case of timeout.
3515         (iread): No need to handle EINTR when calling select_fd.
3516         (iwrite): Ditto.
3517
3518 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3519
3520         * retr.c (retrieve_url): Make sure that POST is not honored for
3521         redirections.
3522
3523         * http.c (gethttp): Send the POST data when requested.
3524         (post_file): New function.
3525         (gethttp): Use it.
3526
3527         * main.c (main): Ditto.
3528
3529         * init.c: Add new options.
3530
3531         * options.h (struct options): New options post_data and
3532         post_file_name.
3533
3534 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3535
3536         * connect.c (connect_with_timeout): Firing SIGALRM can result in
3537         connect() exiting with EINTR.  Treat EINTR the same as ETIMEDOUT.
3538
3539 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3540
3541         * connect.c (connect_with_timeout): Use it.
3542
3543         * utils.c (run_with_timeout): New function.
3544
3545 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3546
3547         * url.c (getproxy): Accept a struct url argument.  This obviates
3548         the need for USE_PROXY_P.
3549
3550         * retr.c (retrieve_url): Allow proxy to be a non-FTP URL.
3551
3552         * ftp.c (getftp): Recognize FWTK-style proxy.
3553
3554 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3555
3556         * config.h.in: Only define _VA_LIST when compiled with gcc.
3557
3558 2002-04012  Ian Abbott  <abbotti@mev.co.uk>
3559
3560         * http.c (http_loop): Compensate for MS Windows two-second
3561         granularity of file modification time when comparing timestamps.
3562
3563         * ftp.c (ftp_retrieve_list): Ditto.
3564
3565 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
3566
3567         * utils.c (has_html_suffix_p): New function to test filename for
3568         common html extensions.
3569
3570         * utils.h: Declare it.
3571
3572         * http.c (http_loop): Use it instead of previous test.
3573
3574         * retr.c (retrieve_url): Ditto.
3575
3576         * recur.c (download_child_p): Ditto.
3577
3578 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3579
3580         * config.h.in: Define _VA_LIST on Solaris to prevent stdio.h from
3581         declaring va_list.
3582         From Kevin Rodgers <kevinr@ihs.com>.
3583
3584 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
3585
3586         * Makefile.in: Specify libtool mode explicitly when linking.
3587
3588 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3589
3590         * connect.c (connect_with_timeout): New function.
3591         (connect_to_one): Use it.
3592
3593         * config.h.in: Add stubs for HAVE_SIGSETJMP, HAVE_SIGBLOCK, and
3594         HAVE_SETJMP_H.
3595
3596 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3597
3598         * log.c: Set WGET_USE_STDARG if __STDC__ is defined and stdarg.h
3599         is present.
3600
3601 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3602
3603         * progress.c (bar_create): If INITIAL is larger than TOTAL, fix
3604         TOTAL.
3605         (bar_finish): Likewise.
3606
3607 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3608
3609         * html-url.c (tag_handle_form): New function.  Pick up form
3610         actions and mark them for conversion only.
3611
3612 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3613
3614         * progress.c (struct progress_implementation): Use PARAMS when
3615         declaring the parameters of *create, *update, *finish, and
3616         *set_params.
3617
3618         * netrc.c: Ditto.
3619
3620         * http.c: Reformat some function definitions so that ansi2knr can
3621         read them.
3622
3623         * hash.c (struct hash_table): Use the PARAMS macro around
3624         parameters in the declaration of hash_function and test_function.
3625         (prime_size): Spell 2580823717UL and 3355070839UL as (unsigned
3626         long)0x99d43ea5 and (unsigned long)0xc7fa5177 respectively, so
3627         that pre-ANSI compilers can read them.
3628         (find_mapping): Use PARAMS when declaring EQUALS.
3629         (hash_table_put): Ditto.
3630
3631         * ftp.h: Wrap the parameters of ftp_index declaration in PARAMS.
3632
3633         * cookies.c (cookie_new): Use (unsigned long)0 instead of 0UL,
3634         which was unsupported by pre-ANSI compilers.
3635
3636         From Nelson H. F. Beebe <beebe@math.utah.edu>, for the most part.
3637
3638 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3639
3640         * url.c (url_filename): Use compose_file_name regardless of
3641         whether opt.dirstruct is set.
3642         (mkstruct): Don't handle the query and the reencoding of DIR; that
3643         is done in compose_file_name.
3644
3645 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3646
3647         * wget.h: Ditto for extern char *exec_name.
3648
3649         * options.h: Don't guard against OPTIONS_DEFINED_HERE -- it is
3650         perfectly legal to follow an `extern' with a non-`extern' ones,
3651         provided the types match.
3652
3653         * main.c: Don't define OPTIONS_DEFINED_HERE.
3654
3655 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3656
3657         * progress.c (create_image): Revert to calculating ETA based on
3658         average download speed.
3659         (create_image): Don't print ETA until the download has been active
3660         for at least 3 seconds.
3661         (create_image): When ETA is not available, don't print anything.
3662         The previous version would print --:--.
3663
3664 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3665
3666         * progress.c (bar_update): Keep updating a subinterval until it
3667         reaches or exceeds a watermark.  That way the measurement will be
3668         guaranteed to span a configurable minimum of time.  The current
3669         default is 3s in 30 100ms intervals.
3670
3671 2002-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3672
3673         * progress.c (bar_update): Maintain an array of the time it took
3674         to perform previous 30 network reads.
3675         (create_image): Calculate the download speed and ETA based on the
3676         last 30 reads, not the entire download.
3677         (create_image): Make sure that the ETA is not changed more than
3678         once per second.
3679
3680 2002-04-09  Ian Abbott  <abbotti@mev.co.uk>
3681
3682         * mswindows.c (borland_utime): New function conditionally defined
3683         when `HACK_BCC_UTIME_BUG' is defined.  A reimplementation of
3684         `utime()' as Borland's `utime()' function is broken on Windows 9x
3685         systems.  (Original patch by Chin-yuan Kuo <sr1111111@yahoo.com.tw>.)
3686
3687 2002-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3688
3689         * ftp.c (ftp_loop): Propagate the result of ftp_retrieve_glob.
3690
3691 2002-03-26  Ian Abbott  <abbotti@mev.co.uk>
3692
3693         * Makefile.in: Updated several dependencies for object files.
3694
3695 2002-03-20  Ian Abbott  <abbotti@mev.co.uk>
3696
3697         * mswindows.c: Include "utils.h".
3698
3699 2002-03-18  Ian Abbott  <abbotti@mev.co.uk>
3700
3701         * host.h: Don't include netdb.h on windows.
3702
3703 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3704
3705         * recur.c (retrieve_tree): Handle the case when start_url doesn't
3706         parse.
3707
3708 2002-02-19  Andreas Damm  <andreas-sourceforge@radab.org>
3709
3710         * wget.h (DO_REALLOC_FROM_ALLOCA): Multiply with sizeof(type) when
3711         calling xmalloc and memcpy.
3712
3713 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3714
3715         * host.h: Include Unix-specific includes #ifndef WINDOWS.
3716         Patch originally provided by Christian Lackas.
3717
3718 2002-02-11  Christian Lackas  <delta@lackas.net>
3719
3720         * recur.c: recurive downloading for https fixed.
3721
3722 2002-02-19  Alan Eldridge  <alane@geeksrus.net>
3723
3724         * host.h: Also include <netinet/in.h> and <sys/socket.h>.
3725
3726         * ftp-basic.c: Also include <netinet/in.h>.
3727
3728 2002-02-05  Ian Abbott  <abbotti@mev.co.uk>
3729
3730         * http.c (gethttp): when -c used, mark already fully retrieved
3731         file as successfully retrieved.
3732
3733 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3734
3735         * url.c (url_parse): Don't treat '?' as query string separator
3736         when parsing FTP URLs.
3737
3738 2002-02-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3739
3740         * html-url.c (tag_handle_meta): Don't crash on <meta
3741         http-equiv=refresh> where content is missing.
3742
3743 2002-01-31  Herold Heiko  <Heiko.Herold@previnet.it>
3744
3745         * ftp-basic.c, host.c: don't include sys/socket.h, arpa/inet.h,
3746         netdb.h on windows.
3747
3748 2002-01-30  Hrvoje Niksic  <hniksic@arsdigita.com>
3749
3750         * retr.c (retrieve_url): Remove redirection cycle detection.  This
3751         is because some sites legitimately redirect the user back to the
3752         same location, e.g. after an authorization check performed by
3753         another page.  MAX_REDIRECTIONS is still used to prevent infinite
3754         redirection loops.
3755
3756 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3757
3758         * http.c (gethttp): Wrap host name in square brackets if it
3759         contains a colon.
3760
3761 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3762
3763         * url.c (url_parse): Allow all hex digits, not only decimal ones,
3764         to form an IP address.
3765
3766 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3767
3768         * url.c (urlchr_table): Make square braces reserved, so we can
3769         parse http://[::1]/.
3770         (url_parse): Handle host in braces.
3771         (url_string): If url->host contains colons, wrap it in braces.
3772
3773 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3774
3775         * connect.c (resolve_bind_address): New function.
3776         (connect_to_one): Use it.
3777         (bindport): Ditto.
3778
3779         * init.c: Don't resolve bind-address here.
3780
3781         * host.c (wget_sockaddr_set_address): Would bug out with ADDR == NULL.
3782
3783 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3784
3785         * host.c (lookup_host): Use sizeof(ip4_address) to calculate the
3786         offset.
3787         (address_list_new): Use map_ipv4_to_ip.
3788         (wget_sockaddr_set_address): Convert ADDR to IPv4 before using it
3789         in IPv4 context.
3790
3791 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3792
3793         * source: Integrated IPv6 support.
3794         Written by Thomas Lussnig <thomas.lussnig@bewegungsmelder.de>.
3795
3796 2002-01-15  Ian Abbott  <abbotti@mev.co.uk>
3797
3798         * init.c (cmd_file): Change `\' to `/' for Windows (yes, really!)
3799         (cmd_directory): New function. Like cmd_file(), but strips
3800         trailing directory separators.
3801         (commands): Change action for "dirprefix" from `cmd_file' to
3802         `cmd_directory'.
3803
3804         * utils.c (make_directory): Allow intermediate `mkdir' calls to
3805         fail, as not all path components that do not exist should be
3806         directory components, especially under Windows.
3807
3808 2002-01-17  Hrvoje Niksic  <hniksic@arsdigita.com>
3809
3810         * netrc.c (parse_netrc): Skip leading whitespace before testing
3811         whether the line is empty.  Empty lines still contain the line
3812         terminator.
3813
3814 2002-01-15  Hrvoje Niksic  <hniksic@arsdigita.com>
3815
3816         * gen_sslfunc.c (ssl_iread): Call select on the file descriptor
3817         only if no data is pending in SSL buffers.
3818         From tony@bluetail.com.
3819
3820 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3821
3822         * headers.c (header_get): Strip trailing whitespace from the
3823         header.
3824
3825 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3826
3827         * url.c (parse_uname): URL-decode *USER and *PASSWD.
3828
3829 2002-01-07  Ian Abbott <abbotti@mev.co.uk>
3830
3831         * url.c (uri_merge_1): Deal with "net path" relative URL (one that
3832         starts with "//").
3833
3834 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3835
3836         * http.c (gethttp): Invalidate SOCK if get_contents encountered an
3837         error.
3838
3839 2001-12-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3840
3841         * version.c: Wget 1.8.1 is released.
3842
3843 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3844
3845         * version.c: Wget 1.8.1-pre3 is released.
3846
3847 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3848
3849         * recur.c (retrieve_tree): Enqueue the canonical representation of
3850         start_url, so that the test against dl_url_file_map works.
3851
3852 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3853
3854         * log.c (logputs): Check for requested verbosity before printing
3855         anything.
3856
3857 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3858
3859         * html-url.c (tag_handle_link): Treat the "shortcut icon" link as
3860         inline.
3861
3862 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3863
3864         * recur.c (retrieve_tree): Make a copy of file obtained from
3865         dl_url_file_map because the code calls xfree(file) later.
3866
3867 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3868
3869         * recur.c (register_html): Maintain a hash table of HTML files
3870         along with the list.  Disallow duplicates.
3871         (retrieve_tree): Use downloaded_html_set to check whether the file
3872         found in dl_url_file_map is an HTML file, and descend into it if
3873         so.
3874         (convert_all_links): Don't guard against duplicates in
3875         downloaded_html_list, since they are no longer possible.
3876
3877 2001-12-18  Ian Abbott  <abbotti@mev.co.uk>
3878
3879         * recur.c (retrieve_tree): Pass on referring URL when retrieving
3880         recursed URL.
3881
3882 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
3883
3884         * version.c: Wget 1.8.1-pre2 is released.
3885
3886 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
3887
3888         * retr.c (sleep_between_retrievals): Simplify indentation.
3889
3890 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
3891
3892         * gen_sslfunc.c (ssl_init_prng): Use random_number to get a byte
3893         of "randomness" at a time.
3894         (ssl_init_prng): Don't seed the PRNG; random_number will do that.
3895
3896         * retr.c (sleep_between_retrievals): Use it.  Make sure that the
3897         random amount averages in opt.wait.
3898         (sleep_between_retrievals): Don't seed the PRNG; random_number
3899         will do that.
3900
3901         * utils.c (random_number): New function.
3902
3903 2001-12-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3904
3905         * url.c (path_simplify): Move here from utils.c, and make static.
3906
3907 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3908
3909         * init.c (wgetrc_file_name): Print correct message when loading
3910         getenv("WGETRC") fails.
3911
3912 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3913
3914         * recur.c (register_download): Don't abort when one URL references
3915         two different files.
3916
3917 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3918
3919         * http.c (gethttp): Check for conn->scheme, not u->scheme, before
3920         calling ssl_iwrite.
3921
3922 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3923
3924         * version.c: Wget 1.8.1-pre1 is released.
3925
3926 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3927
3928         * res.c (matches): Fix broken URL in the docstring.
3929
3930 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3931
3932         * html-url.c (tag_url_attributes): Mark <embed href=...> as
3933         external.
3934
3935 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3936
3937         * url.c (get_urls_file): Cosmetic changes.
3938
3939 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3940
3941         * html-url.c (append_one_url): Resurrect warning when unable to
3942         resolve a relative link.
3943
3944 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3945
3946         * html-url.c (collect_tags_mapper): Break into several functions.
3947         (tag_url_attributes): Collect <embed href=...>.
3948
3949 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3950
3951         * host.c: New type ipv4_address.  Use it consistently instead of
3952         `unsigned char[4]' and `unsigned char *'.
3953         (pretty_print_address): Accept a `const void *', to require even
3954         less casting.
3955
3956 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3957
3958         * ftp-ls.c (ftp_parse_vms_ls): Fix obvious memory leaks.
3959
3960 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3961
3962         * main.c (main): Initialize progress after fork_to_background, so
3963         that it knows when to use dots.
3964
3965         * mswindows.c (ws_hangup): Call log_request_redirect_output.
3966
3967         * utils.c (fork_to_background): Print the PID of the child
3968         process.
3969
3970         * log.c (log_request_redirect_output): Set a flag that output
3971         redirection has been requested.  Doing anything else in a signal
3972         handler is unsafe.
3973         (check_redirect_output): New function: check whether redirection
3974         has been requested and, if so, call redirect_output().
3975         (logputs): Call check_redirect_output.
3976         (logprintf): Ditto.
3977         (debug_logprintf): Ditto.
3978         (redirect_output): Print clearer messages.
3979
3980         * main.c (redirect_output_signal): Don't call
3981         redirect_output_signal directly.  Instead, call
3982         log_request_redirect_output.
3983
3984         * utils.c (memfatal): Ditto.
3985
3986         * progress.c (display_image): Use it.
3987
3988         * log.c (log_set_save_context): New function: allow the caller to
3989         turn off saving log context lines.
3990
3991 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3992
3993         * host.c (address_list_set_faulty): Uncomment a sanity check.
3994
3995 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3996
3997         * utils.c (long_to_string): Return a pointer after where the
3998         number ends.
3999         (long_to_string): Rename to number_to_string.
4000
4001 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4002
4003         * utils.c (path_simplify): Correctly handle the unlikely case that
4004         b starts out as path + 1.
4005
4006 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4007
4008         * utils.c (path_simplify): Rewrite, with better comments, and
4009         without the use of strcpy to move overlapping blocks.
4010
4011 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4012
4013         * init.c (cmd_spec_progress): Resurrect.  Check whether VAL is a
4014         valid progress type before setting it.
4015
4016 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4017
4018         * main.c (main): Remove stray debugging message.
4019
4020 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4021
4022         * progress.c (create_image): Fix ETA padding when hours are prined.
4023
4024 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4025
4026         * version.c: Wget 1.8 is released.
4027
4028 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4029
4030         * url.c (reencode_string): Declare static.
4031
4032         * res.c (registered_specs): Declare static.
4033
4034         * progress.c (current_impl_locked): Declare static.
4035
4036         * log.c (flush_log_p): Declare static.
4037         (needs_flushing): Ditto.
4038
4039         * http.c (digest_authentication_encode): Declare static.
4040
4041         * html-url.c (init_interesting): Declare static.
4042
4043         * host.c (host_name_addresses_map): Declare static.
4044
4045         * cookies.c (find_matching_chains): Declare static.
4046
4047         * ftp-ls.c (ftp_parse_vms_ls): Warn about the memory leak
4048         indicated by lint.
4049
4050         * utils.c (path_simplify): Remove unused variable STUB_CHAR.
4051
4052         * host.c (address_list_set_faulty): Document that INDEX is
4053         currently unused.
4054
4055         * url.c (rewrite_shorthand_url): Remove unused variable PATH.
4056
4057 2001-12-08  Hrvoje Niksic  <hniksic@arsdigita.com>
4058
4059         * version.c: Wget 1.8-pre2 is released.
4060
4061 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4062
4063         * progress.c (progress_handle_sigwinch): Set up the signal again.
4064
4065         * utils.c: Include <sys/termios.h>, where Solaris defines
4066         TIOCGWINSZ.
4067
4068         * progress.c (bar_create): Don't use the last column on the screen.
4069         (create_image): Pad ETA to constant size.  Pad SIZE to nine digits
4070         only until it exceeded them.
4071
4072 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4073
4074         * version.c: Wget 1.8-pre1 is released.
4075
4076 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4077
4078         * progress.c (progress_create): Make sure that, when the output is
4079         redirected, the progress implementation gets changed to the
4080         fallback one.
4081         (bar_set_params): Set current_impl_locked to 1 when "force" is
4082         specified.
4083         (progress_create): Don't change the progress implementation if
4084         current_impl_locked is non-zero.
4085
4086         * main.c (redirect_output_signal): Call
4087         progress_schedule_redirect.
4088
4089         * progress.c (progress_schedule_redirect): New function.
4090
4091 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4092
4093         * log.c (logvprintf): Restructure to allow being called multiple
4094         times.
4095         (logprintf): Call logvprintf in a loop.
4096         (debug_logprintf): Ditto.
4097
4098 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4099
4100         * gen_sslfunc.c (ssl_init_prng): Allow the user to disable EGD by
4101         setting egd_file it to empty string.
4102
4103         * main.c (main): Change the option name from --sslegdsock to
4104         --egd-file.
4105
4106 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4107
4108         * gen_sslfunc.c (ssl_init_prng): Make the printed message
4109         translatable.
4110
4111 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4112
4113         * url.c (scheme_disable): New function.
4114
4115         * main.c (main): Call ssl_init_prng from here rather than from
4116         init_ssl, so that it has a chance to disable support for https
4117         before a URL has been resolved.
4118
4119         * gen_sslfunc.c (ssl_init_prng): Seed with rand() if all else
4120         failed.
4121         (ssl_init_prng): Disable support for https if seeding the PRNG
4122         fails.
4123
4124 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4125
4126         * utils.c (read_whole_line): Handle lines beginning with \0.
4127
4128 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
4129
4130         * recur.c (convert_all_links): Guard against duplicates in
4131         downloaded_html_files.
4132         (register_download): Don't invalidate similar-looking URLs.
4133         (match_except_index): New function.
4134
4135 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
4136
4137         * utils.c (path_simplify): Document with test cases.
4138
4139 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
4140
4141         * gen_sslfunc.c: Ditto.
4142
4143         * rbuf.c: Include <string.h>.
4144
4145 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
4146
4147         * recur.c (retrieve_tree): Check whether the URL was already
4148         downloaded before downloading it again.
4149         (descend_child_p): Renamed to download_child_p.
4150         (register_download): When one URL is downloaded to a file already
4151         "owned" by another URL, delete all references that map any URL to
4152         that file.
4153         (register_delete_file): New function.
4154         (retrieve_tree): Use it after deleting a file.
4155
4156         * url.c (url_parse): Re-canonicalize the URL also if the path is
4157         empty, so that e.g. "http://www.server.com" ->
4158         "http://www.server.com/".
4159         (lowercase_str): Use ISUPPER instead of !ISLOWER.
4160
4161         * retr.c (retrieve_url): Use the canonical URL form when calling
4162         register_download().
4163
4164 2001-12-04  Ian Abbott <abbotti@mev.co.uk>
4165
4166         * snprintf.c (dopr): Use `unsigned int' as the second argument to
4167         va_arg when casting to `unsigned short' is intended.
4168
4169 2001-12-04  Herold Heiko  <Heiko.Herold@previnet.it>
4170
4171         * gen_sslfunc.c: on windows provide ssl crypto random
4172           initialization through RAND_screen(); could possibly
4173           be not enough for strong ssl communication (see the
4174           relevant manual page from the openssl package).
4175
4176 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
4177
4178         * url.c (local_quote_string): Reenable quoting of question marks,
4179         but only when `--html-extension' is used.
4180
4181 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
4182
4183         * version.c: Wget 1.8-beta3 is released.
4184
4185 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
4186
4187         * snprintf.c (dopr): Cast the result of va_arg to short int and
4188         short unsigned int where these types are expected to be used.
4189
4190 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
4191
4192         * snprintf.c (dopr): Replace `short int' and `unsigned short int'
4193         with `int' when using it as the second argument to `va_arg'.
4194
4195 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
4196
4197         * host.c (address_list_new_one): New function.
4198         (lookup_host): Use it.
4199
4200 2001-12-03  Andre Majorel  <amajorel@teaser.fr>
4201
4202         * host.c (lookup_host): Don't initialize TMPSTORE directly because
4203         it's not legal C.
4204
4205 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
4206
4207         * ftp-basic.c (ftp_port): Don't return HOSTERR if we fail getting
4208         the socket data.
4209
4210         * ftp.c: Ditto.
4211
4212         * http.c: No need to declare h_errno.
4213
4214         * host.c: Declare h_errno.
4215
4216 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4217
4218         * utils.c (file_merge): If BASE doesn't contain a slash, just
4219         return a copy of FILE.
4220
4221 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4222
4223         * version.c: Wget 1.8-beta2 is released.
4224
4225 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4226
4227         * ftp.c (getftp): When PWD fails, assume "/".
4228
4229         * ftp-basic.c (ftp_syst): Fix indentation.
4230
4231 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4232
4233         * url.c (get_urls_file): If opt.base_href is specified, merge each
4234         URL with the base.
4235
4236 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4237
4238         * main.c (print_help): Don't document the removed `-nh'.
4239
4240 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4241
4242         * url.c (url_full_path): Document better.
4243
4244         * http.c (gethttp): Use the full path when creating digest
4245         authorization.
4246
4247 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4248
4249         * cookies.c (path_matches): Return 0 if PREFIX doesn't begin with
4250         '/'.
4251
4252 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4253
4254         * cookies.c (path_matches): FULL_PATH doesn't begin with '/', but
4255         PREFIX does.
4256
4257 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4258
4259         * cookies.c (check_domain_match): Reimplement to match Netscape's
4260         "preliminary specification" for cookies.
4261
4262 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4263
4264         * url.c (replace_attr_refresh_hack): New function.
4265         (convert_links): Call replace_attr_refresh_hack for Refresh
4266         links.  It will add the "TMOUT; URL=" junk before the link.
4267
4268         * html-url.c (collect_tags_mapper): Set ID to the ID of the
4269         "content" attribute, not "http-equiv".
4270         (collect_tags_mapper): Don't use OFFSET to hack the raw_* values;
4271         instead, store the information that this entry belongs to a
4272         "refresh" link.
4273
4274 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4275
4276         * version.c: Wget 1.8-beta1 is released.
4277
4278 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4279
4280         * recur.c (retrieve_tree): Allow -p retrievals to exceed maximum
4281         depth by more than one.
4282
4283 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
4284
4285         * retr.c (retrieve_url): Don't allow more than 20 redirections.
4286
4287 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
4288
4289         * recur.c (retrieve_tree): Skip the non-inline entries when
4290         enqueuing the children of a leaf HTML node in -p mode.
4291         (descend_url_p): Ignore opt.no_parent when in -p mode and UPOS is
4292         "inline".
4293
4294         * html-url.c (get_urls_html): Don't accept dash_p_leaf_HTML.
4295         (collect_tags_mapper): When an entry is "inline", mark it as such.
4296
4297         * recur.c (descend_url_p): Fix test when checking for
4298         acceptance/rejection rules.
4299
4300 2001-10-31 Daniel BODEA <dali@dali-designs.com>
4301
4302         * netrc.c (search_netrc): When slack_default is 0, still look for
4303         an account with matching password, just not the "default account".
4304         HTTP Authorization using .netrc should now work as expected.
4305
4306 2001-11-30  T. Bharath  <TBharath@responsenetworks.com>
4307
4308         * http.c (persistent_available_p): Call SHUTDOWN_SSL if
4309         test_socket_open fails.
4310
4311 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
4312
4313         * progress.c (display_image): Just print one CR to reset the
4314         cursor position.
4315
4316 2001-11-30  Christian Fraenkel  <c.fraenkel@gmx.net>
4317
4318         * init.c: New command `ssl_egd_sock'.
4319
4320         * main.c (main): New option `--sslegdsock'.
4321
4322         * gen_sslfunc.c (ssl_init_prng): Seed the RNG using EGD.
4323
4324 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
4325
4326         * cmpt.c (memmove): Include a simple memmove implementation.
4327
4328 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
4329
4330         * headers: Guard against header files being included twice.
4331
4332 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
4333
4334         * gen-md5.c: Use unsigned char * as the buffer argument to
4335         gen_md5_update.
4336
4337 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
4338
4339         * connect.h: Declare select_fd.
4340
4341 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
4342
4343         * recur.c (descend_url_p): When resolving no_parent, compare with
4344         start_url, not parent url.  Otherwise link from /a/b/ to /a/c/
4345         wouldn't be followed, although the download started from /a/.
4346
4347 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
4348
4349         * config.h.ms, mswindows.h: defined HAVE_ISATTY, use _isatty for
4350         MS VC; somebody with Borland compiler please check and provide
4351         patch if possible;
4352
4353         * cmpt.c: provided a usleep emulation.
4354
4355 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
4356
4357         * host.c (address_list_new): Initialize al->faulty.
4358
4359 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
4360
4361         * http.c (http_process_range): Accept the broken output of
4362         "JavaWebServer/1.1.1".
4363
4364 2001-11-28  Hrvoje Niksic  <hniksic@arsdigita.com>
4365
4366         * progress.c (dot_set_params): If PARAMS is unspecified, use
4367         dot_style, if available.
4368
4369         * init.c: Ditto.
4370
4371         * main.c (main): Resurect --dot-style.
4372
4373         * progress.c (dot_finish): Print the quantity if we're left at the
4374         beginning of a row.
4375
4376 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4377
4378         * cmpt.c (random): Removed.
4379
4380         * retr.c (sleep_between_retrievals): Use the more portable rand()
4381         instead of random().
4382
4383 2001-11-27  Ian Abbott <abbotti@mev.co.uk>
4384
4385         * retr.c (retrieve_from_file): Initialize `new_file' to NULL to
4386         prevent seg fault.
4387
4388 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4389
4390         * connect.c (connect_to_many): Use address_list_set_faulty to
4391         prevent the faulty address from being reused.
4392
4393         * host.c (address_list_set_faulty): New function.
4394         (address_list_get_bounds): New function, instead of
4395         address_list_count.
4396
4397 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4398
4399         * url.c (convert_links): Don't translate %d-%d.
4400
4401         * main.c (print_help): Remove stray HAVE_RANDOM code.
4402
4403 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4404
4405         * ftp.c (getftp): Improve output after sending PASV.  Don't
4406         attempt to "look up" the IP address we already know; call
4407         connect_to_one directly.
4408
4409 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4410
4411         * progress.c: Change the default progress implementation to "bar".
4412
4413 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4414
4415         * progress.c (bar_create): Print two newlines.
4416
4417 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4418
4419         * cmpt.c (random): New function, a simple-minded replacement for
4420         random() on systems that don't have it.
4421
4422 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4423
4424         * config.h.in: Put a HAVE_USLEEP stub.
4425
4426         * cmpt.c (usleep): Replacement implementation of usleep using
4427         select.
4428
4429         * init.c: New option init_rate.
4430
4431         * main.c (main): New option --limit-rate.
4432
4433         * retr.c (limit_bandwidth): New function.
4434         (get_contents): Call it to limit the bandwidth used when
4435         downloading.
4436
4437         * progress.c (dot_update): Would print the wrong download speed on
4438         rows other than the first one when the download was continued.
4439         (dot_finish): Ditto.
4440
4441 2001-11-26  Ian Abbott <abbotti@mev.co.uk>
4442
4443         * http.c (gethttp): fix undeclared variable 'err' when compiled
4444         with HAVE_SSL.
4445
4446 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4447
4448         * progress.c: Don't allocate new timers; use the timing data
4449         propagated from the caller.
4450
4451         * retr.c (get_contents): Allocate and use a timer.
4452
4453 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4454
4455         * http.c (last_host_ip): Made into an address_list.
4456         (invalidate_persistent): Release pc_last_host_ip.
4457         (register_persistent): Use lookup_host.
4458         (persistent_available_p): Check for equality of hosts using
4459         address_list_match_all.  Call address_list_release.
4460         (http_cleanup): New function.
4461
4462         * ftp.c (getftp): Use lookup_host and connect_to_many.
4463
4464         * http.c (gethttp): Use lookup_host and connect_to_many.
4465
4466         * connect.c (make_connection): Removed.
4467         (connect_to_one): New function.
4468         (connect_to_many): Ditto.
4469         (set_connection_host_name): Ditto.
4470
4471         * host.c (lookup_host): New function; new return type.
4472         (address_list_new): New function.
4473         (address_list_count): Ditto.
4474         (address_list_copy_one): Ditto.
4475         (address_list_delete): Ditto.
4476         (address_list_release): Ditto.
4477         (pretty_print_address): Ditto.
4478
4479 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4480
4481         * recur.c (retrieve_tree): In case of followed redirection,
4482         blacklist the pre-redirection URL.
4483
4484 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4485
4486         * recur.c (descend_redirect_p): New function.
4487         (retrieve_tree): Make sure redirections are not blindly followed.
4488
4489 2001-11-04  Alan Eldridge  <alane@geeksrus.net>
4490
4491         * config.h.in: added HAVE_RANDOM.
4492
4493         * options.h: added random_wait to struct options.
4494
4495         * main.c (print_help [HAVE_RANDOM], main): added arg parsing, help
4496         for --random-wait.
4497
4498         * retr.c (sleep_between_retrievals) [HAVE_RANDOM]: added
4499         implementation of random wait times.
4500
4501         * init.c (commands): added "randomwait" keyword.
4502
4503 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4504
4505         * recur.c (descend_url_p): Be more conservative with blacklisting
4506         URLs.
4507         (convert_all_links): Print how many files have been converted, and
4508         how long it took.
4509
4510         * progress.c (create_image): Place the number of downloaded bytes
4511         right after the progress bar.
4512
4513         * utils.c (suffix): Return a pointer into the string.
4514
4515 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4516
4517         * url.c (convert_links): Handle CO_NULLIFY_BASE.
4518
4519         * recur.c (retrieve_tree): Ignore download-ignorable children.
4520         (convert_all_links): Specify CO_NULLIFY_BASE when link_base_p.
4521
4522         * html-url.c (handle_link): Return the newly created urlpos.
4523         (collect_tags_mapper): When dealing with BASE, store the base
4524         reference and mark it as download-ignorable.
4525
4526 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4527
4528         * url.c (convert_links): Attempt to quote '?' as "%3F" when
4529         linking to local files.  Given up on the attempt, as it breaks
4530         local browsing.
4531
4532 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4533
4534         * main.c (private_initialize): Removed.
4535         (main): Don't call private_initialize.
4536
4537         * http.c: Call lookup_host.
4538
4539         * host.c (host_init): Removed.
4540         (add_host_to_cache): Initialize host_name_address_map here, on
4541         demand.
4542         (ngethostbyname): Commented out.
4543
4544         * connect.c (make_connection): Remove dead code; use lookup_host.
4545
4546         * host.c (store_hostaddress): Renamed to lookup_host and reversed
4547         the args.
4548         Removed host_address_name_map and host_slave_master_map.
4549
4550 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4551
4552         * progress.c (dot_create): Align the "[ skipping ... ]" string
4553         with the dots.
4554
4555         * retr.c (rate): Split into two functions: calc_rate and
4556         retr_rate.
4557
4558         * progress.c (create_image): Draw a dummy progress bar even when
4559         total size is unknown.
4560         (display_image): Place the text cursor at the end of the "image".
4561
4562 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4563
4564         * url.c (reencode_string): Use unsigned char, not char --
4565         otherwise the hex digits come out wrong for 8-bit chars such as
4566         nbsp.
4567         (lowercase_str): New function.
4568         (url_parse): Canonicalize u->url if needed.
4569         (get_urls_file): Parse each URL, and return only the valid ones.
4570         (free_urlpos): Call url_free.
4571         (mkstruct): Add :port if the port is non-standard.
4572         (mkstruct): Append the query string to the file name, if any.
4573         (urlpath_length): Use strpbrk_or_eos.
4574         (uri_merge_1): Handle the cases where LINK is an empty string,
4575         where LINK consists only of query, and where LINK consists only of
4576         fragment.
4577         (convert_links): Count and report both kinds of conversion.
4578         (downloaded_file): Use a hash table, not a list.
4579         (downloaded_files_free): Free the hash table.
4580
4581         * retr.c (retrieve_from_file): Ditto.
4582
4583         * main.c (main): Call either retrieve_url or retrieve_tree
4584         for each URL, not both.
4585
4586         * retr.c (register_all_redirections): New function.
4587         (register_redirections_mapper): Ditto.
4588         (retrieve_url): Register the redirections.
4589         (retrieve_url): Make the string "Error parsing proxy ..."
4590         translatable.
4591
4592         * res.c (add_path): Strip leading slash from robots.txt paths so
4593         that the path representations are "compatible".
4594         (free_specs): Free each individual path, too.
4595         (res_cleanup): New function.
4596         (cleanup_hash_table_mapper): Ditto.
4597
4598         * recur.c (url_queue_new): New function.
4599         (url_queue_delete): Ditto.
4600         (url_enqueue): Ditto.
4601         (url_dequeue): Ditto.
4602         (retrieve_tree): New function, replacement for recursive_retrieve.
4603         (descend_url_p): New function.
4604         (register_redirection): New function.
4605
4606         * progress.c (create_image): Cosmetic changes.
4607
4608         * init.c (cleanup): Do all those complex cleanups only if
4609         DEBUG_MALLOC is defined.
4610
4611         * main.c: Removed --simple-check and the corresponding
4612         simple_host_check in init.c.
4613
4614         * html-url.c (handle_link): Parse the URL here, and propagate the
4615         parsed URL to the caller, who would otherwise have to parse it
4616         again.
4617
4618         * host.c (xstrdup_lower): Moved to utils.c.
4619         (realhost): Removed.
4620         (same_host): Ditto.
4621
4622 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4623
4624         * utils.c (path_simplify): Preserver the (non-)existence of
4625         leading slash.  Return non-zero if changes were made.
4626
4627 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4628
4629         * progress.c (bar_update): Don't modify bp->total_length if it is
4630         zero.
4631
4632 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4633
4634         * retr.c (retrieve_url): When the redirection URL doesn't parse,
4635         print the correct error message rather than "UNKNOWN".
4636
4637 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4638
4639         * progress.c (bar_finish): If the timer didn't record any time
4640         since the download beginning, fake 1ms.
4641
4642 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4643
4644         * recur.c (recursive_retrieve): Fix typo.
4645
4646 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
4647
4648         * progress.c (create_image): Don't translate "%ld ".
4649
4650 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
4651
4652         * progress.c (bar_set_params): Allow the user to force the use of
4653         the bar.
4654
4655 2001-11-23  Lemble Gregory  <gregory.lemble@st.com>
4656
4657         * gen_sslfunc.c (ssl_init_prng): New function; seed the SSL RNG.
4658
4659 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
4660
4661         * progress.c: Renamed dp_* functions to dot_* for greater clarity
4662         and consistency with bar_*.
4663         (print_download_speed): Get rid of the unneeded '@' character.
4664         (create_image): Fix download rate geometry.
4665
4666         * progress.c (print_elapsed): Remove spurious space.
4667         (print_elapsed): Renamed to print_download_speed, since that's
4668         what it does.
4669
4670 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
4671
4672         * progress.c (bar_update): If the downloaded amount becomes larger
4673         than the expected amount, adjust the expected amount accordingly.
4674
4675 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
4676
4677         * utils.c (determine_screen_width): New function.
4678
4679         * main.c (main): New option `--progress=TYPE'.
4680         (main): Implement compatibility with the old option `--dot-style'.
4681
4682         * init.c: Removed cmd_spec_dotstyle -- that logic is now in
4683         dp_set_params.
4684         (cmd_spec_progress): New function.
4685
4686         * retr.c (get_contents): Use the progress_* functions instead of
4687         the old show_progress().
4688         (show_progress): Removed.
4689         (rate): Print "xxxx.xx K/s" instead of "KB/s".  Ditto for MB/s,
4690         etc.
4691
4692         * progress.c (set_progress_implementation): New function.
4693         (valid_progress_implementation_p): Ditto.
4694         (progress_create): Ditto.
4695         (progress_update): Ditto.
4696         (progress_finish): Ditto.
4697         (dp_create): Ditto.
4698         (dp_update): Ditto.
4699         (dp_finish): Ditto.
4700         (dp_set_params): Ditto.
4701         (print_elapsed): Ditto.
4702
4703 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
4704
4705         * retr.c (show_progress): Use it.
4706
4707         * log.c (log_set_flush): New function.
4708
4709 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
4710
4711         * utils.c (path_simplify): Don't remove trailing slashes.
4712
4713         * ftp.c (ftp_get_listing): Use it.
4714
4715         * utils.c (file_merge): New function.
4716
4717         * url.c (opt_url): Removed.
4718
4719         * recur.c (recursive_retrieve): Inline "opt_url" logic.
4720
4721         * main.c (main): Use xfree(), not free().
4722
4723         * url.c (rewrite_url_maybe): Renamed to rewrite_shorthand_url.
4724
4725         * ftp.c (ccon): Move `ccon' typedef here, since it's only used
4726         internally.
4727
4728         * config.h.in: Include a stub for HAVE_STRPBRK.
4729
4730         * cmpt.c (strpbrk): Include a replacement for systems without
4731         strpbrk().
4732
4733         * ftp.c: Use url_set_dir and url_set_file when modifying the URL.
4734
4735         * url.c (url_set_dir): New function.
4736         (url_set_file): Ditto.
4737
4738         * ftp-basic.c (ftp_process_type): Process FTP type here; the URL
4739         parser makes the URL "params" available, so we can do that in this
4740         function.
4741
4742         * retr.c: Ditto.
4743
4744         * ftp.c: Ditto; pass the local file information in `ccon'.
4745
4746         * http.c: Get rid of the ugly kludge that had URL being replaced
4747         with the proxy URL when proxy retrieval was requested.  Use a
4748         separate parameter to http_loop and gethttp for the proxy URL.
4749
4750         * http.c: Changed to reflect the fact that local file, proxy, and
4751         referer information are no longer stored in struct url.  The local
4752         file information is passed in `struct hstat' now.
4753
4754         * url.c: Reworked URL parsing to be more regular.  Reencode the
4755         URL using reencode_string.
4756         Removed non-URL-related information from struct url.  This
4757         includes fields `proxy', `local', and `referer'.
4758
4759 2001-11-22  Jochen Hein  <jochen@jochen.org>
4760
4761         * main.c (main): Split the copyright notice for easier
4762         translation.
4763
4764 2001-08-21  Dave Turner <dct25@hermes.cam.ac.uk>
4765
4766         * ftp-basic.c (ftp_size): New function to send non-standard SIZE
4767           command to server to request file size.
4768         * ftp.h (ftp_size): Export it.
4769         * ftp.c (getftp): Use new ftp_size function if restoring
4770           transfer of a file with unknown size.
4771
4772 2001-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4773
4774         * url.c (parseurl): Don't depend on the now-obsolete TYPE.
4775
4776 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4777
4778         * url.c (getproxy): Handle URL shorthands.
4779
4780 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4781
4782         * main.c: Remove --wait / --waitretry backwards compatibility
4783         code.
4784
4785 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4786
4787         * main.c (main): Use it.
4788
4789         * url.c (rewrite_url_maybe): New function.
4790
4791 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4792
4793         * url.c: Clean up handling of URL schemes.
4794
4795 2001-05-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4796
4797         * url.c: Get rid of `protostrings'.
4798         (skip_proto): Don't use protostrings.
4799         (has_proto): Ditto.
4800
4801 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
4802
4803         * Makefile.in: Conditionally compile getopt.o.
4804
4805 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
4806
4807         * md5.h: Renamed to gnu-md5.h.
4808
4809         * md5.c: Renamed to gnu-md5.c.
4810
4811         * http.c: Ditto.
4812
4813         * ftp-opie.c: Use the new macros.
4814
4815         * sysdep.h: Define md5-related macros.
4816
4817         * config.h.in: Define HAVE_SOLARIS_MD5 or HAVE_BUILTIN_MD5
4818         depending on which md5 implementation is used.
4819
4820 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
4821
4822         * res.c (res_register_specs): Initialize OLD and HP_OLD to appease
4823         the compiler.
4824
4825 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
4826
4827         * http.c (gethttp): Print the whole response line when printing
4828         headers is requested.
4829
4830 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4831
4832         * res.c: New file.  Implement all RES-related code here.
4833
4834 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
4835
4836         * version.c: Wget 1.7.1 is released.
4837
4838 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
4839
4840         * headers.c (header_extract_number): Ignore trailing whitespace.
4841
4842 2001-08-24  Ian Abbott  <abbotti@mev.co.uk>
4843
4844         * html-url.c (collect_tags_mapper): Fix bug converting links
4845         with -k option for tags with multiple link attributes by
4846         handling links in the order they appear.
4847
4848 2001-08-15  Ian Abbott  <abbotti@mev.co.uk>
4849
4850         * ftp.c (ftp_loop_internal): Avoid a potential buffer overflow in
4851           the call to the 'rate' function by moving it past the error
4852           checking for the 'getftp' function return value.
4853
4854 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
4855
4856         * html-parse.c (advance_declaration): Use 0x22 instead of '"' or
4857         '\"'.  Different compilers' assert macros are broken in different
4858         ways.
4859
4860 2001-09-29  Christian Fraenkel  <c.fraenkel@gmx.net>
4861
4862         * http.c (gethttp): print debug output for errors occuring during
4863         the ssl handshake.
4864
4865 2001-11-16  Chris Seawood  <cls@seawood.org>
4866
4867         * init.c: Ditto.
4868
4869         * host.c: Ditto.
4870
4871         * connect.c: Ditto.
4872
4873         * sysdep.h: Support compilation under BEOS.
4874
4875 2001-06-08  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
4876
4877         * url.c (url_equal): Fix a memory leak when parseurl returns an
4878         error on the second URL. Also, since url_equal is not used at the
4879         moment, do not compile it.
4880
4881         * url.h: Ditto for the prototype of url_equal.
4882
4883 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
4884
4885         * html-parse.c (map_html_tags): Support XML-style empty tags.
4886
4887 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4888
4889         * wget.h (DO_REALLOC_FROM_ALLOCA): Check for do_realloc_newsize in
4890         loop condition because we're no longer setting SIZEVAR here.
4891
4892 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4893
4894         * wget.h (DO_REALLOC_FROM_ALLOCA): Set SIZEVAR after the memcpy()
4895         call because it needs the old value.
4896
4897 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
4898
4899         * cookies.c (ATTR_NAME_CHAR): Allow almost any character to be in
4900         an attribute name.
4901
4902 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
4903
4904         * url.c (url_filename): Make sure that slashes that sneak in to
4905         u->file via query string get protected.
4906         (file_name_protect_query_string): New function.
4907
4908 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4909
4910         * recur.c (recursive_retrieve): Also check undesirable_urls with
4911         canonicalized URL.
4912
4913 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4914
4915         * http.c (gethttp): Search `.netrc' with real host, not the proxy
4916         one.
4917
4918 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4919
4920         * sysdep.h (MAP_FAILED): Provide MAP_FAILED for systems that don't
4921         define it.
4922
4923 2001-06-09  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4924
4925         * ftp.h: Provide correct prototype for ftp_parse_ls().
4926
4927 2001-06-04  Hrvoje Niksic  <hniksic@arsdigita.com>
4928
4929         * version.c: Wget 1.7 is released.
4930
4931 2001-06-03  Karl Eichwalder  <ke@suse.de>
4932
4933         * ftp-ls.c (ftp_parse_ls): Fix typo.
4934
4935 2001-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4936
4937         * all: Update copyright information.
4938
4939 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4940
4941         * http.c (gethttp): Indicate that the continued download failed
4942         for *this* file.
4943
4944 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4945
4946         * version.c: Wget 1.7-pre1 is released.
4947
4948 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4949
4950         * version.c: Updated version to 1.7-pre1.
4951
4952 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4953
4954         * gen_sslfunc.c: Don't include <sys/time.h> directly.
4955
4956 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4957
4958         * http.c (gethttp): Use real URL data for cookies, not the proxy
4959         stuff.
4960
4961 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4962
4963         * main.c (print_help): Document `--no-http-keep-alive'.
4964
4965         * utils.c (numdigit): Handle negative numbers *correctly*.
4966
4967         * hash.c (make_nocase_string_hash_table): Use term "nocase" rather
4968         than the confusing "unsigned".
4969
4970         * utils.c (string_set_contains): Renamed from string_set_exists.
4971
4972         * hash.c (hash_table_contains): Renamed from hash_table_exists.
4973
4974         * cookies.c: Move case-insensitive hash tables to hash.c.
4975
4976 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4977
4978         * http.c (gethttp): Before concluding that the file is already
4979         fully retrieved, make sure that the file existed and `Range' was
4980         actually requested.
4981
4982 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4983
4984         * cookies.c (eliminate_dups): New function.
4985         (build_cookies_request): Use it.
4986         (build_cookies_request): Set chain_store_size after reallocating
4987         all_chains.
4988         (check_domain_match): Annotated for easier future debugging.
4989         (store_cookie): In the debug message, print whether the cookie is
4990         permanent.
4991
4992 2001-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
4993
4994         * http.c (http_loop): Reset no_truncate before deciding whether to
4995         set it.
4996         (gethttp): Further clarify "-c conflicts with existing file" error
4997         message, based on input from Herold Heiko.
4998
4999 2001-05-07  Hrvoje Niksic  <hniksic@arsdigita.com>
5000
5001         * http.c (http_loop): If restval is set, set no_truncate to 1
5002         unconditionally.
5003
5004 2001-05-02  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5005
5006         * ftp-ls.c (ftp_parse_winnt_ls): Assure months are being correctly
5007         converted. Pointed out by <Stefan.Weil@de.heidelberg.com>.
5008         (ftp_parse_vms_ls): Ditto.
5009
5010 2001-04-30  Hrvoje Niksic  <hniksic@arsdigita.com>
5011
5012         * init.c (cmd_address): Zero SIN before using it; apparently
5013         needed on *BSD.
5014
5015 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
5016
5017         * ftp.c (ftp_loop_internal): Don't set NO_TRUNCATE if the file is
5018         empty.
5019
5020 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
5021
5022         * main.c (main): Make `--cookies' respect its argument.
5023
5024 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
5025
5026         * main.c (main): Removed undocumented option `--email-address'.
5027
5028         * netrc.c: Use the latest read_whole_line.
5029
5030         * init.c (defaults): Set opt.ftp_pass to "-wget@".
5031
5032         * mswindows.c (pwd_cuserid): Ditto.
5033
5034         * utils.c (pwd_cuserid): Removed.
5035
5036         * host.c (ftp_getaddress): Removed.
5037
5038 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
5039
5040         (http_loop): Allocate space for filename_plus_orig_suffix with
5041         alloca; this is more efficient and removes the need to free it
5042         before each and every return.
5043
5044 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
5045
5046         * http.c (gethttp): Return RETRUNNEEDED when the retrieval is
5047         unneeded because the file is already there and fully downloaded,
5048         and -c is specified.
5049         (http_loop): Handle RETRUNNEEDED.
5050
5051         * wget.h (uerr_t): New value RETRUNNEEDED.
5052
5053         * http.c (http_loop): Set no_truncate for files that both exist
5054         and are non-empty.
5055         (gethttp): Consider the download finished when restval >= contlen,
5056         not only when restval==contlen.
5057         (gethttp): Handle redirection before giving up due to -c.
5058         (gethttp): Clarify error message which explains that -c will not
5059         truncate the file.
5060         (gethttp): When returning CONTNOTSUPPORTED, don't forget to free
5061         the stuff that needs freeing and release the socket.
5062
5063 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
5064
5065         * main.c (print_help): Wget booleans accept "off", not "no".
5066
5067 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
5068
5069         * http.c (http_loop): If allow_cache is zero, always disable
5070         caching, not only when retrieving through proxy.
5071
5072         * init.c: Ditto.
5073
5074         * options.h (struct options): Rename proxy_cache to allow_cache.
5075
5076 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
5077
5078         * http.c (mktime_from_utc): Improve documentation.
5079         (http_atotm): Put format strings into a separate array.
5080
5081 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
5082
5083         * safe-ctype.h: Instead of throwing #error when isalpha is
5084         defined, redefine it to something that will throw a compile-time
5085         error if actually *used*.  Do the same for the rest of the
5086         standard C macros.
5087
5088 2001-04-26  Hrvoje Niksic  <hniksic@arsdigita.com>
5089
5090         * url.c (getproxy): Ignore empty proxy vars.
5091
5092 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5093
5094         * http.c (http_loop): Would load cookies every time.
5095
5096         * cookies.c (load_cookies): Handle cookies whose values contain
5097         embedded spaces.
5098
5099 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5100
5101         * utils.c: Define each DIGITS_* in one line.
5102
5103 2001-04-25  Roger L. Beeman  <beeman@cisco.com>
5104
5105         * http.c (http_atotm): Initialize t.tm_isdst to 0.
5106         (mktime_from_utc): Prevent mktime() from having discontinuities at
5107         DST transition points.
5108
5109 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5110
5111         * html-url.c (get_urls_html): Fix documentation.
5112
5113 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5114
5115         * url.c (UNSAFE_CHAR): Reimplement using a static table.
5116         (url_init): Removed.
5117         (init_unsafe_char_table): Removed.
5118
5119 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5120
5121         * snprintf.c (dopr): Replace ISDIGIT with '0' <= ch && ch <= '9'.
5122
5123 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5124
5125         * utils.c: Document timer functions.
5126
5127         * retr.c (rate): Use it.
5128         (rate): Print in GB/s if transfer rate exceeds 1 GB/s.
5129
5130         * utils.c (wtimer_granularity): New function.
5131
5132 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
5133
5134         * retr.c (show_progress): Ditto.
5135
5136         * ftp.c (getftp): Ditto.
5137
5138         * http.c (gethttp): Use new timer functions.
5139
5140         * utils.c (wtimer_allocate): New function.
5141         (wtimer_new): Ditto.
5142         (wtimer_delete): Ditto.
5143         (wtimer_reset): Ditto.
5144         (wtimer_elapsed): Ditto.
5145
5146 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
5147
5148         * utils.c (long_to_string): New, faster version.  Favors smaller
5149         numbers; much of the calculation is now done at compile-time.
5150
5151 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
5152
5153         * utils.c (numdigit): Handle negative numbers.
5154
5155 2001-04-23  Hrvoje Niksic  <hniksic@arsdigita.com>
5156
5157         * retr.c (show_progress): Print the download rate even when the
5158         percentages are not available.
5159
5160 2001-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
5161
5162         * ftp.c (getftp): Adjust expected_bytes if the length is
5163         authoritative.
5164
5165 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
5166
5167         * url.c: Don't declare `construct'.
5168
5169         * hash.c (grow_hash_table): Speed up rehashing; inline storing of
5170         mappings to new locations.
5171         (hash_table_new): Make resize_threshold a field in the hash table,
5172         so we don't have to recalculate it in each hash_table_put.
5173         (grow_hash_table): Update resize_threshold.
5174         (MAX): Remove unused macro.
5175         (prime_size): Made static.
5176
5177 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
5178
5179         * retr.c (retrieve_url): Call uri_merge, not url_concat.
5180
5181         * html-url.c (collect_tags_mapper): Call uri_merge, not
5182         url_concat.
5183
5184         * url.c (mkstruct): Use encode_string instead of xstrdup followed
5185         by URL_CLEANSE.
5186         (path_simplify_with_kludge): Deleted.
5187         (contains_unsafe): Deleted.
5188         (construct): Renamed to uri_merge_1.
5189         (url_concat): Renamed to uri_merge.
5190
5191 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
5192
5193         * url.c (str_url): Use encode_string instead of the unnecessary
5194         CLEANDUP.
5195         (encode_string_maybe): New function, returns input string if no
5196         encoding is needed.
5197         (encode_string): Call encode_string_maybe to do the dirty work,
5198         xstrdup if no work needed.
5199
5200 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
5201
5202         * wget.h (XDIGIT_TO_xchar): Define here.
5203
5204         * url.c (decode_string): Use new name.
5205         (encode_string): Ditto.
5206
5207         * http.c (XDIGIT_TO_xchar): Rename HEXD2asc to XDIGIT_TO_xchar.
5208         (dump_hash): Use new name.
5209
5210         * wget.h: Rename ASC2HEXD and HEXD2ASC to XCHAR_TO_XDIGIT and
5211         XDIGIT_TO_XCHAR respectively.
5212
5213 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
5214
5215         * init.c: Include cookies.h.
5216
5217         * cookies.h: Declare cookies_cleanup.
5218
5219         * cookies.c (check_domain_match): Remove unused variable.
5220         (save_cookies): Remove extraneous argument from debug statement.
5221
5222         * host.c (same_host): Don't call skip_url.
5223
5224         * url.c (skip_url): Removed.  Removed its calls from various
5225         functions in url.c.
5226
5227 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
5228
5229         * cookies.c (unsigned_string_hash): Use the new code in
5230         string_hash as reference.
5231
5232         * hash.c (hash_table_map): Allow deletion and change of the
5233         element processed by MAPFUN.
5234         (string_hash): Use the function from glib.
5235
5236 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
5237
5238         * config.h.in: Include #undef stub.
5239
5240         * hash.c (hash_table_remove): Rewrite to actually clear deleted
5241         entries instead of just marking them as deleted.
5242
5243 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
5244
5245         * hash.h: Declare hash_table_get_pair and hash_table_count.
5246
5247 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
5248
5249         * cookies.c: Declare http_atotm.
5250
5251 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
5252
5253         * ftp-ls.c (ftp_parse_unix_ls): Use octal constants for
5254         permissions.  A compiler that doesn't accept octal constants is
5255         seriously broken and shouldn't be used -- octal constants were
5256         present in K&R C!
5257
5258 2001-01-20  Karl Eichwalder  <ke@suse.de>
5259
5260         * Makefile.in: Provide and use DESTDIR according to the Coding
5261         Standards.
5262
5263 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
5264
5265         * ftp-ls.c (ftp_parse_vms_ls): Make seconds optional in time
5266         specification.
5267
5268 2001-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
5269
5270         * url.c (parseurl): Don't strip trailing slash when u->dir is "/"
5271         because that strips the *leading* slash, thus forcing relative
5272         FTP retrieval.
5273
5274 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5275
5276         * ftp.c (getftp): Convert initial FTP directory from VMS to UNIX
5277         notation for VMS servers.
5278         (ftp_retrieve_dirs): Do not prepend '/' to f->name when
5279         odir is an empty string.
5280
5281 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5282
5283         * ftp-ls.c (ftp_parse_winnt_ls): Made the fix for AM/PM more
5284         effective. Suggested by Edward J. Sabol.
5285
5286 2001-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
5287
5288         * cookies.c (build_cookies_request): Use and sort cookies from all
5289         matching domains.
5290         (build_cookies_request): Check for duplicates before generating
5291         the `Cookies' header.
5292
5293         * main.c (main): Don't load cookies here.
5294         (main): Make loadcookies and savecookies call the correct command.
5295
5296         * http.c (http_loop): Load cookies on-demand.
5297
5298 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
5299
5300         * http.c (gethttp): Fix indentation of SSL ifdef.
5301
5302 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
5303
5304         * ftp.c (ftp_retrieve_dirs): Don't forcibly prepend "/" to u->dir;
5305         that hack is no longer necessary.
5306         (getftp): Prepend initial directory to *non*-absolute u->dir's.
5307
5308 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
5309
5310         * init.c (cmd_file): New function.
5311         (enable_tilde_expansion): New variable.
5312         (run_wgetrc): Use it.
5313         (cmd_file): Use it.
5314
5315 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
5316
5317         * init.c: Include cookie-related options.
5318
5319         * main.c (main): Include cookie-specific options.
5320         (main): Load cookies before download is finished.
5321         (main): Save cookies when done.
5322
5323         * http.c (gethttp): Process the `Set-Cookie' header.
5324         (gethttp): Include cookies in the response.
5325
5326         * cookies.c: New file.
5327
5328 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
5329
5330         * utils.c (datetime_str): New function.
5331
5332 2001-04-08  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5333
5334         * ftp-ls.c (ftp_parse_winnt_ls): The AM/PM change did assume
5335         12:01PM == 00:01, which was obviously wrong. Taken care of this
5336         anomaly.
5337
5338         * ChangeLog: Removed an excess conflict marker. Reformatted the
5339         entry by Philipp Thomas from 2001-03-09.
5340
5341         * ftp-ls.c (ftp_parse_winnt_ls): Ensure that adjusted PM hours lay
5342         between 0 and 23. Elminate unused variable `sec'.
5343
5344 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
5345
5346         * hash.c (hash_table_count): New function.
5347
5348 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5349
5350         * utils.c (read_file): Cast MAP_FAILED to char *.  Enforced by
5351         Digital Unix cc.
5352
5353 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5354
5355         * config.h.in: Oops, do the namespace tweaks only on systems we
5356         know about.
5357
5358 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5359
5360         * hash.c: Include <string.h>.
5361
5362 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5363
5364         * config.h.in: Define "compilation environment" options that work
5365         under Linux and Solaris.  To be reviewed on other OS'es.
5366
5367 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5368
5369         * http.c (gethttp): Prepend literal newline with `\n\'.
5370
5371 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5372
5373         * sysdep.h: Don't define VERY_LONG_FORMAT.
5374
5375         * utils.c (very_long_to_string): New function.
5376         (legible_very_long): Use it; don't use VERY_LONG_FORMAT.
5377
5378 2001-04-04  Christian Fraenkel  <christian.fraenkel@gmx.net>
5379
5380         * url.c (parse_uname): Would run past the end of the string if the
5381         username was present, but the URL did not contain a slash, e.g.
5382         http://foo:bar@myhost.
5383
5384 2001-04-03  KOJIMA Hajime  <kjm@rins.ryukoku.ac.jp>
5385
5386         * http.c (http_atotm): Use %A instead of %a to match full
5387         weekday.  (On most systems there is no difference.)
5388
5389 2001-04-03  Paul Bludov  <paul@ozero.net>
5390
5391         * mswindows.c (sleep): Use SleepEx() instead of Sleep().
5392         (ws_changetitle): Use alloca() instead of malloc() to avoid memory
5393         leak.
5394         (ws_mypath): Use GetModuleFileName instead of argv[0].
5395         (ws_startup): Use data.wVersion for comparison.
5396
5397 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
5398
5399         * http.c (http_loop): Ditto.
5400
5401         * ftp.c (ftp_loop_internal): Made the check whether to continue
5402         retrieval `-O'-friendly.
5403
5404 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
5405
5406         * netrc.c (parse_netrc): Don't trim the line endings explicitly;
5407         they will be handled as whitespace.
5408         (parse_netrc): Correctly handle lines that end with whitespace.
5409
5410 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
5411
5412         * retr.c (retrieve_url): New variable global_download_count used
5413         to identify first retrieval.
5414
5415         * ftp.c (getftp): Ditto.
5416
5417         * http.c (gethttp): Rewind opt.dfp only on first retrieval.
5418
5419 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
5420
5421         * init.c (cmd_address): Heap-allocate the address that gets stored
5422         to CLOSURE.  Old code would simply assign an address on the stack.
5423
5424 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
5425
5426         * ftp.c (ftp_get_listing): Propagate error status.
5427         (ftp_retrieve_glob): Use it.
5428         (ftp_loop): Ditto.
5429
5430 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
5431
5432         * main.c (main): Add -C to the string that is the third arg to
5433         getopt_long().
5434
5435 2001-04-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5436
5437         * ftp.c (getftp): Don't start the download from scratch if `-c'
5438         was specified, but the file is already fully downloaded.
5439
5440         * http.c (gethttp): Don't truncate a pre-existing file if `-c' was
5441         specified and the server doesn't support continued download.
5442         (gethttp): Don't start the download from scratch if `-c' was
5443         specified, but the file is already fully downloaded.
5444
5445 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
5446
5447         (recursive_retrieve): Don't clear the hash tables at this point at
5448         all; it interferes with the normal operation of register_download.
5449
5450 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
5451
5452         * recur.c (recursive_retrieve): Clear the hash tables only when
5453         they are defined.
5454
5455 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
5456
5457         * http.c (gethttp): Make sure the socket is closed with
5458         CLOSE_INVALIDATE before we have drained the body.
5459
5460 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
5461
5462         * retr.c (retrieve_url): Call register_download() for downloaded
5463         files and register_html() for downloaded HTML files.
5464
5465         * recur.c (register_download): New function; register here that a
5466         file has been downloaded, rather than in recursive_retrieve().
5467         (register_html): New function; enqueue the location of HTML files
5468         here rather than in recursive_retrieve().
5469
5470 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
5471
5472         * main.c (print_help): Use multiple fputs instead of a single ugly
5473         printf().
5474         (main): Consistently assign numbers >128 to options without a
5475         corresponding character.
5476
5477 2001-03-09  Philipp Thomas  <pthomas@suse.de>
5478
5479         * safe-ctype.h: New file. Locale independent ctype.h replacement
5480         taken from libiberty.
5481
5482         * safe-ctype.c: New file. Tables for above.
5483
5484         * Makefile.in: Add safe-ctype$o to OBJS.  Add dependencies for
5485         safe-ctype$o.
5486
5487         * cmpt.c: Remove include of ctype.h. Use ISSPACE instead of
5488         isspace.
5489
5490         * ftp-basic.c: Don't include ctype.h.
5491
5492         * ftp-ls.c: Likewise.
5493
5494         * ftp.c: Likewise.
5495
5496         * headers.c: Likewise.
5497
5498         * host.c: Likewise.
5499
5500         * html-parse.c: Likewise.
5501
5502         * html-url.c: Likewise.
5503
5504         * http.c: Likewise.
5505
5506         * init.c: Likewise.
5507
5508         * main.c: Likewise. Set LC_CTYPE along with LC_MESSAGES.
5509
5510         * netrc.c: Likewise.
5511
5512         * recur.c: Likewise.
5513
5514         * retr.c: Likewise.
5515
5516         * snprintf.c: Replace ctype.h with safe-ctype.h. Use ISDIGIT
5517         instead of isdigit.
5518
5519         * sysdep.h: Remove defines of ctype macros as they aren't needed
5520         for safe-ctype-h.
5521
5522         * url.c: Don't include ctype.h.
5523
5524         * utils.c: Likewise.
5525
5526         * wget.h: Include safe-ctype.h.
5527
5528 2001-03-27  Dan Harkless  <wget@harkless.org>
5529
5530         * Makefile.in: Moved top_builddir out of "User configuration
5531         section" of top Makefile and analogous spot in this one.
5532
5533 2001-03-17  Dan Harkless  <wget@harkless.org>
5534
5535         * Makefile.in: Include @SSL_INCLUDES@ substition in INCLUDES.
5536         Define top_builddir.  Link wget with libtool so the user doesn't
5537         have to supply a bunch of custom environment variables to
5538         correctly link with the OpenSSL shared libraries.
5539
5540 2001-03-06  Hack Kampbjorn  <hack@hackdata.com>
5541
5542         * http.c (gethttp): skip :port in host header if it is the
5543         DEFAULT_HTTPS_PORT when using SSL.
5544
5545         * url.c: move the #define of DEFAULT_HTTP_PORT, DEFAULT_FTP_PORT
5546         and DEFAULT_HTTPS_PORT to the header file so it can be use in the
5547         rest of the code.
5548         * url.h: Ditto
5549
5550 2001-03-01  Jonas Jensen  <bones@huleboer.dk>
5551
5552         * retr.c (show_progress): Correctly calculate the number of bytes
5553         in the first line of the download that have been actually
5554         downloaded in this run.
5555
5556 2001-02-23  Dan Harkless  <wget@harkless.org>
5557
5558         * main.c (print_help): --help documentation for -N said it would
5559         re-download files if they had the _same_ timestamp on server.
5560         (print_help): -nr belongs in "FTP options" section of --help
5561         output, not "Recursive retrieval" section.  Alphabetized FTP
5562         options by long option name.
5563
5564 2001-02-16  Dan Harkless  <wget@harkless.org>
5565
5566         * init.c (commands): Hack Kampbjørn <hack@hackdata.com> discovered
5567         that "httpsproxy" had been inserted into commands[] out of
5568         alphabetical order, causing "BUG: unknown command `httpuser'".
5569
5570 2001-02-13  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5571
5572         * ftp-ls.c (ftp_parse_ls): Added support of ST_MACOS (Unix-like
5573         listing without correct permissons).
5574
5575         * ftp.h (stype): Added ST_MACOS to identify the NetPresenz MacOS
5576         FTP server.
5577
5578         * ftp.c (ftp_retrieve_list): New mirroring logic: A remote file
5579         shall be donwloaded only when it's newer than the local copy or
5580         when it has the same timeestamp but its size is different. ST_VMS
5581         and ST_MACOS as special cases that lie about file size.
5582
5583         * ftp-ls.c (ftp_parse_ls): Support for ST_MACOS.
5584
5585         * Makefile.in: Removed dependency on ftpparse library due to unclear
5586         copyright issues and absence of any feedback to our queries.
5587
5588         * ftp-ls.c: Removed dependency on ftpparse library due to unclear
5589         copyright issues and absence of any feedback to our queries.
5590         (ftp_parse_ls): Added a warning message when remote server system
5591         does not seem to be suported by wget.
5592         (ftp_parse_vms_ls): New function for parsing VMS ftp
5593         server listing output.
5594         (clean_line): New function responsible for removing
5595         end-of-line characters from FTP listing texts.
5596
5597         * ftp.c (getftp): Global variables pwd and host_type are now
5598         member of the ccon structure under names ccon.id and ccon.rs.
5599
5600         * ftp.h (struct ccon): Added formed global variables from ftp.c,
5601         enum stype rs (remote system identification) and char *id (initial
5602         working directory), as suggested by Hrvoje.
5603
5604         * url.c (parse_uname): Added support for passwords containing '@'
5605         characters.
5606         (skip_uname): Ditto.
5607
5608 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
5609
5610         * ftp.c (ftp_loop): Reset con.
5611
5612 2001-01-06  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5613
5614         * url.c (parse_uname): Added support for passwords containing '@'
5615         characters.
5616         (skip_uname): Ditto.
5617
5618 2001-02-11  Hack Kampbjørn  <hack@hackdata.com>
5619
5620         * url.c (parseurl): Debug-print u->ftp_type.
5621
5622 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
5623
5624         * ftp.c (ftp_loop_internal): Disable padding.
5625         (getftp): Ditto.
5626
5627         * http.c (http_loop): Disable padding.
5628
5629         * retr.c (show_progress): Use it to enable padding.
5630
5631         * retr.c (rate): Optional parameter PAD for padding the rate.
5632
5633 2001-02-10  Hrvoje Niksic  <hniksic@arsdigita.com>
5634
5635         * retr.c (show_progress): Make sure that the last output line
5636         includes progress.
5637
5638 2001-02-10  Jonas Jensen  <bones@huleboer.dk>
5639
5640         * retr.c (show_progress): Print the download rate along with the
5641         percentages.
5642         Along with Anders Thorsby <anders@thorsby.dk>.
5643
5644 2001-02-10  Tim Mooney  <mooney@dogbert.cc.ndsu.NoDak.edu>
5645
5646         * ftp.h: Rename enums `command' to `wget_ftp_command' and
5647         `fstatus' to `wget_ftp_status' because old names clash with Tru64
5648         net/if.h.
5649
5650 2001-02-08  Christian Fraenkel <christian.fraenkel@gmx.net>
5651
5652         * gen_sslfunc.c: verify_callback is now static
5653
5654         * gen_sslfunc.c (init_ssl): load certificate if specified
5655
5656         * gen_sslfunc.c (ssl_printerr): new function
5657
5658         * init.c: added new --sslcertfile and --sslcertkey switches
5659
5660         * main.c: ditto
5661
5662         * options.h: ditto
5663
5664         * http.c (gethttp): abort when init_ssl fails
5665
5666 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
5667
5668         * mswindows.h: Include <malloc.h>; it's needed for alloca().
5669
5670 2001-01-10  Dan Harkless  <wget@harkless.org>
5671
5672         * url.c (str_url): Clarified this function's comment header after
5673         Hrvoje answered my question on the list as to when hide != 1.
5674         Also Hrvoje pointed out I need to use xstrdup() on the string literal.
5675
5676 2001-01-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5677
5678         * connect.c (bindport): Declare addrlen as int.  Diagnosed by
5679         Drazen Kacar <dave@arsdigita.com>.
5680         (conaddr): Ditto.
5681
5682 2001-01-09  Dan Harkless  <wget@harkless.org>
5683
5684         * html-url.c: A bunch of fixup of `--page-requisites'-related
5685         comments to reflect Hrvoje's changes to my code when transplanting
5686         it into this new file, to fix spelling mistakes, to clarify, etc.
5687
5688         * url.c (write_backup_file): Clarified a comment.
5689         (str_url): Henrik van Ginhoven pointed out on the list that we
5690         shouldn't give away the number of characters in the password by
5691         replacing each character with a 'x'.  Use "<password>" instead.
5692
5693         * ftp.c (ftp_retrieve_dirs): The bug where recursion into FTP
5694         directories didn't work if logging in put you in a directory other
5695         than "/" is fixed now.  Removed the comment here warning of the bug.
5696
5697         * main.c (print_help): --continue's description was misleading.
5698         We don't "restart", we "resume".  Also, better to say
5699         "partially-downloaded file" rather than just "existing file".
5700
5701 2001-01-06  Dan Harkless  <wget@harkless.org>
5702
5703         * ChangeLog: The '[Not in 1.6 branch.]'s were decided not to be
5704         the best way to go about my aim.  Removed them in favor of:
5705
5706         * ChangeLog-branches/1.6_branch.ChangeLog: New file.
5707
5708 2001-01-04  Hrvoje Niksic  <hniksic@arsdigita.com>
5709
5710         * url.c (replace_attr): New function, to be used by both
5711         TO_COMPLETE and TO_RELATIVE case in convert_links.
5712         (find_fragment): New function for finding URL fragments.
5713         (replace_attr): Better handle the case where the original string
5714         is not quoted.  Use find_fragment.
5715         (convert_links): Use replace_attr().
5716
5717 2000-12-31  Dan Harkless  <wget@harkless.org>
5718
5719         * ChangeLog: Since this flat file doesn't have multiple branches,
5720         looking at the dates would make you think that things went into
5721         1.6 that actually just went into the 1.7-dev branch.  Added "[Not
5722         in 1.6 branch.]" where appropriate to clarify.
5723
5724 2000-12-30  Dan Harkless  <wget@harkless.org>
5725
5726         * ftp.c, http.c:  Applied Hack Kampbjørn <hack@hackdata.com>'s
5727         patch to deal with h_errno not being defined in netdb.h under Cygwin.
5728
5729 2000-12-18  Csaba Raduly  <csaba.raduly@sophos.com>
5730
5731         * sysdep.h: Include <malloc.h> and <io.h> under Watcom.
5732
5733 2000-12-17  Igor Khristophorov  <igor@atdot.org>
5734
5735         * http.c (check_end): Fix test for '+' or '-'.
5736
5737 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
5738
5739         * url.c (parseurl): Rename inner loop var from i to ind to avoid
5740         clash with the function top-level-declared variable i.
5741         (str_url): Likewise, rename inner-loop i to j.
5742
5743         * recur.c (parse_robots): Don't declare LEN at top of function.
5744         (robots_match): Renamed parameter FORBIDDEN to avoid hiding of
5745         global variable.
5746
5747         * main.c (main): Change erroneous use of bitwise and to logical.
5748
5749         * init.c (cmd_address): Don't heap-allocate `sin'; it can be on
5750         the stack because it will be copied to closure.
5751
5752         Thanks to Csaba Raduly's run of PC-LINT over the sources.
5753
5754 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
5755
5756         * http.c (basic_authentication_encode): Use xmalloc(), not
5757         malloc().  Thanks to Csaba Raduly's run of PC-LINT over the
5758         sources.
5759
5760 2000-12-17  Csaba Raduly  <csaba.raduly@sophos.com>
5761
5762         * sysdep.h: Test for __EMX__ rather than for EMXOS2 for OS/2
5763         compilation.
5764
5765 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
5766
5767         * mswindows.c: Include <errno.h>.
5768
5769         * gen_sslfunc.c: Include <errno.h>.
5770
5771         * ftp-basic.c: Don't attempt to declare errno or h_errno because
5772         they're not used.
5773
5774         * main.c: Include <errno.h> because errno is used.
5775
5776         * ftp.c: Ditto.
5777
5778         * http.c: Include <netdb.h> for h_errno.
5779
5780 2000-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
5781
5782         * html-parse.c (advance_declaration): MSVC assert() chokes on
5783         '\"'.  Use '"' instead.
5784
5785 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
5786
5787         * utils.c (xfree_real): Removed.
5788         (xfree_debug): Just call free().
5789
5790         * wget.h (xfree): Make it an alias for free.
5791
5792 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
5793
5794         * http.c (http_loop): Furthermore, touch output_document only if
5795         it is known to be an existing regular file.
5796
5797 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
5798
5799         * ftp.c (ftp_retrieve_list): Ditto.
5800
5801         * http.c (http_loop): Touch output_document if that is used for
5802         output.
5803
5804 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5805
5806         * http.c: Include gen_sslfunc.h after including Wget's headers.
5807         (persistent_available_p): Needed coma before `int ssl'.
5808
5809 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5810
5811         * ftp.c (ftp_loop_internal): Ditto.
5812
5813         * http.c (http_loop): Use it.
5814
5815         * retr.c (sleep_between_retrievals): New function that handles the
5816         logic of opt.wait and opt.waitretry.
5817
5818 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5819
5820         * rbuf.h: Implement only a single version of RBUF_READCHAR, using
5821         rbuf_read_bufferful when the buffer is depleted.
5822
5823         * rbuf.c (rbuf_read_bufferful): New function.
5824
5825 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5826
5827         * gen_sslfunc.h: Use ansi2knr style function declarations.
5828
5829         * gen_sslfunc.c: Reformat according to the GNU coding standards.
5830         More should be done.
5831
5832         * http.c (persistent_available_p): Place the cheap SSL test nearer
5833         the top of the function.
5834         (CLOSE_FINISH, CLOSE_INVALIDATE): Define only one version of each.
5835
5836 2000-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
5837
5838         * url.c (init_unsafe_char_table): Reinstate space as an unsafe
5839         char.
5840
5841 2000-12-03  Christian Fraenkel <christian.fraenkel@gmx.net>
5842
5843         * Makefile.in: added gen_sslfunc object
5844         * config.h.in: added HAVE_SSL define
5845         * connect.c: changed select_fd from static int to int
5846         * connect.h: ditto
5847         * gen_sslfunc.h: New file
5848         * gen_sslfunc.c: ditto
5849         * http.c: added HTTPS fuctionality
5850         * retrc.c: ditto
5851         * url.c: ditto
5852         * init.c: added opt.httpsproxy
5853         * options.h: ditto
5854         * rbuf.h: added alternate rbuf struct
5855         * wget.h: added CONSSLERR
5856         * rbuf.c: ditto
5857
5858         * http.c: Added HTTPS fuctionality.
5859
5860         * retrc.c: Ditto.
5861
5862         * url.c: Ditto.
5863
5864         * init.c: Added opt.httpsproxy.
5865
5866         * options.h: Ditto.
5867
5868         * rbuf.h: Added alternate rbuf struct.
5869
5870         * wget.h: Added CONSSLERR.
5871
5872         * rbuf.c: Ditto.
5873
5874 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5875
5876         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
5877         "ignore_perms" to ignore file and directory permissions for
5878         Windows NT FTP server listings.
5879         (ftp_parse_winnt_ls): New function.
5880         (ftp_parse_ls): Parses UNIX and Windows NT listings
5881         separately. Simple heuristics for distinguishing between UNIX and
5882         MS-DOS-like FTP listing provided by Windows NT FTP service.
5883
5884 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5885
5886         * ftpparse.c, ftpparse.h: New files.
5887
5888         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
5889         only. Use ftp_parse_nonunix_ls otherwise.
5890         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
5891         exotic FTP servers.
5892
5893         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
5894         FTP servers.
5895
5896         * ftp.c: New static wariables host_type, pwd, and pwd_len.
5897         (getftp): Support for VMS. Support for FTP servers that do not
5898         place you in the root directory after login.
5899         (ftp_retrieve_list): VMS is silent about the real file size, issue
5900         a more appropriate message.
5901         (ftp_get_listing): Pass host_type to ftp_parse_ls.
5902
5903         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
5904
5905 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5906
5907         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
5908         "ignore_perms" to ignore file and directory permissions for
5909         Windows NT FTP server listings.
5910         (ftp_parse_winnt_ls): New function.
5911         (ftp_parse_ls): Parses UNIX and Windows NT listings
5912         separately. Simple heuristics for distinguishing between UNIX
5913         and MS-DOS-like FTP listing provided by Windows NT FTP service.
5914
5915 2000-11-29  John Summerfield  <summer@OS2.ami.com.au>
5916
5917         * netrc.c (parse_netrc): Get rid of line ending.
5918
5919 2000-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5920
5921         * ftp.c (ftp_retrieve_list): Undo typo "fix" until resolution by
5922         Dan.
5923
5924 2000-11-24  Karl Eichwalder  <ke@suse.de>
5925
5926         * main.c (print_help): Untabify.
5927
5928 2000-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
5929
5930         * utils.c (xrealloc_debug): Do the unregister/register thing only
5931         if the pointer has actually changed.
5932         (xmalloc_real): Declare `static' in DEBUG_MALLOC builds.
5933         (xfree_real): Ditto.
5934         (xrealloc_real): Ditto.
5935         (xstrdup_real): Ditto.
5936
5937 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
5938
5939         * ftp.c (getftp): ftp_getaddress() returns a malloc'ed copy of the
5940         string; no need to strdup() it.
5941         (getftp): Make pwd_len a local variable.
5942         (ftp_loop): Free PWD before returning.
5943
5944         * init.c (cleanup): Free opt.ftp_pass only if it's non-NULL.
5945
5946 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
5947
5948         * all: Use xfree() instead of free.
5949
5950         * utils.c (xfree): New function.
5951
5952 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
5953
5954         * url.c (convert_links): HTML-quote the converted string.
5955
5956         * utils.c (html_quote_string): Move here from ftp-ls.c
5957         (html_quote_string): Make non-static; declare in utils.h.
5958         (html_quote_string): Convert SP to &#32;.
5959
5960 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
5961
5962         * ftp.c (getftp): Reformat Jan's code according to GNU coding
5963         standards; remove (debugging?) printf's; use '\0' for the ASCII
5964         zero character.  Use alloca() instead of malloc() for
5965         inter-function temporary allocations.
5966
5967 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5968
5969         * ftpparse.c, ftpparse.h: New files.
5970
5971         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
5972         only. Use ftp_parse_nonunix_ls otherwise.
5973         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
5974         exotic FTP servers.
5975
5976         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
5977         FTP servers.
5978
5979         * ftp.c: New static wariables host_type, pwd, and pwd_len.
5980         (getftp): Support for VMS. Support for FTP servers that do not
5981         place you in the root directory after login.
5982         (ftp_retrieve_list): VMS is silent about the real file size, issue
5983         a more appropriate message.
5984         (ftp_get_listing): Pass host_type to ftp_parse_ls.
5985
5986         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
5987
5988 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
5989
5990         * hash.c (hash_table_put): Don't overwrite deleted mappings.
5991
5992 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
5993
5994         * hash.c (find_mapping): New function.
5995         (hash_table_get): Use it.
5996         (hash_table_get_pair): Ditto.
5997         (hash_table_exists): Ditto.
5998         (hash_table_remove): Ditto.
5999         (hash_table_remove): Really delete the entry if the mapping
6000         following LOCATION is empty.
6001
6002         * utils.c (string_set_add): Check whether the element has existed
6003         before.
6004
6005         * hash.c (hash_table_get_pair): New function.
6006
6007 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
6008
6009         * http.c (http_process_type): Ignore trailing whitespace; use
6010         strdupdelim().
6011
6012         * recur.c (recursive_retrieve): Use the new `convert' field.
6013         (convert_all_links): Ditto.
6014         (convert_all_links): Don't respect meta_disallow_follow.
6015
6016         * html-url.c (handle_link): Fill out link_relative_p and
6017         link_complete_p.
6018
6019         * url.h (struct _urlpos): Make elements more readable.
6020
6021         * recur.c (recursive_retrieve): Call slist_prepend instead of
6022         slist_append.
6023         (convert_all_links): Call slist_nreverse before iterating through
6024         urls_html.
6025
6026         * utils.c (slist_prepend): New function.
6027         (slist_nreverse): Ditto.
6028
6029 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
6030
6031         * http.c (check_end): Constify.
6032
6033 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
6034
6035         * http.c (http_loop): If username and password are known, try the
6036         `Basic' authentication scheme by default.
6037
6038         * connect.h: Declare test_socket_open.
6039
6040 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
6041
6042         * version.c: Bump version from 1.5.3+dev to 1.7-dev.
6043
6044 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
6045
6046         * http.c (gethttp): Don't use the return value of sprintf().
6047         (gethttp): Inhibit keep-alive if opt.http_keep_alive is 0.
6048
6049 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
6050
6051         * recur.c (recursive_retrieve): Print the "so we don't load"
6052         debugging message only if we really don't load.
6053
6054         * http.c (gethttp): Inhibit keep-alive if proxy is being used.
6055         (gethttp): Don't request keep-alive if keep-alive is inhibited.
6056
6057 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
6058
6059         * http.c (gethttp): Make the HTTP persistent connections more
6060         robust.
6061
6062 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
6063
6064         * retr.c (get_contents): If use_expected, make sure that the
6065         appropriate amount of data is being read.
6066
6067         * http.c (gethttp): Check for both `Keep-Alive: ...' and
6068         `Connection: Keep-Alive'.
6069
6070         * wget.h (DEBUGP): Call debug_logprintf only if opt.debug is
6071         turned on.
6072
6073 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
6074
6075         * http.c (connection_available_p): Use it.
6076
6077         * connect.c (test_socket_open): New function.
6078
6079         * http.c (gethttp): Support persistent connections.  Based on the
6080         ideas, and partly on code, by Sam Horrocks <sam@daemoninc.com>.
6081         (register_persistent): New function.
6082         (connection_available_p): Ditto.
6083         (invalidate_connection): Ditto.
6084
6085 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
6086
6087         * url.c (convert_links): Handle UREL2ABS case.
6088
6089         * recur.c (recursive_retrieve): Instead of the list
6090         urls_downloaded, use hash tables dl_file_url_map and
6091         dl_url_file_map.
6092         (convert_all_links): Use them to retrieve data.
6093
6094         * host.c (clean_hosts): Free the hash tables.
6095
6096         * main.c (private_initialize): Call host_init().
6097
6098         * host.c (store_hostaddress): Use a saner, hash table-based data
6099         model.
6100         (realhost): Ditto.
6101         (host_init): Initialize the hash tables.
6102
6103 2000-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
6104
6105         * utils.c (slist_append): Eviscerate NOSORT.  Hash tables are now
6106         used for what the sorted slists used to be used for.
6107         (slist_contains): Don't rely on the list being sorted.
6108         (slist_append): Simplify the code.
6109
6110         * recur.c (recursive_cleanup): Use free_string_set.
6111
6112         * utils.c (string_set_add, string_set_exists, string_set_free):
6113         New functions for easier freeing of hash tables whose keys are
6114         strdup'ed strings.
6115
6116         * recur.c (recursive_retrieve): Use the hash table functions for
6117         storing undesirable URLs.
6118
6119         * hash.c: New file.
6120
6121 2000-11-17  Hrvoje Niksic  <hniksic@arsdigita.com>
6122
6123         * main.c (private_initialize): Call url_init.
6124         (main): Call private_initialize.
6125
6126         * url.c (unsafe_char_table): New table.
6127         (UNSAFE_CHAR): Use it.
6128         (init_unsafe_char_table): New function.
6129         (url_init): New function; call init_unsafe_char_table.
6130
6131 2000-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
6132
6133         * mswindows.h: Define snprintf and vsnprintf to _snprintf and
6134         _vsnprintf respectively.
6135
6136 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
6137
6138         * config.h.in: Do the _XOPEN_SOURCE and _SVID_SOURCE things only
6139         on Linux.
6140
6141 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
6142
6143         * html-url.c (handle_link): Handle HTML fragment identifiers.
6144
6145         * recur.c (recursive_retrieve): If norobot info is respected and
6146         the file is specified not to be followed by robots, respect that.
6147
6148         * html-url.c (collect_tags_mapper): Handle <meta name=robots
6149         content=X>.  For us the important cases are where X is NONE or
6150         where X contains NOFOLLOW.
6151         (get_urls_html): Propagate that information to the caller.
6152
6153 2000-11-13  Hrvoje Niksic  <hniksic@arsdigita.com>
6154
6155         * url.c (convert_links): Unlink the file we might be reading from
6156         before writing to it.
6157         (convert_links): Use alloca instead of malloc for
6158         filename_plus_orig_suffix.
6159
6160 2000-11-12  Hrvoje Niksic  <hniksic@arsdigita.com>
6161
6162         * host.c (realhost): Add HOST to the list with quality==0 only if
6163         it wasn't already there.
6164         Based on analysis by Lu Guohan <feng@public.bjnet.edu.cn>.
6165
6166 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
6167
6168         * url.c (get_urls_file): Ditto.
6169         (convert_links): Ditto.
6170
6171         * html-url.c (get_urls_html): Use read_file() instead of
6172         load_file().
6173
6174         * utils.c (read_file): New function, instead of the old
6175         load_file().
6176         (read_file_free): Ditto.
6177
6178         * url.c (findurl): Search only for the supported protocols.
6179         (convert_links): Use fwrite() when writing out a region of
6180         characters.
6181
6182 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
6183
6184         * ftp-ls.c: Move html_quote_string and ftp_index here.
6185
6186         * url.c: Remove get_urls_html, since that's now in html-url.c.
6187
6188         * html-url.c: New file.
6189
6190         * html-parse.c: New file.
6191
6192 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
6193
6194         * init.c (run_wgetrc): Don't bother killing off '\r' since
6195         pars_line() skips whitespace at end of line anyway.
6196         (parse_line): Oops, it didn't.  Now it does.
6197
6198         * recur.c (parse_robots): Ditto here.
6199
6200         * ftp-ls.c (ftp_parse_unix_ls): Kill off the newline character
6201         manually because read_whole_line no longer does.
6202
6203         * utils.c (read_whole_line): Rewrite to: a) use less memory
6204         (reallocates to needed size after work), b) work faster -->
6205         fgets() instead of getc, c) be more correct --> doesn't kill the
6206         newline character at the end of line.
6207
6208 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
6209
6210         * init.c (comind): Initialize MAX to array size - 1.
6211
6212 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
6213
6214         * url.c (construct): Changed last_slash[-1] to *(last_slash - 1).
6215         Suggested by Edward J. Sabol.
6216
6217 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
6218
6219         * url.c (construct): Handle the case where host name is not
6220         followed by a slash.
6221
6222 2000-11-06  Hrvoje Niksic  <hniksic@arsdigita.com>
6223
6224         * init.c: commands[] need to be sorted!  ("base" wasn't.)
6225
6226 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
6227
6228         * wget.h (DO_REALLOC_FROM_ALLOCA): Use braces to disambiguate
6229         `if'.
6230
6231 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
6232
6233         * url.c (construct): Insert unneeded initialization for the
6234         compiler to shut up.
6235
6236         * config.h.in: Define _XOPEN_SOURCE to 500 to get the prototype
6237         for strptime() (*duh*).  Define _SVID_SOURCE to get S_IFLNK which
6238         otherwise gets lost when you define _XOPEN_SOURCE.
6239
6240         * utils.c (touch): Include the file name in the error message.
6241         From Debian.
6242
6243 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
6244
6245         * log.c (logvprintf): Use vsnprintf() in all cases.  If necessary,
6246         resize the buffer to fit the formated message.  That way, messages
6247         of arbitrary size may be printed.
6248         (logvprintf): Use saved_append() to optionally log the last
6249         several lines of output.
6250         (logputs): Ditto.
6251         (log_close): Adapt to new data structures.
6252         (log_dump): Ditto.
6253         (redirect_output): Print messages to stderr, not to stdout.
6254
6255         * log.c (saved_append_1): New function.  Replaces the old logging
6256         system ("log all output until 10M characters") with a new, much
6257         more reasonable one ("log last screenful of text").
6258         (saved_append): New function; call saved_append_1.
6259         (free_log_line): New function.
6260
6261 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
6262
6263         * url.c (construct): Fix comment.
6264         (find_last_char): Document.
6265
6266 2000-11-04  Hrvoje Niksic  <hniksic@arsdigita.com>
6267
6268         * snprintf.c: New file.
6269
6270 2000-11-03  Hrvoje Niksic  <hniksic@arsdigita.com>
6271
6272         * wget.h: If HAVE_STDARG_H is not defined, don't declare argument
6273         types to logprintf() and debug_logprintf().
6274
6275 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
6276
6277         * ftp.c (ftp_loop_internal): Hide the password from the URL when
6278         printing non-verbose.  Problem spotted by Dariusz Mlynarczyk
6279         <darekm@bydg.lomac.com.pl>.
6280
6281 2000-11-02  Junio Hamano  <junio@twinsun.com>
6282
6283         * ftp-basic.c (ftp_login): Make comparison case-insensitive.
6284
6285 2000-11-02  Tyler Riddle  <triddle@liquidmarket.com>
6286
6287         * http.c (known_authentication_scheme_p): Recognize NTML
6288         authentication.
6289         (create_authorization_line): Treat NTML the same as `Basic'.
6290
6291 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
6292
6293         * retr.c (retrieve_url): Free url before returning.
6294         (retrieve_url): Free mynewloc before returning.
6295         Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
6296
6297 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
6298
6299         * url.c (parseurl): Remove possible reading past the end of
6300         sup_protos[].  Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
6301
6302 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6303
6304         * main.c (main): In case of opt.downloaded overflowing, print
6305         <overflow> instead of a totally bogus random value.
6306
6307         * retr.c (retrieve_from_file): Ditto.
6308
6309         * recur.c (recursive_retrieve): Ditto.
6310
6311         * main.c (main): Ditto.
6312
6313         * http.c (http_loop): Ditto.
6314
6315         * ftp.c (ftp_loop_internal): Use downloaded_increase() instead of
6316         `+=', and downloaded_exceeds_quota() instead of the simple-minded
6317         check.
6318         (ftp_retrieve_list): Ditto.
6319         (ftp_retrieve_dirs): Ditto.
6320         (ftp_retrieve_glob): Ditto.
6321
6322         * retr.c (downloaded_increase): New function.  Notice overflows of
6323         opt.downloaded.
6324         (downloaded_exceeds_quota): Make sure that opt.downloaded is not
6325         used if it overflowed.
6326
6327         * options.h (struct options): New member downloaded_overflow.
6328
6329 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6330
6331         * wget.h (enum): Remove extra space after last enumeration.
6332
6333 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6334
6335         * main.c (main): Use legible_very_long() for printing
6336         opt.downloaded.
6337
6338         * utils.c (legible_1): New function that operates on strings and
6339         does the brunt of legible()'s work.
6340         (legible): Use legible_1().
6341         (legible_very_long): New function; dump the argument with
6342         sprintf(), and call legible_1().
6343
6344         * options.h (struct options): Use VERY_LONG_TYPE for
6345         opt.downloaded.
6346
6347         * sysdep.h (VERY_LONG_TYPE): Define it to have a 64-bit or greater
6348         type.
6349
6350         * config.h.in: Make sure that SIZEOF_LONG and SIZEOF_LONG_LONG get
6351         defined.  Define HAVE_LONG_LONG if long long is available.
6352
6353 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6354
6355         * utils.c (long_to_string): Update with a later, better version.
6356
6357 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6358
6359         * url.c (path_simplify_with_kludge): New function.
6360         (path_simplify_with_kludge): Disable it.  Instead...
6361         (parse_dir): ...make sure that at this point the right thing is
6362         done, i.e. that "query" part of the URL (?...) is always assigned
6363         to the file, never to the directory portion of the path.
6364
6365 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6366
6367         * retr.c (retrieve_url): Detect redirection cycles.
6368
6369 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6370
6371         * url.c (get_urls_html): Decode HTML entities using
6372         html_decode_entities.
6373
6374         * html.c (htmlfindurl): Don't count the `#' in numeric entities
6375         (&#NNN;) as an HTML fragemnt.
6376         (html_decode_entities): New function.
6377
6378 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6379
6380         * html.c (htmlfindurl): Fix recognition of # HTML fragments.
6381
6382 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6383
6384         * url.c (construct): Rewritten for clarity.  Avoids the
6385         unnecessary copying and stack-allocation the old version
6386         performed.
6387
6388 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
6389
6390         * ftp.c (getftp): Ditto.
6391
6392         * http.c (gethttp): Rewind the stream when retrying from scratch.
6393
6394 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
6395
6396         * retr.c (retrieve_url): Use url_concat() to handle relative
6397         redirections instead of /ad hoc/ code.
6398
6399         * url.c (url_concat): New function encapsulating weird
6400         construct().
6401         (urllen_http_hack): New function.
6402         (construct): When constructing new URLs, recognize that `?' does
6403         not form part of the file name in HTTP.
6404
6405 2000-10-13  Adrian Aichner  <adrian@xemacs.org>
6406
6407         * retr.c: Add msec timing support for WINDOWS.
6408         * retr.c (reset_timer): GetSystemTime() on WINDOWS.
6409         * retr.c (elapsed_time): Calculate delta time to msec on WINDOWS.
6410
6411 2000-10-27  Dan Harkless  <wget@harkless.org>
6412
6413         * retr.c (retrieve_url): Manually applied T. Bharath
6414         <TBharath@responsenetworks.com>'s patch to get wget to grok
6415         illegal relative URL redirects.  Reformatted and re-commented it.
6416
6417 2000-10-23  Dan Harkless  <wget@harkless.org>
6418
6419         * connect.c (make_connection and bindport): Manually applied Rob
6420         Mayoff <mayoff@dqd.com>'s 1.5.3 patch to add --bind-address,
6421         changing coding style to GNU's.
6422
6423         * ftp.c (ftp_loop_internal): --delete-after wasn't implemented for
6424         files downloaded via FTP.  Per a comment, .listing files were not
6425         counted towards number of bytes and files downloaded because they're
6426         deleted anyway.  Well, they aren't under -nr, so count them then.
6427
6428         * init.c: Manually applied Rob Mayoff's 1.5.3 patch to add
6429         --bind-address, alphabetizing, changing coding style to GNU's,
6430         commenting, and renaming cmd_ip_address() to cmd_address() to
6431         imply hostnames also okay.
6432
6433         * main.c (main): --delete-after didn't delete the root of the
6434         tree.  Ignore --convert-links if --delete-after was specified.
6435         Manually applied Rob Mayoff's 1.5.3 patch to add --bind-address,
6436         fixing duplicate use of added-since-1.5.3 case value.
6437         (print_help): Clarified that --delete-after deletes local files.
6438         Rob forgot to add a line for his new --bind-address option.
6439
6440         * options.h (struct options): Manually applied Rob Mayoff's patch
6441         to add --bind-address (bind_address structure member).
6442
6443         * recur.c (recursive_retrieve): Improved comment; added DEBUGP().
6444         Ignore --convert-links if --delete-after was specified.
6445
6446         * retr.c (retrieve_from_file): Just added a DEBUGP().
6447
6448 2000-10-19  Dan Harkless  <wget@harkless.org>
6449
6450         * ftp.c (ftp_loop_internal): downloaded_file() enumerators changed.
6451         (getftp): Applied Piotr Sulecki <Piotr.Sulecki@ios.krakow.pl>'s
6452         patch to work around FTP servers that incorrectly respond to the
6453         "REST" command with the remaining size rather than the total file size.
6454
6455         * http.c (gethttp): Improved a comment and added code to tack on
6456         ".html" to text/html files without that extension when -E specified.
6457         (http_loop): Use new downloaded_file() enumerators and deal with
6458         the case of gethttp() called xrealloc() on u->local.
6459
6460         * init.c (commands): Added new "htmlextension" command.
6461         Also renamed John Daily's cmd_quad() to the more descriptive
6462         cmd_lockable_boolean(), alpha-sorted the CMD_DECLARE()s and
6463         removed duplicate cmd_boolean() declaration.
6464
6465         * main.c (print_help): Added my new -E / --html-extension option.
6466         (main): Undocumented --email-address option previously used -E synonym.
6467         Stole it away for the much more deserving --html-extension's use.
6468
6469         * options.h (struct options): Added html_extension field.
6470
6471         * url.c (convert_links): URL X that we saved as X.html locally due
6472         to -E needs to be backed up as X.orig, not X.html.orig.  Added comments.
6473         (downloaded_file): Now remembers if we added .html extension to a file.
6474
6475         * url.h (downloaded_file_t): Added extra enumerators to support above.
6476         (downloaded_file): Now takes and returns a downloaded_file_t.
6477
6478         * wget.h (unnamed "dt" enum): Added ADDED_HTML_EXTENSION enumerator.
6479
6480 2000-10-09  Dan Harkless  <wget@harkless.org>
6481
6482         * html.c (htmlfindurl): Added unneeded initialization to quiet warning.
6483
6484         * main.c (print_help): Clarified what --retr-symlinks does.
6485
6486 2000-09-15  John Daily  <jdaily@cyberdude.com>
6487
6488         * init.c: Add support for "always" and "never" values to allow
6489         .wgetrc to override commandline (useful e.g. with .pm files
6490         calling `wget --passive-ftp' when your firewall doesn't allow that).
6491
6492         * ftp.c (getftp): passive_ftp is first option to support always/never.
6493
6494 2000-08-30  Dan Harkless  <wget@harkless.org>
6495
6496         * ftp.c (ftp_retrieve_list): Use new INFINITE_RECURSION #define.
6497
6498         * html.c: htmlfindurl() now takes final `dash_p_leaf_HTML' parameter.
6499         Wrapped some > 80-column lines.  When -p is specified and we're at a
6500         leaf node, do not traverse <A>, <AREA>, or <LINK> tags other than
6501         <LINK REL="stylesheet">.
6502
6503         * html.h (htmlfindurl): Now takes final `dash_p_leaf_HTML' parameter.
6504
6505         * init.c: Added new -p / --page-requisites / page_requisites option.
6506
6507         * main.c (print_help): Clarified that -l inf and -l 0 both allow
6508         infinite recursion.  Changed the unhelpful --mirrior description
6509         to simply give the options it's equivalent to.  Added new -p option.
6510         (main): Added some comments; handle new -p / --page-requisites.
6511
6512         * options.h (struct options): Added new page_requisites field.
6513
6514         * recur.c: Changed "URL-s" to "URLs" and "HTML-s" to "HTMLs".
6515         Calculate and pass down new `dash_p_leaf_HTML' parameter to
6516         get_urls_html().  Use new INFINITE_RECURSION #define.
6517
6518         * retr.c: Changed "URL-s" to "URLs".  get_urls_html() now takes
6519         final `dash_p_leaf_HTML' parameter.
6520
6521         * url.c: get_urls_html() and htmlfindurl() now take final
6522         `dash_p_leaf_HTML' parameter.
6523
6524         * url.h (get_urls_html): Now takes final `dash_p_leaf_HTML' parameter.
6525
6526         * wget.h: Added some comments and new INFINITE_RECURSION #define.
6527
6528 2000-08-23  Dan Harkless  <wget@harkless.org>
6529
6530         * main.c (print_help): -B / --base was not mentioned.
6531
6532 2000-08-22  Dan Harkless  <wget@harkless.org>
6533
6534         * main.c (print_help): Modified -nc description to mention that it
6535         also prevents the creation of multiple versions of the same file
6536         with ".<number>" suffixes.
6537
6538 2000-07-14  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
6539
6540         * retr.c (retrieve_url): Consistently strdup opt.referer when
6541         setting u->referer.
6542
6543 2000-06-09  Dan Harkless  <wget@harkless.org>
6544
6545         * main.c (print_help): --help output for --waitretry was over 80 cols.
6546
6547 2000-06-09  Hrvoje Niksic  <hniksic@iskon.hr>
6548
6549         * url.c (encode_string): Fix comment.
6550         Suggested by Herold Heiko <Heiko.Herold@previnet.it>.
6551
6552 2000-06-01  Const Kaplinsky  <const@ce.cctpu.edu.ru>
6553
6554         * ftp.c (ftp_retrieve_list): Change permissions only on plain
6555         files.
6556
6557 2000-06-01  Hrvoje Niksic  <hniksic@iskon.hr>
6558
6559         * url.c (str_url): Print the port number only if it's different
6560         from the default port number for that protocol.
6561
6562 2000-05-22  Dan Harkless  <wget@harkless.org>
6563
6564         * main.c (print_help): Added --help line for Damir Dzeko
6565         <ddzeko@zesoi.fer.hr>'s until-now-undocumented --referer option.
6566         Removed comments that --referer and --waitretry were undocumented.
6567         Changed "`.wgetrc' command" to "`.wgetrc'-style command" on --help
6568         line for --execute.
6569
6570 2000-05-18  Hrvoje Niksic  <hniksic@iskon.hr>
6571
6572         * ftp.c (getftp): Ditto.
6573
6574         * http.c (gethttp): Check for return value of fclose/fflush.
6575
6576 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
6577
6578         * host.c (store_hostaddress): Instead of shifting ADDR, start
6579         copying from the correct address.
6580
6581 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
6582
6583         * http.c (gethttp): Don't free REQUEST -- it was allocated with
6584         alloca().
6585         Pointed out by Gisle Vanem <gvanem@eunet.no>.
6586
6587 2000-04-04  Dan Harkless  <wget@harkless.org>
6588
6589         * host.c (store_hostaddress): R. K. Owen's patch introduces a
6590         "left shift count >= width of type" warning on 32-bit
6591         architectures.  Got rid of it by tricking the compiler w/ a variable.
6592
6593         * url.c (UNSAFE_CHAR): The macro didn't include all the illegal
6594         characters per RFC1738, namely everything above '~'.  It also
6595         generated a warning on OSes where char =~ unsigned char.  Fixed.
6596
6597 1998-10-17  Hrvoje Niksic  <hniksic@srce.hr>
6598
6599         * http.c (http_process_type): Removed needless strdup(), a memory
6600         leak.
6601
6602 1998-09-25  Hrvoje Niksic  <hniksic@srce.hr>
6603
6604         * html.c (htmlfindurl): Set PH to the first occurrence of `#'.
6605
6606 1998-09-25  Simon Munton  <simonm@m4data.co.uk>
6607
6608         * init.c (wgetrc_file_name): Don't free HOME under Windows.
6609
6610 1998-12-01  "R. K. Owen"  <rkowen@Nersc.GOV>
6611
6612         * host.c (store_hostaddress): Fix for big endian 64-bit machines.
6613
6614 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
6615
6616         * url.c (UNSAFE_CHAR): New macro.
6617         (contains_unsafe): Use it.
6618         (encode_string): Ditto.
6619
6620 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
6621
6622         * main.c (i18n_initialize): Use LC_MESSAGES only if available.
6623
6624 2000-03-31  Hrvoje Niksic  <hniksic@srce.hr>
6625
6626         * Use TOUPPER/TOLOWER.
6627
6628 1998-12-22  Alexander V. Lukyanov  <lav@yars.free.net>
6629
6630         * ftp-opie.c (btoe): Zero-terminate OSTORE.
6631
6632 2000-03-21  Hrvoje Niksic  <hniksic@iskon.hr>
6633
6634         * wget.h (DO_REALLOC_FROM_ALLOCA): Ditto.
6635
6636         * sysdep.h (ISALNUM): New macro.
6637         (TOLOWER): Ditto.
6638         (TOUPPER): Ditto.
6639
6640 2000-03-10  Dan Harkless  <wget@harkless.org>
6641
6642         * html.c (idmatch): Implemented checking of my new --follow-tags
6643         and --ignore-tags options.
6644
6645         * init.c (commands): Added comment reminding people adding new
6646         entries doing allocation to add corresponding freeing in cleanup().
6647         (commands): Added new followtags and ignoretags commands.
6648         (cleanup): Free storage for new followtags and ignoretags.
6649
6650         * main.c: Use of "comma-separated list" was random -- normalized
6651         it.  Did some alphabetization.  Added comments pointing out
6652         "Options without arguments" and "Options accepting an argument"
6653         sections of long_options[].  Added new options --follow-tags and
6654         -G / --ignore-tags.  Added comment that Damir's --referer is
6655         currently undocumented.  Added comment that Heiko's --waitretry is
6656         partially undocumented (mentioned in --help but not in
6657         wget.texi).  Moved improperly sorted 24, 129, and 'G' cases.
6658
6659         * options.h (struct options): Added new fields follow_tags and
6660         ignore_tags.
6661
6662         * wget.h: Added "#define EQ 0" so we can say "strcmp(a, b) == EQ".
6663
6664 2000-03-02  Dan Harkless  <wget@harkless.org>
6665
6666         * ftp.c (ftp_loop_internal): Heiko introduced "suggest explicit
6667         braces to avoid ambiguous `else'" warnings.  Eliminated them.
6668
6669         * http.c (gethttp): Dan Berger's query string patch is totally
6670         bogus.  If you have two different URLs, gen_page.cgi?page1 and
6671         get_page.cgi?page2, they'll both be saved as get_page.cgi and the
6672         second will overwrite the first.  Also, parameters to implicit
6673         CGIs, like "http://www.host.com/db/?2000-03-02" cause the URLs to
6674         be printed with trailing garbage characters, and could seg fault.
6675         Backing out the patch, which Dan B. informed me by email was just
6676         a kludge to download StarOffice from Sun made necessary due to
6677         wget's unconditional escaping of certain characters (room for an
6678         option there?).
6679         (http_loop): Heiko introduced "suggest explicit braces to avoid
6680         ambiguous `else'" warnings.  Eliminated them.
6681
6682         * main.c: Heiko's --wait / --waitretry backwards compatibility
6683         code looks to have been totally untested -- automatic variable
6684         'wr' was used without being initialized, and a long int was passed
6685         into setval()'s char* val parameter.
6686
6687         * recur.c (parse_robots): Applied Edward J. Sabol
6688         <sabol@alderaan.gsfc.nasa.gov>'s patch for Guan Yang's reported
6689         problem with "User-agent:<space>*<space>" lines in robots.txt.
6690
6691         * url.c (parseurl, str_url): Removing Dan Berger's code (see
6692         http.c above for explanation).
6693
6694 1999-08-25  Heiko Herold  <Heiko.Herold@previnet.it>
6695
6696         * ftp.c: Respect new option waitretry.
6697
6698 2000-01-30  Damir Dzeko  <ddzeko@zesoi.fer.hr>
6699
6700         * http.c (gethttp): Send custom Referer, if required.
6701
6702 1999-09-24  Charles G Waldman  <cgw@fnal.gov>
6703
6704         * netrc.c (parse_netrc): Allow passwords to contain spaces.
6705
6706         * netrc.c (parse_netrc): New function.
6707
6708 1999-09-17  Dan Berger  <dberger@ix.netcom.com>
6709
6710         * http.c (gethttp): Send it.
6711
6712         * url.c (parseurl): Detect query string in HTTP URL-s.
6713         (str_url): Print it.
6714
6715 2000-03-02  HIROSE Masaaki  <hirose31@t3.rim.or.jp>
6716
6717         * html.c (html_allow): Add <link href=...> and <script src=...>.
6718
6719 1999-05-02  andrew deryabin  <djsf@softhome.net>
6720
6721         * http.c (gethttp): Specify port in `Host' header only if it's
6722         different from 80.
6723
6724 1998-11-03  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
6725
6726         * recur.c (recursive_retrieve): If a finite maximum depth is
6727         specified, and we're are already at that depth, don't download the
6728         HTML file for parsing.
6729
6730 2000-03-01  Dan Harkless  <wget@harkless.org>
6731
6732         * ftp.c (ftp_loop_internal): Call new downloaded_file() function,
6733         even though we don't do conversion on HTML files retrieved via
6734         FTP, so _current_ usage of downloaded_file() makes this call unneeded.
6735         (ftp_retrieve_list): Added a comment saying where we need to
6736         stat() a .orig file if FTP'd HTML file conversion is ever implemented.
6737         (ftp_retrieve_list): "Local file '%s' is more recent," is sometimes
6738         a lie -- reworded as "Server file no newer than local file '%s' --".
6739
6740         * http.c (http_loop): Fixed a typo and clarified a comment.
6741         (http_loop): When -K and -N are specified together, compare size
6742         and timestamp of server file X against local file X.orig (if
6743         extant) rather than converted local file X.
6744         (http_loop): "Local file '%s' is more recent," is sometimes a lie
6745         -- reworded as "Server file no newer than local file '%s' --".
6746         (http_loop): Call new downloaded_file() function to prevent
6747         wrongful overwriting of .orig file when -N is specified.
6748
6749         * url.c (convert_links): When -K specified, only rename X to
6750         X.orig if downloaded_file() returns TRUE.  Otherwise when we skip
6751         file X due to -N, we clobber an X.orig from a previous invocation.
6752         (convert_links): Call the failsafe xstrdup(), not the real strdup().
6753         (convert_links): Added a note asking anyone who understands how
6754         multiple URLs can correspond to a single file to comment it.
6755         (downloaded_file): Added this new function.
6756
6757         * url.h (downloaded_file): Added prototype for this new function
6758         as well as its downloaded_file_t enum type.
6759
6760         * wget.h (boolean): Added this new typedef and TRUE and FALSE #defines.
6761
6762 2000-02-29  Dan Harkless  <wget@harkless.org>
6763
6764         * version.c: Upped version to developer-only "1.5.3+dev".
6765
6766 2000-02-18  Dan Harkless  <wget@harkless.org>
6767
6768         * init.c (backup_converted): Added this new option.
6769
6770         * main.c (-K / --backup-converted): Added this new option.
6771
6772         * options.h (backup_converted): Added this new option.
6773
6774         * url.c (convert_links): When backup_converted is specified, save
6775         file X as X.orig before converting.
6776
6777         * url.h (urlpos): Fixed typo -- said "Rekative" instead of "Relative".
6778
6779 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
6780
6781         * version.c: Wget 1.5.3 is released.
6782
6783 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
6784
6785         * host.c (ftp_getaddress): Don't warn when reverse-lookup of local
6786         address doesn't yield FQDN.
6787
6788 1998-09-21  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
6789
6790         * cmpt.c (strerror): Fix declaration of sys_errlist.
6791
6792 1998-09-11  Hrvoje Niksic  <hniksic@srce.hr>
6793
6794         * main.c (main): Don't use an array subscript as the first
6795         argument to STRDUP_ALLOCA.
6796         From Kaveh R. Ghazi.
6797
6798 1998-09-11  Szakacsits Szabolcs  <szaka@sienet.hu>
6799
6800         * html.c (htmlfindurl): Download table background.
6801
6802 1998-09-11  Hans Grobler  <grobh@conde.ee.sun.ac.za>
6803
6804         * init.c (parse_line): Would free *com before allocating it.
6805         (parse_line): Would free com instead of *com.
6806
6807 1998-09-10  Howard Gayle  <howard@fjst.com>
6808
6809         * url.c (get_urls_html): Would drop the last character of the
6810         link.
6811
6812 1998-09-10  Hrvoje Niksic  <hniksic@srce.hr>
6813
6814         * http.c (http_loop): Don't print status code if quiet.
6815
6816 1998-09-10  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
6817
6818         * log.c: Use <stdarg.h> only when __STDC__.
6819
6820 1998-09-10  Adam D. Moss  <adam@foxbox.org>
6821
6822         * html.c (htmlfindurl): Download <layer src=...>.
6823
6824 1998-09-10  Howard Gayle  <howard@fjst.com>
6825
6826         * ftp.c (ftp_retrieve_list): Don't update the time stamp of a file
6827         not retrieved.
6828
6829 1998-06-27  Hrvoje Niksic  <hniksic@srce.hr>
6830
6831         * utils.c: Include <libc.h> on NeXT.
6832
6833 1998-06-26  Heinz Salzmann  <heinz.salzmann@intermetall.de>
6834
6835         * url.c (get_urls_html): Fix calculation of URL position.
6836
6837 1998-06-23  Hrvoje Niksic  <hniksic@srce.hr>
6838
6839         * version.c: Wget 1.5.2 is released.
6840
6841 1998-06-23  Dave Love  <d.love@dl.ac.uk>
6842
6843         * ftp.c, init.c, netrc.c: Include errno.h.
6844
6845         * http.c: Include errno.h and time header.
6846
6847         * Makefile.in (exext): Define.
6848         (install.bin, uninstall.bin): Use it.
6849
6850 1998-06-21  Hrvoje Niksic  <hniksic@srce.hr>
6851
6852         * http.c (http_loop): Don't attempt to compare local and remote
6853         sizes if the remote size is unknown.
6854
6855 1998-06-16  Hrvoje Niksic  <hniksic@srce.hr>
6856
6857         * url.c (get_urls_html): Use malloc() instead of alloca in the
6858         loop.
6859
6860 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
6861
6862         * version.c: Wget 1.5.2-b4 is released.
6863
6864 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
6865
6866         * url.c (get_urls_html): Ignore spaces before and after the URI.
6867
6868 1998-06-08  Wanderlei Antonio Cavassin  <cavassin@conectiva.com.br>
6869
6870         * ftp.c (getftp): Translate `done'.
6871
6872 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
6873
6874         * version.c: Wget 1.5.2-b3 is released.
6875
6876 1998-06-06  Alexander Kourakos  <awk@bnt.com>
6877
6878         * init.c (cleanup): Close dfp, don't free it.
6879
6880 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
6881
6882         * utils.c (make_directory): Twiddle.
6883
6884         * config.h.in: Added template for access().
6885
6886 1998-06-05  Mathieu Guillaume  <mat@cythere.com>
6887
6888         * html.c (htmlfindurl): Download <input src=...>
6889
6890 1998-06-03  Hrvoje Niksic  <hniksic@srce.hr>
6891
6892         * utils.c (file_exists_p): Use access() with two arguments.
6893
6894 1998-05-27  Martin Kraemer  <Martin.Kraemer@mch.sni.de>
6895
6896         * netrc.c (parse_netrc): Correct logic.
6897
6898 1998-05-27  Hrvoje Niksic  <hniksic@srce.hr>
6899
6900         * ftp.c (getftp): Added `break'; suggested by Lin Zhe Min
6901         <ljm@ljm.wownet.net>.
6902
6903 1998-05-24  Hrvoje Niksic  <hniksic@srce.hr>
6904
6905         * version.c: Wget 1.5.2-b2 is released.
6906
6907 1998-05-18  Juan Jose Rodriguez  <jcnsoft@jal1.telmex.net.mx>
6908
6909         * mswindows.h: Don't translate mkdir to _mkdir under Borland.
6910
6911 1998-05-17  Hrvoje Niksic  <hniksic@srce.hr>
6912
6913         * retr.c (elapsed_time): Return correct value when
6914         HAVE_GETTIMEOFDAY is undefined.
6915
6916 1998-05-13  Hrvoje Niksic  <hniksic@srce.hr>
6917
6918         * version.c: Wget 1.5.2-b1 is released.
6919
6920 1998-05-08  Hrvoje Niksic  <hniksic@srce.hr>
6921
6922         * getopt.c (_getopt_internal): Use exec_name instead of argv[0].
6923         (_getopt_internal): Don't translate `#if 0'-ed strings.
6924
6925 1998-05-06  Douglas E. Wegscheid  <wegscd@whirlpool.com>
6926
6927         * mswindows.c (ws_handler): Use fork_to_background().
6928
6929 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
6930
6931         * version.c: Wget 1.5.1 is released.
6932
6933 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
6934
6935         * http.c (parse_http_status_line): Avoid `minor' and `major'
6936         names.
6937
6938 1998-05-02  Hrvoje Niksic  <hniksic@srce.hr>
6939
6940         * utils.c (mkdirhier): Renamed to make_directory.
6941
6942 1998-05-01  Hrvoje Niksic  <hniksic@srce.hr>
6943
6944         * mswindows.c (fork_to_background): Define under Windows.
6945
6946         * utils.c (fork_to_background): New function.
6947
6948         * html.c (htmlfindurl): Removed rerdundant casts.
6949
6950 1998-05-01  Douglas E. Wegscheid  <wegscd@whirlpool.com>
6951
6952         * mswindows.c (ws_mypath): Cache the path.
6953
6954 1998-04-30  Douglas E. Wegscheid  <wegscd@whirlpool.com>
6955
6956         * ftp.h: Prefix enum ftype members with FT_.
6957
6958         * ftp-ls.c, ftp.c, html.h: Adjust accordingly.
6959
6960         * mswindows.h: Use stat under Borland, _stat under MSVC.
6961
6962 1998-04-28  Hrvoje Niksic  <hniksic@srce.hr>
6963
6964         * http.c (known_authentication_scheme_p): New function.
6965         (gethttp): Handle authorization more correctly.
6966
6967         * ftp-basic.h: Removed.
6968
6969         * cmpt.h: Removed.
6970
6971         * utils.c: Include <unistd.h> before <pwd.h>; needed under SunOS
6972         with gcc 2.8.
6973         (numdigit): Use `while' loop.
6974
6975         * http.c (create_authorization_line): Detect authentication
6976         schemes case-insensitively.
6977
6978         * http.c (extract_header_attr): Use strdupdelim().
6979         (digest_authentication_encode): Move declaration of local
6980         variables to smaller scope.
6981         (digest_authentication_encode): Reset REALM, OPAQUE and NONCE.
6982         (create_authorization_line): Detect authentication schemes
6983         case-insensitively.
6984
6985         * utils.c (touch): Constify.
6986
6987         * http.c (gethttp): Report a nicer error when no data is received.
6988
6989         * rbuf.h (RBUF_READCHAR): Ditto.
6990
6991         * ftp-basic.c (ftp_response): Use sizeof.
6992
6993 1998-04-27  Hrvoje Niksic  <hniksic@srce.hr>
6994
6995         * retr.c (print_percentage): EXPECTED is long, not int.
6996         (print_percentage): Use floating-point arithmetic to avoid
6997         overflow with large files' sizes multiplied with 100.
6998
6999 1998-04-27  Gregor Hoffleit  <flight@mathi.uni-heidelberg.de>
7000
7001         * config.h.in: Added pid_t stub.
7002
7003         * sysdep.h (S_ISREG): Moved here from mswindows.h (NeXT doesn't
7004         define it).
7005
7006 1998-04-20  Hrvoje Niksic  <hniksic@srce.hr>
7007
7008         * version.c: Wget 1.5.0 is released.
7009
7010 1998-04-18  Hrvoje Niksic  <hniksic@srce.hr>
7011
7012         * url.c (str_url): Ditto.
7013
7014         * ftp-basic.c (ftp_rest): Use new name.
7015
7016         * utils.c (long_to_string): Renamed from prnum().
7017
7018 1998-04-16  Hrvoje Niksic  <hniksic@srce.hr>
7019
7020         * version.c: Wget 1.5-b17 is released.
7021
7022 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
7023
7024         * headers.c (header_get): New argument FLAGS.
7025
7026         * http.c (gethttp): If request is malformed, bail out of the
7027         header loop.
7028         (gethttp): Check for empty header *after* the status line checks.
7029         (gethttp): Disallow continuations for status line.
7030
7031 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
7032
7033         * version.c: Wget 1.5-b16 is released.
7034
7035 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
7036
7037         * init.c (commands): Renamed `always_rest' to `continue'.
7038
7039 1998-04-05  Hrvoje Niksic  <hniksic@srce.hr>
7040
7041         * all: Use it.
7042
7043         * log.c (logputs): New argument.
7044         (logvprintf): Ditto.
7045         (logprintf): Ditto.
7046
7047 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
7048
7049         * http.c (http_atotm): Update comment.
7050
7051         * main.c (i18n_initialize): Set LC_MESSAGES, not LC_ALL.
7052
7053         * wget.h: Renamed ENABLED_NLS to HAVE_NLS.
7054
7055         * main.c (i18n_initialize): New function.
7056         (main): Use it.
7057
7058         * log.c: Include <unistd.h>.
7059
7060         * retr.c (show_progress): Cast alloca to char *.
7061
7062 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
7063
7064         * version.c: Wget 1.5-b15 is released.
7065
7066 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
7067
7068         * utils.h: Declare file_non_directory_p().
7069
7070 1998-04-03  Hrvoje Niksic  <hniksic@srce.hr>
7071
7072         * main.c (main): It's `tries', not `numtries' now.
7073
7074 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
7075
7076         * init.c (getperms): Removed.
7077
7078 1998-04-01  Tim Charron  <tcharron@interlog.com>
7079
7080         * log.c (logvprintf): Don't use ARGS twice.
7081
7082 1998-04-01  John  <john@futuresguide.com>
7083
7084         * mswindows.c: Cleaned up.
7085
7086 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
7087
7088         * version.c: Wget 1.5-b14 is released.
7089
7090 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
7091
7092         * ftp-opie.c (STRLEN4): New macro.
7093         (btoe): Use it.
7094
7095 1998-04-01  Junio Hamano  <junio@twinsun.com>
7096
7097         * http.c: Document all the Digest functions.
7098
7099 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
7100
7101         * utils.c (file_non_directory_p): Renamed from isfile().
7102
7103         * mswindows.h (S_ISREG): New macro, suggested by Tim Adam.
7104
7105 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
7106
7107         * utils.c (mkdirhier): Use 0777 instead of opt.dirmode.
7108
7109         * init.c (cmd_spec_dotstyle): Use 48 dots per line for binary
7110         style.
7111         (cmd_permissions): Removed.
7112
7113         * config.h.in: Add template for WORDS_BIGENDIAN.
7114
7115 1998-03-31  Junio Hamano  <junio@twinsun.com>
7116
7117         * http.c (HEXD2asc): New macro.
7118         (dump_hash): Use it.
7119
7120 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
7121
7122         * version.c: Wget 1.5-b13 is released.
7123
7124 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
7125
7126         * main.c (main): Don't try to use `com'.
7127
7128 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
7129
7130         * init.c (cmd_permissions): New function.
7131
7132 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
7133
7134         * version.c: Wget 1.5-b12 is released.
7135
7136 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
7137
7138         * init.c (commands): Renamed `numtries' to `tries'.
7139         (cmd_spec_debug): Removed.
7140         (home_dir): Under Windows, return `C:\' if HOME is undefined.
7141
7142 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
7143
7144         * config.h.in: Define _XOPEN_SOURCE.
7145
7146         * init.c (check_user_specified_header): New function.
7147         (cmd_spec_header): Use it.
7148         (cmd_spec_useragent): New function.
7149
7150 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
7151
7152         * version.c: Wget 1.5-b11 is released.
7153
7154 1998-03-28  Hrvoje Niksic  <hniksic@srce.hr>
7155
7156         * wget.h: Include <libintl.h> only if NLS is enabled.
7157
7158 1998-03-26  Hrvoje Niksic  <hniksic@srce.hr>
7159
7160         * options.h (struct options): Made `wait' a long.
7161         (struct options): Ditto for `timeout'.
7162
7163 1998-03-19  Hrvoje Niksic  <hniksic@srce.hr>
7164
7165         * utils.c (exists): Renamed to file_exists_p.
7166         (file_exists_p): Use access() if available.
7167
7168 1998-03-17  Hrvoje Niksic  <hniksic@srce.hr>
7169
7170         * utils.c (memfatal): Set save_log_p to 0 to avoid potential
7171         infloop.
7172
7173         * log.c: do_logging -> save_log_p.
7174
7175         * config.h.in: Added template for HAVE_VSNPRINTF.
7176
7177 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
7178
7179         * init.c: Ditto.
7180
7181         * http.c: Protect declaration against non-ANSI compiler.
7182
7183         * log.c (logvprintf): Use vsnprintf() if available.
7184
7185         * getopt.c (main): Don't translate test stuff.
7186
7187 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
7188
7189         * version.c: Wget 1.5-b10 is released.
7190
7191 1998-03-11  Hrvoje Niksic  <hniksic@srce.hr>
7192
7193         * ftp.c (getftp): Don't translate "CWD %s".
7194
7195         * wget.h (GCC_FORMAT_ATTR): Renamed from FORMAT_ATTR.
7196
7197 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
7198
7199         * ftp-opie.c (btoe): Use memcpy() instead of strncat().
7200
7201         * log.c (logputs): New function.
7202         (logvprintf): Renamed from vlogmsg; use logputs().
7203
7204         * retr.c (show_progress): Print `[100%]' when the retrieval is
7205         finished.
7206
7207         * init.c (run_wgetrc): Use FILE, not PATH.
7208         (wgetrc_file_name): Ditto.
7209
7210 1998-03-07  Tim Adam  <tma@osa.com.au>
7211
7212         * recur.c (parse_robots): Correctly reset `entries' on empty
7213         disallow.
7214
7215 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
7216
7217         * init.c (cmd_spec_debug): Use cmd_boolean().
7218
7219 1998-02-23  Hrvoje Niksic  <hniksic@srce.hr>
7220
7221         * http.c (gethttp): Create proxy-authorization correctly.
7222
7223 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
7224
7225         * md5.c: Ditto.
7226
7227         * getopt.c: Use ANSI function definitions.
7228
7229         * ftp-opie.c: New file.
7230
7231         * options.h: Don't redefine EXTERN.
7232
7233         * init.c: Sort it correctly.
7234
7235 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
7236
7237         * version.c: Wget 1.5-b9 is released.
7238
7239 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
7240
7241         * recur.c (recursive_retrieve): Reset `first_time'.
7242
7243         * ftp.c (getftp): Added `default' clause to switches of uerr_t.
7244
7245         * rbuf.c (rbuf_peek): Simplified.
7246         (rbuf_flush): Use MINVAL.
7247
7248         * wget.h (MINVAL): Moved from url.h.
7249
7250         * rbuf.h (RBUF_FD): New macro.
7251
7252         * url.c (add_url): Add to the head of the list.
7253
7254         * ftp.c (ftp_retrieve_list): Set the permissions to downloaded
7255         file.
7256         (getftp): Set the default permissions to 0600.
7257
7258 1998-02-21  Hrvoje Niksic  <hniksic@srce.hr>
7259
7260         * url.c (get_urls_html): Ditto.
7261         (convert_links): Ditto.
7262
7263         * recur.c (parse_robots): Ditto.
7264
7265         * html.c (ftp_index): Ditto.
7266
7267         * ftp-ls.c (ftp_parse_unix_ls): Open file as binary.
7268
7269         * init.c (defaults): Initialize `opt' to zero via memset.
7270
7271         * http.c (digest_authentication_encode): goto considered harmful.
7272
7273 1998-02-19  Hrvoje Niksic  <hniksic@srce.hr>
7274
7275         * ftp.c (delelement): Simplify and fix leak.
7276
7277 1998-02-18  Hrvoje Niksic  <hniksic@srce.hr>
7278
7279         * http.c (dump_hash): Use HEXD2ASC instead of home-grown stuff.
7280
7281         * url.h (HEXD2ASC): Removed warning.
7282
7283         * init.c (comind): Use binary search.
7284         (commands): Reorganized.
7285         (setval): Ditto.
7286         (cmd_boolean): New function.
7287         (cmd_number): Ditto.
7288         (cmd_number_inf): Ditto.
7289         (cmd_string): Ditto.
7290         (cmd_vector): Ditto.
7291         (cmd_directory_vector): Ditto.
7292         (cmd_bytes): Ditto.
7293         (cmd_time): Ditto.
7294         (cmd_spec_debug): Ditto.
7295         (cmd_spec_dirmode): Ditto.
7296         (cmd_spec_dirstruct): Ditto.
7297         (cmd_spec_dotstyle): Ditto.
7298         (cmd_spec_header): Ditto.
7299         (cmd_spec_htmlify): Ditto.
7300         (cmd_spec_mirror): Ditto.
7301         (cmd_spec_outputdocument): Ditto.
7302         (cmd_spec_recursive): Ditto.
7303         (settime): Merged with cmd_time().
7304         (setbytes): Merged with cmd_bytes().
7305         (setonoff): Merged with cmd_boolean().
7306         (onoff): Ditto.
7307
7308 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
7309
7310         * Makefile.in (distclean): Remove `config.h'.
7311
7312 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
7313
7314         * version.c: Wget 1.5-b8 is released.
7315
7316 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
7317
7318         * http.c (digest_authentication_encode): New function.
7319         (create_authorization_line): Use it.
7320         (dump_hash): New function.
7321         (digest_authentication_encode): Use it.
7322
7323         * fnmatch.c: Renamed from `mtch.c'.
7324
7325 1998-02-15  Karl Eichwalder  <ke@suse.de>
7326
7327         * main.c (main): Tag "Written by..." string as translatable.
7328
7329 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
7330
7331         * wget.h (FREE_MAYBE): New macro.
7332
7333         * http.c (create_authorization_line): Don't use ANSI C string
7334         concatenation feature.
7335         (basic_authentication_encode): Use alloca() for temporary
7336         variables.
7337
7338         * recur.h: Ditto.
7339
7340         * http.c: Ditto.
7341
7342         * headers.h: Ditto.
7343
7344         * ftp-basic.c: Protect declaration against non-ANSI compiler.
7345
7346         * http.c (create_authorization_line): Cast `unsigned char *' to
7347         `char *' for sprintf, to shut up the noisy Digital Unix cc.
7348
7349 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
7350
7351         * version.c: Wget 1.5-b7 is released.
7352
7353 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
7354
7355         * cmpt.c (strstr): Synched with glibc-2.0.6.
7356
7357         * ftp-basic.c (calculate_skey_response): Ditto.
7358         (calculate_skey_response): Use alloca().
7359
7360         * http.c (create_authorization_line): Work with FSF's version of
7361         md5.c.
7362
7363         * md5.c: New file, from GNU libc.
7364
7365 1998-02-14  Hrvoje Niksic  <hniksic@srce.hr>
7366
7367         * url.h (URL_CLEANSE): Name the temporary variable more carefully.
7368
7369 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
7370
7371         * http.c (basic_authentication_encode): New function, instead of
7372         the macro.
7373
7374 1998-02-13  Junio Hamano  <junio@twinsun.com>
7375
7376         * http.c: Add HTTP-DA support.
7377         * ftp-basic.c: Add Opie/S-key support.
7378         * config.h.in, Makefile.in: Add HTTP-DA and Opie/S-key support.
7379         * md5.c, md5.h: New files.
7380
7381 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
7382
7383         * http.c (http_process_range): Renamed from hprocrange().
7384         (http_process_range): Parse the whole header.
7385
7386         * headers.c: New file.
7387         (header_process): New function.
7388         (header_get): Renamed from fetch_next_header.
7389
7390         * all: Include utils.h only where necessary.
7391
7392         * wget.h: Declare xmalloc(), xrealloc() and xstrdup() here.
7393
7394         * wget.h: Add provisions for dmalloc.
7395
7396 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
7397
7398         * version.c: Wget 1.5-b6 is released.
7399
7400 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
7401
7402         * ftp.c (ftp_loop): Determine `filename' more precisely.
7403
7404         * init.c (setval): Don't set `opt.quiet' if output-document is
7405         `-'.
7406
7407         * log.c (log_init): Print to STDERR instead of STDOUT.
7408         (vlogmsg): Use STDERR by default.
7409         (logflush): Ditto.
7410
7411 1998-02-11  Simon Josefsson  <jas@pdc.kth.se>
7412
7413         * host.c: Use addr_in again.
7414
7415 1998-02-08  Karl Eichwalder  <karl@suse.de>
7416
7417         * http.c (gethttp): Fixed typo.
7418
7419 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
7420
7421         * version.c: Wget 1.5-b5 is released.
7422
7423 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
7424
7425         * retr.c (show_progress): Use it.
7426
7427         * log.c (logflush): New function.
7428
7429         * wget.h: Utilize __attribute__ if on gcc.
7430
7431 1998-02-07  Hrvoje Niksic  <hniksic@srce.hr>
7432
7433         * http.c (base64_encode_line): New argument LENGTH.
7434         (BASIC_AUTHENTICATION_ENCODE): Use it.
7435         (BASIC_AUTHENTICATION_ENCODE): Take length of HEADER into account.
7436
7437         * main.c (main): Fixed fprintf() format mismatch.
7438
7439 1998-02-06  Hrvoje Niksic  <hniksic@srce.hr>
7440
7441         * version.c: Wget 1.5-b4 is released.
7442
7443 1998-02-03  Simon Josefsson  <jas@pdc.kth.se>
7444
7445         * host.c: use sockaddr_in instead of addr_in.
7446
7447 1998-02-04  Hrvoje Niksic  <hniksic@srce.hr>
7448
7449         * init.c (cleanup): Use it.
7450
7451         * recur.c (recursive_cleanup): New function.
7452
7453         * retr.c (retrieve_from_file): Ditto.
7454
7455         * main.c (main): Use it.
7456
7457         * recur.c (recursive_reset): New function.
7458
7459         * retr.c (retrieve_from_file): Ditto.
7460
7461         * main.c (main): Simplify call to recursive_retrieve().
7462
7463         * recur.c (recursive_retrieve): Removed FLAGS argument.
7464
7465         * http.c (gethttp): Changed call to iwrite().
7466
7467 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
7468
7469         * url.c (get_urls_html): Ditto.
7470         (free_urlpos): Ditto.
7471         (mkstruct): Ditto.
7472         (construct): Ditto.
7473
7474         * retr.c (retrieve_url): Move declaration of local variables to
7475         smaller scope.
7476
7477         * url.c (urlproto): Use it.
7478         (parseurl): Ditto.
7479         (str_url): Ditto.
7480         (get_urls_html): Ditto.
7481
7482         * utils.h (ARRAY_SIZE): New macro.
7483
7484         * url.c (proto): Moved from url.h.
7485
7486         * url.h (URL_CLEANSE): Reformatted.
7487         (USE_PROXY_P): Renamed from USE_PROXY.
7488
7489         * ftp-basic.c: Adjust to the new interface of iwrite().
7490
7491         * ftp-basic.c (ftp_port): Use alloca().
7492
7493 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
7494
7495         * version.c: Wget 1.5-b3 is released.
7496
7497         * host.c (ftp_getaddress): Don't print to stderr directly.
7498
7499         * init.c (setbytes): Support `g' for gigabytes.
7500         (cmdtype): New specification CTIME.
7501         (setval): Use it with settime().
7502         (commands): Use it for WAIT and TIMEOUT.
7503
7504 1998-02-02  Hrvoje Niksic  <hniksic@srce.hr>
7505
7506         * http.c (BASIC_AUTHENTICATION_ENCODE): New macro.
7507         (gethttp): Use it.
7508
7509         * utils.c (unique_name_1): Moved from url.c.
7510         (unique_name): Ditto.
7511
7512         * url.c (url_filename): Ditto.
7513
7514         * log.c (redirect_output): Changed call to unique_name().
7515
7516         * url.c (unique_name_1): Renamed from unique_name().
7517         (unique_name): Changed interface.
7518
7519         * init.c (enum cmdid): Moved from init.h.
7520         (cmdtype): Ditto.
7521         (struct cmd): Ditto.
7522
7523         * main.c (main): Use it.
7524         (main): Moved `--backups' to not have a short option.
7525
7526         * options.h (struct options): New member BACKGROUND.
7527
7528         * main.c (print_help): Rearranged.
7529         (main): New long options for -n* short options: --no-directories,
7530         --no-host-directories, --non-verbose, --no-host-lookup and
7531         --dont-remove-listing.
7532
7533 1998-02-01  Hrvoje Niksic  <hniksic@srce.hr>
7534
7535         * main.c (main): Use log_close().
7536
7537         * log.c: New variable LOGFP.
7538         (vlogmsg): Use it.
7539         (redirect_output): Don't open /dev/null; set LOGFP to stdin
7540         instead.
7541         (log_close): New function.
7542
7543         * options.h (struct options): Removed LFILE.
7544
7545         * log.c (log_enable): Removed.
7546
7547         * main.c (main): Use it.
7548
7549         * log.c (log_init): New function.
7550
7551         * url.c (get_urls_html): Removed needless assignment to BASE.
7552
7553         * host.c (add_hlist): Don't set CMP needlessly.
7554
7555         * utils.c (match_backwards): Ditto.
7556         (in_acclist): Ditto.
7557
7558         * url.c (findurl): Ditto.
7559
7560         * netrc.c (parse_netrc): Ditto.
7561
7562         * log.c (log_dump): Ditto.
7563
7564         * html.c (html_quote_string): Ditto.
7565
7566         * ftp-basic.c (ftp_request): Made static.
7567
7568         * connect.c: Made global variables static.
7569
7570         * url.c (construct): Ditto.
7571
7572         * init.c (init_path): Avoid assignment inside `if'-condition.
7573
7574         * ftp.c: Don't include in.h or winsock.h.
7575
7576         * ftp.c (ftp_loop): Use SZ.
7577
7578         * connect.c (bindport): Cast &addrlen to int *.
7579         (conaddr): Ditto.
7580
7581         * init.c (initialize): Don't use SYSTEM_WGETRC unconditionally.
7582
7583 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
7584
7585         * ftp.c (getftp): Initialize opt.ftp_pass here.
7586         (ftp_retrieve_dirs): Use alloca().
7587
7588         * init.c (defaults): Don't initialize opt.ftp_pass.
7589
7590         * sysdep.h (S_ISLNK): Declare for OS/2; ditto for lstat.
7591         From Ivan F. Martinez <ivanfm@ecodigit.com.br>.
7592
7593 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
7594
7595         * recur.c (parse_robots): Check for comments more correctly.
7596
7597         * host.c (ftp_getaddress): Use STRDUP_ALLOCA.
7598         (ftp_getaddress): Add diagnostics when reverse-lookup yields only
7599         hostname.
7600
7601 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
7602
7603         * version.c: Wget 1.5-b2 is released.
7604
7605         * netrc.c (NETRC_FILE_NAME): Moved from netrc.h.
7606
7607         * utils.c (proclist): Pass FNM_PATHNAME to fnmatch().
7608
7609         * ftp-basic.c (ftp_pasv): Avoid unnecessary casting to unsigned
7610         char.
7611
7612         * log.c: Don't attempt to hide arguments from ansi2knr.
7613
7614         * cmpt.c: Synched strptime() and mktime() with glibc-2.0.6.
7615
7616         * ansi2knr.c: Use a later version, from fileutils-3.16l alpha.
7617
7618         * ftp.c (getftp): Ditto.
7619
7620         * http.c (gethttp): Use it.
7621
7622         * retr.c (get_contents): New argument EXPECTED; pass it to
7623         show_progress().
7624         (show_progress): New argument EXPECTED; use it to display
7625         percentages.
7626
7627         * init.c (setval): Ditto.
7628
7629         * http.c (gethttp): Ditto.
7630         (http_loop): Ditto.
7631
7632         * ftp.c (getftp): Ditto.
7633         (ftp_loop_internal): Ditto.
7634
7635         * ftp-ls.c (ftp_parse_unix_ls): Use abort() instead of assert(0).
7636
7637         * sysdep.h (CLOSE): Simplify; use DEBUGP.
7638
7639         * netrc.c (search_netrc): Use alloca().
7640
7641         * init.c (defaults): Initialize no_flush.
7642
7643         * log.c (vlogmsg): Don't flush if no_flush.
7644
7645         * options.h (struct options): New variable no_flush.
7646
7647         * main.c (main): Don't play games with buffering.
7648
7649         * log.c (vlogmsg): Flush the output after every message.
7650
7651 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
7652
7653         * init.c (parse_line): Ditto.
7654
7655         * url.c (get_urls_html): Ditto.
7656
7657         * main.c (main): Don't cast to unsigned char.
7658
7659         * init.c (run_wgetrc): Don't cast to unsigned char.
7660         (parse_line): Accept char instead of unsigned char.
7661
7662         * html.c (htmlfindurl): Use char instead of unsigned char.
7663
7664         * all: Use them.
7665
7666         * sysdep.h: Add wrappers to ctype macros to make them
7667         eight-bit-clean:
7668
7669 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
7670
7671         * html.c (htmlfindurl): Download <img lowsrc=...>
7672
7673         * main.c (main): Ignore SIGPIPE.
7674
7675         * connect.c (select_fd): New argument WRITEP.
7676         (iwrite): Call select_fd().
7677
7678 1997-02-27  Fila Kolodny <fila@ibi.com>
7679
7680         * ftp.c (ftp_retrieve_list): If retrieving symlink and the proper
7681         one already exists, just skip it.
7682
7683 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
7684
7685         * http.c (gethttp): Cosmetic changes.
7686
7687         * http.c (check_end): Allow `+D...' instead of `GMT'.
7688         From Fabrizio Pollastri <pollastri@cstv.to.cnr.it>.
7689
7690         * url.c (process_ftp_type): New function.
7691         (parseurl): Use it.
7692
7693         * connect.c (iwrite): Allow writing in a few chunks.
7694         (bindport): Made SRV static, so addr can point to it.
7695         (select_fd): Removed HPUX kludge.
7696
7697         * host.c (free_hlist): Incorporated into clean_hosts().
7698
7699 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
7700
7701         * host.c (hlist): Made static.
7702         (search_address): Cosmetic change.
7703
7704 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
7705
7706         * version.c: Wget v1.5-b1 is released.
7707
7708         * http.c (hgetlen): Use sizeof() to get the header length.
7709         (hgetrange): Ditto.
7710         (hgettype): Ditto.
7711         (hgetlocation): Ditto.
7712         (hgetmodified): Ditto.
7713         (haccepts_none): Ditto.
7714
7715         * main.c (main): Updated `--version' and `--help' output, as per
7716         Francois Pinard's suggestions.
7717
7718         * main.c: Include locale.h; call setlocale(), bindtextdomain() and
7719         textdomain().
7720
7721         * config.h.in: Define stubs for I18N3.
7722
7723         * wget.h: Include libintl.h.
7724
7725 1998-01-28  Hrvoje Niksic  <hniksic@srce.hr>
7726
7727         * url.c (mkstruct): Check for opt.cut_dirs.
7728         (mkstruct): alloca()-te more, xmalloc() less.
7729
7730         * utils.c (load_file): Check for ferror().
7731
7732         * url.c (get_urls_file): Close only the files we opened.
7733         (get_urls_html): Ditto.
7734         (count_slashes): New function.
7735
7736         * http.h: Removed.
7737
7738         * http.c (gethttp): Respect username and password provided by
7739         proxy URL.
7740         (base64_encode_line): Write into an existing buffer instead of
7741         malloc-ing a new one.
7742         (struct http_stat): Moved from http.h
7743
7744         * retr.c (retrieve_url): Free SUF.
7745
7746         * all: Removed lots of unnecessary .h dependencies.
7747
7748         * html.c (global_state): Made static.
7749
7750         * utils.h (ALLOCA_ARRAY): New macro.
7751
7752         * main.c (main): New option `--cut-dirs'.
7753
7754         * url.c (construct): Use alloca() for T.
7755
7756         * utils.c (mkdirhier): Use STRDUP_ALLOCA.
7757
7758         * host.c (_host_t): Moved from host.h.
7759         (struct host): Renamed from _host_t.
7760         (store_hostaddress): Use STRDUP_ALLOCA for INET_S.
7761         (realhost): Ditto.
7762
7763         * host.h: Don't include url.h.
7764
7765         * ftp.c (LIST_FILENAME): Moved from ftp.h.
7766
7767         * init.c (DEFAULT_FTP_ACCT): Moved from ftp.h.
7768
7769         * main.c (main): Enable log if the output goes to a TTY.
7770
7771         * connect.h: Removed unused constant `BACKLOG'.
7772
7773         * config.h.in: Check for isatty().
7774
7775         * Makefile.in (LINK): Use CFLAGS when linking.
7776
7777 1998-01-27  Hrvoje Niksic  <hniksic@srce.hr>
7778
7779         * mswindows.c (ws_hangup): Use redirect_output().
7780
7781         * main.c (redirect_output_signal): New function; use
7782         redirect_output().
7783
7784         * log.c (redirect_output): New function, based on hangup(), which
7785         is deleted.
7786
7787         * log.c (vlogmsg): New function.
7788
7789         * wget.h (DEBUGP): Use debug_logmsg().
7790
7791         * main.c (hangup): Use it.
7792
7793         * log.c (log_dump): New function.
7794
7795         * utils.h (DO_REALLOC): Use `long' for various sizes.
7796
7797         * http.c (hskip_lws): Use `while', for clarity.
7798         (HTTP_DYNAMIC_LINE_BUFFER): New constant.
7799         (fetch_next_header): Use it instead of DYNAMIC_LINE_BUFFER.
7800
7801         * ftp-basic.c (FTP_DYNAMIC_LINE_BUFFER): New constant.
7802         (ftp_response): Use it instead of DYNAMIC_LINE_BUFFER.
7803
7804         * utils.c (DYNAMIC_LINE_BUFFER): Moved from utils.c.
7805         (LEGIBLE_SEPARATOR): Ditto.
7806         (FILE_BUFFER_SIZE): Ditto.
7807
7808         * retr.c (BUFFER_SIZE): Moved from retr.h.
7809
7810         * log.c: New file.
7811         (logmsg): Moved from utils.c.
7812         (debug_logmsg): New function.
7813
7814         * mswindows.h: Include it here.
7815
7816         * init.c: Ditto.
7817
7818         * utils.c: Don't include <windows.h>.
7819
7820 1998-01-25  Hrvoje Niksic  <hniksic@srce.hr>
7821
7822         * host.c (ftp_getaddress): Ditto.
7823
7824         * main.c (main): Use it.
7825
7826         * utils.h (STRDUP_ALLOCA): New macro.
7827
7828         * init.c: Prepend `wget: ' to error messages printed on stderr.
7829
7830         * utils.c (mkdirhier): Renamed from mymkdir.
7831         (touch): Renamed from my_touch.
7832         (pwd_cuserid): Renamed from my_cuserid().
7833
7834 1998-01-24  Andy Eskilsson  <andy.eskilsson@telelogic.se>
7835
7836         * utils.c (accdir): Process wildcards.
7837         (proclist): New function.
7838         (accdir): Use it to avoid code repetition.
7839
7840 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
7841
7842         * recur.c (parse_robots): Respect opt.useragent; use alloca().
7843
7844         * http.c (gethttp): Construct useragent accordingly.
7845
7846         * version.c: Changed version string to numbers-only.
7847
7848         * main.c (print_help): List all the options.
7849
7850         * mswindows.c (windows_main_junk): Initialize argv0 here.
7851
7852 1998-01-24  Karl Heuer  <kwzh@gnu.org>
7853
7854         * netrc.c (search_netrc): Initialize `l' only after processing
7855         netrc.
7856
7857         * main.c (main): Don't trap SIGHUP if it's being ignored.
7858
7859 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
7860
7861         * all: Use logmsg().
7862
7863         * utils.c (time_str): Moved from retr.c.
7864         (logmsg): New function.
7865         (logmsg_noflush): Ditto.
7866
7867         * rbuf.c: New file, moved buf_* functions here.
7868
7869         * ftp.c (ftp_expected_bytes): Moved from ftp-basic.c.
7870
7871         * ftp-basic.c (ftp_rest): Use prnum().
7872
7873         * ftp-basic.c: Ditto.
7874
7875         * ftp.c: Use the new reading functions and macros.
7876
7877         * retr.c (buf_initialize): New function.
7878         (buf_initialized_p): Ditto.
7879         (buf_uninitialize): Ditto.
7880         (buf_fd): Ditto.
7881
7882         * http.c (fetch_next_header): Use the BUF_READCHAR macro for
7883         efficiency.
7884         (gethttp): Use alloca() where appropriate.
7885
7886         * retr.c (buf_readchar): Use it.
7887         (buf_peek): Use rstreams.
7888
7889         * retr.h (BUF_READCHAR): New macro.
7890
7891         * init.c (home_dir): Rewritten for clarity.
7892         (init_path): Ditto.
7893
7894         * mswindows.c (ws_backgnd): Made static.
7895         (read_registry): Ditto.
7896         (ws_cleanup): Ditto.
7897         (ws_handler): Ditto.
7898
7899 1998-01-23  Hrvoje Niksic  <hniksic@srce.hr>
7900
7901         * alloca.c: New file.
7902
7903         * Makefile.in (ALLOCA): Define.
7904
7905         * mswindows.c (ws_help): Constify.
7906         (ws_help): Use alloca.
7907
7908         * mswindows.c: Reformat.
7909
7910         * all: Added _(...) annotations for I18N snarfing and translation.
7911
7912         * host.c (ftp_getaddress): Nuke SYSINFO.
7913         (ftp_getaddress): Don't use getdomainname().
7914         (ftp_getaddress): Use uname(), where available.
7915
7916         * http.c (gethttp): Protect a stray fprintf().
7917
7918         * init.c (settime): New function.
7919         (setval): Treat WAIT specially, allowing suffixes like `m' for
7920         minutes, etc.
7921
7922 1998-01-21  Hrvoje Niksic  <hniksic@srce.hr>
7923
7924         * url.c (get_urls_html): Use alloca() for TEMP.
7925
7926 1998-01-21  Jordan Mendelson  <jordy@wserv.com>
7927
7928         * url.c (rotate_backups): New function.
7929
7930         * http.c (gethttp): Ditto.
7931
7932         * ftp.c (getftp): Rotate backups.
7933
7934 1997-12-18  Hrvoje Niksic  <hniksic@srce.hr>
7935
7936         * all: Renamed nmalloc(), nrealloc() and nstrdup() to xmalloc(),
7937         xrealloc() and xstrdup().  Use the new functions.
7938
7939         * url.c (decode_string): Made static.
7940         (has_proto): Ditto.
7941         (parse_dir): Ditto.
7942         (parse_uname): Ditto.
7943         (mkstruct): Ditto.
7944         (construct): Ditto.
7945         (construct_relative): Ditto.
7946
7947         * retr.c (show_progress): Made static.
7948
7949         * recur.c (robots_url): Made static.
7950         (retrieve_robots): Ditto.
7951         (parse_robots): Ditto.
7952         (robots_match): Ditto.
7953
7954         * main.h: Removed.
7955
7956         * main.c (printhelp): Made static.
7957         (hangup): Ditto.
7958
7959         * init.c (comind): Made static.
7960         (defaults): Ditto.
7961         (init_path): Ditto.
7962         (run_wgetrc): Ditto.
7963         (onoff): Ditto.
7964         (setonoff): Ditto.
7965         (setnum): Ditto.
7966         (myatoi): Ditto.
7967         (getperms): Ditto.
7968         (setbytes): Ditto.
7969
7970         * http.c (fetch_next_header): Made static.
7971         (hparsestatline): Ditto.
7972         (hskip_lws): Ditto.
7973         (hgetlen): Ditto.
7974         (hgetrange): Ditto.
7975         (hgettype): Ditto.
7976         (hgetlocation): Ditto.
7977         (hgetmodified): Ditto.
7978         (haccepts_none): Ditto.
7979         (gethttp): Ditto.
7980         (base64_encode_line): Ditto.
7981         (mktime_from_utc): Ditto.
7982         (http_atotm): Ditto.
7983
7984         * html.c (idmatch): Made static.
7985
7986         * host.c (search_host): Made static.
7987         (search_address): Ditto.
7988         (free_hlist): Ditto.
7989
7990         * ftp.c (getftp): Made static.
7991         (ftp_loop_internal): Ditto.
7992         (ftp_get_listing): Ditto.
7993         (ftp_retrieve_list): Ditto.
7994         (ftp_retrieve_dirs): Ditto.
7995         (ftp_retrieve_glob): Ditto.
7996         (freefileinfo): Ditto.
7997         (delelement): Ditto.
7998
7999         * ftp-ls.c (symperms): Made static.
8000         (ftp_parse_unix_ls): Ditto.
8001
8002         * connect.c (select_fd): Made static.
8003
8004         * utils.c (xmalloc): Renamed from nmalloc.
8005         (xrealloc): Renamed from nrealloc.
8006         (xstrdup): Renamed from nstrdup.
8007
8008         * getopt.c (exchange): Use alloca.
8009
8010         * mswindows.c (mycuserid): Use strncpy.
8011
8012         * New files mswindows.c, mswindows.h, sysdep.h.  winjunk.c,
8013         systhings.h, windecl.h and winjunk.h removed.
8014
8015         * mswindows.c (sleep): New function.
8016
8017         * utils.c: Include <windows.h> under Windows.
8018
8019 1997-06-12  Darko Budor  <dbudor@zesoi.fer.hr>
8020
8021         * url.h (URL_UNSAFE): Change default under Windows.
8022
8023         * retr.c (retrieve_from_file): Respect opt.delete_after.
8024
8025         * main.c (main): Call ws_help on Windows.
8026
8027         * winjunk.c (windows_main_junk): New function.
8028
8029         * main.c (main): Junk-process argv[0].
8030
8031         * http.c (mktime_from_utc): Return -1 if mktime failed.
8032
8033         * http.c (http_loop): Ditto.
8034
8035         * ftp.c (ftp_loop_internal): Change title on Windows when using a
8036         new URL.
8037
8038         * winjunk.c (getdomainname): Lots of functions.
8039
8040 1997-06-12  Hrvoje Niksic  <hniksic@srce.hr>
8041
8042         * cmpt.c (strptime_internal): Handle years more correctly for
8043         `%y'.
8044
8045 1997-06-09  Mike Thomas <mthomas@reality.ctron.com>
8046
8047         * http.c (gethttp): Allocate enough space for
8048         `Proxy-Authorization' header.
8049
8050 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
8051
8052         * version.c: Wget/1.4.5 is released.
8053
8054 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
8055
8056         * retr.c (get_contents): Check return value of fwrite more
8057         carefully.
8058
8059 1997-03-30  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
8060
8061         * cmpt.c (strptime_internal) [case 'Y']: Always subtract 1900 from
8062         year, regardless of century.
8063
8064 1997-03-30  Hrvoje Niksic  <hniksic@srce.hr>
8065
8066         * utils.c (isfile): Use `lstat' instead of `stat'.
8067
8068 1997-03-29  Hrvoje Niksic  <hniksic@srce.hr>
8069
8070         * utils.c (numdigit): Use explicit test.
8071
8072 1997-03-21  Hrvoje Niksic  <hniksic@srce.hr>
8073
8074         * http.c (http_loop): Always use `url_filename' to get u->local.
8075
8076 1997-03-20  Hrvoje Niksic  <hniksic@srce.hr>
8077
8078         * url.c: Recognize https.
8079
8080 1997-03-13  Hrvoje Niksic  <hniksic@srce.hr>
8081
8082         * recur.c (recursive_retrieve): Lowercase just the host name.
8083
8084 1997-03-09  Hrvoje Niksic  <hniksic@srce.hr>
8085
8086         * url.c (get_urls_file): Use the correct test.
8087         (get_urls_html): Ditto.
8088
8089 1997-03-07  Hrvoje Niksic  <hniksic@srce.hr>
8090
8091         * connect.c: Reverted addrlen to int.
8092
8093         * init.c (parse_line): Check for -1 instead of NONE.
8094
8095         * version.c: Changed version to 1.4.5.
8096
8097 1997-02-17  Hrvoje Niksic  <hniksic@srce.hr>
8098
8099         * init.c: New option netrc.
8100         (initialize): Don't parse .netrc.
8101
8102         * cmpt.c (recursive): Return rp.
8103         (strptime_internal): Match the long strings first, the abbreviated
8104         second.
8105
8106 1997-02-16  Hrvoje Niksic  <hniksic@srce.hr>
8107
8108         * http.c (check_end): New function.
8109         (http_atotm): Use it.
8110
8111 1997-02-13  gilles Cedoc  <gilles@cedocar.fr>
8112
8113         * http.c (gethttp): Use them.
8114
8115         * init.c: New options proxy_user and proxy_passwd.
8116
8117 1997-02-14  Hrvoje Niksic  <hniksic@srce.hr>
8118
8119         * ftp.c (ftp_retrieve_list): Create links even if not relative.
8120
8121 1997-02-10  Hrvoje Niksic  <hniksic@srce.hr>
8122
8123         * recur.c (recursive_retrieve): Lowercase the host name, if the
8124         URL is not "optimized".
8125
8126         * host.c (realhost): Return l->hostname, even if it matches with
8127         host.
8128
8129 1997-02-10  Marin Purgar  <pmc@asgard.hr>
8130
8131         * connect.c: Make addrlen size_t instead of int.
8132         (conaddr): Ditto.
8133
8134 1997-02-09  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
8135
8136         * systhings.h: Define S_ISLNK on NeXT too.
8137
8138 1997-02-09  Hrvoje Niksic  <hniksic@srce.hr>
8139
8140         * version.c: Released 1.4.3.
8141
8142         * url.c: Futher update to list of protostrings.
8143         (skip_proto): Skip `//' correctly for FTP and HTTP.
8144
8145         * url.c (get_urls_html): Handle bogus `http:' things a little
8146         different.
8147
8148         * main.c (main): Removed `follow-ftp' from `f'.
8149         (main): Dumped the `prefix-files' and `file-prefix' options and
8150         features; old and bogus.
8151         (main): Exit on failed setval() in `-e'.
8152
8153         * http.c (fetch_next_header): Use it to detect header continuation
8154         correctly.
8155
8156         * retr.c (buf_peek): New function.
8157
8158 1997-02-08  Hrvoje Niksic  <hniksic@srce.hr>
8159
8160         * wget.h: Include time.h and stuff.
8161
8162 1997-02-08  Roger Beeman  <beeman@cisco.com>
8163
8164         * ftp.c: Include <time.h>
8165
8166 1997-02-07  Hrvoje Niksic  <hniksic@srce.hr>
8167
8168         * url.c (findurl): Would read over buffer limits.
8169
8170 1997-02-06  Hrvoje Niksic  <hniksic@srce.hr>
8171
8172         * ftp-ls.c (ftp_parse_unix_ls): Allow spaces in file names.
8173
8174 1997-02-05  Hrvoje Niksic  <hniksic@srce.hr>
8175
8176         * http.c (http_atotm): Initialize tm.is_dst.
8177
8178 1997-02-02  Hrvoje Niksic  <hniksic@srce.hr>
8179
8180         * http.c (gethttp): Don't print the number of retrieved headers.
8181
8182         * main.c (main): New option `--no-clobber', alias for `-nc'.
8183
8184         * url.c: Recognize `https://'.
8185
8186 1997-02-01  Hrvoje Niksic  <hniksic@srce.hr>
8187
8188         * host.c (herrmsg): Don't use h_errno.
8189
8190 1997-01-30  Hrvoje Niksic  <hniksic@srce.hr>
8191
8192         * host.c (accept_domain): Use it.
8193
8194         * main.c (main): New option `--exclude-domains'.
8195
8196         * retr.c (retrieve_url): Use it.
8197         (retrieve_url): Bail out when an URL is redirecting to itself.
8198
8199         * url.c (url_equal): New function.
8200
8201 1997-01-29  Hrvoje Niksic  <hniksic@srce.hr>
8202
8203         * connect.c: Include arpa/inet.h instead of arpa/nameser.h.
8204
8205         * http.c (mk_utc_time): New function.
8206         (http_atotm): Use it; handle time zones correctly.
8207
8208 1997-01-28  Hrvoje Niksic  <hniksic@srce.hr>
8209
8210         * http.c: Ditto.
8211
8212         * ftp-basic.c: Use it instead of WRITE.
8213
8214         * connect.c (iwrite): New function.
8215
8216 1997-01-27  Hrvoje Niksic  <hniksic@srce.hr>
8217
8218         * cmpt.c (mktime): New function.
8219
8220         * netrc.c: Include <sys/types.h>.
8221
8222         * main.c (main): Wouldn't recognize --spider.
8223
8224         * retr.c (rate): Use `B', `KB' and `MB'.
8225         (reset_timer,elapsed_time): Moved from utils.c.
8226
8227         * ftp.c (ftp_retrieve_list): Ditto.
8228
8229         * http.c (http_loop): Don't touch the file if opt.dfp.
8230
8231 1997-01-24  Hrvoje Niksic  <hniksic@srce.hr>
8232
8233         * cmpt.c: New file.
8234
8235         * ftp.c (ftp_retrieve_glob): New argument semantics.
8236         (ftp_retrieve_dirs): Use it.
8237         (ftp_loop): Ditto.
8238
8239         * html.c (htmlfindurl): Recognize `'' as the quote char.
8240
8241 1997-01-23  Hrvoje Niksic  <hniksic@srce.hr>
8242
8243         * ftp.c (ftp_loop_internal): Use it.
8244
8245         * utils.c (remove_link): New function.
8246
8247 1997-01-22  Hrvoje Niksic  <hniksic@srce.hr>
8248
8249         * retr.c (retrieve_url): Require STRICT redirection URL.
8250
8251         * url.c (parseurl): New argument STRICT.
8252
8253         * http.c (hparsestatline): Be a little-bit less strict about
8254         status line format.
8255
8256 1997-01-21  Hrvoje Niksic  <hniksic@srce.hr>
8257
8258         * http.c (gethttp): Use it.
8259
8260         * main.c (main): Don't use '<digit>' as options.
8261
8262         * init.c: New option ignore_length.
8263
8264         * http.c (gethttp): Ditto.
8265         (http_loop): Check for redirection without Location:.
8266         (gethttp): Don't print Length unless RETROKF.
8267
8268         * ftp.c (getftp): Use it.
8269
8270         * url.c (mkalldirs): New function.
8271
8272         * utils.c (mymkdir): Don't check for existing non-directory.
8273
8274         * url.c (mkstruct): Don't create the directory.
8275
8276 1997-01-20  Hrvoje Niksic  <hniksic@srce.hr>
8277
8278         * init.c (setval): Removed NO_RECURSION checks.
8279
8280 1997-01-19  Hrvoje Niksic  <hniksic@srce.hr>
8281
8282         * version.c: "Released" 1.4.3-pre2.
8283
8284         * recur.c (recursive_retrieve): Bypass host checking only if URL
8285         is ftp AND parent URL is not ftp.
8286
8287         * ftp-basic.c (ftp_request): Print out Turtle Power.
8288
8289         * ftp.c (ftp_loop): Call ftp_retrieve_glob with 0 if there's no
8290         wildcard.
8291         (ftp_retrieve_glob): Call ftp_loop_internal even on empty list, if
8292         not glob.
8293
8294         * http.c (gethttp): Be a little bit smarter about status codes.
8295
8296         * recur.c (recursive_retrieve): Always reset opt.recursive when
8297         dealing with FTP.
8298
8299 1997-01-18  Hrvoje Niksic  <hniksic@srce.hr>
8300
8301         * retr.c (retrieve_url): New variable location_changed; use it for
8302         tests instead of mynewloc.
8303         (retrieve_url): Allow heuristic adding of html.
8304
8305         * url.c (url_filename): Don't use the `%' in Windows file names.
8306
8307         * http.c (http_loop): Always time-stamp the local file.
8308
8309         * http.c (http_loop): Ditto.
8310
8311         * ftp.c (ftp_retrieve_list): Use it.
8312
8313         * utils.c (my_touch): New function.
8314
8315         * ftp.c (ftp_retrieve_list): Use #ifdef HAVE_STRUCT_UTIMBUF
8316         instead of #ifndef NeXT.
8317
8318         * utils.c (strptime): New version, by Ulrich Drepper.
8319
8320 1997-01-17  Hrvoje Niksic  <hniksic@srce.hr>
8321
8322         * http.c (haccepts_none): Renamed from `haccepts_bytes'.
8323         (gethttp): If haccepts_none(), disable ACCEPTRANGES.
8324         (http_loop): Would remove ACCEPTRANGES.
8325
8326         * ftp.c (getftp): Call ftp_list with NULL.
8327
8328 1997-01-15  Hrvoje Niksic  <hniksic@srce.hr>
8329
8330         * html.c (ftp_index): Don't print minutes and seconds if we don't
8331         know them; beautify the output.
8332
8333         * ftp.c (getftp): Don't close the socket on FTPNSFOD.
8334
8335 1997-01-14  Hrvoje Niksic  <hniksic@srce.hr>
8336
8337         * utils.c (strptime): New function.
8338         (strptime): Don't use get_alt_number.
8339         (strptime): Don't use locale.
8340         (match_string): Made it a function.
8341
8342 1997-01-12  Hrvoje Niksic  <hniksic@srce.hr>
8343
8344         * http.c (http_atotm): New function.
8345         (http_loop): Use it.
8346
8347         * atotm.c: Removed from the distribution.
8348
8349         * http.c (base64_encode_line): Rewrite.
8350
8351 1997-01-09  Hrvoje Niksic  <hniksic@srce.hr>
8352
8353         * ftp.c (getftp): Use ftp_expected_bytes; print size.
8354
8355         * ftp-basic.c (ftp_response): Use ftp_last_respline.
8356         (ftp_expected_bytes): New function.
8357
8358         * ftp.c (getftp): Print the unauthoritative file length.
8359
8360         * ftp-ls.c: Renamed from ftp-unix.c.
8361         (ftp_parse_ls): Moved from ftp.c.
8362         (ftp_parse_unix_ls): Recognize seconds in time spec.
8363         (ftp_parse_unix_ls): Recognize year-less dates of the previous
8364         year.
8365
8366 1997-01-08  Hrvoje Niksic  <hniksic@srce.hr>
8367
8368         * ftp-basic.c: Don't declare errno if #defined.
8369
8370         * host.c (ftp_getaddress): Check for sysinfo legally.
8371
8372 1997-01-08  Darko Budor  <dbudor@diana.zems.fer.hr>
8373
8374         * connect.c (iread): Use READ.
8375
8376 1996-12-23  Hrvoje Niksic  <hniksic@srce.hr>
8377
8378         * url.c: Recognize finger, rlogin, tn3270, mid and cid as valid
8379         schemes.
8380
8381 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
8382
8383         * host.c (ftp_getaddress): Allow `.' in hostname.
8384
8385 1996-12-26  Darko Budor <dbudor@zems.fer.hr>
8386
8387         * wget.h: READ and WRITE macros for use instead of read and write
8388         on sockets, grep READ *.c, grep WRITE *.c
8389
8390         * wsstartup.c: new file - startup for winsock
8391
8392         * wsstartup.h: new file
8393
8394         * win32decl.h: new file - fixup for <errno.h> and winsock trouble
8395
8396         * configure.bat: Configure utility for MSVC
8397
8398         * src/Makefile.ms,config.h.ms: new files for use with MSVC 4.x
8399
8400 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
8401
8402         * version.c: Released 1.4.3-pre.
8403
8404         * utils.c (prnum): Accept long.
8405         (legible): Use prnum().
8406
8407         * connect.c (make_connection): Accept port as short.
8408         (bindport): Ditto.
8409
8410         * http.c (gethttp): Use search_netrc.
8411
8412 1996-12-21  Hrvoje Niksic  <hniksic@srce.hr>
8413
8414         * ftp.c (getftp): Use search_netrc.
8415
8416         * netrc.c (free_netrc): New function.
8417
8418         * init.c (home_dir): New function.
8419
8420         * url.c (convert_links): Allow REL2ABS changes.
8421
8422 1996-12-21  Gordon Matzigkeit  <gord@gnu.ai.mit.edu>
8423
8424         * netrc.c: New file.
8425         (parse_netrc, maybe_add_to_list): New functions.
8426
8427 1996-12-17  Hrvoje Niksic  <hniksic@srce.hr>
8428
8429         * retr.c (retrieve_url): Reset opt.recursion before calling
8430         ftp_loop if it is reached through newloc.
8431
8432         * init.c (run_wgetrc): Print the wgetrc path too, when reporting
8433         error; don't use "Syntax error", since we don't know if it is
8434         really a syntax error.
8435
8436 1996-12-16  Hrvoje Niksic  <hniksic@srce.hr>
8437
8438         * utils.c (acceptable): Extract the filename part of the path.
8439
8440         * recur.c (recursive_retrieve): Call acceptable() with the right
8441         argument; would bug out on wildcards.
8442
8443         * init.c (parse_line): Likewise.
8444
8445         * html.c (htmlfindurl): Cast to char * when calling stuff.
8446
8447 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
8448
8449         * ftp.c (getftp): Use ftp_pasv.
8450
8451         * ftp-basic.c (ftp_request): Accept NULL value.
8452         (ftp_pasv): New function.
8453
8454         * options.h (struct options): Add passive FTP option.
8455
8456 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
8457
8458         * url.c (parseurl): Debug output.
8459
8460         * utils.c (path_simplify): New one, adapted from bash's
8461         canonicalize_pathname().
8462
8463 1996-12-14  Hrvoje Niksic  <hniksic@srce.hr>
8464
8465         * ftp.c (getftp): Don't discard the buffer.
8466
8467         * retr.c (get_contents): New parameter nobuf.
8468
8469 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
8470
8471         * html.c (htmlfindurl): Recognize <meta contents="d; URL=...".
8472
8473         * init.c (setval): Strip the trailing slashes on CVECDIR.
8474
8475 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
8476
8477         * init.c: Make excludes and includes under CVECDIR instead of
8478         CVEC.
8479
8480 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
8481
8482         * url.c (get_urls_html): Skip "http:".
8483
8484 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
8485
8486         * utils.c (strcasecmp): From glibc.
8487         (strncasecmp): Also.
8488         (strstr): Also.
8489
8490         * url.c: Added javascript: to the list of URLs prefixes.
8491
8492 1996-12-12  Shawn McHorse  <riffraff@txdirect.net>
8493
8494         * recur.c (retrieve_robots): Print the warning message only if
8495         verbose.
8496
8497 1996-12-12  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
8498
8499         * ftp.c (ftp_retrieve_list): Use NeXT old utime interface.
8500
8501 1996-12-12  Hrvoje Niksic  <hniksic@srce.hr>
8502
8503         * systhings.h: New file.
8504
8505         * ../configure.in: Check for utime.h
8506
8507         * ftp.c: Check whether we have unistd.h.
8508
8509 1996-11-27  Hrvoje Niksic  <hniksic@srce.hr>
8510
8511         * recur.c (recursive_retrieve): Send the canonical URL as referer.
8512         (recursive_retrieve): Call get_urls_html with the canonical URL.
8513
8514 1996-12-13  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
8515
8516         * (configure.in, config.h.in, src/Makefile.in, src/*.[ch]): Add
8517         ansi2knr support for compilers which don't support ANSI style
8518         function prototypes and signatures.
8519
8520         * (aclocal.m4, src/ansi2knr.c, src/ansi2knr.1): New files.
8521
8522 1996-11-26  Hrvoje Niksic  <hniksic@srce.hr>
8523
8524         * url.c: Use it; Recognize paths ending with "." and ".." as
8525         directories.
8526         (url_filename): Append .n whenever file exists and could be a
8527         directory.
8528
8529         * url.h (ISDDOT): New macro.
8530
8531         * init.c (parse_line): Use unsigned char.
8532
8533         * url.c (get_urls_html): Cast to unsigned char * when calling
8534         htmlfindurl.
8535
8536         * html.c (htmlfindurl): Use unsigned char.
8537
8538         * version.c: Changed version to 1.4.3.
8539
8540 1996-11-25  Hrvoje Niksic  <hniksic@srce.hr>
8541
8542         * version.c: Released 1.4.2.
8543
8544         * ftp.c (getftp): Simplified assertion.
8545         (ftp_loop_internal): Remove symlink before downloading.
8546         (ftp_retrieve_list): Unlink the symlink name before attempting to
8547         create a symlink!
8548
8549         * options.h (struct options): Renamed print_server_response to
8550         server_response.
8551
8552         * ftp.c (rel_constr): Removed.
8553         (ftp_retrieve_list): Don't use it.
8554         (ftp_retrieve_list): Use opt.retr_symlinks.
8555
8556 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
8557
8558         * main.c (main): New option retr_symlinks.
8559
8560         * url.c (convert_links): Print verbose message.
8561
8562 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
8563
8564         * http.c (http_loop): Reset newloc in the beginning of function;
8565         would cause FMR in retrieve_url.
8566
8567 1996-11-23  Hrvoje Niksic  <hniksic@srce.hr>
8568
8569         * recur.c (convert_all_links): Find the URL of each HTML document,
8570         and feed it to get_urls_html; would bug out.
8571         (convert_all_links): Check for l2 instead of dl; removed dl.
8572
8573         * url.c (convert_links): Don't refer to freed newname.
8574
8575         * recur.c (recursive_retrieve): Add this_url to urls_downloaded.
8576
8577         * main.c (main): Print the OS_TYPE in the debug output, too.
8578
8579         * recur.c (recursive_retrieve): Check for opt.delete_after.
8580
8581         * main.c (main): New option delete-after.
8582
8583         * init.c (setval): Cleaned up.
8584
8585 1996-11-21  Hrvoje Niksic  <hniksic@srce.hr>
8586
8587         * Makefile.in (wget): Make `wget' the default target.
8588
8589         * ftp.c (ftp_loop_internal): Move noclobber checking out of the
8590         loop.
8591         (ftp_retrieve_list): Warn about non-matching sizes.
8592
8593         * http.c (http_loop): Made -nc non-dependent on opt.recursive.
8594
8595         * init.c (setnum): Renamed from setnuminf; New argument flags.
8596         (setval): Use it.
8597
8598         * main.c (main): Sorted the options.
8599         (main): New option --wait.
8600
8601 1996-11-21  Shawn McHorse  <riffraff@txdirect.net>
8602
8603         * html.c (htmlfindurl): Reset s->in_quote after getting out of
8604         quotes.
8605
8606 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
8607
8608         * version.c: Changed version to 1.4.2.
8609
8610 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
8611
8612         * version.c: Released 1.4.1.
8613
8614         * html.c (html_quote_string): New function.
8615         (ftp_index): Use it.
8616         (htmlfindurl): A more gentle ending debug message.
8617
8618         * ftp.c (ftp_loop): Check for opt.htmlify.
8619
8620         * init.c: New command htmlify.
8621
8622         * ftp.c (getftp): Nicer error messages, with `'-encapsulated
8623         strings.
8624         (ftp_loop): Print size of index.html.
8625
8626         * init.c (setval): Implement "styles".
8627
8628         * main.c (main): New option dotstyle.
8629
8630 1996-11-19  Hrvoje Niksic  <hniksic@srce.hr>
8631
8632         * ftp.c (getftp): Close the master socket in case of errors, after
8633         bindport().
8634
8635         * connect.c (bindport): Initialize msock to -1.
8636
8637         * ftp.c (getftp): Initialize dtsock to -1.
8638
8639         * connect.c (closeport): Don't close sock if sock == -1.
8640
8641 1996-11-18  Hrvoje Niksic  <hniksic@srce.hr>
8642
8643         * init.c (setnuminf): Nuked default value -- just leave unchanged.
8644         (setval): Don't send default values.
8645         (defaults): Use DEFAULT_TIMEOUT -- aaargh.
8646
8647         * options.h (struct options): Use long for dot_bytes.
8648
8649         * init.c (setquota): Renamed to setbytes.
8650         (setval): Use setbytes on DOTBYTES.
8651
8652 1996-11-17  Hrvoje Niksic  <hniksic@srce.hr>
8653
8654         * ftp.c (getftp): Initialize con->dltime.
8655
8656         * recur.c (recursive_retrieve): Use same_host instead of
8657         try_robots; simply load robots_txt whenever the host is changed.
8658         (recursive_retrieve): Free forbidden before calling parse_robots.
8659
8660 1996-11-16  Hrvoje Niksic  <hniksic@srce.hr>
8661
8662         * retr.c (show_progress): Use them.
8663
8664         * options.h (struct options): New options dot_bytes, dots_on_line
8665         and dot_spacing.
8666
8667 1996-11-16  Mark Boyns  <boyns@sdsu.edu>
8668
8669         * recur.c (recursive_retrieve): Retrieve directories regardless of
8670         acc/rej rules; check for empty u->file.
8671
8672 1996-11-14  Hrvoje Niksic  <hniksic@srce.hr>
8673
8674         * init.c (setval): Use it.
8675
8676         * utils.c (merge_vecs): New function.
8677
8678         * init.c (setval): Reset the list-type functions when encountering
8679         "".
8680
8681 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
8682
8683         * recur.c (recursive_retrieve): Use base_url instead of this_url
8684         for no_parent.
8685
8686 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
8687
8688         * html.c (htmlfindurl): Reset s->in_quote after exiting the quote.
8689
8690 1996-11-13  Hrvoje Niksic  <hniksic@srce.hr>
8691
8692         * utils.c (sepstring): Rewrote; don't use strtok.
8693
8694         * recur.c (recursive_retrieve): Enter assorted this_url to slist
8695         when running the first time.
8696         (retrieve_robots): Warn to ignore errors when robots are loaded.
8697
8698         * utils.c (load_file): Moved from url.c.
8699
8700         * http.c: Made static variables const too in h* functions.
8701
8702         * main.c (main): Renamed --continue-ftp to --continue.
8703
8704         * recur.c (recursive_retrieve): Use it.
8705
8706         * utils.c (frontcmp): New function.
8707
8708         * url.c (accdir): New function.
8709
8710         * html.c (htmlfindurl): Recognize <area href=...>.
8711
8712         * ftp.c (ftp_retrieve_dirs): Implemented opt.includes.
8713
8714         * init.c (setval): Free the existing opt.excludes and
8715         opt.includes, if available.
8716
8717         * main.c (main): New option -I.
8718
8719 1996-11-12  Hrvoje Niksic  <hniksic@srce.hr>
8720
8721         * ftp.c (ftp_retrieve_glob): Do not weed out directories.
8722
8723         * version.c: Changed version to 1.4.1.
8724
8725 1996-11-11  Hrvoje Niksic  <hniksic@srce.hr>
8726
8727         * version.c: Released 1.4.0.
8728
8729 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
8730
8731         * main.c (main): Free com and val after parse_line.
8732         (printhelp): Reorder the listing.
8733
8734         * http.c: More robust header parsing.
8735
8736         * http.c: Allow any number of spaces, or no spaces, precede ':'.
8737         (hskip_lws): New function.
8738         (haccepts_bytes): New function.
8739         (gethttp): Use it.
8740
8741         * init.c (setval): Check header sanity.
8742         (setval): Allow resetting of headers.
8743
8744 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
8745
8746         * http.c (http_loop): Don't use has_wildcards.
8747
8748         * http.c (gethttp): Free all_headers -- would leak.
8749
8750         * recur.c (recursive_retrieve): Initialize depth to 1 instead of
8751         0 -- this fixes a long-standing bug in -rl.
8752
8753 1996-11-09  Hrvoje Niksic  <hniksic@srce.hr>
8754
8755         * ftp.c: Use -1 as "impossible" value for con->fd.
8756
8757         * url.h (URL_SEPARATOR): Don't treat `*' and `+' as separators.
8758
8759         * init.c (parse_line): Use isalpha.
8760
8761         * ftp-unix.c: Use HAVE_UNISTD_H.
8762
8763         * mtch.c (has_wildcards): Don't match \.
8764
8765         * http.c (http_loop): Warn on HTTP wildcard usage.
8766
8767 1996-11-08  Hrvoje Niksic  <hniksic@srce.hr>
8768
8769         * url.c (url_filename): Do not create numbered suffixes if
8770         opt.noclobber -- would bug out on -nc.
8771
8772 1996-11-07  Hrvoje Niksic  <hniksic@srce.hr>
8773
8774         * recur.c (parse_robots): Don't chuck out the commands without
8775         arguments (`Disallow:<empty>' didn't work).
8776         (parse_robots): Compare versions lowercase.
8777         (parse_robots): Match on base_version, not version_string!
8778         (parse_robots): Handle comments properly.
8779         (parse_robots): Match versions in a sane way.
8780
8781         * init.c: Print nicer error messages.
8782
8783         * version.c: Changed version to 1.4.0.
8784
8785 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
8786
8787         * version.c: Released 1.4.0-test2.
8788
8789         * init.c (run_wgetrc): Close fp.
8790
8791         * ftp.c (ftp_retrieve_dirs): Allocate the correct length for
8792         u->dir.
8793
8794 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
8795
8796         * init.c (setquota): Allow inf as quota specification.
8797
8798 1996-11-05  Hrvoje Niksic  <hniksic@srce.hr>
8799
8800         * ftp.c (ftp_retrieve_dirs): Return QUOTEXC if quota exceeded.
8801         (ftp_retrieve_glob): Return QUOTEXC on quota exceeded.
8802
8803         * main.c (main): Check for quota by comparison with downloaded
8804         stuff, not from status.
8805
8806         * connect.c (select_fd): Should compile on HPUX without warnings now.
8807
8808         * ftp.c (ftp_get_listing): Check whether ftp_loop_internal
8809         returned RETROK.
8810
8811 1996-11-04  Hrvoje Niksic  <hniksic@srce.hr>
8812
8813         * ftp.c (ftp_retrieve_glob): Print the pattern nicely.
8814         (getftp): Return FTPRETRINT on control connection error.
8815
8816         * html.c (htmlfindurl): Recognize <embed src=...> and
8817         <bgsound src=...>.
8818         (ftp_index): Handle username and password correctly.
8819
8820         * main.c (main): Made `-np' a synonim for --no-parent.
8821
8822 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
8823
8824         * ftp.c (ftp_loop): Check for opt.ftp_glob too before calling
8825         ftp_retrieve_glob.
8826
8827         * version.c: Changed version to 1.4.0-test2.
8828
8829 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
8830
8831         * version.c: Released 1.4.0-test1.
8832
8833         * url.c (str_url): Don't use sprintf when creating %2F-prefixed
8834         directory.
8835         (convert_links): Removed definition of make_backup.
8836
8837         * http.h: Removed definition of MAX_ERROR_LENGTH.
8838
8839         * host.c (ftp_getaddress): Check for "(none)" domains.
8840
8841         * ftp.c (ftp_retrieve_dirs): Docfix.
8842
8843         * http.c (gethttp): Use ou->referer instead of u->referer.
8844
8845         * retr.c (retrieve_url): Reset u to avoid freeing pointers twice;
8846         this was known to cause coredumps on Linux.
8847
8848         * html.c (ftp_index): Cast the argument to local_time to time_t *.
8849
8850 1996-11-01  Hrvoje Niksic  <hniksic@srce.hr>
8851
8852         * connect.c (select_fd): Use exceptfds -- once and for all.
8853
8854         * retr.c (retrieve_from_file): Free filename after
8855         recursive_retrieve.
8856         (retrieve_from_file): Send RFIRST_TIME to recursive_retrieve on
8857         first-time retrieval.
8858         (retrieve_from_file): Return uerr_t; new argument, count.
8859         (retrieve_from_file): Break on QUOTEXC.
8860
8861         * init.c (setquota): Fixed a bug that caused rejection of
8862         non-postfixed values..
8863
8864 1996-10-30  Hrvoje Niksic  <hniksic@srce.hr>
8865
8866         * version.c: Changed name to wget.
8867
8868         * connect.c (iread): Smarter use of select.
8869         (select_fd): Set errno on timeout.  If not timeout, return 1
8870         instead of 0.
8871
8872 1996-10-29  Hrvoje Niksic  <hniksic@srce.hr>
8873
8874         * ftp.c (ftp_loop_internal): Don't use con->cmd before
8875         establishing it.
8876
8877 1996-10-26  Hrvoje Niksic  <hniksic@srce.hr>
8878
8879         * http.c (gethttp): Send correct referer when using proxy.
8880         (gethttp): Use struct urlinfo ou to access the relevant data; send
8881         correct authorization in all cases.
8882
8883         * host.c (same_host): Use skip_uname to skip username and
8884         password.
8885
8886         * url.c (skip_uname): New function.
8887         (parseurl): Use it.
8888
8889         * host.c (same_host): Do not assume HTTP -- same_host should now
8890         be totally foolproof.
8891
8892         * url.c (skip_proto): New function.
8893         (parse_uname): Use it.
8894
8895         * http.c (gethttp): Create local user and passwd from what is
8896         given.
8897
8898         * url.c (parseurl): Check for HTTP username and password too.
8899
8900 1996-10-25  Hrvoje Niksic  <hniksic@srce.hr>
8901
8902         * config.h.in: Removed #define gethostbyname R...
8903
8904 1996-10-22  Hrvoje Niksic  <hniksic@srce.hr>
8905
8906         * version.c: Changed version to 1.4.0-test1.
8907
8908 1996-10-21  Hrvoje Niksic  <hniksic@srce.hr>
8909
8910         * version.c: "Released" 1.4b29.
8911
8912         * recur.c (recursive_retrieve): Check for no_parent.
8913
8914         * init.c (setval): Option update.
8915
8916         * main.c (main): New option no-parent.
8917
8918         * options.h (struct options): New variable no_parent.
8919
8920         * recur.c (recursive_retrieve): Only files are checked for
8921         opt.accepts and opt.rejects.
8922         (recursive_retrieve): Check directories for opt.excludes.
8923         (recursive_retrieve): Make the dir absolute when checking
8924         opt.excludes.
8925
8926         * html.c (htmlfindurl): Recognize <applet code=...> and <script
8927         src=...>
8928
8929 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
8930
8931         * ftp.c (getftp): Do not line-break assert entries at all.
8932         (ftp_retrieve_dirs): docfix.
8933
8934         * connect.c (select_fd): Use fd + 1 as nfds.
8935
8936         * version.c: Changed version to 1.4b29.
8937
8938 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
8939
8940         * version.c: "Released" 1.4b28.
8941
8942         * ftp.c (ftp_loop_internal): Check whether f->size == len and
8943         don't continue the loop if it is.
8944         (ftp_get_listing): Remove list_filename on unsuccesful loop.
8945
8946 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
8947
8948         * ftp.c (ftp_loop_internal): Use strcpy to initialize tmp.
8949         (getftp): Do not use multiline assert.
8950
8951         * http.c (hparsestatline): Use mjr and mnr instead of major and
8952         minor, which don't compile on Ultrix.
8953         (http_loop): Use strcpy() to initialize tmp.
8954
8955         * all: Geturl -> Fetch
8956
8957 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
8958
8959         * recur.c (parse_robots): Fixed an off-by-one bug when looking for
8960         ':'.
8961
8962         * html.c (htmlfindurl): Fixed several possible off-by-one bugs by
8963         moving `bufsize &&' to the beginning of each check in for-loops.
8964
8965         * recur.c (parse_robots): Close fp on exit.
8966
8967         * url.c (mymkdir): Check for each directory before creating.
8968
8969 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
8970
8971         * version.c: Changed version to 1.4b28.
8972
8973 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
8974
8975         * version.c: "Released" 1.4b27.
8976
8977         * init.c (parse_line): Use isspace.
8978         (parse_line): Free *com on all errors.
8979
8980         * ftp.c (ftp_loop): Change FTPOK to RETROK before exiting.
8981         (delelement): Use next instead of f->next and prev instead of
8982         f->prev.
8983         (delelement): Free the members of the deleted element.
8984
8985         * http.c (http_loop): Do not return RETROK on code != 20x.
8986
8987         * init.c (cleanup): Free opt.user_header.
8988         (cleanup): Free opt.domains.
8989
8990         * url.c (freelists): Moved to cleanup().
8991
8992         * http.c (hparsestatline): Docfix.
8993
8994         * main.c (main): Return with error status on unsuccesful
8995         retrieval.
8996
8997         * init.c (setval): Do not remove listing when mirroring.
8998
8999         * url.c (url_filename): Use opt.fileprefix.
9000
9001         * ftp.c (ftp_get_listing): Use url_filename to get filename for
9002         .listing.
9003
9004         * main.c (main): New option: -rn.
9005
9006 1996-10-15  Hrvoje Niksic  <hniksic@srce.hr>
9007
9008         * Makefile.in (RM): Added RM = rm -f.
9009
9010         * host.c (clean_hosts): New function.
9011         (free_hlist): Just free the list, no reset.
9012
9013         * version.c: Changed version to 1.4b27.
9014
9015 1996-10-13  Hrvoje Niksic  <hniksic@srce.hr>
9016
9017         * version.c: "Released" 1.4b26.
9018
9019         * retr.c (retrieve_from_file): If call get_urls_html with
9020         opt.spider to make it silent in spider mode.
9021
9022         * url.c (str_url): Use CLEANDUP instead of URL_CLEANSE.
9023
9024         * url.h (CLEANDUP): New macro.
9025
9026         * http.c (gethttp): Fixed a bug that freed location only when it
9027         was NULL.
9028
9029         * retr.c (retrieve_url): Free url if it will not be stored,
9030         i.e. newloc is NULL.
9031
9032         * html.c (htmlfindurl): Handle exiting from quotes correctly; the
9033         old version would bug out on <a href="x#a"href="y">.
9034
9035         * html.h (state_t): New member in_quote.
9036
9037         * html.c (htmlfindurl): Free s->attr at the beginning of
9038         attr-loop.
9039
9040         * recur.c (recursive_retrieve): Recognize RCLEANUP.
9041         (tried_robots): Make hosts a global variable.
9042         (recursive_retrieve): Free constr after URL host optimization.
9043         (tried_robots): Free urlinfo before exiting.
9044
9045         * utils.c (free_slist): New function.
9046
9047         * recur.c (recursive_retrieve): Use flags to add cleanup
9048         possibility.
9049
9050         * main.c (main): Free filename after recursive_retrieve.
9051
9052         * http.c (gethttp): Store successful responses too.
9053
9054 1996-10-12  Hrvoje Niksic  <hniksic@srce.hr>
9055
9056         * all: Constified the whole source.  This required some minor
9057         changes in many functions in url.c, possibly introducing bugs -- I
9058         hope not.
9059
9060         * ftp-basic.c: Removed last_respline.
9061
9062         * http.c (gethttp): Free type.
9063
9064         * host.c (same_host): Free real1 and real2.
9065
9066         * main.c (main): New option --spider.
9067
9068         * retr.c (get_contents): Don't reset errno.
9069
9070         * main.c (main): Sorted the options.
9071
9072         * connect.c (iread): Set errno to ETIMEDOUT only if it was left
9073         uninitialized by select().
9074
9075         * http.c (http_loop): Print the time when the connection is
9076         closed.
9077         (gethttp): Debug-print the HTTP request.
9078
9079 1996-10-11  Hrvoje Niksic  <hniksic@srce.hr>
9080
9081         * connect.c (iread): Do not try reading after timeout.
9082
9083         * main.c (main): Would bug out on -T.
9084
9085         * connect.c (select_fd): Do not use exceptfds.
9086         (iread): Set ETIMEDOUT on select_fd <= 0.
9087
9088         * version.c: Changed version to 1.4b26.
9089
9090 1996-10-10  Hrvoje Niksic  <hniksic@srce.hr>
9091
9092         * version.c: "Released" 1.4b25.
9093
9094         * ftp-unix.c (ftp_parse_unix_ls): Ignore lines without file name
9095         or link name.
9096
9097         * http.c (gethttp): Add errcode to struct hstat.
9098         (http_loop): Use it.
9099
9100         * url.c (no_proxy_match): Simplify using char** for no_proxy.
9101
9102         * options.h (struct options): Make opt.no_proxy a vector.
9103
9104         * utils.c (sepstring): Use !*s instead of !strlen(s).
9105
9106         * init.c (setval): Set opt.maxreclevel to 0 on --mirror.
9107         (getperms): Use ISODIGIT instead of isdigit.
9108
9109         * ftp.c (getftp): Print time.
9110
9111         * main.c (main): Use legible output of downloaded quantity.
9112
9113         * ftp.c (getftp): Use elapsed_time().
9114         (ftp_loop_internal): Use rate().
9115
9116         * http.c (http_loop): Add download ratio output; Use rate().
9117
9118         * utils.c (rate): New function.
9119
9120 1996-10-09  Hrvoje Niksic  <hniksic@srce.hr>
9121
9122         * http.c (http_loop): Use timer.
9123
9124         * ftp.c: Split to ftp-basic.c and ftp.c
9125
9126         * utils.c (reset_timer): New function.
9127         (elapsed_time): New function.
9128
9129         * retr.c (show_progress): Make bytes_in_line and offs long; should
9130         work on 16-bit machines.
9131
9132 1996-10-08  Hrvoje Niksic  <hniksic@srce.hr>
9133
9134         * url.c (in_acclist): New argument backward.
9135
9136         * ftp.c (ftp_retrieve_glob): Use acceptable() to determine whether
9137         a file should be retrieved according to suffix.
9138         (ftp_get_listing): Check the return value of unlink; Do not call
9139         ftp_retrieve_dirs if depth reached maxreclevel.
9140         (ftp_retrieve_dirs): Check whether the directory is in
9141         exclude-list.
9142
9143         * main.c (main): Print the version number at the beginning of
9144         DEBUG output.
9145         (main): Use strrchr when creating exec_name.
9146
9147         * ftp.c (ftp_retrieve_glob): Do not close control connection.
9148
9149         * version.c: Changed version to 1.4b25.
9150
9151 1996-10-07  Hrvoje Niksic  <hniksic@srce.hr>
9152
9153         * version.c: "Released" 1.4b24.
9154
9155         * Makefile.in: Rewrite.
9156
9157         * ftp.c (ftp_loop_internal): Likewise.
9158
9159         * retr.c (time_str): Check for failed time().
9160
9161         * html.c (htmlfindurl): Recognize <fig src> and <overlay src> from
9162         HTML3.0.
9163
9164         * retr.c (time_str): Return time_t *.
9165
9166         * connect.c (bindport): Close msock on unsuccesful bind.
9167         (bindport): The same for getsockname and listen.
9168
9169         * retr.c (retrieve_url): Allow any number of retries on
9170         proxy.
9171
9172         * http.c (gethttp): Do not treat errno == 0 as timeout.
9173         (http_loop): Likewise.
9174         (http_loop): Cosmetic changes.
9175
9176         * connect.c (iread): Set errno to ETIMEDOUT in case of timeout.
9177
9178         * retr.c (get_contents): Reset errno.
9179
9180         * ftp.c (getftp): Minor fixes.
9181
9182 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
9183
9184         * http.c: Do not use backups.
9185
9186         * geturl.1 (WARNING): Warn that man-page could be obsolete.
9187
9188         * getopt.c (getopt_long): Moved to getopt.c
9189
9190         * geturl.texi: Enhanced.
9191
9192         * main.c (main): Use it.
9193
9194         * recur.c (convert_all_links): New function.
9195
9196         * utils.c (add_slist): New argument flags.
9197
9198         * recur.c (recursive_retrieve): Update a list of downloaded URLs.
9199         (parse_robots): Do not chuck out empty value fields.
9200         (parse_robots): Make yourself welcome on empty Disallow.
9201
9202         * version.c: Changed version to 1.4b24.
9203
9204 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
9205
9206         * version.c: "Released" 1.4b23.
9207
9208         * ftp.c (ftp_loop_internal): Get the time after getftp.
9209
9210         * Makefile.in (install.info): New target.
9211         (install): Use it.
9212
9213         * http.c (http_loop): Fix output when doing -O.
9214
9215 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
9216
9217         * geturl.texi: New file.
9218
9219         * main.c (main): Do not print the warnings and download summary if
9220         opt.quiet is set.
9221
9222         * version.c: Changed version to 1.4b23.
9223
9224 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
9225
9226         * "Released" 1.4b22.
9227
9228         * atotm.c (atotm): Use True and False instead of TRUE and FALSE,
9229         to avoid redefinition warnings.
9230
9231         * host.c (store_hostaddress): Use memcpy() to copy the address
9232         returned by inet_addr.
9233
9234         * version.c: Changed version to 1.4b22.
9235
9236 1996-10-04  Hrvoje Niksic  <hniksic@srce.hr>
9237
9238         * version.c: "Released" 1.4b21.
9239
9240         * ftp-unix.c (ftp_parse_ls): Renamed to ftp_parse_unix_ls.
9241
9242         * ftp.c (ftp_port): Use conaddr.
9243         (getftp): Print the file length.
9244         (ftp_retrieve_list): Check the stamps of plain files only.
9245
9246         * connect.c (closeport): Do not call shutdown().
9247         (conaddr): New function.
9248
9249         * html.c (ftp_index): Made it dfp-aware.
9250
9251         * init.c (cleanup): New name of freemem. Close opt.dfp.
9252
9253         * ftp.c (getftp): Use opt.dfp if it is set.
9254
9255         * ftp-unix.c (ftp_parse_ls): Recognize time in h:mm format.
9256
9257         * ftp.c (ftp_retrieve_dirs): Fixed a bug that caused incorrect
9258         CWDs to be sent with recursive FTP retrievals.
9259
9260 1996-10-03  Hrvoje Niksic  <hniksic@srce.hr>
9261
9262         * recur.c (parse_robots): Made it more compliant with "official"
9263         specifications.
9264
9265         * http.c: New function.
9266
9267         * ftp-unix.c (ftp_parse_ls): Added better debug output.
9268
9269         * ftp.c (getftp): Print out the LIST in case of
9270         opt.print_server_response.
9271
9272         * version.c: Changed version to 1.4b21.
9273
9274 1996-10-01  Hrvoje Niksic  <hniksic@srce.hr>
9275
9276         * version.c: "Released" 1.4b20.
9277
9278         * README: Update.
9279
9280         * http.c (gethttp): Preset lengths of various headers instead of
9281         calculating them dynamically.
9282         (gethttp): Check for 206 partial contents.
9283
9284 1996-09-30  Hrvoje Niksic  <hniksic@srce.hr>
9285
9286         * configure.in: Set SYSTEM_GETURLRC to $libdir/geturlrc
9287
9288         * http.c (gethttp): Send the port number in the Host: header.
9289
9290 1996-09-29  Hrvoje Niksic  <hniksic@srce.hr>
9291
9292         * http.c (gethttp): Send host: header.
9293         (gethttp): Add the possibility of user-defined headers.
9294         (gethttp): Move decision about pragma: no-cache to http_loop,
9295         where it belongs.
9296         (gethttp): Pass a struct instead of enormous argument list.
9297         (http_loop): Use a new, fancier display format.
9298         (ftp_loop): Likewise.
9299
9300         * main.c: (hangup): Turn off buffering of the new log file.
9301
9302         * install-sh: Likewise.
9303
9304         * config.sub: Replace with the one in autoconf-2.10
9305
9306         * geturl.1: Update.
9307
9308         * init.c: New options httpuser and httppasswd.
9309
9310         * http.c: (base64_encode_line): New function.
9311         (gethttp): Send authentication.
9312
9313         * connect.c (make_connection): Use store_hostaddress.
9314
9315 1996-09-28  Hrvoje Niksic  <hniksic@srce.hr>
9316
9317         * host.c (store_hostaddress): New function.
9318
9319         * NEWS: Update.
9320
9321         * http.c (hgetrange): New function.
9322         (gethttp): Use ranges.
9323
9324         * utils.c (numdigit): Accept long instead of int.
9325
9326         * http.c (http_loop): Add restart capabilities.
9327
9328         * ftp.c (ftp_retrieve_glob): Fixed a bug that could cause matchres
9329         being used uninitialized.
9330         (ftp_retrieve_list): Similar fix.
9331
9332         * host.c (add_hlist): Fixed a bug that could cause cmp being used
9333         uninitialized.
9334
9335         * url.c (construct_relative): New function.
9336
9337         * recur.c (recursive_retrieve): Use it.
9338
9339         * retr.c (convert_links): New function.
9340
9341 1996-09-27  Hrvoje Niksic  <hniksic@srce.hr>
9342
9343         * url.c (free_urlpos): New function.
9344
9345         * recur.c (recursive_retrieve): Adapt.
9346
9347         * url.c (get_urls_html): Return a linked list instead of a vector.
9348
9349         * url.c (get_urls_file): Return a linked list instead of a vector.
9350
9351         * geturl.1: Update.
9352
9353         * http.c (gethttp): Implement it.
9354
9355         * init.c (setval): New option: SAVEHEADERS
9356
9357         * ftp.c (ftp_loop_internal): Do not set restval if listing is to
9358         be retrieved. Lack of this test caused bugs when the connection
9359         was lost during listing.
9360
9361         * retr.c (retrieve_url): Fixed a bug that caused
9362         coredumps. *newloc is now reset by default.
9363         (retrieve_url): Lift the twenty-tries limit on proxies.
9364
9365         * version.c: Changed version to 1.4b20.
9366
9367 1996-09-20  Hrvoje Niksic  <hniksic@srce.hr>
9368
9369         * version.c: "Released" 1.4b19.
9370
9371 1996-09-19  Hrvoje Niksic  <hniksic@srce.hr>
9372
9373         * ftp.c (ftp_loop_internal): Renamed from ftp_1fl_loop.
9374         (getftp): Changed prototype to accept ccon *.
9375
9376 1996-09-17  Hrvoje Niksic  <hniksic@srce.hr>
9377
9378         * ftp.c (ftp_retrieve_list): Fixed a bug that caused setting
9379         incorrect values to files pointed to by symbolic links.
9380         (ftp_1fl_loop): Do not count listings among the downloaded URL-s.
9381
9382 1996-09-16  Hrvoje Niksic  <hniksic@srce.hr>
9383
9384         * url.c (mkstruct): Do not prepend "./" in front of a pathname.
9385
9386         * main.c (main): New option: --user-agent.
9387
9388         * geturl.1: Ditto.
9389
9390         * init.h: Ditto.
9391
9392         * init.c (setval): Ditto.
9393
9394         * main.c (main): Rename "server-headers" to "server-response".
9395
9396         * ftp-unix.c (ftp_parse_ls): Check for asterisks at the end of
9397         executables in 'ls -F' listings.
9398
9399 1996-09-15  Hrvoje Niksic  <hniksic@srce.hr>
9400
9401         * url.c (parseurl): Remove realloc() and sprintf().
9402         (str_url): Get rid of sprintf().
9403
9404         * recur.c (recursive_retrieve): Enable FTP recursion through proxy
9405         servers.
9406
9407         * url.h (URL_CLEANSE): Made it else-resistant.
9408         (USE_PROXY): New macro.
9409
9410 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
9411
9412         * NEWS: Update.
9413
9414         * version.c: Changed version to 1.4b19.
9415
9416 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
9417
9418         * version.c: "Released" 1.4b18.
9419
9420         * url.c: Made it reallocate space exponentially.
9421
9422 1996-09-14  Drazen Kacar  <dave@fly.cc.fer.hr>
9423
9424         * html.c (htmlfindurl): Added <frame src> and <iframe src> among
9425         the list of stuff to fetch.
9426
9427 1996-09-13  Hrvoje Niksic  <hniksic@srce.hr>
9428
9429         * url.c (get_urls_html): Fixed a bug that caused SIGSEGV's with
9430         -Fi.
9431
9432         * html.c (htmlfindurl): Rewrite.
9433
9434         * http.c (gethttp): Use opt.proxy_cache.
9435
9436         * main.c (main): Added --cache option.
9437
9438         * ftp.c (ftp_response): Print server response if opt.print_server
9439         response is set.
9440         (getftp): Print newlines after each request if the server response
9441         is to be printed.
9442         (ftp_response): Copy the last response line to last_respline.
9443
9444         * http.c (gethttp): Add Pragma: nocache for retried
9445         proxy-retrievals.
9446
9447         * ftp.c (getftp): Use it.
9448
9449         * retr.c (buf_discard): New function.
9450
9451         * ftp.c (ftp_response): Use buf_readchar().
9452         (getftp): Flush the control connection buffer before calling
9453         get_contents().
9454
9455         * retr.c (buf_readchar): New function.
9456         (buf_flush): New function.
9457         (get_contents): Use buf_readchar() instead of read(x, x, 1).
9458         (get_contents): Use buf_flush.
9459
9460 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
9461
9462         * ftp.c: Incorporate changes to ftp_response.
9463
9464         * ftp.c (ftp_response): Allocate the server response dynamically,
9465         as in read_whole_line and fetch_next_header.
9466
9467         * utils.c (read_whole_line): Fixed a bug that prevented reading
9468         the last line if it is not \n-terminated. Also fixed a possible
9469         memory overflow.
9470
9471         * http.c (fetch_next_header): Return malloc-ed string as large as
9472         needed.
9473         (gethttp): Use new fetch_next_header.
9474
9475 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
9476
9477         * http.c (hgetlen): Compute the header length the first time only.
9478         (hgettype): Ditto.
9479         (hgetlocation): Ditto.
9480         (hgetmodified): Ditto.
9481
9482 1996-09-11  Hrvoje Niksic  <hniksic@srce.hr>
9483
9484         * sample.geturlrc: Update.
9485
9486 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
9487
9488         * http.c (http_loop): Ditto.
9489
9490         * ftp.c (getftp): Open the output file as binary.
9491
9492         * version.c: Changed version to 1.4b18.
9493
9494 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
9495
9496         * version.c: "Released" 1.4b17.
9497
9498         * ftp-unix.c (ftp_parse_ls): If unable to open file, return NULL
9499         instead of failed assertion.
9500
9501 1996-09-09  Hrvoje Niksic  <hniksic@srce.hr>
9502
9503         * ftp.c (ftp_get_listing): Add a numbered suffix to LIST_FILENAME
9504         if a file of that name already exists.
9505
9506 1996-09-05  Hrvoje Niksic  <hniksic@srce.hr>
9507
9508         * ftp.c (ftp_1fl_loop): Handler FTPPORTERR and FOPENERR correctly.
9509
9510         * config.h.in: Define gethostbyname as Rgethostbyname when using
9511         Socks.
9512
9513         * configure.in: Check for -lresolv if using Socks.
9514
9515         * version.c: Changed version to 1.4b17.
9516
9517 1996-07-15  Hrvoje Niksic  <hniksic@srce.hr>
9518
9519         * version.c: "Released" 1.4b16.
9520
9521         * http.c (gethttp): More intelligent check for first line of HTTP
9522         response.
9523         (gethttp): Would bug out on time-stamping.
9524
9525         * version.c: Changed version to 1.4b16.
9526
9527 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
9528
9529         * version.c: Released 1.4b15.
9530
9531         * http.c (http_loop): Print \n after the loop entry, not before.
9532
9533         * url.c (url_filename): Use ISDOT.
9534
9535         * url.h (ISDOT): New macro.
9536
9537         * recur.c (recursive_retrieve): Change only opt.recursive for
9538         following FTP.
9539
9540 1996-07-11  Antonio Rosella <antonio.rosella@agip.it>
9541
9542         * socks/geturl.cgi: Fixed version No.
9543
9544         * socks/download-netscape.html: Ditto.
9545
9546         * socks/download.html: Changed socks.html to download.html.
9547
9548 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
9549
9550         * url.c (url_filename): Check for opt.dirstruct instead for
9551         opt.recursive && opt.dirstruct.
9552
9553         * init.c (defaults): Ditto.
9554         (defaults): Reset dirstruct by default.
9555         (setval): Set opt.dirstruct whenever setting recursive.
9556
9557         * init.h: Removed FORCEDIRHIER.
9558
9559         * INSTALL: Added -L to socks-description.
9560
9561         * version.c: Changed version to 1.4b15.
9562
9563 1996-07-10  Hrvoje Niksic  <hniksic@srce.hr>
9564
9565         * version.c: "Released" 1.4b14.
9566
9567         * geturl.1: Update AUTHOR to include Rosella as contributor.
9568
9569         * NEWS: Update.
9570
9571         * socks/geturl.cgi: Simplified command creation, nuked <blink>.
9572
9573         * socks/geturl.cgi: Wrap nutscape extensions within if $netscape.
9574         (cal_time): Fix == to eq.
9575
9576         * socks/geturl.cgi: GPL-ized with permission of A. Rosella.
9577
9578         * geturl.1 (hostname): Moved URL CONVENTIONS to the beginning.
9579
9580         * Makefile.in: Use @VERSION@.
9581
9582         * configure.in: Check version from version.c.
9583
9584         * socks/geturl.cgi: Changed /pub/bin/perl to /usr/bin/perl.
9585
9586         * socks/download.html: Created from download-netscape.html, made
9587         HTML-2.0 compliant.
9588
9589         * recur.c (recursive_retrieve): Set opt.force_dir_hier when
9590         following FTP links from recursions.
9591
9592 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
9593
9594         * url.c (mymkdir): Fixed a bug that prevented mymkdir() to create
9595         absolute directories correctly.
9596
9597         * version.c: Changed version to 1.4b14.
9598
9599 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
9600
9601         * version.c: "Released" 1.4b13.
9602
9603         * url.c (make_backup): New function.
9604
9605         * http.c (http_loop): Make a backup copy of the local file (using
9606         rename(2)) before opening it.
9607
9608         * main.c (main): Added --backups.
9609
9610         * host.c (ftp_getaddress): Bail out on failed mycuserid().
9611         (ftp_getaddress): Check for leading dot on MY_DOMAIN.
9612         (ftp_getaddress): Check for empty, null or (null) domain.
9613
9614         * url.c (get_urls_html): If this_url is NULL, the base must have a
9615         protocol.
9616         (parseurl): Use has_proto.
9617
9618         * retr.c (retrieve_url): Warn when proxy is used with more than 20
9619         retries.
9620
9621         * url.c (mkstruct): Create the directory (calling mymkdir()) only
9622         if it is not already there.
9623         (has_proto): New function.
9624         (get_urls_html): Eliminate the remaining call to findurl -- use
9625         has_proto.
9626
9627         * geturl.1: Ditto.
9628
9629         * main.c: Change -X to -x.
9630
9631         * url.c (url_filename): Simplify creation of filename if
9632         prefix_files is set.
9633         (url_filename): Simplify everything. And I do mean *everything*.
9634         (mkstruct): Add dir_prefix before hostname.
9635         (path_simplify): Fixed a bug that caused writing outside the path
9636         string in case of "." and ".." path strings.
9637
9638 1996-07-06  Hrvoje Niksic  <hniksic@srce.hr>
9639
9640         * init.c: Added --mirror.
9641
9642         * main.c (main): Added -X to force saving of directory hierarchy.
9643
9644         * ftp.c (ftp_retrieve_list): Added recursion depth counter.
9645         (ftp_retrieve_list): Check whether quota is exceeded.
9646
9647         * url.c (get_urls_html): Skip leading blanks for absolute URIs.
9648
9649         * http.c (gethttp): Use referer if present.
9650
9651         * recur.c (recursive_retrieve): Set u->referer before calling
9652         retrieve_url.
9653
9654         * url.c (newurl): Use memset to nullify the struct members.
9655         (freeurl): Free the referer field too.
9656
9657         * url.h: Added referer to urlinfo.
9658
9659         * geturl.1: Updated the manual to document some of the new features.
9660
9661         * utils.c (numdigit): Moved from url.c.
9662
9663         * README: Rewritten.
9664
9665         * config.h.in: Add the support for socks.
9666
9667         * configure.in: Add the support for socks.
9668
9669         * url.c (url_filename): If the dir_prefix is ".", work with just
9670         the file name.
9671         (url_filename): Do not look for .n extensions if timestamping if
9672         turned on.
9673
9674         * retr.c (show_progress): Skip the over-abundant restval data, and
9675         print the rest of it with ',' instead of '.'.
9676
9677 1996-07-05  Hrvoje Niksic  <hniksic@srce.hr>
9678
9679         * retr.c (show_progress): Changed second arg. to long (as it
9680         should be).
9681         (show_progress): Moved to retr.c.
9682         (get_contents): Moved to retr.c.
9683
9684         * version.c: Change version to 1.4b13.
9685
9686 1996-07-05  Hrvoje Lacko <hlacko@fly.cc.fer.hr>
9687
9688         * url.c (in_acclist): Would return after the first suffix.
9689
9690 1996-07-04  Hrvoje Niksic  <hniksic@srce.hr>
9691
9692         * version.c: "Released" 1.4b12.
9693
9694         * url.c (path_simplify): More kludgifications.
9695         (get_urls_html): Use new parameters for htmlfindurl.
9696
9697         * html.c: Removed memorizing "parser states", since the new
9698         organization does not require them.
9699
9700         * init.c (run_geturlrc): Use read_whole_line.
9701
9702         * ftp-unix.c (ftp_parse_ls): Use read_whole_line.
9703
9704         * recur.c (parse_robots): Use read_whole_line.
9705
9706         * utils.c (read_whole_line): New function.
9707
9708         * recur.c (tried_robots): Use add_slist/in_slist, *much* cleaner.
9709
9710         * host.c (ngethostbyname): Call inet_addr just once. Yet to be
9711         tested on OSF and Ultrix.
9712         (add_hlist): New function.
9713         (free_hlist): New function.
9714         (search_host): New function.
9715         (search_address): New function.
9716         (realhost): Use search_host, search_address and add_hlist.
9717         (same_host): Replaced realloc() with strdupdelim(), made
9718         case-insensitive, fixed a memory leak.
9719
9720         * html.c (ftp_index): Fixed tm_min and tm_sec to be tm_hour and
9721         tm_min, like intended.
9722
9723         * version.c: Change user agent information to
9724         Geturl/version.
9725
9726 1996-07-03  Hrvoje Niksic  <hniksic@srce.hr>
9727
9728         * utils.c: Renamed nmalloc.c to utils.c, .h likewise.
9729
9730         * url.c (acceptable): Always accept directories.
9731
9732         * ftp-unix.c (ftp_parse_ls): Support brain-damaged "ls -F"-loving
9733         servers by stripping trailing @ from symlinks and trailing / from
9734         directories.
9735
9736         * ftp.c (ftp_loop): Debugged the "enhanced" heuristics. :-)
9737
9738         * url.c (skip_url): Use toupper instead of UCASE.
9739
9740         * host.c (sufmatch): Made it case-insensitive.
9741
9742         * url.c (match_backwards_or_pattern): Fixed i == -1 to j == -1.
9743         (match_backwards): New function, instead of
9744         match_backwards_or_pattern.
9745
9746         * recur.c (recursive_retrieve): Increased performance by
9747         introducing inl, which reduces number of calls to in_slist to only
9748         one.
9749
9750         * ftp.c (ftp_loop): Enhanced the heuristics that decides which
9751         routine to use.
9752
9753         * main.c (printhelp): Removed the warranty stuff.
9754
9755 1996-07-02  Hrvoje Niksic  <hniksic@srce.hr>
9756
9757         * url.c (add_slist): Simplify.
9758         (match_backwards_or_pattern): New function.
9759         (in_acclist): Use match_backwards_or_pattern.
9760         (matches): Remove.
9761
9762 1996-06-30  Hrvoje Niksic  <hniksic@srce.hr>
9763
9764         * ftp.c (ftp_loop): Call ftp_index on empty file names, if not
9765         recursive.
9766
9767         * html.c (ftp_index): Fixed to work. Beautified the output.
9768
9769         * ftp.c (ftp_retrieve_glob): Another argument to control whether
9770         globbing is to be used.
9771         (ftp_retrieve_list): Compare the time-stamps of local and remote
9772         files to determine whether to download.
9773
9774 1996-06-29  Hrvoje Niksic  <hniksic@srce.hr>
9775
9776         * ftp.c (rel_constr): New function.
9777
9778         * retr.c (retrieve_from_file): Check for text/html before
9779         retrieving recursively.
9780
9781         * main.c (main): Check whether the file is HTML before going into
9782         recursive HTML retrieving.
9783
9784         * ftp.c (ftp_retrieve_list): Manage directories.
9785         (ftp_retrieve_glob): Pass all the file-types to ftp_retrieve_list.
9786         (ftp_1fl_loop): Fixed a bug that caused con->com to be incorrectly
9787         initialized, causing bugchecks in getftp to fail.
9788
9789         * configure.in: Check for symlink.
9790
9791         * ftp.c (ftp_retrieve_list): Added support for symlinks.
9792
9793         * version.c: "Released" 1.4b10.
9794
9795         * atotm.c (atotm): Redeclared as time_t.
9796
9797         * init.c: New variable "timestamping".
9798
9799         * main.c (main): New option 'N'.
9800
9801         * http.c (hgetlocation): Case-insensitive match.
9802         (hgetmodified): New function.
9803         (http_loop): Implement time-stamping.
9804
9805 1996-06-28  Hrvoje Niksic  <hniksic@srce.hr>
9806
9807         * version.c: Changed version to 1.4b10
9808
9809         * atotm.c: New file, from phttpd.
9810
9811         * options.h (struct options): New parameter timestamping.
9812
9813         * version.c: 1.4b9 "released".
9814
9815         * recur.c (recursive_retrieve): Used linked list (ulist) for
9816         faster storing of URLs.
9817
9818         * url.c (get_urls_html): Removed the old kludge with comparing the
9819         outputs of htmlfindurl and findurl.
9820         (get_urls_html): Added better protocol support here.
9821         (create_hash): Removed, as well as add_hash and in_hash.
9822         (addslist): New function.
9823         (in_slist): ditto
9824
9825         * version.c: Released 1.4b8, changed version to b9.
9826
9827 1996-06-27  Hrvoje Niksic  <hniksic@srce.hr>
9828
9829         * ftp.c (freefileinfo): New function.
9830         (delelement): New function.
9831
9832         * everywhere: GPL!
9833
9834         * ftp.c (ftp_loop): Use ccon.
9835         (ftp_retrieve_glob): Likewise.
9836
9837         * ftp.h: Define ccon, to define status of control connection.
9838
9839         * ftp.c (ftp_get_listing): New function.
9840         (ftp_retrieve_more): New function.
9841         (ftp_retrieve_glob): New function.
9842
9843 1996-06-25  Hrvoje Niksic  <hniksic@srce.hr>
9844
9845         * configure.in: Removed the search for cuserid().
9846
9847         * init.c (getmode): Renamed to getperms.
9848
9849 1996-06-24  Hrvoje Niksic  <hniksic@srce.hr>
9850
9851         * version.c: New version.
9852
9853         * main.c (hangup): New function, that handles hangup. Hangup
9854         signal now causes geturl to stop writing on stdout, and to write
9855         to a log file.
9856
9857         * ftp.c (getftp): "Released" 1.4b7.
9858
9859         * html.c (htmlfindurl): Ignore everything inside <head>...</head>.
9860         (ftp_index): Use fileinfo/urlinfo.
9861
9862         * ftp-unix.c (ftp_parse_ls): New function.
9863         (symperms): New function.
9864
9865         * ftp.c (ftp_1fl_loop): New function, to handle 1-file loops.
9866
9867         * retr.c (retrieve_url): Added FTP support.
9868
9869 1996-06-23  Hrvoje Niksic  <hniksic@srce.hr>
9870
9871         * geturl.h: Removed NOTFTP2HTML enum.
9872         Added DO_LOGIN, DO_CWD and DO_LIST. LIST_ONLY is obsolete.
9873
9874         * ftp.c (getftp): Resynched with urlinfo.
9875         (getftp): Removed HMTL-ization of index.html from getftp.
9876
9877         * version.c: 1.4b6 "released".
9878
9879         * options.h (options): New struct, to keep options in.
9880
9881         * http.c (http_loop,gethttp): Synched with proxy.
9882
9883         * retr.c (retrieve_url): Implemented proxy retrieval.
9884
9885         * main.c (main): Use retrieve_from_file.
9886
9887 1996-06-22  Hrvoje Niksic  <hniksic@srce.hr>
9888
9889         * retr.c (retrieve_from_file): New function.
9890
9891         * url.c (parseurl): Modified to return URLOK if all OK. Protocol
9892         can be found in u->proto.
9893
9894         * ftp.c (ftp_response): Fixed to accept multi-line responses as
9895         per RFC 959.
9896
9897         * recr.c (recursive_retrieve): Take newloc from retrieve_url.
9898
9899         * url.c (mymkdir): Removed the file of the same name, if one
9900         exists.
9901         (isfile): New function.
9902         (mkstruct): Fixed the '/' glitches.
9903         (path_simplify): Hacked to treat something/.. correctly.
9904
9905 1996-06-21  Hrvoje Niksic  <hniksic@srce.hr>
9906
9907         * http.c (gethttp): Close the socket after error in headers.
9908         (http_loop): HEOF no longer a fatal header.
9909
9910         * loop.c (retrieve_url): When dt is NULL, do not modify it. This
9911         simplifies the syntax of calling retrieve_url.
9912
9913         * recr.c (recursive_retrieve): Modified to use get_urls_html.
9914
9915         * url.c (get_urls_file): New function.
9916         (get_urls_html): New function.
9917
9918         * recr.c (recursive_retrieve): Patched up to conform to the
9919         standards.
9920
9921         * http.c (gethttp): Synched with the rest...
9922         (gethttp): Treat only CONREFUSED specially, with connection
9923         errors.
9924
9925         * init.c,geturl.1,http.c (http_loop): Removed kill_error.
9926
9927 1996-06-20  Hrvoje Niksic  <hniksic@srce.hr>
9928
9929         * http.c (http_loop): New function.
9930
9931         * loop.c: Removed *lots* of stuff from retrieve_url.
9932
9933         * url.c (parseurl): Changed to work with urlinfo. Integrated
9934         username finding and path parsing.
9935         (newurl): New function.
9936         (freeurl): New function.
9937         (mkstruct): Removed the old bogosities, made it urlinfo-compliant.
9938         (url_filename): Likewise.
9939         (path_simplify): Accept relative paths too.
9940         (opt_url): Made urlinfo-compliant, removed bogosities.
9941         (path_simplify): Expanded to accept relative paths.
9942         (str_url): A replacement for hide_url
9943         (decode_string): Fixed a bug that caused malfunctioning when
9944         encountering an illegal %.. combination.
9945         (opt_url): Removed the argument. Dot-optimizations are now default.
9946
9947         * nmalloc.c (strdupdelim): New function.
9948
9949         * url.h: Added the urlinfo structure
9950
9951 1996-06-19  Hrvoje Niksic  <hniksic@srce.hr>
9952
9953         * url.c (hide_url): Thrown out the protocol assertion. Do not
9954         change the URL if the protocol if not recognized.
9955         (findurl): Put continue instead of break.
9956
9957 1996-06-18  Hrvoje Niksic  <hniksic@srce.hr>
9958
9959         * sample.geturlrc: Changed the defaults to be commented out and
9960         harmless (previous defaults caused pains if copied to
9961         ~/.geturlrc).
9962
9963         * http.c (gethttp): Print the HTTP request in debug mode.
9964
9965         * connect.c (iread): Added EINTR check loop to select-ing
9966         too. EINTR is now correctly handled with select().
9967
9968         * TODO: new file
9969
9970 1996-05-07  Hrvoje Niksic  <hniksic@srce.hr>
9971
9972         * host.c (same_host): Made the function a little bit more
9973         intelligent regarding diversified URL syntaxes.
9974
9975         * url.c (skip_url): Spaces are now skipped after URL:
9976
9977         * Released 1.3.1 with the patch to prevent crashing when sending
9978         NULL to robot* functions and the patch to compile "out of the box"
9979         on AIX.
9980
9981         * recr.c (recursive_retrieve): Added checking whether this_url is
9982         NULL when calling the robot functions.
9983
9984         * ChangeLog: New file.