sjero.net Git - wget/blob - src/ChangeLog

   1 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
   2
   3         * main.c (secs_to_human_time): Ditto.
   4
   5         * progress.c (create_image): Print more exact duration of very
   6         short downloads.
   7
   8         * main.c (secs_to_human_time): Don't translate time suffixes "h",
   9         "m", and "s", which are not strictly SI, but are "accepted for use
  10         with SI".
  11         (secs_to_human_time): Print really small intervals as 0s, not
  12         0.00s.
  13
  14 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
  15
  16         * config-post.h: Replace the alloca declaration with the one from
  17         the latest Autoconf manual.  This should remove a warning with GCC
  18         on AIX.
  19
  20 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
  21
  22         * ftp.c (getftp): Always invoke SIZE, not only when continuing a
  23         download.
  24
  25         * main.c (main): Ditto here.
  26
  27         * progress.c (create_image): When the download is finished, print
  28         how long it took.
  29
  30 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
  31
  32         * main.c (main): Print the downloaded and quota amounts with the
  33         "human_readable" function.
  34
  35         * ftp.c (print_length): Ditto.
  36
  37         * http.c (gethttp): Don't display thousand separators.
  38
  39         * utils.c (with_thousand_seps): Rewritten to respect locale
  40         settings and to be type size agnostic.
  41
  42 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
  43
  44         * utils.c (human_readable): Divide with 1024 instead of shifting
  45         so the operation can work with non-integer N.
  46
  47 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
  48
  49         * progress.c (eta_to_human): New logic for more human-readable
  50         ETA.
  51
  52 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
  53
  54         * utils.c (with_thousand_seps_sum): Decrease buffer size so it
  55         cannot overrun add_thousand_seps's buffer.
  56
  57 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
  58
  59         * utils.c (SPRINTF_WGINT): The correct format is %I64d, not just
  60         %I64.
  61
  62 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
  63
  64         * http.c (http_loop): Don't warn about wildcards in HTTP URLs if
  65         globbing isn't requested in the first place.
  66
  67         * retr.c (retrieve_url): Temporarily turn off globbing when
  68         processing HTTP->FTP redirects.
  69
  70 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
  71
  72         * utils.c (with_thousand_seps_sum): Now defined only if
  73         SUM_SIZE_INT is double.
  74
  75         * wget.h (SUM_SIZE_INT): Instead of bothering with long, long
  76         long, __int64, and friends, simply either use wgint or double, end
  77         of story.  Since we know how to print either, we no longer need
  78         LARGE_INT_FMT.
  79
  80         * sysdeps.h (LARGE_INT): Renamed to SUM_SIZE_INT to better reflect
  81         its intent, and moved to wget.h.
  82
  83 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
  84
  85         * Makefile.in: No need to clean .libs.
  86
  87 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
  88
  89         * cookies.c (parse_set_cookies): Cast pointer subtraction to int
  90         before using it with %d; AIX compiler warns on this.
  91         Reported by Jens Schleusener.
  92
  93 2005-06-24  Hrvoje Niksic  <hniksic@xemacs.org>
  94
  95         * http.c (gethttp): Don't prepend / here.
  96
  97         * cookies.c (cookie_handle_set_cookie): Prepend / to PATH.
  98         (cookie_header): Ditto.
  99
 100 2005-06-24  Hrvoje Niksic  <hniksic@xemacs.org>
 101
 102         * init.c: opt.verbose must be declared as int.
 103
 104 2005-06-23  Hrvoje Niksic  <hniksic@xemacs.org>
 105
 106         * cmpt.c (strpbrk): Removed.
 107         (mktime): Removed.
 108         Include <time.h>.
 109
 110 2005-06-23  Hrvoje Niksic  <hniksic@xemacs.org>
 111
 112         * utils.c (read_file): Ditto.
 113
 114         * main.c (main): Use struct_fstat.
 115
 116         * mswindows.h (struct_fstat): Define a struct_fstat to deal with
 117         the fact that Borland 5.5 has 64-bit stat, but not 64-bit fstat!
 118
 119 2005-06-23  Hrvoje Niksic  <hniksic@xemacs.org>
 120
 121         * sysdep.h: Remove code that deals with Watcom.
 122
 123 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
 124
 125         * all: Use bool instead of int and false/true instead of 0/non-0
 126         for boolean variables and values.
 127
 128 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
 129
 130         * sysdep.h: Include the stdbool.h/_Bool/bool blurb from Autoconf.
 131
 132 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
 133
 134         * init.c (cmd_lockable_boolean): Removed.
 135
 136 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
 137
 138         * cookies.c (struct cookie): Use 1-bit bitfields for booleans
 139         which makes the structure takes less space at no cost in
 140         complexity.
 141
 142 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
 143
 144         * Makefile.in ($(OBJ)): Add the config.h dependency.
 145
 146 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
 147
 148         * openssl.c, connect.c, host.c: Replace instances of #ifdef
 149         ENABLE_DEBUG if (opt.debug) {...} #endif with IF_DEBUG {...}.
 150
 151         * main.c: Rename the IF_DEBUG defined here to WHEN_DEBUG.
 152
 153         * wget.h (IF_DEBUG): New macro.
 154         (DEBUGP): Define in terms of IF_DEBUG.
 155
 156 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
 157
 158         * http.c (gethttp): Only handle --set-cookies (and assert that
 159         cookie jar exists) if opt.cookies is true.  Failure to do so
 160         triggered the assert when --no-cookies was used and the server
 161         sent a Set-Cookie header.  Ouch!
 162
 163 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
 164
 165         * connect.c (select_fd): Expect select() to exist.
 166
 167         * utils.c (xsleep): Always use select() as sleep fallback on
 168         non-Windows platforms.
 169
 170         * ptimer.c: Delete the implementation of PTIMER_TIME.
 171
 172         * main.c: Assume existence of signal(), test for different signal
 173         names instead.
 174
 175         * cmpt.c: Better document reasons why certain functions are
 176         included.
 177
 178 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
 179
 180         * Makefile.in: Remove the manually maintained dependency list;
 181         make all object files depend on every header.
 182
 183 2005-06-20  Hrvoje Niksic  <hniksic@xemacs.org>
 184
 185         * hash.c: Rename "mapping" to "cell" to avoid confusion with the
 186         term "mapping" (or "map") sometimes being used for the entire hash
 187         table.  Also rename "non-empty" to "occupied" for easier reading
 188         of if (!NON_EMPTY (...)) ... .
 189
 190 2005-06-20  Hrvoje Niksic  <hniksic@xemacs.org>
 191
 192         * main.c, ptimer.c, sysdep.h, utils.c: Use #elif to simplify reading of
 193         chained if-else-else-else-... statements.
 194
 195 2005-06-20  Hrvoje Niksic  <hniksic@xemacs.org>
 196
 197         * all: Return type of signal handlers is `void'.  Include signal.h
 198         unconditionally.
 199
 200         * all: Don't explicitly cast values returned by malloc.  We no
 201         longer support ancient compilers that don't declare malloc, and we
 202         never supported C++ builds.
 203
 204 2005-06-19  Hrvoje Niksic  <hniksic@xemacs.org>
 205
 206         * all: Don't declare errno.  Include both time.h and sys/time.h,
 207         as long as sys/time.h exists.  Don't dereference function pointers
 208         when invoking the functions they point to.
 209
 210         * cmpt.c (memmove): Remove function mandated by C89.
 211         (strerror): Ditto.
 212         (strstr): Ditto.
 213
 214         * all: Undo the K&R-ization changes from 2005-05-03.
 215
 216         * all: Remove support for K&R compilers: use C89 function
 217         declarations, remove definition of PARAMS, remove support for
 218         varargs, and remove ansi2knr.  Assume the presence of time.h,
 219         string.h, and other headers mandated by C89.
 220
 221 2005-06-19  Hrvoje Niksic  <hniksic@xemacs.org>
 222
 223         * init.c (cmd_lockable_boolean): Don't recognize literal "2" and
 224         "-1" values; unlike 0 and 1, those should never be exposed to the
 225         user.  Update the error message to be more self-consistent, as
 226         proposed by Benno Schulenberg.
 227
 228 2005-06-18  Hrvoje Niksic  <hniksic@xemacs.org>
 229
 230         * http.c (gethttp): Don't free "head" before using it to save
 231         headers.
 232
 233 2005-06-18  Hrvoje Niksic  <hniksic@xemacs.org>
 234
 235         * http.c (gethttp): When -E is in use, check for file existence
 236         after appending ".html" to the name and modify the file name if
 237         necessary.
 238
 239 2005-06-17  Hrvoje Niksic  <hniksic@xemacs.org>
 240
 241         * connect.c (socket_has_inet6): Removed.
 242
 243         * host.c (lookup_host): Don't use the AI_ADDRCONFIG getaddrinfo
 244         hint.
 245
 246 2005-06-16  Hrvoje Niksic  <hniksic@xemacs.org>
 247
 248         * init.c (cmd_lockable_boolean): Improve the error message so it
 249         lists the more useful values first.
 250
 251 2005-06-15  Hrvoje Niksic  <hniksic@xemacs.org>
 252
 253         * http.c (gethttp): Also report the system error when the POST
 254         data file is missing.
 255
 256 2005-06-15  Benno Schulenberg  <benno@nietvergeten.nl>
 257
 258         * ftp.c, http.c, connect.c, cookies.c, html-url.c, init.c, res.c:
 259         Gettext-ize messages that were previously missed.
 260
 261 2005-06-15  Hrvoje Niksic  <hniksic@xemacs.org>
 262
 263         * host.h (ip_address): Remove the trailing comma from the type
 264         enum in the no-IPv6 case.
 265
 266         * main.c (struct cmdline_option): Remove the trailing comma from
 267         the enum.
 268
 269         Reported by Jens Schleusener.
 270
 271 2005-05-30  Hrvoje Niksic  <hniksic@xemacs.org>
 272
 273         * url.c (strpbrk_or_eos): Check for a recent GCC version before
 274         using the statement-as-expression extension.
 275
 276 2005-05-30  Hrvoje Niksic  <hniksic@xemacs.org>
 277
 278         * http.c (gethttp): Don't attempt to "skip short body" if we're
 279         issuing a HEAD request (in which case the response head is not
 280         followed by a body).
 281
 282 2005-05-30  Hrvoje Niksic  <hniksic@xemacs.org>
 283
 284         * init.c (cmd_spec_header): Don't split the string along the
 285         commas using cmd_vector; just append the new value using
 286         vec_append instead.
 287
 288         * utils.c (vec_append): New function.
 289
 290 2005-05-27  Andreas Beckmann  <debian@abeckmann.de>
 291
 292         * html-url.c (tag_handle_link): Mark the content from the <link
 293         src="..."> tag as expecting HTML.
 294
 295 2005-05-24  Hrvoje Niksic  <hniksic@xemacs.org>
 296
 297         * http.c (http_atotm): Document the origin of the "cookie date"
 298         format.
 299
 300 2005-05-21  Hrvoje Niksic  <hniksic@xemacs.org>
 301
 302         * init.c (setval_internal): Report exact command name alongside
 303         the "display name".
 304
 305 2005-05-18  Hrvoje Niksic  <hniksic@xemacs.org>
 306
 307         * cookies.c (update_cookie_field): Explicitly cast -1 to time_t to
 308         cope with systems where time_t is unsigned.
 309
 310         * cookies.c: Remove unnecessary casts to time_t from values
 311         already of that type.
 312
 313 2005-05-17  Hrvoje Niksic  <hniksic@xemacs.org>
 314
 315         * ftp.c (ftp_loop_internal): Same here.
 316
 317         * http.c (http_loop): Don't clobber the file when -c is specified
 318         and the first attempt to retrieve the file fails.
 319
 320 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
 321
 322         * openssl.c (ssl_check_certificate): Print all issues with a
 323         certificate.
 324
 325 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
 326
 327         * ftp-basic.c: Don't xfree() the line returned by ftp_response if
 328         the returned code is not FTPOK.
 329
 330 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
 331
 332         * init.c (cleanup): Don't free the non-existent opt.ftp_acc.  Free
 333         the SSL-related stuff.
 334
 335 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
 336
 337         * ftp.c (print_length): Consistently print \n at end of the
 338         "Length" line.
 339
 340 2005-05-14  Hrvoje Niksic  <hniksic@xemacs.org>
 341
 342         * openssl.c (ssl_connect): Announce the beginning and the end of
 343         the SSL handshake when in debug mode.
 344
 345         * wget.h (PTR_FORMAT): New macro for easier printing of pointer
 346         values.  Use %0*lx along with PTR_FORMAT instead of %p.
 347
 348 2005-05-14  Hrvoje Niksic  <hniksic@xemacs.org>
 349
 350         * http.c (gethttp): Would forget to close the connection when
 351         keep_alive was not used.
 352
 353 2005-05-13  Hrvoje Niksic  <hniksic@xemacs.org>
 354
 355         * openssl.c (pattern_match): Document the code that decides
 356         whether "*" matches ".".
 357
 358 2005-05-12  Hrvoje Niksic  <hniksic@xemacs.org>
 359
 360         * ftp-ls.c (ftp_index): Use %d to print the port number, which is
 361         now int.
 362         From Steven M. Schweda's VMS patches.
 363
 364 2005-05-12  Hrvoje Niksic  <hniksic@xemacs.org>
 365
 366         * url.c (rewrite_shorthand_url): Don't rewrite "https://host" to
 367         "ftp://https//host" when SSL is not used.
 368
 369 2005-05-11  Hrvoje Niksic  <hniksic@xemacs.org>
 370
 371         * openssl.c (ssl_check_server_identity): Renamed to
 372         ssl_check_certificate because it does more than just checking the
 373         server's identity.
 374         (ssl_check_certificate): Tell the user about
 375         --no-check-certificate.
 376
 377 2005-05-11  Hrvoje Niksic  <hniksic@xemacs.org>
 378
 379         * openssl.c (ssl_init): Always use SSL_VERIFY_NONE, so that the
 380         handshake finishes even if the certificate is invalid.  That way
 381         ssl_check_server_identity can provide better diagnostics on why
 382         the verification failed.
 383
 384 2005-05-11  Hrvoje Niksic  <hniksic@xemacs.org>
 385
 386         * openssl.c (pattern_match): New function.
 387         (ssl_check_server_identity): Treat peer certificate common name as
 388         wildcard.
 389
 390 2005-05-10  Hrvoje Niksic  <hniksic@xemacs.org>
 391
 392         * openssl.c (ssl_check_server_identity): Print certificate subject
 393         and issuer.
 394
 395 2005-05-10  Hrvoje Niksic  <hniksic@xemacs.org>
 396
 397         * res.c (res_register_specs): Correctly pass pointers to
 398         hash_table_get_pair.
 399
 400 2005-05-10  Hrvoje Niksic  <hniksic@xemacs.org>
 401
 402         * http.c (gethttp): Call ssl_check_server_identity.
 403
 404         * openssl.c (ssl_check_server_identity): New function, verifies
 405         that the host name in the certificate matches the actual host
 406         name.
 407         (verify_cert_callback): Removed, since it didn't do anything
 408         except returning the preverify_ok argument.
 409
 410         * connect.c (fd_transport_context): Allow retrieval of the context
 411         pointer registered with fd_register_transport.
 412
 413 2005-05-09  Hrvoje Niksic  <hniksic@xemacs.org>
 414
 415         * openssl.c (verify_cert_callback): Renamed from verify_callback.
 416         Always return the received "ok" value.  Print the X509 name in
 417         debug mode.
 418         (ssl_init): Enable partial writes in SSL context.
 419
 420 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
 421
 422         * http.c (http_loop): Check for wildcards in the URL path
 423         component, not in the whole URL.
 424
 425         * ftp.c (ftp_loop): Check for wildcards in URL path before
 426         unescaping, so the users can escape globbing metacharacters with %
 427         escapes.
 428
 429 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
 430
 431         * init.c (run_command): Correctly interpret the return value of
 432         parse_line.
 433         (commands): Re-alphabetize.
 434
 435 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
 436
 437         * netrc.c (parse_netrc): Explicitly check for assignment != NULL
 438         to silence warning from Borland C.
 439
 440         * url.c (sync_path): Don't unnecessarily increment p.
 441         (url_parse): Don't unnecessarily set url_encode to NULL just
 442         prior to return from the function.
 443
 444 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
 445
 446         * log.c (escnonprint_internal): Place variable declarations
 447         before other statements.
 448
 449 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
 450
 451         * html-url.c: Include recur.h.
 452
 453         * http.c (request_new): Define as accepting no args.
 454
 455 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
 456
 457         * url.c (strpbrk_or_eos): Made inline.  Use strchr(s, '\0') for
 458         finding the NUL char position.
 459
 460 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
 461
 462         * url.c (decide_copy_method): Renamed to char_needs_escaping.
 463         Since it now returns only two possible values, change it to return
 464         boolean (int).
 465
 466 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
 467
 468         * ftp-basic.c (ftp_request): Prevent newlines in VALUE causing
 469         inadvertent sending of multiple FTP commands.
 470
 471 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
 472
 473         * url.c (decide_copy_method): Never cause reencode_escapes to
 474         decode % escapes; it is too intrusive and breaks some servers.
 475
 476 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
 477
 478         * http.c (gethttp): When tunnelling SSL traffic over proxy with
 479         CONNECT, we're really talking to the remote server directly.
 480         Because of this, the request-line argument must be the URL path
 481         rather than the whole URL, as it would be when using regular
 482         proxies.
 483         Reported by Charles Lane.
 484
 485 2005-05-06  Hrvoje Niksic  <hniksic@xemacs.org>
 486
 487         * init.c (cmd_spec_useragent): Allow empty User-Agent.
 488
 489         * http.c (gethttp): Don't print "unknown authentication scheme"
 490         for failed Basic authentication.
 491         (SET_USER_AGENT): Don't set user-agent if opt.useragent is empty.
 492         (gethttp): Use alloca for allocation of www_authenticate.
 493
 494 2005-05-06  Hrvoje Niksic  <hniksic@xemacs.org>
 495
 496         * main.c (print_help): Fix wording of --secure-protocol help text.
 497
 498 2005-05-06  Hrvoje Niksic  <hniksic@xemacs.org>
 499
 500         * cmpt.c (strstr): Updated from glibc 2.3.5.
 501
 502 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
 503
 504         * http.c (http_atotm): Zero out the whole struct tm being passed
 505         to strptime.
 506
 507 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
 508
 509         * main.c (main): Propagate option name to setoptval.
 510
 511         * init.c (setoptval): Accept another argument, OPTNAME.  Propagate
 512         that argument as the option name independently of the actual
 513         command, determined by command_by_name(com).
 514
 515 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
 516
 517         * init.c (parse_line): Make the return value indicate whether
 518         there was a syntax error or a setter failed.
 519         (run_wgetrc): Return an indication on whether an error has been
 520         encountered.
 521         (initialize): Abort if there have been errors running either
 522         .wgetrc file.
 523
 524 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
 525
 526         * log.c (copy_and_escape): Slightly reduce code repetition between
 527         the two loops.
 528
 529 2005-05-05  Charles C.Fu  <ccwf@bacchus.com>
 530
 531         * utils.c (proclist): Strip leading slash when calling fnmatch
 532         too, otherwise wildcard comparisons always fail.
 533
 534 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
 535
 536         * utils.c (touch): Set access time to current time.
 537
 538 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
 539
 540         * url.c (url_unescape): Don't unescape %00, it effectively
 541         truncates the string.
 542
 543 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
 544
 545         * log.c (copy_and_escape): Replace the FOR_URI argument with a
 546         slightly more general mechanism for specifying different kinds of
 547         escape.
 548
 549 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
 550
 551         * ftp-basic.c (ftp_response): Fix printing FTP server response.
 552
 553 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
 554
 555         * retr.c (limit_bandwidth_reset): Reset sleep_adjust.
 556         (limit_bandwidth): Don't allow huge "adjustment" values that
 557         result from being suspended for a while.
 558
 559 2005-05-04  Hrvoje Niksic  <hniksic@xemacs.org>
 560
 561         * wget.h: If gettext was found but libtintl.h wasn't, declare
 562         gettext's return type to avoid type mismatches.
 563
 564 2005-05-03  Hrvoje Niksic  <hniksic@xemacs.org>
 565
 566         * url.c (url_parse): Rename label `error' to avoid conflict with
 567         identifier.
 568
 569         * retr.c (fd_read_body): Rename label `out' to avoid conflict with
 570         identifier.
 571         (fd_read_hunk): Use explicit double constant.
 572         (retrieve_from_file): Don't use string concatenation.
 573         (sleep_between_retrievals): Make sure xsleep is called with a
 574         `double' argument.
 575         (no_proxy_match): Define as static, like it is declared.
 576
 577         * progress.c (bar_create): Use 0.0 instead of 0 because K&R
 578         compilers can't automatically promote it.
 579
 580         * http-ntlm.c (ntlm_output): Replace \xHH sequences with \OOO for
 581         the sake of old compilers.
 582
 583         * ftp.c (ftp_loop_internal): Don't use string concatenation.
 584
 585         * http.c (request_send): Use explicit double constants when
 586         calling fd_read and fd_write.
 587         (post_file): Ditto.
 588         (gethttp): Ditto.
 589         (skip_short_body): Ditto.
 590
 591         * ftp-basic.c: When calling fd_write, specify the last argument as
 592         a `double' constant for the sake of K&R compilers which don't see
 593         the prototype and therefore can't promote it to double
 594         automatically.
 595
 596         * cookies.c (cookie_jar_load): Rename abort label to abort_cookie
 597         to avoid name conflict in K&R compilers.
 598
 599 2005-04-29  Hrvoje Niksic  <hniksic@xemacs.org>
 600
 601         * ptimer.c (posix_init): Since we allow _POSIX_MONOTONIC_CLOCK==0,
 602         it is not enough to check for _POSIX_MONOTONIC_CLOCK-0, we must
 603         also check for defined(_POSIX_MONOTONIC_CLOCK).
 604
 605 2005-04-28  Hrvoje Niksic  <hniksic@xemacs.org>
 606
 607         * ftp.c, hash.c, connect.c, host.c, http.c: Remove unreached code,
 608         such as "break" following return or abort.
 609
 610 2005-04-28  Hrvoje Niksic  <hniksic@xemacs.org>
 611
 612         * init.c (commands): Wrap the use of opt.random_file in #ifdef
 613         HAVE_SSL.
 614
 615 2005-04-28  Hrvoje Niksic  <hniksic@xemacs.org>
 616
 617         * http.c (gethttp): Correctly set the user agent.
 618
 619 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
 620
 621         * init.c (cmd_spec_useragent): Free the old value of
 622         opt.useragent before setting the new one.
 623
 624 2005-04-27  Mauro Tortonesi  <mauro@ferrara.linux.it>
 625
 626         * main.c: Map --ftp-password, --http-password and --proxy-password to
 627         the new ftppassword, httppassword and proxypassword commands
 628         respectively.  Document the --user and --password options in the help
 629         string.
 630
 631 2005-04-27  Mauro Tortonesi  <mauro@ferrara.linux.it>
 632
 633         * ftp.c: Add support for --user and --password.
 634
 635         * http.c: Add support for --user and --password.
 636
 637         * init.c: Deprecated ftppasswd, httppasswd, login, passwd and
 638         proxypasswd commands.  Added ftppassword, ftpuser, httppassword,
 639         password, proxypassword and user commands.
 640
 641         * main.c: Renamed --ftp-passwd to --ftp-password.  Added --ftp-user,
 642         --http-password, --password, --proxy-password and --user.  Deprecated
 643         --http-passwd and --proxy-passwd.  Added documentation for new options
 644         and removed documentation for deprecated options in the help string.
 645
 646         * options.h (struct options): Added user and passwd members to handle
 647         --user and --password respectively.  Renamed ftp_acc and ftp_pass
 648         members to ftp_user and ftp_passwd for consistency.
 649
 650 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
 651
 652         * main.c (print_help): Advertise "DER", not "ASN1".
 653
 654 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
 655
 656         * openssl.c (init_prng): Disable the weak random seed by default.
 657
 658         * http.c (gethttp): Simplify SSL initialization; disable SSL when
 659         anything goes wrong with the initialization.
 660
 661         * options.h (struct options): New option opt.random_file.
 662
 663 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
 664
 665         * init.c: Wrap private key commands in IF_SSL.
 666
 667 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
 668
 669         * openssl.c (ssl_init): Ditto.
 670
 671         * options.h (struct options): Allow separate specification of key
 672         type and certificate type.
 673
 674         * init.c (cmd_spec_cert_type): Provide a "der" synonym for "asn1"
 675         certificate encoding.
 676
 677 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
 678
 679         * openssl.c: Renamed "gen_sslfunc.c" to "openssl.c" and
 680         "gen_sslfunc.h" to "openssl.h".  This reflects the intent of
 681         openssl.c encapsulating the OpenSSL-specific code.
 682
 683 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
 684
 685         * init.c: Renamed "closure" (a synonym for context in some
 686         cultures) to "place", which more accurately reflects the usage.
 687
 688 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
 689
 690         * gen_sslfunc.c (ssl_init): Use default locations for loading the
 691         certificate bundles.
 692         (ssl_init_prng): Disable the cryptographically weak PRNG
 693         initialization fallback.
 694
 695         * init.c: Renamed SSL command-line arguments and wgetrc commands.
 696         (defaults): Check the server certificate by default.
 697
 698 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
 699
 700         * cookies.c (cookie_handle_set_cookie): Delete the part of the
 701         path after the trailing slash.
 702
 703         * http.c (gethttp): Call cookie_handle_set_cookie with path that
 704         begins with '/'.
 705
 706 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
 707
 708         * http.c (gethttp): Call skip_short_body only if keep_alive is in
 709         use.
 710         (gethttp): Send the User-Agent header with the CONNECT request as
 711         well.
 712
 713 2005-04-25  Hrvoje Niksic  <hniksic@xemacs.org>
 714
 715         * main.c (option_data): Removed support for the undocumented flag
 716         --use-proxy.
 717
 718 2005-04-25  Hrvoje Niksic  <hniksic@xemacs.org>
 719
 720         * main.c (option_data): Don't treat -Y as a boolean switch; treat
 721         it as a value switch instead, so "-Y off" continues to work.
 722
 723 2005-04-24  Hrvoje Niksic  <hniksic@xemacs.org>
 724
 725         * utils.c (aprintf): Delete unreachable statement.
 726
 727 2005-04-24  Hrvoje Niksic  <hniksic@xemacs.org>
 728
 729         * host.c (cmp_prefer_ipv4): New function.
 730         (cmp_prefer_ipv6): New function.
 731         (lookup_host): Use the appropriate comparator according to
 732         opt.prefer_family.
 733
 734         * init.c: New option prefer_family.
 735
 736         * host.c (is_valid_ipv6_address): Spell NS_* constants in lower
 737         case to avoid clash with system headers.
 738         (lookup_host): Reorder the addresses so that IPv4 ones come first.
 739
 740         * utils.c (stable_sort): New function.
 741
 742 2005-04-24  Hrvoje Niksic  <hniksic@xemacs.org>
 743
 744         * connect.c (retryable_socket_connect_error): Return 0 for
 745         ENETUNREACH and EHOSTUNREACH.
 746
 747 2005-04-23  Hrvoje Niksic  <hniksic@xemacs.org>
 748
 749         * cmpt.c: Reenable the memmove implementation for systems that
 750         lack it.
 751
 752         * http.c (gethttp): Store the "authorized" state of the persistent
 753         connection.
 754         (request_remove_header): New function.
 755         (gethttp): Don't send the "Basic" authentication if the connection
 756         is already authorized.
 757
 758 2005-04-23  Hrvoje Niksic  <hniksic@xemacs.org>
 759
 760         * utils.c (base64_encode): Treat input as unsigned chars.
 761         Required for correct encoding of binary stuff.
 762
 763 2005-04-23  Hrvoje Niksic  <hniksic@xemacs.org>
 764
 765         * http-ntlm.c: Format the function definitions in an
 766         ansi2knr-friendly fashion.
 767
 768 2005-04-22  Hrvoje Niksic  <hniksic@xemacs.org>
 769
 770         * http.c (gethttp): Handle multiple WWW-Authentication headers,
 771         only one of which is recognized.  Those are sent by IIS with NTLM
 772         authorization.
 773         (create_authorization_line): Propagate information whether
 774         authorization is finished.
 775         (gethttp): Only stop authorization when it's really finished, not
 776         after fixed two steps.
 777
 778 2005-04-21  Hrvoje Niksic  <hniksic@xemacs.org>
 779
 780         * gen_sslfunc.c (ssl_init): Fix warning message text; mark the
 781         message as translatable.
 782
 783 2005-04-21  Hrvoje Niksic  <hniksic@xemacs.org>
 784
 785         * main.c (print_help): Print the EGD option outside the cluster of
 786         SSL options.
 787
 788 2005-04-21  Hrvoje Niksic  <hniksic@xemacs.org>
 789
 790         * http-ntlm.c (ntlm_output): Fix setting the domain.
 791         Suggested by Sami Krank.
 792
 793 2005-04-20  Mauro Tortonesi  <mauro@ferrara.linux.it>
 794
 795         * connect.c: Set IPV6_V6ONLY socket option when -6 switch is used.
 796
 797 2005-04-20  FUJISHIMA Satsuki  <sf@FreeBSD.org>
 798
 799         * http.c (request_set_header): Fix the check whether a new header
 800         needs to be allocated.
 801
 802 2005-04-18  Hrvoje Niksic  <hniksic@xemacs.org>
 803
 804         * utils.c (base64_encode): Use the parameter order that makes more
 805         sense.  Return the length of the base64 written.  Updated all
 806         callers.
 807
 808 2005-04-17  Hrvoje Niksic  <hniksic@xemacs.org>
 809
 810         * http.c (request_set_header): Free NAME when VALUE is NULL and
 811         freeing the header name is requested.
 812
 813 2005-04-17  Hrvoje Niksic  <hniksic@xemacs.org>
 814
 815         * snprintf.c (fmtstr): Declare VALUE as const char *.
 816         Based on patch by Russ Allbery.
 817
 818 2005-04-17  Hrvoje Niksic  <hniksic@xemacs.org>
 819
 820         * snprintf.c (fmtfp): More correct handling of significant digit
 821         count with %g -- 0.002 has one significant digit, not three.
 822
 823 2005-04-16  Hrvoje Niksic  <hniksic@xemacs.org>
 824
 825         * retr.c (fd_read_body): Respect read timeout with non-interactive
 826         or no progress gauge -- treat ETIMEDOUT specially only when
 827         progress_interactive.
 828         Reported by FUJISHIMA Satsuki.
 829
 830 2005-04-16  FUJISHIMA Satsuki  <sf@FreeBSD.org>
 831
 832         * http.c (gethttp): Don't use HTTP/1.0 persistent connections over
 833         proxy.
 834
 835 2005-04-16  Hrvoje Niksic  <hniksic@xemacs.org>
 836
 837         * snprintf.c: Use the PARAMS macro to handle prototypes.  Write
 838         function definitions in the ansi2knr-friendly way.
 839         (fmtstr): If string precision is specified, don't read VALUE past
 840         it.
 841         (dopr): Actually print %g and %e formats.
 842         (fmtfp): Fix a bug that caused 0.01 to be printed as 0.1.
 843         (fmtfp): Use LLONG in floating point conversions to be able to
 844         convert more digits.
 845         (fmtfp): Interpret precision as number of significant digits with
 846         %g.
 847         (fmtfp): Omit trailing decimal zeros with %g.
 848
 849         * snprintf.c: Don't include <ctype.h> because none of it is used.
 850         Include strings.h/string.h, as per Autoconf.
 851
 852 2005-04-15  Hrvoje Niksic  <hniksic@xemacs.org>
 853
 854         * ptimer.c: Use _POSIX_TIMERS - 0 > 0, which handles the case when
 855         _POSIX_TIMERS is defined but empty, as well as the case when it is
 856         undefined.  Do the same with the check for _POSIX_MONOTONIC_CLOCK.
 857         Suggested by Larry Jones.
 858
 859 2005-04-15  Hrvoje Niksic  <hniksic@xemacs.org>
 860
 861         * ptimer.c: Check that _POSIX_TIMERS is defined as well as > 0.
 862         Problem reported by Steven M. Schweda.
 863
 864 2005-04-14  Hrvoje Niksic  <hniksic@xemacs.org>
 865
 866         * http.c (skip_short_body): Print the skipped body data in debug
 867         mode.
 868         (skip_short_body): Don't skip more than 4k of body data.
 869         (skip_short_body): Return whether the skipping was successful.
 870         (gethttp): If skip_short_body failed, invalidate the connection.
 871
 872 2005-04-12  Gisle Vanem  <giva@bgnett.no>
 873
 874         * ftp.c (getftp): Ditto.
 875
 876         * http.c (gethttp): Open the output file in binary mode.
 877
 878 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
 879
 880         * hash.c: Conditionalize including config.h on HAVE_CONFIG_H
 881         instead of on STANDALONE.
 882
 883 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
 884
 885         * gen_sslfunc.c (ssl_print_errors): Made static.
 886         (ssl_print_errors): Eliminate potentially dangerous fixed-size
 887         error buffer.  Passing NULL to ERR_error_string causes it to use
 888         its own static buffer, which is fine for our purposes.
 889
 890         * gen_sslfunc.c: Include gen_sslfunc.h.  Make the declarations of
 891         ssl_init and ssl_conect match the actual definitions.
 892         (ssl_connect): Simply return a boolean, the SSL context is no
 893         longer useful as a return value.
 894
 895         * retr.c: Don't include SSL headers; we don't need them.
 896
 897 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
 898
 899         * config-post.h: Don't define _VA_LIST under Solaris; it breaks
 900         compilation with GCC 3.4 under Solaris 10.  (It was defined to
 901         avoid a warning with previous versions of GCC.)
 902
 903 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
 904
 905         * xmalloc.c (register_ptr): Warn the user to increase SZ prior to
 906         aborting.
 907
 908 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
 909
 910         * convert.c (convert_cleanup): Free converted_files.
 911
 912 2005-04-10  Hrvoje Niksic  <hniksic@xemacs.org>
 913
 914         * wget.h (DEBUGP): Use __builtin_expect to give a hint to GCC that
 915         opt.debug is false in the vast majority of cases.
 916
 917 2005-04-10  Hrvoje Niksic  <hniksic@xemacs.org>
 918
 919         * config-post.h: Declare alloca as void *, not char *.
 920
 921 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
 922
 923         * recur.c (download_child_p): When -p is used, (temporarily)
 924         ignore accept/reject rules for HTMLs, even when they are at the
 925         maximum recursion depth.  That is because with -p we are, if
 926         necessary, overstepping the max. depth to get the requisites.
 927
 928 2004-06-12  Larry Jones <lawrence.jones@ugsplm.com>
 929
 930         * recur.c (download_child_p): Correct the logic in check number 6:
 931         test opt.reclevel (not DEPTH) against INFINITE_RECURSION.
 932
 933 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
 934
 935         * url.c: Use "static const" in preference to "const static".
 936         Sun's cc warns that "storage class after type is obsolescent".
 937
 938         * url.c (urlchr_table): Don't mark ~ as unsafe, too many broken
 939         web sites are confused when ~ is changed to %7E.  Their servers
 940         redirect /%7Efoo/ to /~foo/, which Wget again accesses using %7E,
 941         causing further redirections, therefore looping infinitely.  See
 942         Debian bug #301624 for an example.
 943
 944 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
 945
 946         * alloca.c: Include wget.h to be able to use xmalloc.  In addition
 947         to defining malloc to xmalloc, also define free to xfree.
 948
 949 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
 950
 951         * http-ntlm.c (ntlm_output): Use "char", not "unsigned char" for
 952         ntlmbuf.  Our base64 functions accept char anyway.
 953         (ntlm_output): Join up the format string, since we nominally
 954         support K&R compilers.
 955         (ntlm_output): Ditto.
 956
 957 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
 958
 959         * ptimer.c: Use Windows timers under Cygwin, whose POSIX timer
 960         implementation is incomplete.
 961
 962 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
 963
 964         * ptimer.c (struct ptimer): Remove the unused initialized field.
 965
 966         * ptimer.c: Renamed function parameters from WT (which used to
 967         stand for wget_timer or wtimer) to PT.
 968
 969 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
 970
 971         * ptimer.c (posix_init): Be smarter about choosing clocks.  In
 972         decreasing order of preference, use CLOCK_MONOTONIC,
 973         CLOCK_HIGHRES, and CLOCK_REALTIME.
 974         (ptimer_allocate): Removed.
 975
 976         * ptimer.c: Refactor the code by cleanly separating the
 977         architecture-dependent code from the architecture-independent
 978         code.
 979
 980 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
 981
 982         * ptimer.c (ptimer_init): Explicitly check that
 983         _POSIX_MONOTONIC_CLOCK is *both* defined and >=0.  (Undefined
 984         symbols are >=0.)
 985
 986 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
 987
 988         * ptimer.c (ptimer_diff): Fix typo affecting Windows build.
 989
 990 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
 991
 992         * ptimer.c (ptimer_init): In fact, _POSIX_MONOTONIC_CLOCK needs to
 993         be >= 0.
 994
 995         * ptimer.c (ptimer_init): Check whether _POSIX_MONOTONIC_CLOCK is
 996         defined instead of whether it's greater than 0.  glibc defines it
 997         to 0, but still makes it available via sysconf.
 998
 999 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
1000
1001         * mswindows.c (str_to_int64): Rename OVERFLOW and UNDERFLOW to
1002         INT64_OVERFLOW and INT64_UNDERFLOW, since those names are used.
1003
1004 2005-04-07  Hrvoje Niksic  <hniksic@xemacs.org>
1005
1006         * ptimer.c: New file.  Move the "wtimer" functions from utils.c to
1007         this file and rename them to ptimer_.
1008
1009 2005-04-07  Hrvoje Niksic  <hniksic@xemacs.org>
1010
1011         * host.c (NO_ADDRESS): Define NO_ADDRESS only after the system
1012         headers have been included.
1013
1014 2005-04-06  Hrvoje Niksic  <hniksic@xemacs.org>
1015
1016         * http.c (pconn): Include NTLM data, which is per-connection.
1017         (known_authentication_scheme_p): Recognize NTLM authorization.
1018         (create_authorization_line): Call ntlm_input and ntlm_output.
1019
1020         * http-ntlm.c: New file, donated by Daniel Stenberg and originally
1021         written for curl, heavily modified for Wget.
1022
1023         * utils.c (base64_encode): Relocated from http.c, since it is now
1024         used by http-ntlm.c, and will possibly be used elsewhere.
1025         (base64_decode): New function, originally based on code from GNU
1026         recode.
1027
1028 2005-04-02  Hrvoje Niksic  <hniksic@xemacs.org>
1029
1030         * ftp.c (ftp_loop): Ditto.
1031
1032         * ftp-basic.c (ftp_pasv): Use the xzero shorthand for memset(0).
1033         (ftp_lpsv): Ditto.
1034
1035 2005-04-05  Mauro Tortonesi  <mauro@ferrara.linux.it>
1036
1037         * Makefile.in: removed string_t.c from list of source files.
1038
1039 2005-04-04  Mauro Tortonesi  <mauro@ferrara.linux.it>
1040
1041         * string_t.c: Removed.
1042
1043         * string_t.h: Removed.
1044
1045 2005-04-02  Hrvoje Niksic  <hniksic@xemacs.org>
1046
1047         * url.c (rewrite_shorthand_url): Only accept recognized schemes.
1048         That way "foo:80" will correctly be rewritten to "http://foo:80"
1049         instead of left unchanged and ultimately rejected because of
1050         "unsupported scheme foo".
1051
1052 2005-03-31  Hrvoje Niksic  <hniksic@xemacs.org>
1053
1054         * utils.c (number_to_string): Avoid explicit 64-bit constants;
1055         construct them by multiplication at compile-time.
1056
1057         * utils.c, elsewhere: Don't append "L" to 32-bit integer
1058         constants; we aren't really compilable on 16-bit systems anyway.
1059
1060         * hash.c (prime_size): Remove primes larger than 2^31, but include
1061         2^31-1, which is prime.
1062
1063 2005-03-30  Hrvoje Niksic  <hniksic@xemacs.org>
1064
1065         * utils.c (string_set_to_array): New function.
1066
1067         * convert.c: Replace the use of "slists" with sets/hash-tables,
1068         which in fact suit the intended purpose much better.
1069         downloaded_html_list is removed altogether.
1070
1071 2005-03-29  Hrvoje Niksic  <hniksic@xemacs.org>
1072
1073         * ftp.h (enum): Rename GLOBALL, GETALL, and GETONE to
1074         GLOB_GLOBALL, GLOB_GETALL, and GLOB_GETONE to avoid conflict with
1075         Linux headers.
1076
1077 2005-03-29  Hrvoje Niksic  <hniksic@xemacs.org>
1078
1079         * utils.c (numdigit): More correct handling of negative numbers.
1080
1081 2005-03-21  Hrvoje Niksic  <hniksic@xemacs.org>
1082
1083         * http.c (gethttp): Print the human-readable size.
1084
1085         * ftp.c (getftp): Print the human-readable size of the file to be
1086         downloaded.
1087
1088         * utils.c (human_readable): New function.
1089
1090         * utils.c: Renamed "legible" to "with_thousand_seps",
1091         "legible_large_int" to "with_thousand_seps_large", and "legible_1"
1092         to "add_thousand_seps".
1093
1094 2005-03-21  Hrvoje Niksic  <hniksic@xemacs.org>
1095
1096         * http.c (gethttp): Inhibit persistent connections when talking to
1097         proxies, as mandated by RFC 2068.
1098
1099 2005-03-20  Hrvoje Niksic  <hniksic@xemacs.org>
1100
1101         * url.c (unescape_single_char): New function.
1102         (url_escape_dir): Use it to unescape slashes in directory
1103         components.
1104         (url_string): Escape unsafe chars in host name, except for the ':'
1105         charaters, which can appear in IPv6 addresses.
1106
1107         * main.c (main): Don't access the cookie jar directly.
1108
1109         * log.c (escnonprint_internal): Correctly calculate the needed
1110         string size.  Don't forget the buffer's new size after having
1111         reallocated it.
1112         (log_cleanup): New function.  Free the escnonprint ring data.
1113
1114         * init.c (cleanup): Don't free the cookie jar explicitly, it is
1115         now done by http_cleanup.
1116         (cleanup): opt.user_headers is now a vector, free it with
1117         free_vec.
1118
1119         * http.c (gethttp): Make sure to free the request data, the status
1120         message, and the response data before returning from the function.
1121         (save_cookies): New function.
1122         (http_cleanup): Free the cookie jar here.
1123
1124         * hash.c: Renamed string_hash to hash_string and ptrhash to
1125         hash_pointer.  Exported hash_pointer.
1126
1127         * xmalloc.c: Organized malloc_table (previously malloc_debug) as a
1128         simple EQ hash table.  register_ptr and unregister_ptr are now of
1129         O(1) complexity.
1130
1131         * xmalloc.c: Renamed "*_debug" to debugging_* and "*_real" to
1132         checking_*.
1133
1134 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
1135
1136         * utils.c (debug_test_md5): Moved to gen-md5.c.
1137
1138         * mswindows.h: Don't declare inet_ntop, since we don't use it.
1139
1140         * mswindows.h: For consistency, also wrap closesocket, it being
1141         a Winsock call.
1142
1143         * mswindows.h: Don't declare sleep and usleep; we're defining
1144         xsleep now.
1145
1146         * mswindows.h (mkdir): Don't special-case Borland C, _mkdir
1147         works there as well.
1148
1149         * host.c: Don't include winsock header files; the correct ones
1150         are already included by mswindows.h.
1151
1152         * mswindows.c (xsleep): Round toward the nearest millisecond
1153         in an attempt to avoid average short sleeps.
1154
1155         * utils.c (wtimer_granularity): Report correct values for
1156         Windows timers and for high-resolution timers.
1157
1158         * utils.c (wtimer_initialize_once): New function, called to
1159         initialize the timer frequency.
1160
1161         * utils.c: Replace the use of GetSystemTime with high-resolution
1162         counters under Windows.  When high-resolution counters are
1163         unavailable, use GetTickCount().
1164
1165 2005-03-15  Hrvoje Niksic  <hniksic@xemacs.org>
1166
1167         * retr.c (fd_read_body): Undo the 2004-11-18 change.  Instead,
1168         always be "exact".
1169
1170 2005-03-17  Hrvoje Niksic  <hniksic@xemacs.org>
1171
1172         * ftp-basic.c (ftp_login): Don't free the string if ftp_response
1173         returned an error status because the line didn't get allocated in
1174         the first place.
1175
1176 2005-03-15  Hrvoje Niksic  <hniksic@xemacs.org>
1177
1178         * http.c (read_http_response_head): Limit the response size to 64k
1179         bytes.
1180
1181         * retr.c (fd_read_hunk): Accept a MAXSIZE argument that limits the
1182         number of bytes the function is allowed to allocate.
1183         (fd_read_line): Limit the line to 4096 bytes.
1184
1185 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
1186
1187         * wget.h: Include options.h after wgint has been defined.
1188
1189         * options.h (struct options): Declare options processed with
1190         cmd_bytes as wgint, not long.
1191
1192 2005-03-18  Hrvoje Niksic  <hniksic@xemacs.org>
1193
1194         * init.c (cmd_file): Use concat_strings.
1195
1196         * http.c (basic_authentication_encode): Use concat_strings.
1197
1198         * ftp-ls.c (ftp_index): Use concat_strings.
1199
1200         * ftp-basic.c (ftp_request): Use concat_strings.
1201
1202         * utils.c (concat_strings): New function.
1203
1204 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
1205
1206         * init.c (simple_atof): Handle negative numbers; skip whitespace
1207         before the number.
1208         (simple_atoi): Ditto.  Also, check for overflow and underflow.
1209         (cmd_number): Bail out on negative numbers.
1210         (parse_bytes_helper): Ditto.
1211
1212 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
1213
1214         * http.c (gethttp): Handle multiple Set-Cookie headers sent by
1215         remote server.
1216
1217 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
1218
1219         * init.c (defaults): Use passive FTP by default.
1220
1221 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
1222
1223         * mswindows.c: Provide wrappers to Winsock functions that set
1224         errno to WSAGetLastError() in case of failure.  Also provide a
1225         Windows-specific version of strerror.
1226
1227         * mswindows.h: Wrap calls to socket, bind, connect, recv, send,
1228         select, getsockname, getpeername, and setsockopt.
1229
1230 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
1231
1232         * url.c (url_parse): Reject port numbers larger than 65535.  We
1233         also check for overflow while parsing port numbers.
1234
1235 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
1236
1237         * utils.c (read_file): Don't use wgint for file size; LFS won't
1238         work since the file is mmap'ed as a whole.
1239
1240         * options.h: Don't include stdio.h.
1241
1242         * log.c: Ditto.
1243
1244         * init.c: Disambiguate assignment from non-zero test to avoid
1245         Borland C warning.
1246
1247         * http.c (response_new): Don't needlessly post-increment count.
1248
1249         * hash.c: Include stdio.h.
1250
1251         * gnu-md5.h: Don't include stdio.h.
1252
1253         * getopt.h (struct option): Always use const.
1254
1255         * ftp.c (getftp): Avoid unnecessary assignment to RES to avoid
1256         Borland C warning.
1257
1258         * ftp-ls.c: Disambiguate assignment from non-zero test to avoid
1259         Borland C warning.
1260
1261         * cmpt.c (strptime_internal): Don't initialize rp_backup when
1262         !_NL_CURRENT to avoid Borland C warning.
1263
1264 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
1265
1266         * utils.c (fopen_excl): Fix parse error when O_BINARY is
1267         available.
1268
1269 2005-03-05  Hrvoje Niksic  <hniksic@xemacs.org>
1270
1271         * url.c (url_file_name): Don't allow hosts named ".." to be
1272         appended as path elements.
1273
1274 2005-03-03  Hrvoje Niksic  <hniksic@xemacs.org>
1275
1276         * retr.c (retrieve_url): Escape location header.
1277
1278         * http.c (print_server_response_1): Escape server response when
1279         printing it.
1280         (gethttp): Escape host name, status message, location header, and
1281         content type.
1282         (http_loop): Escape error message from server.
1283
1284         * host.c (lookup_host): Escape host name when printing it.
1285
1286         * ftp.c (getftp): Escape user name when printing it.
1287         (getftp): Escape remote file and directory for printing.
1288         (getftp): Escape server listing when printing it.
1289         (ftp_retrieve_list): Escape link name and file name.
1290         (ftp_retrieve_glob): Escape file name.
1291
1292         * ftp-basic.c (ftp_response): Escape server response when printing
1293         it.
1294
1295         * cookies.c (parse_set_cookies): Escape the cookie field when
1296         printing it.
1297         (parse_set_cookies): Escape contents of remote header.
1298         (cookie_handle_set_cookie): Escape host name and cookie domain.
1299
1300         * connect.c (connect_to_ip): Escape the host name.
1301
1302         * log.c (escnonprint): New function, used for printing strings
1303         coming from the server that possibly contain non-ASCII characters.
1304         (escnonprint_uri): Ditto.
1305
1306 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
1307
1308         * ftp.c (getftp): Ditto.
1309
1310         * http.c (gethttp): When we're not supposed to overwrite files,
1311         use fopen_excl to open the file and recompute the file name.
1312
1313         * log.c (redirect_output): Use unique_create to avoid a race
1314         condition.
1315
1316         * mswindows.c (fake_fork_child): Use unique_create.
1317
1318         * utils.c (fopen_excl): New function that opens a stdio stream
1319         with the O_EXCL flag (where available).
1320         (unique_create): New function, like unique_name, but also creating
1321         the file and returning a file pointer.
1322         (fork_to_background): Use unique_create to create the file
1323         immediately to avoid race condition with multiple instances of
1324         wget -b.
1325
1326 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
1327
1328         * host.c (lookup_host): Test for AI_ADDRCONFIG directly, instead
1329         of checking for HAVE_GETADDRINFO_AI_ADDRCONFIG.
1330
1331 2005-02-23  Hrvoje Niksic  <hniksic@xemacs.org>
1332
1333         * host.c (is_valid_ipv6_address): Move here from url.c.
1334         (lookup_host): If the address is numeric, don't print the
1335         "resolving..." line, don't set up DNS timeouts, and set the
1336         AI_NUMERICHOST hint, where available.
1337
1338 2005-02-26  Gisle Vanem  <giva@bgnett.no>
1339
1340         * utils.c: Use the nnnLL syntax under GCC.  Define struct_stat to
1341         struct _stati64 under __MINGW32__ as well as under MS VC.
1342
1343 2005-02-26  Hrvoje Niksic  <hniksic@xemacs.org>
1344
1345         * utils.c: Use the nnnI64 syntax for __int64 constants under all
1346         Windows compilers.
1347         (SPRINTF_WGINT): Use "%I64" under all Windows compilers.
1348
1349         * mswindows.h (WGINT_MAX): Use the nnnI64 syntax for
1350         __int64 constants under all Windows compilers.
1351         (struct_stat): Use `struct stati64' under Borland C.
1352         (fstat): Don't redefine to _fstati64 under Borland.
1353
1354         * mswindows.c: Define str_to_int64 under Borland C as well as
1355         under (older) Visual C.
1356
1357 2005-02-25  Hrvoje Niksic  <hniksic@xemacs.org>
1358
1359         * ftp.c (getftp): Initialize err to suppress compiler warning.
1360
1361 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
1362
1363         * ftp.c (ftp_expected_bytes): Fix bug that caused infloop because
1364         of not correctly skipping the '(' character.
1365
1366 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
1367
1368         * mswindows.c (wget_ftello): Removed.
1369
1370         * mswindows.h: Remove bogus definition of stat.
1371         (wget_ftello): Remove the leftover ftello replacement.
1372
1373 2005-02-20  Hrvoje Niksic  <hniksic@xemacs.org>
1374
1375         * mswindows.c (wget_ftello): Wget's replacement for ftello.
1376
1377         * utils.c (file_size): Use ftello where available.
1378
1379         * ftp-ls.c (ftp_parse_unix_ls): Use str_to_wgint to parse the file
1380         size.
1381         (ftp_parse_winnt_ls): Ditto.
1382
1383         * ftp-basic.c (ftp_size): Use str_to_wgint to convert number to
1384         wgint; pass 10 instead of 0 as the BASE argument.
1385
1386         * ftp.c (ftp_expected_bytes): Use str_to_wgint to parse the file
1387         size.
1388
1389         * sysdep.h (LARGE_INT_FMT): Use __int64 as LARGE_INT on
1390         MSVC/Windows; print it with "%I64".
1391
1392         * wget.h: Define a `wgint' type, normally aliased to (the possibly
1393         64-bit variant of) off_t.
1394
1395         * all: Use `wgint' instead of `long' for numeric variables that
1396         can hold file sizes.
1397
1398         * utils.c (number_to_string): Support printing of `wgint'
1399         argument.
1400         (number_to_static_string): New function.
1401
1402         * all: Replace printf("%ld", long_value) with printf("%s",
1403         number_to_static_string(wgint_value)).
1404
1405 2005-02-18  Mauro Tortonesi <mauro@ferrara.linux.it>
1406
1407         * main.c: Added the --ftp-passwd command line option.
1408
1409         * init.c: Renamed command passwd to ftppasswd.
1410
1411 2005-02-11  Mauro Tortonesi <mauro@ferrara.linux.it>
1412
1413         * string_t.c: Fixed a bug in do_escape and triggered escape of
1414         backslashes in string_escape to avoid ambiguities in the result
1415         string.
1416
1417 2005-02-10  Mauro Tortonesi <mauro@ferrara.linux.it>
1418
1419         * string.h: Renamed to string_t.h to fix a compilation conflict
1420         with the string.h header in the standard C library.
1421
1422         * string.c: Renamed to string_t.c for consistency with string.h.
1423
1424         * string_t.c: Ditto.
1425
1426         * string_t.h: Ditto.
1427
1428 2004-12-31  Mauro Tortonesi <mauro@ferrara.linux.it>
1429
1430         * string.c: New file.
1431
1432         * string.h: New file.
1433
1434         * Makefile.in: Added string.c to the list of modules to compile.
1435
1436         * main.c: Updated copyright.
1437
1438 2004-11-18  Ulf Harnhammar <ulf.harnhammar.9485@student.uu.se>
1439
1440         * ftp-ls.c: Fixed a problem in ftp_parse_winnt_ls that could allow a
1441         malicious remote FTP server to crash wget.
1442
1443 2004-11-18  Hans-Andreas Engel <engel@node.ch>
1444
1445         * http.c: Enable --convert-links (-k) when a single page is downloaded
1446         via --output-document (-O).
1447
1448 2004-11-18  Mauro Tortonesi <mauro@deepspace6.net>
1449
1450         * connect.c: Minor correction to the comment in front of fd_peek.
1451
1452 2004-11-18  Leonid Petrov <nouser@lpetrov.net>
1453
1454         * retr.c: Fix a timeout problem in fd_read_body when using http_proxy.
1455
1456 2004-11-15  YAMAZAKI Makoto <Yamazaki.Makoto@fujixerox.co.jp>
1457
1458         * netrc.c: Fix termination by assertion bug in netrc parsing.
1459
1460 2004-05-09  David Fritz  <zeroxdf@att.net>
1461
1462         * mswindows.c (fake_fork): Pass entire command line to the child
1463         process.
1464
1465 2004-03-31  Hrvoje Niksic  <hniksic@xemacs.org>
1466
1467         * http.c (gethttp): Fix typo: SCHEME_SSL -> SCHEME_HTTPS.
1468
1469 2004-03-30  Hrvoje Niksic  <hniksic@xemacs.org>
1470
1471         * http.c (gethttp): Send the Proxy-Authorization header over
1472         non-SSL connections too.
1473
1474 2004-03-25  David Fritz  <zeroxdf@att.net>
1475
1476         * mswindows.c (fake_fork_child): Ignore error code when
1477         OpenFileMapping() fails; assume it failed because the object does
1478         not exist.
1479
1480 2004-03-24  David Fritz  <zeroxdf@att.net>
1481
1482         * mswindows.c (fake_fork): New function.
1483
1484         * mswindows.c (fork_to_background): Use it.
1485
1486 2004-03-19  David Fritz  <zeroxdf@att.net>
1487
1488         * mswindows.c (ws_hangup): Incorporate old fork_to_background()
1489         code.  Add event name argument.
1490         (fork_to_backgorund): Now a simple wrapper around ws_hangup().
1491         (ws_handler): Correctly handle the case when neither CTRLC_BACKGND
1492         nor CTRLBREAK_BACKGND are defined.  Don't bother handling close,
1493         logoff, or shutdown events.  Call ws_hangup() with the correct
1494         event name; don't assume it was CTRL+Break.
1495
1496 2004-03-19  Hrvoje Niksic  <hniksic@xemacs.org>
1497
1498         * url.c (url_parse): Decode %HH sequences in host name.
1499
1500 2004-03-04  Hrvoje Niksic  <hniksic@xemacs.org>
1501
1502         * convert.c (local_quote_string): Quote "#" as "%23" and "%" as
1503         "%25" when creating links to local files.
1504
1505 2004-03-02  David Fritz  <zeroxdf@att.net>
1506
1507         * mswindows.c (ws_percenttitle): Guard against future changes by
1508         doing nothing if the proper variables have not been initialized.
1509         Clamp percentage value.
1510
1511 2004-03-04  Gisle Vanem  <giva@bgnett.no>
1512
1513         * retr.c (fd_read_body): Don't change console title if quiet.
1514
1515 2004-02-25  David Fritz  <zeroxdf@att.net>
1516
1517         * mswindows.c (set_sleep_mode): Remove argument and return value.
1518         Call GetModuleHandle() instead of LoadLibrary()/FreeLibrary() for
1519         kernel32.dll.  Use typedef for function-pointer.  Don't cast
1520         l-value.  Don't use dereference operator when calling through
1521         function-pointer.
1522         (ws_startup): Update call to set_sleep_mode().
1523         (ws_cleanup): Remove call to set_sleep_mode().
1524
1525 2004-02-23  David Fritz  <zeroxdf@att.net>
1526
1527         * http.c (http_loop): Ditto.
1528
1529         * ftp.c (ftp_loop_internal): Update call to ws_changetitle().
1530
1531         * main.c (main): Don't bother calling ws_changetitle().
1532
1533         * mswindows.h (ws_changetitle): Update prototype.
1534
1535         * mswindows.c (ws_changetitle): Remove second argument.  Use
1536         xfree_null().
1537         (ws_percenttitle): Only update title when percentage has changed.
1538
1539 2004-02-23  David Fritz  <zeroxdf@att.net>
1540
1541         * mswindows.h: Ditto.
1542
1543         * mswindows.c: Misc. formatting/comment tweaks throughout.
1544
1545 2004-02-20  David Fritz  <zeroxdf@att.net>
1546
1547         * main.c (print_help): Remove call to ws_help().
1548
1549         * mswindows.c (ws_help): Remove.
1550
1551         * mswindows.h (ws_help): Remove.
1552
1553 2004-02-16  David Fritz  <zeroxdf@att.net>
1554
1555         * init.c (home_dir): Use aprintf() instead of xmalloc()/sprintf().
1556         Under Windows, if $HOME is not defined, use the directory that
1557         contains the Wget binary instead of hard-coded `C:\'.
1558         (wgetrc_file_name): Under Windows, look for $HOME/.wgetrc then, if
1559         not found, look for wget.ini in the directory of the Wget binary.
1560
1561         * mswindows.c (ws_mypath): Employ slightly more robust methodology.
1562         Strip trailing path separator.
1563
1564 2004-02-06  Hrvoje Niksic  <hniksic@xemacs.org>
1565
1566         * http.c (gethttp): Respect --ignore-length.
1567         (gethttp): Inhibit keep-alive if --ignore-length is specified.
1568
1569 2004-02-06  Hrvoje Niksic  <hniksic@xemacs.org>
1570
1571         * connect.c (sockaddr_set_data): Zero out
1572         sockaddr_in/sockaddr_in6.  Apparently BSD-derived stacks need this
1573         when binding a socket to local address.
1574
1575 2004-02-04  Hrvoje Niksic  <hniksic@xemacs.org>
1576
1577         * hash.c: Make the file compilable outside Wget source tree when
1578         -DSTANDALONE is used.
1579
1580 2004-01-29  Hrvoje Niksic  <hniksic@xemacs.org>
1581
1582         * utils.c (determine_screen_width): Return 0 if not running on
1583         Windows or on a TIOCGWINSZ-capable system.
1584
1585 2004-01-28  David Fritz  <zeroxdf@att.net>
1586
1587         * utils.c (determine_screen_width): Correctly determine console
1588         width under Windows.
1589
1590 2004-01-28  Christian Biere  <christianbiere@gmx.de>
1591
1592         * progress.c (bar_set_params): Fixed syntax error when HAVE_ISATTY
1593         was undefined.
1594
1595         * ftp.c (ftp_loop_internal): Allocate a larger buffer in case
1596         "try" gets translated to something large.  Ditto in http_loop in
1597         http.c.
1598
1599         * http.c (response_header_copy): Don't write to buf[BUFSIZE].
1600
1601         * ftp-opie.c (skey_response): Eliminate unnecessary string
1602         concatenation; just call gen_md5_update twice.
1603
1604 2004-01-25  Hrvoje Niksic  <hniksic@xemacs.org>
1605
1606         * utils.c (xsleep): Don't call usleep with values larger than
1607         1,000,000.
1608
1609 2003-12-16  Hrvoje Niksic  <hniksic@xemacs.org>
1610
1611         * http.c (gethttp): Fix generation of `Content-Length'.
1612
1613 2003-12-15  Gisle Vanem  <giva@bgnett.no>
1614
1615         * url.c (url_skip_credentials): Fixed return value; 'url' if no
1616         credentials.
1617
1618 2003-12-14  Hrvoje Niksic  <hniksic@xemacs.org>
1619
1620         * url.c (url_skip_credentials): Return a pointer directly.
1621
1622 2003-12-14  Hrvoje Niksic  <hniksic@xemacs.org>
1623
1624         * url.c (url_file_name): Ditto.
1625         (parse_errors): Ditto.
1626
1627         * retr.c (retr_rate): Ditto.
1628
1629         * progress.c (create_image): Ditto.
1630
1631         * netrc.c (parse_netrc): Ditto.
1632
1633         * main.c (struct cmdline_option): Ditto.
1634         (redirect_output_signal): Ditto.
1635
1636         * init.c (commands): Ditto.
1637
1638         * ftp-ls.c (ftp_index): Ditto.
1639
1640         * cookies.c (check_domain_match): Declare the pointer to a literal
1641         string as `const'.
1642
1643 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
1644
1645         * retr.c (fd_read_body): Pass total size to progress_create, not
1646         the remaining amount.
1647
1648 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
1649
1650         * retr.c (fd_read_body): Don't fiddle with "interactive timeout"
1651         if read timeout is unset.
1652
1653 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
1654
1655         * connect.c (bind_local): Don't set the IPV6_V6ONLY option on the
1656         socket.
1657
1658 2003-12-06  Hrvoje Niksic  <hniksic@xemacs.org>
1659
1660         * url.c (url_file_name): Respect the setting of
1661         opt.protocol_directories.
1662
1663         * main.c (main): Only check for ret=='?' when longindex is unset.
1664         (option_data): New option --protocol-directories.
1665
1666 2003-12-06  Hrvoje Niksic  <hniksic@xemacs.org>
1667
1668         * ftp.c (getftp): Ditto.
1669
1670         * http.c (gethttp): Correctly calculate bandwidth as total data
1671         read divided with download time.
1672
1673         * retr.c (fd_read_body): Separate the return values for data
1674         written and read.
1675
1676 2003-12-05  Hrvoje Niksic  <hniksic@xemacs.org>
1677
1678         * http.c (H_REDIRECTED): Respect the HTTP/1.1 "303 See Other"
1679         response code.
1680         Suggested by Dan Razzell.
1681
1682 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
1683
1684         * retr.c (fd_read_body): Report the amount of data *written* as
1685         amount_read.  This is not entirely logical, but that's what the
1686         callers expect, and it's not easy to change.
1687
1688         * ftp.c (ftp_loop_internal): Ditto.
1689
1690         * http.c (http_loop): Be smarter about assigning restval; if we're
1691         in the nth pass of a download, simply use the information we have
1692         about how much data has been retrieved as restval.
1693
1694         * ftp.c (getftp): Ditto for FTP "REST" command.
1695
1696         * http.c (gethttp): When the server doesn't respect range, skip
1697         the first RESTVAL bytes of the read body.  Never truncate the
1698         output file.
1699
1700         * retr.c (fd_read_body): Support skipping initial STARTPOS octets.
1701
1702 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
1703
1704         * http.c (skip_short_body): Renamed skip_body to skip_short_body;
1705         don't bother calling fd_read_body.
1706
1707 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
1708
1709         * retr.c (fd_read_body): Sanitize arguments and document them
1710         better.  Make sure the timer is created and updated only if
1711         necessary.  Updated callers.
1712
1713 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
1714
1715         * http.c (skip_body): New function.
1716         (gethttp): Use it to skip the body of the responses we don't care
1717         to download.  That allows us to reuse the connection.
1718         (gethttp): Trust that the HEAD requests will not generate body
1719         data.
1720
1721         * retr.c (fd_read_body): Don't write to OUT if it's NULL.
1722
1723 2003-11-29  Hrvoje Niksic  <hniksic@xemacs.org>
1724
1725         * http.c (gethttp): Initialize SSL only the first time when SSL
1726         URL is downloaded.
1727
1728 2003-11-29  Hrvoje Niksic  <hniksic@xemacs.org>
1729
1730         * cookies.c (cookie_header): Only generate the contents of the
1731         header, not the leading "Cookie: " or the trailing "\r\n".
1732
1733         * http.c (gethttp): When adding headers specified with `--header',
1734         allow them to override the headers generated by Wget.
1735
1736         * init.c (cmd_spec_header): Made opt.user_headers a vector.
1737
1738         * http.c (request_new): New function.  Returns a request structure
1739         which can be modified in various ways, most notably by adding HTTP
1740         headers to the request.
1741         (request_set_header): New function for adding the header to the
1742         request.  If the header is already available, it gets replaced.
1743         (request_send): Construct and send the request.
1744         (gethttp): Use the request_* functions to generate the request.
1745
1746 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
1747
1748         * http.c (gethttp): Don't include the Proxy-Authorization header
1749         in the request tunneled through proxy.
1750
1751 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
1752
1753         * http.c (gethttp): Use the CONNECT handle to establish SSL
1754         passthrough through non-SSL proxies.
1755
1756 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
1757
1758         * init.c: Don't #include netinet/Winsock stuff.
1759
1760 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
1761
1762         * http.c: Deleted the old functions header_process,
1763         header_extract_number, header_exists, header_strdup,
1764         http_process_range, http_process_none, http_process_type, and
1765         http_process_connection.
1766
1767         * http.c (response_new): New function.
1768         (response_header_bounds): Ditto.
1769         (response_header_copy): Ditto.
1770         (response_header_strdup): Ditto.
1771         (response_status): Ditto.
1772         (gethttp): Use the new response_* functions to parse the response.
1773         Support HTTP/0.9 responses.
1774
1775 2003-11-27  Hrvoje Niksic  <hniksic@xemacs.org>
1776
1777         * progress.c (create_image): Don't calculate ETA if nothing has
1778         been downloaded yet, because it causes division by zero.
1779
1780 2003-11-27  Hrvoje Niksic  <hniksic@xemacs.org>
1781
1782         * connect.c (bind_local): Rename sa_len to addrlen because IRIX
1783         headers define sa_len as a macro.
1784
1785 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
1786
1787         * html-parse.c (convert_and_copy): Remove embedded newlines when
1788         AP_TRIM_BLANKS is specified.
1789
1790 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
1791
1792         * ftp.c: Set con->csock to -1 where rbuf_uninitialize was
1793         previously used.
1794
1795 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
1796
1797         * Makefile.in (http$o): Added the trailing backslash that was
1798         missing.
1799
1800 2003-11-21  Hrvoje Niksic  <hniksic@xemacs.org>
1801
1802         * headers.c: Removed.  The file is no longer relevant, now that no
1803         special handling of headers is done by the rbuf code.  Moved
1804         portions to http.c.
1805
1806 2003-11-21  Hrvoje Niksic  <hniksic@xemacs.org>
1807
1808         * rbuf.c: Removed.
1809
1810         * ftp-basic.c (ftp_response): Use fd_read_line.  No longer use
1811         struct rbuf.  Updated all callers.
1812
1813         * http.c (gethttp): Use fd_read_head to read all the headers in
1814         one go.
1815         (next_header): New function.
1816
1817         * retr.c (fd_read_line): New function: reads a line from FD,
1818         leaving the rest of the data unread.
1819         (fd_read_head): New function.
1820
1821         * connect.c (fd_peek): New function, implements peeking.
1822         (poll_internal): New function.
1823         (fd_read): Use it.
1824         (fd_write): Ditto.
1825         (fd_peek): Ditto.
1826         (fd_register_transport): Allow registering a "peeker" callback.
1827
1828 2003-11-20  Hrvoje Niksic  <hniksic@xemacs.org>
1829
1830         * connect.c: Renamed xread/xwrite/xclose to
1831         fd_read/fd_write/fd_close.  The "x" prefix is not appropriate
1832         because the semantics have diverged from read/write/close too
1833         significantly.  Updated all callers.
1834
1835 2003-11-20  Hrvoje Niksic  <hniksic@xemacs.org>
1836
1837         * connect.c (sock_write): It's not necessary to initialize RES.
1838
1839 2003-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
1840
1841         * main.c (main): Don't reference opt.ipv4_only and opt.ipv6_only
1842         if IPv6 is disabled.
1843
1844 2003-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
1845
1846         * connect.c (socket_has_inet6): Only compile it if IPv6 is enabled
1847         and AI_ADDRCONFIG is missing.
1848
1849 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
1850
1851         * gen_sslfunc.c (ssl_init_prng): Warn the user when using a weak
1852         random seed.
1853
1854 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
1855
1856         * host.c (address_list_contains): Renamed address_list_find to
1857         address_list_contains because its result is boolean.
1858
1859 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
1860
1861         * connect.c (select_fd): Return 1 if select is not available.
1862
1863 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
1864
1865         * connect.c (connect_to_host): Don't reference address list after
1866         releasing it.
1867
1868 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
1869
1870         * main.c (print_help): Fix alignment of FTP options output.
1871
1872 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
1873
1874         * host.c (lookup_host): Check for the ability to create IPv6
1875         sockets here.
1876
1877         * init.c (defaults): Don't auto-set --inet4-only on IPv6-less
1878         systems.
1879
1880 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
1881
1882         * main.c (print_help): Fix typo in `-O' help message.  Fix docs of
1883         -Y/--proxy.  Fix docs of `--cookies' and `--glob'.  Improve docs
1884         of --convert-links.  Fix docs of SSL options.
1885
1886 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
1887
1888         * ftp-basic.c: Don't include <arpa/inet.h> and others because
1889         they're no longer needed.
1890
1891 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
1892
1893         * main.c (main): Don't allow setting of both opt.ipv4_only and
1894         opt.ipv6_only.
1895
1896         * init.c (defaults): Mark opt.ipv4_only specially when set
1897         automatically.
1898
1899 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
1900
1901         * host.c (lookup_host): Use AI_ADDRCONFIG only if the family is
1902         unspecified.  This ensures that specifying `--no-inet4' on systems
1903         where IPv6 resolves, but doesn't work behaves the same regardless
1904         of the availability of AI_ADDRCONFIG.
1905
1906 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
1907
1908         * host.c: Don't refer to the now-removed function
1909         forget_host_lookup in the documentation of lookup_host.
1910
1911 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
1912
1913         * http.c (persistent_available_p): Correctly specify the endpoint
1914         argument to socket_ip_address.
1915         (gethttp): When printing the "reusing connection to..." message,
1916         specify the host name of the reused connection, not the current
1917         host name.  That makes more sense because it provides a useful
1918         piece of information -- we know to which host we're supposed to
1919         connect anyway!
1920
1921 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
1922
1923         * init.c: Make sure the options are in alphabetic order!
1924
1925         * host.c (lookup_host): Merge lookup_host_passive and lookup_host
1926         after all -- having both would result in some code duplication.
1927         (lookup_host): Set hints.ai_family to AF_INET if ipv4_only is
1928         requested.  Likewise, set it to AF_INET6 for ipv6_only.  Specify
1929         AI_ADDRCONFIG where available.
1930         (lookup_host): New flag LH_REFRESH that specifies that a cached
1931         entry for HOST should be refreshed.
1932         (cache_query): New function.
1933         (cache_store): Ditto.
1934         (cache_remove): Ditto.
1935         (forget_host_lookup): No longer necessary, replaced with static
1936         function cache_remove.
1937
1938 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
1939
1940         * main.c: Enable -4 and -6 only if IPv6 is enabled.
1941
1942 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
1943
1944         * connect.c (register_transport): Renamed from register_extended.
1945         Explain the intended usage.
1946
1947 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
1948
1949         * url.c (uri_merge): Merging "foo" and "bar" should result in
1950         "bar", not in "foo/bar".
1951         (path_simplify): Don't remove empty path elements; don't
1952         special-case leading slash.
1953         (path_simplify): Don't swallow ".."'s at the beginning of string.
1954         E.g. simplify "foo/../../bar" as "../bar", not as "bar".
1955         (append_uri_pathel): Defang ".." path element upon encountering
1956         it.
1957
1958 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
1959
1960         * http.c (persistent_available_p): Don't attempt to talk to two
1961         different SSL sites over the same secure connection.
1962
1963 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
1964
1965         * http.c (gethttp): Ditto.
1966
1967         * ftp.c (getftp): Use retryable_socket_connect_error instead of
1968         CONNECT_ERROR.
1969
1970         * wget.h (CONNECT_ERROR): Removed.
1971
1972         * connect.c (retryable_socket_connect_error): New function instead
1973         of unsupported_socket_family_error.
1974
1975 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
1976
1977         * wget.h (CONNECT_ERROR): Use it.
1978
1979         * connect.c (unsupported_socket_family_error): New function.
1980
1981 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
1982
1983         * connect.c (bind_local): Renamed bindport to bind_local; return
1984         the socket directly.  Updated callers.
1985         (accept_connection): Renamed acceptport to accept_connection;
1986         return the created socket directly.  Updated callers.
1987
1988 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
1989
1990         * init.c (defaults): Turn on opt.ipv4_only if we're compiling with
1991         IPv6, and AI_ADDRINFO is not available, and AF_INET6 sockets can't
1992         be created.
1993
1994 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
1995
1996         * host.c (lookup_host): Document the fact that the addresses are
1997         returned in order.
1998
1999 2003-11-12  Hrvoje Niksic  <hniksic@xemacs.org>
2000
2001         * utils.c: Use limits.h only where available.
2002
2003         * hash.c: Use INVALID_PTR and INVALID_PTR_BYTE.  Include limits.h.
2004
2005 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
2006
2007         * main.c: Added options --inet4-only and --inet6-only.
2008
2009 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
2010
2011         * host.c (host_errstr): Use the more standard message "Unknown
2012         host".
2013
2014 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
2015
2016         * connect.c (connect_to_host): Use that flag to decide whether to
2017         re-resolve the host name.
2018
2019         * host.c (struct address_list): Added a flag that maintains
2020         whether the connection worked at some point.
2021
2022 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
2023
2024         * host.c (lookup_host): Special-case the numeric addresses only in
2025         the non-IPv6 case.
2026
2027 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
2028
2029         * connect.c (resolve_bind_address): Call lookup_host_passive.
2030         Make sure that opt.bind_address is resolved only once.
2031
2032         * host.c (lookup_host_passive): New function, handles "passive"
2033         lookups.
2034         (lookup_host): Remove the passive flags.  Remove the
2035         family-related flags -- use ip_default_family instead.
2036
2037 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
2038
2039         * html-url.c: Get URLs from <object data="...">.
2040
2041 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
2042
2043         * main.c (option_data): Specify the command to use for --mirror.
2044
2045 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2046
2047         * cookies.c (cookie_handle_set_cookie): Specify exact match for
2048         unspecified domains.
2049
2050 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2051
2052         * main.c (main): Removed one-letter options `-C', `-g', `-G', and
2053         `-s'.
2054
2055 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2056
2057         * main.c (main): Add --dont-remove-listing for backward
2058         compatibility with previous versions.
2059         (print_help): Fix typo, spotted by Dennis Smit.
2060
2061 2003-11-08  Gisle Vanem  <giva@bgnett.no>
2062
2063         * ftp-basic.c: Support Windows-2000 ftp servers. Win-2000 *is*
2064         Win-NT 5.0 so calling it ST_WINNT is okay I guess.
2065
2066 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2067
2068         * progress.c (update_speed_ring): Clear the speed ring when the
2069         download stalls.
2070
2071         * retr.c (get_contents): Specify 0.95s read timeout, so that the
2072         progress gauge can be updated even when data arrives very slowly
2073         or stalls.
2074
2075 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2076
2077         * utils.c (wtimer_allocate): Bless the use of wtimer_read on a
2078         timer that has merely been allocated because get_contents() does
2079         that.
2080         (wtimer_update): Abort if the timer is not initialized.
2081
2082 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2083
2084         * retr.c (get_contents): Pass the timer to limit_bandwidth().
2085
2086         * utils.c (wtimer_update): New function instead of wget_elapsed;
2087         just update the timer, but don't return anything.
2088         (wtimer_read): Read and return the last known value of the timer.
2089
2090 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2091
2092         * http.c (persistent_available_p): Instead of matching all the
2093         addresses of HOST and last host, determine the peer's IP address
2094         with socket_ip_address and see if that address is one of those
2095         HOST resolves to.
2096
2097         * host.c (address_list_match_all): Removed.
2098         (address_list_find): New function, finds an IP address in the
2099         address list.
2100
2101         * ftp.c (ftp_do_pasv): Get the peer's address here, and pass it to
2102         ftp_epsv so it doesn't need to call getpeername.
2103
2104         * ftp-basic.c (ftp_port): Use socket_ip_address instead of
2105         getpeername.
2106         (ftp_lprt): Ditto.
2107
2108         * connect.c (socket_ip_address): Replaces conaddr, generalized to
2109         either get peer's or local address.
2110         (sockaddr_get_data): Made local to this file.
2111
2112 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2113
2114         * hash.c (HASH_POSITION): Explicitly accept the hash function.
2115         (grow_hash_table): Extract ht->hash_function outside the loop.
2116         (hash_table_remove): Ditto.
2117         (hash_table_clear): Fill entries with 0xff to clear them.
2118         (hash_table_remove): Mark entries as deleted with the correct
2119         marker.
2120
2121 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2122
2123         * http.c (persistent_available_p): No reason for the host lookup
2124         to be silent -- it's a lookup like any other.
2125
2126 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2127
2128         * connect.c (register_extended): Check that fd >= 0.
2129
2130 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
2131
2132         * connect.c (LAZY_RETRIEVE_INFO): Set LAST_INFO.
2133
2134 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
2135
2136         * hash.c (NON_EMPTY): Use the all-bit-set value as the marker that
2137         the field is empty.  This allows NULL pointer and 0 value to be
2138         used as keys, which is necessary for the connect.c code to work
2139         when fd==0.
2140         (hash_table_new): Fill mappings with 0xff.
2141         (grow_hash_table): Ditto.
2142
2143 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
2144
2145         * url.c (url_parse): Allow empty ports.
2146
2147 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
2148
2149         * main.c (print_help): Break the help string into multiple chunks.
2150         (cmdline_option): New option handler OPT_FUNCALL.  Generalized
2151         HANDLE_CMD to generic DATA.
2152         (option_data): Use the new OPT_FUNCALL feature.
2153
2154 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
2155
2156         * log.h: Declare log_init, log_close, and
2157         log_request_redirect_output here.
2158
2159 2003-11-05  Dennis Smit  <ds@nerds-incorporated.org>
2160
2161         * main.c: (main): added --preserve-permissions option.
2162
2163         * ftp.c (ftp_retrieve_list): added support for
2164         --preserve-permissions option.
2165
2166         * init.c: added support for --preserve-permission option.
2167
2168         * option.h: added support for --preserve-permission option.
2169
2170 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
2171
2172         * main.c (init_switches): New function.  Convert option_data to
2173         long_options and short_options, which can be fed to getopt_long.
2174         (main): Execute command-line options by consulting option_data.
2175
2176 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
2177
2178         * gen_sslfunc.c (ssl_read): Implement a more correct check for
2179         EINTR.
2180         (ssl_write): Ditto.
2181         (init_ssl): Use a global SSL context.
2182
2183 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
2184
2185         * connect.c (xclose): Free INFO even if it doesn't provide a
2186         closer.
2187
2188 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
2189
2190         * connect.c: Updated all callers of
2191         iread/ssl_iread/iwrite/ssl_iwrite to use xread and xwrite instead.
2192
2193         * rbuf.h (struct rbuf): Removed the SSL member because SSL is
2194         handled automatically by xread.
2195
2196         * hash.c (ptrhash): Made private.
2197         (ptrcmp): Ditto.
2198         (inthash): Removed.
2199
2200         * connect.c (select_fd): Don't set errno, leave it to the caller.
2201
2202         * gen_sslfunc.c (connect_ssl): Use register_extended to register
2203         SSL callbacks for communication with SSL-enabled endpoints.
2204         (ssl_read): New function.
2205         (ssl_write): Ditto.
2206         (ssl_poll): Ditto.
2207         (ssl_close): Ditto.
2208
2209         * connect.c (register_extended): New function -- register
2210         callbacks for basic socket operations.
2211         (xread): Ditto.
2212         (xwrite): Ditto.
2213         (xclose): Ditto.
2214         (sock_read): New function, default implementation for reading.
2215         (sock_write): Ditto for writing.
2216         (sock_poll): Ditto for polling.
2217         (sock_close): Ditto for closing.
2218
2219 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
2220
2221         * connect.c (bindport): Fix compilation under pre-C99 compilers.
2222
2223 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
2224
2225         * connect.c (connect_to_ip): More compact error checking.
2226         (bindport): Don't treat failed setsockopt as a fatal error.
2227
2228 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
2229
2230         * connect.c (resolve_bind_address): Use a more accurate error
2231         message -- we're not binding to ANY, we're disabling bind
2232         altogether.
2233
2234 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
2235
2236         * cookies.c (save_cookies_mapper): Respect the setting of
2237         keep-session-cookies.
2238         (cookie_jar_load): Import session cookies.
2239         Based on code submitted by Nicolas Schodet.
2240
2241         * utils.c (datetime_str): Use information in TM when it's
2242         non-NULL.
2243
2244         * main.c (main): New option `--keep-session-cookies'.
2245
2246 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
2247
2248         * Makefile.in (realclean): Delete config.h.in.
2249
2250 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
2251
2252         * config-post.h: New file, included from now autogenerated
2253         config.h.in.
2254
2255 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
2256
2257         * progress.c (progress_handle_sigwinch): Don't call
2258         determine_screen_width() from the signal handler.  Instead, just
2259         set a volatile variable.
2260         (bar_create): Check whether SIGWINCH was received.
2261         (bar_update): Ditto.
2262
2263         * sysdep.h: Define SYSTEM_FNMATCH only if HAVE_FNMATCH_H is true.
2264
2265 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
2266
2267         * utils.c (xsleep): New function.  Uses nanosleep where available,
2268         resuming sleeps interrupted by signals.  Updated callers of sleep
2269         and usleep to use xsleep.
2270
2271 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
2272
2273         * ftp-basic.c (ftp_login): Remove shadowing (and bogus)
2274         declaration of SEED.
2275
2276 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
2277
2278         * log.c (logvprintf): Documented better.  Renamed to
2279         log_vprintf_internal to avoid confusion with the public API
2280         functions logprintf and logputs.
2281
2282 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
2283
2284         * wget.h (N_): Don't parenthesize argument.
2285
2286 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
2287
2288         * host.h (ADDRESS_IPV4_DATA): Don't take the address of in.s_addr
2289         because that doesn't work on machines that define it as bitfield.
2290
2291 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
2292
2293         * connect.c (select_fd): Generalize the third argument into WAIT,
2294         so that the caller can request waiting for both read and write.
2295         Updated callers.
2296
2297 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
2298
2299         * html-url.c (cleanup_html_url): Destroy the hash tables, don't
2300         just call free on them.
2301         (init_interesting): Use hash_table_put instead of string_set_add
2302         because we don't need the strdup that the latter function
2303         performs.
2304
2305         * init.c (cleanup): Don't pass NULL to cookie_jar_delete.
2306
2307         * xmalloc.c (xfree_real): Abort when passed a NULL pointer.
2308         (xfree_debug): Print at the file and line of the offending call to
2309         free.
2310
2311 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
2312
2313         * wget.h: Retired the `boolean' type.  Moved the DEFAULT_LOGFILE
2314         define to log.h.  Moved the INFINITE_RECURSION define to recur.h.
2315
2316         * xmalloc.h: Renamed FREE_MAYBE to xfree_null and moved the
2317         definition from wget.h to xmalloc.h.
2318
2319 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
2320
2321         * html-parse.c (decode_entity): New function; split the decoding
2322         of entities here.
2323         (convert_and_copy): Use it to decode entities.
2324         (decode_entity): Handle the &apos entity.
2325         (decode_entity): Don't decode Latin 1 numeric entities.  Don't
2326         decode &#0.
2327
2328 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
2329
2330         * ftp-opie.c (calculate_skey_response): Use uint32_t instead of
2331         `unsigned long' for the cheksum array.  Document the function.
2332
2333 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
2334
2335         * connect.c (acceptport): Don't call select_fd when timeout is not
2336         requested.
2337
2338 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
2339
2340         * host.c: Removed the ip_default_family global variable.
2341
2342         * host.c (lookup_host): Document the function.  Fixed declaration
2343         of VEC.
2344
2345 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
2346
2347         * various: Use new macros xnew, xnew0, xnew_array, and xnew0_array
2348         in various places.
2349
2350 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
2351
2352         * wget.h: Move declarations of malloc and logging code to
2353         xmalloc.h and log.h respectively to unclutter this file.
2354         (STRDUP_ALLOCA): Made it side-effect free.
2355
2356         * xmalloc.h: New files.  Define macros xnew, xnew0, xnew_array,
2357         and xnew0_array.
2358
2359         * xmalloc.c: New file.  Move the xmalloc routines here.
2360
2361 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
2362
2363         * connect.c (sockaddr_set_data): Remove the broken code that
2364         checked for NULL address.
2365
2366 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
2367
2368         * host.c (address_list_from_single): Removed.
2369         (address_list_from_ipv4_addresses): Renamed from
2370         address_list_from_vector.
2371
2372 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
2373
2374         * sysdep.h (CLOSE): Don't call close on file descriptors less than
2375         0, i.e. on uncreated sockets.
2376
2377         * connect.c (resolve_bind_address): Work on struct sockaddr
2378         directly.
2379         (connect_to_host): Replacement for connect_to_many.  Resolve HOST
2380         and connect to any of its addresses.  If we can't connect and the
2381         host name lookup was cached, try to resolve it again.  This should
2382         fix problems with hosts behind dynamic DNS.  Updated all callers.
2383         (connect_to_ip): Replacement for connect_to_one.  Removed SILENT;
2384         added the argument PRINT instead.  Updated all callers.
2385         (set_connection_host_name): Removed.
2386
2387         * host.c (address_list_address_at): New function instead of
2388         address_list_copy_one. It returns a pointer to ip_address *, so
2389         it's not necessary to copy the data.
2390         (address_list_cached_p): New function.
2391         (forget_host_lookup): Ditto.
2392
2393         * connect.c: Got rid of the MSOCK global variable.  Made bindport
2394         return the local socket it creates.  Added a new argument to
2395         acceptport, the socket to call accept on.  Updated callers.
2396         (closeport): Removed.
2397
2398         * connect.c: Moved the sockaddr code from host.c to this file,
2399         because most of that stuff is used for connecting, and has nothing
2400         to do with host names anyway.
2401         (sockaddr_set_data, sockaddr_get_data): New functions, replace the
2402         old sockaddr_set_address, sockaddr_set_port, sockaddr_get_address,
2403         and sockaddr_get_port.
2404
2405 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
2406
2407         * sysdep.h: Use `S >= 8' rather than `S == 8' when looking for
2408         large integers.
2409
2410 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
2411
2412         * url.c (append_uri_pathel): New argument ESCAPED_P that says
2413         whether [B, E) is to be treated as URL-escaped or not.  If
2414         ESCAPED_P is false, don't unescape the region.
2415         (url_file_name): u->file is not URL-escaped.
2416
2417 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
2418
2419         * retr.c (retrieve_from_file): Use retrieve_tree for
2420         page-requisites.
2421
2422         * main.c (main): Don't define opt.recursive when -p is used.
2423         Instead, make sure that recursion is used for HTTP in that case.
2424
2425 2003-10-29  Hrvoje Niksic  <hniksic@xemacs.org>
2426
2427         * host.h: Defined accessors for elements of ip_address.  Updated
2428         all callers.
2429         (address_list_match_all): Use memcmp in the non-IPv6 case.
2430
2431         * wget.h (CONNECT_ERROR): Don't retry connecting if connect()
2432         returned EAFNOSUPPORT.
2433
2434 2003-10-27  Mauro Tortonesi <mauro@deepspace6.net>
2435
2436         * connect.h: changed bindport prototype and added the related
2437         BIND_ON_IPV4_ONLY and BIND_ON_IPV6_ONLY flags.
2438
2439         * connect.c: changed bindport and resolve_bind_address to allow
2440         protocol-version specific DNS resolution. modified conaddr,
2441         acceptport and connect_to_one to make use of struct
2442         sockaddr_storage and of the new ip_address structure.
2443
2444         * ftp-basic.c: added LPRT/LPSV (RFC1639) support, refactored
2445         PORT/PASV (RFC959) and EPRT/EPSV (RFC2428) support code.
2446
2447         * ftp.c: added the ftp_do_port and ftp_do_pasv functions to
2448         handle FTP over IPv6.
2449
2450         * ftp.h: changed prototype of ftp_epsv and added prototypes for
2451         ftp_lpsv, ftp_lprt and ftp_eprt.
2452
2453         * host.c: renamed the
2454         wget_sockaddr_set_address and wget_sockaddr_get_addr, and
2455         wget_sockaddr_{s,g}et_port couples to sockaddr_{s,g}et_address and
2456         sockaddr_{g,s}et_port respectively.  changed
2457         address_list_match_all, address_list_from_addrinfo sockaddr_len,
2458         pretty_print_address, lookup_host, sockaddr_{s,g}et_address and
2459         sockaddr_{g,s}et_port to make use of struct sockaddr_storage and
2460         of the new ip_address structure.  removed map_ipv4_to_ip and
2461         map_ip_to_ipv4.
2462
2463         * host.h: redefined structure ip_address and removed structure
2464         wget_sockaddr.
2465
2466 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
2467
2468         * sysdep.h: Include inttypes.h where available.
2469
2470         * host.c: Switch from u_int32_t to uint32_t.
2471
2472 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
2473
2474         * netrc.c (parse_netrc): Reset the QUOTE flag after the closing
2475         quote.
2476
2477 2003-10-25  Hrvoje Niksic  <hniksic@xemacs.org>
2478
2479         * url.c (is_valid_ipv6_address): Reformat to GNU coding style.
2480         Use enums for NS_IN* constants.  Use ISXDIGIT.
2481
2482         * convert.c (construct_relative): Document better how the function
2483         works.
2484
2485 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
2486
2487         * config.h.in: Deploy preprocessor magic to avoid Ultrix's
2488         <netdb.h> include <bitypes.h> which defines its own u_int32_t.
2489         Reported by Bernhard Simon.
2490
2491 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
2492
2493         * version.c: Bump version.
2494
2495 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
2496
2497         * url.c: Ditto.
2498
2499         * html-parse.c (advance_declaration): Don't use trailing comma in
2500         enum because older compilers don't support it.
2501
2502         * utils.c: Don't redefine HAVE_SIGSETJMP.
2503
2504 2003-10-16  Hrvoje Niksic  <hniksic@xemacs.org>
2505
2506         * convert.c (construct_relative): Don't handle absolute files
2507         specially -- for example, -P/tmp/foo shouldn't imply that
2508         converted files must refer to "/tmp/foo/..."!
2509
2510 2003-10-15  Hrvoje Niksic  <hniksic@xemacs.org>
2511
2512         * http.c: Consider status 307 a valid redirect.
2513
2514 2003-10-15  Philip Stadermann  <philip.stadermann@credativ.de>
2515
2516         * ftp.c (ftp_retrieve_glob): Correctly loop through the list whose
2517         elements might have been deleted.
2518
2519 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
2520
2521         * html-url.c (tag_handle_meta): Set the Refresh link to expect
2522         HTML.
2523         (append_one_url): Renamed to append_url.
2524
2525 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
2526
2527         * sysdep.h: Only define u_int32_t.
2528
2529 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
2530
2531         * utils.c (large_int_to_string): Use snprintf() to print the
2532         number.  This will work even on systems where libc doesn't
2533         understand %lld, but the compiler does, because it will use our
2534         snprintf replacement.
2535
2536         * init.c (parse_bytes_helper): New function.
2537         (cmd_bytes): Use it to parse bytes, but cast the result to long.
2538         (cmd_bytes_large): Ditto, but store the result to LARGE_INT.  Used
2539         for --quota so that --quota=10G works even on machines without
2540         long long.
2541
2542         * options.h (struct options): Declare quota as LARGE_INT.
2543
2544         * retr.c (downloaded_exceeds_quota): Removed.
2545         (downloaded_increase): Ditto.
2546         (total_downloaded_bytes): New variable, replaces opt.downloaded,
2547         which was the wrong place for it anyway.  Updated callers of
2548         downloaded_exceeds_quota and downloaded_increase to check this
2549         variable directly.
2550
2551         * sysdep.h: Get rid of VERY_LONG_TYPE.  Use LARGE_INT for the same
2552         purpose, defined as `long', `long long' or `double', depending on
2553         size of long and whether long long is available.
2554
2555 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
2556
2557         * sysdep.h: Also check size of short for int32_t.
2558
2559 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
2560
2561         * host.c (lookup_host): Use u_int32_t to store the result of
2562         inet_addr().  That removes the need for offset fiddling, caring
2563         about endian-ness, etc.
2564
2565         * sysdep.h: Define int32_t and u_int32_t if not available.
2566
2567 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
2568
2569         * ftp-basic.c (ftp_epsv): Use socklen_t * as the third argument to
2570         getpeername.
2571
2572         * config.h.in: Define socklen_t stub.
2573
2574         * host.c (sockaddr_len): Return socklen_t.
2575
2576         * connect.c (conaddr): Use socklen_t as the third argument to
2577         accept, getsockname, and connect.
2578
2579 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
2580
2581         * recur.c (retrieve_tree): Don't descend into documents that are
2582         not expected to contain HTML, regardless of their content-type.
2583
2584         * html-url.c (tag_url_attributes): Record which attributes are
2585         supposed to yield HTML links that can be followed.
2586         (tag_find_urls): Propagate that information to the caller through
2587         struct urlpos.
2588
2589 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
2590
2591         * hash.c (find_mapping): Return the next available mapping when
2592         the key is not found, not NULL.
2593         (hash_table_put): Use find_mapping to find the storage for the new
2594         data.
2595         (hash_table_put): Grow the table before exceeding maximum
2596         fullness, not afterwards.
2597
2598 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
2599
2600         * hash.c (hash_table_new): Slightly change the meaning of the
2601         first parameter.  Instead of being the minimum initial size, it is
2602         now the minimum number of items that the hash table can take
2603         without needing to resize.
2604
2605 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
2606
2607         * html-url.c (init_interesting): Initialize interesting_tags and
2608         interesting_attributes as hash tables.  This simplifies the code
2609         immensely because hash tables handle allocation and remove
2610         duplicates automatically.
2611         (find_tag): Removed.
2612         (collect_tags_mapper): Instead of calling find_tag, simply get the
2613         entry from interesting_tags hash table, which is both simpler and
2614         faster.
2615
2616 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
2617
2618         * hash.c (hash_table_get): Declare hash-table argument as const.
2619         (find_mapping): Ditto.
2620         (hash_table_get_pair): Ditto.
2621         (hash_table_contains): Ditto.
2622         (hash_table_count): Ditto.
2623
2624 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
2625
2626         * html-url.c (get_urls_html): Parse the appropriate flags to
2627         html-parse.c.
2628
2629         * html-parse.c (map_html_tags): Accept FLAGS from the caller
2630         instead of examining OPT.
2631
2632 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
2633
2634         * html-url.c (find_tag): Switch to binary search.
2635
2636 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
2637
2638         * main.c (print_help): Fix typo; stured -> stored.
2639
2640 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
2641
2642         * getopt.c: Add definitions of getopt_long and getopt_long_only.
2643
2644 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
2645
2646         * config.h.in: Renamed DEBUG to ENABLE_DEBUG.  ENABLE_DEBUG is, I
2647         think, a better name, because it implies that debugging output is
2648         merely possible, not "on by default", as might be construed from
2649         just DEBUG.
2650
2651 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
2652
2653         * ftp.c (has_insecure_name_p): Define it here.
2654
2655         * utils.c (has_wildcards_p): Define it here.
2656
2657         * sysdep.h: Declare fnmatch-related macros here, if not using
2658         system fnmatch().  Update .c files to not declare fnmatch.h
2659         directly.
2660
2661         * cmpt.c (fnmatch): Moved here.  Use it only under non-GNU libc.
2662
2663 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
2664
2665         * getopt.c: Newer version, imported from Free libit.
2666
2667 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
2668
2669         * cookies.c (struct cookie): Remove unused backpointer to cookie
2670         jar.
2671
2672 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
2673
2674         * cmpt.c (memmove): Comment out, since it's no longer used.
2675
2676         * cookies.c (cookie_jar_generate_cookie_header): Allocate room for
2677         chains in one pass.
2678         (find_chains_of_host): Assume that the caller has allocated DEST
2679         to be sufficiently large to take all the data.
2680         (eliminate_dups): Run through the array and eliminate dups on the
2681         fly instead of using memmove.
2682         (cookie_jar_process_set_cookie): Free cookie->domain before
2683         re-setting it.
2684
2685 2003-10-05  Gisle Vanem  <giva@bgnett.no>
2686
2687         * mswindows.c (set_sleep_mode): Fix type of
2688         _SetThreadExecutionState.
2689
2690 2003-10-05  Hrvoje Niksic  <hniksic@xemacs.org>
2691
2692         * utils.c (file_size): Return -1 if fopen() returns NULL.  Prior
2693         to this patch, wget --post-file=nosuchfile dumped core.
2694
2695 2003-10-04  Gisle Vanem  <giva@bgnett.no>
2696
2697         * mswindows.c (run_with_timeout): Use WaitForSingleObject to wait
2698         for thread termination.
2699
2700 2003-10-04  Hrvoje Niksic  <hniksic@xemacs.org>
2701
2702         * log.c: Use `...' in function definitions; ansi2knr will convert
2703         them to va_dcl.  This allowed removal of the ugly VA_START_1 and
2704         VA_START_2 macros.
2705
2706 2003-10-03  Gisle Vanem  <giva@bgnett.no>
2707
2708         * connect.c: And don't include them here.
2709
2710         * mswindows.h: Include winsock headers here.
2711
2712 2003-10-03  Hrvoje Niksic  <hniksic@xemacs.org>
2713
2714         * html-parse.c (convert_and_copy): Move variable declarations
2715         before statements.
2716
2717 2003-10-02  Gisle Vanem  <giva@bgnett.no>
2718
2719         * mswindows.c (run_with_timeout): For Windows: Run the 'fun' in a
2720         thread via a helper function. Continually query the thread's
2721         exit-code until finished or timed out.
2722
2723 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
2724
2725         * wget.h (XMALLOC_ARRAY): Removed.
2726         (ALLOCA_ARRAY): Ditto.
2727
2728         * html-parse.c: Renamed alloca_p to resized.
2729         (GROW_ARRAY): Renamed DO_REALLOC_FROM_ALLOCA to GROW_ARRAY and
2730         returned it to html-parse.c, since nothing else was using it.
2731
2732 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
2733
2734         * retr.c (retrieve_url): Initialize DUMMY storage for DT.  Caught
2735         by valgrind.
2736
2737 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
2738
2739         * html-parse.c (convert_and_copy): Handle numeric entities in
2740         hexadecimal, &#xHH.
2741         (convert_and_copy): Copy the contents directly to the pool without
2742         a stack-allocated intermediary.
2743
2744 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
2745
2746         * utils.c (alarm_set): New function; use either setitimer or alarm
2747         to set up the alarm.
2748         (alarm_cancel): New function; cancel the alarm set up by
2749         alarm_set.
2750         (run_with_timeout): Use them.
2751
2752 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
2753
2754         * url.c (url_parse): Don't leak memory when a reencoded URL turns
2755         out to be invalid.
2756
2757         * url.c (parse_errors): Mark error messages for translation.
2758         (url_error): Translate error messages returned to the caller.
2759
2760 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
2761
2762         * ftp.c (ftp_loop_internal): Initialize TMRATE to NULL to shut up
2763         the compiler.
2764
2765 2003-09-26  Gisle Vanem  <giva@bgnett.no>
2766
2767         * src/mswindows.c: Added ws_percenttitle() showing progress in the
2768         window titlebar. Called from retr.c. Secured ws_mypath().
2769
2770         * windows/config.h.ms: alloca() prototype not needed.  Removed
2771         "#undef ENABLE_NLS"; should be in Makefile IMHO. Moved
2772         WGET_USE_STDARG from mswindows.h to config.ms.h because of #ifdef
2773         in log.c. (MSVC's vararg.h and stdarg.h are incompatible).
2774
2775 2003-09-29  Aaron Hawley <Aaron.Hawley@uvm.edu>
2776
2777         * ftp.c (getftp): --spider option should now work with FTP
2778         downloads.
2779         (ftp_loop_internal): quiet reports and calculations of downloads
2780         when --spider option set, nor try deleting when --delete-after
2781         also set.
2782         (ftp_loop): --spider will skip HTML-ification of .listing file.
2783
2784 2003-09-26  Gisle Vanem  <giva@bgnett.no>
2785
2786         * mswindows.c (read_registry): Removed.
2787         (set_sleep_mode): New function.
2788         (windows_main_junk): Call it.
2789
2790 2003-09-26  Gisle Vanem  <giva@bgnett.no>
2791
2792         * mswindows.c (read_registry): Fix invocation of registry
2793         functions.
2794
2795         * mswindows.c (read_registry): Condition definitions of sleep and
2796         usleep with not HAVE_SLEEP and HAVE_USLEEP respectively.  Define
2797         HAVE_SLEEP and HAVE_USLEEP under __DMC__.
2798
2799 2003-09-24  Hrvoje Niksic  <hniksic@xemacs.org>
2800
2801         * url.c (url_escape_1): Revert unintentional change to lowercase
2802         xdigit escapes.
2803         (url_escape_dir): Document that this function depends on the
2804         output of url_escape_1.
2805
2806 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
2807
2808         * progress.c (create_image): Print the current ETA if we're done
2809         with the download.
2810         (create_image): Change '-' display char to '+' in the progress bar.
2811
2812         * Makefile.in (clean): Remove .libs.
2813
2814 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
2815
2816         * cookies.c (struct cookie): New flag domain_exact.
2817         (update_cookie_field): Skip leading dot in domain.
2818         (find_matching_chains): Match numeric addresses exactly; don't
2819         needlessly copy HOST to the stack.
2820         (matching_cookie): Added argument HOST.  If cookie->domain_exact
2821         is set, check that HOST is equal to cookie->domain.
2822         (cookie_jar_load): Only use TAB as delimiter.  Document the
2823         meaning of DOMAIN-FLAG.  Skip leading dot in domain.
2824         (cookie_jar_load): Don't ignore DOMAIN-FLAG -- instead, set
2825         domain_exact to true if DOMAIN-FLAG is false.
2826         (save_cookies_mapper): If domain_exact is false, prepend the
2827         domain with dot, like Mozilla does.
2828
2829 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
2830
2831         * progress.c (create_image): Print the initial part of the
2832         download with '-' characters, analogous to how dot progress prints
2833         the initial part with ','.
2834
2835         * hash.c (ptrhash): New function.
2836         (ptrcmp): Ditto.
2837         (hash_table_new): Default to identity hash table.
2838
2839 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
2840
2841         * safe-ctype.h (_sch_test): The cast of BIT to unsigned char was
2842         broken -- _sch_istable bitmasks are 16-bit, not 8-bit!  Cast BIT
2843         to unsigned short instead.
2844
2845 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
2846
2847         * url.c (path_simplify): Instead of calls to memmove, handle "./"
2848         and "../" by advancing pointers.
2849
2850 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
2851
2852         * retr.c (getproxy): Moved from url.c.
2853
2854         * convert.c: Split off link conversion from url.c into separate
2855         file.  Also included the book-keeping stuff from recur.c.
2856
2857 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
2858
2859         * init.c: Improved documentation of functions.
2860         (cmd_boolean): Attempt to make code that tries to avoid calling
2861         strcmp for "speed" a bit more readable.
2862
2863         * init.c (simple_atof): Report error on encountering non-digit,
2864         non-"." character.
2865         (simple_atoi): Replacement for myatoi(), calling interface
2866         compatible with simple_atof.  Updated myatoi's callers.
2867
2868 2003-09-21  Bertrand Demiddelaer  <bert@b3rt.org>
2869
2870         * url.c (path_simplify): Would read two bytes past the end of the
2871         string in the "./" case.
2872
2873 2003-09-21  Matthew J. Mellon  <mellon@tymenet.com>
2874
2875         * http.c (gethttp): Recognize content-type "application/xhtml+xml"
2876         as what Wget considers "text/html".
2877
2878 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
2879
2880         * connect.c (connect_with_timeout): Made timeout type double.
2881
2882         * options.h (struct options): New members read_timeout,
2883         dns_timeout, and connect_timeout.
2884         Use them.
2885
2886 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
2887
2888         * init.c (simple_atof): New function.
2889         (cmd_time): Use it.
2890         (cmd_bytes): Accept things like "1.5k" and such.  Use simple_atof
2891         to parse decimals.
2892
2893         * retr.c (limit_bandwidth): Adjust each sleep by the error of the
2894         previous one.
2895
2896 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
2897
2898         * main.c (main): Use setoptval() for setting the options.  Use
2899         run_command for `-e'.
2900
2901         * init.c (parse_line): Rewritten to return COMIND right away.
2902         Changed linkage to static.
2903         (run_wgetrc): Use the available comind when calling setval, so it
2904         doesn't have to be computed twice.
2905         (setval_internal): New function, runs the command's action without
2906         any error checking.
2907         (setoptval): New function, does what setval used to do, but exits
2908         in case of error.
2909         (run_command): New function.
2910
2911 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
2912
2913         * connect.c (select_fd): Change MAXTIME's type to double.  Handle
2914         its decimal part.
2915
2916         * retr.c (sleep_between_retrievals): In the random-wait case, use
2917         random_float() to wait between 0 and 2*opt.wait seconds.
2918
2919         * utils.c (run_with_timeout): Accept `double' timeouts.  Correctly
2920         handle timeout values in (0, 1) range.
2921         (random_float): New function.
2922
2923         * options.h (struct options): Change the types of wait, waitretry,
2924         and timeout to double.
2925
2926         * init.c (cmd_time): Accept floating point time.
2927
2928 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
2929
2930         * retr.c (get_contents): Cosmetic fixes.
2931
2932 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
2933
2934         * url.c (uri_merge): Get rid of uri_merge_1.
2935         (uri_merge): Merge "foo//", "bar" as "foo//bar", not "foo///bar",
2936         i.e. don't add an extra slash merely because BASE ends with two
2937         slashes.
2938         (parse_credentials): Renamed from parse_uname.  Rewrittern in
2939         standard [beg, end) calling style.
2940         (url_skip_credentials): Renamed from url_skip_uname.  Made static.
2941         (url_skip_credentials): Include # and ; as terminators.  Old code
2942         would mistakenly consider "http://foo.com#hniksic@iskon.hr" to
2943         contain a username.
2944         (url_skip_scheme): Removed because it was unused.
2945         (url_has_scheme): Require "scheme" to be at least one char long.
2946
2947 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
2948
2949         * url.c (url_file_name): Expect NULL dir_prefix.
2950
2951         * init.c (cmd_file): Use a macro to prevent multiple #ifdef
2952         WINDOWS.
2953         (defaults): Set dir_prefix to NULL by default.
2954
2955 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
2956
2957         * safe-ctype.h (_sch_test): Cast BIT to unsigned char, like latest
2958         gcc does.
2959
2960 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
2961
2962         * wget.h (BOUNDED_TO_ALLOCA): Evaluate PLACE only once.
2963         (ARRAY_SIZE): Renamed to countof.  All callers updated.
2964
2965 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
2966
2967         * main.c (main): New option --strict-comments.
2968
2969         * html-parse.c (find_comment_end): New function: simple BM search
2970         for "-->".
2971         (map_html_tags): Use it if looking at a comment and not in strict
2972         comments mode.
2973
2974 2003-09-17  Aurelien Marchand  <artaxerxes@users.sf.net>
2975
2976         * ftp.h: Added OS400 system in enum
2977         * ftp-basic.c: recognize OS400 systems
2978         * ftp.c: don't prepend the CWD if talking to OS400, since it
2979         breaks the change in library
2980
2981 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
2982
2983         * retr.c (get_contents): Pass the correct argument to ssl_iread.
2984
2985 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
2986
2987         * safe-ctype.h: Don't #define ctype.h macros to errors because
2988         that loses when someone #include's ctype.h after safe-ctype.h.
2989
2990 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
2991
2992         * url.c: Undef U, W, C after use.
2993
2994 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
2995
2996         * init.c (cmd_spec_restrict_file_names): Allow the OS setting to
2997         be augmented by ",nocontrol" which means don't escape the control
2998         characters, but otherwise keep OS settings.
2999
3000         * url.c (file_unsafe_char): Deleted.
3001         (append_uri_pathel): Query filechr_table directly.
3002         (filechr_table): Separated Unix, Windows, and control-unsafe
3003         characters.
3004
3005 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
3006
3007         * url.c (url_escape_1): New function.
3008         (url_escape): Use it.
3009         (sync_path): Handle pathological cases where u->file and u->dir
3010         contain really strange characters.
3011         (ENCODE): Deleted.
3012         (REENCODE): Deleted.
3013
3014 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
3015
3016         * url.c (url_file_name): Don't reallocate FNAME if the file
3017         doesn't exist, as is usually the case.
3018
3019         * utils.c (unique_name): New flag allow_passthrough.
3020
3021 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
3022
3023         * utils.c (wtimer_sys_diff): Convert the time difference to signed
3024         __int64, then to double.  This works around MS VC++ 6 which can't
3025         convert unsigned __int64 to double directly.
3026
3027 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
3028
3029         * Makefile.in (clean): Also remove the core.<number> files
3030         produced by recent Linux systems.
3031
3032 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
3033
3034         * http.c (post_file): Don't pad the file if it's not large
3035         enough.  Bail out instead.
3036
3037 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
3038
3039         * retr.c (get_contents): Reduce the buffer size to the amount of
3040         data that may pass through for one second.  This prevents long
3041         sleeps when limiting bandwidth.
3042
3043         * connect.c (connect_to_one): Reduce the socket's RCVBUF when
3044         bandwidth limitation to small values is requested.
3045
3046 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
3047
3048         * progress.c (update_speed_ring): Moved the speed ring update to a
3049         separate function and documented it better.
3050
3051         * progress.c: Use `double' for most timers to support granularity
3052         smaller than 1ms.
3053
3054 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
3055
3056         * wget.h (XDIGIT_TO_XCHAR): Implement as index into a literal
3057         string.
3058         (XDIGIT_TO_xchar): Ditto.
3059
3060 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
3061
3062         * utils.c: Change the type of timer-related functions from long to
3063         double, for better precision.  On machines supporting gettimeofday
3064         the timers now work with granularity of less than one millisecond.
3065
3066 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
3067
3068         * cookies.c (parse_set_cookies): Fixed the parser to handle more
3069         edge conditions.
3070         (test_cookies): New function, contains a test suite for
3071         parse_set_cookies.
3072
3073 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
3074
3075         * url.c (strpbrk_or_eos): Implement as a macro under Gcc.
3076
3077 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
3078
3079         * cookies.c (parse_set_cookies): Allow trailing space in
3080         set-cookies header.  Also, allow any amount of whitespace, not
3081         only one character.  Allow empty set-cookies header without
3082         spewing an error.
3083
3084 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
3085
3086         * url.c (append_uri_pathel): Use opt.restrict_file_names when
3087         calling file_unsafe_char.
3088
3089         * init.c: New command restrict_file_names.
3090
3091         * main.c (main): New option --restrict-file-names[=windows,unix].
3092
3093         * url.c (url_file_name): Renamed from url_filename.
3094         (url_file_name): Add directory and hostdir prefix here, not in
3095         mkstruct.
3096         (append_dir_structure): New function, does part of the work that
3097         used to be in mkstruct.  Iterates over path elements in u->path,
3098         calling append_uri_pathel on each one to append it to the file
3099         name.
3100         (append_uri_pathel): URL-unescape a path element and reencode it
3101         with a different set of rules, more appropriate for handling of
3102         files.
3103         (file_unsafe_char): New function, uses a lookup table to decide
3104         whether a character should be escaped for use in file name.
3105         (append_string): New utility function.
3106         (append_char): Ditto.
3107         (file_unsafe_char): New argument restrict_for_windows, decide
3108         whether Windows file names should be escaped in run-time.
3109
3110         * connect.c: Include <stdlib.h> to get prototype for abort().
3111
3112 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
3113
3114         * utils.c (wtimer_sys_set): Extracted the code that sets the
3115         current time here.
3116         (wtimer_reset): Call it.
3117         (wtimer_sys_diff): Extracted the code that calculates the
3118         difference between two system times here.
3119         (wtimer_elapsed): Call it.
3120         (wtimer_elapsed): Don't return a value smaller than the previous
3121         one, which could previously happen when system time is set back.
3122         Instead, reset start time to current time and note the elapsed
3123         offset for future calculations.  The returned times are now
3124         guaranteed to be monotonically nondecreasing.
3125
3126 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
3127
3128         * host.c (lookup_host): Print the result of the DNS lookup.
3129
3130 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
3131
3132         * init.c (cmd_boolean): Accept yes/no along with on/off.
3133         (cmd_lockable_boolean): Ditto.
3134
3135 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
3136
3137         * init.c: New command dns_cache.
3138
3139         * main.c (main): New option --dns-cache[=off].
3140
3141 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
3142
3143         * config.h.in: Initialize HAVE_GETADDRINFO and ENABLE_IPV6.
3144
3145         * all: Use #ifdef ENABLE_IPV6 instead of the older INET6.  Use
3146         HAVE_GETADDRINFO for getaddrinfo-related stuff.
3147
3148 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
3149
3150         * url.c (url_parse): Return an error if the URL contains a [...]
3151         IPv6 numeric address and we don't support IPv6.
3152
3153 2003-09-05  Hrvoje Niksic  <hniksic@xemacs.org>
3154
3155         * url.c (is_valid_ipv6_address): Modified to not require
3156         zero-terminated strings.
3157         (is_valid_ipv4_address): Ditto.
3158
3159 2003-09-05  Mauro Tortonesi <mauro@deepspace6.net>
3160
3161         src/url.c: added RFC 2732 compliance for URL parsing. The
3162         functions is_*_address valid are a modified version of
3163         glibc 2.3.2 inet_pton's code.
3164
3165 2003-09-03  Ahmon Dancy  <dancy@dancysoft.com>
3166
3167         * main.c init.c options.h: Added --retry-connrefused option so
3168         that Connection Refused failures are treated as non-fatal (when
3169         trying to retrieve from busy servers).
3170
3171         * wget.h: New CONNECT_ERROR macro for encapsulating this
3172         modification.
3173
3174         * ftp.c http.c : Use CONNECT_ERROR macro in places where
3175         ECONNREFUSED was checked.
3176
3177 2003-01-11  Ian Abbott  <abbotti@mev.co.uk>
3178
3179         * ftp.c (ftp_retrieve_glob): Reject insecure filenames as determined
3180         by calling new function has_insecure_name_p.  This is based on a
3181         patch by Red Hat.
3182
3183         * fnmatch.c (has_insecure_name_p): New function: returns non-zero
3184         if filename starts with `/' or contains `../' and is therefore
3185         considered insecure.
3186
3187         * fnmatch.h: Declare has_insecure_name_p().
3188
3189 2002-08-03  Hrvoje Niksic  <hniksic@xemacs.org>
3190
3191         * init.c (cmd_file): Allocate RESULT correctly.
3192
3193 2002-07-24  Hrvoje Niksic  <hniksic@xemacs.org>
3194
3195         * recur.c (retrieve_tree): Check whether downloaded_html_set is
3196         non-NULL before using it.
3197
3198 2002-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3199
3200         * html-parse.c (NAME_CHAR_P): Allow almost any character here.
3201
3202 2002-05-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3203
3204         * progress.c (bar_set_params): Fall back to dot progress if the
3205         terminal type is "emacs".
3206
3207 2002-05-20  Hrvoje Niksic  <hniksic@arsdigita.com>
3208
3209         * log.c: Don't #undef WGET_USE_STDARG.
3210
3211 2002-05-16  Hrvoje Niksic  <hniksic@arsdigita.com>
3212
3213         * hash.c (prime_size): Store the offset of the prime number in the
3214         prime table.  When searching, start with the given offset.
3215         (hash_table_new): Pass the pointer to ht->prime_offset to
3216         prime_size.
3217         (grow_hash_table): Ditto.
3218         (prime_size): Make 13 the first prime to make empty hash tables
3219         slightly smaller.
3220
3221 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
3222
3223         * recur.c (download_child_p): Minor optimization to avoid an
3224         unnecessary additional call to schemes_are_similar_p function.
3225
3226 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
3227
3228         * url.c (schemes_are_similar_p): New function to test enumerated
3229         scheme codes for similarity.
3230
3231         * url.h: Declare it.
3232
3233         * recur.c (download_child_p): Use it to compare schemes.  This
3234         also fixes a bug that allows hosts to be spanned (without the
3235         -H option) when the parent scheme is https and the child's is
3236         http or vice versa.
3237
3238 2002-05-14  Bill Richardson  <bill@riverstonenet.com>
3239
3240         * ftp.c (getftp): Don't ftruncate stdout.
3241
3242         * http.c (gethttp): Don't ftruncate stdout.
3243
3244 2002-05-09  Ian Abbott  <abbotti@mev.co.uk>
3245
3246         * cmpt.c (strptime_internal): Synched with glibc-2.1.3.
3247         (get_number): Ditto.
3248         (get_alt_number): Ditto.
3249         (__isleap): New function-like macro used by strptime.
3250         (day_of_the_week): New function used by strptime.
3251         (day_of_the_year): Ditto.
3252         (__mon_yday): Now shared by mktime and strptime implementations.
3253
3254 2002-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3255
3256         * cookies.c (check_domain_match): Use match_tail in case
3257         insensitive mode.
3258
3259         * utils.c (match_tail): Allow the caller to specify case
3260         insensitive mode.
3261
3262         * cookies.c (store_cookie): When expiry_time is 0, print it as
3263         undefined, not indefinite.
3264
3265 2002-05-07  Ian Abbott  <abbotti@mev.co.uk>
3266
3267         * cookies.c (cookie_jar_process_set_cookie): Do not store
3268         discarded cookie.
3269
3270 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
3271
3272         * cookies.c (check_domain_match): Allow cookies to be set for
3273         subdomains of unknown top-level domains under some circumstances.
3274
3275 2002-04-21  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
3276
3277         * gen_ssl.c:
3278         - allow checking of server cert
3279         - allow defining client cert type
3280         - allow limit of ssl protocol
3281         - check more return values
3282         - added debug message on break
3283
3284 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
3285
3286         * recur.c (download_child_p): Revert order of items in check
3287         number 6 for clarity.
3288
3289 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
3290
3291         * init.c: Ditto.
3292
3293         * main.c: Ditto.
3294
3295         * http.c: Use the new interface.
3296
3297         * cookies.c: Provide an OO-style "cookie jar" interface to enable
3298         separate cookie jars.
3299
3300         * http.c (http_atotm): Declare argument as const.
3301
3302 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
3303
3304         * cookies.c (cookie_new): Default to PORT_ANY.
3305         (find_cookie_chain_exact): Only search by DOMAIN.
3306         (find_matching_cookie): Also check that PORT matches.
3307         (store_cookie): Only match the domain.
3308         (set_cookie_header_cb): When a cookie "fakes" a domain, assume it
3309         is valid for that host rather than discarding it completely.
3310         (find_matching_chains): Don't search by PORT.
3311         (matching_cookie): Also match PORT.
3312         (load_cookies): Set the port if specified, otherwise leave it as
3313         ANY.
3314         (save_cookies_mapper): Save the port if specified, otherwise leave
3315         it empty.
3316
3317 2002-04-19  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
3318
3319         * init.c: The option `egdfile' was not in sort order.
3320
3321 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
3322
3323         * ftp.c (getftp): Treat directories that begin with <letter>: as
3324         absolute.
3325         (getftp): Strip trailing slashes from con->id before merging it
3326         with TARGET.
3327
3328 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
3329
3330         * http.c (gethttp): If Content-Type is not given, assume
3331         text/html.
3332
3333 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
3334
3335         * recur.c (download_child_p): Don't ignore rejection of HTML
3336         documents that are themselves leaves of recursion.
3337
3338 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
3339
3340         Makefile.in: Updated several dependencies for object files to take
3341         account of nested include files.
3342
3343 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
3344
3345         Makefile.in: The target `connect$o' (connect.o) now depends on
3346         `utils.h'
3347
3348 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
3349
3350         * host.c (SET_H_ERRNO): New function-like macro to set `h_errno'.
3351         (gethostbyname_with_timeout): Use it.
3352
3353         * utils.c: Don't define `SETJMP()', `run_with_timeout_env' or
3354         `abort_run_with_timeout()' when `USE_SIGNAL_TIMEOUT' is undefined.
3355
3356 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
3357
3358         * host.c (getaddrinfo_with_timeout): New function.
3359         (gethostbyname_with_timeout): Ditto.
3360         (lookup_host): Use them.
3361
3362 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3363
3364         * utils.c (number_to_string): Handle the case when n < -INT_MAX.
3365
3366 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3367
3368         * init.c (comind): Use a marginally faster implementation of
3369         binary search.  To quote Martin Buchholz, "a nanosecond saved is a
3370         nanosecond earned."
3371
3372 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3373
3374         * main.c (print_help): Document `--post-data' and `--post-file'.
3375
3376 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3377
3378         * http.c (gethttp): Ditto.
3379
3380         * retr.c (retrieve_url): Initialize variables to appease the
3381         compiler.
3382
3383         * gen_sslfunc.c (ssl_iread): Don't handle EINTR when calling
3384         select_fd.
3385         (ssl_iwrite): Ditto.
3386
3387         * connect.c (select_fd): Rewrite to handle EINTR.  Set errno to
3388         ETIMEDOUT in case of timeout.
3389         (iread): No need to handle EINTR when calling select_fd.
3390         (iwrite): Ditto.
3391
3392 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3393
3394         * retr.c (retrieve_url): Make sure that POST is not honored for
3395         redirections.
3396
3397         * http.c (gethttp): Send the POST data when requested.
3398         (post_file): New function.
3399         (gethttp): Use it.
3400
3401         * main.c (main): Ditto.
3402
3403         * init.c: Add new options.
3404
3405         * options.h (struct options): New options post_data and
3406         post_file_name.
3407
3408 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3409
3410         * connect.c (connect_with_timeout): Firing SIGALRM can result in
3411         connect() exiting with EINTR.  Treat EINTR the same as ETIMEDOUT.
3412
3413 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3414
3415         * connect.c (connect_with_timeout): Use it.
3416
3417         * utils.c (run_with_timeout): New function.
3418
3419 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3420
3421         * url.c (getproxy): Accept a struct url argument.  This obviates
3422         the need for USE_PROXY_P.
3423
3424         * retr.c (retrieve_url): Allow proxy to be a non-FTP URL.
3425
3426         * ftp.c (getftp): Recognize FWTK-style proxy.
3427
3428 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3429
3430         * config.h.in: Only define _VA_LIST when compiled with gcc.
3431
3432 2002-04012  Ian Abbott  <abbotti@mev.co.uk>
3433
3434         * http.c (http_loop): Compensate for MS Windows two-second
3435         granularity of file modification time when comparing timestamps.
3436
3437         * ftp.c (ftp_retrieve_list): Ditto.
3438
3439 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
3440
3441         * utils.c (has_html_suffix_p): New function to test filename for
3442         common html extensions.
3443
3444         * utils.h: Declare it.
3445
3446         * http.c (http_loop): Use it instead of previous test.
3447
3448         * retr.c (retrieve_url): Ditto.
3449
3450         * recur.c (download_child_p): Ditto.
3451
3452 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3453
3454         * config.h.in: Define _VA_LIST on Solaris to prevent stdio.h from
3455         declaring va_list.
3456         From Kevin Rodgers <kevinr@ihs.com>.
3457
3458 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
3459
3460         * Makefile.in: Specify libtool mode explicitly when linking.
3461
3462 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3463
3464         * connect.c (connect_with_timeout): New function.
3465         (connect_to_one): Use it.
3466
3467         * config.h.in: Add stubs for HAVE_SIGSETJMP, HAVE_SIGBLOCK, and
3468         HAVE_SETJMP_H.
3469
3470 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3471
3472         * log.c: Set WGET_USE_STDARG if __STDC__ is defined and stdarg.h
3473         is present.
3474
3475 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3476
3477         * progress.c (bar_create): If INITIAL is larger than TOTAL, fix
3478         TOTAL.
3479         (bar_finish): Likewise.
3480
3481 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3482
3483         * html-url.c (tag_handle_form): New function.  Pick up form
3484         actions and mark them for conversion only.
3485
3486 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3487
3488         * progress.c (struct progress_implementation): Use PARAMS when
3489         declaring the parameters of *create, *update, *finish, and
3490         *set_params.
3491
3492         * netrc.c: Ditto.
3493
3494         * http.c: Reformat some function definitions so that ansi2knr can
3495         read them.
3496
3497         * hash.c (struct hash_table): Use the PARAMS macro around
3498         parameters in the declaration of hash_function and test_function.
3499         (prime_size): Spell 2580823717UL and 3355070839UL as (unsigned
3500         long)0x99d43ea5 and (unsigned long)0xc7fa5177 respectively, so
3501         that pre-ANSI compilers can read them.
3502         (find_mapping): Use PARAMS when declaring EQUALS.
3503         (hash_table_put): Ditto.
3504
3505         * ftp.h: Wrap the parameters of ftp_index declaration in PARAMS.
3506
3507         * cookies.c (cookie_new): Use (unsigned long)0 instead of 0UL,
3508         which was unsupported by pre-ANSI compilers.
3509
3510         From Nelson H. F. Beebe <beebe@math.utah.edu>, for the most part.
3511
3512 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3513
3514         * url.c (url_filename): Use compose_file_name regardless of
3515         whether opt.dirstruct is set.
3516         (mkstruct): Don't handle the query and the reencoding of DIR; that
3517         is done in compose_file_name.
3518
3519 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3520
3521         * wget.h: Ditto for extern char *exec_name.
3522
3523         * options.h: Don't guard against OPTIONS_DEFINED_HERE -- it is
3524         perfectly legal to follow an `extern' with a non-`extern' ones,
3525         provided the types match.
3526
3527         * main.c: Don't define OPTIONS_DEFINED_HERE.
3528
3529 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3530
3531         * progress.c (create_image): Revert to calculating ETA based on
3532         average download speed.
3533         (create_image): Don't print ETA until the download has been active
3534         for at least 3 seconds.
3535         (create_image): When ETA is not available, don't print anything.
3536         The previous version would print --:--.
3537
3538 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3539
3540         * progress.c (bar_update): Keep updating a subinterval until it
3541         reaches or exceeds a watermark.  That way the measurement will be
3542         guaranteed to span a configurable minimum of time.  The current
3543         default is 3s in 30 100ms intervals.
3544
3545 2002-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3546
3547         * progress.c (bar_update): Maintain an array of the time it took
3548         to perform previous 30 network reads.
3549         (create_image): Calculate the download speed and ETA based on the
3550         last 30 reads, not the entire download.
3551         (create_image): Make sure that the ETA is not changed more than
3552         once per second.
3553
3554 2002-04-09  Ian Abbott  <abbotti@mev.co.uk>
3555
3556         * mswindows.c (borland_utime): New function conditionally defined
3557         when `HACK_BCC_UTIME_BUG' is defined.  A reimplementation of
3558         `utime()' as Borland's `utime()' function is broken on Windows 9x
3559         systems.  (Original patch by Chin-yuan Kuo <sr1111111@yahoo.com.tw>.)
3560
3561 2002-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3562
3563         * ftp.c (ftp_loop): Propagate the result of ftp_retrieve_glob.
3564
3565 2002-03-26  Ian Abbott  <abbotti@mev.co.uk>
3566
3567         * Makefile.in: Updated several dependencies for object files.
3568
3569 2002-03-20  Ian Abbott  <abbotti@mev.co.uk>
3570
3571         * mswindows.c: Include "utils.h".
3572
3573 2002-03-18  Ian Abbott  <abbotti@mev.co.uk>
3574
3575         * host.h: Don't include netdb.h on windows.
3576
3577 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3578
3579         * recur.c (retrieve_tree): Handle the case when start_url doesn't
3580         parse.
3581
3582 2002-02-19  Andreas Damm  <andreas-sourceforge@radab.org>
3583
3584         * wget.h (DO_REALLOC_FROM_ALLOCA): Multiply with sizeof(type) when
3585         calling xmalloc and memcpy.
3586
3587 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3588
3589         * host.h: Include Unix-specific includes #ifndef WINDOWS.
3590         Patch originally provided by Christian Lackas.
3591
3592 2002-02-11  Christian Lackas  <delta@lackas.net>
3593
3594         * recur.c: recurive downloading for https fixed.
3595
3596 2002-02-19  Alan Eldridge  <alane@geeksrus.net>
3597
3598         * host.h: Also include <netinet/in.h> and <sys/socket.h>.
3599
3600         * ftp-basic.c: Also include <netinet/in.h>.
3601
3602 2002-02-05  Ian Abbott  <abbotti@mev.co.uk>
3603
3604         * http.c (gethttp): when -c used, mark already fully retrieved
3605         file as successfully retrieved.
3606
3607 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3608
3609         * url.c (url_parse): Don't treat '?' as query string separator
3610         when parsing FTP URLs.
3611
3612 2002-02-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3613
3614         * html-url.c (tag_handle_meta): Don't crash on <meta
3615         http-equiv=refresh> where content is missing.
3616
3617 2002-01-31  Herold Heiko  <Heiko.Herold@previnet.it>
3618
3619         * ftp-basic.c, host.c: don't include sys/socket.h, arpa/inet.h,
3620         netdb.h on windows.
3621
3622 2002-01-30  Hrvoje Niksic  <hniksic@arsdigita.com>
3623
3624         * retr.c (retrieve_url): Remove redirection cycle detection.  This
3625         is because some sites legitimately redirect the user back to the
3626         same location, e.g. after an authorization check performed by
3627         another page.  MAX_REDIRECTIONS is still used to prevent infinite
3628         redirection loops.
3629
3630 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3631
3632         * http.c (gethttp): Wrap host name in square brackets if it
3633         contains a colon.
3634
3635 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3636
3637         * url.c (url_parse): Allow all hex digits, not only decimal ones,
3638         to form an IP address.
3639
3640 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3641
3642         * url.c (urlchr_table): Make square braces reserved, so we can
3643         parse http://[::1]/.
3644         (url_parse): Handle host in braces.
3645         (url_string): If url->host contains colons, wrap it in braces.
3646
3647 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3648
3649         * connect.c (resolve_bind_address): New function.
3650         (connect_to_one): Use it.
3651         (bindport): Ditto.
3652
3653         * init.c: Don't resolve bind-address here.
3654
3655         * host.c (wget_sockaddr_set_address): Would bug out with ADDR == NULL.
3656
3657 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3658
3659         * host.c (lookup_host): Use sizeof(ip4_address) to calculate the
3660         offset.
3661         (address_list_new): Use map_ipv4_to_ip.
3662         (wget_sockaddr_set_address): Convert ADDR to IPv4 before using it
3663         in IPv4 context.
3664
3665 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3666
3667         * source: Integrated IPv6 support.
3668         Written by Thomas Lussnig <thomas.lussnig@bewegungsmelder.de>.
3669
3670 2002-01-15  Ian Abbott  <abbotti@mev.co.uk>
3671
3672         * init.c (cmd_file): Change `\' to `/' for Windows (yes, really!)
3673         (cmd_directory): New function. Like cmd_file(), but strips
3674         trailing directory separators.
3675         (commands): Change action for "dirprefix" from `cmd_file' to
3676         `cmd_directory'.
3677
3678         * utils.c (make_directory): Allow intermediate `mkdir' calls to
3679         fail, as not all path components that do not exist should be
3680         directory components, especially under Windows.
3681
3682 2002-01-17  Hrvoje Niksic  <hniksic@arsdigita.com>
3683
3684         * netrc.c (parse_netrc): Skip leading whitespace before testing
3685         whether the line is empty.  Empty lines still contain the line
3686         terminator.
3687
3688 2002-01-15  Hrvoje Niksic  <hniksic@arsdigita.com>
3689
3690         * gen_sslfunc.c (ssl_iread): Call select on the file descriptor
3691         only if no data is pending in SSL buffers.
3692         From tony@bluetail.com.
3693
3694 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3695
3696         * headers.c (header_get): Strip trailing whitespace from the
3697         header.
3698
3699 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3700
3701         * url.c (parse_uname): URL-decode *USER and *PASSWD.
3702
3703 2002-01-07  Ian Abbott <abbotti@mev.co.uk>
3704
3705         * url.c (uri_merge_1): Deal with "net path" relative URL (one that
3706         starts with "//").
3707
3708 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3709
3710         * http.c (gethttp): Invalidate SOCK if get_contents encountered an
3711         error.
3712
3713 2001-12-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3714
3715         * version.c: Wget 1.8.1 is released.
3716
3717 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3718
3719         * version.c: Wget 1.8.1-pre3 is released.
3720
3721 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3722
3723         * recur.c (retrieve_tree): Enqueue the canonical representation of
3724         start_url, so that the test against dl_url_file_map works.
3725
3726 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3727
3728         * log.c (logputs): Check for requested verbosity before printing
3729         anything.
3730
3731 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3732
3733         * html-url.c (tag_handle_link): Treat the "shortcut icon" link as
3734         inline.
3735
3736 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3737
3738         * recur.c (retrieve_tree): Make a copy of file obtained from
3739         dl_url_file_map because the code calls xfree(file) later.
3740
3741 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3742
3743         * recur.c (register_html): Maintain a hash table of HTML files
3744         along with the list.  Disallow duplicates.
3745         (retrieve_tree): Use downloaded_html_set to check whether the file
3746         found in dl_url_file_map is an HTML file, and descend into it if
3747         so.
3748         (convert_all_links): Don't guard against duplicates in
3749         downloaded_html_list, since they are no longer possible.
3750
3751 2001-12-18  Ian Abbott  <abbotti@mev.co.uk>
3752
3753         * recur.c (retrieve_tree): Pass on referring URL when retrieving
3754         recursed URL.
3755
3756 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
3757
3758         * version.c: Wget 1.8.1-pre2 is released.
3759
3760 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
3761
3762         * retr.c (sleep_between_retrievals): Simplify indentation.
3763
3764 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
3765
3766         * gen_sslfunc.c (ssl_init_prng): Use random_number to get a byte
3767         of "randomness" at a time.
3768         (ssl_init_prng): Don't seed the PRNG; random_number will do that.
3769
3770         * retr.c (sleep_between_retrievals): Use it.  Make sure that the
3771         random amount averages in opt.wait.
3772         (sleep_between_retrievals): Don't seed the PRNG; random_number
3773         will do that.
3774
3775         * utils.c (random_number): New function.
3776
3777 2001-12-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3778
3779         * url.c (path_simplify): Move here from utils.c, and make static.
3780
3781 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3782
3783         * init.c (wgetrc_file_name): Print correct message when loading
3784         getenv("WGETRC") fails.
3785
3786 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3787
3788         * recur.c (register_download): Don't abort when one URL references
3789         two different files.
3790
3791 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3792
3793         * http.c (gethttp): Check for conn->scheme, not u->scheme, before
3794         calling ssl_iwrite.
3795
3796 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3797
3798         * version.c: Wget 1.8.1-pre1 is released.
3799
3800 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3801
3802         * res.c (matches): Fix broken URL in the docstring.
3803
3804 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3805
3806         * html-url.c (tag_url_attributes): Mark <embed href=...> as
3807         external.
3808
3809 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3810
3811         * url.c (get_urls_file): Cosmetic changes.
3812
3813 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3814
3815         * html-url.c (append_one_url): Resurrect warning when unable to
3816         resolve a relative link.
3817
3818 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3819
3820         * html-url.c (collect_tags_mapper): Break into several functions.
3821         (tag_url_attributes): Collect <embed href=...>.
3822
3823 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3824
3825         * host.c: New type ipv4_address.  Use it consistently instead of
3826         `unsigned char[4]' and `unsigned char *'.
3827         (pretty_print_address): Accept a `const void *', to require even
3828         less casting.
3829
3830 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3831
3832         * ftp-ls.c (ftp_parse_vms_ls): Fix obvious memory leaks.
3833
3834 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3835
3836         * main.c (main): Initialize progress after fork_to_background, so
3837         that it knows when to use dots.
3838
3839         * mswindows.c (ws_hangup): Call log_request_redirect_output.
3840
3841         * utils.c (fork_to_background): Print the PID of the child
3842         process.
3843
3844         * log.c (log_request_redirect_output): Set a flag that output
3845         redirection has been requested.  Doing anything else in a signal
3846         handler is unsafe.
3847         (check_redirect_output): New function: check whether redirection
3848         has been requested and, if so, call redirect_output().
3849         (logputs): Call check_redirect_output.
3850         (logprintf): Ditto.
3851         (debug_logprintf): Ditto.
3852         (redirect_output): Print clearer messages.
3853
3854         * main.c (redirect_output_signal): Don't call
3855         redirect_output_signal directly.  Instead, call
3856         log_request_redirect_output.
3857
3858         * utils.c (memfatal): Ditto.
3859
3860         * progress.c (display_image): Use it.
3861
3862         * log.c (log_set_save_context): New function: allow the caller to
3863         turn off saving log context lines.
3864
3865 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3866
3867         * host.c (address_list_set_faulty): Uncomment a sanity check.
3868
3869 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3870
3871         * utils.c (long_to_string): Return a pointer after where the
3872         number ends.
3873         (long_to_string): Rename to number_to_string.
3874
3875 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3876
3877         * utils.c (path_simplify): Correctly handle the unlikely case that
3878         b starts out as path + 1.
3879
3880 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3881
3882         * utils.c (path_simplify): Rewrite, with better comments, and
3883         without the use of strcpy to move overlapping blocks.
3884
3885 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3886
3887         * init.c (cmd_spec_progress): Resurrect.  Check whether VAL is a
3888         valid progress type before setting it.
3889
3890 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3891
3892         * main.c (main): Remove stray debugging message.
3893
3894 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3895
3896         * progress.c (create_image): Fix ETA padding when hours are prined.
3897
3898 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3899
3900         * version.c: Wget 1.8 is released.
3901
3902 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3903
3904         * url.c (reencode_string): Declare static.
3905
3906         * res.c (registered_specs): Declare static.
3907
3908         * progress.c (current_impl_locked): Declare static.
3909
3910         * log.c (flush_log_p): Declare static.
3911         (needs_flushing): Ditto.
3912
3913         * http.c (digest_authentication_encode): Declare static.
3914
3915         * html-url.c (init_interesting): Declare static.
3916
3917         * host.c (host_name_addresses_map): Declare static.
3918
3919         * cookies.c (find_matching_chains): Declare static.
3920
3921         * ftp-ls.c (ftp_parse_vms_ls): Warn about the memory leak
3922         indicated by lint.
3923
3924         * utils.c (path_simplify): Remove unused variable STUB_CHAR.
3925
3926         * host.c (address_list_set_faulty): Document that INDEX is
3927         currently unused.
3928
3929         * url.c (rewrite_shorthand_url): Remove unused variable PATH.
3930
3931 2001-12-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3932
3933         * version.c: Wget 1.8-pre2 is released.
3934
3935 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3936
3937         * progress.c (progress_handle_sigwinch): Set up the signal again.
3938
3939         * utils.c: Include <sys/termios.h>, where Solaris defines
3940         TIOCGWINSZ.
3941
3942         * progress.c (bar_create): Don't use the last column on the screen.
3943         (create_image): Pad ETA to constant size.  Pad SIZE to nine digits
3944         only until it exceeded them.
3945
3946 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3947
3948         * version.c: Wget 1.8-pre1 is released.
3949
3950 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3951
3952         * progress.c (progress_create): Make sure that, when the output is
3953         redirected, the progress implementation gets changed to the
3954         fallback one.
3955         (bar_set_params): Set current_impl_locked to 1 when "force" is
3956         specified.
3957         (progress_create): Don't change the progress implementation if
3958         current_impl_locked is non-zero.
3959
3960         * main.c (redirect_output_signal): Call
3961         progress_schedule_redirect.
3962
3963         * progress.c (progress_schedule_redirect): New function.
3964
3965 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3966
3967         * log.c (logvprintf): Restructure to allow being called multiple
3968         times.
3969         (logprintf): Call logvprintf in a loop.
3970         (debug_logprintf): Ditto.
3971
3972 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3973
3974         * gen_sslfunc.c (ssl_init_prng): Allow the user to disable EGD by
3975         setting egd_file it to empty string.
3976
3977         * main.c (main): Change the option name from --sslegdsock to
3978         --egd-file.
3979
3980 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3981
3982         * gen_sslfunc.c (ssl_init_prng): Make the printed message
3983         translatable.
3984
3985 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3986
3987         * url.c (scheme_disable): New function.
3988
3989         * main.c (main): Call ssl_init_prng from here rather than from
3990         init_ssl, so that it has a chance to disable support for https
3991         before a URL has been resolved.
3992
3993         * gen_sslfunc.c (ssl_init_prng): Seed with rand() if all else
3994         failed.
3995         (ssl_init_prng): Disable support for https if seeding the PRNG
3996         fails.
3997
3998 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3999
4000         * utils.c (read_whole_line): Handle lines beginning with \0.
4001
4002 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
4003
4004         * recur.c (convert_all_links): Guard against duplicates in
4005         downloaded_html_files.
4006         (register_download): Don't invalidate similar-looking URLs.
4007         (match_except_index): New function.
4008
4009 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
4010
4011         * utils.c (path_simplify): Document with test cases.
4012
4013 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
4014
4015         * gen_sslfunc.c: Ditto.
4016
4017         * rbuf.c: Include <string.h>.
4018
4019 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
4020
4021         * recur.c (retrieve_tree): Check whether the URL was already
4022         downloaded before downloading it again.
4023         (descend_child_p): Renamed to download_child_p.
4024         (register_download): When one URL is downloaded to a file already
4025         "owned" by another URL, delete all references that map any URL to
4026         that file.
4027         (register_delete_file): New function.
4028         (retrieve_tree): Use it after deleting a file.
4029
4030         * url.c (url_parse): Re-canonicalize the URL also if the path is
4031         empty, so that e.g. "http://www.server.com" ->
4032         "http://www.server.com/".
4033         (lowercase_str): Use ISUPPER instead of !ISLOWER.
4034
4035         * retr.c (retrieve_url): Use the canonical URL form when calling
4036         register_download().
4037
4038 2001-12-04  Ian Abbott <abbotti@mev.co.uk>
4039
4040         * snprintf.c (dopr): Use `unsigned int' as the second argument to
4041         va_arg when casting to `unsigned short' is intended.
4042
4043 2001-12-04  Herold Heiko  <Heiko.Herold@previnet.it>
4044
4045         * gen_sslfunc.c: on windows provide ssl crypto random
4046           initialization through RAND_screen(); could possibly
4047           be not enough for strong ssl communication (see the
4048           relevant manual page from the openssl package).
4049
4050 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
4051
4052         * url.c (local_quote_string): Reenable quoting of question marks,
4053         but only when `--html-extension' is used.
4054
4055 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
4056
4057         * version.c: Wget 1.8-beta3 is released.
4058
4059 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
4060
4061         * snprintf.c (dopr): Cast the result of va_arg to short int and
4062         short unsigned int where these types are expected to be used.
4063
4064 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
4065
4066         * snprintf.c (dopr): Replace `short int' and `unsigned short int'
4067         with `int' when using it as the second argument to `va_arg'.
4068
4069 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
4070
4071         * host.c (address_list_new_one): New function.
4072         (lookup_host): Use it.
4073
4074 2001-12-03  Andre Majorel  <amajorel@teaser.fr>
4075
4076         * host.c (lookup_host): Don't initialize TMPSTORE directly because
4077         it's not legal C.
4078
4079 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
4080
4081         * ftp-basic.c (ftp_port): Don't return HOSTERR if we fail getting
4082         the socket data.
4083
4084         * ftp.c: Ditto.
4085
4086         * http.c: No need to declare h_errno.
4087
4088         * host.c: Declare h_errno.
4089
4090 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4091
4092         * utils.c (file_merge): If BASE doesn't contain a slash, just
4093         return a copy of FILE.
4094
4095 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4096
4097         * version.c: Wget 1.8-beta2 is released.
4098
4099 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4100
4101         * ftp.c (getftp): When PWD fails, assume "/".
4102
4103         * ftp-basic.c (ftp_syst): Fix indentation.
4104
4105 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4106
4107         * url.c (get_urls_file): If opt.base_href is specified, merge each
4108         URL with the base.
4109
4110 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4111
4112         * main.c (print_help): Don't document the removed `-nh'.
4113
4114 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4115
4116         * url.c (url_full_path): Document better.
4117
4118         * http.c (gethttp): Use the full path when creating digest
4119         authorization.
4120
4121 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4122
4123         * cookies.c (path_matches): Return 0 if PREFIX doesn't begin with
4124         '/'.
4125
4126 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4127
4128         * cookies.c (path_matches): FULL_PATH doesn't begin with '/', but
4129         PREFIX does.
4130
4131 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4132
4133         * cookies.c (check_domain_match): Reimplement to match Netscape's
4134         "preliminary specification" for cookies.
4135
4136 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4137
4138         * url.c (replace_attr_refresh_hack): New function.
4139         (convert_links): Call replace_attr_refresh_hack for Refresh
4140         links.  It will add the "TMOUT; URL=" junk before the link.
4141
4142         * html-url.c (collect_tags_mapper): Set ID to the ID of the
4143         "content" attribute, not "http-equiv".
4144         (collect_tags_mapper): Don't use OFFSET to hack the raw_* values;
4145         instead, store the information that this entry belongs to a
4146         "refresh" link.
4147
4148 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4149
4150         * version.c: Wget 1.8-beta1 is released.
4151
4152 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4153
4154         * recur.c (retrieve_tree): Allow -p retrievals to exceed maximum
4155         depth by more than one.
4156
4157 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
4158
4159         * retr.c (retrieve_url): Don't allow more than 20 redirections.
4160
4161 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
4162
4163         * recur.c (retrieve_tree): Skip the non-inline entries when
4164         enqueuing the children of a leaf HTML node in -p mode.
4165         (descend_url_p): Ignore opt.no_parent when in -p mode and UPOS is
4166         "inline".
4167
4168         * html-url.c (get_urls_html): Don't accept dash_p_leaf_HTML.
4169         (collect_tags_mapper): When an entry is "inline", mark it as such.
4170
4171         * recur.c (descend_url_p): Fix test when checking for
4172         acceptance/rejection rules.
4173
4174 2001-10-31 Daniel BODEA <dali@dali-designs.com>
4175
4176         * netrc.c (search_netrc): When slack_default is 0, still look for
4177         an account with matching password, just not the "default account".
4178         HTTP Authorization using .netrc should now work as expected.
4179
4180 2001-11-30  T. Bharath  <TBharath@responsenetworks.com>
4181
4182         * http.c (persistent_available_p): Call SHUTDOWN_SSL if
4183         test_socket_open fails.
4184
4185 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
4186
4187         * progress.c (display_image): Just print one CR to reset the
4188         cursor position.
4189
4190 2001-11-30  Christian Fraenkel  <c.fraenkel@gmx.net>
4191
4192         * init.c: New command `ssl_egd_sock'.
4193
4194         * main.c (main): New option `--sslegdsock'.
4195
4196         * gen_sslfunc.c (ssl_init_prng): Seed the RNG using EGD.
4197
4198 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
4199
4200         * cmpt.c (memmove): Include a simple memmove implementation.
4201
4202 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
4203
4204         * headers: Guard against header files being included twice.
4205
4206 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
4207
4208         * gen-md5.c: Use unsigned char * as the buffer argument to
4209         gen_md5_update.
4210
4211 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
4212
4213         * connect.h: Declare select_fd.
4214
4215 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
4216
4217         * recur.c (descend_url_p): When resolving no_parent, compare with
4218         start_url, not parent url.  Otherwise link from /a/b/ to /a/c/
4219         wouldn't be followed, although the download started from /a/.
4220
4221 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
4222
4223         * config.h.ms, mswindows.h: defined HAVE_ISATTY, use _isatty for
4224         MS VC; somebody with Borland compiler please check and provide
4225         patch if possible;
4226
4227         * cmpt.c: provided a usleep emulation.
4228
4229 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
4230
4231         * host.c (address_list_new): Initialize al->faulty.
4232
4233 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
4234
4235         * http.c (http_process_range): Accept the broken output of
4236         "JavaWebServer/1.1.1".
4237
4238 2001-11-28  Hrvoje Niksic  <hniksic@arsdigita.com>
4239
4240         * progress.c (dot_set_params): If PARAMS is unspecified, use
4241         dot_style, if available.
4242
4243         * init.c: Ditto.
4244
4245         * main.c (main): Resurect --dot-style.
4246
4247         * progress.c (dot_finish): Print the quantity if we're left at the
4248         beginning of a row.
4249
4250 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4251
4252         * cmpt.c (random): Removed.
4253
4254         * retr.c (sleep_between_retrievals): Use the more portable rand()
4255         instead of random().
4256
4257 2001-11-27  Ian Abbott <abbotti@mev.co.uk>
4258
4259         * retr.c (retrieve_from_file): Initialize `new_file' to NULL to
4260         prevent seg fault.
4261
4262 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4263
4264         * connect.c (connect_to_many): Use address_list_set_faulty to
4265         prevent the faulty address from being reused.
4266
4267         * host.c (address_list_set_faulty): New function.
4268         (address_list_get_bounds): New function, instead of
4269         address_list_count.
4270
4271 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4272
4273         * url.c (convert_links): Don't translate %d-%d.
4274
4275         * main.c (print_help): Remove stray HAVE_RANDOM code.
4276
4277 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4278
4279         * ftp.c (getftp): Improve output after sending PASV.  Don't
4280         attempt to "look up" the IP address we already know; call
4281         connect_to_one directly.
4282
4283 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4284
4285         * progress.c: Change the default progress implementation to "bar".
4286
4287 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4288
4289         * progress.c (bar_create): Print two newlines.
4290
4291 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4292
4293         * cmpt.c (random): New function, a simple-minded replacement for
4294         random() on systems that don't have it.
4295
4296 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4297
4298         * config.h.in: Put a HAVE_USLEEP stub.
4299
4300         * cmpt.c (usleep): Replacement implementation of usleep using
4301         select.
4302
4303         * init.c: New option init_rate.
4304
4305         * main.c (main): New option --limit-rate.
4306
4307         * retr.c (limit_bandwidth): New function.
4308         (get_contents): Call it to limit the bandwidth used when
4309         downloading.
4310
4311         * progress.c (dot_update): Would print the wrong download speed on
4312         rows other than the first one when the download was continued.
4313         (dot_finish): Ditto.
4314
4315 2001-11-26  Ian Abbott <abbotti@mev.co.uk>
4316
4317         * http.c (gethttp): fix undeclared variable 'err' when compiled
4318         with HAVE_SSL.
4319
4320 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4321
4322         * progress.c: Don't allocate new timers; use the timing data
4323         propagated from the caller.
4324
4325         * retr.c (get_contents): Allocate and use a timer.
4326
4327 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4328
4329         * http.c (last_host_ip): Made into an address_list.
4330         (invalidate_persistent): Release pc_last_host_ip.
4331         (register_persistent): Use lookup_host.
4332         (persistent_available_p): Check for equality of hosts using
4333         address_list_match_all.  Call address_list_release.
4334         (http_cleanup): New function.
4335
4336         * ftp.c (getftp): Use lookup_host and connect_to_many.
4337
4338         * http.c (gethttp): Use lookup_host and connect_to_many.
4339
4340         * connect.c (make_connection): Removed.
4341         (connect_to_one): New function.
4342         (connect_to_many): Ditto.
4343         (set_connection_host_name): Ditto.
4344
4345         * host.c (lookup_host): New function; new return type.
4346         (address_list_new): New function.
4347         (address_list_count): Ditto.
4348         (address_list_copy_one): Ditto.
4349         (address_list_delete): Ditto.
4350         (address_list_release): Ditto.
4351         (pretty_print_address): Ditto.
4352
4353 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4354
4355         * recur.c (retrieve_tree): In case of followed redirection,
4356         blacklist the pre-redirection URL.
4357
4358 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4359
4360         * recur.c (descend_redirect_p): New function.
4361         (retrieve_tree): Make sure redirections are not blindly followed.
4362
4363 2001-11-04  Alan Eldridge  <alane@geeksrus.net>
4364
4365         * config.h.in: added HAVE_RANDOM.
4366
4367         * options.h: added random_wait to struct options.
4368
4369         * main.c (print_help [HAVE_RANDOM], main): added arg parsing, help
4370         for --random-wait.
4371
4372         * retr.c (sleep_between_retrievals) [HAVE_RANDOM]: added
4373         implementation of random wait times.
4374
4375         * init.c (commands): added "randomwait" keyword.
4376
4377 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4378
4379         * recur.c (descend_url_p): Be more conservative with blacklisting
4380         URLs.
4381         (convert_all_links): Print how many files have been converted, and
4382         how long it took.
4383
4384         * progress.c (create_image): Place the number of downloaded bytes
4385         right after the progress bar.
4386
4387         * utils.c (suffix): Return a pointer into the string.
4388
4389 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4390
4391         * url.c (convert_links): Handle CO_NULLIFY_BASE.
4392
4393         * recur.c (retrieve_tree): Ignore download-ignorable children.
4394         (convert_all_links): Specify CO_NULLIFY_BASE when link_base_p.
4395
4396         * html-url.c (handle_link): Return the newly created urlpos.
4397         (collect_tags_mapper): When dealing with BASE, store the base
4398         reference and mark it as download-ignorable.
4399
4400 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4401
4402         * url.c (convert_links): Attempt to quote '?' as "%3F" when
4403         linking to local files.  Given up on the attempt, as it breaks
4404         local browsing.
4405
4406 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4407
4408         * main.c (private_initialize): Removed.
4409         (main): Don't call private_initialize.
4410
4411         * http.c: Call lookup_host.
4412
4413         * host.c (host_init): Removed.
4414         (add_host_to_cache): Initialize host_name_address_map here, on
4415         demand.
4416         (ngethostbyname): Commented out.
4417
4418         * connect.c (make_connection): Remove dead code; use lookup_host.
4419
4420         * host.c (store_hostaddress): Renamed to lookup_host and reversed
4421         the args.
4422         Removed host_address_name_map and host_slave_master_map.
4423
4424 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4425
4426         * progress.c (dot_create): Align the "[ skipping ... ]" string
4427         with the dots.
4428
4429         * retr.c (rate): Split into two functions: calc_rate and
4430         retr_rate.
4431
4432         * progress.c (create_image): Draw a dummy progress bar even when
4433         total size is unknown.
4434         (display_image): Place the text cursor at the end of the "image".
4435
4436 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4437
4438         * url.c (reencode_string): Use unsigned char, not char --
4439         otherwise the hex digits come out wrong for 8-bit chars such as
4440         nbsp.
4441         (lowercase_str): New function.
4442         (url_parse): Canonicalize u->url if needed.
4443         (get_urls_file): Parse each URL, and return only the valid ones.
4444         (free_urlpos): Call url_free.
4445         (mkstruct): Add :port if the port is non-standard.
4446         (mkstruct): Append the query string to the file name, if any.
4447         (urlpath_length): Use strpbrk_or_eos.
4448         (uri_merge_1): Handle the cases where LINK is an empty string,
4449         where LINK consists only of query, and where LINK consists only of
4450         fragment.
4451         (convert_links): Count and report both kinds of conversion.
4452         (downloaded_file): Use a hash table, not a list.
4453         (downloaded_files_free): Free the hash table.
4454
4455         * retr.c (retrieve_from_file): Ditto.
4456
4457         * main.c (main): Call either retrieve_url or retrieve_tree
4458         for each URL, not both.
4459
4460         * retr.c (register_all_redirections): New function.
4461         (register_redirections_mapper): Ditto.
4462         (retrieve_url): Register the redirections.
4463         (retrieve_url): Make the string "Error parsing proxy ..."
4464         translatable.
4465
4466         * res.c (add_path): Strip leading slash from robots.txt paths so
4467         that the path representations are "compatible".
4468         (free_specs): Free each individual path, too.
4469         (res_cleanup): New function.
4470         (cleanup_hash_table_mapper): Ditto.
4471
4472         * recur.c (url_queue_new): New function.
4473         (url_queue_delete): Ditto.
4474         (url_enqueue): Ditto.
4475         (url_dequeue): Ditto.
4476         (retrieve_tree): New function, replacement for recursive_retrieve.
4477         (descend_url_p): New function.
4478         (register_redirection): New function.
4479
4480         * progress.c (create_image): Cosmetic changes.
4481
4482         * init.c (cleanup): Do all those complex cleanups only if
4483         DEBUG_MALLOC is defined.
4484
4485         * main.c: Removed --simple-check and the corresponding
4486         simple_host_check in init.c.
4487
4488         * html-url.c (handle_link): Parse the URL here, and propagate the
4489         parsed URL to the caller, who would otherwise have to parse it
4490         again.
4491
4492         * host.c (xstrdup_lower): Moved to utils.c.
4493         (realhost): Removed.
4494         (same_host): Ditto.
4495
4496 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4497
4498         * utils.c (path_simplify): Preserver the (non-)existence of
4499         leading slash.  Return non-zero if changes were made.
4500
4501 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4502
4503         * progress.c (bar_update): Don't modify bp->total_length if it is
4504         zero.
4505
4506 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4507
4508         * retr.c (retrieve_url): When the redirection URL doesn't parse,
4509         print the correct error message rather than "UNKNOWN".
4510
4511 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4512
4513         * progress.c (bar_finish): If the timer didn't record any time
4514         since the download beginning, fake 1ms.
4515
4516 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4517
4518         * recur.c (recursive_retrieve): Fix typo.
4519
4520 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
4521
4522         * progress.c (create_image): Don't translate "%ld ".
4523
4524 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
4525
4526         * progress.c (bar_set_params): Allow the user to force the use of
4527         the bar.
4528
4529 2001-11-23  Lemble Gregory  <gregory.lemble@st.com>
4530
4531         * gen_sslfunc.c (ssl_init_prng): New function; seed the SSL RNG.
4532
4533 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
4534
4535         * progress.c: Renamed dp_* functions to dot_* for greater clarity
4536         and consistency with bar_*.
4537         (print_download_speed): Get rid of the unneeded '@' character.
4538         (create_image): Fix download rate geometry.
4539
4540         * progress.c (print_elapsed): Remove spurious space.
4541         (print_elapsed): Renamed to print_download_speed, since that's
4542         what it does.
4543
4544 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
4545
4546         * progress.c (bar_update): If the downloaded amount becomes larger
4547         than the expected amount, adjust the expected amount accordingly.
4548
4549 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
4550
4551         * utils.c (determine_screen_width): New function.
4552
4553         * main.c (main): New option `--progress=TYPE'.
4554         (main): Implement compatibility with the old option `--dot-style'.
4555
4556         * init.c: Removed cmd_spec_dotstyle -- that logic is now in
4557         dp_set_params.
4558         (cmd_spec_progress): New function.
4559
4560         * retr.c (get_contents): Use the progress_* functions instead of
4561         the old show_progress().
4562         (show_progress): Removed.
4563         (rate): Print "xxxx.xx K/s" instead of "KB/s".  Ditto for MB/s,
4564         etc.
4565
4566         * progress.c (set_progress_implementation): New function.
4567         (valid_progress_implementation_p): Ditto.
4568         (progress_create): Ditto.
4569         (progress_update): Ditto.
4570         (progress_finish): Ditto.
4571         (dp_create): Ditto.
4572         (dp_update): Ditto.
4573         (dp_finish): Ditto.
4574         (dp_set_params): Ditto.
4575         (print_elapsed): Ditto.
4576
4577 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
4578
4579         * retr.c (show_progress): Use it.
4580
4581         * log.c (log_set_flush): New function.
4582
4583 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
4584
4585         * utils.c (path_simplify): Don't remove trailing slashes.
4586
4587         * ftp.c (ftp_get_listing): Use it.
4588
4589         * utils.c (file_merge): New function.
4590
4591         * url.c (opt_url): Removed.
4592
4593         * recur.c (recursive_retrieve): Inline "opt_url" logic.
4594
4595         * main.c (main): Use xfree(), not free().
4596
4597         * url.c (rewrite_url_maybe): Renamed to rewrite_shorthand_url.
4598
4599         * ftp.c (ccon): Move `ccon' typedef here, since it's only used
4600         internally.
4601
4602         * config.h.in: Include a stub for HAVE_STRPBRK.
4603
4604         * cmpt.c (strpbrk): Include a replacement for systems without
4605         strpbrk().
4606
4607         * ftp.c: Use url_set_dir and url_set_file when modifying the URL.
4608
4609         * url.c (url_set_dir): New function.
4610         (url_set_file): Ditto.
4611
4612         * ftp-basic.c (ftp_process_type): Process FTP type here; the URL
4613         parser makes the URL "params" available, so we can do that in this
4614         function.
4615
4616         * retr.c: Ditto.
4617
4618         * ftp.c: Ditto; pass the local file information in `ccon'.
4619
4620         * http.c: Get rid of the ugly kludge that had URL being replaced
4621         with the proxy URL when proxy retrieval was requested.  Use a
4622         separate parameter to http_loop and gethttp for the proxy URL.
4623
4624         * http.c: Changed to reflect the fact that local file, proxy, and
4625         referer information are no longer stored in struct url.  The local
4626         file information is passed in `struct hstat' now.
4627
4628         * url.c: Reworked URL parsing to be more regular.  Reencode the
4629         URL using reencode_string.
4630         Removed non-URL-related information from struct url.  This
4631         includes fields `proxy', `local', and `referer'.
4632
4633 2001-11-22  Jochen Hein  <jochen@jochen.org>
4634
4635         * main.c (main): Split the copyright notice for easier
4636         translation.
4637
4638 2001-08-21  Dave Turner <dct25@hermes.cam.ac.uk>
4639
4640         * ftp-basic.c (ftp_size): New function to send non-standard SIZE
4641           command to server to request file size.
4642         * ftp.h (ftp_size): Export it.
4643         * ftp.c (getftp): Use new ftp_size function if restoring
4644           transfer of a file with unknown size.
4645
4646 2001-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4647
4648         * url.c (parseurl): Don't depend on the now-obsolete TYPE.
4649
4650 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4651
4652         * url.c (getproxy): Handle URL shorthands.
4653
4654 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4655
4656         * main.c: Remove --wait / --waitretry backwards compatibility
4657         code.
4658
4659 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4660
4661         * main.c (main): Use it.
4662
4663         * url.c (rewrite_url_maybe): New function.
4664
4665 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4666
4667         * url.c: Clean up handling of URL schemes.
4668
4669 2001-05-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4670
4671         * url.c: Get rid of `protostrings'.
4672         (skip_proto): Don't use protostrings.
4673         (has_proto): Ditto.
4674
4675 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
4676
4677         * Makefile.in: Conditionally compile getopt.o.
4678
4679 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
4680
4681         * md5.h: Renamed to gnu-md5.h.
4682
4683         * md5.c: Renamed to gnu-md5.c.
4684
4685         * http.c: Ditto.
4686
4687         * ftp-opie.c: Use the new macros.
4688
4689         * sysdep.h: Define md5-related macros.
4690
4691         * config.h.in: Define HAVE_SOLARIS_MD5 or HAVE_BUILTIN_MD5
4692         depending on which md5 implementation is used.
4693
4694 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
4695
4696         * res.c (res_register_specs): Initialize OLD and HP_OLD to appease
4697         the compiler.
4698
4699 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
4700
4701         * http.c (gethttp): Print the whole response line when printing
4702         headers is requested.
4703
4704 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4705
4706         * res.c: New file.  Implement all RES-related code here.
4707
4708 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
4709
4710         * version.c: Wget 1.7.1 is released.
4711
4712 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
4713
4714         * headers.c (header_extract_number): Ignore trailing whitespace.
4715
4716 2001-08-24  Ian Abbott  <abbotti@mev.co.uk>
4717
4718         * html-url.c (collect_tags_mapper): Fix bug converting links
4719         with -k option for tags with multiple link attributes by
4720         handling links in the order they appear.
4721
4722 2001-08-15  Ian Abbott  <abbotti@mev.co.uk>
4723
4724         * ftp.c (ftp_loop_internal): Avoid a potential buffer overflow in
4725           the call to the 'rate' function by moving it past the error
4726           checking for the 'getftp' function return value.
4727
4728 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
4729
4730         * html-parse.c (advance_declaration): Use 0x22 instead of '"' or
4731         '\"'.  Different compilers' assert macros are broken in different
4732         ways.
4733
4734 2001-09-29  Christian Fraenkel  <c.fraenkel@gmx.net>
4735
4736         * http.c (gethttp): print debug output for errors occuring during
4737         the ssl handshake.
4738
4739 2001-11-16  Chris Seawood  <cls@seawood.org>
4740
4741         * init.c: Ditto.
4742
4743         * host.c: Ditto.
4744
4745         * connect.c: Ditto.
4746
4747         * sysdep.h: Support compilation under BEOS.
4748
4749 2001-06-08  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
4750
4751         * url.c (url_equal): Fix a memory leak when parseurl returns an
4752         error on the second URL. Also, since url_equal is not used at the
4753         moment, do not compile it.
4754
4755         * url.h: Ditto for the prototype of url_equal.
4756
4757 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
4758
4759         * html-parse.c (map_html_tags): Support XML-style empty tags.
4760
4761 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4762
4763         * wget.h (DO_REALLOC_FROM_ALLOCA): Check for do_realloc_newsize in
4764         loop condition because we're no longer setting SIZEVAR here.
4765
4766 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4767
4768         * wget.h (DO_REALLOC_FROM_ALLOCA): Set SIZEVAR after the memcpy()
4769         call because it needs the old value.
4770
4771 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
4772
4773         * cookies.c (ATTR_NAME_CHAR): Allow almost any character to be in
4774         an attribute name.
4775
4776 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
4777
4778         * url.c (url_filename): Make sure that slashes that sneak in to
4779         u->file via query string get protected.
4780         (file_name_protect_query_string): New function.
4781
4782 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4783
4784         * recur.c (recursive_retrieve): Also check undesirable_urls with
4785         canonicalized URL.
4786
4787 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4788
4789         * http.c (gethttp): Search `.netrc' with real host, not the proxy
4790         one.
4791
4792 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4793
4794         * sysdep.h (MAP_FAILED): Provide MAP_FAILED for systems that don't
4795         define it.
4796
4797 2001-06-09  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4798
4799         * ftp.h: Provide correct prototype for ftp_parse_ls().
4800
4801 2001-06-04  Hrvoje Niksic  <hniksic@arsdigita.com>
4802
4803         * version.c: Wget 1.7 is released.
4804
4805 2001-06-03  Karl Eichwalder  <ke@suse.de>
4806
4807         * ftp-ls.c (ftp_parse_ls): Fix typo.
4808
4809 2001-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4810
4811         * all: Update copyright information.
4812
4813 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4814
4815         * http.c (gethttp): Indicate that the continued download failed
4816         for *this* file.
4817
4818 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4819
4820         * version.c: Wget 1.7-pre1 is released.
4821
4822 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4823
4824         * version.c: Updated version to 1.7-pre1.
4825
4826 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4827
4828         * gen_sslfunc.c: Don't include <sys/time.h> directly.
4829
4830 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4831
4832         * http.c (gethttp): Use real URL data for cookies, not the proxy
4833         stuff.
4834
4835 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4836
4837         * main.c (print_help): Document `--no-http-keep-alive'.
4838
4839         * utils.c (numdigit): Handle negative numbers *correctly*.
4840
4841         * hash.c (make_nocase_string_hash_table): Use term "nocase" rather
4842         than the confusing "unsigned".
4843
4844         * utils.c (string_set_contains): Renamed from string_set_exists.
4845
4846         * hash.c (hash_table_contains): Renamed from hash_table_exists.
4847
4848         * cookies.c: Move case-insensitive hash tables to hash.c.
4849
4850 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4851
4852         * http.c (gethttp): Before concluding that the file is already
4853         fully retrieved, make sure that the file existed and `Range' was
4854         actually requested.
4855
4856 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4857
4858         * cookies.c (eliminate_dups): New function.
4859         (build_cookies_request): Use it.
4860         (build_cookies_request): Set chain_store_size after reallocating
4861         all_chains.
4862         (check_domain_match): Annotated for easier future debugging.
4863         (store_cookie): In the debug message, print whether the cookie is
4864         permanent.
4865
4866 2001-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
4867
4868         * http.c (http_loop): Reset no_truncate before deciding whether to
4869         set it.
4870         (gethttp): Further clarify "-c conflicts with existing file" error
4871         message, based on input from Herold Heiko.
4872
4873 2001-05-07  Hrvoje Niksic  <hniksic@arsdigita.com>
4874
4875         * http.c (http_loop): If restval is set, set no_truncate to 1
4876         unconditionally.
4877
4878 2001-05-02  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4879
4880         * ftp-ls.c (ftp_parse_winnt_ls): Assure months are being correctly
4881         converted. Pointed out by <Stefan.Weil@de.heidelberg.com>.
4882         (ftp_parse_vms_ls): Ditto.
4883
4884 2001-04-30  Hrvoje Niksic  <hniksic@arsdigita.com>
4885
4886         * init.c (cmd_address): Zero SIN before using it; apparently
4887         needed on *BSD.
4888
4889 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
4890
4891         * ftp.c (ftp_loop_internal): Don't set NO_TRUNCATE if the file is
4892         empty.
4893
4894 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
4895
4896         * main.c (main): Make `--cookies' respect its argument.
4897
4898 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
4899
4900         * main.c (main): Removed undocumented option `--email-address'.
4901
4902         * netrc.c: Use the latest read_whole_line.
4903
4904         * init.c (defaults): Set opt.ftp_pass to "-wget@".
4905
4906         * mswindows.c (pwd_cuserid): Ditto.
4907
4908         * utils.c (pwd_cuserid): Removed.
4909
4910         * host.c (ftp_getaddress): Removed.
4911
4912 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
4913
4914         (http_loop): Allocate space for filename_plus_orig_suffix with
4915         alloca; this is more efficient and removes the need to free it
4916         before each and every return.
4917
4918 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
4919
4920         * http.c (gethttp): Return RETRUNNEEDED when the retrieval is
4921         unneeded because the file is already there and fully downloaded,
4922         and -c is specified.
4923         (http_loop): Handle RETRUNNEEDED.
4924
4925         * wget.h (uerr_t): New value RETRUNNEEDED.
4926
4927         * http.c (http_loop): Set no_truncate for files that both exist
4928         and are non-empty.
4929         (gethttp): Consider the download finished when restval >= contlen,
4930         not only when restval==contlen.
4931         (gethttp): Handle redirection before giving up due to -c.
4932         (gethttp): Clarify error message which explains that -c will not
4933         truncate the file.
4934         (gethttp): When returning CONTNOTSUPPORTED, don't forget to free
4935         the stuff that needs freeing and release the socket.
4936
4937 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4938
4939         * main.c (print_help): Wget booleans accept "off", not "no".
4940
4941 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4942
4943         * http.c (http_loop): If allow_cache is zero, always disable
4944         caching, not only when retrieving through proxy.
4945
4946         * init.c: Ditto.
4947
4948         * options.h (struct options): Rename proxy_cache to allow_cache.
4949
4950 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4951
4952         * http.c (mktime_from_utc): Improve documentation.
4953         (http_atotm): Put format strings into a separate array.
4954
4955 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4956
4957         * safe-ctype.h: Instead of throwing #error when isalpha is
4958         defined, redefine it to something that will throw a compile-time
4959         error if actually *used*.  Do the same for the rest of the
4960         standard C macros.
4961
4962 2001-04-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4963
4964         * url.c (getproxy): Ignore empty proxy vars.
4965
4966 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4967
4968         * http.c (http_loop): Would load cookies every time.
4969
4970         * cookies.c (load_cookies): Handle cookies whose values contain
4971         embedded spaces.
4972
4973 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4974
4975         * utils.c: Define each DIGITS_* in one line.
4976
4977 2001-04-25  Roger L. Beeman  <beeman@cisco.com>
4978
4979         * http.c (http_atotm): Initialize t.tm_isdst to 0.
4980         (mktime_from_utc): Prevent mktime() from having discontinuities at
4981         DST transition points.
4982
4983 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4984
4985         * html-url.c (get_urls_html): Fix documentation.
4986
4987 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4988
4989         * url.c (UNSAFE_CHAR): Reimplement using a static table.
4990         (url_init): Removed.
4991         (init_unsafe_char_table): Removed.
4992
4993 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4994
4995         * snprintf.c (dopr): Replace ISDIGIT with '0' <= ch && ch <= '9'.
4996
4997 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4998
4999         * utils.c: Document timer functions.
5000
5001         * retr.c (rate): Use it.
5002         (rate): Print in GB/s if transfer rate exceeds 1 GB/s.
5003
5004         * utils.c (wtimer_granularity): New function.
5005
5006 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
5007
5008         * retr.c (show_progress): Ditto.
5009
5010         * ftp.c (getftp): Ditto.
5011
5012         * http.c (gethttp): Use new timer functions.
5013
5014         * utils.c (wtimer_allocate): New function.
5015         (wtimer_new): Ditto.
5016         (wtimer_delete): Ditto.
5017         (wtimer_reset): Ditto.
5018         (wtimer_elapsed): Ditto.
5019
5020 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
5021
5022         * utils.c (long_to_string): New, faster version.  Favors smaller
5023         numbers; much of the calculation is now done at compile-time.
5024
5025 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
5026
5027         * utils.c (numdigit): Handle negative numbers.
5028
5029 2001-04-23  Hrvoje Niksic  <hniksic@arsdigita.com>
5030
5031         * retr.c (show_progress): Print the download rate even when the
5032         percentages are not available.
5033
5034 2001-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
5035
5036         * ftp.c (getftp): Adjust expected_bytes if the length is
5037         authoritative.
5038
5039 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
5040
5041         * url.c: Don't declare `construct'.
5042
5043         * hash.c (grow_hash_table): Speed up rehashing; inline storing of
5044         mappings to new locations.
5045         (hash_table_new): Make resize_threshold a field in the hash table,
5046         so we don't have to recalculate it in each hash_table_put.
5047         (grow_hash_table): Update resize_threshold.
5048         (MAX): Remove unused macro.
5049         (prime_size): Made static.
5050
5051 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
5052
5053         * retr.c (retrieve_url): Call uri_merge, not url_concat.
5054
5055         * html-url.c (collect_tags_mapper): Call uri_merge, not
5056         url_concat.
5057
5058         * url.c (mkstruct): Use encode_string instead of xstrdup followed
5059         by URL_CLEANSE.
5060         (path_simplify_with_kludge): Deleted.
5061         (contains_unsafe): Deleted.
5062         (construct): Renamed to uri_merge_1.
5063         (url_concat): Renamed to uri_merge.
5064
5065 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
5066
5067         * url.c (str_url): Use encode_string instead of the unnecessary
5068         CLEANDUP.
5069         (encode_string_maybe): New function, returns input string if no
5070         encoding is needed.
5071         (encode_string): Call encode_string_maybe to do the dirty work,
5072         xstrdup if no work needed.
5073
5074 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
5075
5076         * wget.h (XDIGIT_TO_xchar): Define here.
5077
5078         * url.c (decode_string): Use new name.
5079         (encode_string): Ditto.
5080
5081         * http.c (XDIGIT_TO_xchar): Rename HEXD2asc to XDIGIT_TO_xchar.
5082         (dump_hash): Use new name.
5083
5084         * wget.h: Rename ASC2HEXD and HEXD2ASC to XCHAR_TO_XDIGIT and
5085         XDIGIT_TO_XCHAR respectively.
5086
5087 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
5088
5089         * init.c: Include cookies.h.
5090
5091         * cookies.h: Declare cookies_cleanup.
5092
5093         * cookies.c (check_domain_match): Remove unused variable.
5094         (save_cookies): Remove extraneous argument from debug statement.
5095
5096         * host.c (same_host): Don't call skip_url.
5097
5098         * url.c (skip_url): Removed.  Removed its calls from various
5099         functions in url.c.
5100
5101 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
5102
5103         * cookies.c (unsigned_string_hash): Use the new code in
5104         string_hash as reference.
5105
5106         * hash.c (hash_table_map): Allow deletion and change of the
5107         element processed by MAPFUN.
5108         (string_hash): Use the function from glib.
5109
5110 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
5111
5112         * config.h.in: Include #undef stub.
5113
5114         * hash.c (hash_table_remove): Rewrite to actually clear deleted
5115         entries instead of just marking them as deleted.
5116
5117 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
5118
5119         * hash.h: Declare hash_table_get_pair and hash_table_count.
5120
5121 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
5122
5123         * cookies.c: Declare http_atotm.
5124
5125 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
5126
5127         * ftp-ls.c (ftp_parse_unix_ls): Use octal constants for
5128         permissions.  A compiler that doesn't accept octal constants is
5129         seriously broken and shouldn't be used -- octal constants were
5130         present in K&R C!
5131
5132 2001-01-20  Karl Eichwalder  <ke@suse.de>
5133
5134         * Makefile.in: Provide and use DESTDIR according to the Coding
5135         Standards.
5136
5137 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
5138
5139         * ftp-ls.c (ftp_parse_vms_ls): Make seconds optional in time
5140         specification.
5141
5142 2001-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
5143
5144         * url.c (parseurl): Don't strip trailing slash when u->dir is "/"
5145         because that strips the *leading* slash, thus forcing relative
5146         FTP retrieval.
5147
5148 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5149
5150         * ftp.c (getftp): Convert initial FTP directory from VMS to UNIX
5151         notation for VMS servers.
5152         (ftp_retrieve_dirs): Do not prepend '/' to f->name when
5153         odir is an empty string.
5154
5155 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5156
5157         * ftp-ls.c (ftp_parse_winnt_ls): Made the fix for AM/PM more
5158         effective. Suggested by Edward J. Sabol.
5159
5160 2001-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
5161
5162         * cookies.c (build_cookies_request): Use and sort cookies from all
5163         matching domains.
5164         (build_cookies_request): Check for duplicates before generating
5165         the `Cookies' header.
5166
5167         * main.c (main): Don't load cookies here.
5168         (main): Make loadcookies and savecookies call the correct command.
5169
5170         * http.c (http_loop): Load cookies on-demand.
5171
5172 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
5173
5174         * http.c (gethttp): Fix indentation of SSL ifdef.
5175
5176 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
5177
5178         * ftp.c (ftp_retrieve_dirs): Don't forcibly prepend "/" to u->dir;
5179         that hack is no longer necessary.
5180         (getftp): Prepend initial directory to *non*-absolute u->dir's.
5181
5182 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
5183
5184         * init.c (cmd_file): New function.
5185         (enable_tilde_expansion): New variable.
5186         (run_wgetrc): Use it.
5187         (cmd_file): Use it.
5188
5189 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
5190
5191         * init.c: Include cookie-related options.
5192
5193         * main.c (main): Include cookie-specific options.
5194         (main): Load cookies before download is finished.
5195         (main): Save cookies when done.
5196
5197         * http.c (gethttp): Process the `Set-Cookie' header.
5198         (gethttp): Include cookies in the response.
5199
5200         * cookies.c: New file.
5201
5202 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
5203
5204         * utils.c (datetime_str): New function.
5205
5206 2001-04-08  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5207
5208         * ftp-ls.c (ftp_parse_winnt_ls): The AM/PM change did assume
5209         12:01PM == 00:01, which was obviously wrong. Taken care of this
5210         anomaly.
5211
5212         * ChangeLog: Removed an excess conflict marker. Reformatted the
5213         entry by Philipp Thomas from 2001-03-09.
5214
5215         * ftp-ls.c (ftp_parse_winnt_ls): Ensure that adjusted PM hours lay
5216         between 0 and 23. Elminate unused variable `sec'.
5217
5218 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
5219
5220         * hash.c (hash_table_count): New function.
5221
5222 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5223
5224         * utils.c (read_file): Cast MAP_FAILED to char *.  Enforced by
5225         Digital Unix cc.
5226
5227 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5228
5229         * config.h.in: Oops, do the namespace tweaks only on systems we
5230         know about.
5231
5232 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5233
5234         * hash.c: Include <string.h>.
5235
5236 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5237
5238         * config.h.in: Define "compilation environment" options that work
5239         under Linux and Solaris.  To be reviewed on other OS'es.
5240
5241 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5242
5243         * http.c (gethttp): Prepend literal newline with `\n\'.
5244
5245 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5246
5247         * sysdep.h: Don't define VERY_LONG_FORMAT.
5248
5249         * utils.c (very_long_to_string): New function.
5250         (legible_very_long): Use it; don't use VERY_LONG_FORMAT.
5251
5252 2001-04-04  Christian Fraenkel  <christian.fraenkel@gmx.net>
5253
5254         * url.c (parse_uname): Would run past the end of the string if the
5255         username was present, but the URL did not contain a slash, e.g.
5256         http://foo:bar@myhost.
5257
5258 2001-04-03  KOJIMA Hajime  <kjm@rins.ryukoku.ac.jp>
5259
5260         * http.c (http_atotm): Use %A instead of %a to match full
5261         weekday.  (On most systems there is no difference.)
5262
5263 2001-04-03  Paul Bludov  <paul@ozero.net>
5264
5265         * mswindows.c (sleep): Use SleepEx() instead of Sleep().
5266         (ws_changetitle): Use alloca() instead of malloc() to avoid memory
5267         leak.
5268         (ws_mypath): Use GetModuleFileName instead of argv[0].
5269         (ws_startup): Use data.wVersion for comparison.
5270
5271 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
5272
5273         * http.c (http_loop): Ditto.
5274
5275         * ftp.c (ftp_loop_internal): Made the check whether to continue
5276         retrieval `-O'-friendly.
5277
5278 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
5279
5280         * netrc.c (parse_netrc): Don't trim the line endings explicitly;
5281         they will be handled as whitespace.
5282         (parse_netrc): Correctly handle lines that end with whitespace.
5283
5284 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
5285
5286         * retr.c (retrieve_url): New variable global_download_count used
5287         to identify first retrieval.
5288
5289         * ftp.c (getftp): Ditto.
5290
5291         * http.c (gethttp): Rewind opt.dfp only on first retrieval.
5292
5293 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
5294
5295         * init.c (cmd_address): Heap-allocate the address that gets stored
5296         to CLOSURE.  Old code would simply assign an address on the stack.
5297
5298 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
5299
5300         * ftp.c (ftp_get_listing): Propagate error status.
5301         (ftp_retrieve_glob): Use it.
5302         (ftp_loop): Ditto.
5303
5304 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
5305
5306         * main.c (main): Add -C to the string that is the third arg to
5307         getopt_long().
5308
5309 2001-04-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5310
5311         * ftp.c (getftp): Don't start the download from scratch if `-c'
5312         was specified, but the file is already fully downloaded.
5313
5314         * http.c (gethttp): Don't truncate a pre-existing file if `-c' was
5315         specified and the server doesn't support continued download.
5316         (gethttp): Don't start the download from scratch if `-c' was
5317         specified, but the file is already fully downloaded.
5318
5319 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
5320
5321         (recursive_retrieve): Don't clear the hash tables at this point at
5322         all; it interferes with the normal operation of register_download.
5323
5324 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
5325
5326         * recur.c (recursive_retrieve): Clear the hash tables only when
5327         they are defined.
5328
5329 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
5330
5331         * http.c (gethttp): Make sure the socket is closed with
5332         CLOSE_INVALIDATE before we have drained the body.
5333
5334 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
5335
5336         * retr.c (retrieve_url): Call register_download() for downloaded
5337         files and register_html() for downloaded HTML files.
5338
5339         * recur.c (register_download): New function; register here that a
5340         file has been downloaded, rather than in recursive_retrieve().
5341         (register_html): New function; enqueue the location of HTML files
5342         here rather than in recursive_retrieve().
5343
5344 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
5345
5346         * main.c (print_help): Use multiple fputs instead of a single ugly
5347         printf().
5348         (main): Consistently assign numbers >128 to options without a
5349         corresponding character.
5350
5351 2001-03-09  Philipp Thomas  <pthomas@suse.de>
5352
5353         * safe-ctype.h: New file. Locale independent ctype.h replacement
5354         taken from libiberty.
5355
5356         * safe-ctype.c: New file. Tables for above.
5357
5358         * Makefile.in: Add safe-ctype$o to OBJS.  Add dependencies for
5359         safe-ctype$o.
5360
5361         * cmpt.c: Remove include of ctype.h. Use ISSPACE instead of
5362         isspace.
5363
5364         * ftp-basic.c: Don't include ctype.h.
5365
5366         * ftp-ls.c: Likewise.
5367
5368         * ftp.c: Likewise.
5369
5370         * headers.c: Likewise.
5371
5372         * host.c: Likewise.
5373
5374         * html-parse.c: Likewise.
5375
5376         * html-url.c: Likewise.
5377
5378         * http.c: Likewise.
5379
5380         * init.c: Likewise.
5381
5382         * main.c: Likewise. Set LC_CTYPE along with LC_MESSAGES.
5383
5384         * netrc.c: Likewise.
5385
5386         * recur.c: Likewise.
5387
5388         * retr.c: Likewise.
5389
5390         * snprintf.c: Replace ctype.h with safe-ctype.h. Use ISDIGIT
5391         instead of isdigit.
5392
5393         * sysdep.h: Remove defines of ctype macros as they aren't needed
5394         for safe-ctype-h.
5395
5396         * url.c: Don't include ctype.h.
5397
5398         * utils.c: Likewise.
5399
5400         * wget.h: Include safe-ctype.h.
5401
5402 2001-03-27  Dan Harkless  <wget@harkless.org>
5403
5404         * Makefile.in: Moved top_builddir out of "User configuration
5405         section" of top Makefile and analogous spot in this one.
5406
5407 2001-03-17  Dan Harkless  <wget@harkless.org>
5408
5409         * Makefile.in: Include @SSL_INCLUDES@ substition in INCLUDES.
5410         Define top_builddir.  Link wget with libtool so the user doesn't
5411         have to supply a bunch of custom environment variables to
5412         correctly link with the OpenSSL shared libraries.
5413
5414 2001-03-06  Hack Kampbjorn  <hack@hackdata.com>
5415
5416         * http.c (gethttp): skip :port in host header if it is the
5417         DEFAULT_HTTPS_PORT when using SSL.
5418
5419         * url.c: move the #define of DEFAULT_HTTP_PORT, DEFAULT_FTP_PORT
5420         and DEFAULT_HTTPS_PORT to the header file so it can be use in the
5421         rest of the code.
5422         * url.h: Ditto
5423
5424 2001-03-01  Jonas Jensen  <bones@huleboer.dk>
5425
5426         * retr.c (show_progress): Correctly calculate the number of bytes
5427         in the first line of the download that have been actually
5428         downloaded in this run.
5429
5430 2001-02-23  Dan Harkless  <wget@harkless.org>
5431
5432         * main.c (print_help): --help documentation for -N said it would
5433         re-download files if they had the _same_ timestamp on server.
5434         (print_help): -nr belongs in "FTP options" section of --help
5435         output, not "Recursive retrieval" section.  Alphabetized FTP
5436         options by long option name.
5437
5438 2001-02-16  Dan Harkless  <wget@harkless.org>
5439
5440         * init.c (commands): Hack Kampbjørn <hack@hackdata.com> discovered
5441         that "httpsproxy" had been inserted into commands[] out of
5442         alphabetical order, causing "BUG: unknown command `httpuser'".
5443
5444 2001-02-13  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5445
5446         * ftp-ls.c (ftp_parse_ls): Added support of ST_MACOS (Unix-like
5447         listing without correct permissons).
5448
5449         * ftp.h (stype): Added ST_MACOS to identify the NetPresenz MacOS
5450         FTP server.
5451
5452         * ftp.c (ftp_retrieve_list): New mirroring logic: A remote file
5453         shall be donwloaded only when it's newer than the local copy or
5454         when it has the same timeestamp but its size is different. ST_VMS
5455         and ST_MACOS as special cases that lie about file size.
5456
5457         * ftp-ls.c (ftp_parse_ls): Support for ST_MACOS.
5458
5459         * Makefile.in: Removed dependency on ftpparse library due to unclear
5460         copyright issues and absence of any feedback to our queries.
5461
5462         * ftp-ls.c: Removed dependency on ftpparse library due to unclear
5463         copyright issues and absence of any feedback to our queries.
5464         (ftp_parse_ls): Added a warning message when remote server system
5465         does not seem to be suported by wget.
5466         (ftp_parse_vms_ls): New function for parsing VMS ftp
5467         server listing output.
5468         (clean_line): New function responsible for removing
5469         end-of-line characters from FTP listing texts.
5470
5471         * ftp.c (getftp): Global variables pwd and host_type are now
5472         member of the ccon structure under names ccon.id and ccon.rs.
5473
5474         * ftp.h (struct ccon): Added formed global variables from ftp.c,
5475         enum stype rs (remote system identification) and char *id (initial
5476         working directory), as suggested by Hrvoje.
5477
5478         * url.c (parse_uname): Added support for passwords containing '@'
5479         characters.
5480         (skip_uname): Ditto.
5481
5482 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
5483
5484         * ftp.c (ftp_loop): Reset con.
5485
5486 2001-01-06  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5487
5488         * url.c (parse_uname): Added support for passwords containing '@'
5489         characters.
5490         (skip_uname): Ditto.
5491
5492 2001-02-11  Hack Kampbjørn  <hack@hackdata.com>
5493
5494         * url.c (parseurl): Debug-print u->ftp_type.
5495
5496 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
5497
5498         * ftp.c (ftp_loop_internal): Disable padding.
5499         (getftp): Ditto.
5500
5501         * http.c (http_loop): Disable padding.
5502
5503         * retr.c (show_progress): Use it to enable padding.
5504
5505         * retr.c (rate): Optional parameter PAD for padding the rate.
5506
5507 2001-02-10  Hrvoje Niksic  <hniksic@arsdigita.com>
5508
5509         * retr.c (show_progress): Make sure that the last output line
5510         includes progress.
5511
5512 2001-02-10  Jonas Jensen  <bones@huleboer.dk>
5513
5514         * retr.c (show_progress): Print the download rate along with the
5515         percentages.
5516         Along with Anders Thorsby <anders@thorsby.dk>.
5517
5518 2001-02-10  Tim Mooney  <mooney@dogbert.cc.ndsu.NoDak.edu>
5519
5520         * ftp.h: Rename enums `command' to `wget_ftp_command' and
5521         `fstatus' to `wget_ftp_status' because old names clash with Tru64
5522         net/if.h.
5523
5524 2001-02-08  Christian Fraenkel <christian.fraenkel@gmx.net>
5525
5526         * gen_sslfunc.c: verify_callback is now static
5527
5528         * gen_sslfunc.c (init_ssl): load certificate if specified
5529
5530         * gen_sslfunc.c (ssl_printerr): new function
5531
5532         * init.c: added new --sslcertfile and --sslcertkey switches
5533
5534         * main.c: ditto
5535
5536         * options.h: ditto
5537
5538         * http.c (gethttp): abort when init_ssl fails
5539
5540 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
5541
5542         * mswindows.h: Include <malloc.h>; it's needed for alloca().
5543
5544 2001-01-10  Dan Harkless  <wget@harkless.org>
5545
5546         * url.c (str_url): Clarified this function's comment header after
5547         Hrvoje answered my question on the list as to when hide != 1.
5548         Also Hrvoje pointed out I need to use xstrdup() on the string literal.
5549
5550 2001-01-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5551
5552         * connect.c (bindport): Declare addrlen as int.  Diagnosed by
5553         Drazen Kacar <dave@arsdigita.com>.
5554         (conaddr): Ditto.
5555
5556 2001-01-09  Dan Harkless  <wget@harkless.org>
5557
5558         * html-url.c: A bunch of fixup of `--page-requisites'-related
5559         comments to reflect Hrvoje's changes to my code when transplanting
5560         it into this new file, to fix spelling mistakes, to clarify, etc.
5561
5562         * url.c (write_backup_file): Clarified a comment.
5563         (str_url): Henrik van Ginhoven pointed out on the list that we
5564         shouldn't give away the number of characters in the password by
5565         replacing each character with a 'x'.  Use "<password>" instead.
5566
5567         * ftp.c (ftp_retrieve_dirs): The bug where recursion into FTP
5568         directories didn't work if logging in put you in a directory other
5569         than "/" is fixed now.  Removed the comment here warning of the bug.
5570
5571         * main.c (print_help): --continue's description was misleading.
5572         We don't "restart", we "resume".  Also, better to say
5573         "partially-downloaded file" rather than just "existing file".
5574
5575 2001-01-06  Dan Harkless  <wget@harkless.org>
5576
5577         * ChangeLog: The '[Not in 1.6 branch.]'s were decided not to be
5578         the best way to go about my aim.  Removed them in favor of:
5579
5580         * ChangeLog-branches/1.6_branch.ChangeLog: New file.
5581
5582 2001-01-04  Hrvoje Niksic  <hniksic@arsdigita.com>
5583
5584         * url.c (replace_attr): New function, to be used by both
5585         TO_COMPLETE and TO_RELATIVE case in convert_links.
5586         (find_fragment): New function for finding URL fragments.
5587         (replace_attr): Better handle the case where the original string
5588         is not quoted.  Use find_fragment.
5589         (convert_links): Use replace_attr().
5590
5591 2000-12-31  Dan Harkless  <wget@harkless.org>
5592
5593         * ChangeLog: Since this flat file doesn't have multiple branches,
5594         looking at the dates would make you think that things went into
5595         1.6 that actually just went into the 1.7-dev branch.  Added "[Not
5596         in 1.6 branch.]" where appropriate to clarify.
5597
5598 2000-12-30  Dan Harkless  <wget@harkless.org>
5599
5600         * ftp.c, http.c:  Applied Hack Kampbjørn <hack@hackdata.com>'s
5601         patch to deal with h_errno not being defined in netdb.h under Cygwin.
5602
5603 2000-12-18  Csaba Raduly  <csaba.raduly@sophos.com>
5604
5605         * sysdep.h: Include <malloc.h> and <io.h> under Watcom.
5606
5607 2000-12-17  Igor Khristophorov  <igor@atdot.org>
5608
5609         * http.c (check_end): Fix test for '+' or '-'.
5610
5611 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
5612
5613         * url.c (parseurl): Rename inner loop var from i to ind to avoid
5614         clash with the function top-level-declared variable i.
5615         (str_url): Likewise, rename inner-loop i to j.
5616
5617         * recur.c (parse_robots): Don't declare LEN at top of function.
5618         (robots_match): Renamed parameter FORBIDDEN to avoid hiding of
5619         global variable.
5620
5621         * main.c (main): Change erroneous use of bitwise and to logical.
5622
5623         * init.c (cmd_address): Don't heap-allocate `sin'; it can be on
5624         the stack because it will be copied to closure.
5625
5626         Thanks to Csaba Raduly's run of PC-LINT over the sources.
5627
5628 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
5629
5630         * http.c (basic_authentication_encode): Use xmalloc(), not
5631         malloc().  Thanks to Csaba Raduly's run of PC-LINT over the
5632         sources.
5633
5634 2000-12-17  Csaba Raduly  <csaba.raduly@sophos.com>
5635
5636         * sysdep.h: Test for __EMX__ rather than for EMXOS2 for OS/2
5637         compilation.
5638
5639 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
5640
5641         * mswindows.c: Include <errno.h>.
5642
5643         * gen_sslfunc.c: Include <errno.h>.
5644
5645         * ftp-basic.c: Don't attempt to declare errno or h_errno because
5646         they're not used.
5647
5648         * main.c: Include <errno.h> because errno is used.
5649
5650         * ftp.c: Ditto.
5651
5652         * http.c: Include <netdb.h> for h_errno.
5653
5654 2000-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
5655
5656         * html-parse.c (advance_declaration): MSVC assert() chokes on
5657         '\"'.  Use '"' instead.
5658
5659 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
5660
5661         * utils.c (xfree_real): Removed.
5662         (xfree_debug): Just call free().
5663
5664         * wget.h (xfree): Make it an alias for free.
5665
5666 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
5667
5668         * http.c (http_loop): Furthermore, touch output_document only if
5669         it is known to be an existing regular file.
5670
5671 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
5672
5673         * ftp.c (ftp_retrieve_list): Ditto.
5674
5675         * http.c (http_loop): Touch output_document if that is used for
5676         output.
5677
5678 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5679
5680         * http.c: Include gen_sslfunc.h after including Wget's headers.
5681         (persistent_available_p): Needed coma before `int ssl'.
5682
5683 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5684
5685         * ftp.c (ftp_loop_internal): Ditto.
5686
5687         * http.c (http_loop): Use it.
5688
5689         * retr.c (sleep_between_retrievals): New function that handles the
5690         logic of opt.wait and opt.waitretry.
5691
5692 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5693
5694         * rbuf.h: Implement only a single version of RBUF_READCHAR, using
5695         rbuf_read_bufferful when the buffer is depleted.
5696
5697         * rbuf.c (rbuf_read_bufferful): New function.
5698
5699 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5700
5701         * gen_sslfunc.h: Use ansi2knr style function declarations.
5702
5703         * gen_sslfunc.c: Reformat according to the GNU coding standards.
5704         More should be done.
5705
5706         * http.c (persistent_available_p): Place the cheap SSL test nearer
5707         the top of the function.
5708         (CLOSE_FINISH, CLOSE_INVALIDATE): Define only one version of each.
5709
5710 2000-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
5711
5712         * url.c (init_unsafe_char_table): Reinstate space as an unsafe
5713         char.
5714
5715 2000-12-03  Christian Fraenkel <christian.fraenkel@gmx.net>
5716
5717         * Makefile.in: added gen_sslfunc object
5718         * config.h.in: added HAVE_SSL define
5719         * connect.c: changed select_fd from static int to int
5720         * connect.h: ditto
5721         * gen_sslfunc.h: New file
5722         * gen_sslfunc.c: ditto
5723         * http.c: added HTTPS fuctionality
5724         * retrc.c: ditto
5725         * url.c: ditto
5726         * init.c: added opt.httpsproxy
5727         * options.h: ditto
5728         * rbuf.h: added alternate rbuf struct
5729         * wget.h: added CONSSLERR
5730         * rbuf.c: ditto
5731
5732         * http.c: Added HTTPS fuctionality.
5733
5734         * retrc.c: Ditto.
5735
5736         * url.c: Ditto.
5737
5738         * init.c: Added opt.httpsproxy.
5739
5740         * options.h: Ditto.
5741
5742         * rbuf.h: Added alternate rbuf struct.
5743
5744         * wget.h: Added CONSSLERR.
5745
5746         * rbuf.c: Ditto.
5747
5748 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5749
5750         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
5751         "ignore_perms" to ignore file and directory permissions for
5752         Windows NT FTP server listings.
5753         (ftp_parse_winnt_ls): New function.
5754         (ftp_parse_ls): Parses UNIX and Windows NT listings
5755         separately. Simple heuristics for distinguishing between UNIX and
5756         MS-DOS-like FTP listing provided by Windows NT FTP service.
5757
5758 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5759
5760         * ftpparse.c, ftpparse.h: New files.
5761
5762         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
5763         only. Use ftp_parse_nonunix_ls otherwise.
5764         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
5765         exotic FTP servers.
5766
5767         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
5768         FTP servers.
5769
5770         * ftp.c: New static wariables host_type, pwd, and pwd_len.
5771         (getftp): Support for VMS. Support for FTP servers that do not
5772         place you in the root directory after login.
5773         (ftp_retrieve_list): VMS is silent about the real file size, issue
5774         a more appropriate message.
5775         (ftp_get_listing): Pass host_type to ftp_parse_ls.
5776
5777         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
5778
5779 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5780
5781         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
5782         "ignore_perms" to ignore file and directory permissions for
5783         Windows NT FTP server listings.
5784         (ftp_parse_winnt_ls): New function.
5785         (ftp_parse_ls): Parses UNIX and Windows NT listings
5786         separately. Simple heuristics for distinguishing between UNIX
5787         and MS-DOS-like FTP listing provided by Windows NT FTP service.
5788
5789 2000-11-29  John Summerfield  <summer@OS2.ami.com.au>
5790
5791         * netrc.c (parse_netrc): Get rid of line ending.
5792
5793 2000-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5794
5795         * ftp.c (ftp_retrieve_list): Undo typo "fix" until resolution by
5796         Dan.
5797
5798 2000-11-24  Karl Eichwalder  <ke@suse.de>
5799
5800         * main.c (print_help): Untabify.
5801
5802 2000-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
5803
5804         * utils.c (xrealloc_debug): Do the unregister/register thing only
5805         if the pointer has actually changed.
5806         (xmalloc_real): Declare `static' in DEBUG_MALLOC builds.
5807         (xfree_real): Ditto.
5808         (xrealloc_real): Ditto.
5809         (xstrdup_real): Ditto.
5810
5811 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
5812
5813         * ftp.c (getftp): ftp_getaddress() returns a malloc'ed copy of the
5814         string; no need to strdup() it.
5815         (getftp): Make pwd_len a local variable.
5816         (ftp_loop): Free PWD before returning.
5817
5818         * init.c (cleanup): Free opt.ftp_pass only if it's non-NULL.
5819
5820 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
5821
5822         * all: Use xfree() instead of free.
5823
5824         * utils.c (xfree): New function.
5825
5826 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
5827
5828         * url.c (convert_links): HTML-quote the converted string.
5829
5830         * utils.c (html_quote_string): Move here from ftp-ls.c
5831         (html_quote_string): Make non-static; declare in utils.h.
5832         (html_quote_string): Convert SP to &#32;.
5833
5834 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
5835
5836         * ftp.c (getftp): Reformat Jan's code according to GNU coding
5837         standards; remove (debugging?) printf's; use '\0' for the ASCII
5838         zero character.  Use alloca() instead of malloc() for
5839         inter-function temporary allocations.
5840
5841 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5842
5843         * ftpparse.c, ftpparse.h: New files.
5844
5845         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
5846         only. Use ftp_parse_nonunix_ls otherwise.
5847         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
5848         exotic FTP servers.
5849
5850         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
5851         FTP servers.
5852
5853         * ftp.c: New static wariables host_type, pwd, and pwd_len.
5854         (getftp): Support for VMS. Support for FTP servers that do not
5855         place you in the root directory after login.
5856         (ftp_retrieve_list): VMS is silent about the real file size, issue
5857         a more appropriate message.
5858         (ftp_get_listing): Pass host_type to ftp_parse_ls.
5859
5860         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
5861
5862 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
5863
5864         * hash.c (hash_table_put): Don't overwrite deleted mappings.
5865
5866 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
5867
5868         * hash.c (find_mapping): New function.
5869         (hash_table_get): Use it.
5870         (hash_table_get_pair): Ditto.
5871         (hash_table_exists): Ditto.
5872         (hash_table_remove): Ditto.
5873         (hash_table_remove): Really delete the entry if the mapping
5874         following LOCATION is empty.
5875
5876         * utils.c (string_set_add): Check whether the element has existed
5877         before.
5878
5879         * hash.c (hash_table_get_pair): New function.
5880
5881 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
5882
5883         * http.c (http_process_type): Ignore trailing whitespace; use
5884         strdupdelim().
5885
5886         * recur.c (recursive_retrieve): Use the new `convert' field.
5887         (convert_all_links): Ditto.
5888         (convert_all_links): Don't respect meta_disallow_follow.
5889
5890         * html-url.c (handle_link): Fill out link_relative_p and
5891         link_complete_p.
5892
5893         * url.h (struct _urlpos): Make elements more readable.
5894
5895         * recur.c (recursive_retrieve): Call slist_prepend instead of
5896         slist_append.
5897         (convert_all_links): Call slist_nreverse before iterating through
5898         urls_html.
5899
5900         * utils.c (slist_prepend): New function.
5901         (slist_nreverse): Ditto.
5902
5903 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
5904
5905         * http.c (check_end): Constify.
5906
5907 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
5908
5909         * http.c (http_loop): If username and password are known, try the
5910         `Basic' authentication scheme by default.
5911
5912         * connect.h: Declare test_socket_open.
5913
5914 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
5915
5916         * version.c: Bump version from 1.5.3+dev to 1.7-dev.
5917
5918 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
5919
5920         * http.c (gethttp): Don't use the return value of sprintf().
5921         (gethttp): Inhibit keep-alive if opt.http_keep_alive is 0.
5922
5923 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
5924
5925         * recur.c (recursive_retrieve): Print the "so we don't load"
5926         debugging message only if we really don't load.
5927
5928         * http.c (gethttp): Inhibit keep-alive if proxy is being used.
5929         (gethttp): Don't request keep-alive if keep-alive is inhibited.
5930
5931 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
5932
5933         * http.c (gethttp): Make the HTTP persistent connections more
5934         robust.
5935
5936 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
5937
5938         * retr.c (get_contents): If use_expected, make sure that the
5939         appropriate amount of data is being read.
5940
5941         * http.c (gethttp): Check for both `Keep-Alive: ...' and
5942         `Connection: Keep-Alive'.
5943
5944         * wget.h (DEBUGP): Call debug_logprintf only if opt.debug is
5945         turned on.
5946
5947 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
5948
5949         * http.c (connection_available_p): Use it.
5950
5951         * connect.c (test_socket_open): New function.
5952
5953         * http.c (gethttp): Support persistent connections.  Based on the
5954         ideas, and partly on code, by Sam Horrocks <sam@daemoninc.com>.
5955         (register_persistent): New function.
5956         (connection_available_p): Ditto.
5957         (invalidate_connection): Ditto.
5958
5959 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
5960
5961         * url.c (convert_links): Handle UREL2ABS case.
5962
5963         * recur.c (recursive_retrieve): Instead of the list
5964         urls_downloaded, use hash tables dl_file_url_map and
5965         dl_url_file_map.
5966         (convert_all_links): Use them to retrieve data.
5967
5968         * host.c (clean_hosts): Free the hash tables.
5969
5970         * main.c (private_initialize): Call host_init().
5971
5972         * host.c (store_hostaddress): Use a saner, hash table-based data
5973         model.
5974         (realhost): Ditto.
5975         (host_init): Initialize the hash tables.
5976
5977 2000-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
5978
5979         * utils.c (slist_append): Eviscerate NOSORT.  Hash tables are now
5980         used for what the sorted slists used to be used for.
5981         (slist_contains): Don't rely on the list being sorted.
5982         (slist_append): Simplify the code.
5983
5984         * recur.c (recursive_cleanup): Use free_string_set.
5985
5986         * utils.c (string_set_add, string_set_exists, string_set_free):
5987         New functions for easier freeing of hash tables whose keys are
5988         strdup'ed strings.
5989
5990         * recur.c (recursive_retrieve): Use the hash table functions for
5991         storing undesirable URLs.
5992
5993         * hash.c: New file.
5994
5995 2000-11-17  Hrvoje Niksic  <hniksic@arsdigita.com>
5996
5997         * main.c (private_initialize): Call url_init.
5998         (main): Call private_initialize.
5999
6000         * url.c (unsafe_char_table): New table.
6001         (UNSAFE_CHAR): Use it.
6002         (init_unsafe_char_table): New function.
6003         (url_init): New function; call init_unsafe_char_table.
6004
6005 2000-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
6006
6007         * mswindows.h: Define snprintf and vsnprintf to _snprintf and
6008         _vsnprintf respectively.
6009
6010 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
6011
6012         * config.h.in: Do the _XOPEN_SOURCE and _SVID_SOURCE things only
6013         on Linux.
6014
6015 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
6016
6017         * html-url.c (handle_link): Handle HTML fragment identifiers.
6018
6019         * recur.c (recursive_retrieve): If norobot info is respected and
6020         the file is specified not to be followed by robots, respect that.
6021
6022         * html-url.c (collect_tags_mapper): Handle <meta name=robots
6023         content=X>.  For us the important cases are where X is NONE or
6024         where X contains NOFOLLOW.
6025         (get_urls_html): Propagate that information to the caller.
6026
6027 2000-11-13  Hrvoje Niksic  <hniksic@arsdigita.com>
6028
6029         * url.c (convert_links): Unlink the file we might be reading from
6030         before writing to it.
6031         (convert_links): Use alloca instead of malloc for
6032         filename_plus_orig_suffix.
6033
6034 2000-11-12  Hrvoje Niksic  <hniksic@arsdigita.com>
6035
6036         * host.c (realhost): Add HOST to the list with quality==0 only if
6037         it wasn't already there.
6038         Based on analysis by Lu Guohan <feng@public.bjnet.edu.cn>.
6039
6040 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
6041
6042         * url.c (get_urls_file): Ditto.
6043         (convert_links): Ditto.
6044
6045         * html-url.c (get_urls_html): Use read_file() instead of
6046         load_file().
6047
6048         * utils.c (read_file): New function, instead of the old
6049         load_file().
6050         (read_file_free): Ditto.
6051
6052         * url.c (findurl): Search only for the supported protocols.
6053         (convert_links): Use fwrite() when writing out a region of
6054         characters.
6055
6056 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
6057
6058         * ftp-ls.c: Move html_quote_string and ftp_index here.
6059
6060         * url.c: Remove get_urls_html, since that's now in html-url.c.
6061
6062         * html-url.c: New file.
6063
6064         * html-parse.c: New file.
6065
6066 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
6067
6068         * init.c (run_wgetrc): Don't bother killing off '\r' since
6069         pars_line() skips whitespace at end of line anyway.
6070         (parse_line): Oops, it didn't.  Now it does.
6071
6072         * recur.c (parse_robots): Ditto here.
6073
6074         * ftp-ls.c (ftp_parse_unix_ls): Kill off the newline character
6075         manually because read_whole_line no longer does.
6076
6077         * utils.c (read_whole_line): Rewrite to: a) use less memory
6078         (reallocates to needed size after work), b) work faster -->
6079         fgets() instead of getc, c) be more correct --> doesn't kill the
6080         newline character at the end of line.
6081
6082 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
6083
6084         * init.c (comind): Initialize MAX to array size - 1.
6085
6086 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
6087
6088         * url.c (construct): Changed last_slash[-1] to *(last_slash - 1).
6089         Suggested by Edward J. Sabol.
6090
6091 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
6092
6093         * url.c (construct): Handle the case where host name is not
6094         followed by a slash.
6095
6096 2000-11-06  Hrvoje Niksic  <hniksic@arsdigita.com>
6097
6098         * init.c: commands[] need to be sorted!  ("base" wasn't.)
6099
6100 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
6101
6102         * wget.h (DO_REALLOC_FROM_ALLOCA): Use braces to disambiguate
6103         `if'.
6104
6105 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
6106
6107         * url.c (construct): Insert unneeded initialization for the
6108         compiler to shut up.
6109
6110         * config.h.in: Define _XOPEN_SOURCE to 500 to get the prototype
6111         for strptime() (*duh*).  Define _SVID_SOURCE to get S_IFLNK which
6112         otherwise gets lost when you define _XOPEN_SOURCE.
6113
6114         * utils.c (touch): Include the file name in the error message.
6115         From Debian.
6116
6117 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
6118
6119         * log.c (logvprintf): Use vsnprintf() in all cases.  If necessary,
6120         resize the buffer to fit the formated message.  That way, messages
6121         of arbitrary size may be printed.
6122         (logvprintf): Use saved_append() to optionally log the last
6123         several lines of output.
6124         (logputs): Ditto.
6125         (log_close): Adapt to new data structures.
6126         (log_dump): Ditto.
6127         (redirect_output): Print messages to stderr, not to stdout.
6128
6129         * log.c (saved_append_1): New function.  Replaces the old logging
6130         system ("log all output until 10M characters") with a new, much
6131         more reasonable one ("log last screenful of text").
6132         (saved_append): New function; call saved_append_1.
6133         (free_log_line): New function.
6134
6135 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
6136
6137         * url.c (construct): Fix comment.
6138         (find_last_char): Document.
6139
6140 2000-11-04  Hrvoje Niksic  <hniksic@arsdigita.com>
6141
6142         * snprintf.c: New file.
6143
6144 2000-11-03  Hrvoje Niksic  <hniksic@arsdigita.com>
6145
6146         * wget.h: If HAVE_STDARG_H is not defined, don't declare argument
6147         types to logprintf() and debug_logprintf().
6148
6149 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
6150
6151         * ftp.c (ftp_loop_internal): Hide the password from the URL when
6152         printing non-verbose.  Problem spotted by Dariusz Mlynarczyk
6153         <darekm@bydg.lomac.com.pl>.
6154
6155 2000-11-02  Junio Hamano  <junio@twinsun.com>
6156
6157         * ftp-basic.c (ftp_login): Make comparison case-insensitive.
6158
6159 2000-11-02  Tyler Riddle  <triddle@liquidmarket.com>
6160
6161         * http.c (known_authentication_scheme_p): Recognize NTML
6162         authentication.
6163         (create_authorization_line): Treat NTML the same as `Basic'.
6164
6165 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
6166
6167         * retr.c (retrieve_url): Free url before returning.
6168         (retrieve_url): Free mynewloc before returning.
6169         Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
6170
6171 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
6172
6173         * url.c (parseurl): Remove possible reading past the end of
6174         sup_protos[].  Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
6175
6176 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6177
6178         * main.c (main): In case of opt.downloaded overflowing, print
6179         <overflow> instead of a totally bogus random value.
6180
6181         * retr.c (retrieve_from_file): Ditto.
6182
6183         * recur.c (recursive_retrieve): Ditto.
6184
6185         * main.c (main): Ditto.
6186
6187         * http.c (http_loop): Ditto.
6188
6189         * ftp.c (ftp_loop_internal): Use downloaded_increase() instead of
6190         `+=', and downloaded_exceeds_quota() instead of the simple-minded
6191         check.
6192         (ftp_retrieve_list): Ditto.
6193         (ftp_retrieve_dirs): Ditto.
6194         (ftp_retrieve_glob): Ditto.
6195
6196         * retr.c (downloaded_increase): New function.  Notice overflows of
6197         opt.downloaded.
6198         (downloaded_exceeds_quota): Make sure that opt.downloaded is not
6199         used if it overflowed.
6200
6201         * options.h (struct options): New member downloaded_overflow.
6202
6203 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6204
6205         * wget.h (enum): Remove extra space after last enumeration.
6206
6207 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6208
6209         * main.c (main): Use legible_very_long() for printing
6210         opt.downloaded.
6211
6212         * utils.c (legible_1): New function that operates on strings and
6213         does the brunt of legible()'s work.
6214         (legible): Use legible_1().
6215         (legible_very_long): New function; dump the argument with
6216         sprintf(), and call legible_1().
6217
6218         * options.h (struct options): Use VERY_LONG_TYPE for
6219         opt.downloaded.
6220
6221         * sysdep.h (VERY_LONG_TYPE): Define it to have a 64-bit or greater
6222         type.
6223
6224         * config.h.in: Make sure that SIZEOF_LONG and SIZEOF_LONG_LONG get
6225         defined.  Define HAVE_LONG_LONG if long long is available.
6226
6227 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6228
6229         * utils.c (long_to_string): Update with a later, better version.
6230
6231 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6232
6233         * url.c (path_simplify_with_kludge): New function.
6234         (path_simplify_with_kludge): Disable it.  Instead...
6235         (parse_dir): ...make sure that at this point the right thing is
6236         done, i.e. that "query" part of the URL (?...) is always assigned
6237         to the file, never to the directory portion of the path.
6238
6239 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6240
6241         * retr.c (retrieve_url): Detect redirection cycles.
6242
6243 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6244
6245         * url.c (get_urls_html): Decode HTML entities using
6246         html_decode_entities.
6247
6248         * html.c (htmlfindurl): Don't count the `#' in numeric entities
6249         (&#NNN;) as an HTML fragemnt.
6250         (html_decode_entities): New function.
6251
6252 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6253
6254         * html.c (htmlfindurl): Fix recognition of # HTML fragments.
6255
6256 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6257
6258         * url.c (construct): Rewritten for clarity.  Avoids the
6259         unnecessary copying and stack-allocation the old version
6260         performed.
6261
6262 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
6263
6264         * ftp.c (getftp): Ditto.
6265
6266         * http.c (gethttp): Rewind the stream when retrying from scratch.
6267
6268 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
6269
6270         * retr.c (retrieve_url): Use url_concat() to handle relative
6271         redirections instead of /ad hoc/ code.
6272
6273         * url.c (url_concat): New function encapsulating weird
6274         construct().
6275         (urllen_http_hack): New function.
6276         (construct): When constructing new URLs, recognize that `?' does
6277         not form part of the file name in HTTP.
6278
6279 2000-10-13  Adrian Aichner  <adrian@xemacs.org>
6280
6281         * retr.c: Add msec timing support for WINDOWS.
6282         * retr.c (reset_timer): GetSystemTime() on WINDOWS.
6283         * retr.c (elapsed_time): Calculate delta time to msec on WINDOWS.
6284
6285 2000-10-27  Dan Harkless  <wget@harkless.org>
6286
6287         * retr.c (retrieve_url): Manually applied T. Bharath
6288         <TBharath@responsenetworks.com>'s patch to get wget to grok
6289         illegal relative URL redirects.  Reformatted and re-commented it.
6290
6291 2000-10-23  Dan Harkless  <wget@harkless.org>
6292
6293         * connect.c (make_connection and bindport): Manually applied Rob
6294         Mayoff <mayoff@dqd.com>'s 1.5.3 patch to add --bind-address,
6295         changing coding style to GNU's.
6296
6297         * ftp.c (ftp_loop_internal): --delete-after wasn't implemented for
6298         files downloaded via FTP.  Per a comment, .listing files were not
6299         counted towards number of bytes and files downloaded because they're
6300         deleted anyway.  Well, they aren't under -nr, so count them then.
6301
6302         * init.c: Manually applied Rob Mayoff's 1.5.3 patch to add
6303         --bind-address, alphabetizing, changing coding style to GNU's,
6304         commenting, and renaming cmd_ip_address() to cmd_address() to
6305         imply hostnames also okay.
6306
6307         * main.c (main): --delete-after didn't delete the root of the
6308         tree.  Ignore --convert-links if --delete-after was specified.
6309         Manually applied Rob Mayoff's 1.5.3 patch to add --bind-address,
6310         fixing duplicate use of added-since-1.5.3 case value.
6311         (print_help): Clarified that --delete-after deletes local files.
6312         Rob forgot to add a line for his new --bind-address option.
6313
6314         * options.h (struct options): Manually applied Rob Mayoff's patch
6315         to add --bind-address (bind_address structure member).
6316
6317         * recur.c (recursive_retrieve): Improved comment; added DEBUGP().
6318         Ignore --convert-links if --delete-after was specified.
6319
6320         * retr.c (retrieve_from_file): Just added a DEBUGP().
6321
6322 2000-10-19  Dan Harkless  <wget@harkless.org>
6323
6324         * ftp.c (ftp_loop_internal): downloaded_file() enumerators changed.
6325         (getftp): Applied Piotr Sulecki <Piotr.Sulecki@ios.krakow.pl>'s
6326         patch to work around FTP servers that incorrectly respond to the
6327         "REST" command with the remaining size rather than the total file size.
6328
6329         * http.c (gethttp): Improved a comment and added code to tack on
6330         ".html" to text/html files without that extension when -E specified.
6331         (http_loop): Use new downloaded_file() enumerators and deal with
6332         the case of gethttp() called xrealloc() on u->local.
6333
6334         * init.c (commands): Added new "htmlextension" command.
6335         Also renamed John Daily's cmd_quad() to the more descriptive
6336         cmd_lockable_boolean(), alpha-sorted the CMD_DECLARE()s and
6337         removed duplicate cmd_boolean() declaration.
6338
6339         * main.c (print_help): Added my new -E / --html-extension option.
6340         (main): Undocumented --email-address option previously used -E synonym.
6341         Stole it away for the much more deserving --html-extension's use.
6342
6343         * options.h (struct options): Added html_extension field.
6344
6345         * url.c (convert_links): URL X that we saved as X.html locally due
6346         to -E needs to be backed up as X.orig, not X.html.orig.  Added comments.
6347         (downloaded_file): Now remembers if we added .html extension to a file.
6348
6349         * url.h (downloaded_file_t): Added extra enumerators to support above.
6350         (downloaded_file): Now takes and returns a downloaded_file_t.
6351
6352         * wget.h (unnamed "dt" enum): Added ADDED_HTML_EXTENSION enumerator.
6353
6354 2000-10-09  Dan Harkless  <wget@harkless.org>
6355
6356         * html.c (htmlfindurl): Added unneeded initialization to quiet warning.
6357
6358         * main.c (print_help): Clarified what --retr-symlinks does.
6359
6360 2000-09-15  John Daily  <jdaily@cyberdude.com>
6361
6362         * init.c: Add support for "always" and "never" values to allow
6363         .wgetrc to override commandline (useful e.g. with .pm files
6364         calling `wget --passive-ftp' when your firewall doesn't allow that).
6365
6366         * ftp.c (getftp): passive_ftp is first option to support always/never.
6367
6368 2000-08-30  Dan Harkless  <wget@harkless.org>
6369
6370         * ftp.c (ftp_retrieve_list): Use new INFINITE_RECURSION #define.
6371
6372         * html.c: htmlfindurl() now takes final `dash_p_leaf_HTML' parameter.
6373         Wrapped some > 80-column lines.  When -p is specified and we're at a
6374         leaf node, do not traverse <A>, <AREA>, or <LINK> tags other than
6375         <LINK REL="stylesheet">.
6376
6377         * html.h (htmlfindurl): Now takes final `dash_p_leaf_HTML' parameter.
6378
6379         * init.c: Added new -p / --page-requisites / page_requisites option.
6380
6381         * main.c (print_help): Clarified that -l inf and -l 0 both allow
6382         infinite recursion.  Changed the unhelpful --mirrior description
6383         to simply give the options it's equivalent to.  Added new -p option.
6384         (main): Added some comments; handle new -p / --page-requisites.
6385
6386         * options.h (struct options): Added new page_requisites field.
6387
6388         * recur.c: Changed "URL-s" to "URLs" and "HTML-s" to "HTMLs".
6389         Calculate and pass down new `dash_p_leaf_HTML' parameter to
6390         get_urls_html().  Use new INFINITE_RECURSION #define.
6391
6392         * retr.c: Changed "URL-s" to "URLs".  get_urls_html() now takes
6393         final `dash_p_leaf_HTML' parameter.
6394
6395         * url.c: get_urls_html() and htmlfindurl() now take final
6396         `dash_p_leaf_HTML' parameter.
6397
6398         * url.h (get_urls_html): Now takes final `dash_p_leaf_HTML' parameter.
6399
6400         * wget.h: Added some comments and new INFINITE_RECURSION #define.
6401
6402 2000-08-23  Dan Harkless  <wget@harkless.org>
6403
6404         * main.c (print_help): -B / --base was not mentioned.
6405
6406 2000-08-22  Dan Harkless  <wget@harkless.org>
6407
6408         * main.c (print_help): Modified -nc description to mention that it
6409         also prevents the creation of multiple versions of the same file
6410         with ".<number>" suffixes.
6411
6412 2000-07-14  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
6413
6414         * retr.c (retrieve_url): Consistently strdup opt.referer when
6415         setting u->referer.
6416
6417 2000-06-09  Dan Harkless  <wget@harkless.org>
6418
6419         * main.c (print_help): --help output for --waitretry was over 80 cols.
6420
6421 2000-06-09  Hrvoje Niksic  <hniksic@iskon.hr>
6422
6423         * url.c (encode_string): Fix comment.
6424         Suggested by Herold Heiko <Heiko.Herold@previnet.it>.
6425
6426 2000-06-01  Const Kaplinsky  <const@ce.cctpu.edu.ru>
6427
6428         * ftp.c (ftp_retrieve_list): Change permissions only on plain
6429         files.
6430
6431 2000-06-01  Hrvoje Niksic  <hniksic@iskon.hr>
6432
6433         * url.c (str_url): Print the port number only if it's different
6434         from the default port number for that protocol.
6435
6436 2000-05-22  Dan Harkless  <wget@harkless.org>
6437
6438         * main.c (print_help): Added --help line for Damir Dzeko
6439         <ddzeko@zesoi.fer.hr>'s until-now-undocumented --referer option.
6440         Removed comments that --referer and --waitretry were undocumented.
6441         Changed "`.wgetrc' command" to "`.wgetrc'-style command" on --help
6442         line for --execute.
6443
6444 2000-05-18  Hrvoje Niksic  <hniksic@iskon.hr>
6445
6446         * ftp.c (getftp): Ditto.
6447
6448         * http.c (gethttp): Check for return value of fclose/fflush.
6449
6450 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
6451
6452         * host.c (store_hostaddress): Instead of shifting ADDR, start
6453         copying from the correct address.
6454
6455 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
6456
6457         * http.c (gethttp): Don't free REQUEST -- it was allocated with
6458         alloca().
6459         Pointed out by Gisle Vanem <gvanem@eunet.no>.
6460
6461 2000-04-04  Dan Harkless  <wget@harkless.org>
6462
6463         * host.c (store_hostaddress): R. K. Owen's patch introduces a
6464         "left shift count >= width of type" warning on 32-bit
6465         architectures.  Got rid of it by tricking the compiler w/ a variable.
6466
6467         * url.c (UNSAFE_CHAR): The macro didn't include all the illegal
6468         characters per RFC1738, namely everything above '~'.  It also
6469         generated a warning on OSes where char =~ unsigned char.  Fixed.
6470
6471 1998-10-17  Hrvoje Niksic  <hniksic@srce.hr>
6472
6473         * http.c (http_process_type): Removed needless strdup(), a memory
6474         leak.
6475
6476 1998-09-25  Hrvoje Niksic  <hniksic@srce.hr>
6477
6478         * html.c (htmlfindurl): Set PH to the first occurrence of `#'.
6479
6480 1998-09-25  Simon Munton  <simonm@m4data.co.uk>
6481
6482         * init.c (wgetrc_file_name): Don't free HOME under Windows.
6483
6484 1998-12-01  "R. K. Owen"  <rkowen@Nersc.GOV>
6485
6486         * host.c (store_hostaddress): Fix for big endian 64-bit machines.
6487
6488 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
6489
6490         * url.c (UNSAFE_CHAR): New macro.
6491         (contains_unsafe): Use it.
6492         (encode_string): Ditto.
6493
6494 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
6495
6496         * main.c (i18n_initialize): Use LC_MESSAGES only if available.
6497
6498 2000-03-31  Hrvoje Niksic  <hniksic@srce.hr>
6499
6500         * Use TOUPPER/TOLOWER.
6501
6502 1998-12-22  Alexander V. Lukyanov  <lav@yars.free.net>
6503
6504         * ftp-opie.c (btoe): Zero-terminate OSTORE.
6505
6506 2000-03-21  Hrvoje Niksic  <hniksic@iskon.hr>
6507
6508         * wget.h (DO_REALLOC_FROM_ALLOCA): Ditto.
6509
6510         * sysdep.h (ISALNUM): New macro.
6511         (TOLOWER): Ditto.
6512         (TOUPPER): Ditto.
6513
6514 2000-03-10  Dan Harkless  <wget@harkless.org>
6515
6516         * html.c (idmatch): Implemented checking of my new --follow-tags
6517         and --ignore-tags options.
6518
6519         * init.c (commands): Added comment reminding people adding new
6520         entries doing allocation to add corresponding freeing in cleanup().
6521         (commands): Added new followtags and ignoretags commands.
6522         (cleanup): Free storage for new followtags and ignoretags.
6523
6524         * main.c: Use of "comma-separated list" was random -- normalized
6525         it.  Did some alphabetization.  Added comments pointing out
6526         "Options without arguments" and "Options accepting an argument"
6527         sections of long_options[].  Added new options --follow-tags and
6528         -G / --ignore-tags.  Added comment that Damir's --referer is
6529         currently undocumented.  Added comment that Heiko's --waitretry is
6530         partially undocumented (mentioned in --help but not in
6531         wget.texi).  Moved improperly sorted 24, 129, and 'G' cases.
6532
6533         * options.h (struct options): Added new fields follow_tags and
6534         ignore_tags.
6535
6536         * wget.h: Added "#define EQ 0" so we can say "strcmp(a, b) == EQ".
6537
6538 2000-03-02  Dan Harkless  <wget@harkless.org>
6539
6540         * ftp.c (ftp_loop_internal): Heiko introduced "suggest explicit
6541         braces to avoid ambiguous `else'" warnings.  Eliminated them.
6542
6543         * http.c (gethttp): Dan Berger's query string patch is totally
6544         bogus.  If you have two different URLs, gen_page.cgi?page1 and
6545         get_page.cgi?page2, they'll both be saved as get_page.cgi and the
6546         second will overwrite the first.  Also, parameters to implicit
6547         CGIs, like "http://www.host.com/db/?2000-03-02" cause the URLs to
6548         be printed with trailing garbage characters, and could seg fault.
6549         Backing out the patch, which Dan B. informed me by email was just
6550         a kludge to download StarOffice from Sun made necessary due to
6551         wget's unconditional escaping of certain characters (room for an
6552         option there?).
6553         (http_loop): Heiko introduced "suggest explicit braces to avoid
6554         ambiguous `else'" warnings.  Eliminated them.
6555
6556         * main.c: Heiko's --wait / --waitretry backwards compatibility
6557         code looks to have been totally untested -- automatic variable
6558         'wr' was used without being initialized, and a long int was passed
6559         into setval()'s char* val parameter.
6560
6561         * recur.c (parse_robots): Applied Edward J. Sabol
6562         <sabol@alderaan.gsfc.nasa.gov>'s patch for Guan Yang's reported
6563         problem with "User-agent:<space>*<space>" lines in robots.txt.
6564
6565         * url.c (parseurl, str_url): Removing Dan Berger's code (see
6566         http.c above for explanation).
6567
6568 1999-08-25  Heiko Herold  <Heiko.Herold@previnet.it>
6569
6570         * ftp.c: Respect new option waitretry.
6571
6572 2000-01-30  Damir Dzeko  <ddzeko@zesoi.fer.hr>
6573
6574         * http.c (gethttp): Send custom Referer, if required.
6575
6576 1999-09-24  Charles G Waldman  <cgw@fnal.gov>
6577
6578         * netrc.c (parse_netrc): Allow passwords to contain spaces.
6579
6580         * netrc.c (parse_netrc): New function.
6581
6582 1999-09-17  Dan Berger  <dberger@ix.netcom.com>
6583
6584         * http.c (gethttp): Send it.
6585
6586         * url.c (parseurl): Detect query string in HTTP URL-s.
6587         (str_url): Print it.
6588
6589 2000-03-02  HIROSE Masaaki  <hirose31@t3.rim.or.jp>
6590
6591         * html.c (html_allow): Add <link href=...> and <script src=...>.
6592
6593 1999-05-02  andrew deryabin  <djsf@softhome.net>
6594
6595         * http.c (gethttp): Specify port in `Host' header only if it's
6596         different from 80.
6597
6598 1998-11-03  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
6599
6600         * recur.c (recursive_retrieve): If a finite maximum depth is
6601         specified, and we're are already at that depth, don't download the
6602         HTML file for parsing.
6603
6604 2000-03-01  Dan Harkless  <wget@harkless.org>
6605
6606         * ftp.c (ftp_loop_internal): Call new downloaded_file() function,
6607         even though we don't do conversion on HTML files retrieved via
6608         FTP, so _current_ usage of downloaded_file() makes this call unneeded.
6609         (ftp_retrieve_list): Added a comment saying where we need to
6610         stat() a .orig file if FTP'd HTML file conversion is ever implemented.
6611         (ftp_retrieve_list): "Local file '%s' is more recent," is sometimes
6612         a lie -- reworded as "Server file no newer than local file '%s' --".
6613
6614         * http.c (http_loop): Fixed a typo and clarified a comment.
6615         (http_loop): When -K and -N are specified together, compare size
6616         and timestamp of server file X against local file X.orig (if
6617         extant) rather than converted local file X.
6618         (http_loop): "Local file '%s' is more recent," is sometimes a lie
6619         -- reworded as "Server file no newer than local file '%s' --".
6620         (http_loop): Call new downloaded_file() function to prevent
6621         wrongful overwriting of .orig file when -N is specified.
6622
6623         * url.c (convert_links): When -K specified, only rename X to
6624         X.orig if downloaded_file() returns TRUE.  Otherwise when we skip
6625         file X due to -N, we clobber an X.orig from a previous invocation.
6626         (convert_links): Call the failsafe xstrdup(), not the real strdup().
6627         (convert_links): Added a note asking anyone who understands how
6628         multiple URLs can correspond to a single file to comment it.
6629         (downloaded_file): Added this new function.
6630
6631         * url.h (downloaded_file): Added prototype for this new function
6632         as well as its downloaded_file_t enum type.
6633
6634         * wget.h (boolean): Added this new typedef and TRUE and FALSE #defines.
6635
6636 2000-02-29  Dan Harkless  <wget@harkless.org>
6637
6638         * version.c: Upped version to developer-only "1.5.3+dev".
6639
6640 2000-02-18  Dan Harkless  <wget@harkless.org>
6641
6642         * init.c (backup_converted): Added this new option.
6643
6644         * main.c (-K / --backup-converted): Added this new option.
6645
6646         * options.h (backup_converted): Added this new option.
6647
6648         * url.c (convert_links): When backup_converted is specified, save
6649         file X as X.orig before converting.
6650
6651         * url.h (urlpos): Fixed typo -- said "Rekative" instead of "Relative".
6652
6653 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
6654
6655         * version.c: Wget 1.5.3 is released.
6656
6657 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
6658
6659         * host.c (ftp_getaddress): Don't warn when reverse-lookup of local
6660         address doesn't yield FQDN.
6661
6662 1998-09-21  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
6663
6664         * cmpt.c (strerror): Fix declaration of sys_errlist.
6665
6666 1998-09-11  Hrvoje Niksic  <hniksic@srce.hr>
6667
6668         * main.c (main): Don't use an array subscript as the first
6669         argument to STRDUP_ALLOCA.
6670         From Kaveh R. Ghazi.
6671
6672 1998-09-11  Szakacsits Szabolcs  <szaka@sienet.hu>
6673
6674         * html.c (htmlfindurl): Download table background.
6675
6676 1998-09-11  Hans Grobler  <grobh@conde.ee.sun.ac.za>
6677
6678         * init.c (parse_line): Would free *com before allocating it.
6679         (parse_line): Would free com instead of *com.
6680
6681 1998-09-10  Howard Gayle  <howard@fjst.com>
6682
6683         * url.c (get_urls_html): Would drop the last character of the
6684         link.
6685
6686 1998-09-10  Hrvoje Niksic  <hniksic@srce.hr>
6687
6688         * http.c (http_loop): Don't print status code if quiet.
6689
6690 1998-09-10  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
6691
6692         * log.c: Use <stdarg.h> only when __STDC__.
6693
6694 1998-09-10  Adam D. Moss  <adam@foxbox.org>
6695
6696         * html.c (htmlfindurl): Download <layer src=...>.
6697
6698 1998-09-10  Howard Gayle  <howard@fjst.com>
6699
6700         * ftp.c (ftp_retrieve_list): Don't update the time stamp of a file
6701         not retrieved.
6702
6703 1998-06-27  Hrvoje Niksic  <hniksic@srce.hr>
6704
6705         * utils.c: Include <libc.h> on NeXT.
6706
6707 1998-06-26  Heinz Salzmann  <heinz.salzmann@intermetall.de>
6708
6709         * url.c (get_urls_html): Fix calculation of URL position.
6710
6711 1998-06-23  Hrvoje Niksic  <hniksic@srce.hr>
6712
6713         * version.c: Wget 1.5.2 is released.
6714
6715 1998-06-23  Dave Love  <d.love@dl.ac.uk>
6716
6717         * ftp.c, init.c, netrc.c: Include errno.h.
6718
6719         * http.c: Include errno.h and time header.
6720
6721         * Makefile.in (exext): Define.
6722         (install.bin, uninstall.bin): Use it.
6723
6724 1998-06-21  Hrvoje Niksic  <hniksic@srce.hr>
6725
6726         * http.c (http_loop): Don't attempt to compare local and remote
6727         sizes if the remote size is unknown.
6728
6729 1998-06-16  Hrvoje Niksic  <hniksic@srce.hr>
6730
6731         * url.c (get_urls_html): Use malloc() instead of alloca in the
6732         loop.
6733
6734 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
6735
6736         * version.c: Wget 1.5.2-b4 is released.
6737
6738 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
6739
6740         * url.c (get_urls_html): Ignore spaces before and after the URI.
6741
6742 1998-06-08  Wanderlei Antonio Cavassin  <cavassin@conectiva.com.br>
6743
6744         * ftp.c (getftp): Translate `done'.
6745
6746 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
6747
6748         * version.c: Wget 1.5.2-b3 is released.
6749
6750 1998-06-06  Alexander Kourakos  <awk@bnt.com>
6751
6752         * init.c (cleanup): Close dfp, don't free it.
6753
6754 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
6755
6756         * utils.c (make_directory): Twiddle.
6757
6758         * config.h.in: Added template for access().
6759
6760 1998-06-05  Mathieu Guillaume  <mat@cythere.com>
6761
6762         * html.c (htmlfindurl): Download <input src=...>
6763
6764 1998-06-03  Hrvoje Niksic  <hniksic@srce.hr>
6765
6766         * utils.c (file_exists_p): Use access() with two arguments.
6767
6768 1998-05-27  Martin Kraemer  <Martin.Kraemer@mch.sni.de>
6769
6770         * netrc.c (parse_netrc): Correct logic.
6771
6772 1998-05-27  Hrvoje Niksic  <hniksic@srce.hr>
6773
6774         * ftp.c (getftp): Added `break'; suggested by Lin Zhe Min
6775         <ljm@ljm.wownet.net>.
6776
6777 1998-05-24  Hrvoje Niksic  <hniksic@srce.hr>
6778
6779         * version.c: Wget 1.5.2-b2 is released.
6780
6781 1998-05-18  Juan Jose Rodriguez  <jcnsoft@jal1.telmex.net.mx>
6782
6783         * mswindows.h: Don't translate mkdir to _mkdir under Borland.
6784
6785 1998-05-17  Hrvoje Niksic  <hniksic@srce.hr>
6786
6787         * retr.c (elapsed_time): Return correct value when
6788         HAVE_GETTIMEOFDAY is undefined.
6789
6790 1998-05-13  Hrvoje Niksic  <hniksic@srce.hr>
6791
6792         * version.c: Wget 1.5.2-b1 is released.
6793
6794 1998-05-08  Hrvoje Niksic  <hniksic@srce.hr>
6795
6796         * getopt.c (_getopt_internal): Use exec_name instead of argv[0].
6797         (_getopt_internal): Don't translate `#if 0'-ed strings.
6798
6799 1998-05-06  Douglas E. Wegscheid  <wegscd@whirlpool.com>
6800
6801         * mswindows.c (ws_handler): Use fork_to_background().
6802
6803 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
6804
6805         * version.c: Wget 1.5.1 is released.
6806
6807 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
6808
6809         * http.c (parse_http_status_line): Avoid `minor' and `major'
6810         names.
6811
6812 1998-05-02  Hrvoje Niksic  <hniksic@srce.hr>
6813
6814         * utils.c (mkdirhier): Renamed to make_directory.
6815
6816 1998-05-01  Hrvoje Niksic  <hniksic@srce.hr>
6817
6818         * mswindows.c (fork_to_background): Define under Windows.
6819
6820         * utils.c (fork_to_background): New function.
6821
6822         * html.c (htmlfindurl): Removed rerdundant casts.
6823
6824 1998-05-01  Douglas E. Wegscheid  <wegscd@whirlpool.com>
6825
6826         * mswindows.c (ws_mypath): Cache the path.
6827
6828 1998-04-30  Douglas E. Wegscheid  <wegscd@whirlpool.com>
6829
6830         * ftp.h: Prefix enum ftype members with FT_.
6831
6832         * ftp-ls.c, ftp.c, html.h: Adjust accordingly.
6833
6834         * mswindows.h: Use stat under Borland, _stat under MSVC.
6835
6836 1998-04-28  Hrvoje Niksic  <hniksic@srce.hr>
6837
6838         * http.c (known_authentication_scheme_p): New function.
6839         (gethttp): Handle authorization more correctly.
6840
6841         * ftp-basic.h: Removed.
6842
6843         * cmpt.h: Removed.
6844
6845         * utils.c: Include <unistd.h> before <pwd.h>; needed under SunOS
6846         with gcc 2.8.
6847         (numdigit): Use `while' loop.
6848
6849         * http.c (create_authorization_line): Detect authentication
6850         schemes case-insensitively.
6851
6852         * http.c (extract_header_attr): Use strdupdelim().
6853         (digest_authentication_encode): Move declaration of local
6854         variables to smaller scope.
6855         (digest_authentication_encode): Reset REALM, OPAQUE and NONCE.
6856         (create_authorization_line): Detect authentication schemes
6857         case-insensitively.
6858
6859         * utils.c (touch): Constify.
6860
6861         * http.c (gethttp): Report a nicer error when no data is received.
6862
6863         * rbuf.h (RBUF_READCHAR): Ditto.
6864
6865         * ftp-basic.c (ftp_response): Use sizeof.
6866
6867 1998-04-27  Hrvoje Niksic  <hniksic@srce.hr>
6868
6869         * retr.c (print_percentage): EXPECTED is long, not int.
6870         (print_percentage): Use floating-point arithmetic to avoid
6871         overflow with large files' sizes multiplied with 100.
6872
6873 1998-04-27  Gregor Hoffleit  <flight@mathi.uni-heidelberg.de>
6874
6875         * config.h.in: Added pid_t stub.
6876
6877         * sysdep.h (S_ISREG): Moved here from mswindows.h (NeXT doesn't
6878         define it).
6879
6880 1998-04-20  Hrvoje Niksic  <hniksic@srce.hr>
6881
6882         * version.c: Wget 1.5.0 is released.
6883
6884 1998-04-18  Hrvoje Niksic  <hniksic@srce.hr>
6885
6886         * url.c (str_url): Ditto.
6887
6888         * ftp-basic.c (ftp_rest): Use new name.
6889
6890         * utils.c (long_to_string): Renamed from prnum().
6891
6892 1998-04-16  Hrvoje Niksic  <hniksic@srce.hr>
6893
6894         * version.c: Wget 1.5-b17 is released.
6895
6896 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
6897
6898         * headers.c (header_get): New argument FLAGS.
6899
6900         * http.c (gethttp): If request is malformed, bail out of the
6901         header loop.
6902         (gethttp): Check for empty header *after* the status line checks.
6903         (gethttp): Disallow continuations for status line.
6904
6905 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
6906
6907         * version.c: Wget 1.5-b16 is released.
6908
6909 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
6910
6911         * init.c (commands): Renamed `always_rest' to `continue'.
6912
6913 1998-04-05  Hrvoje Niksic  <hniksic@srce.hr>
6914
6915         * all: Use it.
6916
6917         * log.c (logputs): New argument.
6918         (logvprintf): Ditto.
6919         (logprintf): Ditto.
6920
6921 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
6922
6923         * http.c (http_atotm): Update comment.
6924
6925         * main.c (i18n_initialize): Set LC_MESSAGES, not LC_ALL.
6926
6927         * wget.h: Renamed ENABLED_NLS to HAVE_NLS.
6928
6929         * main.c (i18n_initialize): New function.
6930         (main): Use it.
6931
6932         * log.c: Include <unistd.h>.
6933
6934         * retr.c (show_progress): Cast alloca to char *.
6935
6936 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
6937
6938         * version.c: Wget 1.5-b15 is released.
6939
6940 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
6941
6942         * utils.h: Declare file_non_directory_p().
6943
6944 1998-04-03  Hrvoje Niksic  <hniksic@srce.hr>
6945
6946         * main.c (main): It's `tries', not `numtries' now.
6947
6948 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
6949
6950         * init.c (getperms): Removed.
6951
6952 1998-04-01  Tim Charron  <tcharron@interlog.com>
6953
6954         * log.c (logvprintf): Don't use ARGS twice.
6955
6956 1998-04-01  John  <john@futuresguide.com>
6957
6958         * mswindows.c: Cleaned up.
6959
6960 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
6961
6962         * version.c: Wget 1.5-b14 is released.
6963
6964 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
6965
6966         * ftp-opie.c (STRLEN4): New macro.
6967         (btoe): Use it.
6968
6969 1998-04-01  Junio Hamano  <junio@twinsun.com>
6970
6971         * http.c: Document all the Digest functions.
6972
6973 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
6974
6975         * utils.c (file_non_directory_p): Renamed from isfile().
6976
6977         * mswindows.h (S_ISREG): New macro, suggested by Tim Adam.
6978
6979 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
6980
6981         * utils.c (mkdirhier): Use 0777 instead of opt.dirmode.
6982
6983         * init.c (cmd_spec_dotstyle): Use 48 dots per line for binary
6984         style.
6985         (cmd_permissions): Removed.
6986
6987         * config.h.in: Add template for WORDS_BIGENDIAN.
6988
6989 1998-03-31  Junio Hamano  <junio@twinsun.com>
6990
6991         * http.c (HEXD2asc): New macro.
6992         (dump_hash): Use it.
6993
6994 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
6995
6996         * version.c: Wget 1.5-b13 is released.
6997
6998 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
6999
7000         * main.c (main): Don't try to use `com'.
7001
7002 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
7003
7004         * init.c (cmd_permissions): New function.
7005
7006 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
7007
7008         * version.c: Wget 1.5-b12 is released.
7009
7010 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
7011
7012         * init.c (commands): Renamed `numtries' to `tries'.
7013         (cmd_spec_debug): Removed.
7014         (home_dir): Under Windows, return `C:\' if HOME is undefined.
7015
7016 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
7017
7018         * config.h.in: Define _XOPEN_SOURCE.
7019
7020         * init.c (check_user_specified_header): New function.
7021         (cmd_spec_header): Use it.
7022         (cmd_spec_useragent): New function.
7023
7024 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
7025
7026         * version.c: Wget 1.5-b11 is released.
7027
7028 1998-03-28  Hrvoje Niksic  <hniksic@srce.hr>
7029
7030         * wget.h: Include <libintl.h> only if NLS is enabled.
7031
7032 1998-03-26  Hrvoje Niksic  <hniksic@srce.hr>
7033
7034         * options.h (struct options): Made `wait' a long.
7035         (struct options): Ditto for `timeout'.
7036
7037 1998-03-19  Hrvoje Niksic  <hniksic@srce.hr>
7038
7039         * utils.c (exists): Renamed to file_exists_p.
7040         (file_exists_p): Use access() if available.
7041
7042 1998-03-17  Hrvoje Niksic  <hniksic@srce.hr>
7043
7044         * utils.c (memfatal): Set save_log_p to 0 to avoid potential
7045         infloop.
7046
7047         * log.c: do_logging -> save_log_p.
7048
7049         * config.h.in: Added template for HAVE_VSNPRINTF.
7050
7051 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
7052
7053         * init.c: Ditto.
7054
7055         * http.c: Protect declaration against non-ANSI compiler.
7056
7057         * log.c (logvprintf): Use vsnprintf() if available.
7058
7059         * getopt.c (main): Don't translate test stuff.
7060
7061 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
7062
7063         * version.c: Wget 1.5-b10 is released.
7064
7065 1998-03-11  Hrvoje Niksic  <hniksic@srce.hr>
7066
7067         * ftp.c (getftp): Don't translate "CWD %s".
7068
7069         * wget.h (GCC_FORMAT_ATTR): Renamed from FORMAT_ATTR.
7070
7071 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
7072
7073         * ftp-opie.c (btoe): Use memcpy() instead of strncat().
7074
7075         * log.c (logputs): New function.
7076         (logvprintf): Renamed from vlogmsg; use logputs().
7077
7078         * retr.c (show_progress): Print `[100%]' when the retrieval is
7079         finished.
7080
7081         * init.c (run_wgetrc): Use FILE, not PATH.
7082         (wgetrc_file_name): Ditto.
7083
7084 1998-03-07  Tim Adam  <tma@osa.com.au>
7085
7086         * recur.c (parse_robots): Correctly reset `entries' on empty
7087         disallow.
7088
7089 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
7090
7091         * init.c (cmd_spec_debug): Use cmd_boolean().
7092
7093 1998-02-23  Hrvoje Niksic  <hniksic@srce.hr>
7094
7095         * http.c (gethttp): Create proxy-authorization correctly.
7096
7097 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
7098
7099         * md5.c: Ditto.
7100
7101         * getopt.c: Use ANSI function definitions.
7102
7103         * ftp-opie.c: New file.
7104
7105         * options.h: Don't redefine EXTERN.
7106
7107         * init.c: Sort it correctly.
7108
7109 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
7110
7111         * version.c: Wget 1.5-b9 is released.
7112
7113 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
7114
7115         * recur.c (recursive_retrieve): Reset `first_time'.
7116
7117         * ftp.c (getftp): Added `default' clause to switches of uerr_t.
7118
7119         * rbuf.c (rbuf_peek): Simplified.
7120         (rbuf_flush): Use MINVAL.
7121
7122         * wget.h (MINVAL): Moved from url.h.
7123
7124         * rbuf.h (RBUF_FD): New macro.
7125
7126         * url.c (add_url): Add to the head of the list.
7127
7128         * ftp.c (ftp_retrieve_list): Set the permissions to downloaded
7129         file.
7130         (getftp): Set the default permissions to 0600.
7131
7132 1998-02-21  Hrvoje Niksic  <hniksic@srce.hr>
7133
7134         * url.c (get_urls_html): Ditto.
7135         (convert_links): Ditto.
7136
7137         * recur.c (parse_robots): Ditto.
7138
7139         * html.c (ftp_index): Ditto.
7140
7141         * ftp-ls.c (ftp_parse_unix_ls): Open file as binary.
7142
7143         * init.c (defaults): Initialize `opt' to zero via memset.
7144
7145         * http.c (digest_authentication_encode): goto considered harmful.
7146
7147 1998-02-19  Hrvoje Niksic  <hniksic@srce.hr>
7148
7149         * ftp.c (delelement): Simplify and fix leak.
7150
7151 1998-02-18  Hrvoje Niksic  <hniksic@srce.hr>
7152
7153         * http.c (dump_hash): Use HEXD2ASC instead of home-grown stuff.
7154
7155         * url.h (HEXD2ASC): Removed warning.
7156
7157         * init.c (comind): Use binary search.
7158         (commands): Reorganized.
7159         (setval): Ditto.
7160         (cmd_boolean): New function.
7161         (cmd_number): Ditto.
7162         (cmd_number_inf): Ditto.
7163         (cmd_string): Ditto.
7164         (cmd_vector): Ditto.
7165         (cmd_directory_vector): Ditto.
7166         (cmd_bytes): Ditto.
7167         (cmd_time): Ditto.
7168         (cmd_spec_debug): Ditto.
7169         (cmd_spec_dirmode): Ditto.
7170         (cmd_spec_dirstruct): Ditto.
7171         (cmd_spec_dotstyle): Ditto.
7172         (cmd_spec_header): Ditto.
7173         (cmd_spec_htmlify): Ditto.
7174         (cmd_spec_mirror): Ditto.
7175         (cmd_spec_outputdocument): Ditto.
7176         (cmd_spec_recursive): Ditto.
7177         (settime): Merged with cmd_time().
7178         (setbytes): Merged with cmd_bytes().
7179         (setonoff): Merged with cmd_boolean().
7180         (onoff): Ditto.
7181
7182 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
7183
7184         * Makefile.in (distclean): Remove `config.h'.
7185
7186 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
7187
7188         * version.c: Wget 1.5-b8 is released.
7189
7190 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
7191
7192         * http.c (digest_authentication_encode): New function.
7193         (create_authorization_line): Use it.
7194         (dump_hash): New function.
7195         (digest_authentication_encode): Use it.
7196
7197         * fnmatch.c: Renamed from `mtch.c'.
7198
7199 1998-02-15  Karl Eichwalder  <ke@suse.de>
7200
7201         * main.c (main): Tag "Written by..." string as translatable.
7202
7203 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
7204
7205         * wget.h (FREE_MAYBE): New macro.
7206
7207         * http.c (create_authorization_line): Don't use ANSI C string
7208         concatenation feature.
7209         (basic_authentication_encode): Use alloca() for temporary
7210         variables.
7211
7212         * recur.h: Ditto.
7213
7214         * http.c: Ditto.
7215
7216         * headers.h: Ditto.
7217
7218         * ftp-basic.c: Protect declaration against non-ANSI compiler.
7219
7220         * http.c (create_authorization_line): Cast `unsigned char *' to
7221         `char *' for sprintf, to shut up the noisy Digital Unix cc.
7222
7223 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
7224
7225         * version.c: Wget 1.5-b7 is released.
7226
7227 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
7228
7229         * cmpt.c (strstr): Synched with glibc-2.0.6.
7230
7231         * ftp-basic.c (calculate_skey_response): Ditto.
7232         (calculate_skey_response): Use alloca().
7233
7234         * http.c (create_authorization_line): Work with FSF's version of
7235         md5.c.
7236
7237         * md5.c: New file, from GNU libc.
7238
7239 1998-02-14  Hrvoje Niksic  <hniksic@srce.hr>
7240
7241         * url.h (URL_CLEANSE): Name the temporary variable more carefully.
7242
7243 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
7244
7245         * http.c (basic_authentication_encode): New function, instead of
7246         the macro.
7247
7248 1998-02-13  Junio Hamano  <junio@twinsun.com>
7249
7250         * http.c: Add HTTP-DA support.
7251         * ftp-basic.c: Add Opie/S-key support.
7252         * config.h.in, Makefile.in: Add HTTP-DA and Opie/S-key support.
7253         * md5.c, md5.h: New files.
7254
7255 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
7256
7257         * http.c (http_process_range): Renamed from hprocrange().
7258         (http_process_range): Parse the whole header.
7259
7260         * headers.c: New file.
7261         (header_process): New function.
7262         (header_get): Renamed from fetch_next_header.
7263
7264         * all: Include utils.h only where necessary.
7265
7266         * wget.h: Declare xmalloc(), xrealloc() and xstrdup() here.
7267
7268         * wget.h: Add provisions for dmalloc.
7269
7270 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
7271
7272         * version.c: Wget 1.5-b6 is released.
7273
7274 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
7275
7276         * ftp.c (ftp_loop): Determine `filename' more precisely.
7277
7278         * init.c (setval): Don't set `opt.quiet' if output-document is
7279         `-'.
7280
7281         * log.c (log_init): Print to STDERR instead of STDOUT.
7282         (vlogmsg): Use STDERR by default.
7283         (logflush): Ditto.
7284
7285 1998-02-11  Simon Josefsson  <jas@pdc.kth.se>
7286
7287         * host.c: Use addr_in again.
7288
7289 1998-02-08  Karl Eichwalder  <karl@suse.de>
7290
7291         * http.c (gethttp): Fixed typo.
7292
7293 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
7294
7295         * version.c: Wget 1.5-b5 is released.
7296
7297 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
7298
7299         * retr.c (show_progress): Use it.
7300
7301         * log.c (logflush): New function.
7302
7303         * wget.h: Utilize __attribute__ if on gcc.
7304
7305 1998-02-07  Hrvoje Niksic  <hniksic@srce.hr>
7306
7307         * http.c (base64_encode_line): New argument LENGTH.
7308         (BASIC_AUTHENTICATION_ENCODE): Use it.
7309         (BASIC_AUTHENTICATION_ENCODE): Take length of HEADER into account.
7310
7311         * main.c (main): Fixed fprintf() format mismatch.
7312
7313 1998-02-06  Hrvoje Niksic  <hniksic@srce.hr>
7314
7315         * version.c: Wget 1.5-b4 is released.
7316
7317 1998-02-03  Simon Josefsson  <jas@pdc.kth.se>
7318
7319         * host.c: use sockaddr_in instead of addr_in.
7320
7321 1998-02-04  Hrvoje Niksic  <hniksic@srce.hr>
7322
7323         * init.c (cleanup): Use it.
7324
7325         * recur.c (recursive_cleanup): New function.
7326
7327         * retr.c (retrieve_from_file): Ditto.
7328
7329         * main.c (main): Use it.
7330
7331         * recur.c (recursive_reset): New function.
7332
7333         * retr.c (retrieve_from_file): Ditto.
7334
7335         * main.c (main): Simplify call to recursive_retrieve().
7336
7337         * recur.c (recursive_retrieve): Removed FLAGS argument.
7338
7339         * http.c (gethttp): Changed call to iwrite().
7340
7341 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
7342
7343         * url.c (get_urls_html): Ditto.
7344         (free_urlpos): Ditto.
7345         (mkstruct): Ditto.
7346         (construct): Ditto.
7347
7348         * retr.c (retrieve_url): Move declaration of local variables to
7349         smaller scope.
7350
7351         * url.c (urlproto): Use it.
7352         (parseurl): Ditto.
7353         (str_url): Ditto.
7354         (get_urls_html): Ditto.
7355
7356         * utils.h (ARRAY_SIZE): New macro.
7357
7358         * url.c (proto): Moved from url.h.
7359
7360         * url.h (URL_CLEANSE): Reformatted.
7361         (USE_PROXY_P): Renamed from USE_PROXY.
7362
7363         * ftp-basic.c: Adjust to the new interface of iwrite().
7364
7365         * ftp-basic.c (ftp_port): Use alloca().
7366
7367 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
7368
7369         * version.c: Wget 1.5-b3 is released.
7370
7371         * host.c (ftp_getaddress): Don't print to stderr directly.
7372
7373         * init.c (setbytes): Support `g' for gigabytes.
7374         (cmdtype): New specification CTIME.
7375         (setval): Use it with settime().
7376         (commands): Use it for WAIT and TIMEOUT.
7377
7378 1998-02-02  Hrvoje Niksic  <hniksic@srce.hr>
7379
7380         * http.c (BASIC_AUTHENTICATION_ENCODE): New macro.
7381         (gethttp): Use it.
7382
7383         * utils.c (unique_name_1): Moved from url.c.
7384         (unique_name): Ditto.
7385
7386         * url.c (url_filename): Ditto.
7387
7388         * log.c (redirect_output): Changed call to unique_name().
7389
7390         * url.c (unique_name_1): Renamed from unique_name().
7391         (unique_name): Changed interface.
7392
7393         * init.c (enum cmdid): Moved from init.h.
7394         (cmdtype): Ditto.
7395         (struct cmd): Ditto.
7396
7397         * main.c (main): Use it.
7398         (main): Moved `--backups' to not have a short option.
7399
7400         * options.h (struct options): New member BACKGROUND.
7401
7402         * main.c (print_help): Rearranged.
7403         (main): New long options for -n* short options: --no-directories,
7404         --no-host-directories, --non-verbose, --no-host-lookup and
7405         --dont-remove-listing.
7406
7407 1998-02-01  Hrvoje Niksic  <hniksic@srce.hr>
7408
7409         * main.c (main): Use log_close().
7410
7411         * log.c: New variable LOGFP.
7412         (vlogmsg): Use it.
7413         (redirect_output): Don't open /dev/null; set LOGFP to stdin
7414         instead.
7415         (log_close): New function.
7416
7417         * options.h (struct options): Removed LFILE.
7418
7419         * log.c (log_enable): Removed.
7420
7421         * main.c (main): Use it.
7422
7423         * log.c (log_init): New function.
7424
7425         * url.c (get_urls_html): Removed needless assignment to BASE.
7426
7427         * host.c (add_hlist): Don't set CMP needlessly.
7428
7429         * utils.c (match_backwards): Ditto.
7430         (in_acclist): Ditto.
7431
7432         * url.c (findurl): Ditto.
7433
7434         * netrc.c (parse_netrc): Ditto.
7435
7436         * log.c (log_dump): Ditto.
7437
7438         * html.c (html_quote_string): Ditto.
7439
7440         * ftp-basic.c (ftp_request): Made static.
7441
7442         * connect.c: Made global variables static.
7443
7444         * url.c (construct): Ditto.
7445
7446         * init.c (init_path): Avoid assignment inside `if'-condition.
7447
7448         * ftp.c: Don't include in.h or winsock.h.
7449
7450         * ftp.c (ftp_loop): Use SZ.
7451
7452         * connect.c (bindport): Cast &addrlen to int *.
7453         (conaddr): Ditto.
7454
7455         * init.c (initialize): Don't use SYSTEM_WGETRC unconditionally.
7456
7457 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
7458
7459         * ftp.c (getftp): Initialize opt.ftp_pass here.
7460         (ftp_retrieve_dirs): Use alloca().
7461
7462         * init.c (defaults): Don't initialize opt.ftp_pass.
7463
7464         * sysdep.h (S_ISLNK): Declare for OS/2; ditto for lstat.
7465         From Ivan F. Martinez <ivanfm@ecodigit.com.br>.
7466
7467 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
7468
7469         * recur.c (parse_robots): Check for comments more correctly.
7470
7471         * host.c (ftp_getaddress): Use STRDUP_ALLOCA.
7472         (ftp_getaddress): Add diagnostics when reverse-lookup yields only
7473         hostname.
7474
7475 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
7476
7477         * version.c: Wget 1.5-b2 is released.
7478
7479         * netrc.c (NETRC_FILE_NAME): Moved from netrc.h.
7480
7481         * utils.c (proclist): Pass FNM_PATHNAME to fnmatch().
7482
7483         * ftp-basic.c (ftp_pasv): Avoid unnecessary casting to unsigned
7484         char.
7485
7486         * log.c: Don't attempt to hide arguments from ansi2knr.
7487
7488         * cmpt.c: Synched strptime() and mktime() with glibc-2.0.6.
7489
7490         * ansi2knr.c: Use a later version, from fileutils-3.16l alpha.
7491
7492         * ftp.c (getftp): Ditto.
7493
7494         * http.c (gethttp): Use it.
7495
7496         * retr.c (get_contents): New argument EXPECTED; pass it to
7497         show_progress().
7498         (show_progress): New argument EXPECTED; use it to display
7499         percentages.
7500
7501         * init.c (setval): Ditto.
7502
7503         * http.c (gethttp): Ditto.
7504         (http_loop): Ditto.
7505
7506         * ftp.c (getftp): Ditto.
7507         (ftp_loop_internal): Ditto.
7508
7509         * ftp-ls.c (ftp_parse_unix_ls): Use abort() instead of assert(0).
7510
7511         * sysdep.h (CLOSE): Simplify; use DEBUGP.
7512
7513         * netrc.c (search_netrc): Use alloca().
7514
7515         * init.c (defaults): Initialize no_flush.
7516
7517         * log.c (vlogmsg): Don't flush if no_flush.
7518
7519         * options.h (struct options): New variable no_flush.
7520
7521         * main.c (main): Don't play games with buffering.
7522
7523         * log.c (vlogmsg): Flush the output after every message.
7524
7525 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
7526
7527         * init.c (parse_line): Ditto.
7528
7529         * url.c (get_urls_html): Ditto.
7530
7531         * main.c (main): Don't cast to unsigned char.
7532
7533         * init.c (run_wgetrc): Don't cast to unsigned char.
7534         (parse_line): Accept char instead of unsigned char.
7535
7536         * html.c (htmlfindurl): Use char instead of unsigned char.
7537
7538         * all: Use them.
7539
7540         * sysdep.h: Add wrappers to ctype macros to make them
7541         eight-bit-clean:
7542
7543 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
7544
7545         * html.c (htmlfindurl): Download <img lowsrc=...>
7546
7547         * main.c (main): Ignore SIGPIPE.
7548
7549         * connect.c (select_fd): New argument WRITEP.
7550         (iwrite): Call select_fd().
7551
7552 1997-02-27  Fila Kolodny <fila@ibi.com>
7553
7554         * ftp.c (ftp_retrieve_list): If retrieving symlink and the proper
7555         one already exists, just skip it.
7556
7557 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
7558
7559         * http.c (gethttp): Cosmetic changes.
7560
7561         * http.c (check_end): Allow `+D...' instead of `GMT'.
7562         From Fabrizio Pollastri <pollastri@cstv.to.cnr.it>.
7563
7564         * url.c (process_ftp_type): New function.
7565         (parseurl): Use it.
7566
7567         * connect.c (iwrite): Allow writing in a few chunks.
7568         (bindport): Made SRV static, so addr can point to it.
7569         (select_fd): Removed HPUX kludge.
7570
7571         * host.c (free_hlist): Incorporated into clean_hosts().
7572
7573 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
7574
7575         * host.c (hlist): Made static.
7576         (search_address): Cosmetic change.
7577
7578 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
7579
7580         * version.c: Wget v1.5-b1 is released.
7581
7582         * http.c (hgetlen): Use sizeof() to get the header length.
7583         (hgetrange): Ditto.
7584         (hgettype): Ditto.
7585         (hgetlocation): Ditto.
7586         (hgetmodified): Ditto.
7587         (haccepts_none): Ditto.
7588
7589         * main.c (main): Updated `--version' and `--help' output, as per
7590         Francois Pinard's suggestions.
7591
7592         * main.c: Include locale.h; call setlocale(), bindtextdomain() and
7593         textdomain().
7594
7595         * config.h.in: Define stubs for I18N3.
7596
7597         * wget.h: Include libintl.h.
7598
7599 1998-01-28  Hrvoje Niksic  <hniksic@srce.hr>
7600
7601         * url.c (mkstruct): Check for opt.cut_dirs.
7602         (mkstruct): alloca()-te more, xmalloc() less.
7603
7604         * utils.c (load_file): Check for ferror().
7605
7606         * url.c (get_urls_file): Close only the files we opened.
7607         (get_urls_html): Ditto.
7608         (count_slashes): New function.
7609
7610         * http.h: Removed.
7611
7612         * http.c (gethttp): Respect username and password provided by
7613         proxy URL.
7614         (base64_encode_line): Write into an existing buffer instead of
7615         malloc-ing a new one.
7616         (struct http_stat): Moved from http.h
7617
7618         * retr.c (retrieve_url): Free SUF.
7619
7620         * all: Removed lots of unnecessary .h dependencies.
7621
7622         * html.c (global_state): Made static.
7623
7624         * utils.h (ALLOCA_ARRAY): New macro.
7625
7626         * main.c (main): New option `--cut-dirs'.
7627
7628         * url.c (construct): Use alloca() for T.
7629
7630         * utils.c (mkdirhier): Use STRDUP_ALLOCA.
7631
7632         * host.c (_host_t): Moved from host.h.
7633         (struct host): Renamed from _host_t.
7634         (store_hostaddress): Use STRDUP_ALLOCA for INET_S.
7635         (realhost): Ditto.
7636
7637         * host.h: Don't include url.h.
7638
7639         * ftp.c (LIST_FILENAME): Moved from ftp.h.
7640
7641         * init.c (DEFAULT_FTP_ACCT): Moved from ftp.h.
7642
7643         * main.c (main): Enable log if the output goes to a TTY.
7644
7645         * connect.h: Removed unused constant `BACKLOG'.
7646
7647         * config.h.in: Check for isatty().
7648
7649         * Makefile.in (LINK): Use CFLAGS when linking.
7650
7651 1998-01-27  Hrvoje Niksic  <hniksic@srce.hr>
7652
7653         * mswindows.c (ws_hangup): Use redirect_output().
7654
7655         * main.c (redirect_output_signal): New function; use
7656         redirect_output().
7657
7658         * log.c (redirect_output): New function, based on hangup(), which
7659         is deleted.
7660
7661         * log.c (vlogmsg): New function.
7662
7663         * wget.h (DEBUGP): Use debug_logmsg().
7664
7665         * main.c (hangup): Use it.
7666
7667         * log.c (log_dump): New function.
7668
7669         * utils.h (DO_REALLOC): Use `long' for various sizes.
7670
7671         * http.c (hskip_lws): Use `while', for clarity.
7672         (HTTP_DYNAMIC_LINE_BUFFER): New constant.
7673         (fetch_next_header): Use it instead of DYNAMIC_LINE_BUFFER.
7674
7675         * ftp-basic.c (FTP_DYNAMIC_LINE_BUFFER): New constant.
7676         (ftp_response): Use it instead of DYNAMIC_LINE_BUFFER.
7677
7678         * utils.c (DYNAMIC_LINE_BUFFER): Moved from utils.c.
7679         (LEGIBLE_SEPARATOR): Ditto.
7680         (FILE_BUFFER_SIZE): Ditto.
7681
7682         * retr.c (BUFFER_SIZE): Moved from retr.h.
7683
7684         * log.c: New file.
7685         (logmsg): Moved from utils.c.
7686         (debug_logmsg): New function.
7687
7688         * mswindows.h: Include it here.
7689
7690         * init.c: Ditto.
7691
7692         * utils.c: Don't include <windows.h>.
7693
7694 1998-01-25  Hrvoje Niksic  <hniksic@srce.hr>
7695
7696         * host.c (ftp_getaddress): Ditto.
7697
7698         * main.c (main): Use it.
7699
7700         * utils.h (STRDUP_ALLOCA): New macro.
7701
7702         * init.c: Prepend `wget: ' to error messages printed on stderr.
7703
7704         * utils.c (mkdirhier): Renamed from mymkdir.
7705         (touch): Renamed from my_touch.
7706         (pwd_cuserid): Renamed from my_cuserid().
7707
7708 1998-01-24  Andy Eskilsson  <andy.eskilsson@telelogic.se>
7709
7710         * utils.c (accdir): Process wildcards.
7711         (proclist): New function.
7712         (accdir): Use it to avoid code repetition.
7713
7714 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
7715
7716         * recur.c (parse_robots): Respect opt.useragent; use alloca().
7717
7718         * http.c (gethttp): Construct useragent accordingly.
7719
7720         * version.c: Changed version string to numbers-only.
7721
7722         * main.c (print_help): List all the options.
7723
7724         * mswindows.c (windows_main_junk): Initialize argv0 here.
7725
7726 1998-01-24  Karl Heuer  <kwzh@gnu.org>
7727
7728         * netrc.c (search_netrc): Initialize `l' only after processing
7729         netrc.
7730
7731         * main.c (main): Don't trap SIGHUP if it's being ignored.
7732
7733 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
7734
7735         * all: Use logmsg().
7736
7737         * utils.c (time_str): Moved from retr.c.
7738         (logmsg): New function.
7739         (logmsg_noflush): Ditto.
7740
7741         * rbuf.c: New file, moved buf_* functions here.
7742
7743         * ftp.c (ftp_expected_bytes): Moved from ftp-basic.c.
7744
7745         * ftp-basic.c (ftp_rest): Use prnum().
7746
7747         * ftp-basic.c: Ditto.
7748
7749         * ftp.c: Use the new reading functions and macros.
7750
7751         * retr.c (buf_initialize): New function.
7752         (buf_initialized_p): Ditto.
7753         (buf_uninitialize): Ditto.
7754         (buf_fd): Ditto.
7755
7756         * http.c (fetch_next_header): Use the BUF_READCHAR macro for
7757         efficiency.
7758         (gethttp): Use alloca() where appropriate.
7759
7760         * retr.c (buf_readchar): Use it.
7761         (buf_peek): Use rstreams.
7762
7763         * retr.h (BUF_READCHAR): New macro.
7764
7765         * init.c (home_dir): Rewritten for clarity.
7766         (init_path): Ditto.
7767
7768         * mswindows.c (ws_backgnd): Made static.
7769         (read_registry): Ditto.
7770         (ws_cleanup): Ditto.
7771         (ws_handler): Ditto.
7772
7773 1998-01-23  Hrvoje Niksic  <hniksic@srce.hr>
7774
7775         * alloca.c: New file.
7776
7777         * Makefile.in (ALLOCA): Define.
7778
7779         * mswindows.c (ws_help): Constify.
7780         (ws_help): Use alloca.
7781
7782         * mswindows.c: Reformat.
7783
7784         * all: Added _(...) annotations for I18N snarfing and translation.
7785
7786         * host.c (ftp_getaddress): Nuke SYSINFO.
7787         (ftp_getaddress): Don't use getdomainname().
7788         (ftp_getaddress): Use uname(), where available.
7789
7790         * http.c (gethttp): Protect a stray fprintf().
7791
7792         * init.c (settime): New function.
7793         (setval): Treat WAIT specially, allowing suffixes like `m' for
7794         minutes, etc.
7795
7796 1998-01-21  Hrvoje Niksic  <hniksic@srce.hr>
7797
7798         * url.c (get_urls_html): Use alloca() for TEMP.
7799
7800 1998-01-21  Jordan Mendelson  <jordy@wserv.com>
7801
7802         * url.c (rotate_backups): New function.
7803
7804         * http.c (gethttp): Ditto.
7805
7806         * ftp.c (getftp): Rotate backups.
7807
7808 1997-12-18  Hrvoje Niksic  <hniksic@srce.hr>
7809
7810         * all: Renamed nmalloc(), nrealloc() and nstrdup() to xmalloc(),
7811         xrealloc() and xstrdup().  Use the new functions.
7812
7813         * url.c (decode_string): Made static.
7814         (has_proto): Ditto.
7815         (parse_dir): Ditto.
7816         (parse_uname): Ditto.
7817         (mkstruct): Ditto.
7818         (construct): Ditto.
7819         (construct_relative): Ditto.
7820
7821         * retr.c (show_progress): Made static.
7822
7823         * recur.c (robots_url): Made static.
7824         (retrieve_robots): Ditto.
7825         (parse_robots): Ditto.
7826         (robots_match): Ditto.
7827
7828         * main.h: Removed.
7829
7830         * main.c (printhelp): Made static.
7831         (hangup): Ditto.
7832
7833         * init.c (comind): Made static.
7834         (defaults): Ditto.
7835         (init_path): Ditto.
7836         (run_wgetrc): Ditto.
7837         (onoff): Ditto.
7838         (setonoff): Ditto.
7839         (setnum): Ditto.
7840         (myatoi): Ditto.
7841         (getperms): Ditto.
7842         (setbytes): Ditto.
7843
7844         * http.c (fetch_next_header): Made static.
7845         (hparsestatline): Ditto.
7846         (hskip_lws): Ditto.
7847         (hgetlen): Ditto.
7848         (hgetrange): Ditto.
7849         (hgettype): Ditto.
7850         (hgetlocation): Ditto.
7851         (hgetmodified): Ditto.
7852         (haccepts_none): Ditto.
7853         (gethttp): Ditto.
7854         (base64_encode_line): Ditto.
7855         (mktime_from_utc): Ditto.
7856         (http_atotm): Ditto.
7857
7858         * html.c (idmatch): Made static.
7859
7860         * host.c (search_host): Made static.
7861         (search_address): Ditto.
7862         (free_hlist): Ditto.
7863
7864         * ftp.c (getftp): Made static.
7865         (ftp_loop_internal): Ditto.
7866         (ftp_get_listing): Ditto.
7867         (ftp_retrieve_list): Ditto.
7868         (ftp_retrieve_dirs): Ditto.
7869         (ftp_retrieve_glob): Ditto.
7870         (freefileinfo): Ditto.
7871         (delelement): Ditto.
7872
7873         * ftp-ls.c (symperms): Made static.
7874         (ftp_parse_unix_ls): Ditto.
7875
7876         * connect.c (select_fd): Made static.
7877
7878         * utils.c (xmalloc): Renamed from nmalloc.
7879         (xrealloc): Renamed from nrealloc.
7880         (xstrdup): Renamed from nstrdup.
7881
7882         * getopt.c (exchange): Use alloca.
7883
7884         * mswindows.c (mycuserid): Use strncpy.
7885
7886         * New files mswindows.c, mswindows.h, sysdep.h.  winjunk.c,
7887         systhings.h, windecl.h and winjunk.h removed.
7888
7889         * mswindows.c (sleep): New function.
7890
7891         * utils.c: Include <windows.h> under Windows.
7892
7893 1997-06-12  Darko Budor  <dbudor@zesoi.fer.hr>
7894
7895         * url.h (URL_UNSAFE): Change default under Windows.
7896
7897         * retr.c (retrieve_from_file): Respect opt.delete_after.
7898
7899         * main.c (main): Call ws_help on Windows.
7900
7901         * winjunk.c (windows_main_junk): New function.
7902
7903         * main.c (main): Junk-process argv[0].
7904
7905         * http.c (mktime_from_utc): Return -1 if mktime failed.
7906
7907         * http.c (http_loop): Ditto.
7908
7909         * ftp.c (ftp_loop_internal): Change title on Windows when using a
7910         new URL.
7911
7912         * winjunk.c (getdomainname): Lots of functions.
7913
7914 1997-06-12  Hrvoje Niksic  <hniksic@srce.hr>
7915
7916         * cmpt.c (strptime_internal): Handle years more correctly for
7917         `%y'.
7918
7919 1997-06-09  Mike Thomas <mthomas@reality.ctron.com>
7920
7921         * http.c (gethttp): Allocate enough space for
7922         `Proxy-Authorization' header.
7923
7924 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
7925
7926         * version.c: Wget/1.4.5 is released.
7927
7928 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
7929
7930         * retr.c (get_contents): Check return value of fwrite more
7931         carefully.
7932
7933 1997-03-30  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
7934
7935         * cmpt.c (strptime_internal) [case 'Y']: Always subtract 1900 from
7936         year, regardless of century.
7937
7938 1997-03-30  Hrvoje Niksic  <hniksic@srce.hr>
7939
7940         * utils.c (isfile): Use `lstat' instead of `stat'.
7941
7942 1997-03-29  Hrvoje Niksic  <hniksic@srce.hr>
7943
7944         * utils.c (numdigit): Use explicit test.
7945
7946 1997-03-21  Hrvoje Niksic  <hniksic@srce.hr>
7947
7948         * http.c (http_loop): Always use `url_filename' to get u->local.
7949
7950 1997-03-20  Hrvoje Niksic  <hniksic@srce.hr>
7951
7952         * url.c: Recognize https.
7953
7954 1997-03-13  Hrvoje Niksic  <hniksic@srce.hr>
7955
7956         * recur.c (recursive_retrieve): Lowercase just the host name.
7957
7958 1997-03-09  Hrvoje Niksic  <hniksic@srce.hr>
7959
7960         * url.c (get_urls_file): Use the correct test.
7961         (get_urls_html): Ditto.
7962
7963 1997-03-07  Hrvoje Niksic  <hniksic@srce.hr>
7964
7965         * connect.c: Reverted addrlen to int.
7966
7967         * init.c (parse_line): Check for -1 instead of NONE.
7968
7969         * version.c: Changed version to 1.4.5.
7970
7971 1997-02-17  Hrvoje Niksic  <hniksic@srce.hr>
7972
7973         * init.c: New option netrc.
7974         (initialize): Don't parse .netrc.
7975
7976         * cmpt.c (recursive): Return rp.
7977         (strptime_internal): Match the long strings first, the abbreviated
7978         second.
7979
7980 1997-02-16  Hrvoje Niksic  <hniksic@srce.hr>
7981
7982         * http.c (check_end): New function.
7983         (http_atotm): Use it.
7984
7985 1997-02-13  gilles Cedoc  <gilles@cedocar.fr>
7986
7987         * http.c (gethttp): Use them.
7988
7989         * init.c: New options proxy_user and proxy_passwd.
7990
7991 1997-02-14  Hrvoje Niksic  <hniksic@srce.hr>
7992
7993         * ftp.c (ftp_retrieve_list): Create links even if not relative.
7994
7995 1997-02-10  Hrvoje Niksic  <hniksic@srce.hr>
7996
7997         * recur.c (recursive_retrieve): Lowercase the host name, if the
7998         URL is not "optimized".
7999
8000         * host.c (realhost): Return l->hostname, even if it matches with
8001         host.
8002
8003 1997-02-10  Marin Purgar  <pmc@asgard.hr>
8004
8005         * connect.c: Make addrlen size_t instead of int.
8006         (conaddr): Ditto.
8007
8008 1997-02-09  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
8009
8010         * systhings.h: Define S_ISLNK on NeXT too.
8011
8012 1997-02-09  Hrvoje Niksic  <hniksic@srce.hr>
8013
8014         * version.c: Released 1.4.3.
8015
8016         * url.c: Futher update to list of protostrings.
8017         (skip_proto): Skip `//' correctly for FTP and HTTP.
8018
8019         * url.c (get_urls_html): Handle bogus `http:' things a little
8020         different.
8021
8022         * main.c (main): Removed `follow-ftp' from `f'.
8023         (main): Dumped the `prefix-files' and `file-prefix' options and
8024         features; old and bogus.
8025         (main): Exit on failed setval() in `-e'.
8026
8027         * http.c (fetch_next_header): Use it to detect header continuation
8028         correctly.
8029
8030         * retr.c (buf_peek): New function.
8031
8032 1997-02-08  Hrvoje Niksic  <hniksic@srce.hr>
8033
8034         * wget.h: Include time.h and stuff.
8035
8036 1997-02-08  Roger Beeman  <beeman@cisco.com>
8037
8038         * ftp.c: Include <time.h>
8039
8040 1997-02-07  Hrvoje Niksic  <hniksic@srce.hr>
8041
8042         * url.c (findurl): Would read over buffer limits.
8043
8044 1997-02-06  Hrvoje Niksic  <hniksic@srce.hr>
8045
8046         * ftp-ls.c (ftp_parse_unix_ls): Allow spaces in file names.
8047
8048 1997-02-05  Hrvoje Niksic  <hniksic@srce.hr>
8049
8050         * http.c (http_atotm): Initialize tm.is_dst.
8051
8052 1997-02-02  Hrvoje Niksic  <hniksic@srce.hr>
8053
8054         * http.c (gethttp): Don't print the number of retrieved headers.
8055
8056         * main.c (main): New option `--no-clobber', alias for `-nc'.
8057
8058         * url.c: Recognize `https://'.
8059
8060 1997-02-01  Hrvoje Niksic  <hniksic@srce.hr>
8061
8062         * host.c (herrmsg): Don't use h_errno.
8063
8064 1997-01-30  Hrvoje Niksic  <hniksic@srce.hr>
8065
8066         * host.c (accept_domain): Use it.
8067
8068         * main.c (main): New option `--exclude-domains'.
8069
8070         * retr.c (retrieve_url): Use it.
8071         (retrieve_url): Bail out when an URL is redirecting to itself.
8072
8073         * url.c (url_equal): New function.
8074
8075 1997-01-29  Hrvoje Niksic  <hniksic@srce.hr>
8076
8077         * connect.c: Include arpa/inet.h instead of arpa/nameser.h.
8078
8079         * http.c (mk_utc_time): New function.
8080         (http_atotm): Use it; handle time zones correctly.
8081
8082 1997-01-28  Hrvoje Niksic  <hniksic@srce.hr>
8083
8084         * http.c: Ditto.
8085
8086         * ftp-basic.c: Use it instead of WRITE.
8087
8088         * connect.c (iwrite): New function.
8089
8090 1997-01-27  Hrvoje Niksic  <hniksic@srce.hr>
8091
8092         * cmpt.c (mktime): New function.
8093
8094         * netrc.c: Include <sys/types.h>.
8095
8096         * main.c (main): Wouldn't recognize --spider.
8097
8098         * retr.c (rate): Use `B', `KB' and `MB'.
8099         (reset_timer,elapsed_time): Moved from utils.c.
8100
8101         * ftp.c (ftp_retrieve_list): Ditto.
8102
8103         * http.c (http_loop): Don't touch the file if opt.dfp.
8104
8105 1997-01-24  Hrvoje Niksic  <hniksic@srce.hr>
8106
8107         * cmpt.c: New file.
8108
8109         * ftp.c (ftp_retrieve_glob): New argument semantics.
8110         (ftp_retrieve_dirs): Use it.
8111         (ftp_loop): Ditto.
8112
8113         * html.c (htmlfindurl): Recognize `'' as the quote char.
8114
8115 1997-01-23  Hrvoje Niksic  <hniksic@srce.hr>
8116
8117         * ftp.c (ftp_loop_internal): Use it.
8118
8119         * utils.c (remove_link): New function.
8120
8121 1997-01-22  Hrvoje Niksic  <hniksic@srce.hr>
8122
8123         * retr.c (retrieve_url): Require STRICT redirection URL.
8124
8125         * url.c (parseurl): New argument STRICT.
8126
8127         * http.c (hparsestatline): Be a little-bit less strict about
8128         status line format.
8129
8130 1997-01-21  Hrvoje Niksic  <hniksic@srce.hr>
8131
8132         * http.c (gethttp): Use it.
8133
8134         * main.c (main): Don't use '<digit>' as options.
8135
8136         * init.c: New option ignore_length.
8137
8138         * http.c (gethttp): Ditto.
8139         (http_loop): Check for redirection without Location:.
8140         (gethttp): Don't print Length unless RETROKF.
8141
8142         * ftp.c (getftp): Use it.
8143
8144         * url.c (mkalldirs): New function.
8145
8146         * utils.c (mymkdir): Don't check for existing non-directory.
8147
8148         * url.c (mkstruct): Don't create the directory.
8149
8150 1997-01-20  Hrvoje Niksic  <hniksic@srce.hr>
8151
8152         * init.c (setval): Removed NO_RECURSION checks.
8153
8154 1997-01-19  Hrvoje Niksic  <hniksic@srce.hr>
8155
8156         * version.c: "Released" 1.4.3-pre2.
8157
8158         * recur.c (recursive_retrieve): Bypass host checking only if URL
8159         is ftp AND parent URL is not ftp.
8160
8161         * ftp-basic.c (ftp_request): Print out Turtle Power.
8162
8163         * ftp.c (ftp_loop): Call ftp_retrieve_glob with 0 if there's no
8164         wildcard.
8165         (ftp_retrieve_glob): Call ftp_loop_internal even on empty list, if
8166         not glob.
8167
8168         * http.c (gethttp): Be a little bit smarter about status codes.
8169
8170         * recur.c (recursive_retrieve): Always reset opt.recursive when
8171         dealing with FTP.
8172
8173 1997-01-18  Hrvoje Niksic  <hniksic@srce.hr>
8174
8175         * retr.c (retrieve_url): New variable location_changed; use it for
8176         tests instead of mynewloc.
8177         (retrieve_url): Allow heuristic adding of html.
8178
8179         * url.c (url_filename): Don't use the `%' in Windows file names.
8180
8181         * http.c (http_loop): Always time-stamp the local file.
8182
8183         * http.c (http_loop): Ditto.
8184
8185         * ftp.c (ftp_retrieve_list): Use it.
8186
8187         * utils.c (my_touch): New function.
8188
8189         * ftp.c (ftp_retrieve_list): Use #ifdef HAVE_STRUCT_UTIMBUF
8190         instead of #ifndef NeXT.
8191
8192         * utils.c (strptime): New version, by Ulrich Drepper.
8193
8194 1997-01-17  Hrvoje Niksic  <hniksic@srce.hr>
8195
8196         * http.c (haccepts_none): Renamed from `haccepts_bytes'.
8197         (gethttp): If haccepts_none(), disable ACCEPTRANGES.
8198         (http_loop): Would remove ACCEPTRANGES.
8199
8200         * ftp.c (getftp): Call ftp_list with NULL.
8201
8202 1997-01-15  Hrvoje Niksic  <hniksic@srce.hr>
8203
8204         * html.c (ftp_index): Don't print minutes and seconds if we don't
8205         know them; beautify the output.
8206
8207         * ftp.c (getftp): Don't close the socket on FTPNSFOD.
8208
8209 1997-01-14  Hrvoje Niksic  <hniksic@srce.hr>
8210
8211         * utils.c (strptime): New function.
8212         (strptime): Don't use get_alt_number.
8213         (strptime): Don't use locale.
8214         (match_string): Made it a function.
8215
8216 1997-01-12  Hrvoje Niksic  <hniksic@srce.hr>
8217
8218         * http.c (http_atotm): New function.
8219         (http_loop): Use it.
8220
8221         * atotm.c: Removed from the distribution.
8222
8223         * http.c (base64_encode_line): Rewrite.
8224
8225 1997-01-09  Hrvoje Niksic  <hniksic@srce.hr>
8226
8227         * ftp.c (getftp): Use ftp_expected_bytes; print size.
8228
8229         * ftp-basic.c (ftp_response): Use ftp_last_respline.
8230         (ftp_expected_bytes): New function.
8231
8232         * ftp.c (getftp): Print the unauthoritative file length.
8233
8234         * ftp-ls.c: Renamed from ftp-unix.c.
8235         (ftp_parse_ls): Moved from ftp.c.
8236         (ftp_parse_unix_ls): Recognize seconds in time spec.
8237         (ftp_parse_unix_ls): Recognize year-less dates of the previous
8238         year.
8239
8240 1997-01-08  Hrvoje Niksic  <hniksic@srce.hr>
8241
8242         * ftp-basic.c: Don't declare errno if #defined.
8243
8244         * host.c (ftp_getaddress): Check for sysinfo legally.
8245
8246 1997-01-08  Darko Budor  <dbudor@diana.zems.fer.hr>
8247
8248         * connect.c (iread): Use READ.
8249
8250 1996-12-23  Hrvoje Niksic  <hniksic@srce.hr>
8251
8252         * url.c: Recognize finger, rlogin, tn3270, mid and cid as valid
8253         schemes.
8254
8255 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
8256
8257         * host.c (ftp_getaddress): Allow `.' in hostname.
8258
8259 1996-12-26  Darko Budor <dbudor@zems.fer.hr>
8260
8261         * wget.h: READ and WRITE macros for use instead of read and write
8262         on sockets, grep READ *.c, grep WRITE *.c
8263
8264         * wsstartup.c: new file - startup for winsock
8265
8266         * wsstartup.h: new file
8267
8268         * win32decl.h: new file - fixup for <errno.h> and winsock trouble
8269
8270         * configure.bat: Configure utility for MSVC
8271
8272         * src/Makefile.ms,config.h.ms: new files for use with MSVC 4.x
8273
8274 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
8275
8276         * version.c: Released 1.4.3-pre.
8277
8278         * utils.c (prnum): Accept long.
8279         (legible): Use prnum().
8280
8281         * connect.c (make_connection): Accept port as short.
8282         (bindport): Ditto.
8283
8284         * http.c (gethttp): Use search_netrc.
8285
8286 1996-12-21  Hrvoje Niksic  <hniksic@srce.hr>
8287
8288         * ftp.c (getftp): Use search_netrc.
8289
8290         * netrc.c (free_netrc): New function.
8291
8292         * init.c (home_dir): New function.
8293
8294         * url.c (convert_links): Allow REL2ABS changes.
8295
8296 1996-12-21  Gordon Matzigkeit  <gord@gnu.ai.mit.edu>
8297
8298         * netrc.c: New file.
8299         (parse_netrc, maybe_add_to_list): New functions.
8300
8301 1996-12-17  Hrvoje Niksic  <hniksic@srce.hr>
8302
8303         * retr.c (retrieve_url): Reset opt.recursion before calling
8304         ftp_loop if it is reached through newloc.
8305
8306         * init.c (run_wgetrc): Print the wgetrc path too, when reporting
8307         error; don't use "Syntax error", since we don't know if it is
8308         really a syntax error.
8309
8310 1996-12-16  Hrvoje Niksic  <hniksic@srce.hr>
8311
8312         * utils.c (acceptable): Extract the filename part of the path.
8313
8314         * recur.c (recursive_retrieve): Call acceptable() with the right
8315         argument; would bug out on wildcards.
8316
8317         * init.c (parse_line): Likewise.
8318
8319         * html.c (htmlfindurl): Cast to char * when calling stuff.
8320
8321 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
8322
8323         * ftp.c (getftp): Use ftp_pasv.
8324
8325         * ftp-basic.c (ftp_request): Accept NULL value.
8326         (ftp_pasv): New function.
8327
8328         * options.h (struct options): Add passive FTP option.
8329
8330 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
8331
8332         * url.c (parseurl): Debug output.
8333
8334         * utils.c (path_simplify): New one, adapted from bash's
8335         canonicalize_pathname().
8336
8337 1996-12-14  Hrvoje Niksic  <hniksic@srce.hr>
8338
8339         * ftp.c (getftp): Don't discard the buffer.
8340
8341         * retr.c (get_contents): New parameter nobuf.
8342
8343 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
8344
8345         * html.c (htmlfindurl): Recognize <meta contents="d; URL=...".
8346
8347         * init.c (setval): Strip the trailing slashes on CVECDIR.
8348
8349 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
8350
8351         * init.c: Make excludes and includes under CVECDIR instead of
8352         CVEC.
8353
8354 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
8355
8356         * url.c (get_urls_html): Skip "http:".
8357
8358 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
8359
8360         * utils.c (strcasecmp): From glibc.
8361         (strncasecmp): Also.
8362         (strstr): Also.
8363
8364         * url.c: Added javascript: to the list of URLs prefixes.
8365
8366 1996-12-12  Shawn McHorse  <riffraff@txdirect.net>
8367
8368         * recur.c (retrieve_robots): Print the warning message only if
8369         verbose.
8370
8371 1996-12-12  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
8372
8373         * ftp.c (ftp_retrieve_list): Use NeXT old utime interface.
8374
8375 1996-12-12  Hrvoje Niksic  <hniksic@srce.hr>
8376
8377         * systhings.h: New file.
8378
8379         * ../configure.in: Check for utime.h
8380
8381         * ftp.c: Check whether we have unistd.h.
8382
8383 1996-11-27  Hrvoje Niksic  <hniksic@srce.hr>
8384
8385         * recur.c (recursive_retrieve): Send the canonical URL as referer.
8386         (recursive_retrieve): Call get_urls_html with the canonical URL.
8387
8388 1996-12-13  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
8389
8390         * (configure.in, config.h.in, src/Makefile.in, src/*.[ch]): Add
8391         ansi2knr support for compilers which don't support ANSI style
8392         function prototypes and signatures.
8393
8394         * (aclocal.m4, src/ansi2knr.c, src/ansi2knr.1): New files.
8395
8396 1996-11-26  Hrvoje Niksic  <hniksic@srce.hr>
8397
8398         * url.c: Use it; Recognize paths ending with "." and ".." as
8399         directories.
8400         (url_filename): Append .n whenever file exists and could be a
8401         directory.
8402
8403         * url.h (ISDDOT): New macro.
8404
8405         * init.c (parse_line): Use unsigned char.
8406
8407         * url.c (get_urls_html): Cast to unsigned char * when calling
8408         htmlfindurl.
8409
8410         * html.c (htmlfindurl): Use unsigned char.
8411
8412         * version.c: Changed version to 1.4.3.
8413
8414 1996-11-25  Hrvoje Niksic  <hniksic@srce.hr>
8415
8416         * version.c: Released 1.4.2.
8417
8418         * ftp.c (getftp): Simplified assertion.
8419         (ftp_loop_internal): Remove symlink before downloading.
8420         (ftp_retrieve_list): Unlink the symlink name before attempting to
8421         create a symlink!
8422
8423         * options.h (struct options): Renamed print_server_response to
8424         server_response.
8425
8426         * ftp.c (rel_constr): Removed.
8427         (ftp_retrieve_list): Don't use it.
8428         (ftp_retrieve_list): Use opt.retr_symlinks.
8429
8430 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
8431
8432         * main.c (main): New option retr_symlinks.
8433
8434         * url.c (convert_links): Print verbose message.
8435
8436 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
8437
8438         * http.c (http_loop): Reset newloc in the beginning of function;
8439         would cause FMR in retrieve_url.
8440
8441 1996-11-23  Hrvoje Niksic  <hniksic@srce.hr>
8442
8443         * recur.c (convert_all_links): Find the URL of each HTML document,
8444         and feed it to get_urls_html; would bug out.
8445         (convert_all_links): Check for l2 instead of dl; removed dl.
8446
8447         * url.c (convert_links): Don't refer to freed newname.
8448
8449         * recur.c (recursive_retrieve): Add this_url to urls_downloaded.
8450
8451         * main.c (main): Print the OS_TYPE in the debug output, too.
8452
8453         * recur.c (recursive_retrieve): Check for opt.delete_after.
8454
8455         * main.c (main): New option delete-after.
8456
8457         * init.c (setval): Cleaned up.
8458
8459 1996-11-21  Hrvoje Niksic  <hniksic@srce.hr>
8460
8461         * Makefile.in (wget): Make `wget' the default target.
8462
8463         * ftp.c (ftp_loop_internal): Move noclobber checking out of the
8464         loop.
8465         (ftp_retrieve_list): Warn about non-matching sizes.
8466
8467         * http.c (http_loop): Made -nc non-dependent on opt.recursive.
8468
8469         * init.c (setnum): Renamed from setnuminf; New argument flags.
8470         (setval): Use it.
8471
8472         * main.c (main): Sorted the options.
8473         (main): New option --wait.
8474
8475 1996-11-21  Shawn McHorse  <riffraff@txdirect.net>
8476
8477         * html.c (htmlfindurl): Reset s->in_quote after getting out of
8478         quotes.
8479
8480 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
8481
8482         * version.c: Changed version to 1.4.2.
8483
8484 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
8485
8486         * version.c: Released 1.4.1.
8487
8488         * html.c (html_quote_string): New function.
8489         (ftp_index): Use it.
8490         (htmlfindurl): A more gentle ending debug message.
8491
8492         * ftp.c (ftp_loop): Check for opt.htmlify.
8493
8494         * init.c: New command htmlify.
8495
8496         * ftp.c (getftp): Nicer error messages, with `'-encapsulated
8497         strings.
8498         (ftp_loop): Print size of index.html.
8499
8500         * init.c (setval): Implement "styles".
8501
8502         * main.c (main): New option dotstyle.
8503
8504 1996-11-19  Hrvoje Niksic  <hniksic@srce.hr>
8505
8506         * ftp.c (getftp): Close the master socket in case of errors, after
8507         bindport().
8508
8509         * connect.c (bindport): Initialize msock to -1.
8510
8511         * ftp.c (getftp): Initialize dtsock to -1.
8512
8513         * connect.c (closeport): Don't close sock if sock == -1.
8514
8515 1996-11-18  Hrvoje Niksic  <hniksic@srce.hr>
8516
8517         * init.c (setnuminf): Nuked default value -- just leave unchanged.
8518         (setval): Don't send default values.
8519         (defaults): Use DEFAULT_TIMEOUT -- aaargh.
8520
8521         * options.h (struct options): Use long for dot_bytes.
8522
8523         * init.c (setquota): Renamed to setbytes.
8524         (setval): Use setbytes on DOTBYTES.
8525
8526 1996-11-17  Hrvoje Niksic  <hniksic@srce.hr>
8527
8528         * ftp.c (getftp): Initialize con->dltime.
8529
8530         * recur.c (recursive_retrieve): Use same_host instead of
8531         try_robots; simply load robots_txt whenever the host is changed.
8532         (recursive_retrieve): Free forbidden before calling parse_robots.
8533
8534 1996-11-16  Hrvoje Niksic  <hniksic@srce.hr>
8535
8536         * retr.c (show_progress): Use them.
8537
8538         * options.h (struct options): New options dot_bytes, dots_on_line
8539         and dot_spacing.
8540
8541 1996-11-16  Mark Boyns  <boyns@sdsu.edu>
8542
8543         * recur.c (recursive_retrieve): Retrieve directories regardless of
8544         acc/rej rules; check for empty u->file.
8545
8546 1996-11-14  Hrvoje Niksic  <hniksic@srce.hr>
8547
8548         * init.c (setval): Use it.
8549
8550         * utils.c (merge_vecs): New function.
8551
8552         * init.c (setval): Reset the list-type functions when encountering
8553         "".
8554
8555 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
8556
8557         * recur.c (recursive_retrieve): Use base_url instead of this_url
8558         for no_parent.
8559
8560 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
8561
8562         * html.c (htmlfindurl): Reset s->in_quote after exiting the quote.
8563
8564 1996-11-13  Hrvoje Niksic  <hniksic@srce.hr>
8565
8566         * utils.c (sepstring): Rewrote; don't use strtok.
8567
8568         * recur.c (recursive_retrieve): Enter assorted this_url to slist
8569         when running the first time.
8570         (retrieve_robots): Warn to ignore errors when robots are loaded.
8571
8572         * utils.c (load_file): Moved from url.c.
8573
8574         * http.c: Made static variables const too in h* functions.
8575
8576         * main.c (main): Renamed --continue-ftp to --continue.
8577
8578         * recur.c (recursive_retrieve): Use it.
8579
8580         * utils.c (frontcmp): New function.
8581
8582         * url.c (accdir): New function.
8583
8584         * html.c (htmlfindurl): Recognize <area href=...>.
8585
8586         * ftp.c (ftp_retrieve_dirs): Implemented opt.includes.
8587
8588         * init.c (setval): Free the existing opt.excludes and
8589         opt.includes, if available.
8590
8591         * main.c (main): New option -I.
8592
8593 1996-11-12  Hrvoje Niksic  <hniksic@srce.hr>
8594
8595         * ftp.c (ftp_retrieve_glob): Do not weed out directories.
8596
8597         * version.c: Changed version to 1.4.1.
8598
8599 1996-11-11  Hrvoje Niksic  <hniksic@srce.hr>
8600
8601         * version.c: Released 1.4.0.
8602
8603 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
8604
8605         * main.c (main): Free com and val after parse_line.
8606         (printhelp): Reorder the listing.
8607
8608         * http.c: More robust header parsing.
8609
8610         * http.c: Allow any number of spaces, or no spaces, precede ':'.
8611         (hskip_lws): New function.
8612         (haccepts_bytes): New function.
8613         (gethttp): Use it.
8614
8615         * init.c (setval): Check header sanity.
8616         (setval): Allow resetting of headers.
8617
8618 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
8619
8620         * http.c (http_loop): Don't use has_wildcards.
8621
8622         * http.c (gethttp): Free all_headers -- would leak.
8623
8624         * recur.c (recursive_retrieve): Initialize depth to 1 instead of
8625         0 -- this fixes a long-standing bug in -rl.
8626
8627 1996-11-09  Hrvoje Niksic  <hniksic@srce.hr>
8628
8629         * ftp.c: Use -1 as "impossible" value for con->fd.
8630
8631         * url.h (URL_SEPARATOR): Don't treat `*' and `+' as separators.
8632
8633         * init.c (parse_line): Use isalpha.
8634
8635         * ftp-unix.c: Use HAVE_UNISTD_H.
8636
8637         * mtch.c (has_wildcards): Don't match \.
8638
8639         * http.c (http_loop): Warn on HTTP wildcard usage.
8640
8641 1996-11-08  Hrvoje Niksic  <hniksic@srce.hr>
8642
8643         * url.c (url_filename): Do not create numbered suffixes if
8644         opt.noclobber -- would bug out on -nc.
8645
8646 1996-11-07  Hrvoje Niksic  <hniksic@srce.hr>
8647
8648         * recur.c (parse_robots): Don't chuck out the commands without
8649         arguments (`Disallow:<empty>' didn't work).
8650         (parse_robots): Compare versions lowercase.
8651         (parse_robots): Match on base_version, not version_string!
8652         (parse_robots): Handle comments properly.
8653         (parse_robots): Match versions in a sane way.
8654
8655         * init.c: Print nicer error messages.
8656
8657         * version.c: Changed version to 1.4.0.
8658
8659 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
8660
8661         * version.c: Released 1.4.0-test2.
8662
8663         * init.c (run_wgetrc): Close fp.
8664
8665         * ftp.c (ftp_retrieve_dirs): Allocate the correct length for
8666         u->dir.
8667
8668 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
8669
8670         * init.c (setquota): Allow inf as quota specification.
8671
8672 1996-11-05  Hrvoje Niksic  <hniksic@srce.hr>
8673
8674         * ftp.c (ftp_retrieve_dirs): Return QUOTEXC if quota exceeded.
8675         (ftp_retrieve_glob): Return QUOTEXC on quota exceeded.
8676
8677         * main.c (main): Check for quota by comparison with downloaded
8678         stuff, not from status.
8679
8680         * connect.c (select_fd): Should compile on HPUX without warnings now.
8681
8682         * ftp.c (ftp_get_listing): Check whether ftp_loop_internal
8683         returned RETROK.
8684
8685 1996-11-04  Hrvoje Niksic  <hniksic@srce.hr>
8686
8687         * ftp.c (ftp_retrieve_glob): Print the pattern nicely.
8688         (getftp): Return FTPRETRINT on control connection error.
8689
8690         * html.c (htmlfindurl): Recognize <embed src=...> and
8691         <bgsound src=...>.
8692         (ftp_index): Handle username and password correctly.
8693
8694         * main.c (main): Made `-np' a synonim for --no-parent.
8695
8696 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
8697
8698         * ftp.c (ftp_loop): Check for opt.ftp_glob too before calling
8699         ftp_retrieve_glob.
8700
8701         * version.c: Changed version to 1.4.0-test2.
8702
8703 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
8704
8705         * version.c: Released 1.4.0-test1.
8706
8707         * url.c (str_url): Don't use sprintf when creating %2F-prefixed
8708         directory.
8709         (convert_links): Removed definition of make_backup.
8710
8711         * http.h: Removed definition of MAX_ERROR_LENGTH.
8712
8713         * host.c (ftp_getaddress): Check for "(none)" domains.
8714
8715         * ftp.c (ftp_retrieve_dirs): Docfix.
8716
8717         * http.c (gethttp): Use ou->referer instead of u->referer.
8718
8719         * retr.c (retrieve_url): Reset u to avoid freeing pointers twice;
8720         this was known to cause coredumps on Linux.
8721
8722         * html.c (ftp_index): Cast the argument to local_time to time_t *.
8723
8724 1996-11-01  Hrvoje Niksic  <hniksic@srce.hr>
8725
8726         * connect.c (select_fd): Use exceptfds -- once and for all.
8727
8728         * retr.c (retrieve_from_file): Free filename after
8729         recursive_retrieve.
8730         (retrieve_from_file): Send RFIRST_TIME to recursive_retrieve on
8731         first-time retrieval.
8732         (retrieve_from_file): Return uerr_t; new argument, count.
8733         (retrieve_from_file): Break on QUOTEXC.
8734
8735         * init.c (setquota): Fixed a bug that caused rejection of
8736         non-postfixed values..
8737
8738 1996-10-30  Hrvoje Niksic  <hniksic@srce.hr>
8739
8740         * version.c: Changed name to wget.
8741
8742         * connect.c (iread): Smarter use of select.
8743         (select_fd): Set errno on timeout.  If not timeout, return 1
8744         instead of 0.
8745
8746 1996-10-29  Hrvoje Niksic  <hniksic@srce.hr>
8747
8748         * ftp.c (ftp_loop_internal): Don't use con->cmd before
8749         establishing it.
8750
8751 1996-10-26  Hrvoje Niksic  <hniksic@srce.hr>
8752
8753         * http.c (gethttp): Send correct referer when using proxy.
8754         (gethttp): Use struct urlinfo ou to access the relevant data; send
8755         correct authorization in all cases.
8756
8757         * host.c (same_host): Use skip_uname to skip username and
8758         password.
8759
8760         * url.c (skip_uname): New function.
8761         (parseurl): Use it.
8762
8763         * host.c (same_host): Do not assume HTTP -- same_host should now
8764         be totally foolproof.
8765
8766         * url.c (skip_proto): New function.
8767         (parse_uname): Use it.
8768
8769         * http.c (gethttp): Create local user and passwd from what is
8770         given.
8771
8772         * url.c (parseurl): Check for HTTP username and password too.
8773
8774 1996-10-25  Hrvoje Niksic  <hniksic@srce.hr>
8775
8776         * config.h.in: Removed #define gethostbyname R...
8777
8778 1996-10-22  Hrvoje Niksic  <hniksic@srce.hr>
8779
8780         * version.c: Changed version to 1.4.0-test1.
8781
8782 1996-10-21  Hrvoje Niksic  <hniksic@srce.hr>
8783
8784         * version.c: "Released" 1.4b29.
8785
8786         * recur.c (recursive_retrieve): Check for no_parent.
8787
8788         * init.c (setval): Option update.
8789
8790         * main.c (main): New option no-parent.
8791
8792         * options.h (struct options): New variable no_parent.
8793
8794         * recur.c (recursive_retrieve): Only files are checked for
8795         opt.accepts and opt.rejects.
8796         (recursive_retrieve): Check directories for opt.excludes.
8797         (recursive_retrieve): Make the dir absolute when checking
8798         opt.excludes.
8799
8800         * html.c (htmlfindurl): Recognize <applet code=...> and <script
8801         src=...>
8802
8803 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
8804
8805         * ftp.c (getftp): Do not line-break assert entries at all.
8806         (ftp_retrieve_dirs): docfix.
8807
8808         * connect.c (select_fd): Use fd + 1 as nfds.
8809
8810         * version.c: Changed version to 1.4b29.
8811
8812 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
8813
8814         * version.c: "Released" 1.4b28.
8815
8816         * ftp.c (ftp_loop_internal): Check whether f->size == len and
8817         don't continue the loop if it is.
8818         (ftp_get_listing): Remove list_filename on unsuccesful loop.
8819
8820 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
8821
8822         * ftp.c (ftp_loop_internal): Use strcpy to initialize tmp.
8823         (getftp): Do not use multiline assert.
8824
8825         * http.c (hparsestatline): Use mjr and mnr instead of major and
8826         minor, which don't compile on Ultrix.
8827         (http_loop): Use strcpy() to initialize tmp.
8828
8829         * all: Geturl -> Fetch
8830
8831 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
8832
8833         * recur.c (parse_robots): Fixed an off-by-one bug when looking for
8834         ':'.
8835
8836         * html.c (htmlfindurl): Fixed several possible off-by-one bugs by
8837         moving `bufsize &&' to the beginning of each check in for-loops.
8838
8839         * recur.c (parse_robots): Close fp on exit.
8840
8841         * url.c (mymkdir): Check for each directory before creating.
8842
8843 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
8844
8845         * version.c: Changed version to 1.4b28.
8846
8847 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
8848
8849         * version.c: "Released" 1.4b27.
8850
8851         * init.c (parse_line): Use isspace.
8852         (parse_line): Free *com on all errors.
8853
8854         * ftp.c (ftp_loop): Change FTPOK to RETROK before exiting.
8855         (delelement): Use next instead of f->next and prev instead of
8856         f->prev.
8857         (delelement): Free the members of the deleted element.
8858
8859         * http.c (http_loop): Do not return RETROK on code != 20x.
8860
8861         * init.c (cleanup): Free opt.user_header.
8862         (cleanup): Free opt.domains.
8863
8864         * url.c (freelists): Moved to cleanup().
8865
8866         * http.c (hparsestatline): Docfix.
8867
8868         * main.c (main): Return with error status on unsuccesful
8869         retrieval.
8870
8871         * init.c (setval): Do not remove listing when mirroring.
8872
8873         * url.c (url_filename): Use opt.fileprefix.
8874
8875         * ftp.c (ftp_get_listing): Use url_filename to get filename for
8876         .listing.
8877
8878         * main.c (main): New option: -rn.
8879
8880 1996-10-15  Hrvoje Niksic  <hniksic@srce.hr>
8881
8882         * Makefile.in (RM): Added RM = rm -f.
8883
8884         * host.c (clean_hosts): New function.
8885         (free_hlist): Just free the list, no reset.
8886
8887         * version.c: Changed version to 1.4b27.
8888
8889 1996-10-13  Hrvoje Niksic  <hniksic@srce.hr>
8890
8891         * version.c: "Released" 1.4b26.
8892
8893         * retr.c (retrieve_from_file): If call get_urls_html with
8894         opt.spider to make it silent in spider mode.
8895
8896         * url.c (str_url): Use CLEANDUP instead of URL_CLEANSE.
8897
8898         * url.h (CLEANDUP): New macro.
8899
8900         * http.c (gethttp): Fixed a bug that freed location only when it
8901         was NULL.
8902
8903         * retr.c (retrieve_url): Free url if it will not be stored,
8904         i.e. newloc is NULL.
8905
8906         * html.c (htmlfindurl): Handle exiting from quotes correctly; the
8907         old version would bug out on <a href="x#a"href="y">.
8908
8909         * html.h (state_t): New member in_quote.
8910
8911         * html.c (htmlfindurl): Free s->attr at the beginning of
8912         attr-loop.
8913
8914         * recur.c (recursive_retrieve): Recognize RCLEANUP.
8915         (tried_robots): Make hosts a global variable.
8916         (recursive_retrieve): Free constr after URL host optimization.
8917         (tried_robots): Free urlinfo before exiting.
8918
8919         * utils.c (free_slist): New function.
8920
8921         * recur.c (recursive_retrieve): Use flags to add cleanup
8922         possibility.
8923
8924         * main.c (main): Free filename after recursive_retrieve.
8925
8926         * http.c (gethttp): Store successful responses too.
8927
8928 1996-10-12  Hrvoje Niksic  <hniksic@srce.hr>
8929
8930         * all: Constified the whole source.  This required some minor
8931         changes in many functions in url.c, possibly introducing bugs -- I
8932         hope not.
8933
8934         * ftp-basic.c: Removed last_respline.
8935
8936         * http.c (gethttp): Free type.
8937
8938         * host.c (same_host): Free real1 and real2.
8939
8940         * main.c (main): New option --spider.
8941
8942         * retr.c (get_contents): Don't reset errno.
8943
8944         * main.c (main): Sorted the options.
8945
8946         * connect.c (iread): Set errno to ETIMEDOUT only if it was left
8947         uninitialized by select().
8948
8949         * http.c (http_loop): Print the time when the connection is
8950         closed.
8951         (gethttp): Debug-print the HTTP request.
8952
8953 1996-10-11  Hrvoje Niksic  <hniksic@srce.hr>
8954
8955         * connect.c (iread): Do not try reading after timeout.
8956
8957         * main.c (main): Would bug out on -T.
8958
8959         * connect.c (select_fd): Do not use exceptfds.
8960         (iread): Set ETIMEDOUT on select_fd <= 0.
8961
8962         * version.c: Changed version to 1.4b26.
8963
8964 1996-10-10  Hrvoje Niksic  <hniksic@srce.hr>
8965
8966         * version.c: "Released" 1.4b25.
8967
8968         * ftp-unix.c (ftp_parse_unix_ls): Ignore lines without file name
8969         or link name.
8970
8971         * http.c (gethttp): Add errcode to struct hstat.
8972         (http_loop): Use it.
8973
8974         * url.c (no_proxy_match): Simplify using char** for no_proxy.
8975
8976         * options.h (struct options): Make opt.no_proxy a vector.
8977
8978         * utils.c (sepstring): Use !*s instead of !strlen(s).
8979
8980         * init.c (setval): Set opt.maxreclevel to 0 on --mirror.
8981         (getperms): Use ISODIGIT instead of isdigit.
8982
8983         * ftp.c (getftp): Print time.
8984
8985         * main.c (main): Use legible output of downloaded quantity.
8986
8987         * ftp.c (getftp): Use elapsed_time().
8988         (ftp_loop_internal): Use rate().
8989
8990         * http.c (http_loop): Add download ratio output; Use rate().
8991
8992         * utils.c (rate): New function.
8993
8994 1996-10-09  Hrvoje Niksic  <hniksic@srce.hr>
8995
8996         * http.c (http_loop): Use timer.
8997
8998         * ftp.c: Split to ftp-basic.c and ftp.c
8999
9000         * utils.c (reset_timer): New function.
9001         (elapsed_time): New function.
9002
9003         * retr.c (show_progress): Make bytes_in_line and offs long; should
9004         work on 16-bit machines.
9005
9006 1996-10-08  Hrvoje Niksic  <hniksic@srce.hr>
9007
9008         * url.c (in_acclist): New argument backward.
9009
9010         * ftp.c (ftp_retrieve_glob): Use acceptable() to determine whether
9011         a file should be retrieved according to suffix.
9012         (ftp_get_listing): Check the return value of unlink; Do not call
9013         ftp_retrieve_dirs if depth reached maxreclevel.
9014         (ftp_retrieve_dirs): Check whether the directory is in
9015         exclude-list.
9016
9017         * main.c (main): Print the version number at the beginning of
9018         DEBUG output.
9019         (main): Use strrchr when creating exec_name.
9020
9021         * ftp.c (ftp_retrieve_glob): Do not close control connection.
9022
9023         * version.c: Changed version to 1.4b25.
9024
9025 1996-10-07  Hrvoje Niksic  <hniksic@srce.hr>
9026
9027         * version.c: "Released" 1.4b24.
9028
9029         * Makefile.in: Rewrite.
9030
9031         * ftp.c (ftp_loop_internal): Likewise.
9032
9033         * retr.c (time_str): Check for failed time().
9034
9035         * html.c (htmlfindurl): Recognize <fig src> and <overlay src> from
9036         HTML3.0.
9037
9038         * retr.c (time_str): Return time_t *.
9039
9040         * connect.c (bindport): Close msock on unsuccesful bind.
9041         (bindport): The same for getsockname and listen.
9042
9043         * retr.c (retrieve_url): Allow any number of retries on
9044         proxy.
9045
9046         * http.c (gethttp): Do not treat errno == 0 as timeout.
9047         (http_loop): Likewise.
9048         (http_loop): Cosmetic changes.
9049
9050         * connect.c (iread): Set errno to ETIMEDOUT in case of timeout.
9051
9052         * retr.c (get_contents): Reset errno.
9053
9054         * ftp.c (getftp): Minor fixes.
9055
9056 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
9057
9058         * http.c: Do not use backups.
9059
9060         * geturl.1 (WARNING): Warn that man-page could be obsolete.
9061
9062         * getopt.c (getopt_long): Moved to getopt.c
9063
9064         * geturl.texi: Enhanced.
9065
9066         * main.c (main): Use it.
9067
9068         * recur.c (convert_all_links): New function.
9069
9070         * utils.c (add_slist): New argument flags.
9071
9072         * recur.c (recursive_retrieve): Update a list of downloaded URLs.
9073         (parse_robots): Do not chuck out empty value fields.
9074         (parse_robots): Make yourself welcome on empty Disallow.
9075
9076         * version.c: Changed version to 1.4b24.
9077
9078 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
9079
9080         * version.c: "Released" 1.4b23.
9081
9082         * ftp.c (ftp_loop_internal): Get the time after getftp.
9083
9084         * Makefile.in (install.info): New target.
9085         (install): Use it.
9086
9087         * http.c (http_loop): Fix output when doing -O.
9088
9089 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
9090
9091         * geturl.texi: New file.
9092
9093         * main.c (main): Do not print the warnings and download summary if
9094         opt.quiet is set.
9095
9096         * version.c: Changed version to 1.4b23.
9097
9098 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
9099
9100         * "Released" 1.4b22.
9101
9102         * atotm.c (atotm): Use True and False instead of TRUE and FALSE,
9103         to avoid redefinition warnings.
9104
9105         * host.c (store_hostaddress): Use memcpy() to copy the address
9106         returned by inet_addr.
9107
9108         * version.c: Changed version to 1.4b22.
9109
9110 1996-10-04  Hrvoje Niksic  <hniksic@srce.hr>
9111
9112         * version.c: "Released" 1.4b21.
9113
9114         * ftp-unix.c (ftp_parse_ls): Renamed to ftp_parse_unix_ls.
9115
9116         * ftp.c (ftp_port): Use conaddr.
9117         (getftp): Print the file length.
9118         (ftp_retrieve_list): Check the stamps of plain files only.
9119
9120         * connect.c (closeport): Do not call shutdown().
9121         (conaddr): New function.
9122
9123         * html.c (ftp_index): Made it dfp-aware.
9124
9125         * init.c (cleanup): New name of freemem. Close opt.dfp.
9126
9127         * ftp.c (getftp): Use opt.dfp if it is set.
9128
9129         * ftp-unix.c (ftp_parse_ls): Recognize time in h:mm format.
9130
9131         * ftp.c (ftp_retrieve_dirs): Fixed a bug that caused incorrect
9132         CWDs to be sent with recursive FTP retrievals.
9133
9134 1996-10-03  Hrvoje Niksic  <hniksic@srce.hr>
9135
9136         * recur.c (parse_robots): Made it more compliant with "official"
9137         specifications.
9138
9139         * http.c: New function.
9140
9141         * ftp-unix.c (ftp_parse_ls): Added better debug output.
9142
9143         * ftp.c (getftp): Print out the LIST in case of
9144         opt.print_server_response.
9145
9146         * version.c: Changed version to 1.4b21.
9147
9148 1996-10-01  Hrvoje Niksic  <hniksic@srce.hr>
9149
9150         * version.c: "Released" 1.4b20.
9151
9152         * README: Update.
9153
9154         * http.c (gethttp): Preset lengths of various headers instead of
9155         calculating them dynamically.
9156         (gethttp): Check for 206 partial contents.
9157
9158 1996-09-30  Hrvoje Niksic  <hniksic@srce.hr>
9159
9160         * configure.in: Set SYSTEM_GETURLRC to $libdir/geturlrc
9161
9162         * http.c (gethttp): Send the port number in the Host: header.
9163
9164 1996-09-29  Hrvoje Niksic  <hniksic@srce.hr>
9165
9166         * http.c (gethttp): Send host: header.
9167         (gethttp): Add the possibility of user-defined headers.
9168         (gethttp): Move decision about pragma: no-cache to http_loop,
9169         where it belongs.
9170         (gethttp): Pass a struct instead of enormous argument list.
9171         (http_loop): Use a new, fancier display format.
9172         (ftp_loop): Likewise.
9173
9174         * main.c: (hangup): Turn off buffering of the new log file.
9175
9176         * install-sh: Likewise.
9177
9178         * config.sub: Replace with the one in autoconf-2.10
9179
9180         * geturl.1: Update.
9181
9182         * init.c: New options httpuser and httppasswd.
9183
9184         * http.c: (base64_encode_line): New function.
9185         (gethttp): Send authentication.
9186
9187         * connect.c (make_connection): Use store_hostaddress.
9188
9189 1996-09-28  Hrvoje Niksic  <hniksic@srce.hr>
9190
9191         * host.c (store_hostaddress): New function.
9192
9193         * NEWS: Update.
9194
9195         * http.c (hgetrange): New function.
9196         (gethttp): Use ranges.
9197
9198         * utils.c (numdigit): Accept long instead of int.
9199
9200         * http.c (http_loop): Add restart capabilities.
9201
9202         * ftp.c (ftp_retrieve_glob): Fixed a bug that could cause matchres
9203         being used uninitialized.
9204         (ftp_retrieve_list): Similar fix.
9205
9206         * host.c (add_hlist): Fixed a bug that could cause cmp being used
9207         uninitialized.
9208
9209         * url.c (construct_relative): New function.
9210
9211         * recur.c (recursive_retrieve): Use it.
9212
9213         * retr.c (convert_links): New function.
9214
9215 1996-09-27  Hrvoje Niksic  <hniksic@srce.hr>
9216
9217         * url.c (free_urlpos): New function.
9218
9219         * recur.c (recursive_retrieve): Adapt.
9220
9221         * url.c (get_urls_html): Return a linked list instead of a vector.
9222
9223         * url.c (get_urls_file): Return a linked list instead of a vector.
9224
9225         * geturl.1: Update.
9226
9227         * http.c (gethttp): Implement it.
9228
9229         * init.c (setval): New option: SAVEHEADERS
9230
9231         * ftp.c (ftp_loop_internal): Do not set restval if listing is to
9232         be retrieved. Lack of this test caused bugs when the connection
9233         was lost during listing.
9234
9235         * retr.c (retrieve_url): Fixed a bug that caused
9236         coredumps. *newloc is now reset by default.
9237         (retrieve_url): Lift the twenty-tries limit on proxies.
9238
9239         * version.c: Changed version to 1.4b20.
9240
9241 1996-09-20  Hrvoje Niksic  <hniksic@srce.hr>
9242
9243         * version.c: "Released" 1.4b19.
9244
9245 1996-09-19  Hrvoje Niksic  <hniksic@srce.hr>
9246
9247         * ftp.c (ftp_loop_internal): Renamed from ftp_1fl_loop.
9248         (getftp): Changed prototype to accept ccon *.
9249
9250 1996-09-17  Hrvoje Niksic  <hniksic@srce.hr>
9251
9252         * ftp.c (ftp_retrieve_list): Fixed a bug that caused setting
9253         incorrect values to files pointed to by symbolic links.
9254         (ftp_1fl_loop): Do not count listings among the downloaded URL-s.
9255
9256 1996-09-16  Hrvoje Niksic  <hniksic@srce.hr>
9257
9258         * url.c (mkstruct): Do not prepend "./" in front of a pathname.
9259
9260         * main.c (main): New option: --user-agent.
9261
9262         * geturl.1: Ditto.
9263
9264         * init.h: Ditto.
9265
9266         * init.c (setval): Ditto.
9267
9268         * main.c (main): Rename "server-headers" to "server-response".
9269
9270         * ftp-unix.c (ftp_parse_ls): Check for asterisks at the end of
9271         executables in 'ls -F' listings.
9272
9273 1996-09-15  Hrvoje Niksic  <hniksic@srce.hr>
9274
9275         * url.c (parseurl): Remove realloc() and sprintf().
9276         (str_url): Get rid of sprintf().
9277
9278         * recur.c (recursive_retrieve): Enable FTP recursion through proxy
9279         servers.
9280
9281         * url.h (URL_CLEANSE): Made it else-resistant.
9282         (USE_PROXY): New macro.
9283
9284 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
9285
9286         * NEWS: Update.
9287
9288         * version.c: Changed version to 1.4b19.
9289
9290 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
9291
9292         * version.c: "Released" 1.4b18.
9293
9294         * url.c: Made it reallocate space exponentially.
9295
9296 1996-09-14  Drazen Kacar  <dave@fly.cc.fer.hr>
9297
9298         * html.c (htmlfindurl): Added <frame src> and <iframe src> among
9299         the list of stuff to fetch.
9300
9301 1996-09-13  Hrvoje Niksic  <hniksic@srce.hr>
9302
9303         * url.c (get_urls_html): Fixed a bug that caused SIGSEGV's with
9304         -Fi.
9305
9306         * html.c (htmlfindurl): Rewrite.
9307
9308         * http.c (gethttp): Use opt.proxy_cache.
9309
9310         * main.c (main): Added --cache option.
9311
9312         * ftp.c (ftp_response): Print server response if opt.print_server
9313         response is set.
9314         (getftp): Print newlines after each request if the server response
9315         is to be printed.
9316         (ftp_response): Copy the last response line to last_respline.
9317
9318         * http.c (gethttp): Add Pragma: nocache for retried
9319         proxy-retrievals.
9320
9321         * ftp.c (getftp): Use it.
9322
9323         * retr.c (buf_discard): New function.
9324
9325         * ftp.c (ftp_response): Use buf_readchar().
9326         (getftp): Flush the control connection buffer before calling
9327         get_contents().
9328
9329         * retr.c (buf_readchar): New function.
9330         (buf_flush): New function.
9331         (get_contents): Use buf_readchar() instead of read(x, x, 1).
9332         (get_contents): Use buf_flush.
9333
9334 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
9335
9336         * ftp.c: Incorporate changes to ftp_response.
9337
9338         * ftp.c (ftp_response): Allocate the server response dynamically,
9339         as in read_whole_line and fetch_next_header.
9340
9341         * utils.c (read_whole_line): Fixed a bug that prevented reading
9342         the last line if it is not \n-terminated. Also fixed a possible
9343         memory overflow.
9344
9345         * http.c (fetch_next_header): Return malloc-ed string as large as
9346         needed.
9347         (gethttp): Use new fetch_next_header.
9348
9349 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
9350
9351         * http.c (hgetlen): Compute the header length the first time only.
9352         (hgettype): Ditto.
9353         (hgetlocation): Ditto.
9354         (hgetmodified): Ditto.
9355
9356 1996-09-11  Hrvoje Niksic  <hniksic@srce.hr>
9357
9358         * sample.geturlrc: Update.
9359
9360 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
9361
9362         * http.c (http_loop): Ditto.
9363
9364         * ftp.c (getftp): Open the output file as binary.
9365
9366         * version.c: Changed version to 1.4b18.
9367
9368 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
9369
9370         * version.c: "Released" 1.4b17.
9371
9372         * ftp-unix.c (ftp_parse_ls): If unable to open file, return NULL
9373         instead of failed assertion.
9374
9375 1996-09-09  Hrvoje Niksic  <hniksic@srce.hr>
9376
9377         * ftp.c (ftp_get_listing): Add a numbered suffix to LIST_FILENAME
9378         if a file of that name already exists.
9379
9380 1996-09-05  Hrvoje Niksic  <hniksic@srce.hr>
9381
9382         * ftp.c (ftp_1fl_loop): Handler FTPPORTERR and FOPENERR correctly.
9383
9384         * config.h.in: Define gethostbyname as Rgethostbyname when using
9385         Socks.
9386
9387         * configure.in: Check for -lresolv if using Socks.
9388
9389         * version.c: Changed version to 1.4b17.
9390
9391 1996-07-15  Hrvoje Niksic  <hniksic@srce.hr>
9392
9393         * version.c: "Released" 1.4b16.
9394
9395         * http.c (gethttp): More intelligent check for first line of HTTP
9396         response.
9397         (gethttp): Would bug out on time-stamping.
9398
9399         * version.c: Changed version to 1.4b16.
9400
9401 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
9402
9403         * version.c: Released 1.4b15.
9404
9405         * http.c (http_loop): Print \n after the loop entry, not before.
9406
9407         * url.c (url_filename): Use ISDOT.
9408
9409         * url.h (ISDOT): New macro.
9410
9411         * recur.c (recursive_retrieve): Change only opt.recursive for
9412         following FTP.
9413
9414 1996-07-11  Antonio Rosella <antonio.rosella@agip.it>
9415
9416         * socks/geturl.cgi: Fixed version No.
9417
9418         * socks/download-netscape.html: Ditto.
9419
9420         * socks/download.html: Changed socks.html to download.html.
9421
9422 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
9423
9424         * url.c (url_filename): Check for opt.dirstruct instead for
9425         opt.recursive && opt.dirstruct.
9426
9427         * init.c (defaults): Ditto.
9428         (defaults): Reset dirstruct by default.
9429         (setval): Set opt.dirstruct whenever setting recursive.
9430
9431         * init.h: Removed FORCEDIRHIER.
9432
9433         * INSTALL: Added -L to socks-description.
9434
9435         * version.c: Changed version to 1.4b15.
9436
9437 1996-07-10  Hrvoje Niksic  <hniksic@srce.hr>
9438
9439         * version.c: "Released" 1.4b14.
9440
9441         * geturl.1: Update AUTHOR to include Rosella as contributor.
9442
9443         * NEWS: Update.
9444
9445         * socks/geturl.cgi: Simplified command creation, nuked <blink>.
9446
9447         * socks/geturl.cgi: Wrap nutscape extensions within if $netscape.
9448         (cal_time): Fix == to eq.
9449
9450         * socks/geturl.cgi: GPL-ized with permission of A. Rosella.
9451
9452         * geturl.1 (hostname): Moved URL CONVENTIONS to the beginning.
9453
9454         * Makefile.in: Use @VERSION@.
9455
9456         * configure.in: Check version from version.c.
9457
9458         * socks/geturl.cgi: Changed /pub/bin/perl to /usr/bin/perl.
9459
9460         * socks/download.html: Created from download-netscape.html, made
9461         HTML-2.0 compliant.
9462
9463         * recur.c (recursive_retrieve): Set opt.force_dir_hier when
9464         following FTP links from recursions.
9465
9466 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
9467
9468         * url.c (mymkdir): Fixed a bug that prevented mymkdir() to create
9469         absolute directories correctly.
9470
9471         * version.c: Changed version to 1.4b14.
9472
9473 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
9474
9475         * version.c: "Released" 1.4b13.
9476
9477         * url.c (make_backup): New function.
9478
9479         * http.c (http_loop): Make a backup copy of the local file (using
9480         rename(2)) before opening it.
9481
9482         * main.c (main): Added --backups.
9483
9484         * host.c (ftp_getaddress): Bail out on failed mycuserid().
9485         (ftp_getaddress): Check for leading dot on MY_DOMAIN.
9486         (ftp_getaddress): Check for empty, null or (null) domain.
9487
9488         * url.c (get_urls_html): If this_url is NULL, the base must have a
9489         protocol.
9490         (parseurl): Use has_proto.
9491
9492         * retr.c (retrieve_url): Warn when proxy is used with more than 20
9493         retries.
9494
9495         * url.c (mkstruct): Create the directory (calling mymkdir()) only
9496         if it is not already there.
9497         (has_proto): New function.
9498         (get_urls_html): Eliminate the remaining call to findurl -- use
9499         has_proto.
9500
9501         * geturl.1: Ditto.
9502
9503         * main.c: Change -X to -x.
9504
9505         * url.c (url_filename): Simplify creation of filename if
9506         prefix_files is set.
9507         (url_filename): Simplify everything. And I do mean *everything*.
9508         (mkstruct): Add dir_prefix before hostname.
9509         (path_simplify): Fixed a bug that caused writing outside the path
9510         string in case of "." and ".." path strings.
9511
9512 1996-07-06  Hrvoje Niksic  <hniksic@srce.hr>
9513
9514         * init.c: Added --mirror.
9515
9516         * main.c (main): Added -X to force saving of directory hierarchy.
9517
9518         * ftp.c (ftp_retrieve_list): Added recursion depth counter.
9519         (ftp_retrieve_list): Check whether quota is exceeded.
9520
9521         * url.c (get_urls_html): Skip leading blanks for absolute URIs.
9522
9523         * http.c (gethttp): Use referer if present.
9524
9525         * recur.c (recursive_retrieve): Set u->referer before calling
9526         retrieve_url.
9527
9528         * url.c (newurl): Use memset to nullify the struct members.
9529         (freeurl): Free the referer field too.
9530
9531         * url.h: Added referer to urlinfo.
9532
9533         * geturl.1: Updated the manual to document some of the new features.
9534
9535         * utils.c (numdigit): Moved from url.c.
9536
9537         * README: Rewritten.
9538
9539         * config.h.in: Add the support for socks.
9540
9541         * configure.in: Add the support for socks.
9542
9543         * url.c (url_filename): If the dir_prefix is ".", work with just
9544         the file name.
9545         (url_filename): Do not look for .n extensions if timestamping if
9546         turned on.
9547
9548         * retr.c (show_progress): Skip the over-abundant restval data, and
9549         print the rest of it with ',' instead of '.'.
9550
9551 1996-07-05  Hrvoje Niksic  <hniksic@srce.hr>
9552
9553         * retr.c (show_progress): Changed second arg. to long (as it
9554         should be).
9555         (show_progress): Moved to retr.c.
9556         (get_contents): Moved to retr.c.
9557
9558         * version.c: Change version to 1.4b13.
9559
9560 1996-07-05  Hrvoje Lacko <hlacko@fly.cc.fer.hr>
9561
9562         * url.c (in_acclist): Would return after the first suffix.
9563
9564 1996-07-04  Hrvoje Niksic  <hniksic@srce.hr>
9565
9566         * version.c: "Released" 1.4b12.
9567
9568         * url.c (path_simplify): More kludgifications.
9569         (get_urls_html): Use new parameters for htmlfindurl.
9570
9571         * html.c: Removed memorizing "parser states", since the new
9572         organization does not require them.
9573
9574         * init.c (run_geturlrc): Use read_whole_line.
9575
9576         * ftp-unix.c (ftp_parse_ls): Use read_whole_line.
9577
9578         * recur.c (parse_robots): Use read_whole_line.
9579
9580         * utils.c (read_whole_line): New function.
9581
9582         * recur.c (tried_robots): Use add_slist/in_slist, *much* cleaner.
9583
9584         * host.c (ngethostbyname): Call inet_addr just once. Yet to be
9585         tested on OSF and Ultrix.
9586         (add_hlist): New function.
9587         (free_hlist): New function.
9588         (search_host): New function.
9589         (search_address): New function.
9590         (realhost): Use search_host, search_address and add_hlist.
9591         (same_host): Replaced realloc() with strdupdelim(), made
9592         case-insensitive, fixed a memory leak.
9593
9594         * html.c (ftp_index): Fixed tm_min and tm_sec to be tm_hour and
9595         tm_min, like intended.
9596
9597         * version.c: Change user agent information to
9598         Geturl/version.
9599
9600 1996-07-03  Hrvoje Niksic  <hniksic@srce.hr>
9601
9602         * utils.c: Renamed nmalloc.c to utils.c, .h likewise.
9603
9604         * url.c (acceptable): Always accept directories.
9605
9606         * ftp-unix.c (ftp_parse_ls): Support brain-damaged "ls -F"-loving
9607         servers by stripping trailing @ from symlinks and trailing / from
9608         directories.
9609
9610         * ftp.c (ftp_loop): Debugged the "enhanced" heuristics. :-)
9611
9612         * url.c (skip_url): Use toupper instead of UCASE.
9613
9614         * host.c (sufmatch): Made it case-insensitive.
9615
9616         * url.c (match_backwards_or_pattern): Fixed i == -1 to j == -1.
9617         (match_backwards): New function, instead of
9618         match_backwards_or_pattern.
9619
9620         * recur.c (recursive_retrieve): Increased performance by
9621         introducing inl, which reduces number of calls to in_slist to only
9622         one.
9623
9624         * ftp.c (ftp_loop): Enhanced the heuristics that decides which
9625         routine to use.
9626
9627         * main.c (printhelp): Removed the warranty stuff.
9628
9629 1996-07-02  Hrvoje Niksic  <hniksic@srce.hr>
9630
9631         * url.c (add_slist): Simplify.
9632         (match_backwards_or_pattern): New function.
9633         (in_acclist): Use match_backwards_or_pattern.
9634         (matches): Remove.
9635
9636 1996-06-30  Hrvoje Niksic  <hniksic@srce.hr>
9637
9638         * ftp.c (ftp_loop): Call ftp_index on empty file names, if not
9639         recursive.
9640
9641         * html.c (ftp_index): Fixed to work. Beautified the output.
9642
9643         * ftp.c (ftp_retrieve_glob): Another argument to control whether
9644         globbing is to be used.
9645         (ftp_retrieve_list): Compare the time-stamps of local and remote
9646         files to determine whether to download.
9647
9648 1996-06-29  Hrvoje Niksic  <hniksic@srce.hr>
9649
9650         * ftp.c (rel_constr): New function.
9651
9652         * retr.c (retrieve_from_file): Check for text/html before
9653         retrieving recursively.
9654
9655         * main.c (main): Check whether the file is HTML before going into
9656         recursive HTML retrieving.
9657
9658         * ftp.c (ftp_retrieve_list): Manage directories.
9659         (ftp_retrieve_glob): Pass all the file-types to ftp_retrieve_list.
9660         (ftp_1fl_loop): Fixed a bug that caused con->com to be incorrectly
9661         initialized, causing bugchecks in getftp to fail.
9662
9663         * configure.in: Check for symlink.
9664
9665         * ftp.c (ftp_retrieve_list): Added support for symlinks.
9666
9667         * version.c: "Released" 1.4b10.
9668
9669         * atotm.c (atotm): Redeclared as time_t.
9670
9671         * init.c: New variable "timestamping".
9672
9673         * main.c (main): New option 'N'.
9674
9675         * http.c (hgetlocation): Case-insensitive match.
9676         (hgetmodified): New function.
9677         (http_loop): Implement time-stamping.
9678
9679 1996-06-28  Hrvoje Niksic  <hniksic@srce.hr>
9680
9681         * version.c: Changed version to 1.4b10
9682
9683         * atotm.c: New file, from phttpd.
9684
9685         * options.h (struct options): New parameter timestamping.
9686
9687         * version.c: 1.4b9 "released".
9688
9689         * recur.c (recursive_retrieve): Used linked list (ulist) for
9690         faster storing of URLs.
9691
9692         * url.c (get_urls_html): Removed the old kludge with comparing the
9693         outputs of htmlfindurl and findurl.
9694         (get_urls_html): Added better protocol support here.
9695         (create_hash): Removed, as well as add_hash and in_hash.
9696         (addslist): New function.
9697         (in_slist): ditto
9698
9699         * version.c: Released 1.4b8, changed version to b9.
9700
9701 1996-06-27  Hrvoje Niksic  <hniksic@srce.hr>
9702
9703         * ftp.c (freefileinfo): New function.
9704         (delelement): New function.
9705
9706         * everywhere: GPL!
9707
9708         * ftp.c (ftp_loop): Use ccon.
9709         (ftp_retrieve_glob): Likewise.
9710
9711         * ftp.h: Define ccon, to define status of control connection.
9712
9713         * ftp.c (ftp_get_listing): New function.
9714         (ftp_retrieve_more): New function.
9715         (ftp_retrieve_glob): New function.
9716
9717 1996-06-25  Hrvoje Niksic  <hniksic@srce.hr>
9718
9719         * configure.in: Removed the search for cuserid().
9720
9721         * init.c (getmode): Renamed to getperms.
9722
9723 1996-06-24  Hrvoje Niksic  <hniksic@srce.hr>
9724
9725         * version.c: New version.
9726
9727         * main.c (hangup): New function, that handles hangup. Hangup
9728         signal now causes geturl to stop writing on stdout, and to write
9729         to a log file.
9730
9731         * ftp.c (getftp): "Released" 1.4b7.
9732
9733         * html.c (htmlfindurl): Ignore everything inside <head>...</head>.
9734         (ftp_index): Use fileinfo/urlinfo.
9735
9736         * ftp-unix.c (ftp_parse_ls): New function.
9737         (symperms): New function.
9738
9739         * ftp.c (ftp_1fl_loop): New function, to handle 1-file loops.
9740
9741         * retr.c (retrieve_url): Added FTP support.
9742
9743 1996-06-23  Hrvoje Niksic  <hniksic@srce.hr>
9744
9745         * geturl.h: Removed NOTFTP2HTML enum.
9746         Added DO_LOGIN, DO_CWD and DO_LIST. LIST_ONLY is obsolete.
9747
9748         * ftp.c (getftp): Resynched with urlinfo.
9749         (getftp): Removed HMTL-ization of index.html from getftp.
9750
9751         * version.c: 1.4b6 "released".
9752
9753         * options.h (options): New struct, to keep options in.
9754
9755         * http.c (http_loop,gethttp): Synched with proxy.
9756
9757         * retr.c (retrieve_url): Implemented proxy retrieval.
9758
9759         * main.c (main): Use retrieve_from_file.
9760
9761 1996-06-22  Hrvoje Niksic  <hniksic@srce.hr>
9762
9763         * retr.c (retrieve_from_file): New function.
9764
9765         * url.c (parseurl): Modified to return URLOK if all OK. Protocol
9766         can be found in u->proto.
9767
9768         * ftp.c (ftp_response): Fixed to accept multi-line responses as
9769         per RFC 959.
9770
9771         * recr.c (recursive_retrieve): Take newloc from retrieve_url.
9772
9773         * url.c (mymkdir): Removed the file of the same name, if one
9774         exists.
9775         (isfile): New function.
9776         (mkstruct): Fixed the '/' glitches.
9777         (path_simplify): Hacked to treat something/.. correctly.
9778
9779 1996-06-21  Hrvoje Niksic  <hniksic@srce.hr>
9780
9781         * http.c (gethttp): Close the socket after error in headers.
9782         (http_loop): HEOF no longer a fatal header.
9783
9784         * loop.c (retrieve_url): When dt is NULL, do not modify it. This
9785         simplifies the syntax of calling retrieve_url.
9786
9787         * recr.c (recursive_retrieve): Modified to use get_urls_html.
9788
9789         * url.c (get_urls_file): New function.
9790         (get_urls_html): New function.
9791
9792         * recr.c (recursive_retrieve): Patched up to conform to the
9793         standards.
9794
9795         * http.c (gethttp): Synched with the rest...
9796         (gethttp): Treat only CONREFUSED specially, with connection
9797         errors.
9798
9799         * init.c,geturl.1,http.c (http_loop): Removed kill_error.
9800
9801 1996-06-20  Hrvoje Niksic  <hniksic@srce.hr>
9802
9803         * http.c (http_loop): New function.
9804
9805         * loop.c: Removed *lots* of stuff from retrieve_url.
9806
9807         * url.c (parseurl): Changed to work with urlinfo. Integrated
9808         username finding and path parsing.
9809         (newurl): New function.
9810         (freeurl): New function.
9811         (mkstruct): Removed the old bogosities, made it urlinfo-compliant.
9812         (url_filename): Likewise.
9813         (path_simplify): Accept relative paths too.
9814         (opt_url): Made urlinfo-compliant, removed bogosities.
9815         (path_simplify): Expanded to accept relative paths.
9816         (str_url): A replacement for hide_url
9817         (decode_string): Fixed a bug that caused malfunctioning when
9818         encountering an illegal %.. combination.
9819         (opt_url): Removed the argument. Dot-optimizations are now default.
9820
9821         * nmalloc.c (strdupdelim): New function.
9822
9823         * url.h: Added the urlinfo structure
9824
9825 1996-06-19  Hrvoje Niksic  <hniksic@srce.hr>
9826
9827         * url.c (hide_url): Thrown out the protocol assertion. Do not
9828         change the URL if the protocol if not recognized.
9829         (findurl): Put continue instead of break.
9830
9831 1996-06-18  Hrvoje Niksic  <hniksic@srce.hr>
9832
9833         * sample.geturlrc: Changed the defaults to be commented out and
9834         harmless (previous defaults caused pains if copied to
9835         ~/.geturlrc).
9836
9837         * http.c (gethttp): Print the HTTP request in debug mode.
9838
9839         * connect.c (iread): Added EINTR check loop to select-ing
9840         too. EINTR is now correctly handled with select().
9841
9842         * TODO: new file
9843
9844 1996-05-07  Hrvoje Niksic  <hniksic@srce.hr>
9845
9846         * host.c (same_host): Made the function a little bit more
9847         intelligent regarding diversified URL syntaxes.
9848
9849         * url.c (skip_url): Spaces are now skipped after URL:
9850
9851         * Released 1.3.1 with the patch to prevent crashing when sending
9852         NULL to robot* functions and the patch to compile "out of the box"
9853         on AIX.
9854
9855         * recr.c (recursive_retrieve): Added checking whether this_url is
9856         NULL when calling the robot functions.
9857
9858         * ChangeLog: New file.