sjero.net Git - wget/blob - src/ChangeLog

   1 2006-08-28  Mauro Tortonesi  <mauro@ferrara.linux.it>
   2
   3         * http.c: #include'd spider.h to get rid of compiler warnings.
   4
   5         * main.c: Ditto.
   6
   7         * recur.c: Ditto.
   8
   9 2006-08-24  Mauro Tortonesi  <mauro@ferrara.linux.it>
  10
  11         * Makefile.in: Added spider.c to the list of files to compile and
  12         spider.h to the list of header files. Updated copyright information.
  13
  14         * http.c: Major changes to recursive spider mode. Now for every
  15         resource we are supposed to check, we send a HEAD request to find out
  16         if it exists. If the resource is a HTML file, we retrieve it and parse
  17         it to discover links to other resources.
  18
  19         * recur.c: Ditto.
  20
  21         * res.c (res_retrieve_file): Disable opt.timestamping and opt.spider
  22         when retrieving robots.txt. Updated copyright information.
  23
  24         * convert.c: Moved code tracking broken links to spider.c.
  25
  26         * convert.h: Ditto.
  27
  28         * spider.c: Created new file to keep track of visited URLs in spider
  29         mode.
  30
  31         * spider.h: Ditto.
  32
  33 2006-08-21  Mauro Tortonesi  <mauro@ferrara.linux.it>
  34
  35         * http.c: Fixed timestamping-related bug.
  36
  37 2006-08-16  Mauro Tortonesi  <mauro@ferrara.linux.it>
  38
  39         * http.c: Fixed bug which broke --continue feature. Now if -c is
  40         given, http_loop sends a HEAD request to find out the destination
  41         filename before resuming download.
  42
  43 2006-08-08  Hrvoje Niksic  <hniksic@xemacs.org>
  44
  45         * utils.c (datetime_str): Avoid code repetition with time_str.
  46
  47 2006-07-21  Hrvoje Niksic  <hniksic@xemacs.org>
  48
  49         * init.c (commands): Correctly place "contentdisposition".
  50
  51 2006-07-14  Mauro Tortonesi  <mauro@ferrara.linux.it>
  52
  53         * sysdep.h: If intptr_t isn't defined, simply typedef it to long.
  54
  55         * http.c: Added explicit cast to int in logprintf call to remove
  56         compiler warnings on 64-bit platforms.
  57
  58         * connect.c: Added a few casts to intptr_t to remove compiler warnings
  59         on 64-bit platforms.
  60
  61         * main.c: Disable -r, -p and -N when -O is used. Disable -k when -O is
  62         used and multiple URLs are given. Update maintainer information.
  63
  64         * all: Update copyright information.
  65
  66 2006-07-10  KJKHyperion  <hackbunny@reactos.com>
  67
  68         * url.c (filechr_table): Mark DEL (0x7f) as a control character
  69         and | as a character Windows can't handle.
  70
  71 2006-06-28  Mauro Tortonesi  <mauro@ferrara.linux.it>
  72
  73         * res.c: Implemented is_robots_txt_url function for detection of
  74         robots.txt URLs and related test routine.
  75
  76         * res.h: Ditto.
  77
  78         * url.c: Implemented are_urls_equal function for URL comparison and
  79         related testing routine.
  80
  81         * url.h: Ditto.
  82
  83         * convert.c: Fixes for recursive spider mode: don't consider
  84         non-existing robots.txt as a broken link, and use are_urls_equal
  85         instead of strcasecmp for referrer URLs comparison.
  86
  87         * test.c: Call tests routines for are_urls_equal and
  88         is_robots_txt_url.
  89
  90 2006-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
  91
  92         * wget.h (wgint): Typedef to any 64-bit (or larger) type we can
  93         find, not necessarily off_t or long.
  94
  95 2006-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
  96
  97         * cmpt.c (strtoll): Check for overflow and underflow without
  98         relying on (technically) undefined behavior.  Don't assume that
  99         strtoll_type is 64 bits wide.
 100
 101 2006-06-21  Hrvoje Niksic  <hniksic@xemacs.org>
 102
 103         * utils.c (base64_encode): Cast void pointer to char * before
 104         doing arithmetic.
 105
 106 2006-06-20  Hrvoje Niksic  <hniksic@xemacs.org>
 107
 108         * utils.c (base64_encode): Made TBL const.
 109         (base64_decode): Made the base64_char_to_value table const.
 110
 111 2006-06-19  Hrvoje Niksic  <hniksic@xemacs.org>
 112
 113         * utils.c (base64_encode): Made the DATA pointer void * so the
 114         callers can pass it any kind of pointer (including both signed and
 115         unsigned char pointers).
 116         (base64_decode): Ditto for DEST.
 117
 118 2006-06-19  Hrvoje Niksic  <hniksic@xemacs.org>
 119
 120         * utils.c (base64_encode): Would read past end of STR.
 121         Reported by rick@eckle.org.
 122
 123 2006-06-13  Mauro Tortonesi  <mauro@ferrara.linux.it>
 124
 125         * options.h (struct options): Introduced member restrict_files_case to
 126         keep track of preferences on character case restrictions for
 127         filenames.
 128
 129         * init.c: Modified defaults and cmd_spec_restrict_file_names to
 130         support character case restrictions for filenames. Added
 131         test_cmd_spec_restrict_file_names unit test.
 132
 133         * url.c: Modified append_uri_pathel to support character case
 134         restrictions for filenames. Added test_append_uri_pathel unit test.
 135
 136         * test.c: Added test_cmd_spec_restrict_file_names and
 137         test_append_uri_pathel to the list of unit tests to run.
 138
 139 2006-06-12  Mauro Tortonesi  <mauro@ferrara.linux.it>
 140
 141         * retr.c (retrieve_from_file): Use retrieve_tree and automatically
 142         turn on opt.follow_ftp in case of recursive FTP retrieval through HTTP
 143         proxy.
 144
 145         * main.c: Automatically turn on opt.follow_ftp in case of recursive
 146         FTP retrieval through HTTP proxy.
 147
 148 2006-06-12  Tony Lewis  <tlewis@exelana.com>
 149
 150         * main.c: Improved CHEN Peng's patch by proposing a simpler logic.
 151
 152 2006-06-12  CHEN Peng  <chenpeng@alumni.nus.edu.sg>
 153
 154         * main.c: Use retrieve_tree in case of recursive FTP retrieval through
 155         HTTP proxy.
 156
 157 2006-05-25  Mauro Tortonesi  <mauro@ferrara.linux.it>
 158
 159         * convert.c: Added mechanisms to keep track broken links.
 160
 161         * convert.h: Ditto.
 162
 163         * wget.h: Reordered and enumerated uerr_t constants.
 164
 165         * recur.c: Fixes to support recursive spider mode.
 166
 167         * http.c: Ditto.
 168
 169         * main.c: Print broken links in case of recursive spider mode.
 170
 171         * retr.c: Changed interface of retrieve_url.
 172
 173         * retr.h: Ditto.
 174
 175         * ftp.c: Changed interface of ftp_loop.
 176
 177         * ftp.h: Ditto.
 178
 179         * res.c: Minor change to reflect changes in interface of retrieve_url.
 180
 181 2006-05-18  Lawrence Jones  <lawrence.jones@ugs.com>
 182
 183         * ftp-ls.c (ftp_parse_unix_ls): Correct size parsing, add size
 184         and filename debugging output.
 185
 186 2006-04-28  Mauro Tortonesi  <mauro@ferrara.linux.it>
 187
 188         * http.c: If Content-Disposition header is present, allow unique
 189         filename generation unless -nc is given. Permit to disable parsing of
 190         Content-Disposition header.
 191
 192         * options.h: Added option --no-content-disposition to disable parsing
 193         of HTTP Content-Disposition header.
 194
 195         * init.c: Ditto.
 196
 197         * main.c: Ditto.
 198
 199 2006-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
 200
 201         * hash.c (TOLOWER): Wrap macro arg in parentheses.
 202
 203 2006-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
 204
 205         * http.c (parse_content_disposition): Doc fix.
 206
 207 2006-03-15  Mauro Tortonesi  <mauro@ferrara.linux.it>
 208
 209         * utils.c: Restricted operational semantics of frontcmp and proclist
 210         from generic strings to directory names and them to subdir_p and
 211         dir_matches_p respectively.  Applied George Ogata's one line patch to
 212         restrict algorithm of subdir_p to full directory name matching.  Added
 213         testcases for subdir_p and dir_matches_p.
 214
 215         * utils.h: Changed all frontcmp occurrences to subdir_p.
 216
 217         * recur.c: Ditto.
 218
 219         * test.c: Changed type returned by test functions from char * to const
 220         char *.  Added test_subdir_p and test_dir_matches_p to the list of
 221         tests to run.
 222
 223         * http.c (test_parse_content_disposition): Changed return type from
 224         char * to const char *.
 225
 226 2006-03-14  Mauro Tortonesi  <mauro@ferrara.linux.it>
 227
 228         * recur.c (struct queue_element): Changed type of html_allowed member
 229         to bool.
 230
 231 2006-03-09  Mauro Tortonesi  <mauro@ferrara.linux.it>
 232
 233         * ftp.c (ftp_list): Try `LIST -a' command first and revert to `LIST'
 234         in case of failure.
 235
 236 2006-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
 237
 238         * hash.c (TOLOWER): Fix definition when STANDALONE.
 239         Reported by Beni Serfaty.
 240
 241 2006-03-02  Mauro Tortonesi  <mauro@ferrara.linux.it>
 242
 243         * http.c (http_loop): Fixed recursive HTTP retrieval.
 244
 245 2006-02-28  Hrvoje Niksic  <hniksic@xemacs.org>
 246
 247         * http.c (extract_param): Declare extern so it can be used from
 248         other files.
 249         (extract_param): Return error for empty name.
 250
 251 2006-02-28  Hrvoje Niksic  <hniksic@xemacs.org>
 252
 253         * url.c (find_last_char): Define in terms of memrchr.
 254
 255         * cmpt.c (memrchr): Define it on systems that don't have it.
 256
 257         * http.c (extract_param): New function for parsing header values
 258         with parameters.
 259         (parse_content_disposition): Use it.  Don't allow slashes and
 260         backslashes in the file name.
 261
 262 2006-02-27  Hrvoje Niksic  <hniksic@xemacs.org>
 263
 264         * url.c (path_simplify): Don't preserve ".." at beginning of path.
 265         Suggested by Frank McCown.
 266
 267 2006-02-25  Hrvoje Niksic  <hniksic@xemacs.org>
 268
 269         * http.c (gethttp): Only use FILE.N.html if FILE.html exists.
 270
 271 2006-02-09  Hrvoje Niksic  <hniksic@xemacs.org>
 272
 273         * mswindows.c (run_with_timeout): Made thread_hnd non-static.
 274
 275 2006-02-05  Hrvoje Niksic  <hniksic@xemacs.org>
 276
 277         * retr.c (sleep_between_retrievals): Sleep at a minimum of 1/2 of
 278         the specified wait period.
 279
 280 2006-02-03  Hrvoje Niksic  <hniksic@xemacs.org>
 281
 282         * utils.c (number_to_string): Don't use sprintf for printing
 283         WGINT_MIN; simply divide n by 10 and defer printing the last
 284         digit.
 285         (number_to_string): Removed the SPRINTF_WGINT macro.
 286
 287 2006-02-03  Mauro Tortonesi  <mauro@ferrara.linux.it>
 288
 289         * http.c: Fixed support for Content-Disposition header.
 290
 291         * test.c: Added test_parse_content_disposition to the list of unit
 292         tests to run.
 293
 294 2006-02-02  Hrvoje Niksic  <hniksic@xemacs.org>
 295
 296         * hash.c: Don't define countof if it's already defined.
 297
 298         * hash.c: Obtain the definition of uintptr_t when standalone.
 299
 300 2006-01-30  Mauro Tortonesi  <mauro@ferrara.linux.it>
 301
 302         * http.c: Changed output format. Removed excessively verbose debugging
 303         output.
 304
 305 2005-12-07  Mauro Tortonesi  <mauro@ferrara.linux.it>
 306
 307         * http.c: Fixed pre-download verbose output which was broken by
 308         HTTP code refactoring.
 309
 310 2005-11-23  Mauro Tortonesi  <mauro@ferrara.linux.it>
 311
 312         * http.c: Refactored HTTP code.  If -O is not used, the new code
 313         delays the choice of the file name where the downloaded resource
 314         will be saved until the HTTP headers have been retrieved.
 315         Added support for Content-Disposition header.
 316
 317 2005-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
 318
 319         * hash.c (INVALID_PTR): Use uintptr_t instead of unsigned long.
 320         (hash_pointer): Don't assume a pointer fits in `unsigned long'.
 321
 322 2005-11-02  Mauro Tortonesi  <mauro@ferrara.linux.it>
 323
 324         * Makefile.in: Removed support for unit testing (now it is in
 325         tests/Makefile.in).
 326
 327 2005-10-27  Mauro Tortonesi  <mauro@ferrara.linux.it>
 328
 329         * Makefile.in: Added basic support for unit testing.
 330
 331         * test.c: Ditto.
 332
 333         * test.h: Ditto.
 334
 335 2005-10-13  Daniel Stenberg  <daniel@haxx.se>
 336
 337         * http-ntlm.c (ntlm_output): Fixed buffer overflow vulnerability.
 338
 339 2005-10-09  Russ Allbery  <rra@stanford.edu>
 340
 341         * snprintf.c: Remove round to round_int and pow10 to pow10_int, to
 342         avoid warnings from GCC 4.0.
 343
 344 2005-10-05  Mauro Tortonesi  <mauro@ferrara.linux.it>
 345
 346         * retr.c: Changed semantics of no_proxy_match.
 347
 348 2005-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
 349
 350         * main.c (main): Don't print the summary if nothing has been downloaded.
 351
 352 2005-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
 353
 354         * retr.c (retr_rate): Rename parameter from MSECS to SECS since it
 355         no longer holds milliseconds.
 356
 357 2005-09-01  Hrvoje Niksic  <hniksic@xemacs.org>
 358
 359         * progress.c: Introduce symbolic constants for "magic" values of
 360         0.2 and 0.9, REFRESH_INTERVAL and ETA_REFRESH_INTERVAL.
 361
 362 2005-08-27  Hrvoje Niksic  <hniksic@xemacs.org>
 363
 364         * cmpt.c (strtoll): Correctly handle strtoll("0x", ptr, 0) and
 365         strtoll("0x<nonhexchar>", ptr, 0) -- in both cases *ptr must be
 366         set to the position of 'x', not after it.
 367
 368 2005-08-27  Hrvoje Niksic  <hniksic@xemacs.org>
 369
 370         * hash.c (hash_table_map): Rename to hash_table_for_each and
 371         update callers.
 372         Document the meaning of the callback's return value.
 373         (hash_table_iterate): New function.
 374         (hash_table_iter_next): Likewise.
 375         Update most places that used hash_table_for_each to use the
 376         iteration, which doesn't require a temporary function with
 377         explicit state management.
 378
 379 2005-08-26  Albert Chin  <wget@mlists.thewrittenword.com>
 380
 381         * Makefile.in: Use @datadir@.  Define localedir as $(datadir)/locale.
 382
 383 2005-08-26  Jeremy Shapiro  <jnshapiro@gmail.com>
 384
 385         * openssl.c (ssl_init): Set SSL_MODE_AUTO_RETRY.
 386
 387 2005-08-23  Hrvoje Niksic  <hniksic@xemacs.org>
 388
 389         * host.c (address_list_from_ipv4_addresses): Use IP_INADDR_DATA.
 390
 391 2005-08-12  Hrvoje Niksic  <hniksic@xemacs.org>
 392
 393         * wget.h: Renamed strtoll_return to strtoll_type.
 394
 395 2005-08-11  Hrvoje Niksic  <hniksic@xemacs.org>
 396
 397         * progress.c (eta_to_human_short): Switch to days when printing
 398         more than 48h rather than 100h.  (It's not immediately apparent
 399         how many days there are in 83h.)
 400
 401 2005-08-11  Hrvoje Niksic  <hniksic@xemacs.org>
 402
 403         * cmpt.c (strtoll): Define it if missing on the system and if Wget
 404         needs it.
 405
 406         * mswindows.c (str_to_int64): Move to cmpt.c and rename to strtoll.
 407
 408 2005-08-10  Hrvoje Niksic  <hniksic@xemacs.org>
 409
 410         * host.c (print_address): Always use inet_ntop when IPv6 is
 411         enabled.
 412
 413         * host.h (ip_address): Simplify the data union.
 414
 415 2005-08-09  Hrvoje Niksic  <hniksic@xemacs.org>
 416
 417         * mswindows.c (inet_ntop): Also handle IPv4 addresses for
 418         completeness.
 419
 420 2005-08-09  Hrvoje Niksic  <hniksic@xemacs.org>
 421
 422         * http.c (gethttp): Don't read more than the amount of data
 423         specified by the content-length header.
 424
 425 2005-08-09  Vasil Dimov  <vd@datamax.bg>
 426
 427         * ftp.c (getftp): Don't free RESPLINE if ftp_response returns a
 428         status other than FTPOK.
 429
 430 2005-08-04  Giuseppe Bonacci  <g.bonacci@libero.it>
 431
 432         * ftp-ls.c (ftp_parse_unix_ls): Remember the position of the
 433         previous token instead of backtracking back to it.
 434
 435 2005-07-08  Gisle Vanem  <giva@bgnett.no>
 436
 437         * mswindows.h: Include process.h to get getpid() declaration.
 438
 439 2005-07-08  Hrvoje Niksic  <hniksic@xemacs.org>
 440
 441         * utils.c (aprintf): Use vasprintf where available.
 442
 443 2005-07-08  Hrvoje Niksic  <hniksic@xemacs.org>
 444
 445         * url.c (rewrite_shorthand_url): Simplify code using aprintf and
 446         strspn.
 447
 448 2005-07-07  Hrvoje Niksic  <hniksic@xemacs.org>
 449
 450         * gnutls.c (ssl_check_certificate): Check for the validity of the
 451         presented X509 certificate.
 452
 453 2005-07-07  Hrvoje Niksic  <hniksic@xemacs.org>
 454
 455         * openssl.c (ssl_check_certificate): Print custom error messages
 456         for frequent X509 certificate problems.
 457
 458 2005-07-07  Hrvoje Niksic  <hniksic@xemacs.org>
 459
 460         * mswindows.h: Define an alias for stat and fstat, as requested by
 461         config-compiler.h.
 462         (gai_strerror): Define to windows_strerror if NEED_GAI_STRERROR is
 463         defined.
 464
 465 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
 466
 467         * mswindows.h: Use strtoll where available.
 468
 469 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
 470
 471         * sysdep.h: Add a full declaration of fnmatch.h.
 472
 473 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
 474
 475         * utils.c: Unconditionally include <setjmp.h>.
 476
 477 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
 478
 479         * utils.c (fnmatch_nocase): New function.
 480         (proclist): Use it instead of fnmatch when opt.ignore_case is
 481         requested.
 482         (in_acclist): Respect opt.ignore_case.
 483         (frontcmp): Respect opt.ignore_case.
 484
 485         * options.h (struct options): New flag opt.ignore_case.
 486
 487 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
 488
 489         * ptimer.c: Measure time in seconds rather than milliseconds.
 490         Adjusted all callers.
 491
 492 2005-07-06  Hrvoje Niksic  <hniksic@xemacs.org>
 493
 494         * http.c (gethttp): When freeing MESSAGE, take into account that
 495         it can be NULL.
 496
 497 2005-07-05  Hrvoje Niksic  <hniksic@xemacs.org>
 498
 499         * cmpt.c (timegm): Handle years after 2099.
 500
 501 2005-07-05  Hrvoje Niksic  <hniksic@xemacs.org>
 502
 503         * cmpt.c (timegm): Remove unused variable.
 504
 505 2005-07-05  Hrvoje Niksic  <hniksic@xemacs.org>
 506
 507         * cmpt.c (timegm): Don't call mktime; simply count the seconds
 508         between 1970-01-01 and the specified date.
 509
 510 2005-07-05  Hrvoje Niksic  <hniksic@xemacs.org>
 511
 512         * wget.h (or): Define HAVE_SSL when either HAVE_OPENSSL or
 513         HAVE_GNUTLS are defined.
 514
 515         * gnutls.c: New file.
 516
 517 2005-07-05  Hrvoje Niksic  <hniksic@xemacs.org>
 518
 519         * http.c (gethttp): Don't print the request write error message
 520         twice.
 521
 522 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
 523
 524         * openssl.c (openssl_errstr): Instead of always using a large
 525         static buffer, only allocate the error string when there is an
 526         actual error.
 527
 528 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
 529
 530         * xmalloc.c (debugging_free): Prefix hex pointer value with "0x"
 531         when printing.
 532
 533 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
 534
 535         * utils.c (NEXT_BASE64_CHAR): Rename to NEXT_CHAR and simplify to
 536         get the next non-whitespace character.
 537
 538 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
 539
 540         * utils.c (base64_decode): Don't silently tolerate non-base64
 541         non-white-space characters in the base64 stream.
 542
 543 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
 544
 545         * connect.c (LAZY_RETRIEVE_INFO): Make last_tick unsigned to match
 546         transport_map_modified_tick.
 547
 548 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
 549
 550         * config-post.h (alloca): Updated declaration to not enumerate all
 551         Windows compilers.
 552
 553 2005-07-04  Hrvoje Niksic  <hniksic@xemacs.org>
 554
 555         * openssl.c (openssl_errstr): Separate error messages with "; ".
 556
 557 2005-07-03  Hrvoje Niksic  <hniksic@xemacs.org>
 558
 559         * ftp.c (getftp): Ditto.
 560
 561         * http.c (gethttp): Use fd_errstr.
 562
 563         * connect.c (fd_register_transport): Restructure parameters to
 564         include only a single structure that describes transport
 565         implementation.
 566
 567         * openssl.c (openssl_errstr): New function: dump SSL error strings
 568         into a static buffer and return a pointer to the buffer.
 569
 570         * connect.c (fd_errstr): New function; returns transport-specific
 571         error message, or strerror(errno) if transport doesn't supply one.
 572
 573 2005-07-03  Hrvoje Niksic  <hniksic@xemacs.org>
 574
 575         * mswindows.h: Also wrap accept() and listen().
 576
 577 2005-07-03  Hrvoje Niksic  <hniksic@xemacs.org>
 578
 579         * url.c (path_end): Skip separators appropriate for the scheme.
 580         (strpbrk_or_eos): Remove gcc-specific version, as the optimization
 581         it tried to perform no longer applies.
 582
 583 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
 584
 585         * host.c: Don't include "connect.h" now that we no longer have
 586         socket_has_inet6.
 587
 588 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
 589
 590         * host.c: Remove extraneous definition of netdb.h.
 591
 592 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
 593
 594         * http.c (gethttp): Skip error message body in the keep-alive
 595         case.
 596
 597 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
 598
 599         * url.c (url_parse): Would crash when parsing fragments.  Support
 600         fragments for FTP URLs too.
 601
 602 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
 603
 604         * version.c: Don't use "cvs" in version name, since we're not
 605         using CVS anymore.
 606
 607 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
 608
 609         * progress.c (create_image): Ditto.
 610
 611         * retr.c (retr_rate): Display smaller rate numbers with greater
 612         precision.
 613
 614 2005-07-02  Hrvoje Niksic  <hniksic@xemacs.org>
 615
 616         * http.c (response_head_terminator): Minor optimization.
 617
 618         * retr.c (fd_read_hunk): Call terminator with pointer to the start
 619         of the data and the pointer to the current data.  Changed all
 620         callers.
 621
 622 2005-07-01  Hrvoje Niksic  <hniksic@xemacs.org>
 623
 624         * url.c (url_parse): Make sure u->params is not initialized for
 625         http/https URLs.
 626         (url_parse): Don't crash on garbage following []-delimited IPv6
 627         addresses.
 628
 629 2005-07-01  Hrvoje Niksic  <hniksic@xemacs.org>
 630
 631         * main.c (print_help): Don't refer to the non-existent -nr in
 632         description of --mirror.
 633
 634 2005-06-30  Hrvoje Niksic  <hniksic@xemacs.org>
 635
 636         * host.c (pretty_print_address): Renamed to just print_address.
 637         Clarify documentation.
 638
 639 2005-06-30  Hrvoje Niksic  <hniksic@xemacs.org>
 640
 641         * http.c (gethttp): Explicitly document the different cases when
 642         generating the Host header.
 643
 644 2005-06-30  Hrvoje Niksic  <hniksic@xemacs.org>
 645
 646         * host.c (pretty_print_address): Handle error result from
 647         inet_ntop.
 648
 649 2005-06-30  Gisle Vanem  <giva@bgnett.no>
 650
 651         * mswindows.c (inet_ntop): New function.  Print IPv6 addresses
 652         using WSAAddressToString.
 653
 654 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
 655
 656         * progress.c (dot_update): Remove unused variable row_qty.
 657
 658 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
 659
 660         * main.c: Check for both SIGHUP and SIGUSR1 before using them.
 661
 662 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
 663
 664         * utils.c: Unconditionally include locale.h.
 665
 666 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
 667
 668         * ptimer.c: Include sys/time.h to get struct timeval.
 669
 670 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
 671
 672         * wget.h: Remove obsolete definition of with_thousand_seps_sum.
 673
 674 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
 675
 676         * gnu-md5.h: Unconditionally include limits.h.
 677
 678 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
 679
 680         * utils.c (random_number): Use lrand48 if available.
 681         (random_float): Use drand48 if available.
 682
 683 2005-06-29  Hrvoje Niksic  <hniksic@xemacs.org>
 684
 685         * main.c (secs_to_human_time): Use print_decimal when printing
 686         total download time in seconds.
 687
 688         * progress.c (print_row_stats): Use it to print total download
 689         time at the end of the download.
 690         (create_image): Ditto.
 691
 692         * utils.c (print_decimal): New function; print small decimal
 693         numbers with more precision than large ones.
 694
 695         * progress.c (print_row_stats): New function.  Print ETA after the
 696         download rate at the end of each row.
 697
 698 2005-06-28  Hrvoje Niksic  <hniksic@xemacs.org>
 699
 700         * init.c (parse_line): Check for alphanumerics.
 701
 702 2005-06-28  Hrvoje Niksic  <hniksic@xemacs.org>
 703
 704         * (dot_create): Remove unnecessary casts.
 705
 706 2005-06-28  Hrvoje Niksic  <hniksic@xemacs.org>
 707
 708         * ftp.c (getftp): Delete trailing newlines from LIST output so
 709         lines don't come out with trailing \015\012 with -S.
 710
 711 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
 712
 713         * mswindows.h: Remove superfluous includes.
 714
 715 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
 716
 717         * config-post.h (alloca): Amend alloca declaration to take care of
 718         all Win32 compilers, not just MSVC and MinGW.
 719
 720 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
 721
 722         * utils.c (get_grouping_data): Force separator to "." rather than
 723         " " when "," is taken.
 724
 725 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
 726
 727         * wget.h (PTR_FORMAT): Cast the result of sizeof to int before
 728         passing it to printf's %*.
 729
 730         * retr.h: Declare output_stream and output_stream_regular.
 731
 732         * ftp.h: Declare ftp_last_respline.
 733
 734         * convert.h: Declare dl_url_file_map.
 735
 736         * http.h: New file.
 737
 738 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
 739
 740         * cookies.c: Make cookies_now static.
 741
 742 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
 743
 744         * utils.c (human_readable): Remove intermediary cast to long; MSVC
 745         has problems casting *unsigned* __int64 to double.
 746
 747 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
 748
 749         * sysdep.h: Use the system-provided fnmatch by default.
 750
 751 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
 752
 753         * http.c (mktime_from_utc): Renamed to timegm and moved to cmpt.c.
 754         Don't compile it if GNU timegm is available.
 755         (http_atotm): Use timegm.
 756
 757 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
 758
 759         * http.c (http_atotm): Correctly query the old locale value.
 760
 761 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
 762
 763         * config-post.h (alloca): Don't #define alloca under MinGW32,
 764         which defines it in malloc.h, included from mswindows.h.
 765
 766 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
 767
 768         * utils.c (get_grouping_data): Force the use of separators in C
 769         locale.
 770
 771 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
 772
 773         * main.c (i18n_initialize): Set all locale categories.
 774
 775         * http.c (http_atotm): Temporarily set locale to "C".
 776
 777 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
 778
 779         * http.c (gethttp): Improve "POST data file missing" error
 780         message.
 781
 782 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
 783
 784         * progress.c (set_progress_implementation): Type COLON as const
 785         char *.
 786
 787 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
 788
 789         * utils.c (with_thousand_seps): Handle negative numbers.
 790
 791 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
 792
 793         * progress.c (create_image): Mark the "eta" string for translation.
 794
 795 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
 796
 797         * html-url.c (get_urls_file): Don't explicitly set entry->next to
 798         NULL since entry is already zeroed out.
 799
 800 2005-06-26  Gisle Vanem  <giva@bgnett.no>
 801
 802         * mswindows.h: Define gai_strerror under MinGW.
 803
 804 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
 805
 806         * utils.c (with_thousand_seps): Correctly implement thousand seps
 807         consisting of more than one character.
 808
 809 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
 810
 811         * main.c (secs_to_human_time): Ditto.
 812
 813         * progress.c (create_image): Print more exact duration of very
 814         short downloads.
 815
 816         * main.c (secs_to_human_time): Don't translate time suffixes "h",
 817         "m", and "s", which are not strictly SI, but are "accepted for use
 818         with SI".
 819         (secs_to_human_time): Print really small intervals as 0s, not
 820         0.00s.
 821
 822 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
 823
 824         * config-post.h: Replace the alloca declaration with the one from
 825         the latest Autoconf manual.  This should remove a warning with GCC
 826         on AIX.
 827
 828 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
 829
 830         * ftp.c (getftp): Always invoke SIZE, not only when continuing a
 831         download.
 832
 833         * main.c (main): Ditto here.
 834
 835         * progress.c (create_image): When the download is finished, print
 836         how long it took.
 837
 838 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
 839
 840         * main.c (main): Print the downloaded and quota amounts with the
 841         "human_readable" function.
 842
 843         * ftp.c (print_length): Ditto.
 844
 845         * http.c (gethttp): Don't display thousand separators.
 846
 847         * utils.c (with_thousand_seps): Rewritten to respect locale
 848         settings and to be type size agnostic.
 849
 850 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
 851
 852         * utils.c (human_readable): Divide with 1024 instead of shifting
 853         so the operation can work with non-integer N.
 854
 855 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
 856
 857         * progress.c (eta_to_human): New logic for more human-readable
 858         ETA.
 859
 860 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
 861
 862         * utils.c (with_thousand_seps_sum): Decrease buffer size so it
 863         cannot overrun add_thousand_seps's buffer.
 864
 865 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
 866
 867         * utils.c (SPRINTF_WGINT): The correct format is %I64d, not just
 868         %I64.
 869
 870 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
 871
 872         * http.c (http_loop): Don't warn about wildcards in HTTP URLs if
 873         globbing isn't requested in the first place.
 874
 875         * retr.c (retrieve_url): Temporarily turn off globbing when
 876         processing HTTP->FTP redirects.
 877
 878 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
 879
 880         * utils.c (with_thousand_seps_sum): Now defined only if
 881         SUM_SIZE_INT is double.
 882
 883         * wget.h (SUM_SIZE_INT): Instead of bothering with long, long
 884         long, __int64, and friends, simply either use wgint or double, end
 885         of story.  Since we know how to print either, we no longer need
 886         LARGE_INT_FMT.
 887
 888         * sysdeps.h (LARGE_INT): Renamed to SUM_SIZE_INT to better reflect
 889         its intent, and moved to wget.h.
 890
 891 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
 892
 893         * Makefile.in: No need to clean .libs.
 894
 895 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
 896
 897         * cookies.c (parse_set_cookies): Cast pointer subtraction to int
 898         before using it with %d; AIX compiler warns on this.
 899         Reported by Jens Schleusener.
 900
 901 2005-06-24  Hrvoje Niksic  <hniksic@xemacs.org>
 902
 903         * http.c (gethttp): Don't prepend / here.
 904
 905         * cookies.c (cookie_handle_set_cookie): Prepend / to PATH.
 906         (cookie_header): Ditto.
 907
 908 2005-06-24  Hrvoje Niksic  <hniksic@xemacs.org>
 909
 910         * init.c: opt.verbose must be declared as int.
 911
 912 2005-06-23  Hrvoje Niksic  <hniksic@xemacs.org>
 913
 914         * cmpt.c (strpbrk): Removed.
 915         (mktime): Removed.
 916         Include <time.h>.
 917
 918 2005-06-23  Hrvoje Niksic  <hniksic@xemacs.org>
 919
 920         * utils.c (read_file): Ditto.
 921
 922         * main.c (main): Use struct_fstat.
 923
 924         * mswindows.h (struct_fstat): Define a struct_fstat to deal with
 925         the fact that Borland 5.5 has 64-bit stat, but not 64-bit fstat!
 926
 927 2005-06-23  Hrvoje Niksic  <hniksic@xemacs.org>
 928
 929         * sysdep.h: Remove code that deals with Watcom.
 930
 931 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
 932
 933         * all: Use bool instead of int and false/true instead of 0/non-0
 934         for boolean variables and values.
 935
 936 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
 937
 938         * sysdep.h: Include the stdbool.h/_Bool/bool blurb from Autoconf.
 939
 940 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
 941
 942         * init.c (cmd_lockable_boolean): Removed.
 943
 944 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
 945
 946         * cookies.c (struct cookie): Use 1-bit bitfields for booleans
 947         which makes the structure takes less space at no cost in
 948         complexity.
 949
 950 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
 951
 952         * Makefile.in ($(OBJ)): Add the config.h dependency.
 953
 954 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
 955
 956         * openssl.c, connect.c, host.c: Replace instances of #ifdef
 957         ENABLE_DEBUG if (opt.debug) {...} #endif with IF_DEBUG {...}.
 958
 959         * main.c: Rename the IF_DEBUG defined here to WHEN_DEBUG.
 960
 961         * wget.h (IF_DEBUG): New macro.
 962         (DEBUGP): Define in terms of IF_DEBUG.
 963
 964 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
 965
 966         * http.c (gethttp): Only handle --set-cookies (and assert that
 967         cookie jar exists) if opt.cookies is true.  Failure to do so
 968         triggered the assert when --no-cookies was used and the server
 969         sent a Set-Cookie header.  Ouch!
 970
 971 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
 972
 973         * connect.c (select_fd): Expect select() to exist.
 974
 975         * utils.c (xsleep): Always use select() as sleep fallback on
 976         non-Windows platforms.
 977
 978         * ptimer.c: Delete the implementation of PTIMER_TIME.
 979
 980         * main.c: Assume existence of signal(), test for different signal
 981         names instead.
 982
 983         * cmpt.c: Better document reasons why certain functions are
 984         included.
 985
 986 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
 987
 988         * Makefile.in: Remove the manually maintained dependency list;
 989         make all object files depend on every header.
 990
 991 2005-06-20  Hrvoje Niksic  <hniksic@xemacs.org>
 992
 993         * hash.c: Rename "mapping" to "cell" to avoid confusion with the
 994         term "mapping" (or "map") sometimes being used for the entire hash
 995         table.  Also rename "non-empty" to "occupied" for easier reading
 996         of if (!NON_EMPTY (...)) ... .
 997
 998 2005-06-20  Hrvoje Niksic  <hniksic@xemacs.org>
 999
1000         * main.c, ptimer.c, sysdep.h, utils.c: Use #elif to simplify reading of
1001         chained if-else-else-else-... statements.
1002
1003 2005-06-20  Hrvoje Niksic  <hniksic@xemacs.org>
1004
1005         * all: Return type of signal handlers is `void'.  Include signal.h
1006         unconditionally.
1007
1008         * all: Don't explicitly cast values returned by malloc.  We no
1009         longer support ancient compilers that don't declare malloc, and we
1010         never supported C++ builds.
1011
1012 2005-06-19  Hrvoje Niksic  <hniksic@xemacs.org>
1013
1014         * all: Don't declare errno.  Include both time.h and sys/time.h,
1015         as long as sys/time.h exists.  Don't dereference function pointers
1016         when invoking the functions they point to.
1017
1018         * cmpt.c (memmove): Remove function mandated by C89.
1019         (strerror): Ditto.
1020         (strstr): Ditto.
1021
1022         * all: Undo the K&R-ization changes from 2005-05-03.
1023
1024         * all: Remove support for K&R compilers: use C89 function
1025         declarations, remove definition of PARAMS, remove support for
1026         varargs, and remove ansi2knr.  Assume the presence of time.h,
1027         string.h, and other headers mandated by C89.
1028
1029 2005-06-19  Hrvoje Niksic  <hniksic@xemacs.org>
1030
1031         * init.c (cmd_lockable_boolean): Don't recognize literal "2" and
1032         "-1" values; unlike 0 and 1, those should never be exposed to the
1033         user.  Update the error message to be more self-consistent, as
1034         proposed by Benno Schulenberg.
1035
1036 2005-06-18  Hrvoje Niksic  <hniksic@xemacs.org>
1037
1038         * http.c (gethttp): Don't free "head" before using it to save
1039         headers.
1040
1041 2005-06-18  Hrvoje Niksic  <hniksic@xemacs.org>
1042
1043         * http.c (gethttp): When -E is in use, check for file existence
1044         after appending ".html" to the name and modify the file name if
1045         necessary.
1046
1047 2005-06-17  Hrvoje Niksic  <hniksic@xemacs.org>
1048
1049         * connect.c (socket_has_inet6): Removed.
1050
1051         * host.c (lookup_host): Don't use the AI_ADDRCONFIG getaddrinfo
1052         hint.
1053
1054 2005-06-16  Hrvoje Niksic  <hniksic@xemacs.org>
1055
1056         * init.c (cmd_lockable_boolean): Improve the error message so it
1057         lists the more useful values first.
1058
1059 2005-06-15  Hrvoje Niksic  <hniksic@xemacs.org>
1060
1061         * http.c (gethttp): Also report the system error when the POST
1062         data file is missing.
1063
1064 2005-06-15  Benno Schulenberg  <benno@nietvergeten.nl>
1065
1066         * ftp.c, http.c, connect.c, cookies.c, html-url.c, init.c, res.c:
1067         Gettext-ize messages that were previously missed.
1068
1069 2005-06-15  Hrvoje Niksic  <hniksic@xemacs.org>
1070
1071         * host.h (ip_address): Remove the trailing comma from the type
1072         enum in the no-IPv6 case.
1073
1074         * main.c (struct cmdline_option): Remove the trailing comma from
1075         the enum.
1076
1077         Reported by Jens Schleusener.
1078
1079 2005-05-30  Hrvoje Niksic  <hniksic@xemacs.org>
1080
1081         * url.c (strpbrk_or_eos): Check for a recent GCC version before
1082         using the statement-as-expression extension.
1083
1084 2005-05-30  Hrvoje Niksic  <hniksic@xemacs.org>
1085
1086         * http.c (gethttp): Don't attempt to "skip short body" if we're
1087         issuing a HEAD request (in which case the response head is not
1088         followed by a body).
1089
1090 2005-05-30  Hrvoje Niksic  <hniksic@xemacs.org>
1091
1092         * init.c (cmd_spec_header): Don't split the string along the
1093         commas using cmd_vector; just append the new value using
1094         vec_append instead.
1095
1096         * utils.c (vec_append): New function.
1097
1098 2005-05-27  Andreas Beckmann  <debian@abeckmann.de>
1099
1100         * html-url.c (tag_handle_link): Mark the content from the <link
1101         src="..."> tag as expecting HTML.
1102
1103 2005-05-24  Hrvoje Niksic  <hniksic@xemacs.org>
1104
1105         * http.c (http_atotm): Document the origin of the "cookie date"
1106         format.
1107
1108 2005-05-21  Hrvoje Niksic  <hniksic@xemacs.org>
1109
1110         * init.c (setval_internal): Report exact command name alongside
1111         the "display name".
1112
1113 2005-05-18  Hrvoje Niksic  <hniksic@xemacs.org>
1114
1115         * cookies.c (update_cookie_field): Explicitly cast -1 to time_t to
1116         cope with systems where time_t is unsigned.
1117
1118         * cookies.c: Remove unnecessary casts to time_t from values
1119         already of that type.
1120
1121 2005-05-17  Hrvoje Niksic  <hniksic@xemacs.org>
1122
1123         * ftp.c (ftp_loop_internal): Same here.
1124
1125         * http.c (http_loop): Don't clobber the file when -c is specified
1126         and the first attempt to retrieve the file fails.
1127
1128 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
1129
1130         * openssl.c (ssl_check_certificate): Print all issues with a
1131         certificate.
1132
1133 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
1134
1135         * ftp-basic.c: Don't xfree() the line returned by ftp_response if
1136         the returned code is not FTPOK.
1137
1138 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
1139
1140         * init.c (cleanup): Don't free the non-existent opt.ftp_acc.  Free
1141         the SSL-related stuff.
1142
1143 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
1144
1145         * ftp.c (print_length): Consistently print \n at end of the
1146         "Length" line.
1147
1148 2005-05-14  Hrvoje Niksic  <hniksic@xemacs.org>
1149
1150         * openssl.c (ssl_connect): Announce the beginning and the end of
1151         the SSL handshake when in debug mode.
1152
1153         * wget.h (PTR_FORMAT): New macro for easier printing of pointer
1154         values.  Use %0*lx along with PTR_FORMAT instead of %p.
1155
1156 2005-05-14  Hrvoje Niksic  <hniksic@xemacs.org>
1157
1158         * http.c (gethttp): Would forget to close the connection when
1159         keep_alive was not used.
1160
1161 2005-05-13  Hrvoje Niksic  <hniksic@xemacs.org>
1162
1163         * openssl.c (pattern_match): Document the code that decides
1164         whether "*" matches ".".
1165
1166 2005-05-12  Hrvoje Niksic  <hniksic@xemacs.org>
1167
1168         * ftp-ls.c (ftp_index): Use %d to print the port number, which is
1169         now int.
1170         From Steven M. Schweda's VMS patches.
1171
1172 2005-05-12  Hrvoje Niksic  <hniksic@xemacs.org>
1173
1174         * url.c (rewrite_shorthand_url): Don't rewrite "https://host" to
1175         "ftp://https//host" when SSL is not used.
1176
1177 2005-05-11  Hrvoje Niksic  <hniksic@xemacs.org>
1178
1179         * openssl.c (ssl_check_server_identity): Renamed to
1180         ssl_check_certificate because it does more than just checking the
1181         server's identity.
1182         (ssl_check_certificate): Tell the user about
1183         --no-check-certificate.
1184
1185 2005-05-11  Hrvoje Niksic  <hniksic@xemacs.org>
1186
1187         * openssl.c (ssl_init): Always use SSL_VERIFY_NONE, so that the
1188         handshake finishes even if the certificate is invalid.  That way
1189         ssl_check_server_identity can provide better diagnostics on why
1190         the verification failed.
1191
1192 2005-05-11  Hrvoje Niksic  <hniksic@xemacs.org>
1193
1194         * openssl.c (pattern_match): New function.
1195         (ssl_check_server_identity): Treat peer certificate common name as
1196         wildcard.
1197
1198 2005-05-10  Hrvoje Niksic  <hniksic@xemacs.org>
1199
1200         * openssl.c (ssl_check_server_identity): Print certificate subject
1201         and issuer.
1202
1203 2005-05-10  Hrvoje Niksic  <hniksic@xemacs.org>
1204
1205         * res.c (res_register_specs): Correctly pass pointers to
1206         hash_table_get_pair.
1207
1208 2005-05-10  Hrvoje Niksic  <hniksic@xemacs.org>
1209
1210         * http.c (gethttp): Call ssl_check_server_identity.
1211
1212         * openssl.c (ssl_check_server_identity): New function, verifies
1213         that the host name in the certificate matches the actual host
1214         name.
1215         (verify_cert_callback): Removed, since it didn't do anything
1216         except returning the preverify_ok argument.
1217
1218         * connect.c (fd_transport_context): Allow retrieval of the context
1219         pointer registered with fd_register_transport.
1220
1221 2005-05-09  Hrvoje Niksic  <hniksic@xemacs.org>
1222
1223         * openssl.c (verify_cert_callback): Renamed from verify_callback.
1224         Always return the received "ok" value.  Print the X509 name in
1225         debug mode.
1226         (ssl_init): Enable partial writes in SSL context.
1227
1228 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
1229
1230         * http.c (http_loop): Check for wildcards in the URL path
1231         component, not in the whole URL.
1232
1233         * ftp.c (ftp_loop): Check for wildcards in URL path before
1234         unescaping, so the users can escape globbing metacharacters with %
1235         escapes.
1236
1237 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
1238
1239         * init.c (run_command): Correctly interpret the return value of
1240         parse_line.
1241         (commands): Re-alphabetize.
1242
1243 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
1244
1245         * netrc.c (parse_netrc): Explicitly check for assignment != NULL
1246         to silence warning from Borland C.
1247
1248         * url.c (sync_path): Don't unnecessarily increment p.
1249         (url_parse): Don't unnecessarily set url_encode to NULL just
1250         prior to return from the function.
1251
1252 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
1253
1254         * log.c (escnonprint_internal): Place variable declarations
1255         before other statements.
1256
1257 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
1258
1259         * html-url.c: Include recur.h.
1260
1261         * http.c (request_new): Define as accepting no args.
1262
1263 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
1264
1265         * url.c (strpbrk_or_eos): Made inline.  Use strchr(s, '\0') for
1266         finding the NUL char position.
1267
1268 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
1269
1270         * url.c (decide_copy_method): Renamed to char_needs_escaping.
1271         Since it now returns only two possible values, change it to return
1272         boolean (int).
1273
1274 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
1275
1276         * ftp-basic.c (ftp_request): Prevent newlines in VALUE causing
1277         inadvertent sending of multiple FTP commands.
1278
1279 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
1280
1281         * url.c (decide_copy_method): Never cause reencode_escapes to
1282         decode % escapes; it is too intrusive and breaks some servers.
1283
1284 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
1285
1286         * http.c (gethttp): When tunnelling SSL traffic over proxy with
1287         CONNECT, we're really talking to the remote server directly.
1288         Because of this, the request-line argument must be the URL path
1289         rather than the whole URL, as it would be when using regular
1290         proxies.
1291         Reported by Charles Lane.
1292
1293 2005-05-06  Hrvoje Niksic  <hniksic@xemacs.org>
1294
1295         * init.c (cmd_spec_useragent): Allow empty User-Agent.
1296
1297         * http.c (gethttp): Don't print "unknown authentication scheme"
1298         for failed Basic authentication.
1299         (SET_USER_AGENT): Don't set user-agent if opt.useragent is empty.
1300         (gethttp): Use alloca for allocation of www_authenticate.
1301
1302 2005-05-06  Hrvoje Niksic  <hniksic@xemacs.org>
1303
1304         * main.c (print_help): Fix wording of --secure-protocol help text.
1305
1306 2005-05-06  Hrvoje Niksic  <hniksic@xemacs.org>
1307
1308         * cmpt.c (strstr): Updated from glibc 2.3.5.
1309
1310 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
1311
1312         * http.c (http_atotm): Zero out the whole struct tm being passed
1313         to strptime.
1314
1315 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
1316
1317         * main.c (main): Propagate option name to setoptval.
1318
1319         * init.c (setoptval): Accept another argument, OPTNAME.  Propagate
1320         that argument as the option name independently of the actual
1321         command, determined by command_by_name(com).
1322
1323 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
1324
1325         * init.c (parse_line): Make the return value indicate whether
1326         there was a syntax error or a setter failed.
1327         (run_wgetrc): Return an indication on whether an error has been
1328         encountered.
1329         (initialize): Abort if there have been errors running either
1330         .wgetrc file.
1331
1332 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
1333
1334         * log.c (copy_and_escape): Slightly reduce code repetition between
1335         the two loops.
1336
1337 2005-05-05  Charles C.Fu  <ccwf@bacchus.com>
1338
1339         * utils.c (proclist): Strip leading slash when calling fnmatch
1340         too, otherwise wildcard comparisons always fail.
1341
1342 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
1343
1344         * utils.c (touch): Set access time to current time.
1345
1346 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
1347
1348         * url.c (url_unescape): Don't unescape %00, it effectively
1349         truncates the string.
1350
1351 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
1352
1353         * log.c (copy_and_escape): Replace the FOR_URI argument with a
1354         slightly more general mechanism for specifying different kinds of
1355         escape.
1356
1357 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
1358
1359         * ftp-basic.c (ftp_response): Fix printing FTP server response.
1360
1361 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
1362
1363         * retr.c (limit_bandwidth_reset): Reset sleep_adjust.
1364         (limit_bandwidth): Don't allow huge "adjustment" values that
1365         result from being suspended for a while.
1366
1367 2005-05-04  Hrvoje Niksic  <hniksic@xemacs.org>
1368
1369         * wget.h: If gettext was found but libtintl.h wasn't, declare
1370         gettext's return type to avoid type mismatches.
1371
1372 2005-05-03  Hrvoje Niksic  <hniksic@xemacs.org>
1373
1374         * url.c (url_parse): Rename label `error' to avoid conflict with
1375         identifier.
1376
1377         * retr.c (fd_read_body): Rename label `out' to avoid conflict with
1378         identifier.
1379         (fd_read_hunk): Use explicit double constant.
1380         (retrieve_from_file): Don't use string concatenation.
1381         (sleep_between_retrievals): Make sure xsleep is called with a
1382         `double' argument.
1383         (no_proxy_match): Define as static, like it is declared.
1384
1385         * progress.c (bar_create): Use 0.0 instead of 0 because K&R
1386         compilers can't automatically promote it.
1387
1388         * http-ntlm.c (ntlm_output): Replace \xHH sequences with \OOO for
1389         the sake of old compilers.
1390
1391         * ftp.c (ftp_loop_internal): Don't use string concatenation.
1392
1393         * http.c (request_send): Use explicit double constants when
1394         calling fd_read and fd_write.
1395         (post_file): Ditto.
1396         (gethttp): Ditto.
1397         (skip_short_body): Ditto.
1398
1399         * ftp-basic.c: When calling fd_write, specify the last argument as
1400         a `double' constant for the sake of K&R compilers which don't see
1401         the prototype and therefore can't promote it to double
1402         automatically.
1403
1404         * cookies.c (cookie_jar_load): Rename abort label to abort_cookie
1405         to avoid name conflict in K&R compilers.
1406
1407 2005-04-29  Hrvoje Niksic  <hniksic@xemacs.org>
1408
1409         * ptimer.c (posix_init): Since we allow _POSIX_MONOTONIC_CLOCK==0,
1410         it is not enough to check for _POSIX_MONOTONIC_CLOCK-0, we must
1411         also check for defined(_POSIX_MONOTONIC_CLOCK).
1412
1413 2005-04-28  Hrvoje Niksic  <hniksic@xemacs.org>
1414
1415         * ftp.c, hash.c, connect.c, host.c, http.c: Remove unreached code,
1416         such as "break" following return or abort.
1417
1418 2005-04-28  Hrvoje Niksic  <hniksic@xemacs.org>
1419
1420         * init.c (commands): Wrap the use of opt.random_file in #ifdef
1421         HAVE_SSL.
1422
1423 2005-04-28  Hrvoje Niksic  <hniksic@xemacs.org>
1424
1425         * http.c (gethttp): Correctly set the user agent.
1426
1427 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
1428
1429         * init.c (cmd_spec_useragent): Free the old value of
1430         opt.useragent before setting the new one.
1431
1432 2005-04-27  Mauro Tortonesi  <mauro@ferrara.linux.it>
1433
1434         * main.c: Map --ftp-password, --http-password and --proxy-password to
1435         the new ftppassword, httppassword and proxypassword commands
1436         respectively.  Document the --user and --password options in the help
1437         string.
1438
1439 2005-04-27  Mauro Tortonesi  <mauro@ferrara.linux.it>
1440
1441         * ftp.c: Add support for --user and --password.
1442
1443         * http.c: Add support for --user and --password.
1444
1445         * init.c: Deprecated ftppasswd, httppasswd, login, passwd and
1446         proxypasswd commands.  Added ftppassword, ftpuser, httppassword,
1447         password, proxypassword and user commands.
1448
1449         * main.c: Renamed --ftp-passwd to --ftp-password.  Added --ftp-user,
1450         --http-password, --password, --proxy-password and --user.  Deprecated
1451         --http-passwd and --proxy-passwd.  Added documentation for new options
1452         and removed documentation for deprecated options in the help string.
1453
1454         * options.h (struct options): Added user and passwd members to handle
1455         --user and --password respectively.  Renamed ftp_acc and ftp_pass
1456         members to ftp_user and ftp_passwd for consistency.
1457
1458 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
1459
1460         * main.c (print_help): Advertise "DER", not "ASN1".
1461
1462 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
1463
1464         * openssl.c (init_prng): Disable the weak random seed by default.
1465
1466         * http.c (gethttp): Simplify SSL initialization; disable SSL when
1467         anything goes wrong with the initialization.
1468
1469         * options.h (struct options): New option opt.random_file.
1470
1471 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
1472
1473         * init.c: Wrap private key commands in IF_SSL.
1474
1475 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
1476
1477         * openssl.c (ssl_init): Ditto.
1478
1479         * options.h (struct options): Allow separate specification of key
1480         type and certificate type.
1481
1482         * init.c (cmd_spec_cert_type): Provide a "der" synonym for "asn1"
1483         certificate encoding.
1484
1485 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
1486
1487         * openssl.c: Renamed "gen_sslfunc.c" to "openssl.c" and
1488         "gen_sslfunc.h" to "openssl.h".  This reflects the intent of
1489         openssl.c encapsulating the OpenSSL-specific code.
1490
1491 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
1492
1493         * init.c: Renamed "closure" (a synonym for context in some
1494         cultures) to "place", which more accurately reflects the usage.
1495
1496 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
1497
1498         * gen_sslfunc.c (ssl_init): Use default locations for loading the
1499         certificate bundles.
1500         (ssl_init_prng): Disable the cryptographically weak PRNG
1501         initialization fallback.
1502
1503         * init.c: Renamed SSL command-line arguments and wgetrc commands.
1504         (defaults): Check the server certificate by default.
1505
1506 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
1507
1508         * cookies.c (cookie_handle_set_cookie): Delete the part of the
1509         path after the trailing slash.
1510
1511         * http.c (gethttp): Call cookie_handle_set_cookie with path that
1512         begins with '/'.
1513
1514 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
1515
1516         * http.c (gethttp): Call skip_short_body only if keep_alive is in
1517         use.
1518         (gethttp): Send the User-Agent header with the CONNECT request as
1519         well.
1520
1521 2005-04-25  Hrvoje Niksic  <hniksic@xemacs.org>
1522
1523         * main.c (option_data): Removed support for the undocumented flag
1524         --use-proxy.
1525
1526 2005-04-25  Hrvoje Niksic  <hniksic@xemacs.org>
1527
1528         * main.c (option_data): Don't treat -Y as a boolean switch; treat
1529         it as a value switch instead, so "-Y off" continues to work.
1530
1531 2005-04-24  Hrvoje Niksic  <hniksic@xemacs.org>
1532
1533         * utils.c (aprintf): Delete unreachable statement.
1534
1535 2005-04-24  Hrvoje Niksic  <hniksic@xemacs.org>
1536
1537         * host.c (cmp_prefer_ipv4): New function.
1538         (cmp_prefer_ipv6): New function.
1539         (lookup_host): Use the appropriate comparator according to
1540         opt.prefer_family.
1541
1542         * init.c: New option prefer_family.
1543
1544         * host.c (is_valid_ipv6_address): Spell NS_* constants in lower
1545         case to avoid clash with system headers.
1546         (lookup_host): Reorder the addresses so that IPv4 ones come first.
1547
1548         * utils.c (stable_sort): New function.
1549
1550 2005-04-24  Hrvoje Niksic  <hniksic@xemacs.org>
1551
1552         * connect.c (retryable_socket_connect_error): Return 0 for
1553         ENETUNREACH and EHOSTUNREACH.
1554
1555 2005-04-23  Hrvoje Niksic  <hniksic@xemacs.org>
1556
1557         * cmpt.c: Reenable the memmove implementation for systems that
1558         lack it.
1559
1560         * http.c (gethttp): Store the "authorized" state of the persistent
1561         connection.
1562         (request_remove_header): New function.
1563         (gethttp): Don't send the "Basic" authentication if the connection
1564         is already authorized.
1565
1566 2005-04-23  Hrvoje Niksic  <hniksic@xemacs.org>
1567
1568         * utils.c (base64_encode): Treat input as unsigned chars.
1569         Required for correct encoding of binary stuff.
1570
1571 2005-04-23  Hrvoje Niksic  <hniksic@xemacs.org>
1572
1573         * http-ntlm.c: Format the function definitions in an
1574         ansi2knr-friendly fashion.
1575
1576 2005-04-22  Hrvoje Niksic  <hniksic@xemacs.org>
1577
1578         * http.c (gethttp): Handle multiple WWW-Authentication headers,
1579         only one of which is recognized.  Those are sent by IIS with NTLM
1580         authorization.
1581         (create_authorization_line): Propagate information whether
1582         authorization is finished.
1583         (gethttp): Only stop authorization when it's really finished, not
1584         after fixed two steps.
1585
1586 2005-04-21  Hrvoje Niksic  <hniksic@xemacs.org>
1587
1588         * gen_sslfunc.c (ssl_init): Fix warning message text; mark the
1589         message as translatable.
1590
1591 2005-04-21  Hrvoje Niksic  <hniksic@xemacs.org>
1592
1593         * main.c (print_help): Print the EGD option outside the cluster of
1594         SSL options.
1595
1596 2005-04-21  Hrvoje Niksic  <hniksic@xemacs.org>
1597
1598         * http-ntlm.c (ntlm_output): Fix setting the domain.
1599         Suggested by Sami Krank.
1600
1601 2005-04-20  Mauro Tortonesi  <mauro@ferrara.linux.it>
1602
1603         * connect.c: Set IPV6_V6ONLY socket option when -6 switch is used.
1604
1605 2005-04-20  FUJISHIMA Satsuki  <sf@FreeBSD.org>
1606
1607         * http.c (request_set_header): Fix the check whether a new header
1608         needs to be allocated.
1609
1610 2005-04-18  Hrvoje Niksic  <hniksic@xemacs.org>
1611
1612         * utils.c (base64_encode): Use the parameter order that makes more
1613         sense.  Return the length of the base64 written.  Updated all
1614         callers.
1615
1616 2005-04-17  Hrvoje Niksic  <hniksic@xemacs.org>
1617
1618         * http.c (request_set_header): Free NAME when VALUE is NULL and
1619         freeing the header name is requested.
1620
1621 2005-04-17  Hrvoje Niksic  <hniksic@xemacs.org>
1622
1623         * snprintf.c (fmtstr): Declare VALUE as const char *.
1624         Based on patch by Russ Allbery.
1625
1626 2005-04-17  Hrvoje Niksic  <hniksic@xemacs.org>
1627
1628         * snprintf.c (fmtfp): More correct handling of significant digit
1629         count with %g -- 0.002 has one significant digit, not three.
1630
1631 2005-04-16  Hrvoje Niksic  <hniksic@xemacs.org>
1632
1633         * retr.c (fd_read_body): Respect read timeout with non-interactive
1634         or no progress gauge -- treat ETIMEDOUT specially only when
1635         progress_interactive.
1636         Reported by FUJISHIMA Satsuki.
1637
1638 2005-04-16  FUJISHIMA Satsuki  <sf@FreeBSD.org>
1639
1640         * http.c (gethttp): Don't use HTTP/1.0 persistent connections over
1641         proxy.
1642
1643 2005-04-16  Hrvoje Niksic  <hniksic@xemacs.org>
1644
1645         * snprintf.c: Use the PARAMS macro to handle prototypes.  Write
1646         function definitions in the ansi2knr-friendly way.
1647         (fmtstr): If string precision is specified, don't read VALUE past
1648         it.
1649         (dopr): Actually print %g and %e formats.
1650         (fmtfp): Fix a bug that caused 0.01 to be printed as 0.1.
1651         (fmtfp): Use LLONG in floating point conversions to be able to
1652         convert more digits.
1653         (fmtfp): Interpret precision as number of significant digits with
1654         %g.
1655         (fmtfp): Omit trailing decimal zeros with %g.
1656
1657         * snprintf.c: Don't include <ctype.h> because none of it is used.
1658         Include strings.h/string.h, as per Autoconf.
1659
1660 2005-04-15  Hrvoje Niksic  <hniksic@xemacs.org>
1661
1662         * ptimer.c: Use _POSIX_TIMERS - 0 > 0, which handles the case when
1663         _POSIX_TIMERS is defined but empty, as well as the case when it is
1664         undefined.  Do the same with the check for _POSIX_MONOTONIC_CLOCK.
1665         Suggested by Larry Jones.
1666
1667 2005-04-15  Hrvoje Niksic  <hniksic@xemacs.org>
1668
1669         * ptimer.c: Check that _POSIX_TIMERS is defined as well as > 0.
1670         Problem reported by Steven M. Schweda.
1671
1672 2005-04-14  Hrvoje Niksic  <hniksic@xemacs.org>
1673
1674         * http.c (skip_short_body): Print the skipped body data in debug
1675         mode.
1676         (skip_short_body): Don't skip more than 4k of body data.
1677         (skip_short_body): Return whether the skipping was successful.
1678         (gethttp): If skip_short_body failed, invalidate the connection.
1679
1680 2005-04-12  Gisle Vanem  <giva@bgnett.no>
1681
1682         * ftp.c (getftp): Ditto.
1683
1684         * http.c (gethttp): Open the output file in binary mode.
1685
1686 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
1687
1688         * hash.c: Conditionalize including config.h on HAVE_CONFIG_H
1689         instead of on STANDALONE.
1690
1691 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
1692
1693         * gen_sslfunc.c (ssl_print_errors): Made static.
1694         (ssl_print_errors): Eliminate potentially dangerous fixed-size
1695         error buffer.  Passing NULL to ERR_error_string causes it to use
1696         its own static buffer, which is fine for our purposes.
1697
1698         * gen_sslfunc.c: Include gen_sslfunc.h.  Make the declarations of
1699         ssl_init and ssl_conect match the actual definitions.
1700         (ssl_connect): Simply return a boolean, the SSL context is no
1701         longer useful as a return value.
1702
1703         * retr.c: Don't include SSL headers; we don't need them.
1704
1705 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
1706
1707         * config-post.h: Don't define _VA_LIST under Solaris; it breaks
1708         compilation with GCC 3.4 under Solaris 10.  (It was defined to
1709         avoid a warning with previous versions of GCC.)
1710
1711 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
1712
1713         * xmalloc.c (register_ptr): Warn the user to increase SZ prior to
1714         aborting.
1715
1716 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
1717
1718         * convert.c (convert_cleanup): Free converted_files.
1719
1720 2005-04-10  Hrvoje Niksic  <hniksic@xemacs.org>
1721
1722         * wget.h (DEBUGP): Use __builtin_expect to give a hint to GCC that
1723         opt.debug is false in the vast majority of cases.
1724
1725 2005-04-10  Hrvoje Niksic  <hniksic@xemacs.org>
1726
1727         * config-post.h: Declare alloca as void *, not char *.
1728
1729 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
1730
1731         * recur.c (download_child_p): When -p is used, (temporarily)
1732         ignore accept/reject rules for HTMLs, even when they are at the
1733         maximum recursion depth.  That is because with -p we are, if
1734         necessary, overstepping the max. depth to get the requisites.
1735
1736 2004-06-12  Larry Jones <lawrence.jones@ugsplm.com>
1737
1738         * recur.c (download_child_p): Correct the logic in check number 6:
1739         test opt.reclevel (not DEPTH) against INFINITE_RECURSION.
1740
1741 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
1742
1743         * url.c: Use "static const" in preference to "const static".
1744         Sun's cc warns that "storage class after type is obsolescent".
1745
1746         * url.c (urlchr_table): Don't mark ~ as unsafe, too many broken
1747         web sites are confused when ~ is changed to %7E.  Their servers
1748         redirect /%7Efoo/ to /~foo/, which Wget again accesses using %7E,
1749         causing further redirections, therefore looping infinitely.  See
1750         Debian bug #301624 for an example.
1751
1752 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
1753
1754         * alloca.c: Include wget.h to be able to use xmalloc.  In addition
1755         to defining malloc to xmalloc, also define free to xfree.
1756
1757 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
1758
1759         * http-ntlm.c (ntlm_output): Use "char", not "unsigned char" for
1760         ntlmbuf.  Our base64 functions accept char anyway.
1761         (ntlm_output): Join up the format string, since we nominally
1762         support K&R compilers.
1763         (ntlm_output): Ditto.
1764
1765 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
1766
1767         * ptimer.c: Use Windows timers under Cygwin, whose POSIX timer
1768         implementation is incomplete.
1769
1770 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
1771
1772         * ptimer.c (struct ptimer): Remove the unused initialized field.
1773
1774         * ptimer.c: Renamed function parameters from WT (which used to
1775         stand for wget_timer or wtimer) to PT.
1776
1777 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
1778
1779         * ptimer.c (posix_init): Be smarter about choosing clocks.  In
1780         decreasing order of preference, use CLOCK_MONOTONIC,
1781         CLOCK_HIGHRES, and CLOCK_REALTIME.
1782         (ptimer_allocate): Removed.
1783
1784         * ptimer.c: Refactor the code by cleanly separating the
1785         architecture-dependent code from the architecture-independent
1786         code.
1787
1788 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
1789
1790         * ptimer.c (ptimer_init): Explicitly check that
1791         _POSIX_MONOTONIC_CLOCK is *both* defined and >=0.  (Undefined
1792         symbols are >=0.)
1793
1794 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
1795
1796         * ptimer.c (ptimer_diff): Fix typo affecting Windows build.
1797
1798 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
1799
1800         * ptimer.c (ptimer_init): In fact, _POSIX_MONOTONIC_CLOCK needs to
1801         be >= 0.
1802
1803         * ptimer.c (ptimer_init): Check whether _POSIX_MONOTONIC_CLOCK is
1804         defined instead of whether it's greater than 0.  glibc defines it
1805         to 0, but still makes it available via sysconf.
1806
1807 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
1808
1809         * mswindows.c (str_to_int64): Rename OVERFLOW and UNDERFLOW to
1810         INT64_OVERFLOW and INT64_UNDERFLOW, since those names are used.
1811
1812 2005-04-07  Hrvoje Niksic  <hniksic@xemacs.org>
1813
1814         * ptimer.c: New file.  Move the "wtimer" functions from utils.c to
1815         this file and rename them to ptimer_.
1816
1817 2005-04-07  Hrvoje Niksic  <hniksic@xemacs.org>
1818
1819         * host.c (NO_ADDRESS): Define NO_ADDRESS only after the system
1820         headers have been included.
1821
1822 2005-04-06  Hrvoje Niksic  <hniksic@xemacs.org>
1823
1824         * http.c (pconn): Include NTLM data, which is per-connection.
1825         (known_authentication_scheme_p): Recognize NTLM authorization.
1826         (create_authorization_line): Call ntlm_input and ntlm_output.
1827
1828         * http-ntlm.c: New file, donated by Daniel Stenberg and originally
1829         written for curl, heavily modified for Wget.
1830
1831         * utils.c (base64_encode): Relocated from http.c, since it is now
1832         used by http-ntlm.c, and will possibly be used elsewhere.
1833         (base64_decode): New function, originally based on code from GNU
1834         recode.
1835
1836 2005-04-02  Hrvoje Niksic  <hniksic@xemacs.org>
1837
1838         * ftp.c (ftp_loop): Ditto.
1839
1840         * ftp-basic.c (ftp_pasv): Use the xzero shorthand for memset(0).
1841         (ftp_lpsv): Ditto.
1842
1843 2005-04-05  Mauro Tortonesi  <mauro@ferrara.linux.it>
1844
1845         * Makefile.in: removed string_t.c from list of source files.
1846
1847 2005-04-04  Mauro Tortonesi  <mauro@ferrara.linux.it>
1848
1849         * string_t.c: Removed.
1850
1851         * string_t.h: Removed.
1852
1853 2005-04-02  Hrvoje Niksic  <hniksic@xemacs.org>
1854
1855         * url.c (rewrite_shorthand_url): Only accept recognized schemes.
1856         That way "foo:80" will correctly be rewritten to "http://foo:80"
1857         instead of left unchanged and ultimately rejected because of
1858         "unsupported scheme foo".
1859
1860 2005-03-31  Hrvoje Niksic  <hniksic@xemacs.org>
1861
1862         * utils.c (number_to_string): Avoid explicit 64-bit constants;
1863         construct them by multiplication at compile-time.
1864
1865         * utils.c, elsewhere: Don't append "L" to 32-bit integer
1866         constants; we aren't really compilable on 16-bit systems anyway.
1867
1868         * hash.c (prime_size): Remove primes larger than 2^31, but include
1869         2^31-1, which is prime.
1870
1871 2005-03-30  Hrvoje Niksic  <hniksic@xemacs.org>
1872
1873         * utils.c (string_set_to_array): New function.
1874
1875         * convert.c: Replace the use of "slists" with sets/hash-tables,
1876         which in fact suit the intended purpose much better.
1877         downloaded_html_list is removed altogether.
1878
1879 2005-03-29  Hrvoje Niksic  <hniksic@xemacs.org>
1880
1881         * ftp.h (enum): Rename GLOBALL, GETALL, and GETONE to
1882         GLOB_GLOBALL, GLOB_GETALL, and GLOB_GETONE to avoid conflict with
1883         Linux headers.
1884
1885 2005-03-29  Hrvoje Niksic  <hniksic@xemacs.org>
1886
1887         * utils.c (numdigit): More correct handling of negative numbers.
1888
1889 2005-03-21  Hrvoje Niksic  <hniksic@xemacs.org>
1890
1891         * http.c (gethttp): Print the human-readable size.
1892
1893         * ftp.c (getftp): Print the human-readable size of the file to be
1894         downloaded.
1895
1896         * utils.c (human_readable): New function.
1897
1898         * utils.c: Renamed "legible" to "with_thousand_seps",
1899         "legible_large_int" to "with_thousand_seps_large", and "legible_1"
1900         to "add_thousand_seps".
1901
1902 2005-03-21  Hrvoje Niksic  <hniksic@xemacs.org>
1903
1904         * http.c (gethttp): Inhibit persistent connections when talking to
1905         proxies, as mandated by RFC 2068.
1906
1907 2005-03-20  Hrvoje Niksic  <hniksic@xemacs.org>
1908
1909         * url.c (unescape_single_char): New function.
1910         (url_escape_dir): Use it to unescape slashes in directory
1911         components.
1912         (url_string): Escape unsafe chars in host name, except for the ':'
1913         charaters, which can appear in IPv6 addresses.
1914
1915         * main.c (main): Don't access the cookie jar directly.
1916
1917         * log.c (escnonprint_internal): Correctly calculate the needed
1918         string size.  Don't forget the buffer's new size after having
1919         reallocated it.
1920         (log_cleanup): New function.  Free the escnonprint ring data.
1921
1922         * init.c (cleanup): Don't free the cookie jar explicitly, it is
1923         now done by http_cleanup.
1924         (cleanup): opt.user_headers is now a vector, free it with
1925         free_vec.
1926
1927         * http.c (gethttp): Make sure to free the request data, the status
1928         message, and the response data before returning from the function.
1929         (save_cookies): New function.
1930         (http_cleanup): Free the cookie jar here.
1931
1932         * hash.c: Renamed string_hash to hash_string and ptrhash to
1933         hash_pointer.  Exported hash_pointer.
1934
1935         * xmalloc.c: Organized malloc_table (previously malloc_debug) as a
1936         simple EQ hash table.  register_ptr and unregister_ptr are now of
1937         O(1) complexity.
1938
1939         * xmalloc.c: Renamed "*_debug" to debugging_* and "*_real" to
1940         checking_*.
1941
1942 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
1943
1944         * utils.c (debug_test_md5): Moved to gen-md5.c.
1945
1946         * mswindows.h: Don't declare inet_ntop, since we don't use it.
1947
1948         * mswindows.h: For consistency, also wrap closesocket, it being
1949         a Winsock call.
1950
1951         * mswindows.h: Don't declare sleep and usleep; we're defining
1952         xsleep now.
1953
1954         * mswindows.h (mkdir): Don't special-case Borland C, _mkdir
1955         works there as well.
1956
1957         * host.c: Don't include winsock header files; the correct ones
1958         are already included by mswindows.h.
1959
1960         * mswindows.c (xsleep): Round toward the nearest millisecond
1961         in an attempt to avoid average short sleeps.
1962
1963         * utils.c (wtimer_granularity): Report correct values for
1964         Windows timers and for high-resolution timers.
1965
1966         * utils.c (wtimer_initialize_once): New function, called to
1967         initialize the timer frequency.
1968
1969         * utils.c: Replace the use of GetSystemTime with high-resolution
1970         counters under Windows.  When high-resolution counters are
1971         unavailable, use GetTickCount().
1972
1973 2005-03-15  Hrvoje Niksic  <hniksic@xemacs.org>
1974
1975         * retr.c (fd_read_body): Undo the 2004-11-18 change.  Instead,
1976         always be "exact".
1977
1978 2005-03-17  Hrvoje Niksic  <hniksic@xemacs.org>
1979
1980         * ftp-basic.c (ftp_login): Don't free the string if ftp_response
1981         returned an error status because the line didn't get allocated in
1982         the first place.
1983
1984 2005-03-15  Hrvoje Niksic  <hniksic@xemacs.org>
1985
1986         * http.c (read_http_response_head): Limit the response size to 64k
1987         bytes.
1988
1989         * retr.c (fd_read_hunk): Accept a MAXSIZE argument that limits the
1990         number of bytes the function is allowed to allocate.
1991         (fd_read_line): Limit the line to 4096 bytes.
1992
1993 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
1994
1995         * wget.h: Include options.h after wgint has been defined.
1996
1997         * options.h (struct options): Declare options processed with
1998         cmd_bytes as wgint, not long.
1999
2000 2005-03-18  Hrvoje Niksic  <hniksic@xemacs.org>
2001
2002         * init.c (cmd_file): Use concat_strings.
2003
2004         * http.c (basic_authentication_encode): Use concat_strings.
2005
2006         * ftp-ls.c (ftp_index): Use concat_strings.
2007
2008         * ftp-basic.c (ftp_request): Use concat_strings.
2009
2010         * utils.c (concat_strings): New function.
2011
2012 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
2013
2014         * init.c (simple_atof): Handle negative numbers; skip whitespace
2015         before the number.
2016         (simple_atoi): Ditto.  Also, check for overflow and underflow.
2017         (cmd_number): Bail out on negative numbers.
2018         (parse_bytes_helper): Ditto.
2019
2020 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
2021
2022         * http.c (gethttp): Handle multiple Set-Cookie headers sent by
2023         remote server.
2024
2025 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
2026
2027         * init.c (defaults): Use passive FTP by default.
2028
2029 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
2030
2031         * mswindows.c: Provide wrappers to Winsock functions that set
2032         errno to WSAGetLastError() in case of failure.  Also provide a
2033         Windows-specific version of strerror.
2034
2035         * mswindows.h: Wrap calls to socket, bind, connect, recv, send,
2036         select, getsockname, getpeername, and setsockopt.
2037
2038 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
2039
2040         * url.c (url_parse): Reject port numbers larger than 65535.  We
2041         also check for overflow while parsing port numbers.
2042
2043 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
2044
2045         * utils.c (read_file): Don't use wgint for file size; LFS won't
2046         work since the file is mmap'ed as a whole.
2047
2048         * options.h: Don't include stdio.h.
2049
2050         * log.c: Ditto.
2051
2052         * init.c: Disambiguate assignment from non-zero test to avoid
2053         Borland C warning.
2054
2055         * http.c (response_new): Don't needlessly post-increment count.
2056
2057         * hash.c: Include stdio.h.
2058
2059         * gnu-md5.h: Don't include stdio.h.
2060
2061         * getopt.h (struct option): Always use const.
2062
2063         * ftp.c (getftp): Avoid unnecessary assignment to RES to avoid
2064         Borland C warning.
2065
2066         * ftp-ls.c: Disambiguate assignment from non-zero test to avoid
2067         Borland C warning.
2068
2069         * cmpt.c (strptime_internal): Don't initialize rp_backup when
2070         !_NL_CURRENT to avoid Borland C warning.
2071
2072 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
2073
2074         * utils.c (fopen_excl): Fix parse error when O_BINARY is
2075         available.
2076
2077 2005-03-05  Hrvoje Niksic  <hniksic@xemacs.org>
2078
2079         * url.c (url_file_name): Don't allow hosts named ".." to be
2080         appended as path elements.
2081
2082 2005-03-03  Hrvoje Niksic  <hniksic@xemacs.org>
2083
2084         * retr.c (retrieve_url): Escape location header.
2085
2086         * http.c (print_server_response_1): Escape server response when
2087         printing it.
2088         (gethttp): Escape host name, status message, location header, and
2089         content type.
2090         (http_loop): Escape error message from server.
2091
2092         * host.c (lookup_host): Escape host name when printing it.
2093
2094         * ftp.c (getftp): Escape user name when printing it.
2095         (getftp): Escape remote file and directory for printing.
2096         (getftp): Escape server listing when printing it.
2097         (ftp_retrieve_list): Escape link name and file name.
2098         (ftp_retrieve_glob): Escape file name.
2099
2100         * ftp-basic.c (ftp_response): Escape server response when printing
2101         it.
2102
2103         * cookies.c (parse_set_cookies): Escape the cookie field when
2104         printing it.
2105         (parse_set_cookies): Escape contents of remote header.
2106         (cookie_handle_set_cookie): Escape host name and cookie domain.
2107
2108         * connect.c (connect_to_ip): Escape the host name.
2109
2110         * log.c (escnonprint): New function, used for printing strings
2111         coming from the server that possibly contain non-ASCII characters.
2112         (escnonprint_uri): Ditto.
2113
2114 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
2115
2116         * ftp.c (getftp): Ditto.
2117
2118         * http.c (gethttp): When we're not supposed to overwrite files,
2119         use fopen_excl to open the file and recompute the file name.
2120
2121         * log.c (redirect_output): Use unique_create to avoid a race
2122         condition.
2123
2124         * mswindows.c (fake_fork_child): Use unique_create.
2125
2126         * utils.c (fopen_excl): New function that opens a stdio stream
2127         with the O_EXCL flag (where available).
2128         (unique_create): New function, like unique_name, but also creating
2129         the file and returning a file pointer.
2130         (fork_to_background): Use unique_create to create the file
2131         immediately to avoid race condition with multiple instances of
2132         wget -b.
2133
2134 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
2135
2136         * host.c (lookup_host): Test for AI_ADDRCONFIG directly, instead
2137         of checking for HAVE_GETADDRINFO_AI_ADDRCONFIG.
2138
2139 2005-02-23  Hrvoje Niksic  <hniksic@xemacs.org>
2140
2141         * host.c (is_valid_ipv6_address): Move here from url.c.
2142         (lookup_host): If the address is numeric, don't print the
2143         "resolving..." line, don't set up DNS timeouts, and set the
2144         AI_NUMERICHOST hint, where available.
2145
2146 2005-02-26  Gisle Vanem  <giva@bgnett.no>
2147
2148         * utils.c: Use the nnnLL syntax under GCC.  Define struct_stat to
2149         struct _stati64 under __MINGW32__ as well as under MS VC.
2150
2151 2005-02-26  Hrvoje Niksic  <hniksic@xemacs.org>
2152
2153         * utils.c: Use the nnnI64 syntax for __int64 constants under all
2154         Windows compilers.
2155         (SPRINTF_WGINT): Use "%I64" under all Windows compilers.
2156
2157         * mswindows.h (WGINT_MAX): Use the nnnI64 syntax for
2158         __int64 constants under all Windows compilers.
2159         (struct_stat): Use `struct stati64' under Borland C.
2160         (fstat): Don't redefine to _fstati64 under Borland.
2161
2162         * mswindows.c: Define str_to_int64 under Borland C as well as
2163         under (older) Visual C.
2164
2165 2005-02-25  Hrvoje Niksic  <hniksic@xemacs.org>
2166
2167         * ftp.c (getftp): Initialize err to suppress compiler warning.
2168
2169 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
2170
2171         * ftp.c (ftp_expected_bytes): Fix bug that caused infloop because
2172         of not correctly skipping the '(' character.
2173
2174 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
2175
2176         * mswindows.c (wget_ftello): Removed.
2177
2178         * mswindows.h: Remove bogus definition of stat.
2179         (wget_ftello): Remove the leftover ftello replacement.
2180
2181 2005-02-20  Hrvoje Niksic  <hniksic@xemacs.org>
2182
2183         * mswindows.c (wget_ftello): Wget's replacement for ftello.
2184
2185         * utils.c (file_size): Use ftello where available.
2186
2187         * ftp-ls.c (ftp_parse_unix_ls): Use str_to_wgint to parse the file
2188         size.
2189         (ftp_parse_winnt_ls): Ditto.
2190
2191         * ftp-basic.c (ftp_size): Use str_to_wgint to convert number to
2192         wgint; pass 10 instead of 0 as the BASE argument.
2193
2194         * ftp.c (ftp_expected_bytes): Use str_to_wgint to parse the file
2195         size.
2196
2197         * sysdep.h (LARGE_INT_FMT): Use __int64 as LARGE_INT on
2198         MSVC/Windows; print it with "%I64".
2199
2200         * wget.h: Define a `wgint' type, normally aliased to (the possibly
2201         64-bit variant of) off_t.
2202
2203         * all: Use `wgint' instead of `long' for numeric variables that
2204         can hold file sizes.
2205
2206         * utils.c (number_to_string): Support printing of `wgint'
2207         argument.
2208         (number_to_static_string): New function.
2209
2210         * all: Replace printf("%ld", long_value) with printf("%s",
2211         number_to_static_string(wgint_value)).
2212
2213 2005-02-18  Mauro Tortonesi <mauro@ferrara.linux.it>
2214
2215         * main.c: Added the --ftp-passwd command line option.
2216
2217         * init.c: Renamed command passwd to ftppasswd.
2218
2219 2005-02-11  Mauro Tortonesi <mauro@ferrara.linux.it>
2220
2221         * string_t.c: Fixed a bug in do_escape and triggered escape of
2222         backslashes in string_escape to avoid ambiguities in the result
2223         string.
2224
2225 2005-02-10  Mauro Tortonesi <mauro@ferrara.linux.it>
2226
2227         * string.h: Renamed to string_t.h to fix a compilation conflict
2228         with the string.h header in the standard C library.
2229
2230         * string.c: Renamed to string_t.c for consistency with string.h.
2231
2232         * string_t.c: Ditto.
2233
2234         * string_t.h: Ditto.
2235
2236 2004-12-31  Mauro Tortonesi <mauro@ferrara.linux.it>
2237
2238         * string.c: New file.
2239
2240         * string.h: New file.
2241
2242         * Makefile.in: Added string.c to the list of modules to compile.
2243
2244         * main.c: Updated copyright.
2245
2246 2004-11-18  Ulf Harnhammar <ulf.harnhammar.9485@student.uu.se>
2247
2248         * ftp-ls.c: Fixed a problem in ftp_parse_winnt_ls that could allow a
2249         malicious remote FTP server to crash wget.
2250
2251 2004-11-18  Hans-Andreas Engel <engel@node.ch>
2252
2253         * http.c: Enable --convert-links (-k) when a single page is downloaded
2254         via --output-document (-O).
2255
2256 2004-11-18  Mauro Tortonesi <mauro@deepspace6.net>
2257
2258         * connect.c: Minor correction to the comment in front of fd_peek.
2259
2260 2004-11-18  Leonid Petrov <nouser@lpetrov.net>
2261
2262         * retr.c: Fix a timeout problem in fd_read_body when using http_proxy.
2263
2264 2004-11-15  YAMAZAKI Makoto <Yamazaki.Makoto@fujixerox.co.jp>
2265
2266         * netrc.c: Fix termination by assertion bug in netrc parsing.
2267
2268 2004-05-09  David Fritz  <zeroxdf@att.net>
2269
2270         * mswindows.c (fake_fork): Pass entire command line to the child
2271         process.
2272
2273 2004-03-31  Hrvoje Niksic  <hniksic@xemacs.org>
2274
2275         * http.c (gethttp): Fix typo: SCHEME_SSL -> SCHEME_HTTPS.
2276
2277 2004-03-30  Hrvoje Niksic  <hniksic@xemacs.org>
2278
2279         * http.c (gethttp): Send the Proxy-Authorization header over
2280         non-SSL connections too.
2281
2282 2004-03-25  David Fritz  <zeroxdf@att.net>
2283
2284         * mswindows.c (fake_fork_child): Ignore error code when
2285         OpenFileMapping() fails; assume it failed because the object does
2286         not exist.
2287
2288 2004-03-24  David Fritz  <zeroxdf@att.net>
2289
2290         * mswindows.c (fake_fork): New function.
2291
2292         * mswindows.c (fork_to_background): Use it.
2293
2294 2004-03-19  David Fritz  <zeroxdf@att.net>
2295
2296         * mswindows.c (ws_hangup): Incorporate old fork_to_background()
2297         code.  Add event name argument.
2298         (fork_to_backgorund): Now a simple wrapper around ws_hangup().
2299         (ws_handler): Correctly handle the case when neither CTRLC_BACKGND
2300         nor CTRLBREAK_BACKGND are defined.  Don't bother handling close,
2301         logoff, or shutdown events.  Call ws_hangup() with the correct
2302         event name; don't assume it was CTRL+Break.
2303
2304 2004-03-19  Hrvoje Niksic  <hniksic@xemacs.org>
2305
2306         * url.c (url_parse): Decode %HH sequences in host name.
2307
2308 2004-03-04  Hrvoje Niksic  <hniksic@xemacs.org>
2309
2310         * convert.c (local_quote_string): Quote "#" as "%23" and "%" as
2311         "%25" when creating links to local files.
2312
2313 2004-03-02  David Fritz  <zeroxdf@att.net>
2314
2315         * mswindows.c (ws_percenttitle): Guard against future changes by
2316         doing nothing if the proper variables have not been initialized.
2317         Clamp percentage value.
2318
2319 2004-03-04  Gisle Vanem  <giva@bgnett.no>
2320
2321         * retr.c (fd_read_body): Don't change console title if quiet.
2322
2323 2004-02-25  David Fritz  <zeroxdf@att.net>
2324
2325         * mswindows.c (set_sleep_mode): Remove argument and return value.
2326         Call GetModuleHandle() instead of LoadLibrary()/FreeLibrary() for
2327         kernel32.dll.  Use typedef for function-pointer.  Don't cast
2328         l-value.  Don't use dereference operator when calling through
2329         function-pointer.
2330         (ws_startup): Update call to set_sleep_mode().
2331         (ws_cleanup): Remove call to set_sleep_mode().
2332
2333 2004-02-23  David Fritz  <zeroxdf@att.net>
2334
2335         * http.c (http_loop): Ditto.
2336
2337         * ftp.c (ftp_loop_internal): Update call to ws_changetitle().
2338
2339         * main.c (main): Don't bother calling ws_changetitle().
2340
2341         * mswindows.h (ws_changetitle): Update prototype.
2342
2343         * mswindows.c (ws_changetitle): Remove second argument.  Use
2344         xfree_null().
2345         (ws_percenttitle): Only update title when percentage has changed.
2346
2347 2004-02-23  David Fritz  <zeroxdf@att.net>
2348
2349         * mswindows.h: Ditto.
2350
2351         * mswindows.c: Misc. formatting/comment tweaks throughout.
2352
2353 2004-02-20  David Fritz  <zeroxdf@att.net>
2354
2355         * main.c (print_help): Remove call to ws_help().
2356
2357         * mswindows.c (ws_help): Remove.
2358
2359         * mswindows.h (ws_help): Remove.
2360
2361 2004-02-16  David Fritz  <zeroxdf@att.net>
2362
2363         * init.c (home_dir): Use aprintf() instead of xmalloc()/sprintf().
2364         Under Windows, if $HOME is not defined, use the directory that
2365         contains the Wget binary instead of hard-coded `C:\'.
2366         (wgetrc_file_name): Under Windows, look for $HOME/.wgetrc then, if
2367         not found, look for wget.ini in the directory of the Wget binary.
2368
2369         * mswindows.c (ws_mypath): Employ slightly more robust methodology.
2370         Strip trailing path separator.
2371
2372 2004-02-06  Hrvoje Niksic  <hniksic@xemacs.org>
2373
2374         * http.c (gethttp): Respect --ignore-length.
2375         (gethttp): Inhibit keep-alive if --ignore-length is specified.
2376
2377 2004-02-06  Hrvoje Niksic  <hniksic@xemacs.org>
2378
2379         * connect.c (sockaddr_set_data): Zero out
2380         sockaddr_in/sockaddr_in6.  Apparently BSD-derived stacks need this
2381         when binding a socket to local address.
2382
2383 2004-02-04  Hrvoje Niksic  <hniksic@xemacs.org>
2384
2385         * hash.c: Make the file compilable outside Wget source tree when
2386         -DSTANDALONE is used.
2387
2388 2004-01-29  Hrvoje Niksic  <hniksic@xemacs.org>
2389
2390         * utils.c (determine_screen_width): Return 0 if not running on
2391         Windows or on a TIOCGWINSZ-capable system.
2392
2393 2004-01-28  David Fritz  <zeroxdf@att.net>
2394
2395         * utils.c (determine_screen_width): Correctly determine console
2396         width under Windows.
2397
2398 2004-01-28  Christian Biere  <christianbiere@gmx.de>
2399
2400         * progress.c (bar_set_params): Fixed syntax error when HAVE_ISATTY
2401         was undefined.
2402
2403         * ftp.c (ftp_loop_internal): Allocate a larger buffer in case
2404         "try" gets translated to something large.  Ditto in http_loop in
2405         http.c.
2406
2407         * http.c (response_header_copy): Don't write to buf[BUFSIZE].
2408
2409         * ftp-opie.c (skey_response): Eliminate unnecessary string
2410         concatenation; just call gen_md5_update twice.
2411
2412 2004-01-25  Hrvoje Niksic  <hniksic@xemacs.org>
2413
2414         * utils.c (xsleep): Don't call usleep with values larger than
2415         1,000,000.
2416
2417 2003-12-16  Hrvoje Niksic  <hniksic@xemacs.org>
2418
2419         * http.c (gethttp): Fix generation of `Content-Length'.
2420
2421 2003-12-15  Gisle Vanem  <giva@bgnett.no>
2422
2423         * url.c (url_skip_credentials): Fixed return value; 'url' if no
2424         credentials.
2425
2426 2003-12-14  Hrvoje Niksic  <hniksic@xemacs.org>
2427
2428         * url.c (url_skip_credentials): Return a pointer directly.
2429
2430 2003-12-14  Hrvoje Niksic  <hniksic@xemacs.org>
2431
2432         * url.c (url_file_name): Ditto.
2433         (parse_errors): Ditto.
2434
2435         * retr.c (retr_rate): Ditto.
2436
2437         * progress.c (create_image): Ditto.
2438
2439         * netrc.c (parse_netrc): Ditto.
2440
2441         * main.c (struct cmdline_option): Ditto.
2442         (redirect_output_signal): Ditto.
2443
2444         * init.c (commands): Ditto.
2445
2446         * ftp-ls.c (ftp_index): Ditto.
2447
2448         * cookies.c (check_domain_match): Declare the pointer to a literal
2449         string as `const'.
2450
2451 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
2452
2453         * retr.c (fd_read_body): Pass total size to progress_create, not
2454         the remaining amount.
2455
2456 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
2457
2458         * retr.c (fd_read_body): Don't fiddle with "interactive timeout"
2459         if read timeout is unset.
2460
2461 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
2462
2463         * connect.c (bind_local): Don't set the IPV6_V6ONLY option on the
2464         socket.
2465
2466 2003-12-06  Hrvoje Niksic  <hniksic@xemacs.org>
2467
2468         * url.c (url_file_name): Respect the setting of
2469         opt.protocol_directories.
2470
2471         * main.c (main): Only check for ret=='?' when longindex is unset.
2472         (option_data): New option --protocol-directories.
2473
2474 2003-12-06  Hrvoje Niksic  <hniksic@xemacs.org>
2475
2476         * ftp.c (getftp): Ditto.
2477
2478         * http.c (gethttp): Correctly calculate bandwidth as total data
2479         read divided with download time.
2480
2481         * retr.c (fd_read_body): Separate the return values for data
2482         written and read.
2483
2484 2003-12-05  Hrvoje Niksic  <hniksic@xemacs.org>
2485
2486         * http.c (H_REDIRECTED): Respect the HTTP/1.1 "303 See Other"
2487         response code.
2488         Suggested by Dan Razzell.
2489
2490 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
2491
2492         * retr.c (fd_read_body): Report the amount of data *written* as
2493         amount_read.  This is not entirely logical, but that's what the
2494         callers expect, and it's not easy to change.
2495
2496         * ftp.c (ftp_loop_internal): Ditto.
2497
2498         * http.c (http_loop): Be smarter about assigning restval; if we're
2499         in the nth pass of a download, simply use the information we have
2500         about how much data has been retrieved as restval.
2501
2502         * ftp.c (getftp): Ditto for FTP "REST" command.
2503
2504         * http.c (gethttp): When the server doesn't respect range, skip
2505         the first RESTVAL bytes of the read body.  Never truncate the
2506         output file.
2507
2508         * retr.c (fd_read_body): Support skipping initial STARTPOS octets.
2509
2510 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
2511
2512         * http.c (skip_short_body): Renamed skip_body to skip_short_body;
2513         don't bother calling fd_read_body.
2514
2515 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
2516
2517         * retr.c (fd_read_body): Sanitize arguments and document them
2518         better.  Make sure the timer is created and updated only if
2519         necessary.  Updated callers.
2520
2521 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
2522
2523         * http.c (skip_body): New function.
2524         (gethttp): Use it to skip the body of the responses we don't care
2525         to download.  That allows us to reuse the connection.
2526         (gethttp): Trust that the HEAD requests will not generate body
2527         data.
2528
2529         * retr.c (fd_read_body): Don't write to OUT if it's NULL.
2530
2531 2003-11-29  Hrvoje Niksic  <hniksic@xemacs.org>
2532
2533         * http.c (gethttp): Initialize SSL only the first time when SSL
2534         URL is downloaded.
2535
2536 2003-11-29  Hrvoje Niksic  <hniksic@xemacs.org>
2537
2538         * cookies.c (cookie_header): Only generate the contents of the
2539         header, not the leading "Cookie: " or the trailing "\r\n".
2540
2541         * http.c (gethttp): When adding headers specified with `--header',
2542         allow them to override the headers generated by Wget.
2543
2544         * init.c (cmd_spec_header): Made opt.user_headers a vector.
2545
2546         * http.c (request_new): New function.  Returns a request structure
2547         which can be modified in various ways, most notably by adding HTTP
2548         headers to the request.
2549         (request_set_header): New function for adding the header to the
2550         request.  If the header is already available, it gets replaced.
2551         (request_send): Construct and send the request.
2552         (gethttp): Use the request_* functions to generate the request.
2553
2554 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
2555
2556         * http.c (gethttp): Don't include the Proxy-Authorization header
2557         in the request tunneled through proxy.
2558
2559 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
2560
2561         * http.c (gethttp): Use the CONNECT handle to establish SSL
2562         passthrough through non-SSL proxies.
2563
2564 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
2565
2566         * init.c: Don't #include netinet/Winsock stuff.
2567
2568 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
2569
2570         * http.c: Deleted the old functions header_process,
2571         header_extract_number, header_exists, header_strdup,
2572         http_process_range, http_process_none, http_process_type, and
2573         http_process_connection.
2574
2575         * http.c (response_new): New function.
2576         (response_header_bounds): Ditto.
2577         (response_header_copy): Ditto.
2578         (response_header_strdup): Ditto.
2579         (response_status): Ditto.
2580         (gethttp): Use the new response_* functions to parse the response.
2581         Support HTTP/0.9 responses.
2582
2583 2003-11-27  Hrvoje Niksic  <hniksic@xemacs.org>
2584
2585         * progress.c (create_image): Don't calculate ETA if nothing has
2586         been downloaded yet, because it causes division by zero.
2587
2588 2003-11-27  Hrvoje Niksic  <hniksic@xemacs.org>
2589
2590         * connect.c (bind_local): Rename sa_len to addrlen because IRIX
2591         headers define sa_len as a macro.
2592
2593 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
2594
2595         * html-parse.c (convert_and_copy): Remove embedded newlines when
2596         AP_TRIM_BLANKS is specified.
2597
2598 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
2599
2600         * ftp.c: Set con->csock to -1 where rbuf_uninitialize was
2601         previously used.
2602
2603 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
2604
2605         * Makefile.in (http$o): Added the trailing backslash that was
2606         missing.
2607
2608 2003-11-21  Hrvoje Niksic  <hniksic@xemacs.org>
2609
2610         * headers.c: Removed.  The file is no longer relevant, now that no
2611         special handling of headers is done by the rbuf code.  Moved
2612         portions to http.c.
2613
2614 2003-11-21  Hrvoje Niksic  <hniksic@xemacs.org>
2615
2616         * rbuf.c: Removed.
2617
2618         * ftp-basic.c (ftp_response): Use fd_read_line.  No longer use
2619         struct rbuf.  Updated all callers.
2620
2621         * http.c (gethttp): Use fd_read_head to read all the headers in
2622         one go.
2623         (next_header): New function.
2624
2625         * retr.c (fd_read_line): New function: reads a line from FD,
2626         leaving the rest of the data unread.
2627         (fd_read_head): New function.
2628
2629         * connect.c (fd_peek): New function, implements peeking.
2630         (poll_internal): New function.
2631         (fd_read): Use it.
2632         (fd_write): Ditto.
2633         (fd_peek): Ditto.
2634         (fd_register_transport): Allow registering a "peeker" callback.
2635
2636 2003-11-20  Hrvoje Niksic  <hniksic@xemacs.org>
2637
2638         * connect.c: Renamed xread/xwrite/xclose to
2639         fd_read/fd_write/fd_close.  The "x" prefix is not appropriate
2640         because the semantics have diverged from read/write/close too
2641         significantly.  Updated all callers.
2642
2643 2003-11-20  Hrvoje Niksic  <hniksic@xemacs.org>
2644
2645         * connect.c (sock_write): It's not necessary to initialize RES.
2646
2647 2003-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
2648
2649         * main.c (main): Don't reference opt.ipv4_only and opt.ipv6_only
2650         if IPv6 is disabled.
2651
2652 2003-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
2653
2654         * connect.c (socket_has_inet6): Only compile it if IPv6 is enabled
2655         and AI_ADDRCONFIG is missing.
2656
2657 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
2658
2659         * gen_sslfunc.c (ssl_init_prng): Warn the user when using a weak
2660         random seed.
2661
2662 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
2663
2664         * host.c (address_list_contains): Renamed address_list_find to
2665         address_list_contains because its result is boolean.
2666
2667 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
2668
2669         * connect.c (select_fd): Return 1 if select is not available.
2670
2671 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
2672
2673         * connect.c (connect_to_host): Don't reference address list after
2674         releasing it.
2675
2676 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
2677
2678         * main.c (print_help): Fix alignment of FTP options output.
2679
2680 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
2681
2682         * host.c (lookup_host): Check for the ability to create IPv6
2683         sockets here.
2684
2685         * init.c (defaults): Don't auto-set --inet4-only on IPv6-less
2686         systems.
2687
2688 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
2689
2690         * main.c (print_help): Fix typo in `-O' help message.  Fix docs of
2691         -Y/--proxy.  Fix docs of `--cookies' and `--glob'.  Improve docs
2692         of --convert-links.  Fix docs of SSL options.
2693
2694 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
2695
2696         * ftp-basic.c: Don't include <arpa/inet.h> and others because
2697         they're no longer needed.
2698
2699 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
2700
2701         * main.c (main): Don't allow setting of both opt.ipv4_only and
2702         opt.ipv6_only.
2703
2704         * init.c (defaults): Mark opt.ipv4_only specially when set
2705         automatically.
2706
2707 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
2708
2709         * host.c (lookup_host): Use AI_ADDRCONFIG only if the family is
2710         unspecified.  This ensures that specifying `--no-inet4' on systems
2711         where IPv6 resolves, but doesn't work behaves the same regardless
2712         of the availability of AI_ADDRCONFIG.
2713
2714 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
2715
2716         * host.c: Don't refer to the now-removed function
2717         forget_host_lookup in the documentation of lookup_host.
2718
2719 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
2720
2721         * http.c (persistent_available_p): Correctly specify the endpoint
2722         argument to socket_ip_address.
2723         (gethttp): When printing the "reusing connection to..." message,
2724         specify the host name of the reused connection, not the current
2725         host name.  That makes more sense because it provides a useful
2726         piece of information -- we know to which host we're supposed to
2727         connect anyway!
2728
2729 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
2730
2731         * init.c: Make sure the options are in alphabetic order!
2732
2733         * host.c (lookup_host): Merge lookup_host_passive and lookup_host
2734         after all -- having both would result in some code duplication.
2735         (lookup_host): Set hints.ai_family to AF_INET if ipv4_only is
2736         requested.  Likewise, set it to AF_INET6 for ipv6_only.  Specify
2737         AI_ADDRCONFIG where available.
2738         (lookup_host): New flag LH_REFRESH that specifies that a cached
2739         entry for HOST should be refreshed.
2740         (cache_query): New function.
2741         (cache_store): Ditto.
2742         (cache_remove): Ditto.
2743         (forget_host_lookup): No longer necessary, replaced with static
2744         function cache_remove.
2745
2746 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
2747
2748         * main.c: Enable -4 and -6 only if IPv6 is enabled.
2749
2750 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
2751
2752         * connect.c (register_transport): Renamed from register_extended.
2753         Explain the intended usage.
2754
2755 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
2756
2757         * url.c (uri_merge): Merging "foo" and "bar" should result in
2758         "bar", not in "foo/bar".
2759         (path_simplify): Don't remove empty path elements; don't
2760         special-case leading slash.
2761         (path_simplify): Don't swallow ".."'s at the beginning of string.
2762         E.g. simplify "foo/../../bar" as "../bar", not as "bar".
2763         (append_uri_pathel): Defang ".." path element upon encountering
2764         it.
2765
2766 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
2767
2768         * http.c (persistent_available_p): Don't attempt to talk to two
2769         different SSL sites over the same secure connection.
2770
2771 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
2772
2773         * http.c (gethttp): Ditto.
2774
2775         * ftp.c (getftp): Use retryable_socket_connect_error instead of
2776         CONNECT_ERROR.
2777
2778         * wget.h (CONNECT_ERROR): Removed.
2779
2780         * connect.c (retryable_socket_connect_error): New function instead
2781         of unsupported_socket_family_error.
2782
2783 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
2784
2785         * wget.h (CONNECT_ERROR): Use it.
2786
2787         * connect.c (unsupported_socket_family_error): New function.
2788
2789 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
2790
2791         * connect.c (bind_local): Renamed bindport to bind_local; return
2792         the socket directly.  Updated callers.
2793         (accept_connection): Renamed acceptport to accept_connection;
2794         return the created socket directly.  Updated callers.
2795
2796 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
2797
2798         * init.c (defaults): Turn on opt.ipv4_only if we're compiling with
2799         IPv6, and AI_ADDRINFO is not available, and AF_INET6 sockets can't
2800         be created.
2801
2802 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
2803
2804         * host.c (lookup_host): Document the fact that the addresses are
2805         returned in order.
2806
2807 2003-11-12  Hrvoje Niksic  <hniksic@xemacs.org>
2808
2809         * utils.c: Use limits.h only where available.
2810
2811         * hash.c: Use INVALID_PTR and INVALID_PTR_BYTE.  Include limits.h.
2812
2813 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
2814
2815         * main.c: Added options --inet4-only and --inet6-only.
2816
2817 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
2818
2819         * host.c (host_errstr): Use the more standard message "Unknown
2820         host".
2821
2822 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
2823
2824         * connect.c (connect_to_host): Use that flag to decide whether to
2825         re-resolve the host name.
2826
2827         * host.c (struct address_list): Added a flag that maintains
2828         whether the connection worked at some point.
2829
2830 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
2831
2832         * host.c (lookup_host): Special-case the numeric addresses only in
2833         the non-IPv6 case.
2834
2835 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
2836
2837         * connect.c (resolve_bind_address): Call lookup_host_passive.
2838         Make sure that opt.bind_address is resolved only once.
2839
2840         * host.c (lookup_host_passive): New function, handles "passive"
2841         lookups.
2842         (lookup_host): Remove the passive flags.  Remove the
2843         family-related flags -- use ip_default_family instead.
2844
2845 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
2846
2847         * html-url.c: Get URLs from <object data="...">.
2848
2849 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
2850
2851         * main.c (option_data): Specify the command to use for --mirror.
2852
2853 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2854
2855         * cookies.c (cookie_handle_set_cookie): Specify exact match for
2856         unspecified domains.
2857
2858 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2859
2860         * main.c (main): Removed one-letter options `-C', `-g', `-G', and
2861         `-s'.
2862
2863 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2864
2865         * main.c (main): Add --dont-remove-listing for backward
2866         compatibility with previous versions.
2867         (print_help): Fix typo, spotted by Dennis Smit.
2868
2869 2003-11-08  Gisle Vanem  <giva@bgnett.no>
2870
2871         * ftp-basic.c: Support Windows-2000 ftp servers. Win-2000 *is*
2872         Win-NT 5.0 so calling it ST_WINNT is okay I guess.
2873
2874 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2875
2876         * progress.c (update_speed_ring): Clear the speed ring when the
2877         download stalls.
2878
2879         * retr.c (get_contents): Specify 0.95s read timeout, so that the
2880         progress gauge can be updated even when data arrives very slowly
2881         or stalls.
2882
2883 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2884
2885         * utils.c (wtimer_allocate): Bless the use of wtimer_read on a
2886         timer that has merely been allocated because get_contents() does
2887         that.
2888         (wtimer_update): Abort if the timer is not initialized.
2889
2890 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2891
2892         * retr.c (get_contents): Pass the timer to limit_bandwidth().
2893
2894         * utils.c (wtimer_update): New function instead of wget_elapsed;
2895         just update the timer, but don't return anything.
2896         (wtimer_read): Read and return the last known value of the timer.
2897
2898 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2899
2900         * http.c (persistent_available_p): Instead of matching all the
2901         addresses of HOST and last host, determine the peer's IP address
2902         with socket_ip_address and see if that address is one of those
2903         HOST resolves to.
2904
2905         * host.c (address_list_match_all): Removed.
2906         (address_list_find): New function, finds an IP address in the
2907         address list.
2908
2909         * ftp.c (ftp_do_pasv): Get the peer's address here, and pass it to
2910         ftp_epsv so it doesn't need to call getpeername.
2911
2912         * ftp-basic.c (ftp_port): Use socket_ip_address instead of
2913         getpeername.
2914         (ftp_lprt): Ditto.
2915
2916         * connect.c (socket_ip_address): Replaces conaddr, generalized to
2917         either get peer's or local address.
2918         (sockaddr_get_data): Made local to this file.
2919
2920 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2921
2922         * hash.c (HASH_POSITION): Explicitly accept the hash function.
2923         (grow_hash_table): Extract ht->hash_function outside the loop.
2924         (hash_table_remove): Ditto.
2925         (hash_table_clear): Fill entries with 0xff to clear them.
2926         (hash_table_remove): Mark entries as deleted with the correct
2927         marker.
2928
2929 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2930
2931         * http.c (persistent_available_p): No reason for the host lookup
2932         to be silent -- it's a lookup like any other.
2933
2934 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2935
2936         * connect.c (register_extended): Check that fd >= 0.
2937
2938 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
2939
2940         * connect.c (LAZY_RETRIEVE_INFO): Set LAST_INFO.
2941
2942 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
2943
2944         * hash.c (NON_EMPTY): Use the all-bit-set value as the marker that
2945         the field is empty.  This allows NULL pointer and 0 value to be
2946         used as keys, which is necessary for the connect.c code to work
2947         when fd==0.
2948         (hash_table_new): Fill mappings with 0xff.
2949         (grow_hash_table): Ditto.
2950
2951 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
2952
2953         * url.c (url_parse): Allow empty ports.
2954
2955 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
2956
2957         * main.c (print_help): Break the help string into multiple chunks.
2958         (cmdline_option): New option handler OPT_FUNCALL.  Generalized
2959         HANDLE_CMD to generic DATA.
2960         (option_data): Use the new OPT_FUNCALL feature.
2961
2962 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
2963
2964         * log.h: Declare log_init, log_close, and
2965         log_request_redirect_output here.
2966
2967 2003-11-05  Dennis Smit  <ds@nerds-incorporated.org>
2968
2969         * main.c: (main): added --preserve-permissions option.
2970
2971         * ftp.c (ftp_retrieve_list): added support for
2972         --preserve-permissions option.
2973
2974         * init.c: added support for --preserve-permission option.
2975
2976         * option.h: added support for --preserve-permission option.
2977
2978 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
2979
2980         * main.c (init_switches): New function.  Convert option_data to
2981         long_options and short_options, which can be fed to getopt_long.
2982         (main): Execute command-line options by consulting option_data.
2983
2984 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
2985
2986         * gen_sslfunc.c (ssl_read): Implement a more correct check for
2987         EINTR.
2988         (ssl_write): Ditto.
2989         (init_ssl): Use a global SSL context.
2990
2991 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
2992
2993         * connect.c (xclose): Free INFO even if it doesn't provide a
2994         closer.
2995
2996 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
2997
2998         * connect.c: Updated all callers of
2999         iread/ssl_iread/iwrite/ssl_iwrite to use xread and xwrite instead.
3000
3001         * rbuf.h (struct rbuf): Removed the SSL member because SSL is
3002         handled automatically by xread.
3003
3004         * hash.c (ptrhash): Made private.
3005         (ptrcmp): Ditto.
3006         (inthash): Removed.
3007
3008         * connect.c (select_fd): Don't set errno, leave it to the caller.
3009
3010         * gen_sslfunc.c (connect_ssl): Use register_extended to register
3011         SSL callbacks for communication with SSL-enabled endpoints.
3012         (ssl_read): New function.
3013         (ssl_write): Ditto.
3014         (ssl_poll): Ditto.
3015         (ssl_close): Ditto.
3016
3017         * connect.c (register_extended): New function -- register
3018         callbacks for basic socket operations.
3019         (xread): Ditto.
3020         (xwrite): Ditto.
3021         (xclose): Ditto.
3022         (sock_read): New function, default implementation for reading.
3023         (sock_write): Ditto for writing.
3024         (sock_poll): Ditto for polling.
3025         (sock_close): Ditto for closing.
3026
3027 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
3028
3029         * connect.c (bindport): Fix compilation under pre-C99 compilers.
3030
3031 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
3032
3033         * connect.c (connect_to_ip): More compact error checking.
3034         (bindport): Don't treat failed setsockopt as a fatal error.
3035
3036 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
3037
3038         * connect.c (resolve_bind_address): Use a more accurate error
3039         message -- we're not binding to ANY, we're disabling bind
3040         altogether.
3041
3042 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
3043
3044         * cookies.c (save_cookies_mapper): Respect the setting of
3045         keep-session-cookies.
3046         (cookie_jar_load): Import session cookies.
3047         Based on code submitted by Nicolas Schodet.
3048
3049         * utils.c (datetime_str): Use information in TM when it's
3050         non-NULL.
3051
3052         * main.c (main): New option `--keep-session-cookies'.
3053
3054 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
3055
3056         * Makefile.in (realclean): Delete config.h.in.
3057
3058 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
3059
3060         * config-post.h: New file, included from now autogenerated
3061         config.h.in.
3062
3063 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
3064
3065         * progress.c (progress_handle_sigwinch): Don't call
3066         determine_screen_width() from the signal handler.  Instead, just
3067         set a volatile variable.
3068         (bar_create): Check whether SIGWINCH was received.
3069         (bar_update): Ditto.
3070
3071         * sysdep.h: Define SYSTEM_FNMATCH only if HAVE_FNMATCH_H is true.
3072
3073 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
3074
3075         * utils.c (xsleep): New function.  Uses nanosleep where available,
3076         resuming sleeps interrupted by signals.  Updated callers of sleep
3077         and usleep to use xsleep.
3078
3079 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
3080
3081         * ftp-basic.c (ftp_login): Remove shadowing (and bogus)
3082         declaration of SEED.
3083
3084 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
3085
3086         * log.c (logvprintf): Documented better.  Renamed to
3087         log_vprintf_internal to avoid confusion with the public API
3088         functions logprintf and logputs.
3089
3090 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
3091
3092         * wget.h (N_): Don't parenthesize argument.
3093
3094 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
3095
3096         * host.h (ADDRESS_IPV4_DATA): Don't take the address of in.s_addr
3097         because that doesn't work on machines that define it as bitfield.
3098
3099 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
3100
3101         * connect.c (select_fd): Generalize the third argument into WAIT,
3102         so that the caller can request waiting for both read and write.
3103         Updated callers.
3104
3105 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
3106
3107         * html-url.c (cleanup_html_url): Destroy the hash tables, don't
3108         just call free on them.
3109         (init_interesting): Use hash_table_put instead of string_set_add
3110         because we don't need the strdup that the latter function
3111         performs.
3112
3113         * init.c (cleanup): Don't pass NULL to cookie_jar_delete.
3114
3115         * xmalloc.c (xfree_real): Abort when passed a NULL pointer.
3116         (xfree_debug): Print at the file and line of the offending call to
3117         free.
3118
3119 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
3120
3121         * wget.h: Retired the `boolean' type.  Moved the DEFAULT_LOGFILE
3122         define to log.h.  Moved the INFINITE_RECURSION define to recur.h.
3123
3124         * xmalloc.h: Renamed FREE_MAYBE to xfree_null and moved the
3125         definition from wget.h to xmalloc.h.
3126
3127 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
3128
3129         * html-parse.c (decode_entity): New function; split the decoding
3130         of entities here.
3131         (convert_and_copy): Use it to decode entities.
3132         (decode_entity): Handle the &apos entity.
3133         (decode_entity): Don't decode Latin 1 numeric entities.  Don't
3134         decode &#0.
3135
3136 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
3137
3138         * ftp-opie.c (calculate_skey_response): Use uint32_t instead of
3139         `unsigned long' for the cheksum array.  Document the function.
3140
3141 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
3142
3143         * connect.c (acceptport): Don't call select_fd when timeout is not
3144         requested.
3145
3146 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
3147
3148         * host.c: Removed the ip_default_family global variable.
3149
3150         * host.c (lookup_host): Document the function.  Fixed declaration
3151         of VEC.
3152
3153 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
3154
3155         * various: Use new macros xnew, xnew0, xnew_array, and xnew0_array
3156         in various places.
3157
3158 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
3159
3160         * wget.h: Move declarations of malloc and logging code to
3161         xmalloc.h and log.h respectively to unclutter this file.
3162         (STRDUP_ALLOCA): Made it side-effect free.
3163
3164         * xmalloc.h: New files.  Define macros xnew, xnew0, xnew_array,
3165         and xnew0_array.
3166
3167         * xmalloc.c: New file.  Move the xmalloc routines here.
3168
3169 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
3170
3171         * connect.c (sockaddr_set_data): Remove the broken code that
3172         checked for NULL address.
3173
3174 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
3175
3176         * host.c (address_list_from_single): Removed.
3177         (address_list_from_ipv4_addresses): Renamed from
3178         address_list_from_vector.
3179
3180 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
3181
3182         * sysdep.h (CLOSE): Don't call close on file descriptors less than
3183         0, i.e. on uncreated sockets.
3184
3185         * connect.c (resolve_bind_address): Work on struct sockaddr
3186         directly.
3187         (connect_to_host): Replacement for connect_to_many.  Resolve HOST
3188         and connect to any of its addresses.  If we can't connect and the
3189         host name lookup was cached, try to resolve it again.  This should
3190         fix problems with hosts behind dynamic DNS.  Updated all callers.
3191         (connect_to_ip): Replacement for connect_to_one.  Removed SILENT;
3192         added the argument PRINT instead.  Updated all callers.
3193         (set_connection_host_name): Removed.
3194
3195         * host.c (address_list_address_at): New function instead of
3196         address_list_copy_one. It returns a pointer to ip_address *, so
3197         it's not necessary to copy the data.
3198         (address_list_cached_p): New function.
3199         (forget_host_lookup): Ditto.
3200
3201         * connect.c: Got rid of the MSOCK global variable.  Made bindport
3202         return the local socket it creates.  Added a new argument to
3203         acceptport, the socket to call accept on.  Updated callers.
3204         (closeport): Removed.
3205
3206         * connect.c: Moved the sockaddr code from host.c to this file,
3207         because most of that stuff is used for connecting, and has nothing
3208         to do with host names anyway.
3209         (sockaddr_set_data, sockaddr_get_data): New functions, replace the
3210         old sockaddr_set_address, sockaddr_set_port, sockaddr_get_address,
3211         and sockaddr_get_port.
3212
3213 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
3214
3215         * sysdep.h: Use `S >= 8' rather than `S == 8' when looking for
3216         large integers.
3217
3218 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
3219
3220         * url.c (append_uri_pathel): New argument ESCAPED_P that says
3221         whether [B, E) is to be treated as URL-escaped or not.  If
3222         ESCAPED_P is false, don't unescape the region.
3223         (url_file_name): u->file is not URL-escaped.
3224
3225 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
3226
3227         * retr.c (retrieve_from_file): Use retrieve_tree for
3228         page-requisites.
3229
3230         * main.c (main): Don't define opt.recursive when -p is used.
3231         Instead, make sure that recursion is used for HTTP in that case.
3232
3233 2003-10-29  Hrvoje Niksic  <hniksic@xemacs.org>
3234
3235         * host.h: Defined accessors for elements of ip_address.  Updated
3236         all callers.
3237         (address_list_match_all): Use memcmp in the non-IPv6 case.
3238
3239         * wget.h (CONNECT_ERROR): Don't retry connecting if connect()
3240         returned EAFNOSUPPORT.
3241
3242 2003-10-27  Mauro Tortonesi <mauro@deepspace6.net>
3243
3244         * connect.h: changed bindport prototype and added the related
3245         BIND_ON_IPV4_ONLY and BIND_ON_IPV6_ONLY flags.
3246
3247         * connect.c: changed bindport and resolve_bind_address to allow
3248         protocol-version specific DNS resolution. modified conaddr,
3249         acceptport and connect_to_one to make use of struct
3250         sockaddr_storage and of the new ip_address structure.
3251
3252         * ftp-basic.c: added LPRT/LPSV (RFC1639) support, refactored
3253         PORT/PASV (RFC959) and EPRT/EPSV (RFC2428) support code.
3254
3255         * ftp.c: added the ftp_do_port and ftp_do_pasv functions to
3256         handle FTP over IPv6.
3257
3258         * ftp.h: changed prototype of ftp_epsv and added prototypes for
3259         ftp_lpsv, ftp_lprt and ftp_eprt.
3260
3261         * host.c: renamed the
3262         wget_sockaddr_set_address and wget_sockaddr_get_addr, and
3263         wget_sockaddr_{s,g}et_port couples to sockaddr_{s,g}et_address and
3264         sockaddr_{g,s}et_port respectively.  changed
3265         address_list_match_all, address_list_from_addrinfo sockaddr_len,
3266         pretty_print_address, lookup_host, sockaddr_{s,g}et_address and
3267         sockaddr_{g,s}et_port to make use of struct sockaddr_storage and
3268         of the new ip_address structure.  removed map_ipv4_to_ip and
3269         map_ip_to_ipv4.
3270
3271         * host.h: redefined structure ip_address and removed structure
3272         wget_sockaddr.
3273
3274 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
3275
3276         * sysdep.h: Include inttypes.h where available.
3277
3278         * host.c: Switch from u_int32_t to uint32_t.
3279
3280 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
3281
3282         * netrc.c (parse_netrc): Reset the QUOTE flag after the closing
3283         quote.
3284
3285 2003-10-25  Hrvoje Niksic  <hniksic@xemacs.org>
3286
3287         * url.c (is_valid_ipv6_address): Reformat to GNU coding style.
3288         Use enums for NS_IN* constants.  Use ISXDIGIT.
3289
3290         * convert.c (construct_relative): Document better how the function
3291         works.
3292
3293 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
3294
3295         * config.h.in: Deploy preprocessor magic to avoid Ultrix's
3296         <netdb.h> include <bitypes.h> which defines its own u_int32_t.
3297         Reported by Bernhard Simon.
3298
3299 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
3300
3301         * version.c: Bump version.
3302
3303 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
3304
3305         * url.c: Ditto.
3306
3307         * html-parse.c (advance_declaration): Don't use trailing comma in
3308         enum because older compilers don't support it.
3309
3310         * utils.c: Don't redefine HAVE_SIGSETJMP.
3311
3312 2003-10-16  Hrvoje Niksic  <hniksic@xemacs.org>
3313
3314         * convert.c (construct_relative): Don't handle absolute files
3315         specially -- for example, -P/tmp/foo shouldn't imply that
3316         converted files must refer to "/tmp/foo/..."!
3317
3318 2003-10-15  Hrvoje Niksic  <hniksic@xemacs.org>
3319
3320         * http.c: Consider status 307 a valid redirect.
3321
3322 2003-10-15  Philip Stadermann  <philip.stadermann@credativ.de>
3323
3324         * ftp.c (ftp_retrieve_glob): Correctly loop through the list whose
3325         elements might have been deleted.
3326
3327 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
3328
3329         * html-url.c (tag_handle_meta): Set the Refresh link to expect
3330         HTML.
3331         (append_one_url): Renamed to append_url.
3332
3333 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
3334
3335         * sysdep.h: Only define u_int32_t.
3336
3337 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
3338
3339         * utils.c (large_int_to_string): Use snprintf() to print the
3340         number.  This will work even on systems where libc doesn't
3341         understand %lld, but the compiler does, because it will use our
3342         snprintf replacement.
3343
3344         * init.c (parse_bytes_helper): New function.
3345         (cmd_bytes): Use it to parse bytes, but cast the result to long.
3346         (cmd_bytes_large): Ditto, but store the result to LARGE_INT.  Used
3347         for --quota so that --quota=10G works even on machines without
3348         long long.
3349
3350         * options.h (struct options): Declare quota as LARGE_INT.
3351
3352         * retr.c (downloaded_exceeds_quota): Removed.
3353         (downloaded_increase): Ditto.
3354         (total_downloaded_bytes): New variable, replaces opt.downloaded,
3355         which was the wrong place for it anyway.  Updated callers of
3356         downloaded_exceeds_quota and downloaded_increase to check this
3357         variable directly.
3358
3359         * sysdep.h: Get rid of VERY_LONG_TYPE.  Use LARGE_INT for the same
3360         purpose, defined as `long', `long long' or `double', depending on
3361         size of long and whether long long is available.
3362
3363 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
3364
3365         * sysdep.h: Also check size of short for int32_t.
3366
3367 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
3368
3369         * host.c (lookup_host): Use u_int32_t to store the result of
3370         inet_addr().  That removes the need for offset fiddling, caring
3371         about endian-ness, etc.
3372
3373         * sysdep.h: Define int32_t and u_int32_t if not available.
3374
3375 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
3376
3377         * ftp-basic.c (ftp_epsv): Use socklen_t * as the third argument to
3378         getpeername.
3379
3380         * config.h.in: Define socklen_t stub.
3381
3382         * host.c (sockaddr_len): Return socklen_t.
3383
3384         * connect.c (conaddr): Use socklen_t as the third argument to
3385         accept, getsockname, and connect.
3386
3387 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
3388
3389         * recur.c (retrieve_tree): Don't descend into documents that are
3390         not expected to contain HTML, regardless of their content-type.
3391
3392         * html-url.c (tag_url_attributes): Record which attributes are
3393         supposed to yield HTML links that can be followed.
3394         (tag_find_urls): Propagate that information to the caller through
3395         struct urlpos.
3396
3397 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
3398
3399         * hash.c (find_mapping): Return the next available mapping when
3400         the key is not found, not NULL.
3401         (hash_table_put): Use find_mapping to find the storage for the new
3402         data.
3403         (hash_table_put): Grow the table before exceeding maximum
3404         fullness, not afterwards.
3405
3406 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
3407
3408         * hash.c (hash_table_new): Slightly change the meaning of the
3409         first parameter.  Instead of being the minimum initial size, it is
3410         now the minimum number of items that the hash table can take
3411         without needing to resize.
3412
3413 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
3414
3415         * html-url.c (init_interesting): Initialize interesting_tags and
3416         interesting_attributes as hash tables.  This simplifies the code
3417         immensely because hash tables handle allocation and remove
3418         duplicates automatically.
3419         (find_tag): Removed.
3420         (collect_tags_mapper): Instead of calling find_tag, simply get the
3421         entry from interesting_tags hash table, which is both simpler and
3422         faster.
3423
3424 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
3425
3426         * hash.c (hash_table_get): Declare hash-table argument as const.
3427         (find_mapping): Ditto.
3428         (hash_table_get_pair): Ditto.
3429         (hash_table_contains): Ditto.
3430         (hash_table_count): Ditto.
3431
3432 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
3433
3434         * html-url.c (get_urls_html): Parse the appropriate flags to
3435         html-parse.c.
3436
3437         * html-parse.c (map_html_tags): Accept FLAGS from the caller
3438         instead of examining OPT.
3439
3440 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
3441
3442         * html-url.c (find_tag): Switch to binary search.
3443
3444 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
3445
3446         * main.c (print_help): Fix typo; stured -> stored.
3447
3448 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
3449
3450         * getopt.c: Add definitions of getopt_long and getopt_long_only.
3451
3452 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
3453
3454         * config.h.in: Renamed DEBUG to ENABLE_DEBUG.  ENABLE_DEBUG is, I
3455         think, a better name, because it implies that debugging output is
3456         merely possible, not "on by default", as might be construed from
3457         just DEBUG.
3458
3459 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
3460
3461         * ftp.c (has_insecure_name_p): Define it here.
3462
3463         * utils.c (has_wildcards_p): Define it here.
3464
3465         * sysdep.h: Declare fnmatch-related macros here, if not using
3466         system fnmatch().  Update .c files to not declare fnmatch.h
3467         directly.
3468
3469         * cmpt.c (fnmatch): Moved here.  Use it only under non-GNU libc.
3470
3471 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
3472
3473         * getopt.c: Newer version, imported from Free libit.
3474
3475 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
3476
3477         * cookies.c (struct cookie): Remove unused backpointer to cookie
3478         jar.
3479
3480 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
3481
3482         * cmpt.c (memmove): Comment out, since it's no longer used.
3483
3484         * cookies.c (cookie_jar_generate_cookie_header): Allocate room for
3485         chains in one pass.
3486         (find_chains_of_host): Assume that the caller has allocated DEST
3487         to be sufficiently large to take all the data.
3488         (eliminate_dups): Run through the array and eliminate dups on the
3489         fly instead of using memmove.
3490         (cookie_jar_process_set_cookie): Free cookie->domain before
3491         re-setting it.
3492
3493 2003-10-05  Gisle Vanem  <giva@bgnett.no>
3494
3495         * mswindows.c (set_sleep_mode): Fix type of
3496         _SetThreadExecutionState.
3497
3498 2003-10-05  Hrvoje Niksic  <hniksic@xemacs.org>
3499
3500         * utils.c (file_size): Return -1 if fopen() returns NULL.  Prior
3501         to this patch, wget --post-file=nosuchfile dumped core.
3502
3503 2003-10-04  Gisle Vanem  <giva@bgnett.no>
3504
3505         * mswindows.c (run_with_timeout): Use WaitForSingleObject to wait
3506         for thread termination.
3507
3508 2003-10-04  Hrvoje Niksic  <hniksic@xemacs.org>
3509
3510         * log.c: Use `...' in function definitions; ansi2knr will convert
3511         them to va_dcl.  This allowed removal of the ugly VA_START_1 and
3512         VA_START_2 macros.
3513
3514 2003-10-03  Gisle Vanem  <giva@bgnett.no>
3515
3516         * connect.c: And don't include them here.
3517
3518         * mswindows.h: Include winsock headers here.
3519
3520 2003-10-03  Hrvoje Niksic  <hniksic@xemacs.org>
3521
3522         * html-parse.c (convert_and_copy): Move variable declarations
3523         before statements.
3524
3525 2003-10-02  Gisle Vanem  <giva@bgnett.no>
3526
3527         * mswindows.c (run_with_timeout): For Windows: Run the 'fun' in a
3528         thread via a helper function. Continually query the thread's
3529         exit-code until finished or timed out.
3530
3531 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
3532
3533         * wget.h (XMALLOC_ARRAY): Removed.
3534         (ALLOCA_ARRAY): Ditto.
3535
3536         * html-parse.c: Renamed alloca_p to resized.
3537         (GROW_ARRAY): Renamed DO_REALLOC_FROM_ALLOCA to GROW_ARRAY and
3538         returned it to html-parse.c, since nothing else was using it.
3539
3540 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
3541
3542         * retr.c (retrieve_url): Initialize DUMMY storage for DT.  Caught
3543         by valgrind.
3544
3545 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
3546
3547         * html-parse.c (convert_and_copy): Handle numeric entities in
3548         hexadecimal, &#xHH.
3549         (convert_and_copy): Copy the contents directly to the pool without
3550         a stack-allocated intermediary.
3551
3552 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
3553
3554         * utils.c (alarm_set): New function; use either setitimer or alarm
3555         to set up the alarm.
3556         (alarm_cancel): New function; cancel the alarm set up by
3557         alarm_set.
3558         (run_with_timeout): Use them.
3559
3560 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
3561
3562         * url.c (url_parse): Don't leak memory when a reencoded URL turns
3563         out to be invalid.
3564
3565         * url.c (parse_errors): Mark error messages for translation.
3566         (url_error): Translate error messages returned to the caller.
3567
3568 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
3569
3570         * ftp.c (ftp_loop_internal): Initialize TMRATE to NULL to shut up
3571         the compiler.
3572
3573 2003-09-26  Gisle Vanem  <giva@bgnett.no>
3574
3575         * src/mswindows.c: Added ws_percenttitle() showing progress in the
3576         window titlebar. Called from retr.c. Secured ws_mypath().
3577
3578         * windows/config.h.ms: alloca() prototype not needed.  Removed
3579         "#undef ENABLE_NLS"; should be in Makefile IMHO. Moved
3580         WGET_USE_STDARG from mswindows.h to config.ms.h because of #ifdef
3581         in log.c. (MSVC's vararg.h and stdarg.h are incompatible).
3582
3583 2003-09-29  Aaron Hawley <Aaron.Hawley@uvm.edu>
3584
3585         * ftp.c (getftp): --spider option should now work with FTP
3586         downloads.
3587         (ftp_loop_internal): quiet reports and calculations of downloads
3588         when --spider option set, nor try deleting when --delete-after
3589         also set.
3590         (ftp_loop): --spider will skip HTML-ification of .listing file.
3591
3592 2003-09-26  Gisle Vanem  <giva@bgnett.no>
3593
3594         * mswindows.c (read_registry): Removed.
3595         (set_sleep_mode): New function.
3596         (windows_main_junk): Call it.
3597
3598 2003-09-26  Gisle Vanem  <giva@bgnett.no>
3599
3600         * mswindows.c (read_registry): Fix invocation of registry
3601         functions.
3602
3603         * mswindows.c (read_registry): Condition definitions of sleep and
3604         usleep with not HAVE_SLEEP and HAVE_USLEEP respectively.  Define
3605         HAVE_SLEEP and HAVE_USLEEP under __DMC__.
3606
3607 2003-09-24  Hrvoje Niksic  <hniksic@xemacs.org>
3608
3609         * url.c (url_escape_1): Revert unintentional change to lowercase
3610         xdigit escapes.
3611         (url_escape_dir): Document that this function depends on the
3612         output of url_escape_1.
3613
3614 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
3615
3616         * progress.c (create_image): Print the current ETA if we're done
3617         with the download.
3618         (create_image): Change '-' display char to '+' in the progress bar.
3619
3620         * Makefile.in (clean): Remove .libs.
3621
3622 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
3623
3624         * cookies.c (struct cookie): New flag domain_exact.
3625         (update_cookie_field): Skip leading dot in domain.
3626         (find_matching_chains): Match numeric addresses exactly; don't
3627         needlessly copy HOST to the stack.
3628         (matching_cookie): Added argument HOST.  If cookie->domain_exact
3629         is set, check that HOST is equal to cookie->domain.
3630         (cookie_jar_load): Only use TAB as delimiter.  Document the
3631         meaning of DOMAIN-FLAG.  Skip leading dot in domain.
3632         (cookie_jar_load): Don't ignore DOMAIN-FLAG -- instead, set
3633         domain_exact to true if DOMAIN-FLAG is false.
3634         (save_cookies_mapper): If domain_exact is false, prepend the
3635         domain with dot, like Mozilla does.
3636
3637 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
3638
3639         * progress.c (create_image): Print the initial part of the
3640         download with '-' characters, analogous to how dot progress prints
3641         the initial part with ','.
3642
3643         * hash.c (ptrhash): New function.
3644         (ptrcmp): Ditto.
3645         (hash_table_new): Default to identity hash table.
3646
3647 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
3648
3649         * safe-ctype.h (_sch_test): The cast of BIT to unsigned char was
3650         broken -- _sch_istable bitmasks are 16-bit, not 8-bit!  Cast BIT
3651         to unsigned short instead.
3652
3653 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
3654
3655         * url.c (path_simplify): Instead of calls to memmove, handle "./"
3656         and "../" by advancing pointers.
3657
3658 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
3659
3660         * retr.c (getproxy): Moved from url.c.
3661
3662         * convert.c: Split off link conversion from url.c into separate
3663         file.  Also included the book-keeping stuff from recur.c.
3664
3665 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
3666
3667         * init.c: Improved documentation of functions.
3668         (cmd_boolean): Attempt to make code that tries to avoid calling
3669         strcmp for "speed" a bit more readable.
3670
3671         * init.c (simple_atof): Report error on encountering non-digit,
3672         non-"." character.
3673         (simple_atoi): Replacement for myatoi(), calling interface
3674         compatible with simple_atof.  Updated myatoi's callers.
3675
3676 2003-09-21  Bertrand Demiddelaer  <bert@b3rt.org>
3677
3678         * url.c (path_simplify): Would read two bytes past the end of the
3679         string in the "./" case.
3680
3681 2003-09-21  Matthew J. Mellon  <mellon@tymenet.com>
3682
3683         * http.c (gethttp): Recognize content-type "application/xhtml+xml"
3684         as what Wget considers "text/html".
3685
3686 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
3687
3688         * connect.c (connect_with_timeout): Made timeout type double.
3689
3690         * options.h (struct options): New members read_timeout,
3691         dns_timeout, and connect_timeout.
3692         Use them.
3693
3694 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
3695
3696         * init.c (simple_atof): New function.
3697         (cmd_time): Use it.
3698         (cmd_bytes): Accept things like "1.5k" and such.  Use simple_atof
3699         to parse decimals.
3700
3701         * retr.c (limit_bandwidth): Adjust each sleep by the error of the
3702         previous one.
3703
3704 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
3705
3706         * main.c (main): Use setoptval() for setting the options.  Use
3707         run_command for `-e'.
3708
3709         * init.c (parse_line): Rewritten to return COMIND right away.
3710         Changed linkage to static.
3711         (run_wgetrc): Use the available comind when calling setval, so it
3712         doesn't have to be computed twice.
3713         (setval_internal): New function, runs the command's action without
3714         any error checking.
3715         (setoptval): New function, does what setval used to do, but exits
3716         in case of error.
3717         (run_command): New function.
3718
3719 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
3720
3721         * connect.c (select_fd): Change MAXTIME's type to double.  Handle
3722         its decimal part.
3723
3724         * retr.c (sleep_between_retrievals): In the random-wait case, use
3725         random_float() to wait between 0 and 2*opt.wait seconds.
3726
3727         * utils.c (run_with_timeout): Accept `double' timeouts.  Correctly
3728         handle timeout values in (0, 1) range.
3729         (random_float): New function.
3730
3731         * options.h (struct options): Change the types of wait, waitretry,
3732         and timeout to double.
3733
3734         * init.c (cmd_time): Accept floating point time.
3735
3736 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
3737
3738         * retr.c (get_contents): Cosmetic fixes.
3739
3740 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
3741
3742         * url.c (uri_merge): Get rid of uri_merge_1.
3743         (uri_merge): Merge "foo//", "bar" as "foo//bar", not "foo///bar",
3744         i.e. don't add an extra slash merely because BASE ends with two
3745         slashes.
3746         (parse_credentials): Renamed from parse_uname.  Rewrittern in
3747         standard [beg, end) calling style.
3748         (url_skip_credentials): Renamed from url_skip_uname.  Made static.
3749         (url_skip_credentials): Include # and ; as terminators.  Old code
3750         would mistakenly consider "http://foo.com#hniksic@iskon.hr" to
3751         contain a username.
3752         (url_skip_scheme): Removed because it was unused.
3753         (url_has_scheme): Require "scheme" to be at least one char long.
3754
3755 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
3756
3757         * url.c (url_file_name): Expect NULL dir_prefix.
3758
3759         * init.c (cmd_file): Use a macro to prevent multiple #ifdef
3760         WINDOWS.
3761         (defaults): Set dir_prefix to NULL by default.
3762
3763 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
3764
3765         * safe-ctype.h (_sch_test): Cast BIT to unsigned char, like latest
3766         gcc does.
3767
3768 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
3769
3770         * wget.h (BOUNDED_TO_ALLOCA): Evaluate PLACE only once.
3771         (ARRAY_SIZE): Renamed to countof.  All callers updated.
3772
3773 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
3774
3775         * main.c (main): New option --strict-comments.
3776
3777         * html-parse.c (find_comment_end): New function: simple BM search
3778         for "-->".
3779         (map_html_tags): Use it if looking at a comment and not in strict
3780         comments mode.
3781
3782 2003-09-17  Aurelien Marchand  <artaxerxes@users.sf.net>
3783
3784         * ftp.h: Added OS400 system in enum
3785         * ftp-basic.c: recognize OS400 systems
3786         * ftp.c: don't prepend the CWD if talking to OS400, since it
3787         breaks the change in library
3788
3789 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
3790
3791         * retr.c (get_contents): Pass the correct argument to ssl_iread.
3792
3793 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
3794
3795         * safe-ctype.h: Don't #define ctype.h macros to errors because
3796         that loses when someone #include's ctype.h after safe-ctype.h.
3797
3798 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
3799
3800         * url.c: Undef U, W, C after use.
3801
3802 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
3803
3804         * init.c (cmd_spec_restrict_file_names): Allow the OS setting to
3805         be augmented by ",nocontrol" which means don't escape the control
3806         characters, but otherwise keep OS settings.
3807
3808         * url.c (file_unsafe_char): Deleted.
3809         (append_uri_pathel): Query filechr_table directly.
3810         (filechr_table): Separated Unix, Windows, and control-unsafe
3811         characters.
3812
3813 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
3814
3815         * url.c (url_escape_1): New function.
3816         (url_escape): Use it.
3817         (sync_path): Handle pathological cases where u->file and u->dir
3818         contain really strange characters.
3819         (ENCODE): Deleted.
3820         (REENCODE): Deleted.
3821
3822 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
3823
3824         * url.c (url_file_name): Don't reallocate FNAME if the file
3825         doesn't exist, as is usually the case.
3826
3827         * utils.c (unique_name): New flag allow_passthrough.
3828
3829 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
3830
3831         * utils.c (wtimer_sys_diff): Convert the time difference to signed
3832         __int64, then to double.  This works around MS VC++ 6 which can't
3833         convert unsigned __int64 to double directly.
3834
3835 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
3836
3837         * Makefile.in (clean): Also remove the core.<number> files
3838         produced by recent Linux systems.
3839
3840 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
3841
3842         * http.c (post_file): Don't pad the file if it's not large
3843         enough.  Bail out instead.
3844
3845 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
3846
3847         * retr.c (get_contents): Reduce the buffer size to the amount of
3848         data that may pass through for one second.  This prevents long
3849         sleeps when limiting bandwidth.
3850
3851         * connect.c (connect_to_one): Reduce the socket's RCVBUF when
3852         bandwidth limitation to small values is requested.
3853
3854 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
3855
3856         * progress.c (update_speed_ring): Moved the speed ring update to a
3857         separate function and documented it better.
3858
3859         * progress.c: Use `double' for most timers to support granularity
3860         smaller than 1ms.
3861
3862 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
3863
3864         * wget.h (XDIGIT_TO_XCHAR): Implement as index into a literal
3865         string.
3866         (XDIGIT_TO_xchar): Ditto.
3867
3868 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
3869
3870         * utils.c: Change the type of timer-related functions from long to
3871         double, for better precision.  On machines supporting gettimeofday
3872         the timers now work with granularity of less than one millisecond.
3873
3874 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
3875
3876         * cookies.c (parse_set_cookies): Fixed the parser to handle more
3877         edge conditions.
3878         (test_cookies): New function, contains a test suite for
3879         parse_set_cookies.
3880
3881 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
3882
3883         * url.c (strpbrk_or_eos): Implement as a macro under Gcc.
3884
3885 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
3886
3887         * cookies.c (parse_set_cookies): Allow trailing space in
3888         set-cookies header.  Also, allow any amount of whitespace, not
3889         only one character.  Allow empty set-cookies header without
3890         spewing an error.
3891
3892 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
3893
3894         * url.c (append_uri_pathel): Use opt.restrict_file_names when
3895         calling file_unsafe_char.
3896
3897         * init.c: New command restrict_file_names.
3898
3899         * main.c (main): New option --restrict-file-names[=windows,unix].
3900
3901         * url.c (url_file_name): Renamed from url_filename.
3902         (url_file_name): Add directory and hostdir prefix here, not in
3903         mkstruct.
3904         (append_dir_structure): New function, does part of the work that
3905         used to be in mkstruct.  Iterates over path elements in u->path,
3906         calling append_uri_pathel on each one to append it to the file
3907         name.
3908         (append_uri_pathel): URL-unescape a path element and reencode it
3909         with a different set of rules, more appropriate for handling of
3910         files.
3911         (file_unsafe_char): New function, uses a lookup table to decide
3912         whether a character should be escaped for use in file name.
3913         (append_string): New utility function.
3914         (append_char): Ditto.
3915         (file_unsafe_char): New argument restrict_for_windows, decide
3916         whether Windows file names should be escaped in run-time.
3917
3918         * connect.c: Include <stdlib.h> to get prototype for abort().
3919
3920 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
3921
3922         * utils.c (wtimer_sys_set): Extracted the code that sets the
3923         current time here.
3924         (wtimer_reset): Call it.
3925         (wtimer_sys_diff): Extracted the code that calculates the
3926         difference between two system times here.
3927         (wtimer_elapsed): Call it.
3928         (wtimer_elapsed): Don't return a value smaller than the previous
3929         one, which could previously happen when system time is set back.
3930         Instead, reset start time to current time and note the elapsed
3931         offset for future calculations.  The returned times are now
3932         guaranteed to be monotonically nondecreasing.
3933
3934 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
3935
3936         * host.c (lookup_host): Print the result of the DNS lookup.
3937
3938 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
3939
3940         * init.c (cmd_boolean): Accept yes/no along with on/off.
3941         (cmd_lockable_boolean): Ditto.
3942
3943 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
3944
3945         * init.c: New command dns_cache.
3946
3947         * main.c (main): New option --dns-cache[=off].
3948
3949 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
3950
3951         * config.h.in: Initialize HAVE_GETADDRINFO and ENABLE_IPV6.
3952
3953         * all: Use #ifdef ENABLE_IPV6 instead of the older INET6.  Use
3954         HAVE_GETADDRINFO for getaddrinfo-related stuff.
3955
3956 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
3957
3958         * url.c (url_parse): Return an error if the URL contains a [...]
3959         IPv6 numeric address and we don't support IPv6.
3960
3961 2003-09-05  Hrvoje Niksic  <hniksic@xemacs.org>
3962
3963         * url.c (is_valid_ipv6_address): Modified to not require
3964         zero-terminated strings.
3965         (is_valid_ipv4_address): Ditto.
3966
3967 2003-09-05  Mauro Tortonesi <mauro@deepspace6.net>
3968
3969         src/url.c: added RFC 2732 compliance for URL parsing. The
3970         functions is_*_address valid are a modified version of
3971         glibc 2.3.2 inet_pton's code.
3972
3973 2003-09-03  Ahmon Dancy  <dancy@dancysoft.com>
3974
3975         * main.c init.c options.h: Added --retry-connrefused option so
3976         that Connection Refused failures are treated as non-fatal (when
3977         trying to retrieve from busy servers).
3978
3979         * wget.h: New CONNECT_ERROR macro for encapsulating this
3980         modification.
3981
3982         * ftp.c http.c : Use CONNECT_ERROR macro in places where
3983         ECONNREFUSED was checked.
3984
3985 2003-01-11  Ian Abbott  <abbotti@mev.co.uk>
3986
3987         * ftp.c (ftp_retrieve_glob): Reject insecure filenames as determined
3988         by calling new function has_insecure_name_p.  This is based on a
3989         patch by Red Hat.
3990
3991         * fnmatch.c (has_insecure_name_p): New function: returns non-zero
3992         if filename starts with `/' or contains `../' and is therefore
3993         considered insecure.
3994
3995         * fnmatch.h: Declare has_insecure_name_p().
3996
3997 2002-08-03  Hrvoje Niksic  <hniksic@xemacs.org>
3998
3999         * init.c (cmd_file): Allocate RESULT correctly.
4000
4001 2002-07-24  Hrvoje Niksic  <hniksic@xemacs.org>
4002
4003         * recur.c (retrieve_tree): Check whether downloaded_html_set is
4004         non-NULL before using it.
4005
4006 2002-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4007
4008         * html-parse.c (NAME_CHAR_P): Allow almost any character here.
4009
4010 2002-05-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4011
4012         * progress.c (bar_set_params): Fall back to dot progress if the
4013         terminal type is "emacs".
4014
4015 2002-05-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4016
4017         * log.c: Don't #undef WGET_USE_STDARG.
4018
4019 2002-05-16  Hrvoje Niksic  <hniksic@arsdigita.com>
4020
4021         * hash.c (prime_size): Store the offset of the prime number in the
4022         prime table.  When searching, start with the given offset.
4023         (hash_table_new): Pass the pointer to ht->prime_offset to
4024         prime_size.
4025         (grow_hash_table): Ditto.
4026         (prime_size): Make 13 the first prime to make empty hash tables
4027         slightly smaller.
4028
4029 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
4030
4031         * recur.c (download_child_p): Minor optimization to avoid an
4032         unnecessary additional call to schemes_are_similar_p function.
4033
4034 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
4035
4036         * url.c (schemes_are_similar_p): New function to test enumerated
4037         scheme codes for similarity.
4038
4039         * url.h: Declare it.
4040
4041         * recur.c (download_child_p): Use it to compare schemes.  This
4042         also fixes a bug that allows hosts to be spanned (without the
4043         -H option) when the parent scheme is https and the child's is
4044         http or vice versa.
4045
4046 2002-05-14  Bill Richardson  <bill@riverstonenet.com>
4047
4048         * ftp.c (getftp): Don't ftruncate stdout.
4049
4050         * http.c (gethttp): Don't ftruncate stdout.
4051
4052 2002-05-09  Ian Abbott  <abbotti@mev.co.uk>
4053
4054         * cmpt.c (strptime_internal): Synched with glibc-2.1.3.
4055         (get_number): Ditto.
4056         (get_alt_number): Ditto.
4057         (__isleap): New function-like macro used by strptime.
4058         (day_of_the_week): New function used by strptime.
4059         (day_of_the_year): Ditto.
4060         (__mon_yday): Now shared by mktime and strptime implementations.
4061
4062 2002-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
4063
4064         * cookies.c (check_domain_match): Use match_tail in case
4065         insensitive mode.
4066
4067         * utils.c (match_tail): Allow the caller to specify case
4068         insensitive mode.
4069
4070         * cookies.c (store_cookie): When expiry_time is 0, print it as
4071         undefined, not indefinite.
4072
4073 2002-05-07  Ian Abbott  <abbotti@mev.co.uk>
4074
4075         * cookies.c (cookie_jar_process_set_cookie): Do not store
4076         discarded cookie.
4077
4078 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
4079
4080         * cookies.c (check_domain_match): Allow cookies to be set for
4081         subdomains of unknown top-level domains under some circumstances.
4082
4083 2002-04-21  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
4084
4085         * gen_ssl.c:
4086         - allow checking of server cert
4087         - allow defining client cert type
4088         - allow limit of ssl protocol
4089         - check more return values
4090         - added debug message on break
4091
4092 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
4093
4094         * recur.c (download_child_p): Revert order of items in check
4095         number 6 for clarity.
4096
4097 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4098
4099         * init.c: Ditto.
4100
4101         * main.c: Ditto.
4102
4103         * http.c: Use the new interface.
4104
4105         * cookies.c: Provide an OO-style "cookie jar" interface to enable
4106         separate cookie jars.
4107
4108         * http.c (http_atotm): Declare argument as const.
4109
4110 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4111
4112         * cookies.c (cookie_new): Default to PORT_ANY.
4113         (find_cookie_chain_exact): Only search by DOMAIN.
4114         (find_matching_cookie): Also check that PORT matches.
4115         (store_cookie): Only match the domain.
4116         (set_cookie_header_cb): When a cookie "fakes" a domain, assume it
4117         is valid for that host rather than discarding it completely.
4118         (find_matching_chains): Don't search by PORT.
4119         (matching_cookie): Also match PORT.
4120         (load_cookies): Set the port if specified, otherwise leave it as
4121         ANY.
4122         (save_cookies_mapper): Save the port if specified, otherwise leave
4123         it empty.
4124
4125 2002-04-19  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
4126
4127         * init.c: The option `egdfile' was not in sort order.
4128
4129 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
4130
4131         * ftp.c (getftp): Treat directories that begin with <letter>: as
4132         absolute.
4133         (getftp): Strip trailing slashes from con->id before merging it
4134         with TARGET.
4135
4136 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
4137
4138         * http.c (gethttp): If Content-Type is not given, assume
4139         text/html.
4140
4141 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
4142
4143         * recur.c (download_child_p): Don't ignore rejection of HTML
4144         documents that are themselves leaves of recursion.
4145
4146 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
4147
4148         Makefile.in: Updated several dependencies for object files to take
4149         account of nested include files.
4150
4151 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
4152
4153         Makefile.in: The target `connect$o' (connect.o) now depends on
4154         `utils.h'
4155
4156 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
4157
4158         * host.c (SET_H_ERRNO): New function-like macro to set `h_errno'.
4159         (gethostbyname_with_timeout): Use it.
4160
4161         * utils.c: Don't define `SETJMP()', `run_with_timeout_env' or
4162         `abort_run_with_timeout()' when `USE_SIGNAL_TIMEOUT' is undefined.
4163
4164 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
4165
4166         * host.c (getaddrinfo_with_timeout): New function.
4167         (gethostbyname_with_timeout): Ditto.
4168         (lookup_host): Use them.
4169
4170 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4171
4172         * utils.c (number_to_string): Handle the case when n < -INT_MAX.
4173
4174 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4175
4176         * init.c (comind): Use a marginally faster implementation of
4177         binary search.  To quote Martin Buchholz, "a nanosecond saved is a
4178         nanosecond earned."
4179
4180 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4181
4182         * main.c (print_help): Document `--post-data' and `--post-file'.
4183
4184 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4185
4186         * http.c (gethttp): Ditto.
4187
4188         * retr.c (retrieve_url): Initialize variables to appease the
4189         compiler.
4190
4191         * gen_sslfunc.c (ssl_iread): Don't handle EINTR when calling
4192         select_fd.
4193         (ssl_iwrite): Ditto.
4194
4195         * connect.c (select_fd): Rewrite to handle EINTR.  Set errno to
4196         ETIMEDOUT in case of timeout.
4197         (iread): No need to handle EINTR when calling select_fd.
4198         (iwrite): Ditto.
4199
4200 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4201
4202         * retr.c (retrieve_url): Make sure that POST is not honored for
4203         redirections.
4204
4205         * http.c (gethttp): Send the POST data when requested.
4206         (post_file): New function.
4207         (gethttp): Use it.
4208
4209         * main.c (main): Ditto.
4210
4211         * init.c: Add new options.
4212
4213         * options.h (struct options): New options post_data and
4214         post_file_name.
4215
4216 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4217
4218         * connect.c (connect_with_timeout): Firing SIGALRM can result in
4219         connect() exiting with EINTR.  Treat EINTR the same as ETIMEDOUT.
4220
4221 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4222
4223         * connect.c (connect_with_timeout): Use it.
4224
4225         * utils.c (run_with_timeout): New function.
4226
4227 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4228
4229         * url.c (getproxy): Accept a struct url argument.  This obviates
4230         the need for USE_PROXY_P.
4231
4232         * retr.c (retrieve_url): Allow proxy to be a non-FTP URL.
4233
4234         * ftp.c (getftp): Recognize FWTK-style proxy.
4235
4236 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4237
4238         * config.h.in: Only define _VA_LIST when compiled with gcc.
4239
4240 2002-04012  Ian Abbott  <abbotti@mev.co.uk>
4241
4242         * http.c (http_loop): Compensate for MS Windows two-second
4243         granularity of file modification time when comparing timestamps.
4244
4245         * ftp.c (ftp_retrieve_list): Ditto.
4246
4247 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
4248
4249         * utils.c (has_html_suffix_p): New function to test filename for
4250         common html extensions.
4251
4252         * utils.h: Declare it.
4253
4254         * http.c (http_loop): Use it instead of previous test.
4255
4256         * retr.c (retrieve_url): Ditto.
4257
4258         * recur.c (download_child_p): Ditto.
4259
4260 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4261
4262         * config.h.in: Define _VA_LIST on Solaris to prevent stdio.h from
4263         declaring va_list.
4264         From Kevin Rodgers <kevinr@ihs.com>.
4265
4266 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
4267
4268         * Makefile.in: Specify libtool mode explicitly when linking.
4269
4270 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4271
4272         * connect.c (connect_with_timeout): New function.
4273         (connect_to_one): Use it.
4274
4275         * config.h.in: Add stubs for HAVE_SIGSETJMP, HAVE_SIGBLOCK, and
4276         HAVE_SETJMP_H.
4277
4278 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4279
4280         * log.c: Set WGET_USE_STDARG if __STDC__ is defined and stdarg.h
4281         is present.
4282
4283 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4284
4285         * progress.c (bar_create): If INITIAL is larger than TOTAL, fix
4286         TOTAL.
4287         (bar_finish): Likewise.
4288
4289 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4290
4291         * html-url.c (tag_handle_form): New function.  Pick up form
4292         actions and mark them for conversion only.
4293
4294 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4295
4296         * progress.c (struct progress_implementation): Use PARAMS when
4297         declaring the parameters of *create, *update, *finish, and
4298         *set_params.
4299
4300         * netrc.c: Ditto.
4301
4302         * http.c: Reformat some function definitions so that ansi2knr can
4303         read them.
4304
4305         * hash.c (struct hash_table): Use the PARAMS macro around
4306         parameters in the declaration of hash_function and test_function.
4307         (prime_size): Spell 2580823717UL and 3355070839UL as (unsigned
4308         long)0x99d43ea5 and (unsigned long)0xc7fa5177 respectively, so
4309         that pre-ANSI compilers can read them.
4310         (find_mapping): Use PARAMS when declaring EQUALS.
4311         (hash_table_put): Ditto.
4312
4313         * ftp.h: Wrap the parameters of ftp_index declaration in PARAMS.
4314
4315         * cookies.c (cookie_new): Use (unsigned long)0 instead of 0UL,
4316         which was unsupported by pre-ANSI compilers.
4317
4318         From Nelson H. F. Beebe <beebe@math.utah.edu>, for the most part.
4319
4320 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4321
4322         * url.c (url_filename): Use compose_file_name regardless of
4323         whether opt.dirstruct is set.
4324         (mkstruct): Don't handle the query and the reencoding of DIR; that
4325         is done in compose_file_name.
4326
4327 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4328
4329         * wget.h: Ditto for extern char *exec_name.
4330
4331         * options.h: Don't guard against OPTIONS_DEFINED_HERE -- it is
4332         perfectly legal to follow an `extern' with a non-`extern' ones,
4333         provided the types match.
4334
4335         * main.c: Don't define OPTIONS_DEFINED_HERE.
4336
4337 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4338
4339         * progress.c (create_image): Revert to calculating ETA based on
4340         average download speed.
4341         (create_image): Don't print ETA until the download has been active
4342         for at least 3 seconds.
4343         (create_image): When ETA is not available, don't print anything.
4344         The previous version would print --:--.
4345
4346 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4347
4348         * progress.c (bar_update): Keep updating a subinterval until it
4349         reaches or exceeds a watermark.  That way the measurement will be
4350         guaranteed to span a configurable minimum of time.  The current
4351         default is 3s in 30 100ms intervals.
4352
4353 2002-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4354
4355         * progress.c (bar_update): Maintain an array of the time it took
4356         to perform previous 30 network reads.
4357         (create_image): Calculate the download speed and ETA based on the
4358         last 30 reads, not the entire download.
4359         (create_image): Make sure that the ETA is not changed more than
4360         once per second.
4361
4362 2002-04-09  Ian Abbott  <abbotti@mev.co.uk>
4363
4364         * mswindows.c (borland_utime): New function conditionally defined
4365         when `HACK_BCC_UTIME_BUG' is defined.  A reimplementation of
4366         `utime()' as Borland's `utime()' function is broken on Windows 9x
4367         systems.  (Original patch by Chin-yuan Kuo <sr1111111@yahoo.com.tw>.)
4368
4369 2002-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
4370
4371         * ftp.c (ftp_loop): Propagate the result of ftp_retrieve_glob.
4372
4373 2002-03-26  Ian Abbott  <abbotti@mev.co.uk>
4374
4375         * Makefile.in: Updated several dependencies for object files.
4376
4377 2002-03-20  Ian Abbott  <abbotti@mev.co.uk>
4378
4379         * mswindows.c: Include "utils.h".
4380
4381 2002-03-18  Ian Abbott  <abbotti@mev.co.uk>
4382
4383         * host.h: Don't include netdb.h on windows.
4384
4385 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4386
4387         * recur.c (retrieve_tree): Handle the case when start_url doesn't
4388         parse.
4389
4390 2002-02-19  Andreas Damm  <andreas-sourceforge@radab.org>
4391
4392         * wget.h (DO_REALLOC_FROM_ALLOCA): Multiply with sizeof(type) when
4393         calling xmalloc and memcpy.
4394
4395 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4396
4397         * host.h: Include Unix-specific includes #ifndef WINDOWS.
4398         Patch originally provided by Christian Lackas.
4399
4400 2002-02-11  Christian Lackas  <delta@lackas.net>
4401
4402         * recur.c: recurive downloading for https fixed.
4403
4404 2002-02-19  Alan Eldridge  <alane@geeksrus.net>
4405
4406         * host.h: Also include <netinet/in.h> and <sys/socket.h>.
4407
4408         * ftp-basic.c: Also include <netinet/in.h>.
4409
4410 2002-02-05  Ian Abbott  <abbotti@mev.co.uk>
4411
4412         * http.c (gethttp): when -c used, mark already fully retrieved
4413         file as successfully retrieved.
4414
4415 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4416
4417         * url.c (url_parse): Don't treat '?' as query string separator
4418         when parsing FTP URLs.
4419
4420 2002-02-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4421
4422         * html-url.c (tag_handle_meta): Don't crash on <meta
4423         http-equiv=refresh> where content is missing.
4424
4425 2002-01-31  Herold Heiko  <Heiko.Herold@previnet.it>
4426
4427         * ftp-basic.c, host.c: don't include sys/socket.h, arpa/inet.h,
4428         netdb.h on windows.
4429
4430 2002-01-30  Hrvoje Niksic  <hniksic@arsdigita.com>
4431
4432         * retr.c (retrieve_url): Remove redirection cycle detection.  This
4433         is because some sites legitimately redirect the user back to the
4434         same location, e.g. after an authorization check performed by
4435         another page.  MAX_REDIRECTIONS is still used to prevent infinite
4436         redirection loops.
4437
4438 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4439
4440         * http.c (gethttp): Wrap host name in square brackets if it
4441         contains a colon.
4442
4443 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4444
4445         * url.c (url_parse): Allow all hex digits, not only decimal ones,
4446         to form an IP address.
4447
4448 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4449
4450         * url.c (urlchr_table): Make square braces reserved, so we can
4451         parse http://[::1]/.
4452         (url_parse): Handle host in braces.
4453         (url_string): If url->host contains colons, wrap it in braces.
4454
4455 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4456
4457         * connect.c (resolve_bind_address): New function.
4458         (connect_to_one): Use it.
4459         (bindport): Ditto.
4460
4461         * init.c: Don't resolve bind-address here.
4462
4463         * host.c (wget_sockaddr_set_address): Would bug out with ADDR == NULL.
4464
4465 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4466
4467         * host.c (lookup_host): Use sizeof(ip4_address) to calculate the
4468         offset.
4469         (address_list_new): Use map_ipv4_to_ip.
4470         (wget_sockaddr_set_address): Convert ADDR to IPv4 before using it
4471         in IPv4 context.
4472
4473 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4474
4475         * source: Integrated IPv6 support.
4476         Written by Thomas Lussnig <thomas.lussnig@bewegungsmelder.de>.
4477
4478 2002-01-15  Ian Abbott  <abbotti@mev.co.uk>
4479
4480         * init.c (cmd_file): Change `\' to `/' for Windows (yes, really!)
4481         (cmd_directory): New function. Like cmd_file(), but strips
4482         trailing directory separators.
4483         (commands): Change action for "dirprefix" from `cmd_file' to
4484         `cmd_directory'.
4485
4486         * utils.c (make_directory): Allow intermediate `mkdir' calls to
4487         fail, as not all path components that do not exist should be
4488         directory components, especially under Windows.
4489
4490 2002-01-17  Hrvoje Niksic  <hniksic@arsdigita.com>
4491
4492         * netrc.c (parse_netrc): Skip leading whitespace before testing
4493         whether the line is empty.  Empty lines still contain the line
4494         terminator.
4495
4496 2002-01-15  Hrvoje Niksic  <hniksic@arsdigita.com>
4497
4498         * gen_sslfunc.c (ssl_iread): Call select on the file descriptor
4499         only if no data is pending in SSL buffers.
4500         From tony@bluetail.com.
4501
4502 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4503
4504         * headers.c (header_get): Strip trailing whitespace from the
4505         header.
4506
4507 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4508
4509         * url.c (parse_uname): URL-decode *USER and *PASSWD.
4510
4511 2002-01-07  Ian Abbott <abbotti@mev.co.uk>
4512
4513         * url.c (uri_merge_1): Deal with "net path" relative URL (one that
4514         starts with "//").
4515
4516 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4517
4518         * http.c (gethttp): Invalidate SOCK if get_contents encountered an
4519         error.
4520
4521 2001-12-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4522
4523         * version.c: Wget 1.8.1 is released.
4524
4525 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4526
4527         * version.c: Wget 1.8.1-pre3 is released.
4528
4529 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4530
4531         * recur.c (retrieve_tree): Enqueue the canonical representation of
4532         start_url, so that the test against dl_url_file_map works.
4533
4534 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4535
4536         * log.c (logputs): Check for requested verbosity before printing
4537         anything.
4538
4539 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4540
4541         * html-url.c (tag_handle_link): Treat the "shortcut icon" link as
4542         inline.
4543
4544 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
4545
4546         * recur.c (retrieve_tree): Make a copy of file obtained from
4547         dl_url_file_map because the code calls xfree(file) later.
4548
4549 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
4550
4551         * recur.c (register_html): Maintain a hash table of HTML files
4552         along with the list.  Disallow duplicates.
4553         (retrieve_tree): Use downloaded_html_set to check whether the file
4554         found in dl_url_file_map is an HTML file, and descend into it if
4555         so.
4556         (convert_all_links): Don't guard against duplicates in
4557         downloaded_html_list, since they are no longer possible.
4558
4559 2001-12-18  Ian Abbott  <abbotti@mev.co.uk>
4560
4561         * recur.c (retrieve_tree): Pass on referring URL when retrieving
4562         recursed URL.
4563
4564 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
4565
4566         * version.c: Wget 1.8.1-pre2 is released.
4567
4568 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
4569
4570         * retr.c (sleep_between_retrievals): Simplify indentation.
4571
4572 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
4573
4574         * gen_sslfunc.c (ssl_init_prng): Use random_number to get a byte
4575         of "randomness" at a time.
4576         (ssl_init_prng): Don't seed the PRNG; random_number will do that.
4577
4578         * retr.c (sleep_between_retrievals): Use it.  Make sure that the
4579         random amount averages in opt.wait.
4580         (sleep_between_retrievals): Don't seed the PRNG; random_number
4581         will do that.
4582
4583         * utils.c (random_number): New function.
4584
4585 2001-12-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4586
4587         * url.c (path_simplify): Move here from utils.c, and make static.
4588
4589 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4590
4591         * init.c (wgetrc_file_name): Print correct message when loading
4592         getenv("WGETRC") fails.
4593
4594 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4595
4596         * recur.c (register_download): Don't abort when one URL references
4597         two different files.
4598
4599 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4600
4601         * http.c (gethttp): Check for conn->scheme, not u->scheme, before
4602         calling ssl_iwrite.
4603
4604 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4605
4606         * version.c: Wget 1.8.1-pre1 is released.
4607
4608 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4609
4610         * res.c (matches): Fix broken URL in the docstring.
4611
4612 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4613
4614         * html-url.c (tag_url_attributes): Mark <embed href=...> as
4615         external.
4616
4617 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4618
4619         * url.c (get_urls_file): Cosmetic changes.
4620
4621 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4622
4623         * html-url.c (append_one_url): Resurrect warning when unable to
4624         resolve a relative link.
4625
4626 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4627
4628         * html-url.c (collect_tags_mapper): Break into several functions.
4629         (tag_url_attributes): Collect <embed href=...>.
4630
4631 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4632
4633         * host.c: New type ipv4_address.  Use it consistently instead of
4634         `unsigned char[4]' and `unsigned char *'.
4635         (pretty_print_address): Accept a `const void *', to require even
4636         less casting.
4637
4638 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
4639
4640         * ftp-ls.c (ftp_parse_vms_ls): Fix obvious memory leaks.
4641
4642 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4643
4644         * main.c (main): Initialize progress after fork_to_background, so
4645         that it knows when to use dots.
4646
4647         * mswindows.c (ws_hangup): Call log_request_redirect_output.
4648
4649         * utils.c (fork_to_background): Print the PID of the child
4650         process.
4651
4652         * log.c (log_request_redirect_output): Set a flag that output
4653         redirection has been requested.  Doing anything else in a signal
4654         handler is unsafe.
4655         (check_redirect_output): New function: check whether redirection
4656         has been requested and, if so, call redirect_output().
4657         (logputs): Call check_redirect_output.
4658         (logprintf): Ditto.
4659         (debug_logprintf): Ditto.
4660         (redirect_output): Print clearer messages.
4661
4662         * main.c (redirect_output_signal): Don't call
4663         redirect_output_signal directly.  Instead, call
4664         log_request_redirect_output.
4665
4666         * utils.c (memfatal): Ditto.
4667
4668         * progress.c (display_image): Use it.
4669
4670         * log.c (log_set_save_context): New function: allow the caller to
4671         turn off saving log context lines.
4672
4673 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4674
4675         * host.c (address_list_set_faulty): Uncomment a sanity check.
4676
4677 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4678
4679         * utils.c (long_to_string): Return a pointer after where the
4680         number ends.
4681         (long_to_string): Rename to number_to_string.
4682
4683 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4684
4685         * utils.c (path_simplify): Correctly handle the unlikely case that
4686         b starts out as path + 1.
4687
4688 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
4689
4690         * utils.c (path_simplify): Rewrite, with better comments, and
4691         without the use of strcpy to move overlapping blocks.
4692
4693 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4694
4695         * init.c (cmd_spec_progress): Resurrect.  Check whether VAL is a
4696         valid progress type before setting it.
4697
4698 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4699
4700         * main.c (main): Remove stray debugging message.
4701
4702 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4703
4704         * progress.c (create_image): Fix ETA padding when hours are prined.
4705
4706 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4707
4708         * version.c: Wget 1.8 is released.
4709
4710 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4711
4712         * url.c (reencode_string): Declare static.
4713
4714         * res.c (registered_specs): Declare static.
4715
4716         * progress.c (current_impl_locked): Declare static.
4717
4718         * log.c (flush_log_p): Declare static.
4719         (needs_flushing): Ditto.
4720
4721         * http.c (digest_authentication_encode): Declare static.
4722
4723         * html-url.c (init_interesting): Declare static.
4724
4725         * host.c (host_name_addresses_map): Declare static.
4726
4727         * cookies.c (find_matching_chains): Declare static.
4728
4729         * ftp-ls.c (ftp_parse_vms_ls): Warn about the memory leak
4730         indicated by lint.
4731
4732         * utils.c (path_simplify): Remove unused variable STUB_CHAR.
4733
4734         * host.c (address_list_set_faulty): Document that INDEX is
4735         currently unused.
4736
4737         * url.c (rewrite_shorthand_url): Remove unused variable PATH.
4738
4739 2001-12-08  Hrvoje Niksic  <hniksic@arsdigita.com>
4740
4741         * version.c: Wget 1.8-pre2 is released.
4742
4743 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4744
4745         * progress.c (progress_handle_sigwinch): Set up the signal again.
4746
4747         * utils.c: Include <sys/termios.h>, where Solaris defines
4748         TIOCGWINSZ.
4749
4750         * progress.c (bar_create): Don't use the last column on the screen.
4751         (create_image): Pad ETA to constant size.  Pad SIZE to nine digits
4752         only until it exceeded them.
4753
4754 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4755
4756         * version.c: Wget 1.8-pre1 is released.
4757
4758 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4759
4760         * progress.c (progress_create): Make sure that, when the output is
4761         redirected, the progress implementation gets changed to the
4762         fallback one.
4763         (bar_set_params): Set current_impl_locked to 1 when "force" is
4764         specified.
4765         (progress_create): Don't change the progress implementation if
4766         current_impl_locked is non-zero.
4767
4768         * main.c (redirect_output_signal): Call
4769         progress_schedule_redirect.
4770
4771         * progress.c (progress_schedule_redirect): New function.
4772
4773 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4774
4775         * log.c (logvprintf): Restructure to allow being called multiple
4776         times.
4777         (logprintf): Call logvprintf in a loop.
4778         (debug_logprintf): Ditto.
4779
4780 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4781
4782         * gen_sslfunc.c (ssl_init_prng): Allow the user to disable EGD by
4783         setting egd_file it to empty string.
4784
4785         * main.c (main): Change the option name from --sslegdsock to
4786         --egd-file.
4787
4788 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4789
4790         * gen_sslfunc.c (ssl_init_prng): Make the printed message
4791         translatable.
4792
4793 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4794
4795         * url.c (scheme_disable): New function.
4796
4797         * main.c (main): Call ssl_init_prng from here rather than from
4798         init_ssl, so that it has a chance to disable support for https
4799         before a URL has been resolved.
4800
4801         * gen_sslfunc.c (ssl_init_prng): Seed with rand() if all else
4802         failed.
4803         (ssl_init_prng): Disable support for https if seeding the PRNG
4804         fails.
4805
4806 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4807
4808         * utils.c (read_whole_line): Handle lines beginning with \0.
4809
4810 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
4811
4812         * recur.c (convert_all_links): Guard against duplicates in
4813         downloaded_html_files.
4814         (register_download): Don't invalidate similar-looking URLs.
4815         (match_except_index): New function.
4816
4817 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
4818
4819         * utils.c (path_simplify): Document with test cases.
4820
4821 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
4822
4823         * gen_sslfunc.c: Ditto.
4824
4825         * rbuf.c: Include <string.h>.
4826
4827 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
4828
4829         * recur.c (retrieve_tree): Check whether the URL was already
4830         downloaded before downloading it again.
4831         (descend_child_p): Renamed to download_child_p.
4832         (register_download): When one URL is downloaded to a file already
4833         "owned" by another URL, delete all references that map any URL to
4834         that file.
4835         (register_delete_file): New function.
4836         (retrieve_tree): Use it after deleting a file.
4837
4838         * url.c (url_parse): Re-canonicalize the URL also if the path is
4839         empty, so that e.g. "http://www.server.com" ->
4840         "http://www.server.com/".
4841         (lowercase_str): Use ISUPPER instead of !ISLOWER.
4842
4843         * retr.c (retrieve_url): Use the canonical URL form when calling
4844         register_download().
4845
4846 2001-12-04  Ian Abbott <abbotti@mev.co.uk>
4847
4848         * snprintf.c (dopr): Use `unsigned int' as the second argument to
4849         va_arg when casting to `unsigned short' is intended.
4850
4851 2001-12-04  Herold Heiko  <Heiko.Herold@previnet.it>
4852
4853         * gen_sslfunc.c: on windows provide ssl crypto random
4854           initialization through RAND_screen(); could possibly
4855           be not enough for strong ssl communication (see the
4856           relevant manual page from the openssl package).
4857
4858 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
4859
4860         * url.c (local_quote_string): Reenable quoting of question marks,
4861         but only when `--html-extension' is used.
4862
4863 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
4864
4865         * version.c: Wget 1.8-beta3 is released.
4866
4867 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
4868
4869         * snprintf.c (dopr): Cast the result of va_arg to short int and
4870         short unsigned int where these types are expected to be used.
4871
4872 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
4873
4874         * snprintf.c (dopr): Replace `short int' and `unsigned short int'
4875         with `int' when using it as the second argument to `va_arg'.
4876
4877 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
4878
4879         * host.c (address_list_new_one): New function.
4880         (lookup_host): Use it.
4881
4882 2001-12-03  Andre Majorel  <amajorel@teaser.fr>
4883
4884         * host.c (lookup_host): Don't initialize TMPSTORE directly because
4885         it's not legal C.
4886
4887 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
4888
4889         * ftp-basic.c (ftp_port): Don't return HOSTERR if we fail getting
4890         the socket data.
4891
4892         * ftp.c: Ditto.
4893
4894         * http.c: No need to declare h_errno.
4895
4896         * host.c: Declare h_errno.
4897
4898 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4899
4900         * utils.c (file_merge): If BASE doesn't contain a slash, just
4901         return a copy of FILE.
4902
4903 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4904
4905         * version.c: Wget 1.8-beta2 is released.
4906
4907 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4908
4909         * ftp.c (getftp): When PWD fails, assume "/".
4910
4911         * ftp-basic.c (ftp_syst): Fix indentation.
4912
4913 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4914
4915         * url.c (get_urls_file): If opt.base_href is specified, merge each
4916         URL with the base.
4917
4918 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4919
4920         * main.c (print_help): Don't document the removed `-nh'.
4921
4922 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4923
4924         * url.c (url_full_path): Document better.
4925
4926         * http.c (gethttp): Use the full path when creating digest
4927         authorization.
4928
4929 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4930
4931         * cookies.c (path_matches): Return 0 if PREFIX doesn't begin with
4932         '/'.
4933
4934 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4935
4936         * cookies.c (path_matches): FULL_PATH doesn't begin with '/', but
4937         PREFIX does.
4938
4939 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4940
4941         * cookies.c (check_domain_match): Reimplement to match Netscape's
4942         "preliminary specification" for cookies.
4943
4944 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4945
4946         * url.c (replace_attr_refresh_hack): New function.
4947         (convert_links): Call replace_attr_refresh_hack for Refresh
4948         links.  It will add the "TMOUT; URL=" junk before the link.
4949
4950         * html-url.c (collect_tags_mapper): Set ID to the ID of the
4951         "content" attribute, not "http-equiv".
4952         (collect_tags_mapper): Don't use OFFSET to hack the raw_* values;
4953         instead, store the information that this entry belongs to a
4954         "refresh" link.
4955
4956 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4957
4958         * version.c: Wget 1.8-beta1 is released.
4959
4960 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4961
4962         * recur.c (retrieve_tree): Allow -p retrievals to exceed maximum
4963         depth by more than one.
4964
4965 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
4966
4967         * retr.c (retrieve_url): Don't allow more than 20 redirections.
4968
4969 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
4970
4971         * recur.c (retrieve_tree): Skip the non-inline entries when
4972         enqueuing the children of a leaf HTML node in -p mode.
4973         (descend_url_p): Ignore opt.no_parent when in -p mode and UPOS is
4974         "inline".
4975
4976         * html-url.c (get_urls_html): Don't accept dash_p_leaf_HTML.
4977         (collect_tags_mapper): When an entry is "inline", mark it as such.
4978
4979         * recur.c (descend_url_p): Fix test when checking for
4980         acceptance/rejection rules.
4981
4982 2001-10-31 Daniel BODEA <dali@dali-designs.com>
4983
4984         * netrc.c (search_netrc): When slack_default is 0, still look for
4985         an account with matching password, just not the "default account".
4986         HTTP Authorization using .netrc should now work as expected.
4987
4988 2001-11-30  T. Bharath  <TBharath@responsenetworks.com>
4989
4990         * http.c (persistent_available_p): Call SHUTDOWN_SSL if
4991         test_socket_open fails.
4992
4993 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
4994
4995         * progress.c (display_image): Just print one CR to reset the
4996         cursor position.
4997
4998 2001-11-30  Christian Fraenkel  <c.fraenkel@gmx.net>
4999
5000         * init.c: New command `ssl_egd_sock'.
5001
5002         * main.c (main): New option `--sslegdsock'.
5003
5004         * gen_sslfunc.c (ssl_init_prng): Seed the RNG using EGD.
5005
5006 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
5007
5008         * cmpt.c (memmove): Include a simple memmove implementation.
5009
5010 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
5011
5012         * headers: Guard against header files being included twice.
5013
5014 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
5015
5016         * gen-md5.c: Use unsigned char * as the buffer argument to
5017         gen_md5_update.
5018
5019 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
5020
5021         * connect.h: Declare select_fd.
5022
5023 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
5024
5025         * recur.c (descend_url_p): When resolving no_parent, compare with
5026         start_url, not parent url.  Otherwise link from /a/b/ to /a/c/
5027         wouldn't be followed, although the download started from /a/.
5028
5029 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
5030
5031         * config.h.ms, mswindows.h: defined HAVE_ISATTY, use _isatty for
5032         MS VC; somebody with Borland compiler please check and provide
5033         patch if possible;
5034
5035         * cmpt.c: provided a usleep emulation.
5036
5037 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
5038
5039         * host.c (address_list_new): Initialize al->faulty.
5040
5041 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
5042
5043         * http.c (http_process_range): Accept the broken output of
5044         "JavaWebServer/1.1.1".
5045
5046 2001-11-28  Hrvoje Niksic  <hniksic@arsdigita.com>
5047
5048         * progress.c (dot_set_params): If PARAMS is unspecified, use
5049         dot_style, if available.
5050
5051         * init.c: Ditto.
5052
5053         * main.c (main): Resurect --dot-style.
5054
5055         * progress.c (dot_finish): Print the quantity if we're left at the
5056         beginning of a row.
5057
5058 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
5059
5060         * cmpt.c (random): Removed.
5061
5062         * retr.c (sleep_between_retrievals): Use the more portable rand()
5063         instead of random().
5064
5065 2001-11-27  Ian Abbott <abbotti@mev.co.uk>
5066
5067         * retr.c (retrieve_from_file): Initialize `new_file' to NULL to
5068         prevent seg fault.
5069
5070 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
5071
5072         * connect.c (connect_to_many): Use address_list_set_faulty to
5073         prevent the faulty address from being reused.
5074
5075         * host.c (address_list_set_faulty): New function.
5076         (address_list_get_bounds): New function, instead of
5077         address_list_count.
5078
5079 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
5080
5081         * url.c (convert_links): Don't translate %d-%d.
5082
5083         * main.c (print_help): Remove stray HAVE_RANDOM code.
5084
5085 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
5086
5087         * ftp.c (getftp): Improve output after sending PASV.  Don't
5088         attempt to "look up" the IP address we already know; call
5089         connect_to_one directly.
5090
5091 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
5092
5093         * progress.c: Change the default progress implementation to "bar".
5094
5095 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
5096
5097         * progress.c (bar_create): Print two newlines.
5098
5099 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
5100
5101         * cmpt.c (random): New function, a simple-minded replacement for
5102         random() on systems that don't have it.
5103
5104 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
5105
5106         * config.h.in: Put a HAVE_USLEEP stub.
5107
5108         * cmpt.c (usleep): Replacement implementation of usleep using
5109         select.
5110
5111         * init.c: New option init_rate.
5112
5113         * main.c (main): New option --limit-rate.
5114
5115         * retr.c (limit_bandwidth): New function.
5116         (get_contents): Call it to limit the bandwidth used when
5117         downloading.
5118
5119         * progress.c (dot_update): Would print the wrong download speed on
5120         rows other than the first one when the download was continued.
5121         (dot_finish): Ditto.
5122
5123 2001-11-26  Ian Abbott <abbotti@mev.co.uk>
5124
5125         * http.c (gethttp): fix undeclared variable 'err' when compiled
5126         with HAVE_SSL.
5127
5128 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
5129
5130         * progress.c: Don't allocate new timers; use the timing data
5131         propagated from the caller.
5132
5133         * retr.c (get_contents): Allocate and use a timer.
5134
5135 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
5136
5137         * http.c (last_host_ip): Made into an address_list.
5138         (invalidate_persistent): Release pc_last_host_ip.
5139         (register_persistent): Use lookup_host.
5140         (persistent_available_p): Check for equality of hosts using
5141         address_list_match_all.  Call address_list_release.
5142         (http_cleanup): New function.
5143
5144         * ftp.c (getftp): Use lookup_host and connect_to_many.
5145
5146         * http.c (gethttp): Use lookup_host and connect_to_many.
5147
5148         * connect.c (make_connection): Removed.
5149         (connect_to_one): New function.
5150         (connect_to_many): Ditto.
5151         (set_connection_host_name): Ditto.
5152
5153         * host.c (lookup_host): New function; new return type.
5154         (address_list_new): New function.
5155         (address_list_count): Ditto.
5156         (address_list_copy_one): Ditto.
5157         (address_list_delete): Ditto.
5158         (address_list_release): Ditto.
5159         (pretty_print_address): Ditto.
5160
5161 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
5162
5163         * recur.c (retrieve_tree): In case of followed redirection,
5164         blacklist the pre-redirection URL.
5165
5166 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
5167
5168         * recur.c (descend_redirect_p): New function.
5169         (retrieve_tree): Make sure redirections are not blindly followed.
5170
5171 2001-11-04  Alan Eldridge  <alane@geeksrus.net>
5172
5173         * config.h.in: added HAVE_RANDOM.
5174
5175         * options.h: added random_wait to struct options.
5176
5177         * main.c (print_help [HAVE_RANDOM], main): added arg parsing, help
5178         for --random-wait.
5179
5180         * retr.c (sleep_between_retrievals) [HAVE_RANDOM]: added
5181         implementation of random wait times.
5182
5183         * init.c (commands): added "randomwait" keyword.
5184
5185 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5186
5187         * recur.c (descend_url_p): Be more conservative with blacklisting
5188         URLs.
5189         (convert_all_links): Print how many files have been converted, and
5190         how long it took.
5191
5192         * progress.c (create_image): Place the number of downloaded bytes
5193         right after the progress bar.
5194
5195         * utils.c (suffix): Return a pointer into the string.
5196
5197 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5198
5199         * url.c (convert_links): Handle CO_NULLIFY_BASE.
5200
5201         * recur.c (retrieve_tree): Ignore download-ignorable children.
5202         (convert_all_links): Specify CO_NULLIFY_BASE when link_base_p.
5203
5204         * html-url.c (handle_link): Return the newly created urlpos.
5205         (collect_tags_mapper): When dealing with BASE, store the base
5206         reference and mark it as download-ignorable.
5207
5208 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5209
5210         * url.c (convert_links): Attempt to quote '?' as "%3F" when
5211         linking to local files.  Given up on the attempt, as it breaks
5212         local browsing.
5213
5214 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5215
5216         * main.c (private_initialize): Removed.
5217         (main): Don't call private_initialize.
5218
5219         * http.c: Call lookup_host.
5220
5221         * host.c (host_init): Removed.
5222         (add_host_to_cache): Initialize host_name_address_map here, on
5223         demand.
5224         (ngethostbyname): Commented out.
5225
5226         * connect.c (make_connection): Remove dead code; use lookup_host.
5227
5228         * host.c (store_hostaddress): Renamed to lookup_host and reversed
5229         the args.
5230         Removed host_address_name_map and host_slave_master_map.
5231
5232 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5233
5234         * progress.c (dot_create): Align the "[ skipping ... ]" string
5235         with the dots.
5236
5237         * retr.c (rate): Split into two functions: calc_rate and
5238         retr_rate.
5239
5240         * progress.c (create_image): Draw a dummy progress bar even when
5241         total size is unknown.
5242         (display_image): Place the text cursor at the end of the "image".
5243
5244 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5245
5246         * url.c (reencode_string): Use unsigned char, not char --
5247         otherwise the hex digits come out wrong for 8-bit chars such as
5248         nbsp.
5249         (lowercase_str): New function.
5250         (url_parse): Canonicalize u->url if needed.
5251         (get_urls_file): Parse each URL, and return only the valid ones.
5252         (free_urlpos): Call url_free.
5253         (mkstruct): Add :port if the port is non-standard.
5254         (mkstruct): Append the query string to the file name, if any.
5255         (urlpath_length): Use strpbrk_or_eos.
5256         (uri_merge_1): Handle the cases where LINK is an empty string,
5257         where LINK consists only of query, and where LINK consists only of
5258         fragment.
5259         (convert_links): Count and report both kinds of conversion.
5260         (downloaded_file): Use a hash table, not a list.
5261         (downloaded_files_free): Free the hash table.
5262
5263         * retr.c (retrieve_from_file): Ditto.
5264
5265         * main.c (main): Call either retrieve_url or retrieve_tree
5266         for each URL, not both.
5267
5268         * retr.c (register_all_redirections): New function.
5269         (register_redirections_mapper): Ditto.
5270         (retrieve_url): Register the redirections.
5271         (retrieve_url): Make the string "Error parsing proxy ..."
5272         translatable.
5273
5274         * res.c (add_path): Strip leading slash from robots.txt paths so
5275         that the path representations are "compatible".
5276         (free_specs): Free each individual path, too.
5277         (res_cleanup): New function.
5278         (cleanup_hash_table_mapper): Ditto.
5279
5280         * recur.c (url_queue_new): New function.
5281         (url_queue_delete): Ditto.
5282         (url_enqueue): Ditto.
5283         (url_dequeue): Ditto.
5284         (retrieve_tree): New function, replacement for recursive_retrieve.
5285         (descend_url_p): New function.
5286         (register_redirection): New function.
5287
5288         * progress.c (create_image): Cosmetic changes.
5289
5290         * init.c (cleanup): Do all those complex cleanups only if
5291         DEBUG_MALLOC is defined.
5292
5293         * main.c: Removed --simple-check and the corresponding
5294         simple_host_check in init.c.
5295
5296         * html-url.c (handle_link): Parse the URL here, and propagate the
5297         parsed URL to the caller, who would otherwise have to parse it
5298         again.
5299
5300         * host.c (xstrdup_lower): Moved to utils.c.
5301         (realhost): Removed.
5302         (same_host): Ditto.
5303
5304 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
5305
5306         * utils.c (path_simplify): Preserver the (non-)existence of
5307         leading slash.  Return non-zero if changes were made.
5308
5309 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
5310
5311         * progress.c (bar_update): Don't modify bp->total_length if it is
5312         zero.
5313
5314 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
5315
5316         * retr.c (retrieve_url): When the redirection URL doesn't parse,
5317         print the correct error message rather than "UNKNOWN".
5318
5319 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
5320
5321         * progress.c (bar_finish): If the timer didn't record any time
5322         since the download beginning, fake 1ms.
5323
5324 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
5325
5326         * recur.c (recursive_retrieve): Fix typo.
5327
5328 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
5329
5330         * progress.c (create_image): Don't translate "%ld ".
5331
5332 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
5333
5334         * progress.c (bar_set_params): Allow the user to force the use of
5335         the bar.
5336
5337 2001-11-23  Lemble Gregory  <gregory.lemble@st.com>
5338
5339         * gen_sslfunc.c (ssl_init_prng): New function; seed the SSL RNG.
5340
5341 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
5342
5343         * progress.c: Renamed dp_* functions to dot_* for greater clarity
5344         and consistency with bar_*.
5345         (print_download_speed): Get rid of the unneeded '@' character.
5346         (create_image): Fix download rate geometry.
5347
5348         * progress.c (print_elapsed): Remove spurious space.
5349         (print_elapsed): Renamed to print_download_speed, since that's
5350         what it does.
5351
5352 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
5353
5354         * progress.c (bar_update): If the downloaded amount becomes larger
5355         than the expected amount, adjust the expected amount accordingly.
5356
5357 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
5358
5359         * utils.c (determine_screen_width): New function.
5360
5361         * main.c (main): New option `--progress=TYPE'.
5362         (main): Implement compatibility with the old option `--dot-style'.
5363
5364         * init.c: Removed cmd_spec_dotstyle -- that logic is now in
5365         dp_set_params.
5366         (cmd_spec_progress): New function.
5367
5368         * retr.c (get_contents): Use the progress_* functions instead of
5369         the old show_progress().
5370         (show_progress): Removed.
5371         (rate): Print "xxxx.xx K/s" instead of "KB/s".  Ditto for MB/s,
5372         etc.
5373
5374         * progress.c (set_progress_implementation): New function.
5375         (valid_progress_implementation_p): Ditto.
5376         (progress_create): Ditto.
5377         (progress_update): Ditto.
5378         (progress_finish): Ditto.
5379         (dp_create): Ditto.
5380         (dp_update): Ditto.
5381         (dp_finish): Ditto.
5382         (dp_set_params): Ditto.
5383         (print_elapsed): Ditto.
5384
5385 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
5386
5387         * retr.c (show_progress): Use it.
5388
5389         * log.c (log_set_flush): New function.
5390
5391 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
5392
5393         * utils.c (path_simplify): Don't remove trailing slashes.
5394
5395         * ftp.c (ftp_get_listing): Use it.
5396
5397         * utils.c (file_merge): New function.
5398
5399         * url.c (opt_url): Removed.
5400
5401         * recur.c (recursive_retrieve): Inline "opt_url" logic.
5402
5403         * main.c (main): Use xfree(), not free().
5404
5405         * url.c (rewrite_url_maybe): Renamed to rewrite_shorthand_url.
5406
5407         * ftp.c (ccon): Move `ccon' typedef here, since it's only used
5408         internally.
5409
5410         * config.h.in: Include a stub for HAVE_STRPBRK.
5411
5412         * cmpt.c (strpbrk): Include a replacement for systems without
5413         strpbrk().
5414
5415         * ftp.c: Use url_set_dir and url_set_file when modifying the URL.
5416
5417         * url.c (url_set_dir): New function.
5418         (url_set_file): Ditto.
5419
5420         * ftp-basic.c (ftp_process_type): Process FTP type here; the URL
5421         parser makes the URL "params" available, so we can do that in this
5422         function.
5423
5424         * retr.c: Ditto.
5425
5426         * ftp.c: Ditto; pass the local file information in `ccon'.
5427
5428         * http.c: Get rid of the ugly kludge that had URL being replaced
5429         with the proxy URL when proxy retrieval was requested.  Use a
5430         separate parameter to http_loop and gethttp for the proxy URL.
5431
5432         * http.c: Changed to reflect the fact that local file, proxy, and
5433         referer information are no longer stored in struct url.  The local
5434         file information is passed in `struct hstat' now.
5435
5436         * url.c: Reworked URL parsing to be more regular.  Reencode the
5437         URL using reencode_string.
5438         Removed non-URL-related information from struct url.  This
5439         includes fields `proxy', `local', and `referer'.
5440
5441 2001-11-22  Jochen Hein  <jochen@jochen.org>
5442
5443         * main.c (main): Split the copyright notice for easier
5444         translation.
5445
5446 2001-08-21  Dave Turner <dct25@hermes.cam.ac.uk>
5447
5448         * ftp-basic.c (ftp_size): New function to send non-standard SIZE
5449           command to server to request file size.
5450         * ftp.h (ftp_size): Export it.
5451         * ftp.c (getftp): Use new ftp_size function if restoring
5452           transfer of a file with unknown size.
5453
5454 2001-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
5455
5456         * url.c (parseurl): Don't depend on the now-obsolete TYPE.
5457
5458 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
5459
5460         * url.c (getproxy): Handle URL shorthands.
5461
5462 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
5463
5464         * main.c: Remove --wait / --waitretry backwards compatibility
5465         code.
5466
5467 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
5468
5469         * main.c (main): Use it.
5470
5471         * url.c (rewrite_url_maybe): New function.
5472
5473 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
5474
5475         * url.c: Clean up handling of URL schemes.
5476
5477 2001-05-13  Hrvoje Niksic  <hniksic@arsdigita.com>
5478
5479         * url.c: Get rid of `protostrings'.
5480         (skip_proto): Don't use protostrings.
5481         (has_proto): Ditto.
5482
5483 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
5484
5485         * Makefile.in: Conditionally compile getopt.o.
5486
5487 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
5488
5489         * md5.h: Renamed to gnu-md5.h.
5490
5491         * md5.c: Renamed to gnu-md5.c.
5492
5493         * http.c: Ditto.
5494
5495         * ftp-opie.c: Use the new macros.
5496
5497         * sysdep.h: Define md5-related macros.
5498
5499         * config.h.in: Define HAVE_SOLARIS_MD5 or HAVE_BUILTIN_MD5
5500         depending on which md5 implementation is used.
5501
5502 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
5503
5504         * res.c (res_register_specs): Initialize OLD and HP_OLD to appease
5505         the compiler.
5506
5507 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
5508
5509         * http.c (gethttp): Print the whole response line when printing
5510         headers is requested.
5511
5512 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
5513
5514         * res.c: New file.  Implement all RES-related code here.
5515
5516 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
5517
5518         * version.c: Wget 1.7.1 is released.
5519
5520 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
5521
5522         * headers.c (header_extract_number): Ignore trailing whitespace.
5523
5524 2001-08-24  Ian Abbott  <abbotti@mev.co.uk>
5525
5526         * html-url.c (collect_tags_mapper): Fix bug converting links
5527         with -k option for tags with multiple link attributes by
5528         handling links in the order they appear.
5529
5530 2001-08-15  Ian Abbott  <abbotti@mev.co.uk>
5531
5532         * ftp.c (ftp_loop_internal): Avoid a potential buffer overflow in
5533           the call to the 'rate' function by moving it past the error
5534           checking for the 'getftp' function return value.
5535
5536 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
5537
5538         * html-parse.c (advance_declaration): Use 0x22 instead of '"' or
5539         '\"'.  Different compilers' assert macros are broken in different
5540         ways.
5541
5542 2001-09-29  Christian Fraenkel  <c.fraenkel@gmx.net>
5543
5544         * http.c (gethttp): print debug output for errors occuring during
5545         the ssl handshake.
5546
5547 2001-11-16  Chris Seawood  <cls@seawood.org>
5548
5549         * init.c: Ditto.
5550
5551         * host.c: Ditto.
5552
5553         * connect.c: Ditto.
5554
5555         * sysdep.h: Support compilation under BEOS.
5556
5557 2001-06-08  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
5558
5559         * url.c (url_equal): Fix a memory leak when parseurl returns an
5560         error on the second URL. Also, since url_equal is not used at the
5561         moment, do not compile it.
5562
5563         * url.h: Ditto for the prototype of url_equal.
5564
5565 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
5566
5567         * html-parse.c (map_html_tags): Support XML-style empty tags.
5568
5569 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
5570
5571         * wget.h (DO_REALLOC_FROM_ALLOCA): Check for do_realloc_newsize in
5572         loop condition because we're no longer setting SIZEVAR here.
5573
5574 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
5575
5576         * wget.h (DO_REALLOC_FROM_ALLOCA): Set SIZEVAR after the memcpy()
5577         call because it needs the old value.
5578
5579 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
5580
5581         * cookies.c (ATTR_NAME_CHAR): Allow almost any character to be in
5582         an attribute name.
5583
5584 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
5585
5586         * url.c (url_filename): Make sure that slashes that sneak in to
5587         u->file via query string get protected.
5588         (file_name_protect_query_string): New function.
5589
5590 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
5591
5592         * recur.c (recursive_retrieve): Also check undesirable_urls with
5593         canonicalized URL.
5594
5595 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
5596
5597         * http.c (gethttp): Search `.netrc' with real host, not the proxy
5598         one.
5599
5600 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
5601
5602         * sysdep.h (MAP_FAILED): Provide MAP_FAILED for systems that don't
5603         define it.
5604
5605 2001-06-09  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5606
5607         * ftp.h: Provide correct prototype for ftp_parse_ls().
5608
5609 2001-06-04  Hrvoje Niksic  <hniksic@arsdigita.com>
5610
5611         * version.c: Wget 1.7 is released.
5612
5613 2001-06-03  Karl Eichwalder  <ke@suse.de>
5614
5615         * ftp-ls.c (ftp_parse_ls): Fix typo.
5616
5617 2001-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
5618
5619         * all: Update copyright information.
5620
5621 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
5622
5623         * http.c (gethttp): Indicate that the continued download failed
5624         for *this* file.
5625
5626 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
5627
5628         * version.c: Wget 1.7-pre1 is released.
5629
5630 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
5631
5632         * version.c: Updated version to 1.7-pre1.
5633
5634 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
5635
5636         * gen_sslfunc.c: Don't include <sys/time.h> directly.
5637
5638 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
5639
5640         * http.c (gethttp): Use real URL data for cookies, not the proxy
5641         stuff.
5642
5643 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
5644
5645         * main.c (print_help): Document `--no-http-keep-alive'.
5646
5647         * utils.c (numdigit): Handle negative numbers *correctly*.
5648
5649         * hash.c (make_nocase_string_hash_table): Use term "nocase" rather
5650         than the confusing "unsigned".
5651
5652         * utils.c (string_set_contains): Renamed from string_set_exists.
5653
5654         * hash.c (hash_table_contains): Renamed from hash_table_exists.
5655
5656         * cookies.c: Move case-insensitive hash tables to hash.c.
5657
5658 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
5659
5660         * http.c (gethttp): Before concluding that the file is already
5661         fully retrieved, make sure that the file existed and `Range' was
5662         actually requested.
5663
5664 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
5665
5666         * cookies.c (eliminate_dups): New function.
5667         (build_cookies_request): Use it.
5668         (build_cookies_request): Set chain_store_size after reallocating
5669         all_chains.
5670         (check_domain_match): Annotated for easier future debugging.
5671         (store_cookie): In the debug message, print whether the cookie is
5672         permanent.
5673
5674 2001-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
5675
5676         * http.c (http_loop): Reset no_truncate before deciding whether to
5677         set it.
5678         (gethttp): Further clarify "-c conflicts with existing file" error
5679         message, based on input from Herold Heiko.
5680
5681 2001-05-07  Hrvoje Niksic  <hniksic@arsdigita.com>
5682
5683         * http.c (http_loop): If restval is set, set no_truncate to 1
5684         unconditionally.
5685
5686 2001-05-02  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5687
5688         * ftp-ls.c (ftp_parse_winnt_ls): Assure months are being correctly
5689         converted. Pointed out by <Stefan.Weil@de.heidelberg.com>.
5690         (ftp_parse_vms_ls): Ditto.
5691
5692 2001-04-30  Hrvoje Niksic  <hniksic@arsdigita.com>
5693
5694         * init.c (cmd_address): Zero SIN before using it; apparently
5695         needed on *BSD.
5696
5697 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
5698
5699         * ftp.c (ftp_loop_internal): Don't set NO_TRUNCATE if the file is
5700         empty.
5701
5702 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
5703
5704         * main.c (main): Make `--cookies' respect its argument.
5705
5706 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
5707
5708         * main.c (main): Removed undocumented option `--email-address'.
5709
5710         * netrc.c: Use the latest read_whole_line.
5711
5712         * init.c (defaults): Set opt.ftp_pass to "-wget@".
5713
5714         * mswindows.c (pwd_cuserid): Ditto.
5715
5716         * utils.c (pwd_cuserid): Removed.
5717
5718         * host.c (ftp_getaddress): Removed.
5719
5720 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
5721
5722         (http_loop): Allocate space for filename_plus_orig_suffix with
5723         alloca; this is more efficient and removes the need to free it
5724         before each and every return.
5725
5726 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
5727
5728         * http.c (gethttp): Return RETRUNNEEDED when the retrieval is
5729         unneeded because the file is already there and fully downloaded,
5730         and -c is specified.
5731         (http_loop): Handle RETRUNNEEDED.
5732
5733         * wget.h (uerr_t): New value RETRUNNEEDED.
5734
5735         * http.c (http_loop): Set no_truncate for files that both exist
5736         and are non-empty.
5737         (gethttp): Consider the download finished when restval >= contlen,
5738         not only when restval==contlen.
5739         (gethttp): Handle redirection before giving up due to -c.
5740         (gethttp): Clarify error message which explains that -c will not
5741         truncate the file.
5742         (gethttp): When returning CONTNOTSUPPORTED, don't forget to free
5743         the stuff that needs freeing and release the socket.
5744
5745 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
5746
5747         * main.c (print_help): Wget booleans accept "off", not "no".
5748
5749 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
5750
5751         * http.c (http_loop): If allow_cache is zero, always disable
5752         caching, not only when retrieving through proxy.
5753
5754         * init.c: Ditto.
5755
5756         * options.h (struct options): Rename proxy_cache to allow_cache.
5757
5758 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
5759
5760         * http.c (mktime_from_utc): Improve documentation.
5761         (http_atotm): Put format strings into a separate array.
5762
5763 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
5764
5765         * safe-ctype.h: Instead of throwing #error when isalpha is
5766         defined, redefine it to something that will throw a compile-time
5767         error if actually *used*.  Do the same for the rest of the
5768         standard C macros.
5769
5770 2001-04-26  Hrvoje Niksic  <hniksic@arsdigita.com>
5771
5772         * url.c (getproxy): Ignore empty proxy vars.
5773
5774 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5775
5776         * http.c (http_loop): Would load cookies every time.
5777
5778         * cookies.c (load_cookies): Handle cookies whose values contain
5779         embedded spaces.
5780
5781 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5782
5783         * utils.c: Define each DIGITS_* in one line.
5784
5785 2001-04-25  Roger L. Beeman  <beeman@cisco.com>
5786
5787         * http.c (http_atotm): Initialize t.tm_isdst to 0.
5788         (mktime_from_utc): Prevent mktime() from having discontinuities at
5789         DST transition points.
5790
5791 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5792
5793         * html-url.c (get_urls_html): Fix documentation.
5794
5795 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5796
5797         * url.c (UNSAFE_CHAR): Reimplement using a static table.
5798         (url_init): Removed.
5799         (init_unsafe_char_table): Removed.
5800
5801 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5802
5803         * snprintf.c (dopr): Replace ISDIGIT with '0' <= ch && ch <= '9'.
5804
5805 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5806
5807         * utils.c: Document timer functions.
5808
5809         * retr.c (rate): Use it.
5810         (rate): Print in GB/s if transfer rate exceeds 1 GB/s.
5811
5812         * utils.c (wtimer_granularity): New function.
5813
5814 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
5815
5816         * retr.c (show_progress): Ditto.
5817
5818         * ftp.c (getftp): Ditto.
5819
5820         * http.c (gethttp): Use new timer functions.
5821
5822         * utils.c (wtimer_allocate): New function.
5823         (wtimer_new): Ditto.
5824         (wtimer_delete): Ditto.
5825         (wtimer_reset): Ditto.
5826         (wtimer_elapsed): Ditto.
5827
5828 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
5829
5830         * utils.c (long_to_string): New, faster version.  Favors smaller
5831         numbers; much of the calculation is now done at compile-time.
5832
5833 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
5834
5835         * utils.c (numdigit): Handle negative numbers.
5836
5837 2001-04-23  Hrvoje Niksic  <hniksic@arsdigita.com>
5838
5839         * retr.c (show_progress): Print the download rate even when the
5840         percentages are not available.
5841
5842 2001-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
5843
5844         * ftp.c (getftp): Adjust expected_bytes if the length is
5845         authoritative.
5846
5847 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
5848
5849         * url.c: Don't declare `construct'.
5850
5851         * hash.c (grow_hash_table): Speed up rehashing; inline storing of
5852         mappings to new locations.
5853         (hash_table_new): Make resize_threshold a field in the hash table,
5854         so we don't have to recalculate it in each hash_table_put.
5855         (grow_hash_table): Update resize_threshold.
5856         (MAX): Remove unused macro.
5857         (prime_size): Made static.
5858
5859 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
5860
5861         * retr.c (retrieve_url): Call uri_merge, not url_concat.
5862
5863         * html-url.c (collect_tags_mapper): Call uri_merge, not
5864         url_concat.
5865
5866         * url.c (mkstruct): Use encode_string instead of xstrdup followed
5867         by URL_CLEANSE.
5868         (path_simplify_with_kludge): Deleted.
5869         (contains_unsafe): Deleted.
5870         (construct): Renamed to uri_merge_1.
5871         (url_concat): Renamed to uri_merge.
5872
5873 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
5874
5875         * url.c (str_url): Use encode_string instead of the unnecessary
5876         CLEANDUP.
5877         (encode_string_maybe): New function, returns input string if no
5878         encoding is needed.
5879         (encode_string): Call encode_string_maybe to do the dirty work,
5880         xstrdup if no work needed.
5881
5882 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
5883
5884         * wget.h (XDIGIT_TO_xchar): Define here.
5885
5886         * url.c (decode_string): Use new name.
5887         (encode_string): Ditto.
5888
5889         * http.c (XDIGIT_TO_xchar): Rename HEXD2asc to XDIGIT_TO_xchar.
5890         (dump_hash): Use new name.
5891
5892         * wget.h: Rename ASC2HEXD and HEXD2ASC to XCHAR_TO_XDIGIT and
5893         XDIGIT_TO_XCHAR respectively.
5894
5895 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
5896
5897         * init.c: Include cookies.h.
5898
5899         * cookies.h: Declare cookies_cleanup.
5900
5901         * cookies.c (check_domain_match): Remove unused variable.
5902         (save_cookies): Remove extraneous argument from debug statement.
5903
5904         * host.c (same_host): Don't call skip_url.
5905
5906         * url.c (skip_url): Removed.  Removed its calls from various
5907         functions in url.c.
5908
5909 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
5910
5911         * cookies.c (unsigned_string_hash): Use the new code in
5912         string_hash as reference.
5913
5914         * hash.c (hash_table_map): Allow deletion and change of the
5915         element processed by MAPFUN.
5916         (string_hash): Use the function from glib.
5917
5918 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
5919
5920         * config.h.in: Include #undef stub.
5921
5922         * hash.c (hash_table_remove): Rewrite to actually clear deleted
5923         entries instead of just marking them as deleted.
5924
5925 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
5926
5927         * hash.h: Declare hash_table_get_pair and hash_table_count.
5928
5929 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
5930
5931         * cookies.c: Declare http_atotm.
5932
5933 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
5934
5935         * ftp-ls.c (ftp_parse_unix_ls): Use octal constants for
5936         permissions.  A compiler that doesn't accept octal constants is
5937         seriously broken and shouldn't be used -- octal constants were
5938         present in K&R C!
5939
5940 2001-01-20  Karl Eichwalder  <ke@suse.de>
5941
5942         * Makefile.in: Provide and use DESTDIR according to the Coding
5943         Standards.
5944
5945 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
5946
5947         * ftp-ls.c (ftp_parse_vms_ls): Make seconds optional in time
5948         specification.
5949
5950 2001-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
5951
5952         * url.c (parseurl): Don't strip trailing slash when u->dir is "/"
5953         because that strips the *leading* slash, thus forcing relative
5954         FTP retrieval.
5955
5956 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5957
5958         * ftp.c (getftp): Convert initial FTP directory from VMS to UNIX
5959         notation for VMS servers.
5960         (ftp_retrieve_dirs): Do not prepend '/' to f->name when
5961         odir is an empty string.
5962
5963 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5964
5965         * ftp-ls.c (ftp_parse_winnt_ls): Made the fix for AM/PM more
5966         effective. Suggested by Edward J. Sabol.
5967
5968 2001-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
5969
5970         * cookies.c (build_cookies_request): Use and sort cookies from all
5971         matching domains.
5972         (build_cookies_request): Check for duplicates before generating
5973         the `Cookies' header.
5974
5975         * main.c (main): Don't load cookies here.
5976         (main): Make loadcookies and savecookies call the correct command.
5977
5978         * http.c (http_loop): Load cookies on-demand.
5979
5980 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
5981
5982         * http.c (gethttp): Fix indentation of SSL ifdef.
5983
5984 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
5985
5986         * ftp.c (ftp_retrieve_dirs): Don't forcibly prepend "/" to u->dir;
5987         that hack is no longer necessary.
5988         (getftp): Prepend initial directory to *non*-absolute u->dir's.
5989
5990 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
5991
5992         * init.c (cmd_file): New function.
5993         (enable_tilde_expansion): New variable.
5994         (run_wgetrc): Use it.
5995         (cmd_file): Use it.
5996
5997 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
5998
5999         * init.c: Include cookie-related options.
6000
6001         * main.c (main): Include cookie-specific options.
6002         (main): Load cookies before download is finished.
6003         (main): Save cookies when done.
6004
6005         * http.c (gethttp): Process the `Set-Cookie' header.
6006         (gethttp): Include cookies in the response.
6007
6008         * cookies.c: New file.
6009
6010 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
6011
6012         * utils.c (datetime_str): New function.
6013
6014 2001-04-08  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
6015
6016         * ftp-ls.c (ftp_parse_winnt_ls): The AM/PM change did assume
6017         12:01PM == 00:01, which was obviously wrong. Taken care of this
6018         anomaly.
6019
6020         * ChangeLog: Removed an excess conflict marker. Reformatted the
6021         entry by Philipp Thomas from 2001-03-09.
6022
6023         * ftp-ls.c (ftp_parse_winnt_ls): Ensure that adjusted PM hours lay
6024         between 0 and 23. Elminate unused variable `sec'.
6025
6026 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
6027
6028         * hash.c (hash_table_count): New function.
6029
6030 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
6031
6032         * utils.c (read_file): Cast MAP_FAILED to char *.  Enforced by
6033         Digital Unix cc.
6034
6035 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
6036
6037         * config.h.in: Oops, do the namespace tweaks only on systems we
6038         know about.
6039
6040 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
6041
6042         * hash.c: Include <string.h>.
6043
6044 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
6045
6046         * config.h.in: Define "compilation environment" options that work
6047         under Linux and Solaris.  To be reviewed on other OS'es.
6048
6049 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
6050
6051         * http.c (gethttp): Prepend literal newline with `\n\'.
6052
6053 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
6054
6055         * sysdep.h: Don't define VERY_LONG_FORMAT.
6056
6057         * utils.c (very_long_to_string): New function.
6058         (legible_very_long): Use it; don't use VERY_LONG_FORMAT.
6059
6060 2001-04-04  Christian Fraenkel  <christian.fraenkel@gmx.net>
6061
6062         * url.c (parse_uname): Would run past the end of the string if the
6063         username was present, but the URL did not contain a slash, e.g.
6064         http://foo:bar@myhost.
6065
6066 2001-04-03  KOJIMA Hajime  <kjm@rins.ryukoku.ac.jp>
6067
6068         * http.c (http_atotm): Use %A instead of %a to match full
6069         weekday.  (On most systems there is no difference.)
6070
6071 2001-04-03  Paul Bludov  <paul@ozero.net>
6072
6073         * mswindows.c (sleep): Use SleepEx() instead of Sleep().
6074         (ws_changetitle): Use alloca() instead of malloc() to avoid memory
6075         leak.
6076         (ws_mypath): Use GetModuleFileName instead of argv[0].
6077         (ws_startup): Use data.wVersion for comparison.
6078
6079 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
6080
6081         * http.c (http_loop): Ditto.
6082
6083         * ftp.c (ftp_loop_internal): Made the check whether to continue
6084         retrieval `-O'-friendly.
6085
6086 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
6087
6088         * netrc.c (parse_netrc): Don't trim the line endings explicitly;
6089         they will be handled as whitespace.
6090         (parse_netrc): Correctly handle lines that end with whitespace.
6091
6092 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
6093
6094         * retr.c (retrieve_url): New variable global_download_count used
6095         to identify first retrieval.
6096
6097         * ftp.c (getftp): Ditto.
6098
6099         * http.c (gethttp): Rewind opt.dfp only on first retrieval.
6100
6101 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
6102
6103         * init.c (cmd_address): Heap-allocate the address that gets stored
6104         to CLOSURE.  Old code would simply assign an address on the stack.
6105
6106 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
6107
6108         * ftp.c (ftp_get_listing): Propagate error status.
6109         (ftp_retrieve_glob): Use it.
6110         (ftp_loop): Ditto.
6111
6112 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
6113
6114         * main.c (main): Add -C to the string that is the third arg to
6115         getopt_long().
6116
6117 2001-04-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6118
6119         * ftp.c (getftp): Don't start the download from scratch if `-c'
6120         was specified, but the file is already fully downloaded.
6121
6122         * http.c (gethttp): Don't truncate a pre-existing file if `-c' was
6123         specified and the server doesn't support continued download.
6124         (gethttp): Don't start the download from scratch if `-c' was
6125         specified, but the file is already fully downloaded.
6126
6127 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
6128
6129         (recursive_retrieve): Don't clear the hash tables at this point at
6130         all; it interferes with the normal operation of register_download.
6131
6132 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
6133
6134         * recur.c (recursive_retrieve): Clear the hash tables only when
6135         they are defined.
6136
6137 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
6138
6139         * http.c (gethttp): Make sure the socket is closed with
6140         CLOSE_INVALIDATE before we have drained the body.
6141
6142 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
6143
6144         * retr.c (retrieve_url): Call register_download() for downloaded
6145         files and register_html() for downloaded HTML files.
6146
6147         * recur.c (register_download): New function; register here that a
6148         file has been downloaded, rather than in recursive_retrieve().
6149         (register_html): New function; enqueue the location of HTML files
6150         here rather than in recursive_retrieve().
6151
6152 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
6153
6154         * main.c (print_help): Use multiple fputs instead of a single ugly
6155         printf().
6156         (main): Consistently assign numbers >128 to options without a
6157         corresponding character.
6158
6159 2001-03-09  Philipp Thomas  <pthomas@suse.de>
6160
6161         * safe-ctype.h: New file. Locale independent ctype.h replacement
6162         taken from libiberty.
6163
6164         * safe-ctype.c: New file. Tables for above.
6165
6166         * Makefile.in: Add safe-ctype$o to OBJS.  Add dependencies for
6167         safe-ctype$o.
6168
6169         * cmpt.c: Remove include of ctype.h. Use ISSPACE instead of
6170         isspace.
6171
6172         * ftp-basic.c: Don't include ctype.h.
6173
6174         * ftp-ls.c: Likewise.
6175
6176         * ftp.c: Likewise.
6177
6178         * headers.c: Likewise.
6179
6180         * host.c: Likewise.
6181
6182         * html-parse.c: Likewise.
6183
6184         * html-url.c: Likewise.
6185
6186         * http.c: Likewise.
6187
6188         * init.c: Likewise.
6189
6190         * main.c: Likewise. Set LC_CTYPE along with LC_MESSAGES.
6191
6192         * netrc.c: Likewise.
6193
6194         * recur.c: Likewise.
6195
6196         * retr.c: Likewise.
6197
6198         * snprintf.c: Replace ctype.h with safe-ctype.h. Use ISDIGIT
6199         instead of isdigit.
6200
6201         * sysdep.h: Remove defines of ctype macros as they aren't needed
6202         for safe-ctype-h.
6203
6204         * url.c: Don't include ctype.h.
6205
6206         * utils.c: Likewise.
6207
6208         * wget.h: Include safe-ctype.h.
6209
6210 2001-03-27  Dan Harkless  <wget@harkless.org>
6211
6212         * Makefile.in: Moved top_builddir out of "User configuration
6213         section" of top Makefile and analogous spot in this one.
6214
6215 2001-03-17  Dan Harkless  <wget@harkless.org>
6216
6217         * Makefile.in: Include @SSL_INCLUDES@ substition in INCLUDES.
6218         Define top_builddir.  Link wget with libtool so the user doesn't
6219         have to supply a bunch of custom environment variables to
6220         correctly link with the OpenSSL shared libraries.
6221
6222 2001-03-06  Hack Kampbjorn  <hack@hackdata.com>
6223
6224         * http.c (gethttp): skip :port in host header if it is the
6225         DEFAULT_HTTPS_PORT when using SSL.
6226
6227         * url.c: move the #define of DEFAULT_HTTP_PORT, DEFAULT_FTP_PORT
6228         and DEFAULT_HTTPS_PORT to the header file so it can be use in the
6229         rest of the code.
6230         * url.h: Ditto
6231
6232 2001-03-01  Jonas Jensen  <bones@huleboer.dk>
6233
6234         * retr.c (show_progress): Correctly calculate the number of bytes
6235         in the first line of the download that have been actually
6236         downloaded in this run.
6237
6238 2001-02-23  Dan Harkless  <wget@harkless.org>
6239
6240         * main.c (print_help): --help documentation for -N said it would
6241         re-download files if they had the _same_ timestamp on server.
6242         (print_help): -nr belongs in "FTP options" section of --help
6243         output, not "Recursive retrieval" section.  Alphabetized FTP
6244         options by long option name.
6245
6246 2001-02-16  Dan Harkless  <wget@harkless.org>
6247
6248         * init.c (commands): Hack Kampbjørn <hack@hackdata.com> discovered
6249         that "httpsproxy" had been inserted into commands[] out of
6250         alphabetical order, causing "BUG: unknown command `httpuser'".
6251
6252 2001-02-13  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
6253
6254         * ftp-ls.c (ftp_parse_ls): Added support of ST_MACOS (Unix-like
6255         listing without correct permissons).
6256
6257         * ftp.h (stype): Added ST_MACOS to identify the NetPresenz MacOS
6258         FTP server.
6259
6260         * ftp.c (ftp_retrieve_list): New mirroring logic: A remote file
6261         shall be donwloaded only when it's newer than the local copy or
6262         when it has the same timeestamp but its size is different. ST_VMS
6263         and ST_MACOS as special cases that lie about file size.
6264
6265         * ftp-ls.c (ftp_parse_ls): Support for ST_MACOS.
6266
6267         * Makefile.in: Removed dependency on ftpparse library due to unclear
6268         copyright issues and absence of any feedback to our queries.
6269
6270         * ftp-ls.c: Removed dependency on ftpparse library due to unclear
6271         copyright issues and absence of any feedback to our queries.
6272         (ftp_parse_ls): Added a warning message when remote server system
6273         does not seem to be suported by wget.
6274         (ftp_parse_vms_ls): New function for parsing VMS ftp
6275         server listing output.
6276         (clean_line): New function responsible for removing
6277         end-of-line characters from FTP listing texts.
6278
6279         * ftp.c (getftp): Global variables pwd and host_type are now
6280         member of the ccon structure under names ccon.id and ccon.rs.
6281
6282         * ftp.h (struct ccon): Added formed global variables from ftp.c,
6283         enum stype rs (remote system identification) and char *id (initial
6284         working directory), as suggested by Hrvoje.
6285
6286         * url.c (parse_uname): Added support for passwords containing '@'
6287         characters.
6288         (skip_uname): Ditto.
6289
6290 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
6291
6292         * ftp.c (ftp_loop): Reset con.
6293
6294 2001-01-06  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
6295
6296         * url.c (parse_uname): Added support for passwords containing '@'
6297         characters.
6298         (skip_uname): Ditto.
6299
6300 2001-02-11  Hack Kampbjørn  <hack@hackdata.com>
6301
6302         * url.c (parseurl): Debug-print u->ftp_type.
6303
6304 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
6305
6306         * ftp.c (ftp_loop_internal): Disable padding.
6307         (getftp): Ditto.
6308
6309         * http.c (http_loop): Disable padding.
6310
6311         * retr.c (show_progress): Use it to enable padding.
6312
6313         * retr.c (rate): Optional parameter PAD for padding the rate.
6314
6315 2001-02-10  Hrvoje Niksic  <hniksic@arsdigita.com>
6316
6317         * retr.c (show_progress): Make sure that the last output line
6318         includes progress.
6319
6320 2001-02-10  Jonas Jensen  <bones@huleboer.dk>
6321
6322         * retr.c (show_progress): Print the download rate along with the
6323         percentages.
6324         Along with Anders Thorsby <anders@thorsby.dk>.
6325
6326 2001-02-10  Tim Mooney  <mooney@dogbert.cc.ndsu.NoDak.edu>
6327
6328         * ftp.h: Rename enums `command' to `wget_ftp_command' and
6329         `fstatus' to `wget_ftp_status' because old names clash with Tru64
6330         net/if.h.
6331
6332 2001-02-08  Christian Fraenkel <christian.fraenkel@gmx.net>
6333
6334         * gen_sslfunc.c: verify_callback is now static
6335
6336         * gen_sslfunc.c (init_ssl): load certificate if specified
6337
6338         * gen_sslfunc.c (ssl_printerr): new function
6339
6340         * init.c: added new --sslcertfile and --sslcertkey switches
6341
6342         * main.c: ditto
6343
6344         * options.h: ditto
6345
6346         * http.c (gethttp): abort when init_ssl fails
6347
6348 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
6349
6350         * mswindows.h: Include <malloc.h>; it's needed for alloca().
6351
6352 2001-01-10  Dan Harkless  <wget@harkless.org>
6353
6354         * url.c (str_url): Clarified this function's comment header after
6355         Hrvoje answered my question on the list as to when hide != 1.
6356         Also Hrvoje pointed out I need to use xstrdup() on the string literal.
6357
6358 2001-01-06  Hrvoje Niksic  <hniksic@arsdigita.com>
6359
6360         * connect.c (bindport): Declare addrlen as int.  Diagnosed by
6361         Drazen Kacar <dave@arsdigita.com>.
6362         (conaddr): Ditto.
6363
6364 2001-01-09  Dan Harkless  <wget@harkless.org>
6365
6366         * html-url.c: A bunch of fixup of `--page-requisites'-related
6367         comments to reflect Hrvoje's changes to my code when transplanting
6368         it into this new file, to fix spelling mistakes, to clarify, etc.
6369
6370         * url.c (write_backup_file): Clarified a comment.
6371         (str_url): Henrik van Ginhoven pointed out on the list that we
6372         shouldn't give away the number of characters in the password by
6373         replacing each character with a 'x'.  Use "<password>" instead.
6374
6375         * ftp.c (ftp_retrieve_dirs): The bug where recursion into FTP
6376         directories didn't work if logging in put you in a directory other
6377         than "/" is fixed now.  Removed the comment here warning of the bug.
6378
6379         * main.c (print_help): --continue's description was misleading.
6380         We don't "restart", we "resume".  Also, better to say
6381         "partially-downloaded file" rather than just "existing file".
6382
6383 2001-01-06  Dan Harkless  <wget@harkless.org>
6384
6385         * ChangeLog: The '[Not in 1.6 branch.]'s were decided not to be
6386         the best way to go about my aim.  Removed them in favor of:
6387
6388         * ChangeLog-branches/1.6_branch.ChangeLog: New file.
6389
6390 2001-01-04  Hrvoje Niksic  <hniksic@arsdigita.com>
6391
6392         * url.c (replace_attr): New function, to be used by both
6393         TO_COMPLETE and TO_RELATIVE case in convert_links.
6394         (find_fragment): New function for finding URL fragments.
6395         (replace_attr): Better handle the case where the original string
6396         is not quoted.  Use find_fragment.
6397         (convert_links): Use replace_attr().
6398
6399 2000-12-31  Dan Harkless  <wget@harkless.org>
6400
6401         * ChangeLog: Since this flat file doesn't have multiple branches,
6402         looking at the dates would make you think that things went into
6403         1.6 that actually just went into the 1.7-dev branch.  Added "[Not
6404         in 1.6 branch.]" where appropriate to clarify.
6405
6406 2000-12-30  Dan Harkless  <wget@harkless.org>
6407
6408         * ftp.c, http.c:  Applied Hack Kampbjørn <hack@hackdata.com>'s
6409         patch to deal with h_errno not being defined in netdb.h under Cygwin.
6410
6411 2000-12-18  Csaba Raduly  <csaba.raduly@sophos.com>
6412
6413         * sysdep.h: Include <malloc.h> and <io.h> under Watcom.
6414
6415 2000-12-17  Igor Khristophorov  <igor@atdot.org>
6416
6417         * http.c (check_end): Fix test for '+' or '-'.
6418
6419 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
6420
6421         * url.c (parseurl): Rename inner loop var from i to ind to avoid
6422         clash with the function top-level-declared variable i.
6423         (str_url): Likewise, rename inner-loop i to j.
6424
6425         * recur.c (parse_robots): Don't declare LEN at top of function.
6426         (robots_match): Renamed parameter FORBIDDEN to avoid hiding of
6427         global variable.
6428
6429         * main.c (main): Change erroneous use of bitwise and to logical.
6430
6431         * init.c (cmd_address): Don't heap-allocate `sin'; it can be on
6432         the stack because it will be copied to closure.
6433
6434         Thanks to Csaba Raduly's run of PC-LINT over the sources.
6435
6436 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
6437
6438         * http.c (basic_authentication_encode): Use xmalloc(), not
6439         malloc().  Thanks to Csaba Raduly's run of PC-LINT over the
6440         sources.
6441
6442 2000-12-17  Csaba Raduly  <csaba.raduly@sophos.com>
6443
6444         * sysdep.h: Test for __EMX__ rather than for EMXOS2 for OS/2
6445         compilation.
6446
6447 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
6448
6449         * mswindows.c: Include <errno.h>.
6450
6451         * gen_sslfunc.c: Include <errno.h>.
6452
6453         * ftp-basic.c: Don't attempt to declare errno or h_errno because
6454         they're not used.
6455
6456         * main.c: Include <errno.h> because errno is used.
6457
6458         * ftp.c: Ditto.
6459
6460         * http.c: Include <netdb.h> for h_errno.
6461
6462 2000-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
6463
6464         * html-parse.c (advance_declaration): MSVC assert() chokes on
6465         '\"'.  Use '"' instead.
6466
6467 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
6468
6469         * utils.c (xfree_real): Removed.
6470         (xfree_debug): Just call free().
6471
6472         * wget.h (xfree): Make it an alias for free.
6473
6474 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
6475
6476         * http.c (http_loop): Furthermore, touch output_document only if
6477         it is known to be an existing regular file.
6478
6479 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
6480
6481         * ftp.c (ftp_retrieve_list): Ditto.
6482
6483         * http.c (http_loop): Touch output_document if that is used for
6484         output.
6485
6486 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
6487
6488         * http.c: Include gen_sslfunc.h after including Wget's headers.
6489         (persistent_available_p): Needed coma before `int ssl'.
6490
6491 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
6492
6493         * ftp.c (ftp_loop_internal): Ditto.
6494
6495         * http.c (http_loop): Use it.
6496
6497         * retr.c (sleep_between_retrievals): New function that handles the
6498         logic of opt.wait and opt.waitretry.
6499
6500 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
6501
6502         * rbuf.h: Implement only a single version of RBUF_READCHAR, using
6503         rbuf_read_bufferful when the buffer is depleted.
6504
6505         * rbuf.c (rbuf_read_bufferful): New function.
6506
6507 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
6508
6509         * gen_sslfunc.h: Use ansi2knr style function declarations.
6510
6511         * gen_sslfunc.c: Reformat according to the GNU coding standards.
6512         More should be done.
6513
6514         * http.c (persistent_available_p): Place the cheap SSL test nearer
6515         the top of the function.
6516         (CLOSE_FINISH, CLOSE_INVALIDATE): Define only one version of each.
6517
6518 2000-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
6519
6520         * url.c (init_unsafe_char_table): Reinstate space as an unsafe
6521         char.
6522
6523 2000-12-03  Christian Fraenkel <christian.fraenkel@gmx.net>
6524
6525         * Makefile.in: added gen_sslfunc object
6526         * config.h.in: added HAVE_SSL define
6527         * connect.c: changed select_fd from static int to int
6528         * connect.h: ditto
6529         * gen_sslfunc.h: New file
6530         * gen_sslfunc.c: ditto
6531         * http.c: added HTTPS fuctionality
6532         * retrc.c: ditto
6533         * url.c: ditto
6534         * init.c: added opt.httpsproxy
6535         * options.h: ditto
6536         * rbuf.h: added alternate rbuf struct
6537         * wget.h: added CONSSLERR
6538         * rbuf.c: ditto
6539
6540         * http.c: Added HTTPS fuctionality.
6541
6542         * retrc.c: Ditto.
6543
6544         * url.c: Ditto.
6545
6546         * init.c: Added opt.httpsproxy.
6547
6548         * options.h: Ditto.
6549
6550         * rbuf.h: Added alternate rbuf struct.
6551
6552         * wget.h: Added CONSSLERR.
6553
6554         * rbuf.c: Ditto.
6555
6556 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
6557
6558         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
6559         "ignore_perms" to ignore file and directory permissions for
6560         Windows NT FTP server listings.
6561         (ftp_parse_winnt_ls): New function.
6562         (ftp_parse_ls): Parses UNIX and Windows NT listings
6563         separately. Simple heuristics for distinguishing between UNIX and
6564         MS-DOS-like FTP listing provided by Windows NT FTP service.
6565
6566 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
6567
6568         * ftpparse.c, ftpparse.h: New files.
6569
6570         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
6571         only. Use ftp_parse_nonunix_ls otherwise.
6572         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
6573         exotic FTP servers.
6574
6575         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
6576         FTP servers.
6577
6578         * ftp.c: New static wariables host_type, pwd, and pwd_len.
6579         (getftp): Support for VMS. Support for FTP servers that do not
6580         place you in the root directory after login.
6581         (ftp_retrieve_list): VMS is silent about the real file size, issue
6582         a more appropriate message.
6583         (ftp_get_listing): Pass host_type to ftp_parse_ls.
6584
6585         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
6586
6587 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
6588
6589         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
6590         "ignore_perms" to ignore file and directory permissions for
6591         Windows NT FTP server listings.
6592         (ftp_parse_winnt_ls): New function.
6593         (ftp_parse_ls): Parses UNIX and Windows NT listings
6594         separately. Simple heuristics for distinguishing between UNIX
6595         and MS-DOS-like FTP listing provided by Windows NT FTP service.
6596
6597 2000-11-29  John Summerfield  <summer@OS2.ami.com.au>
6598
6599         * netrc.c (parse_netrc): Get rid of line ending.
6600
6601 2000-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
6602
6603         * ftp.c (ftp_retrieve_list): Undo typo "fix" until resolution by
6604         Dan.
6605
6606 2000-11-24  Karl Eichwalder  <ke@suse.de>
6607
6608         * main.c (print_help): Untabify.
6609
6610 2000-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
6611
6612         * utils.c (xrealloc_debug): Do the unregister/register thing only
6613         if the pointer has actually changed.
6614         (xmalloc_real): Declare `static' in DEBUG_MALLOC builds.
6615         (xfree_real): Ditto.
6616         (xrealloc_real): Ditto.
6617         (xstrdup_real): Ditto.
6618
6619 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
6620
6621         * ftp.c (getftp): ftp_getaddress() returns a malloc'ed copy of the
6622         string; no need to strdup() it.
6623         (getftp): Make pwd_len a local variable.
6624         (ftp_loop): Free PWD before returning.
6625
6626         * init.c (cleanup): Free opt.ftp_pass only if it's non-NULL.
6627
6628 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
6629
6630         * all: Use xfree() instead of free.
6631
6632         * utils.c (xfree): New function.
6633
6634 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
6635
6636         * url.c (convert_links): HTML-quote the converted string.
6637
6638         * utils.c (html_quote_string): Move here from ftp-ls.c
6639         (html_quote_string): Make non-static; declare in utils.h.
6640         (html_quote_string): Convert SP to &#32;.
6641
6642 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
6643
6644         * ftp.c (getftp): Reformat Jan's code according to GNU coding
6645         standards; remove (debugging?) printf's; use '\0' for the ASCII
6646         zero character.  Use alloca() instead of malloc() for
6647         inter-function temporary allocations.
6648
6649 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
6650
6651         * ftpparse.c, ftpparse.h: New files.
6652
6653         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
6654         only. Use ftp_parse_nonunix_ls otherwise.
6655         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
6656         exotic FTP servers.
6657
6658         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
6659         FTP servers.
6660
6661         * ftp.c: New static wariables host_type, pwd, and pwd_len.
6662         (getftp): Support for VMS. Support for FTP servers that do not
6663         place you in the root directory after login.
6664         (ftp_retrieve_list): VMS is silent about the real file size, issue
6665         a more appropriate message.
6666         (ftp_get_listing): Pass host_type to ftp_parse_ls.
6667
6668         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
6669
6670 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
6671
6672         * hash.c (hash_table_put): Don't overwrite deleted mappings.
6673
6674 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
6675
6676         * hash.c (find_mapping): New function.
6677         (hash_table_get): Use it.
6678         (hash_table_get_pair): Ditto.
6679         (hash_table_exists): Ditto.
6680         (hash_table_remove): Ditto.
6681         (hash_table_remove): Really delete the entry if the mapping
6682         following LOCATION is empty.
6683
6684         * utils.c (string_set_add): Check whether the element has existed
6685         before.
6686
6687         * hash.c (hash_table_get_pair): New function.
6688
6689 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
6690
6691         * http.c (http_process_type): Ignore trailing whitespace; use
6692         strdupdelim().
6693
6694         * recur.c (recursive_retrieve): Use the new `convert' field.
6695         (convert_all_links): Ditto.
6696         (convert_all_links): Don't respect meta_disallow_follow.
6697
6698         * html-url.c (handle_link): Fill out link_relative_p and
6699         link_complete_p.
6700
6701         * url.h (struct _urlpos): Make elements more readable.
6702
6703         * recur.c (recursive_retrieve): Call slist_prepend instead of
6704         slist_append.
6705         (convert_all_links): Call slist_nreverse before iterating through
6706         urls_html.
6707
6708         * utils.c (slist_prepend): New function.
6709         (slist_nreverse): Ditto.
6710
6711 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
6712
6713         * http.c (check_end): Constify.
6714
6715 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
6716
6717         * http.c (http_loop): If username and password are known, try the
6718         `Basic' authentication scheme by default.
6719
6720         * connect.h: Declare test_socket_open.
6721
6722 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
6723
6724         * version.c: Bump version from 1.5.3+dev to 1.7-dev.
6725
6726 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
6727
6728         * http.c (gethttp): Don't use the return value of sprintf().
6729         (gethttp): Inhibit keep-alive if opt.http_keep_alive is 0.
6730
6731 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
6732
6733         * recur.c (recursive_retrieve): Print the "so we don't load"
6734         debugging message only if we really don't load.
6735
6736         * http.c (gethttp): Inhibit keep-alive if proxy is being used.
6737         (gethttp): Don't request keep-alive if keep-alive is inhibited.
6738
6739 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
6740
6741         * http.c (gethttp): Make the HTTP persistent connections more
6742         robust.
6743
6744 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
6745
6746         * retr.c (get_contents): If use_expected, make sure that the
6747         appropriate amount of data is being read.
6748
6749         * http.c (gethttp): Check for both `Keep-Alive: ...' and
6750         `Connection: Keep-Alive'.
6751
6752         * wget.h (DEBUGP): Call debug_logprintf only if opt.debug is
6753         turned on.
6754
6755 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
6756
6757         * http.c (connection_available_p): Use it.
6758
6759         * connect.c (test_socket_open): New function.
6760
6761         * http.c (gethttp): Support persistent connections.  Based on the
6762         ideas, and partly on code, by Sam Horrocks <sam@daemoninc.com>.
6763         (register_persistent): New function.
6764         (connection_available_p): Ditto.
6765         (invalidate_connection): Ditto.
6766
6767 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
6768
6769         * url.c (convert_links): Handle UREL2ABS case.
6770
6771         * recur.c (recursive_retrieve): Instead of the list
6772         urls_downloaded, use hash tables dl_file_url_map and
6773         dl_url_file_map.
6774         (convert_all_links): Use them to retrieve data.
6775
6776         * host.c (clean_hosts): Free the hash tables.
6777
6778         * main.c (private_initialize): Call host_init().
6779
6780         * host.c (store_hostaddress): Use a saner, hash table-based data
6781         model.
6782         (realhost): Ditto.
6783         (host_init): Initialize the hash tables.
6784
6785 2000-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
6786
6787         * utils.c (slist_append): Eviscerate NOSORT.  Hash tables are now
6788         used for what the sorted slists used to be used for.
6789         (slist_contains): Don't rely on the list being sorted.
6790         (slist_append): Simplify the code.
6791
6792         * recur.c (recursive_cleanup): Use free_string_set.
6793
6794         * utils.c (string_set_add, string_set_exists, string_set_free):
6795         New functions for easier freeing of hash tables whose keys are
6796         strdup'ed strings.
6797
6798         * recur.c (recursive_retrieve): Use the hash table functions for
6799         storing undesirable URLs.
6800
6801         * hash.c: New file.
6802
6803 2000-11-17  Hrvoje Niksic  <hniksic@arsdigita.com>
6804
6805         * main.c (private_initialize): Call url_init.
6806         (main): Call private_initialize.
6807
6808         * url.c (unsafe_char_table): New table.
6809         (UNSAFE_CHAR): Use it.
6810         (init_unsafe_char_table): New function.
6811         (url_init): New function; call init_unsafe_char_table.
6812
6813 2000-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
6814
6815         * mswindows.h: Define snprintf and vsnprintf to _snprintf and
6816         _vsnprintf respectively.
6817
6818 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
6819
6820         * config.h.in: Do the _XOPEN_SOURCE and _SVID_SOURCE things only
6821         on Linux.
6822
6823 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
6824
6825         * html-url.c (handle_link): Handle HTML fragment identifiers.
6826
6827         * recur.c (recursive_retrieve): If norobot info is respected and
6828         the file is specified not to be followed by robots, respect that.
6829
6830         * html-url.c (collect_tags_mapper): Handle <meta name=robots
6831         content=X>.  For us the important cases are where X is NONE or
6832         where X contains NOFOLLOW.
6833         (get_urls_html): Propagate that information to the caller.
6834
6835 2000-11-13  Hrvoje Niksic  <hniksic@arsdigita.com>
6836
6837         * url.c (convert_links): Unlink the file we might be reading from
6838         before writing to it.
6839         (convert_links): Use alloca instead of malloc for
6840         filename_plus_orig_suffix.
6841
6842 2000-11-12  Hrvoje Niksic  <hniksic@arsdigita.com>
6843
6844         * host.c (realhost): Add HOST to the list with quality==0 only if
6845         it wasn't already there.
6846         Based on analysis by Lu Guohan <feng@public.bjnet.edu.cn>.
6847
6848 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
6849
6850         * url.c (get_urls_file): Ditto.
6851         (convert_links): Ditto.
6852
6853         * html-url.c (get_urls_html): Use read_file() instead of
6854         load_file().
6855
6856         * utils.c (read_file): New function, instead of the old
6857         load_file().
6858         (read_file_free): Ditto.
6859
6860         * url.c (findurl): Search only for the supported protocols.
6861         (convert_links): Use fwrite() when writing out a region of
6862         characters.
6863
6864 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
6865
6866         * ftp-ls.c: Move html_quote_string and ftp_index here.
6867
6868         * url.c: Remove get_urls_html, since that's now in html-url.c.
6869
6870         * html-url.c: New file.
6871
6872         * html-parse.c: New file.
6873
6874 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
6875
6876         * init.c (run_wgetrc): Don't bother killing off '\r' since
6877         pars_line() skips whitespace at end of line anyway.
6878         (parse_line): Oops, it didn't.  Now it does.
6879
6880         * recur.c (parse_robots): Ditto here.
6881
6882         * ftp-ls.c (ftp_parse_unix_ls): Kill off the newline character
6883         manually because read_whole_line no longer does.
6884
6885         * utils.c (read_whole_line): Rewrite to: a) use less memory
6886         (reallocates to needed size after work), b) work faster -->
6887         fgets() instead of getc, c) be more correct --> doesn't kill the
6888         newline character at the end of line.
6889
6890 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
6891
6892         * init.c (comind): Initialize MAX to array size - 1.
6893
6894 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
6895
6896         * url.c (construct): Changed last_slash[-1] to *(last_slash - 1).
6897         Suggested by Edward J. Sabol.
6898
6899 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
6900
6901         * url.c (construct): Handle the case where host name is not
6902         followed by a slash.
6903
6904 2000-11-06  Hrvoje Niksic  <hniksic@arsdigita.com>
6905
6906         * init.c: commands[] need to be sorted!  ("base" wasn't.)
6907
6908 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
6909
6910         * wget.h (DO_REALLOC_FROM_ALLOCA): Use braces to disambiguate
6911         `if'.
6912
6913 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
6914
6915         * url.c (construct): Insert unneeded initialization for the
6916         compiler to shut up.
6917
6918         * config.h.in: Define _XOPEN_SOURCE to 500 to get the prototype
6919         for strptime() (*duh*).  Define _SVID_SOURCE to get S_IFLNK which
6920         otherwise gets lost when you define _XOPEN_SOURCE.
6921
6922         * utils.c (touch): Include the file name in the error message.
6923         From Debian.
6924
6925 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
6926
6927         * log.c (logvprintf): Use vsnprintf() in all cases.  If necessary,
6928         resize the buffer to fit the formated message.  That way, messages
6929         of arbitrary size may be printed.
6930         (logvprintf): Use saved_append() to optionally log the last
6931         several lines of output.
6932         (logputs): Ditto.
6933         (log_close): Adapt to new data structures.
6934         (log_dump): Ditto.
6935         (redirect_output): Print messages to stderr, not to stdout.
6936
6937         * log.c (saved_append_1): New function.  Replaces the old logging
6938         system ("log all output until 10M characters") with a new, much
6939         more reasonable one ("log last screenful of text").
6940         (saved_append): New function; call saved_append_1.
6941         (free_log_line): New function.
6942
6943 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
6944
6945         * url.c (construct): Fix comment.
6946         (find_last_char): Document.
6947
6948 2000-11-04  Hrvoje Niksic  <hniksic@arsdigita.com>
6949
6950         * snprintf.c: New file.
6951
6952 2000-11-03  Hrvoje Niksic  <hniksic@arsdigita.com>
6953
6954         * wget.h: If HAVE_STDARG_H is not defined, don't declare argument
6955         types to logprintf() and debug_logprintf().
6956
6957 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
6958
6959         * ftp.c (ftp_loop_internal): Hide the password from the URL when
6960         printing non-verbose.  Problem spotted by Dariusz Mlynarczyk
6961         <darekm@bydg.lomac.com.pl>.
6962
6963 2000-11-02  Junio Hamano  <junio@twinsun.com>
6964
6965         * ftp-basic.c (ftp_login): Make comparison case-insensitive.
6966
6967 2000-11-02  Tyler Riddle  <triddle@liquidmarket.com>
6968
6969         * http.c (known_authentication_scheme_p): Recognize NTML
6970         authentication.
6971         (create_authorization_line): Treat NTML the same as `Basic'.
6972
6973 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
6974
6975         * retr.c (retrieve_url): Free url before returning.
6976         (retrieve_url): Free mynewloc before returning.
6977         Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
6978
6979 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
6980
6981         * url.c (parseurl): Remove possible reading past the end of
6982         sup_protos[].  Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
6983
6984 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6985
6986         * main.c (main): In case of opt.downloaded overflowing, print
6987         <overflow> instead of a totally bogus random value.
6988
6989         * retr.c (retrieve_from_file): Ditto.
6990
6991         * recur.c (recursive_retrieve): Ditto.
6992
6993         * main.c (main): Ditto.
6994
6995         * http.c (http_loop): Ditto.
6996
6997         * ftp.c (ftp_loop_internal): Use downloaded_increase() instead of
6998         `+=', and downloaded_exceeds_quota() instead of the simple-minded
6999         check.
7000         (ftp_retrieve_list): Ditto.
7001         (ftp_retrieve_dirs): Ditto.
7002         (ftp_retrieve_glob): Ditto.
7003
7004         * retr.c (downloaded_increase): New function.  Notice overflows of
7005         opt.downloaded.
7006         (downloaded_exceeds_quota): Make sure that opt.downloaded is not
7007         used if it overflowed.
7008
7009         * options.h (struct options): New member downloaded_overflow.
7010
7011 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
7012
7013         * wget.h (enum): Remove extra space after last enumeration.
7014
7015 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
7016
7017         * main.c (main): Use legible_very_long() for printing
7018         opt.downloaded.
7019
7020         * utils.c (legible_1): New function that operates on strings and
7021         does the brunt of legible()'s work.
7022         (legible): Use legible_1().
7023         (legible_very_long): New function; dump the argument with
7024         sprintf(), and call legible_1().
7025
7026         * options.h (struct options): Use VERY_LONG_TYPE for
7027         opt.downloaded.
7028
7029         * sysdep.h (VERY_LONG_TYPE): Define it to have a 64-bit or greater
7030         type.
7031
7032         * config.h.in: Make sure that SIZEOF_LONG and SIZEOF_LONG_LONG get
7033         defined.  Define HAVE_LONG_LONG if long long is available.
7034
7035 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
7036
7037         * utils.c (long_to_string): Update with a later, better version.
7038
7039 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
7040
7041         * url.c (path_simplify_with_kludge): New function.
7042         (path_simplify_with_kludge): Disable it.  Instead...
7043         (parse_dir): ...make sure that at this point the right thing is
7044         done, i.e. that "query" part of the URL (?...) is always assigned
7045         to the file, never to the directory portion of the path.
7046
7047 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
7048
7049         * retr.c (retrieve_url): Detect redirection cycles.
7050
7051 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
7052
7053         * url.c (get_urls_html): Decode HTML entities using
7054         html_decode_entities.
7055
7056         * html.c (htmlfindurl): Don't count the `#' in numeric entities
7057         (&#NNN;) as an HTML fragemnt.
7058         (html_decode_entities): New function.
7059
7060 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
7061
7062         * html.c (htmlfindurl): Fix recognition of # HTML fragments.
7063
7064 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
7065
7066         * url.c (construct): Rewritten for clarity.  Avoids the
7067         unnecessary copying and stack-allocation the old version
7068         performed.
7069
7070 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
7071
7072         * ftp.c (getftp): Ditto.
7073
7074         * http.c (gethttp): Rewind the stream when retrying from scratch.
7075
7076 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
7077
7078         * retr.c (retrieve_url): Use url_concat() to handle relative
7079         redirections instead of /ad hoc/ code.
7080
7081         * url.c (url_concat): New function encapsulating weird
7082         construct().
7083         (urllen_http_hack): New function.
7084         (construct): When constructing new URLs, recognize that `?' does
7085         not form part of the file name in HTTP.
7086
7087 2000-10-13  Adrian Aichner  <adrian@xemacs.org>
7088
7089         * retr.c: Add msec timing support for WINDOWS.
7090         * retr.c (reset_timer): GetSystemTime() on WINDOWS.
7091         * retr.c (elapsed_time): Calculate delta time to msec on WINDOWS.
7092
7093 2000-10-27  Dan Harkless  <wget@harkless.org>
7094
7095         * retr.c (retrieve_url): Manually applied T. Bharath
7096         <TBharath@responsenetworks.com>'s patch to get wget to grok
7097         illegal relative URL redirects.  Reformatted and re-commented it.
7098
7099 2000-10-23  Dan Harkless  <wget@harkless.org>
7100
7101         * connect.c (make_connection and bindport): Manually applied Rob
7102         Mayoff <mayoff@dqd.com>'s 1.5.3 patch to add --bind-address,
7103         changing coding style to GNU's.
7104
7105         * ftp.c (ftp_loop_internal): --delete-after wasn't implemented for
7106         files downloaded via FTP.  Per a comment, .listing files were not
7107         counted towards number of bytes and files downloaded because they're
7108         deleted anyway.  Well, they aren't under -nr, so count them then.
7109
7110         * init.c: Manually applied Rob Mayoff's 1.5.3 patch to add
7111         --bind-address, alphabetizing, changing coding style to GNU's,
7112         commenting, and renaming cmd_ip_address() to cmd_address() to
7113         imply hostnames also okay.
7114
7115         * main.c (main): --delete-after didn't delete the root of the
7116         tree.  Ignore --convert-links if --delete-after was specified.
7117         Manually applied Rob Mayoff's 1.5.3 patch to add --bind-address,
7118         fixing duplicate use of added-since-1.5.3 case value.
7119         (print_help): Clarified that --delete-after deletes local files.
7120         Rob forgot to add a line for his new --bind-address option.
7121
7122         * options.h (struct options): Manually applied Rob Mayoff's patch
7123         to add --bind-address (bind_address structure member).
7124
7125         * recur.c (recursive_retrieve): Improved comment; added DEBUGP().
7126         Ignore --convert-links if --delete-after was specified.
7127
7128         * retr.c (retrieve_from_file): Just added a DEBUGP().
7129
7130 2000-10-19  Dan Harkless  <wget@harkless.org>
7131
7132         * ftp.c (ftp_loop_internal): downloaded_file() enumerators changed.
7133         (getftp): Applied Piotr Sulecki <Piotr.Sulecki@ios.krakow.pl>'s
7134         patch to work around FTP servers that incorrectly respond to the
7135         "REST" command with the remaining size rather than the total file size.
7136
7137         * http.c (gethttp): Improved a comment and added code to tack on
7138         ".html" to text/html files without that extension when -E specified.
7139         (http_loop): Use new downloaded_file() enumerators and deal with
7140         the case of gethttp() called xrealloc() on u->local.
7141
7142         * init.c (commands): Added new "htmlextension" command.
7143         Also renamed John Daily's cmd_quad() to the more descriptive
7144         cmd_lockable_boolean(), alpha-sorted the CMD_DECLARE()s and
7145         removed duplicate cmd_boolean() declaration.
7146
7147         * main.c (print_help): Added my new -E / --html-extension option.
7148         (main): Undocumented --email-address option previously used -E synonym.
7149         Stole it away for the much more deserving --html-extension's use.
7150
7151         * options.h (struct options): Added html_extension field.
7152
7153         * url.c (convert_links): URL X that we saved as X.html locally due
7154         to -E needs to be backed up as X.orig, not X.html.orig.  Added comments.
7155         (downloaded_file): Now remembers if we added .html extension to a file.
7156
7157         * url.h (downloaded_file_t): Added extra enumerators to support above.
7158         (downloaded_file): Now takes and returns a downloaded_file_t.
7159
7160         * wget.h (unnamed "dt" enum): Added ADDED_HTML_EXTENSION enumerator.
7161
7162 2000-10-09  Dan Harkless  <wget@harkless.org>
7163
7164         * html.c (htmlfindurl): Added unneeded initialization to quiet warning.
7165
7166         * main.c (print_help): Clarified what --retr-symlinks does.
7167
7168 2000-09-15  John Daily  <jdaily@cyberdude.com>
7169
7170         * init.c: Add support for "always" and "never" values to allow
7171         .wgetrc to override commandline (useful e.g. with .pm files
7172         calling `wget --passive-ftp' when your firewall doesn't allow that).
7173
7174         * ftp.c (getftp): passive_ftp is first option to support always/never.
7175
7176 2000-08-30  Dan Harkless  <wget@harkless.org>
7177
7178         * ftp.c (ftp_retrieve_list): Use new INFINITE_RECURSION #define.
7179
7180         * html.c: htmlfindurl() now takes final `dash_p_leaf_HTML' parameter.
7181         Wrapped some > 80-column lines.  When -p is specified and we're at a
7182         leaf node, do not traverse <A>, <AREA>, or <LINK> tags other than
7183         <LINK REL="stylesheet">.
7184
7185         * html.h (htmlfindurl): Now takes final `dash_p_leaf_HTML' parameter.
7186
7187         * init.c: Added new -p / --page-requisites / page_requisites option.
7188
7189         * main.c (print_help): Clarified that -l inf and -l 0 both allow
7190         infinite recursion.  Changed the unhelpful --mirrior description
7191         to simply give the options it's equivalent to.  Added new -p option.
7192         (main): Added some comments; handle new -p / --page-requisites.
7193
7194         * options.h (struct options): Added new page_requisites field.
7195
7196         * recur.c: Changed "URL-s" to "URLs" and "HTML-s" to "HTMLs".
7197         Calculate and pass down new `dash_p_leaf_HTML' parameter to
7198         get_urls_html().  Use new INFINITE_RECURSION #define.
7199
7200         * retr.c: Changed "URL-s" to "URLs".  get_urls_html() now takes
7201         final `dash_p_leaf_HTML' parameter.
7202
7203         * url.c: get_urls_html() and htmlfindurl() now take final
7204         `dash_p_leaf_HTML' parameter.
7205
7206         * url.h (get_urls_html): Now takes final `dash_p_leaf_HTML' parameter.
7207
7208         * wget.h: Added some comments and new INFINITE_RECURSION #define.
7209
7210 2000-08-23  Dan Harkless  <wget@harkless.org>
7211
7212         * main.c (print_help): -B / --base was not mentioned.
7213
7214 2000-08-22  Dan Harkless  <wget@harkless.org>
7215
7216         * main.c (print_help): Modified -nc description to mention that it
7217         also prevents the creation of multiple versions of the same file
7218         with ".<number>" suffixes.
7219
7220 2000-07-14  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
7221
7222         * retr.c (retrieve_url): Consistently strdup opt.referer when
7223         setting u->referer.
7224
7225 2000-06-09  Dan Harkless  <wget@harkless.org>
7226
7227         * main.c (print_help): --help output for --waitretry was over 80 cols.
7228
7229 2000-06-09  Hrvoje Niksic  <hniksic@iskon.hr>
7230
7231         * url.c (encode_string): Fix comment.
7232         Suggested by Herold Heiko <Heiko.Herold@previnet.it>.
7233
7234 2000-06-01  Const Kaplinsky  <const@ce.cctpu.edu.ru>
7235
7236         * ftp.c (ftp_retrieve_list): Change permissions only on plain
7237         files.
7238
7239 2000-06-01  Hrvoje Niksic  <hniksic@iskon.hr>
7240
7241         * url.c (str_url): Print the port number only if it's different
7242         from the default port number for that protocol.
7243
7244 2000-05-22  Dan Harkless  <wget@harkless.org>
7245
7246         * main.c (print_help): Added --help line for Damir Dzeko
7247         <ddzeko@zesoi.fer.hr>'s until-now-undocumented --referer option.
7248         Removed comments that --referer and --waitretry were undocumented.
7249         Changed "`.wgetrc' command" to "`.wgetrc'-style command" on --help
7250         line for --execute.
7251
7252 2000-05-18  Hrvoje Niksic  <hniksic@iskon.hr>
7253
7254         * ftp.c (getftp): Ditto.
7255
7256         * http.c (gethttp): Check for return value of fclose/fflush.
7257
7258 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
7259
7260         * host.c (store_hostaddress): Instead of shifting ADDR, start
7261         copying from the correct address.
7262
7263 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
7264
7265         * http.c (gethttp): Don't free REQUEST -- it was allocated with
7266         alloca().
7267         Pointed out by Gisle Vanem <gvanem@eunet.no>.
7268
7269 2000-04-04  Dan Harkless  <wget@harkless.org>
7270
7271         * host.c (store_hostaddress): R. K. Owen's patch introduces a
7272         "left shift count >= width of type" warning on 32-bit
7273         architectures.  Got rid of it by tricking the compiler w/ a variable.
7274
7275         * url.c (UNSAFE_CHAR): The macro didn't include all the illegal
7276         characters per RFC1738, namely everything above '~'.  It also
7277         generated a warning on OSes where char =~ unsigned char.  Fixed.
7278
7279 1998-10-17  Hrvoje Niksic  <hniksic@srce.hr>
7280
7281         * http.c (http_process_type): Removed needless strdup(), a memory
7282         leak.
7283
7284 1998-09-25  Hrvoje Niksic  <hniksic@srce.hr>
7285
7286         * html.c (htmlfindurl): Set PH to the first occurrence of `#'.
7287
7288 1998-09-25  Simon Munton  <simonm@m4data.co.uk>
7289
7290         * init.c (wgetrc_file_name): Don't free HOME under Windows.
7291
7292 1998-12-01  "R. K. Owen"  <rkowen@Nersc.GOV>
7293
7294         * host.c (store_hostaddress): Fix for big endian 64-bit machines.
7295
7296 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
7297
7298         * url.c (UNSAFE_CHAR): New macro.
7299         (contains_unsafe): Use it.
7300         (encode_string): Ditto.
7301
7302 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
7303
7304         * main.c (i18n_initialize): Use LC_MESSAGES only if available.
7305
7306 2000-03-31  Hrvoje Niksic  <hniksic@srce.hr>
7307
7308         * Use TOUPPER/TOLOWER.
7309
7310 1998-12-22  Alexander V. Lukyanov  <lav@yars.free.net>
7311
7312         * ftp-opie.c (btoe): Zero-terminate OSTORE.
7313
7314 2000-03-21  Hrvoje Niksic  <hniksic@iskon.hr>
7315
7316         * wget.h (DO_REALLOC_FROM_ALLOCA): Ditto.
7317
7318         * sysdep.h (ISALNUM): New macro.
7319         (TOLOWER): Ditto.
7320         (TOUPPER): Ditto.
7321
7322 2000-03-10  Dan Harkless  <wget@harkless.org>
7323
7324         * html.c (idmatch): Implemented checking of my new --follow-tags
7325         and --ignore-tags options.
7326
7327         * init.c (commands): Added comment reminding people adding new
7328         entries doing allocation to add corresponding freeing in cleanup().
7329         (commands): Added new followtags and ignoretags commands.
7330         (cleanup): Free storage for new followtags and ignoretags.
7331
7332         * main.c: Use of "comma-separated list" was random -- normalized
7333         it.  Did some alphabetization.  Added comments pointing out
7334         "Options without arguments" and "Options accepting an argument"
7335         sections of long_options[].  Added new options --follow-tags and
7336         -G / --ignore-tags.  Added comment that Damir's --referer is
7337         currently undocumented.  Added comment that Heiko's --waitretry is
7338         partially undocumented (mentioned in --help but not in
7339         wget.texi).  Moved improperly sorted 24, 129, and 'G' cases.
7340
7341         * options.h (struct options): Added new fields follow_tags and
7342         ignore_tags.
7343
7344         * wget.h: Added "#define EQ 0" so we can say "strcmp(a, b) == EQ".
7345
7346 2000-03-02  Dan Harkless  <wget@harkless.org>
7347
7348         * ftp.c (ftp_loop_internal): Heiko introduced "suggest explicit
7349         braces to avoid ambiguous `else'" warnings.  Eliminated them.
7350
7351         * http.c (gethttp): Dan Berger's query string patch is totally
7352         bogus.  If you have two different URLs, gen_page.cgi?page1 and
7353         get_page.cgi?page2, they'll both be saved as get_page.cgi and the
7354         second will overwrite the first.  Also, parameters to implicit
7355         CGIs, like "http://www.host.com/db/?2000-03-02" cause the URLs to
7356         be printed with trailing garbage characters, and could seg fault.
7357         Backing out the patch, which Dan B. informed me by email was just
7358         a kludge to download StarOffice from Sun made necessary due to
7359         wget's unconditional escaping of certain characters (room for an
7360         option there?).
7361         (http_loop): Heiko introduced "suggest explicit braces to avoid
7362         ambiguous `else'" warnings.  Eliminated them.
7363
7364         * main.c: Heiko's --wait / --waitretry backwards compatibility
7365         code looks to have been totally untested -- automatic variable
7366         'wr' was used without being initialized, and a long int was passed
7367         into setval()'s char* val parameter.
7368
7369         * recur.c (parse_robots): Applied Edward J. Sabol
7370         <sabol@alderaan.gsfc.nasa.gov>'s patch for Guan Yang's reported
7371         problem with "User-agent:<space>*<space>" lines in robots.txt.
7372
7373         * url.c (parseurl, str_url): Removing Dan Berger's code (see
7374         http.c above for explanation).
7375
7376 1999-08-25  Heiko Herold  <Heiko.Herold@previnet.it>
7377
7378         * ftp.c: Respect new option waitretry.
7379
7380 2000-01-30  Damir Dzeko  <ddzeko@zesoi.fer.hr>
7381
7382         * http.c (gethttp): Send custom Referer, if required.
7383
7384 1999-09-24  Charles G Waldman  <cgw@fnal.gov>
7385
7386         * netrc.c (parse_netrc): Allow passwords to contain spaces.
7387
7388         * netrc.c (parse_netrc): New function.
7389
7390 1999-09-17  Dan Berger  <dberger@ix.netcom.com>
7391
7392         * http.c (gethttp): Send it.
7393
7394         * url.c (parseurl): Detect query string in HTTP URL-s.
7395         (str_url): Print it.
7396
7397 2000-03-02  HIROSE Masaaki  <hirose31@t3.rim.or.jp>
7398
7399         * html.c (html_allow): Add <link href=...> and <script src=...>.
7400
7401 1999-05-02  andrew deryabin  <djsf@softhome.net>
7402
7403         * http.c (gethttp): Specify port in `Host' header only if it's
7404         different from 80.
7405
7406 1998-11-03  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
7407
7408         * recur.c (recursive_retrieve): If a finite maximum depth is
7409         specified, and we're are already at that depth, don't download the
7410         HTML file for parsing.
7411
7412 2000-03-01  Dan Harkless  <wget@harkless.org>
7413
7414         * ftp.c (ftp_loop_internal): Call new downloaded_file() function,
7415         even though we don't do conversion on HTML files retrieved via
7416         FTP, so _current_ usage of downloaded_file() makes this call unneeded.
7417         (ftp_retrieve_list): Added a comment saying where we need to
7418         stat() a .orig file if FTP'd HTML file conversion is ever implemented.
7419         (ftp_retrieve_list): "Local file '%s' is more recent," is sometimes
7420         a lie -- reworded as "Server file no newer than local file '%s' --".
7421
7422         * http.c (http_loop): Fixed a typo and clarified a comment.
7423         (http_loop): When -K and -N are specified together, compare size
7424         and timestamp of server file X against local file X.orig (if
7425         extant) rather than converted local file X.
7426         (http_loop): "Local file '%s' is more recent," is sometimes a lie
7427         -- reworded as "Server file no newer than local file '%s' --".
7428         (http_loop): Call new downloaded_file() function to prevent
7429         wrongful overwriting of .orig file when -N is specified.
7430
7431         * url.c (convert_links): When -K specified, only rename X to
7432         X.orig if downloaded_file() returns TRUE.  Otherwise when we skip
7433         file X due to -N, we clobber an X.orig from a previous invocation.
7434         (convert_links): Call the failsafe xstrdup(), not the real strdup().
7435         (convert_links): Added a note asking anyone who understands how
7436         multiple URLs can correspond to a single file to comment it.
7437         (downloaded_file): Added this new function.
7438
7439         * url.h (downloaded_file): Added prototype for this new function
7440         as well as its downloaded_file_t enum type.
7441
7442         * wget.h (boolean): Added this new typedef and TRUE and FALSE #defines.
7443
7444 2000-02-29  Dan Harkless  <wget@harkless.org>
7445
7446         * version.c: Upped version to developer-only "1.5.3+dev".
7447
7448 2000-02-18  Dan Harkless  <wget@harkless.org>
7449
7450         * init.c (backup_converted): Added this new option.
7451
7452         * main.c (-K / --backup-converted): Added this new option.
7453
7454         * options.h (backup_converted): Added this new option.
7455
7456         * url.c (convert_links): When backup_converted is specified, save
7457         file X as X.orig before converting.
7458
7459         * url.h (urlpos): Fixed typo -- said "Rekative" instead of "Relative".
7460
7461 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
7462
7463         * version.c: Wget 1.5.3 is released.
7464
7465 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
7466
7467         * host.c (ftp_getaddress): Don't warn when reverse-lookup of local
7468         address doesn't yield FQDN.
7469
7470 1998-09-21  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
7471
7472         * cmpt.c (strerror): Fix declaration of sys_errlist.
7473
7474 1998-09-11  Hrvoje Niksic  <hniksic@srce.hr>
7475
7476         * main.c (main): Don't use an array subscript as the first
7477         argument to STRDUP_ALLOCA.
7478         From Kaveh R. Ghazi.
7479
7480 1998-09-11  Szakacsits Szabolcs  <szaka@sienet.hu>
7481
7482         * html.c (htmlfindurl): Download table background.
7483
7484 1998-09-11  Hans Grobler  <grobh@conde.ee.sun.ac.za>
7485
7486         * init.c (parse_line): Would free *com before allocating it.
7487         (parse_line): Would free com instead of *com.
7488
7489 1998-09-10  Howard Gayle  <howard@fjst.com>
7490
7491         * url.c (get_urls_html): Would drop the last character of the
7492         link.
7493
7494 1998-09-10  Hrvoje Niksic  <hniksic@srce.hr>
7495
7496         * http.c (http_loop): Don't print status code if quiet.
7497
7498 1998-09-10  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
7499
7500         * log.c: Use <stdarg.h> only when __STDC__.
7501
7502 1998-09-10  Adam D. Moss  <adam@foxbox.org>
7503
7504         * html.c (htmlfindurl): Download <layer src=...>.
7505
7506 1998-09-10  Howard Gayle  <howard@fjst.com>
7507
7508         * ftp.c (ftp_retrieve_list): Don't update the time stamp of a file
7509         not retrieved.
7510
7511 1998-06-27  Hrvoje Niksic  <hniksic@srce.hr>
7512
7513         * utils.c: Include <libc.h> on NeXT.
7514
7515 1998-06-26  Heinz Salzmann  <heinz.salzmann@intermetall.de>
7516
7517         * url.c (get_urls_html): Fix calculation of URL position.
7518
7519 1998-06-23  Hrvoje Niksic  <hniksic@srce.hr>
7520
7521         * version.c: Wget 1.5.2 is released.
7522
7523 1998-06-23  Dave Love  <d.love@dl.ac.uk>
7524
7525         * ftp.c, init.c, netrc.c: Include errno.h.
7526
7527         * http.c: Include errno.h and time header.
7528
7529         * Makefile.in (exext): Define.
7530         (install.bin, uninstall.bin): Use it.
7531
7532 1998-06-21  Hrvoje Niksic  <hniksic@srce.hr>
7533
7534         * http.c (http_loop): Don't attempt to compare local and remote
7535         sizes if the remote size is unknown.
7536
7537 1998-06-16  Hrvoje Niksic  <hniksic@srce.hr>
7538
7539         * url.c (get_urls_html): Use malloc() instead of alloca in the
7540         loop.
7541
7542 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
7543
7544         * version.c: Wget 1.5.2-b4 is released.
7545
7546 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
7547
7548         * url.c (get_urls_html): Ignore spaces before and after the URI.
7549
7550 1998-06-08  Wanderlei Antonio Cavassin  <cavassin@conectiva.com.br>
7551
7552         * ftp.c (getftp): Translate `done'.
7553
7554 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
7555
7556         * version.c: Wget 1.5.2-b3 is released.
7557
7558 1998-06-06  Alexander Kourakos  <awk@bnt.com>
7559
7560         * init.c (cleanup): Close dfp, don't free it.
7561
7562 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
7563
7564         * utils.c (make_directory): Twiddle.
7565
7566         * config.h.in: Added template for access().
7567
7568 1998-06-05  Mathieu Guillaume  <mat@cythere.com>
7569
7570         * html.c (htmlfindurl): Download <input src=...>
7571
7572 1998-06-03  Hrvoje Niksic  <hniksic@srce.hr>
7573
7574         * utils.c (file_exists_p): Use access() with two arguments.
7575
7576 1998-05-27  Martin Kraemer  <Martin.Kraemer@mch.sni.de>
7577
7578         * netrc.c (parse_netrc): Correct logic.
7579
7580 1998-05-27  Hrvoje Niksic  <hniksic@srce.hr>
7581
7582         * ftp.c (getftp): Added `break'; suggested by Lin Zhe Min
7583         <ljm@ljm.wownet.net>.
7584
7585 1998-05-24  Hrvoje Niksic  <hniksic@srce.hr>
7586
7587         * version.c: Wget 1.5.2-b2 is released.
7588
7589 1998-05-18  Juan Jose Rodriguez  <jcnsoft@jal1.telmex.net.mx>
7590
7591         * mswindows.h: Don't translate mkdir to _mkdir under Borland.
7592
7593 1998-05-17  Hrvoje Niksic  <hniksic@srce.hr>
7594
7595         * retr.c (elapsed_time): Return correct value when
7596         HAVE_GETTIMEOFDAY is undefined.
7597
7598 1998-05-13  Hrvoje Niksic  <hniksic@srce.hr>
7599
7600         * version.c: Wget 1.5.2-b1 is released.
7601
7602 1998-05-08  Hrvoje Niksic  <hniksic@srce.hr>
7603
7604         * getopt.c (_getopt_internal): Use exec_name instead of argv[0].
7605         (_getopt_internal): Don't translate `#if 0'-ed strings.
7606
7607 1998-05-06  Douglas E. Wegscheid  <wegscd@whirlpool.com>
7608
7609         * mswindows.c (ws_handler): Use fork_to_background().
7610
7611 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
7612
7613         * version.c: Wget 1.5.1 is released.
7614
7615 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
7616
7617         * http.c (parse_http_status_line): Avoid `minor' and `major'
7618         names.
7619
7620 1998-05-02  Hrvoje Niksic  <hniksic@srce.hr>
7621
7622         * utils.c (mkdirhier): Renamed to make_directory.
7623
7624 1998-05-01  Hrvoje Niksic  <hniksic@srce.hr>
7625
7626         * mswindows.c (fork_to_background): Define under Windows.
7627
7628         * utils.c (fork_to_background): New function.
7629
7630         * html.c (htmlfindurl): Removed rerdundant casts.
7631
7632 1998-05-01  Douglas E. Wegscheid  <wegscd@whirlpool.com>
7633
7634         * mswindows.c (ws_mypath): Cache the path.
7635
7636 1998-04-30  Douglas E. Wegscheid  <wegscd@whirlpool.com>
7637
7638         * ftp.h: Prefix enum ftype members with FT_.
7639
7640         * ftp-ls.c, ftp.c, html.h: Adjust accordingly.
7641
7642         * mswindows.h: Use stat under Borland, _stat under MSVC.
7643
7644 1998-04-28  Hrvoje Niksic  <hniksic@srce.hr>
7645
7646         * http.c (known_authentication_scheme_p): New function.
7647         (gethttp): Handle authorization more correctly.
7648
7649         * ftp-basic.h: Removed.
7650
7651         * cmpt.h: Removed.
7652
7653         * utils.c: Include <unistd.h> before <pwd.h>; needed under SunOS
7654         with gcc 2.8.
7655         (numdigit): Use `while' loop.
7656
7657         * http.c (create_authorization_line): Detect authentication
7658         schemes case-insensitively.
7659
7660         * http.c (extract_header_attr): Use strdupdelim().
7661         (digest_authentication_encode): Move declaration of local
7662         variables to smaller scope.
7663         (digest_authentication_encode): Reset REALM, OPAQUE and NONCE.
7664         (create_authorization_line): Detect authentication schemes
7665         case-insensitively.
7666
7667         * utils.c (touch): Constify.
7668
7669         * http.c (gethttp): Report a nicer error when no data is received.
7670
7671         * rbuf.h (RBUF_READCHAR): Ditto.
7672
7673         * ftp-basic.c (ftp_response): Use sizeof.
7674
7675 1998-04-27  Hrvoje Niksic  <hniksic@srce.hr>
7676
7677         * retr.c (print_percentage): EXPECTED is long, not int.
7678         (print_percentage): Use floating-point arithmetic to avoid
7679         overflow with large files' sizes multiplied with 100.
7680
7681 1998-04-27  Gregor Hoffleit  <flight@mathi.uni-heidelberg.de>
7682
7683         * config.h.in: Added pid_t stub.
7684
7685         * sysdep.h (S_ISREG): Moved here from mswindows.h (NeXT doesn't
7686         define it).
7687
7688 1998-04-20  Hrvoje Niksic  <hniksic@srce.hr>
7689
7690         * version.c: Wget 1.5.0 is released.
7691
7692 1998-04-18  Hrvoje Niksic  <hniksic@srce.hr>
7693
7694         * url.c (str_url): Ditto.
7695
7696         * ftp-basic.c (ftp_rest): Use new name.
7697
7698         * utils.c (long_to_string): Renamed from prnum().
7699
7700 1998-04-16  Hrvoje Niksic  <hniksic@srce.hr>
7701
7702         * version.c: Wget 1.5-b17 is released.
7703
7704 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
7705
7706         * headers.c (header_get): New argument FLAGS.
7707
7708         * http.c (gethttp): If request is malformed, bail out of the
7709         header loop.
7710         (gethttp): Check for empty header *after* the status line checks.
7711         (gethttp): Disallow continuations for status line.
7712
7713 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
7714
7715         * version.c: Wget 1.5-b16 is released.
7716
7717 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
7718
7719         * init.c (commands): Renamed `always_rest' to `continue'.
7720
7721 1998-04-05  Hrvoje Niksic  <hniksic@srce.hr>
7722
7723         * all: Use it.
7724
7725         * log.c (logputs): New argument.
7726         (logvprintf): Ditto.
7727         (logprintf): Ditto.
7728
7729 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
7730
7731         * http.c (http_atotm): Update comment.
7732
7733         * main.c (i18n_initialize): Set LC_MESSAGES, not LC_ALL.
7734
7735         * wget.h: Renamed ENABLED_NLS to HAVE_NLS.
7736
7737         * main.c (i18n_initialize): New function.
7738         (main): Use it.
7739
7740         * log.c: Include <unistd.h>.
7741
7742         * retr.c (show_progress): Cast alloca to char *.
7743
7744 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
7745
7746         * version.c: Wget 1.5-b15 is released.
7747
7748 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
7749
7750         * utils.h: Declare file_non_directory_p().
7751
7752 1998-04-03  Hrvoje Niksic  <hniksic@srce.hr>
7753
7754         * main.c (main): It's `tries', not `numtries' now.
7755
7756 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
7757
7758         * init.c (getperms): Removed.
7759
7760 1998-04-01  Tim Charron  <tcharron@interlog.com>
7761
7762         * log.c (logvprintf): Don't use ARGS twice.
7763
7764 1998-04-01  John  <john@futuresguide.com>
7765
7766         * mswindows.c: Cleaned up.
7767
7768 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
7769
7770         * version.c: Wget 1.5-b14 is released.
7771
7772 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
7773
7774         * ftp-opie.c (STRLEN4): New macro.
7775         (btoe): Use it.
7776
7777 1998-04-01  Junio Hamano  <junio@twinsun.com>
7778
7779         * http.c: Document all the Digest functions.
7780
7781 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
7782
7783         * utils.c (file_non_directory_p): Renamed from isfile().
7784
7785         * mswindows.h (S_ISREG): New macro, suggested by Tim Adam.
7786
7787 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
7788
7789         * utils.c (mkdirhier): Use 0777 instead of opt.dirmode.
7790
7791         * init.c (cmd_spec_dotstyle): Use 48 dots per line for binary
7792         style.
7793         (cmd_permissions): Removed.
7794
7795         * config.h.in: Add template for WORDS_BIGENDIAN.
7796
7797 1998-03-31  Junio Hamano  <junio@twinsun.com>
7798
7799         * http.c (HEXD2asc): New macro.
7800         (dump_hash): Use it.
7801
7802 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
7803
7804         * version.c: Wget 1.5-b13 is released.
7805
7806 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
7807
7808         * main.c (main): Don't try to use `com'.
7809
7810 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
7811
7812         * init.c (cmd_permissions): New function.
7813
7814 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
7815
7816         * version.c: Wget 1.5-b12 is released.
7817
7818 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
7819
7820         * init.c (commands): Renamed `numtries' to `tries'.
7821         (cmd_spec_debug): Removed.
7822         (home_dir): Under Windows, return `C:\' if HOME is undefined.
7823
7824 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
7825
7826         * config.h.in: Define _XOPEN_SOURCE.
7827
7828         * init.c (check_user_specified_header): New function.
7829         (cmd_spec_header): Use it.
7830         (cmd_spec_useragent): New function.
7831
7832 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
7833
7834         * version.c: Wget 1.5-b11 is released.
7835
7836 1998-03-28  Hrvoje Niksic  <hniksic@srce.hr>
7837
7838         * wget.h: Include <libintl.h> only if NLS is enabled.
7839
7840 1998-03-26  Hrvoje Niksic  <hniksic@srce.hr>
7841
7842         * options.h (struct options): Made `wait' a long.
7843         (struct options): Ditto for `timeout'.
7844
7845 1998-03-19  Hrvoje Niksic  <hniksic@srce.hr>
7846
7847         * utils.c (exists): Renamed to file_exists_p.
7848         (file_exists_p): Use access() if available.
7849
7850 1998-03-17  Hrvoje Niksic  <hniksic@srce.hr>
7851
7852         * utils.c (memfatal): Set save_log_p to 0 to avoid potential
7853         infloop.
7854
7855         * log.c: do_logging -> save_log_p.
7856
7857         * config.h.in: Added template for HAVE_VSNPRINTF.
7858
7859 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
7860
7861         * init.c: Ditto.
7862
7863         * http.c: Protect declaration against non-ANSI compiler.
7864
7865         * log.c (logvprintf): Use vsnprintf() if available.
7866
7867         * getopt.c (main): Don't translate test stuff.
7868
7869 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
7870
7871         * version.c: Wget 1.5-b10 is released.
7872
7873 1998-03-11  Hrvoje Niksic  <hniksic@srce.hr>
7874
7875         * ftp.c (getftp): Don't translate "CWD %s".
7876
7877         * wget.h (GCC_FORMAT_ATTR): Renamed from FORMAT_ATTR.
7878
7879 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
7880
7881         * ftp-opie.c (btoe): Use memcpy() instead of strncat().
7882
7883         * log.c (logputs): New function.
7884         (logvprintf): Renamed from vlogmsg; use logputs().
7885
7886         * retr.c (show_progress): Print `[100%]' when the retrieval is
7887         finished.
7888
7889         * init.c (run_wgetrc): Use FILE, not PATH.
7890         (wgetrc_file_name): Ditto.
7891
7892 1998-03-07  Tim Adam  <tma@osa.com.au>
7893
7894         * recur.c (parse_robots): Correctly reset `entries' on empty
7895         disallow.
7896
7897 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
7898
7899         * init.c (cmd_spec_debug): Use cmd_boolean().
7900
7901 1998-02-23  Hrvoje Niksic  <hniksic@srce.hr>
7902
7903         * http.c (gethttp): Create proxy-authorization correctly.
7904
7905 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
7906
7907         * md5.c: Ditto.
7908
7909         * getopt.c: Use ANSI function definitions.
7910
7911         * ftp-opie.c: New file.
7912
7913         * options.h: Don't redefine EXTERN.
7914
7915         * init.c: Sort it correctly.
7916
7917 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
7918
7919         * version.c: Wget 1.5-b9 is released.
7920
7921 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
7922
7923         * recur.c (recursive_retrieve): Reset `first_time'.
7924
7925         * ftp.c (getftp): Added `default' clause to switches of uerr_t.
7926
7927         * rbuf.c (rbuf_peek): Simplified.
7928         (rbuf_flush): Use MINVAL.
7929
7930         * wget.h (MINVAL): Moved from url.h.
7931
7932         * rbuf.h (RBUF_FD): New macro.
7933
7934         * url.c (add_url): Add to the head of the list.
7935
7936         * ftp.c (ftp_retrieve_list): Set the permissions to downloaded
7937         file.
7938         (getftp): Set the default permissions to 0600.
7939
7940 1998-02-21  Hrvoje Niksic  <hniksic@srce.hr>
7941
7942         * url.c (get_urls_html): Ditto.
7943         (convert_links): Ditto.
7944
7945         * recur.c (parse_robots): Ditto.
7946
7947         * html.c (ftp_index): Ditto.
7948
7949         * ftp-ls.c (ftp_parse_unix_ls): Open file as binary.
7950
7951         * init.c (defaults): Initialize `opt' to zero via memset.
7952
7953         * http.c (digest_authentication_encode): goto considered harmful.
7954
7955 1998-02-19  Hrvoje Niksic  <hniksic@srce.hr>
7956
7957         * ftp.c (delelement): Simplify and fix leak.
7958
7959 1998-02-18  Hrvoje Niksic  <hniksic@srce.hr>
7960
7961         * http.c (dump_hash): Use HEXD2ASC instead of home-grown stuff.
7962
7963         * url.h (HEXD2ASC): Removed warning.
7964
7965         * init.c (comind): Use binary search.
7966         (commands): Reorganized.
7967         (setval): Ditto.
7968         (cmd_boolean): New function.
7969         (cmd_number): Ditto.
7970         (cmd_number_inf): Ditto.
7971         (cmd_string): Ditto.
7972         (cmd_vector): Ditto.
7973         (cmd_directory_vector): Ditto.
7974         (cmd_bytes): Ditto.
7975         (cmd_time): Ditto.
7976         (cmd_spec_debug): Ditto.
7977         (cmd_spec_dirmode): Ditto.
7978         (cmd_spec_dirstruct): Ditto.
7979         (cmd_spec_dotstyle): Ditto.
7980         (cmd_spec_header): Ditto.
7981         (cmd_spec_htmlify): Ditto.
7982         (cmd_spec_mirror): Ditto.
7983         (cmd_spec_outputdocument): Ditto.
7984         (cmd_spec_recursive): Ditto.
7985         (settime): Merged with cmd_time().
7986         (setbytes): Merged with cmd_bytes().
7987         (setonoff): Merged with cmd_boolean().
7988         (onoff): Ditto.
7989
7990 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
7991
7992         * Makefile.in (distclean): Remove `config.h'.
7993
7994 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
7995
7996         * version.c: Wget 1.5-b8 is released.
7997
7998 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
7999
8000         * http.c (digest_authentication_encode): New function.
8001         (create_authorization_line): Use it.
8002         (dump_hash): New function.
8003         (digest_authentication_encode): Use it.
8004
8005         * fnmatch.c: Renamed from `mtch.c'.
8006
8007 1998-02-15  Karl Eichwalder  <ke@suse.de>
8008
8009         * main.c (main): Tag "Written by..." string as translatable.
8010
8011 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
8012
8013         * wget.h (FREE_MAYBE): New macro.
8014
8015         * http.c (create_authorization_line): Don't use ANSI C string
8016         concatenation feature.
8017         (basic_authentication_encode): Use alloca() for temporary
8018         variables.
8019
8020         * recur.h: Ditto.
8021
8022         * http.c: Ditto.
8023
8024         * headers.h: Ditto.
8025
8026         * ftp-basic.c: Protect declaration against non-ANSI compiler.
8027
8028         * http.c (create_authorization_line): Cast `unsigned char *' to
8029         `char *' for sprintf, to shut up the noisy Digital Unix cc.
8030
8031 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
8032
8033         * version.c: Wget 1.5-b7 is released.
8034
8035 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
8036
8037         * cmpt.c (strstr): Synched with glibc-2.0.6.
8038
8039         * ftp-basic.c (calculate_skey_response): Ditto.
8040         (calculate_skey_response): Use alloca().
8041
8042         * http.c (create_authorization_line): Work with FSF's version of
8043         md5.c.
8044
8045         * md5.c: New file, from GNU libc.
8046
8047 1998-02-14  Hrvoje Niksic  <hniksic@srce.hr>
8048
8049         * url.h (URL_CLEANSE): Name the temporary variable more carefully.
8050
8051 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
8052
8053         * http.c (basic_authentication_encode): New function, instead of
8054         the macro.
8055
8056 1998-02-13  Junio Hamano  <junio@twinsun.com>
8057
8058         * http.c: Add HTTP-DA support.
8059         * ftp-basic.c: Add Opie/S-key support.
8060         * config.h.in, Makefile.in: Add HTTP-DA and Opie/S-key support.
8061         * md5.c, md5.h: New files.
8062
8063 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
8064
8065         * http.c (http_process_range): Renamed from hprocrange().
8066         (http_process_range): Parse the whole header.
8067
8068         * headers.c: New file.
8069         (header_process): New function.
8070         (header_get): Renamed from fetch_next_header.
8071
8072         * all: Include utils.h only where necessary.
8073
8074         * wget.h: Declare xmalloc(), xrealloc() and xstrdup() here.
8075
8076         * wget.h: Add provisions for dmalloc.
8077
8078 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
8079
8080         * version.c: Wget 1.5-b6 is released.
8081
8082 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
8083
8084         * ftp.c (ftp_loop): Determine `filename' more precisely.
8085
8086         * init.c (setval): Don't set `opt.quiet' if output-document is
8087         `-'.
8088
8089         * log.c (log_init): Print to STDERR instead of STDOUT.
8090         (vlogmsg): Use STDERR by default.
8091         (logflush): Ditto.
8092
8093 1998-02-11  Simon Josefsson  <jas@pdc.kth.se>
8094
8095         * host.c: Use addr_in again.
8096
8097 1998-02-08  Karl Eichwalder  <karl@suse.de>
8098
8099         * http.c (gethttp): Fixed typo.
8100
8101 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
8102
8103         * version.c: Wget 1.5-b5 is released.
8104
8105 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
8106
8107         * retr.c (show_progress): Use it.
8108
8109         * log.c (logflush): New function.
8110
8111         * wget.h: Utilize __attribute__ if on gcc.
8112
8113 1998-02-07  Hrvoje Niksic  <hniksic@srce.hr>
8114
8115         * http.c (base64_encode_line): New argument LENGTH.
8116         (BASIC_AUTHENTICATION_ENCODE): Use it.
8117         (BASIC_AUTHENTICATION_ENCODE): Take length of HEADER into account.
8118
8119         * main.c (main): Fixed fprintf() format mismatch.
8120
8121 1998-02-06  Hrvoje Niksic  <hniksic@srce.hr>
8122
8123         * version.c: Wget 1.5-b4 is released.
8124
8125 1998-02-03  Simon Josefsson  <jas@pdc.kth.se>
8126
8127         * host.c: use sockaddr_in instead of addr_in.
8128
8129 1998-02-04  Hrvoje Niksic  <hniksic@srce.hr>
8130
8131         * init.c (cleanup): Use it.
8132
8133         * recur.c (recursive_cleanup): New function.
8134
8135         * retr.c (retrieve_from_file): Ditto.
8136
8137         * main.c (main): Use it.
8138
8139         * recur.c (recursive_reset): New function.
8140
8141         * retr.c (retrieve_from_file): Ditto.
8142
8143         * main.c (main): Simplify call to recursive_retrieve().
8144
8145         * recur.c (recursive_retrieve): Removed FLAGS argument.
8146
8147         * http.c (gethttp): Changed call to iwrite().
8148
8149 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
8150
8151         * url.c (get_urls_html): Ditto.
8152         (free_urlpos): Ditto.
8153         (mkstruct): Ditto.
8154         (construct): Ditto.
8155
8156         * retr.c (retrieve_url): Move declaration of local variables to
8157         smaller scope.
8158
8159         * url.c (urlproto): Use it.
8160         (parseurl): Ditto.
8161         (str_url): Ditto.
8162         (get_urls_html): Ditto.
8163
8164         * utils.h (ARRAY_SIZE): New macro.
8165
8166         * url.c (proto): Moved from url.h.
8167
8168         * url.h (URL_CLEANSE): Reformatted.
8169         (USE_PROXY_P): Renamed from USE_PROXY.
8170
8171         * ftp-basic.c: Adjust to the new interface of iwrite().
8172
8173         * ftp-basic.c (ftp_port): Use alloca().
8174
8175 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
8176
8177         * version.c: Wget 1.5-b3 is released.
8178
8179         * host.c (ftp_getaddress): Don't print to stderr directly.
8180
8181         * init.c (setbytes): Support `g' for gigabytes.
8182         (cmdtype): New specification CTIME.
8183         (setval): Use it with settime().
8184         (commands): Use it for WAIT and TIMEOUT.
8185
8186 1998-02-02  Hrvoje Niksic  <hniksic@srce.hr>
8187
8188         * http.c (BASIC_AUTHENTICATION_ENCODE): New macro.
8189         (gethttp): Use it.
8190
8191         * utils.c (unique_name_1): Moved from url.c.
8192         (unique_name): Ditto.
8193
8194         * url.c (url_filename): Ditto.
8195
8196         * log.c (redirect_output): Changed call to unique_name().
8197
8198         * url.c (unique_name_1): Renamed from unique_name().
8199         (unique_name): Changed interface.
8200
8201         * init.c (enum cmdid): Moved from init.h.
8202         (cmdtype): Ditto.
8203         (struct cmd): Ditto.
8204
8205         * main.c (main): Use it.
8206         (main): Moved `--backups' to not have a short option.
8207
8208         * options.h (struct options): New member BACKGROUND.
8209
8210         * main.c (print_help): Rearranged.
8211         (main): New long options for -n* short options: --no-directories,
8212         --no-host-directories, --non-verbose, --no-host-lookup and
8213         --dont-remove-listing.
8214
8215 1998-02-01  Hrvoje Niksic  <hniksic@srce.hr>
8216
8217         * main.c (main): Use log_close().
8218
8219         * log.c: New variable LOGFP.
8220         (vlogmsg): Use it.
8221         (redirect_output): Don't open /dev/null; set LOGFP to stdin
8222         instead.
8223         (log_close): New function.
8224
8225         * options.h (struct options): Removed LFILE.
8226
8227         * log.c (log_enable): Removed.
8228
8229         * main.c (main): Use it.
8230
8231         * log.c (log_init): New function.
8232
8233         * url.c (get_urls_html): Removed needless assignment to BASE.
8234
8235         * host.c (add_hlist): Don't set CMP needlessly.
8236
8237         * utils.c (match_backwards): Ditto.
8238         (in_acclist): Ditto.
8239
8240         * url.c (findurl): Ditto.
8241
8242         * netrc.c (parse_netrc): Ditto.
8243
8244         * log.c (log_dump): Ditto.
8245
8246         * html.c (html_quote_string): Ditto.
8247
8248         * ftp-basic.c (ftp_request): Made static.
8249
8250         * connect.c: Made global variables static.
8251
8252         * url.c (construct): Ditto.
8253
8254         * init.c (init_path): Avoid assignment inside `if'-condition.
8255
8256         * ftp.c: Don't include in.h or winsock.h.
8257
8258         * ftp.c (ftp_loop): Use SZ.
8259
8260         * connect.c (bindport): Cast &addrlen to int *.
8261         (conaddr): Ditto.
8262
8263         * init.c (initialize): Don't use SYSTEM_WGETRC unconditionally.
8264
8265 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
8266
8267         * ftp.c (getftp): Initialize opt.ftp_pass here.
8268         (ftp_retrieve_dirs): Use alloca().
8269
8270         * init.c (defaults): Don't initialize opt.ftp_pass.
8271
8272         * sysdep.h (S_ISLNK): Declare for OS/2; ditto for lstat.
8273         From Ivan F. Martinez <ivanfm@ecodigit.com.br>.
8274
8275 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
8276
8277         * recur.c (parse_robots): Check for comments more correctly.
8278
8279         * host.c (ftp_getaddress): Use STRDUP_ALLOCA.
8280         (ftp_getaddress): Add diagnostics when reverse-lookup yields only
8281         hostname.
8282
8283 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
8284
8285         * version.c: Wget 1.5-b2 is released.
8286
8287         * netrc.c (NETRC_FILE_NAME): Moved from netrc.h.
8288
8289         * utils.c (proclist): Pass FNM_PATHNAME to fnmatch().
8290
8291         * ftp-basic.c (ftp_pasv): Avoid unnecessary casting to unsigned
8292         char.
8293
8294         * log.c: Don't attempt to hide arguments from ansi2knr.
8295
8296         * cmpt.c: Synched strptime() and mktime() with glibc-2.0.6.
8297
8298         * ansi2knr.c: Use a later version, from fileutils-3.16l alpha.
8299
8300         * ftp.c (getftp): Ditto.
8301
8302         * http.c (gethttp): Use it.
8303
8304         * retr.c (get_contents): New argument EXPECTED; pass it to
8305         show_progress().
8306         (show_progress): New argument EXPECTED; use it to display
8307         percentages.
8308
8309         * init.c (setval): Ditto.
8310
8311         * http.c (gethttp): Ditto.
8312         (http_loop): Ditto.
8313
8314         * ftp.c (getftp): Ditto.
8315         (ftp_loop_internal): Ditto.
8316
8317         * ftp-ls.c (ftp_parse_unix_ls): Use abort() instead of assert(0).
8318
8319         * sysdep.h (CLOSE): Simplify; use DEBUGP.
8320
8321         * netrc.c (search_netrc): Use alloca().
8322
8323         * init.c (defaults): Initialize no_flush.
8324
8325         * log.c (vlogmsg): Don't flush if no_flush.
8326
8327         * options.h (struct options): New variable no_flush.
8328
8329         * main.c (main): Don't play games with buffering.
8330
8331         * log.c (vlogmsg): Flush the output after every message.
8332
8333 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
8334
8335         * init.c (parse_line): Ditto.
8336
8337         * url.c (get_urls_html): Ditto.
8338
8339         * main.c (main): Don't cast to unsigned char.
8340
8341         * init.c (run_wgetrc): Don't cast to unsigned char.
8342         (parse_line): Accept char instead of unsigned char.
8343
8344         * html.c (htmlfindurl): Use char instead of unsigned char.
8345
8346         * all: Use them.
8347
8348         * sysdep.h: Add wrappers to ctype macros to make them
8349         eight-bit-clean:
8350
8351 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
8352
8353         * html.c (htmlfindurl): Download <img lowsrc=...>
8354
8355         * main.c (main): Ignore SIGPIPE.
8356
8357         * connect.c (select_fd): New argument WRITEP.
8358         (iwrite): Call select_fd().
8359
8360 1997-02-27  Fila Kolodny <fila@ibi.com>
8361
8362         * ftp.c (ftp_retrieve_list): If retrieving symlink and the proper
8363         one already exists, just skip it.
8364
8365 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
8366
8367         * http.c (gethttp): Cosmetic changes.
8368
8369         * http.c (check_end): Allow `+D...' instead of `GMT'.
8370         From Fabrizio Pollastri <pollastri@cstv.to.cnr.it>.
8371
8372         * url.c (process_ftp_type): New function.
8373         (parseurl): Use it.
8374
8375         * connect.c (iwrite): Allow writing in a few chunks.
8376         (bindport): Made SRV static, so addr can point to it.
8377         (select_fd): Removed HPUX kludge.
8378
8379         * host.c (free_hlist): Incorporated into clean_hosts().
8380
8381 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
8382
8383         * host.c (hlist): Made static.
8384         (search_address): Cosmetic change.
8385
8386 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
8387
8388         * version.c: Wget v1.5-b1 is released.
8389
8390         * http.c (hgetlen): Use sizeof() to get the header length.
8391         (hgetrange): Ditto.
8392         (hgettype): Ditto.
8393         (hgetlocation): Ditto.
8394         (hgetmodified): Ditto.
8395         (haccepts_none): Ditto.
8396
8397         * main.c (main): Updated `--version' and `--help' output, as per
8398         Francois Pinard's suggestions.
8399
8400         * main.c: Include locale.h; call setlocale(), bindtextdomain() and
8401         textdomain().
8402
8403         * config.h.in: Define stubs for I18N3.
8404
8405         * wget.h: Include libintl.h.
8406
8407 1998-01-28  Hrvoje Niksic  <hniksic@srce.hr>
8408
8409         * url.c (mkstruct): Check for opt.cut_dirs.
8410         (mkstruct): alloca()-te more, xmalloc() less.
8411
8412         * utils.c (load_file): Check for ferror().
8413
8414         * url.c (get_urls_file): Close only the files we opened.
8415         (get_urls_html): Ditto.
8416         (count_slashes): New function.
8417
8418         * http.h: Removed.
8419
8420         * http.c (gethttp): Respect username and password provided by
8421         proxy URL.
8422         (base64_encode_line): Write into an existing buffer instead of
8423         malloc-ing a new one.
8424         (struct http_stat): Moved from http.h
8425
8426         * retr.c (retrieve_url): Free SUF.
8427
8428         * all: Removed lots of unnecessary .h dependencies.
8429
8430         * html.c (global_state): Made static.
8431
8432         * utils.h (ALLOCA_ARRAY): New macro.
8433
8434         * main.c (main): New option `--cut-dirs'.
8435
8436         * url.c (construct): Use alloca() for T.
8437
8438         * utils.c (mkdirhier): Use STRDUP_ALLOCA.
8439
8440         * host.c (_host_t): Moved from host.h.
8441         (struct host): Renamed from _host_t.
8442         (store_hostaddress): Use STRDUP_ALLOCA for INET_S.
8443         (realhost): Ditto.
8444
8445         * host.h: Don't include url.h.
8446
8447         * ftp.c (LIST_FILENAME): Moved from ftp.h.
8448
8449         * init.c (DEFAULT_FTP_ACCT): Moved from ftp.h.
8450
8451         * main.c (main): Enable log if the output goes to a TTY.
8452
8453         * connect.h: Removed unused constant `BACKLOG'.
8454
8455         * config.h.in: Check for isatty().
8456
8457         * Makefile.in (LINK): Use CFLAGS when linking.
8458
8459 1998-01-27  Hrvoje Niksic  <hniksic@srce.hr>
8460
8461         * mswindows.c (ws_hangup): Use redirect_output().
8462
8463         * main.c (redirect_output_signal): New function; use
8464         redirect_output().
8465
8466         * log.c (redirect_output): New function, based on hangup(), which
8467         is deleted.
8468
8469         * log.c (vlogmsg): New function.
8470
8471         * wget.h (DEBUGP): Use debug_logmsg().
8472
8473         * main.c (hangup): Use it.
8474
8475         * log.c (log_dump): New function.
8476
8477         * utils.h (DO_REALLOC): Use `long' for various sizes.
8478
8479         * http.c (hskip_lws): Use `while', for clarity.
8480         (HTTP_DYNAMIC_LINE_BUFFER): New constant.
8481         (fetch_next_header): Use it instead of DYNAMIC_LINE_BUFFER.
8482
8483         * ftp-basic.c (FTP_DYNAMIC_LINE_BUFFER): New constant.
8484         (ftp_response): Use it instead of DYNAMIC_LINE_BUFFER.
8485
8486         * utils.c (DYNAMIC_LINE_BUFFER): Moved from utils.c.
8487         (LEGIBLE_SEPARATOR): Ditto.
8488         (FILE_BUFFER_SIZE): Ditto.
8489
8490         * retr.c (BUFFER_SIZE): Moved from retr.h.
8491
8492         * log.c: New file.
8493         (logmsg): Moved from utils.c.
8494         (debug_logmsg): New function.
8495
8496         * mswindows.h: Include it here.
8497
8498         * init.c: Ditto.
8499
8500         * utils.c: Don't include <windows.h>.
8501
8502 1998-01-25  Hrvoje Niksic  <hniksic@srce.hr>
8503
8504         * host.c (ftp_getaddress): Ditto.
8505
8506         * main.c (main): Use it.
8507
8508         * utils.h (STRDUP_ALLOCA): New macro.
8509
8510         * init.c: Prepend `wget: ' to error messages printed on stderr.
8511
8512         * utils.c (mkdirhier): Renamed from mymkdir.
8513         (touch): Renamed from my_touch.
8514         (pwd_cuserid): Renamed from my_cuserid().
8515
8516 1998-01-24  Andy Eskilsson  <andy.eskilsson@telelogic.se>
8517
8518         * utils.c (accdir): Process wildcards.
8519         (proclist): New function.
8520         (accdir): Use it to avoid code repetition.
8521
8522 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
8523
8524         * recur.c (parse_robots): Respect opt.useragent; use alloca().
8525
8526         * http.c (gethttp): Construct useragent accordingly.
8527
8528         * version.c: Changed version string to numbers-only.
8529
8530         * main.c (print_help): List all the options.
8531
8532         * mswindows.c (windows_main_junk): Initialize argv0 here.
8533
8534 1998-01-24  Karl Heuer  <kwzh@gnu.org>
8535
8536         * netrc.c (search_netrc): Initialize `l' only after processing
8537         netrc.
8538
8539         * main.c (main): Don't trap SIGHUP if it's being ignored.
8540
8541 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
8542
8543         * all: Use logmsg().
8544
8545         * utils.c (time_str): Moved from retr.c.
8546         (logmsg): New function.
8547         (logmsg_noflush): Ditto.
8548
8549         * rbuf.c: New file, moved buf_* functions here.
8550
8551         * ftp.c (ftp_expected_bytes): Moved from ftp-basic.c.
8552
8553         * ftp-basic.c (ftp_rest): Use prnum().
8554
8555         * ftp-basic.c: Ditto.
8556
8557         * ftp.c: Use the new reading functions and macros.
8558
8559         * retr.c (buf_initialize): New function.
8560         (buf_initialized_p): Ditto.
8561         (buf_uninitialize): Ditto.
8562         (buf_fd): Ditto.
8563
8564         * http.c (fetch_next_header): Use the BUF_READCHAR macro for
8565         efficiency.
8566         (gethttp): Use alloca() where appropriate.
8567
8568         * retr.c (buf_readchar): Use it.
8569         (buf_peek): Use rstreams.
8570
8571         * retr.h (BUF_READCHAR): New macro.
8572
8573         * init.c (home_dir): Rewritten for clarity.
8574         (init_path): Ditto.
8575
8576         * mswindows.c (ws_backgnd): Made static.
8577         (read_registry): Ditto.
8578         (ws_cleanup): Ditto.
8579         (ws_handler): Ditto.
8580
8581 1998-01-23  Hrvoje Niksic  <hniksic@srce.hr>
8582
8583         * alloca.c: New file.
8584
8585         * Makefile.in (ALLOCA): Define.
8586
8587         * mswindows.c (ws_help): Constify.
8588         (ws_help): Use alloca.
8589
8590         * mswindows.c: Reformat.
8591
8592         * all: Added _(...) annotations for I18N snarfing and translation.
8593
8594         * host.c (ftp_getaddress): Nuke SYSINFO.
8595         (ftp_getaddress): Don't use getdomainname().
8596         (ftp_getaddress): Use uname(), where available.
8597
8598         * http.c (gethttp): Protect a stray fprintf().
8599
8600         * init.c (settime): New function.
8601         (setval): Treat WAIT specially, allowing suffixes like `m' for
8602         minutes, etc.
8603
8604 1998-01-21  Hrvoje Niksic  <hniksic@srce.hr>
8605
8606         * url.c (get_urls_html): Use alloca() for TEMP.
8607
8608 1998-01-21  Jordan Mendelson  <jordy@wserv.com>
8609
8610         * url.c (rotate_backups): New function.
8611
8612         * http.c (gethttp): Ditto.
8613
8614         * ftp.c (getftp): Rotate backups.
8615
8616 1997-12-18  Hrvoje Niksic  <hniksic@srce.hr>
8617
8618         * all: Renamed nmalloc(), nrealloc() and nstrdup() to xmalloc(),
8619         xrealloc() and xstrdup().  Use the new functions.
8620
8621         * url.c (decode_string): Made static.
8622         (has_proto): Ditto.
8623         (parse_dir): Ditto.
8624         (parse_uname): Ditto.
8625         (mkstruct): Ditto.
8626         (construct): Ditto.
8627         (construct_relative): Ditto.
8628
8629         * retr.c (show_progress): Made static.
8630
8631         * recur.c (robots_url): Made static.
8632         (retrieve_robots): Ditto.
8633         (parse_robots): Ditto.
8634         (robots_match): Ditto.
8635
8636         * main.h: Removed.
8637
8638         * main.c (printhelp): Made static.
8639         (hangup): Ditto.
8640
8641         * init.c (comind): Made static.
8642         (defaults): Ditto.
8643         (init_path): Ditto.
8644         (run_wgetrc): Ditto.
8645         (onoff): Ditto.
8646         (setonoff): Ditto.
8647         (setnum): Ditto.
8648         (myatoi): Ditto.
8649         (getperms): Ditto.
8650         (setbytes): Ditto.
8651
8652         * http.c (fetch_next_header): Made static.
8653         (hparsestatline): Ditto.
8654         (hskip_lws): Ditto.
8655         (hgetlen): Ditto.
8656         (hgetrange): Ditto.
8657         (hgettype): Ditto.
8658         (hgetlocation): Ditto.
8659         (hgetmodified): Ditto.
8660         (haccepts_none): Ditto.
8661         (gethttp): Ditto.
8662         (base64_encode_line): Ditto.
8663         (mktime_from_utc): Ditto.
8664         (http_atotm): Ditto.
8665
8666         * html.c (idmatch): Made static.
8667
8668         * host.c (search_host): Made static.
8669         (search_address): Ditto.
8670         (free_hlist): Ditto.
8671
8672         * ftp.c (getftp): Made static.
8673         (ftp_loop_internal): Ditto.
8674         (ftp_get_listing): Ditto.
8675         (ftp_retrieve_list): Ditto.
8676         (ftp_retrieve_dirs): Ditto.
8677         (ftp_retrieve_glob): Ditto.
8678         (freefileinfo): Ditto.
8679         (delelement): Ditto.
8680
8681         * ftp-ls.c (symperms): Made static.
8682         (ftp_parse_unix_ls): Ditto.
8683
8684         * connect.c (select_fd): Made static.
8685
8686         * utils.c (xmalloc): Renamed from nmalloc.
8687         (xrealloc): Renamed from nrealloc.
8688         (xstrdup): Renamed from nstrdup.
8689
8690         * getopt.c (exchange): Use alloca.
8691
8692         * mswindows.c (mycuserid): Use strncpy.
8693
8694         * New files mswindows.c, mswindows.h, sysdep.h.  winjunk.c,
8695         systhings.h, windecl.h and winjunk.h removed.
8696
8697         * mswindows.c (sleep): New function.
8698
8699         * utils.c: Include <windows.h> under Windows.
8700
8701 1997-06-12  Darko Budor  <dbudor@zesoi.fer.hr>
8702
8703         * url.h (URL_UNSAFE): Change default under Windows.
8704
8705         * retr.c (retrieve_from_file): Respect opt.delete_after.
8706
8707         * main.c (main): Call ws_help on Windows.
8708
8709         * winjunk.c (windows_main_junk): New function.
8710
8711         * main.c (main): Junk-process argv[0].
8712
8713         * http.c (mktime_from_utc): Return -1 if mktime failed.
8714
8715         * http.c (http_loop): Ditto.
8716
8717         * ftp.c (ftp_loop_internal): Change title on Windows when using a
8718         new URL.
8719
8720         * winjunk.c (getdomainname): Lots of functions.
8721
8722 1997-06-12  Hrvoje Niksic  <hniksic@srce.hr>
8723
8724         * cmpt.c (strptime_internal): Handle years more correctly for
8725         `%y'.
8726
8727 1997-06-09  Mike Thomas <mthomas@reality.ctron.com>
8728
8729         * http.c (gethttp): Allocate enough space for
8730         `Proxy-Authorization' header.
8731
8732 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
8733
8734         * version.c: Wget/1.4.5 is released.
8735
8736 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
8737
8738         * retr.c (get_contents): Check return value of fwrite more
8739         carefully.
8740
8741 1997-03-30  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
8742
8743         * cmpt.c (strptime_internal) [case 'Y']: Always subtract 1900 from
8744         year, regardless of century.
8745
8746 1997-03-30  Hrvoje Niksic  <hniksic@srce.hr>
8747
8748         * utils.c (isfile): Use `lstat' instead of `stat'.
8749
8750 1997-03-29  Hrvoje Niksic  <hniksic@srce.hr>
8751
8752         * utils.c (numdigit): Use explicit test.
8753
8754 1997-03-21  Hrvoje Niksic  <hniksic@srce.hr>
8755
8756         * http.c (http_loop): Always use `url_filename' to get u->local.
8757
8758 1997-03-20  Hrvoje Niksic  <hniksic@srce.hr>
8759
8760         * url.c: Recognize https.
8761
8762 1997-03-13  Hrvoje Niksic  <hniksic@srce.hr>
8763
8764         * recur.c (recursive_retrieve): Lowercase just the host name.
8765
8766 1997-03-09  Hrvoje Niksic  <hniksic@srce.hr>
8767
8768         * url.c (get_urls_file): Use the correct test.
8769         (get_urls_html): Ditto.
8770
8771 1997-03-07  Hrvoje Niksic  <hniksic@srce.hr>
8772
8773         * connect.c: Reverted addrlen to int.
8774
8775         * init.c (parse_line): Check for -1 instead of NONE.
8776
8777         * version.c: Changed version to 1.4.5.
8778
8779 1997-02-17  Hrvoje Niksic  <hniksic@srce.hr>
8780
8781         * init.c: New option netrc.
8782         (initialize): Don't parse .netrc.
8783
8784         * cmpt.c (recursive): Return rp.
8785         (strptime_internal): Match the long strings first, the abbreviated
8786         second.
8787
8788 1997-02-16  Hrvoje Niksic  <hniksic@srce.hr>
8789
8790         * http.c (check_end): New function.
8791         (http_atotm): Use it.
8792
8793 1997-02-13  gilles Cedoc  <gilles@cedocar.fr>
8794
8795         * http.c (gethttp): Use them.
8796
8797         * init.c: New options proxy_user and proxy_passwd.
8798
8799 1997-02-14  Hrvoje Niksic  <hniksic@srce.hr>
8800
8801         * ftp.c (ftp_retrieve_list): Create links even if not relative.
8802
8803 1997-02-10  Hrvoje Niksic  <hniksic@srce.hr>
8804
8805         * recur.c (recursive_retrieve): Lowercase the host name, if the
8806         URL is not "optimized".
8807
8808         * host.c (realhost): Return l->hostname, even if it matches with
8809         host.
8810
8811 1997-02-10  Marin Purgar  <pmc@asgard.hr>
8812
8813         * connect.c: Make addrlen size_t instead of int.
8814         (conaddr): Ditto.
8815
8816 1997-02-09  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
8817
8818         * systhings.h: Define S_ISLNK on NeXT too.
8819
8820 1997-02-09  Hrvoje Niksic  <hniksic@srce.hr>
8821
8822         * version.c: Released 1.4.3.
8823
8824         * url.c: Futher update to list of protostrings.
8825         (skip_proto): Skip `//' correctly for FTP and HTTP.
8826
8827         * url.c (get_urls_html): Handle bogus `http:' things a little
8828         different.
8829
8830         * main.c (main): Removed `follow-ftp' from `f'.
8831         (main): Dumped the `prefix-files' and `file-prefix' options and
8832         features; old and bogus.
8833         (main): Exit on failed setval() in `-e'.
8834
8835         * http.c (fetch_next_header): Use it to detect header continuation
8836         correctly.
8837
8838         * retr.c (buf_peek): New function.
8839
8840 1997-02-08  Hrvoje Niksic  <hniksic@srce.hr>
8841
8842         * wget.h: Include time.h and stuff.
8843
8844 1997-02-08  Roger Beeman  <beeman@cisco.com>
8845
8846         * ftp.c: Include <time.h>
8847
8848 1997-02-07  Hrvoje Niksic  <hniksic@srce.hr>
8849
8850         * url.c (findurl): Would read over buffer limits.
8851
8852 1997-02-06  Hrvoje Niksic  <hniksic@srce.hr>
8853
8854         * ftp-ls.c (ftp_parse_unix_ls): Allow spaces in file names.
8855
8856 1997-02-05  Hrvoje Niksic  <hniksic@srce.hr>
8857
8858         * http.c (http_atotm): Initialize tm.is_dst.
8859
8860 1997-02-02  Hrvoje Niksic  <hniksic@srce.hr>
8861
8862         * http.c (gethttp): Don't print the number of retrieved headers.
8863
8864         * main.c (main): New option `--no-clobber', alias for `-nc'.
8865
8866         * url.c: Recognize `https://'.
8867
8868 1997-02-01  Hrvoje Niksic  <hniksic@srce.hr>
8869
8870         * host.c (herrmsg): Don't use h_errno.
8871
8872 1997-01-30  Hrvoje Niksic  <hniksic@srce.hr>
8873
8874         * host.c (accept_domain): Use it.
8875
8876         * main.c (main): New option `--exclude-domains'.
8877
8878         * retr.c (retrieve_url): Use it.
8879         (retrieve_url): Bail out when an URL is redirecting to itself.
8880
8881         * url.c (url_equal): New function.
8882
8883 1997-01-29  Hrvoje Niksic  <hniksic@srce.hr>
8884
8885         * connect.c: Include arpa/inet.h instead of arpa/nameser.h.
8886
8887         * http.c (mk_utc_time): New function.
8888         (http_atotm): Use it; handle time zones correctly.
8889
8890 1997-01-28  Hrvoje Niksic  <hniksic@srce.hr>
8891
8892         * http.c: Ditto.
8893
8894         * ftp-basic.c: Use it instead of WRITE.
8895
8896         * connect.c (iwrite): New function.
8897
8898 1997-01-27  Hrvoje Niksic  <hniksic@srce.hr>
8899
8900         * cmpt.c (mktime): New function.
8901
8902         * netrc.c: Include <sys/types.h>.
8903
8904         * main.c (main): Wouldn't recognize --spider.
8905
8906         * retr.c (rate): Use `B', `KB' and `MB'.
8907         (reset_timer,elapsed_time): Moved from utils.c.
8908
8909         * ftp.c (ftp_retrieve_list): Ditto.
8910
8911         * http.c (http_loop): Don't touch the file if opt.dfp.
8912
8913 1997-01-24  Hrvoje Niksic  <hniksic@srce.hr>
8914
8915         * cmpt.c: New file.
8916
8917         * ftp.c (ftp_retrieve_glob): New argument semantics.
8918         (ftp_retrieve_dirs): Use it.
8919         (ftp_loop): Ditto.
8920
8921         * html.c (htmlfindurl): Recognize `'' as the quote char.
8922
8923 1997-01-23  Hrvoje Niksic  <hniksic@srce.hr>
8924
8925         * ftp.c (ftp_loop_internal): Use it.
8926
8927         * utils.c (remove_link): New function.
8928
8929 1997-01-22  Hrvoje Niksic  <hniksic@srce.hr>
8930
8931         * retr.c (retrieve_url): Require STRICT redirection URL.
8932
8933         * url.c (parseurl): New argument STRICT.
8934
8935         * http.c (hparsestatline): Be a little-bit less strict about
8936         status line format.
8937
8938 1997-01-21  Hrvoje Niksic  <hniksic@srce.hr>
8939
8940         * http.c (gethttp): Use it.
8941
8942         * main.c (main): Don't use '<digit>' as options.
8943
8944         * init.c: New option ignore_length.
8945
8946         * http.c (gethttp): Ditto.
8947         (http_loop): Check for redirection without Location:.
8948         (gethttp): Don't print Length unless RETROKF.
8949
8950         * ftp.c (getftp): Use it.
8951
8952         * url.c (mkalldirs): New function.
8953
8954         * utils.c (mymkdir): Don't check for existing non-directory.
8955
8956         * url.c (mkstruct): Don't create the directory.
8957
8958 1997-01-20  Hrvoje Niksic  <hniksic@srce.hr>
8959
8960         * init.c (setval): Removed NO_RECURSION checks.
8961
8962 1997-01-19  Hrvoje Niksic  <hniksic@srce.hr>
8963
8964         * version.c: "Released" 1.4.3-pre2.
8965
8966         * recur.c (recursive_retrieve): Bypass host checking only if URL
8967         is ftp AND parent URL is not ftp.
8968
8969         * ftp-basic.c (ftp_request): Print out Turtle Power.
8970
8971         * ftp.c (ftp_loop): Call ftp_retrieve_glob with 0 if there's no
8972         wildcard.
8973         (ftp_retrieve_glob): Call ftp_loop_internal even on empty list, if
8974         not glob.
8975
8976         * http.c (gethttp): Be a little bit smarter about status codes.
8977
8978         * recur.c (recursive_retrieve): Always reset opt.recursive when
8979         dealing with FTP.
8980
8981 1997-01-18  Hrvoje Niksic  <hniksic@srce.hr>
8982
8983         * retr.c (retrieve_url): New variable location_changed; use it for
8984         tests instead of mynewloc.
8985         (retrieve_url): Allow heuristic adding of html.
8986
8987         * url.c (url_filename): Don't use the `%' in Windows file names.
8988
8989         * http.c (http_loop): Always time-stamp the local file.
8990
8991         * http.c (http_loop): Ditto.
8992
8993         * ftp.c (ftp_retrieve_list): Use it.
8994
8995         * utils.c (my_touch): New function.
8996
8997         * ftp.c (ftp_retrieve_list): Use #ifdef HAVE_STRUCT_UTIMBUF
8998         instead of #ifndef NeXT.
8999
9000         * utils.c (strptime): New version, by Ulrich Drepper.
9001
9002 1997-01-17  Hrvoje Niksic  <hniksic@srce.hr>
9003
9004         * http.c (haccepts_none): Renamed from `haccepts_bytes'.
9005         (gethttp): If haccepts_none(), disable ACCEPTRANGES.
9006         (http_loop): Would remove ACCEPTRANGES.
9007
9008         * ftp.c (getftp): Call ftp_list with NULL.
9009
9010 1997-01-15  Hrvoje Niksic  <hniksic@srce.hr>
9011
9012         * html.c (ftp_index): Don't print minutes and seconds if we don't
9013         know them; beautify the output.
9014
9015         * ftp.c (getftp): Don't close the socket on FTPNSFOD.
9016
9017 1997-01-14  Hrvoje Niksic  <hniksic@srce.hr>
9018
9019         * utils.c (strptime): New function.
9020         (strptime): Don't use get_alt_number.
9021         (strptime): Don't use locale.
9022         (match_string): Made it a function.
9023
9024 1997-01-12  Hrvoje Niksic  <hniksic@srce.hr>
9025
9026         * http.c (http_atotm): New function.
9027         (http_loop): Use it.
9028
9029         * atotm.c: Removed from the distribution.
9030
9031         * http.c (base64_encode_line): Rewrite.
9032
9033 1997-01-09  Hrvoje Niksic  <hniksic@srce.hr>
9034
9035         * ftp.c (getftp): Use ftp_expected_bytes; print size.
9036
9037         * ftp-basic.c (ftp_response): Use ftp_last_respline.
9038         (ftp_expected_bytes): New function.
9039
9040         * ftp.c (getftp): Print the unauthoritative file length.
9041
9042         * ftp-ls.c: Renamed from ftp-unix.c.
9043         (ftp_parse_ls): Moved from ftp.c.
9044         (ftp_parse_unix_ls): Recognize seconds in time spec.
9045         (ftp_parse_unix_ls): Recognize year-less dates of the previous
9046         year.
9047
9048 1997-01-08  Hrvoje Niksic  <hniksic@srce.hr>
9049
9050         * ftp-basic.c: Don't declare errno if #defined.
9051
9052         * host.c (ftp_getaddress): Check for sysinfo legally.
9053
9054 1997-01-08  Darko Budor  <dbudor@diana.zems.fer.hr>
9055
9056         * connect.c (iread): Use READ.
9057
9058 1996-12-23  Hrvoje Niksic  <hniksic@srce.hr>
9059
9060         * url.c: Recognize finger, rlogin, tn3270, mid and cid as valid
9061         schemes.
9062
9063 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
9064
9065         * host.c (ftp_getaddress): Allow `.' in hostname.
9066
9067 1996-12-26  Darko Budor <dbudor@zems.fer.hr>
9068
9069         * wget.h: READ and WRITE macros for use instead of read and write
9070         on sockets, grep READ *.c, grep WRITE *.c
9071
9072         * wsstartup.c: new file - startup for winsock
9073
9074         * wsstartup.h: new file
9075
9076         * win32decl.h: new file - fixup for <errno.h> and winsock trouble
9077
9078         * configure.bat: Configure utility for MSVC
9079
9080         * src/Makefile.ms,config.h.ms: new files for use with MSVC 4.x
9081
9082 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
9083
9084         * version.c: Released 1.4.3-pre.
9085
9086         * utils.c (prnum): Accept long.
9087         (legible): Use prnum().
9088
9089         * connect.c (make_connection): Accept port as short.
9090         (bindport): Ditto.
9091
9092         * http.c (gethttp): Use search_netrc.
9093
9094 1996-12-21  Hrvoje Niksic  <hniksic@srce.hr>
9095
9096         * ftp.c (getftp): Use search_netrc.
9097
9098         * netrc.c (free_netrc): New function.
9099
9100         * init.c (home_dir): New function.
9101
9102         * url.c (convert_links): Allow REL2ABS changes.
9103
9104 1996-12-21  Gordon Matzigkeit  <gord@gnu.ai.mit.edu>
9105
9106         * netrc.c: New file.
9107         (parse_netrc, maybe_add_to_list): New functions.
9108
9109 1996-12-17  Hrvoje Niksic  <hniksic@srce.hr>
9110
9111         * retr.c (retrieve_url): Reset opt.recursion before calling
9112         ftp_loop if it is reached through newloc.
9113
9114         * init.c (run_wgetrc): Print the wgetrc path too, when reporting
9115         error; don't use "Syntax error", since we don't know if it is
9116         really a syntax error.
9117
9118 1996-12-16  Hrvoje Niksic  <hniksic@srce.hr>
9119
9120         * utils.c (acceptable): Extract the filename part of the path.
9121
9122         * recur.c (recursive_retrieve): Call acceptable() with the right
9123         argument; would bug out on wildcards.
9124
9125         * init.c (parse_line): Likewise.
9126
9127         * html.c (htmlfindurl): Cast to char * when calling stuff.
9128
9129 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
9130
9131         * ftp.c (getftp): Use ftp_pasv.
9132
9133         * ftp-basic.c (ftp_request): Accept NULL value.
9134         (ftp_pasv): New function.
9135
9136         * options.h (struct options): Add passive FTP option.
9137
9138 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
9139
9140         * url.c (parseurl): Debug output.
9141
9142         * utils.c (path_simplify): New one, adapted from bash's
9143         canonicalize_pathname().
9144
9145 1996-12-14  Hrvoje Niksic  <hniksic@srce.hr>
9146
9147         * ftp.c (getftp): Don't discard the buffer.
9148
9149         * retr.c (get_contents): New parameter nobuf.
9150
9151 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
9152
9153         * html.c (htmlfindurl): Recognize <meta contents="d; URL=...".
9154
9155         * init.c (setval): Strip the trailing slashes on CVECDIR.
9156
9157 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
9158
9159         * init.c: Make excludes and includes under CVECDIR instead of
9160         CVEC.
9161
9162 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
9163
9164         * url.c (get_urls_html): Skip "http:".
9165
9166 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
9167
9168         * utils.c (strcasecmp): From glibc.
9169         (strncasecmp): Also.
9170         (strstr): Also.
9171
9172         * url.c: Added javascript: to the list of URLs prefixes.
9173
9174 1996-12-12  Shawn McHorse  <riffraff@txdirect.net>
9175
9176         * recur.c (retrieve_robots): Print the warning message only if
9177         verbose.
9178
9179 1996-12-12  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
9180
9181         * ftp.c (ftp_retrieve_list): Use NeXT old utime interface.
9182
9183 1996-12-12  Hrvoje Niksic  <hniksic@srce.hr>
9184
9185         * systhings.h: New file.
9186
9187         * ../configure.in: Check for utime.h
9188
9189         * ftp.c: Check whether we have unistd.h.
9190
9191 1996-11-27  Hrvoje Niksic  <hniksic@srce.hr>
9192
9193         * recur.c (recursive_retrieve): Send the canonical URL as referer.
9194         (recursive_retrieve): Call get_urls_html with the canonical URL.
9195
9196 1996-12-13  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
9197
9198         * (configure.in, config.h.in, src/Makefile.in, src/*.[ch]): Add
9199         ansi2knr support for compilers which don't support ANSI style
9200         function prototypes and signatures.
9201
9202         * (aclocal.m4, src/ansi2knr.c, src/ansi2knr.1): New files.
9203
9204 1996-11-26  Hrvoje Niksic  <hniksic@srce.hr>
9205
9206         * url.c: Use it; Recognize paths ending with "." and ".." as
9207         directories.
9208         (url_filename): Append .n whenever file exists and could be a
9209         directory.
9210
9211         * url.h (ISDDOT): New macro.
9212
9213         * init.c (parse_line): Use unsigned char.
9214
9215         * url.c (get_urls_html): Cast to unsigned char * when calling
9216         htmlfindurl.
9217
9218         * html.c (htmlfindurl): Use unsigned char.
9219
9220         * version.c: Changed version to 1.4.3.
9221
9222 1996-11-25  Hrvoje Niksic  <hniksic@srce.hr>
9223
9224         * version.c: Released 1.4.2.
9225
9226         * ftp.c (getftp): Simplified assertion.
9227         (ftp_loop_internal): Remove symlink before downloading.
9228         (ftp_retrieve_list): Unlink the symlink name before attempting to
9229         create a symlink!
9230
9231         * options.h (struct options): Renamed print_server_response to
9232         server_response.
9233
9234         * ftp.c (rel_constr): Removed.
9235         (ftp_retrieve_list): Don't use it.
9236         (ftp_retrieve_list): Use opt.retr_symlinks.
9237
9238 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
9239
9240         * main.c (main): New option retr_symlinks.
9241
9242         * url.c (convert_links): Print verbose message.
9243
9244 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
9245
9246         * http.c (http_loop): Reset newloc in the beginning of function;
9247         would cause FMR in retrieve_url.
9248
9249 1996-11-23  Hrvoje Niksic  <hniksic@srce.hr>
9250
9251         * recur.c (convert_all_links): Find the URL of each HTML document,
9252         and feed it to get_urls_html; would bug out.
9253         (convert_all_links): Check for l2 instead of dl; removed dl.
9254
9255         * url.c (convert_links): Don't refer to freed newname.
9256
9257         * recur.c (recursive_retrieve): Add this_url to urls_downloaded.
9258
9259         * main.c (main): Print the OS_TYPE in the debug output, too.
9260
9261         * recur.c (recursive_retrieve): Check for opt.delete_after.
9262
9263         * main.c (main): New option delete-after.
9264
9265         * init.c (setval): Cleaned up.
9266
9267 1996-11-21  Hrvoje Niksic  <hniksic@srce.hr>
9268
9269         * Makefile.in (wget): Make `wget' the default target.
9270
9271         * ftp.c (ftp_loop_internal): Move noclobber checking out of the
9272         loop.
9273         (ftp_retrieve_list): Warn about non-matching sizes.
9274
9275         * http.c (http_loop): Made -nc non-dependent on opt.recursive.
9276
9277         * init.c (setnum): Renamed from setnuminf; New argument flags.
9278         (setval): Use it.
9279
9280         * main.c (main): Sorted the options.
9281         (main): New option --wait.
9282
9283 1996-11-21  Shawn McHorse  <riffraff@txdirect.net>
9284
9285         * html.c (htmlfindurl): Reset s->in_quote after getting out of
9286         quotes.
9287
9288 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
9289
9290         * version.c: Changed version to 1.4.2.
9291
9292 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
9293
9294         * version.c: Released 1.4.1.
9295
9296         * html.c (html_quote_string): New function.
9297         (ftp_index): Use it.
9298         (htmlfindurl): A more gentle ending debug message.
9299
9300         * ftp.c (ftp_loop): Check for opt.htmlify.
9301
9302         * init.c: New command htmlify.
9303
9304         * ftp.c (getftp): Nicer error messages, with `'-encapsulated
9305         strings.
9306         (ftp_loop): Print size of index.html.
9307
9308         * init.c (setval): Implement "styles".
9309
9310         * main.c (main): New option dotstyle.
9311
9312 1996-11-19  Hrvoje Niksic  <hniksic@srce.hr>
9313
9314         * ftp.c (getftp): Close the master socket in case of errors, after
9315         bindport().
9316
9317         * connect.c (bindport): Initialize msock to -1.
9318
9319         * ftp.c (getftp): Initialize dtsock to -1.
9320
9321         * connect.c (closeport): Don't close sock if sock == -1.
9322
9323 1996-11-18  Hrvoje Niksic  <hniksic@srce.hr>
9324
9325         * init.c (setnuminf): Nuked default value -- just leave unchanged.
9326         (setval): Don't send default values.
9327         (defaults): Use DEFAULT_TIMEOUT -- aaargh.
9328
9329         * options.h (struct options): Use long for dot_bytes.
9330
9331         * init.c (setquota): Renamed to setbytes.
9332         (setval): Use setbytes on DOTBYTES.
9333
9334 1996-11-17  Hrvoje Niksic  <hniksic@srce.hr>
9335
9336         * ftp.c (getftp): Initialize con->dltime.
9337
9338         * recur.c (recursive_retrieve): Use same_host instead of
9339         try_robots; simply load robots_txt whenever the host is changed.
9340         (recursive_retrieve): Free forbidden before calling parse_robots.
9341
9342 1996-11-16  Hrvoje Niksic  <hniksic@srce.hr>
9343
9344         * retr.c (show_progress): Use them.
9345
9346         * options.h (struct options): New options dot_bytes, dots_on_line
9347         and dot_spacing.
9348
9349 1996-11-16  Mark Boyns  <boyns@sdsu.edu>
9350
9351         * recur.c (recursive_retrieve): Retrieve directories regardless of
9352         acc/rej rules; check for empty u->file.
9353
9354 1996-11-14  Hrvoje Niksic  <hniksic@srce.hr>
9355
9356         * init.c (setval): Use it.
9357
9358         * utils.c (merge_vecs): New function.
9359
9360         * init.c (setval): Reset the list-type functions when encountering
9361         "".
9362
9363 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
9364
9365         * recur.c (recursive_retrieve): Use base_url instead of this_url
9366         for no_parent.
9367
9368 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
9369
9370         * html.c (htmlfindurl): Reset s->in_quote after exiting the quote.
9371
9372 1996-11-13  Hrvoje Niksic  <hniksic@srce.hr>
9373
9374         * utils.c (sepstring): Rewrote; don't use strtok.
9375
9376         * recur.c (recursive_retrieve): Enter assorted this_url to slist
9377         when running the first time.
9378         (retrieve_robots): Warn to ignore errors when robots are loaded.
9379
9380         * utils.c (load_file): Moved from url.c.
9381
9382         * http.c: Made static variables const too in h* functions.
9383
9384         * main.c (main): Renamed --continue-ftp to --continue.
9385
9386         * recur.c (recursive_retrieve): Use it.
9387
9388         * utils.c (frontcmp): New function.
9389
9390         * url.c (accdir): New function.
9391
9392         * html.c (htmlfindurl): Recognize <area href=...>.
9393
9394         * ftp.c (ftp_retrieve_dirs): Implemented opt.includes.
9395
9396         * init.c (setval): Free the existing opt.excludes and
9397         opt.includes, if available.
9398
9399         * main.c (main): New option -I.
9400
9401 1996-11-12  Hrvoje Niksic  <hniksic@srce.hr>
9402
9403         * ftp.c (ftp_retrieve_glob): Do not weed out directories.
9404
9405         * version.c: Changed version to 1.4.1.
9406
9407 1996-11-11  Hrvoje Niksic  <hniksic@srce.hr>
9408
9409         * version.c: Released 1.4.0.
9410
9411 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
9412
9413         * main.c (main): Free com and val after parse_line.
9414         (printhelp): Reorder the listing.
9415
9416         * http.c: More robust header parsing.
9417
9418         * http.c: Allow any number of spaces, or no spaces, precede ':'.
9419         (hskip_lws): New function.
9420         (haccepts_bytes): New function.
9421         (gethttp): Use it.
9422
9423         * init.c (setval): Check header sanity.
9424         (setval): Allow resetting of headers.
9425
9426 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
9427
9428         * http.c (http_loop): Don't use has_wildcards.
9429
9430         * http.c (gethttp): Free all_headers -- would leak.
9431
9432         * recur.c (recursive_retrieve): Initialize depth to 1 instead of
9433         0 -- this fixes a long-standing bug in -rl.
9434
9435 1996-11-09  Hrvoje Niksic  <hniksic@srce.hr>
9436
9437         * ftp.c: Use -1 as "impossible" value for con->fd.
9438
9439         * url.h (URL_SEPARATOR): Don't treat `*' and `+' as separators.
9440
9441         * init.c (parse_line): Use isalpha.
9442
9443         * ftp-unix.c: Use HAVE_UNISTD_H.
9444
9445         * mtch.c (has_wildcards): Don't match \.
9446
9447         * http.c (http_loop): Warn on HTTP wildcard usage.
9448
9449 1996-11-08  Hrvoje Niksic  <hniksic@srce.hr>
9450
9451         * url.c (url_filename): Do not create numbered suffixes if
9452         opt.noclobber -- would bug out on -nc.
9453
9454 1996-11-07  Hrvoje Niksic  <hniksic@srce.hr>
9455
9456         * recur.c (parse_robots): Don't chuck out the commands without
9457         arguments (`Disallow:<empty>' didn't work).
9458         (parse_robots): Compare versions lowercase.
9459         (parse_robots): Match on base_version, not version_string!
9460         (parse_robots): Handle comments properly.
9461         (parse_robots): Match versions in a sane way.
9462
9463         * init.c: Print nicer error messages.
9464
9465         * version.c: Changed version to 1.4.0.
9466
9467 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
9468
9469         * version.c: Released 1.4.0-test2.
9470
9471         * init.c (run_wgetrc): Close fp.
9472
9473         * ftp.c (ftp_retrieve_dirs): Allocate the correct length for
9474         u->dir.
9475
9476 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
9477
9478         * init.c (setquota): Allow inf as quota specification.
9479
9480 1996-11-05  Hrvoje Niksic  <hniksic@srce.hr>
9481
9482         * ftp.c (ftp_retrieve_dirs): Return QUOTEXC if quota exceeded.
9483         (ftp_retrieve_glob): Return QUOTEXC on quota exceeded.
9484
9485         * main.c (main): Check for quota by comparison with downloaded
9486         stuff, not from status.
9487
9488         * connect.c (select_fd): Should compile on HPUX without warnings now.
9489
9490         * ftp.c (ftp_get_listing): Check whether ftp_loop_internal
9491         returned RETROK.
9492
9493 1996-11-04  Hrvoje Niksic  <hniksic@srce.hr>
9494
9495         * ftp.c (ftp_retrieve_glob): Print the pattern nicely.
9496         (getftp): Return FTPRETRINT on control connection error.
9497
9498         * html.c (htmlfindurl): Recognize <embed src=...> and
9499         <bgsound src=...>.
9500         (ftp_index): Handle username and password correctly.
9501
9502         * main.c (main): Made `-np' a synonim for --no-parent.
9503
9504 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
9505
9506         * ftp.c (ftp_loop): Check for opt.ftp_glob too before calling
9507         ftp_retrieve_glob.
9508
9509         * version.c: Changed version to 1.4.0-test2.
9510
9511 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
9512
9513         * version.c: Released 1.4.0-test1.
9514
9515         * url.c (str_url): Don't use sprintf when creating %2F-prefixed
9516         directory.
9517         (convert_links): Removed definition of make_backup.
9518
9519         * http.h: Removed definition of MAX_ERROR_LENGTH.
9520
9521         * host.c (ftp_getaddress): Check for "(none)" domains.
9522
9523         * ftp.c (ftp_retrieve_dirs): Docfix.
9524
9525         * http.c (gethttp): Use ou->referer instead of u->referer.
9526
9527         * retr.c (retrieve_url): Reset u to avoid freeing pointers twice;
9528         this was known to cause coredumps on Linux.
9529
9530         * html.c (ftp_index): Cast the argument to local_time to time_t *.
9531
9532 1996-11-01  Hrvoje Niksic  <hniksic@srce.hr>
9533
9534         * connect.c (select_fd): Use exceptfds -- once and for all.
9535
9536         * retr.c (retrieve_from_file): Free filename after
9537         recursive_retrieve.
9538         (retrieve_from_file): Send RFIRST_TIME to recursive_retrieve on
9539         first-time retrieval.
9540         (retrieve_from_file): Return uerr_t; new argument, count.
9541         (retrieve_from_file): Break on QUOTEXC.
9542
9543         * init.c (setquota): Fixed a bug that caused rejection of
9544         non-postfixed values..
9545
9546 1996-10-30  Hrvoje Niksic  <hniksic@srce.hr>
9547
9548         * version.c: Changed name to wget.
9549
9550         * connect.c (iread): Smarter use of select.
9551         (select_fd): Set errno on timeout.  If not timeout, return 1
9552         instead of 0.
9553
9554 1996-10-29  Hrvoje Niksic  <hniksic@srce.hr>
9555
9556         * ftp.c (ftp_loop_internal): Don't use con->cmd before
9557         establishing it.
9558
9559 1996-10-26  Hrvoje Niksic  <hniksic@srce.hr>
9560
9561         * http.c (gethttp): Send correct referer when using proxy.
9562         (gethttp): Use struct urlinfo ou to access the relevant data; send
9563         correct authorization in all cases.
9564
9565         * host.c (same_host): Use skip_uname to skip username and
9566         password.
9567
9568         * url.c (skip_uname): New function.
9569         (parseurl): Use it.
9570
9571         * host.c (same_host): Do not assume HTTP -- same_host should now
9572         be totally foolproof.
9573
9574         * url.c (skip_proto): New function.
9575         (parse_uname): Use it.
9576
9577         * http.c (gethttp): Create local user and passwd from what is
9578         given.
9579
9580         * url.c (parseurl): Check for HTTP username and password too.
9581
9582 1996-10-25  Hrvoje Niksic  <hniksic@srce.hr>
9583
9584         * config.h.in: Removed #define gethostbyname R...
9585
9586 1996-10-22  Hrvoje Niksic  <hniksic@srce.hr>
9587
9588         * version.c: Changed version to 1.4.0-test1.
9589
9590 1996-10-21  Hrvoje Niksic  <hniksic@srce.hr>
9591
9592         * version.c: "Released" 1.4b29.
9593
9594         * recur.c (recursive_retrieve): Check for no_parent.
9595
9596         * init.c (setval): Option update.
9597
9598         * main.c (main): New option no-parent.
9599
9600         * options.h (struct options): New variable no_parent.
9601
9602         * recur.c (recursive_retrieve): Only files are checked for
9603         opt.accepts and opt.rejects.
9604         (recursive_retrieve): Check directories for opt.excludes.
9605         (recursive_retrieve): Make the dir absolute when checking
9606         opt.excludes.
9607
9608         * html.c (htmlfindurl): Recognize <applet code=...> and <script
9609         src=...>
9610
9611 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
9612
9613         * ftp.c (getftp): Do not line-break assert entries at all.
9614         (ftp_retrieve_dirs): docfix.
9615
9616         * connect.c (select_fd): Use fd + 1 as nfds.
9617
9618         * version.c: Changed version to 1.4b29.
9619
9620 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
9621
9622         * version.c: "Released" 1.4b28.
9623
9624         * ftp.c (ftp_loop_internal): Check whether f->size == len and
9625         don't continue the loop if it is.
9626         (ftp_get_listing): Remove list_filename on unsuccesful loop.
9627
9628 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
9629
9630         * ftp.c (ftp_loop_internal): Use strcpy to initialize tmp.
9631         (getftp): Do not use multiline assert.
9632
9633         * http.c (hparsestatline): Use mjr and mnr instead of major and
9634         minor, which don't compile on Ultrix.
9635         (http_loop): Use strcpy() to initialize tmp.
9636
9637         * all: Geturl -> Fetch
9638
9639 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
9640
9641         * recur.c (parse_robots): Fixed an off-by-one bug when looking for
9642         ':'.
9643
9644         * html.c (htmlfindurl): Fixed several possible off-by-one bugs by
9645         moving `bufsize &&' to the beginning of each check in for-loops.
9646
9647         * recur.c (parse_robots): Close fp on exit.
9648
9649         * url.c (mymkdir): Check for each directory before creating.
9650
9651 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
9652
9653         * version.c: Changed version to 1.4b28.
9654
9655 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
9656
9657         * version.c: "Released" 1.4b27.
9658
9659         * init.c (parse_line): Use isspace.
9660         (parse_line): Free *com on all errors.
9661
9662         * ftp.c (ftp_loop): Change FTPOK to RETROK before exiting.
9663         (delelement): Use next instead of f->next and prev instead of
9664         f->prev.
9665         (delelement): Free the members of the deleted element.
9666
9667         * http.c (http_loop): Do not return RETROK on code != 20x.
9668
9669         * init.c (cleanup): Free opt.user_header.
9670         (cleanup): Free opt.domains.
9671
9672         * url.c (freelists): Moved to cleanup().
9673
9674         * http.c (hparsestatline): Docfix.
9675
9676         * main.c (main): Return with error status on unsuccesful
9677         retrieval.
9678
9679         * init.c (setval): Do not remove listing when mirroring.
9680
9681         * url.c (url_filename): Use opt.fileprefix.
9682
9683         * ftp.c (ftp_get_listing): Use url_filename to get filename for
9684         .listing.
9685
9686         * main.c (main): New option: -rn.
9687
9688 1996-10-15  Hrvoje Niksic  <hniksic@srce.hr>
9689
9690         * Makefile.in (RM): Added RM = rm -f.
9691
9692         * host.c (clean_hosts): New function.
9693         (free_hlist): Just free the list, no reset.
9694
9695         * version.c: Changed version to 1.4b27.
9696
9697 1996-10-13  Hrvoje Niksic  <hniksic@srce.hr>
9698
9699         * version.c: "Released" 1.4b26.
9700
9701         * retr.c (retrieve_from_file): If call get_urls_html with
9702         opt.spider to make it silent in spider mode.
9703
9704         * url.c (str_url): Use CLEANDUP instead of URL_CLEANSE.
9705
9706         * url.h (CLEANDUP): New macro.
9707
9708         * http.c (gethttp): Fixed a bug that freed location only when it
9709         was NULL.
9710
9711         * retr.c (retrieve_url): Free url if it will not be stored,
9712         i.e. newloc is NULL.
9713
9714         * html.c (htmlfindurl): Handle exiting from quotes correctly; the
9715         old version would bug out on <a href="x#a"href="y">.
9716
9717         * html.h (state_t): New member in_quote.
9718
9719         * html.c (htmlfindurl): Free s->attr at the beginning of
9720         attr-loop.
9721
9722         * recur.c (recursive_retrieve): Recognize RCLEANUP.
9723         (tried_robots): Make hosts a global variable.
9724         (recursive_retrieve): Free constr after URL host optimization.
9725         (tried_robots): Free urlinfo before exiting.
9726
9727         * utils.c (free_slist): New function.
9728
9729         * recur.c (recursive_retrieve): Use flags to add cleanup
9730         possibility.
9731
9732         * main.c (main): Free filename after recursive_retrieve.
9733
9734         * http.c (gethttp): Store successful responses too.
9735
9736 1996-10-12  Hrvoje Niksic  <hniksic@srce.hr>
9737
9738         * all: Constified the whole source.  This required some minor
9739         changes in many functions in url.c, possibly introducing bugs -- I
9740         hope not.
9741
9742         * ftp-basic.c: Removed last_respline.
9743
9744         * http.c (gethttp): Free type.
9745
9746         * host.c (same_host): Free real1 and real2.
9747
9748         * main.c (main): New option --spider.
9749
9750         * retr.c (get_contents): Don't reset errno.
9751
9752         * main.c (main): Sorted the options.
9753
9754         * connect.c (iread): Set errno to ETIMEDOUT only if it was left
9755         uninitialized by select().
9756
9757         * http.c (http_loop): Print the time when the connection is
9758         closed.
9759         (gethttp): Debug-print the HTTP request.
9760
9761 1996-10-11  Hrvoje Niksic  <hniksic@srce.hr>
9762
9763         * connect.c (iread): Do not try reading after timeout.
9764
9765         * main.c (main): Would bug out on -T.
9766
9767         * connect.c (select_fd): Do not use exceptfds.
9768         (iread): Set ETIMEDOUT on select_fd <= 0.
9769
9770         * version.c: Changed version to 1.4b26.
9771
9772 1996-10-10  Hrvoje Niksic  <hniksic@srce.hr>
9773
9774         * version.c: "Released" 1.4b25.
9775
9776         * ftp-unix.c (ftp_parse_unix_ls): Ignore lines without file name
9777         or link name.
9778
9779         * http.c (gethttp): Add errcode to struct hstat.
9780         (http_loop): Use it.
9781
9782         * url.c (no_proxy_match): Simplify using char** for no_proxy.
9783
9784         * options.h (struct options): Make opt.no_proxy a vector.
9785
9786         * utils.c (sepstring): Use !*s instead of !strlen(s).
9787
9788         * init.c (setval): Set opt.maxreclevel to 0 on --mirror.
9789         (getperms): Use ISODIGIT instead of isdigit.
9790
9791         * ftp.c (getftp): Print time.
9792
9793         * main.c (main): Use legible output of downloaded quantity.
9794
9795         * ftp.c (getftp): Use elapsed_time().
9796         (ftp_loop_internal): Use rate().
9797
9798         * http.c (http_loop): Add download ratio output; Use rate().
9799
9800         * utils.c (rate): New function.
9801
9802 1996-10-09  Hrvoje Niksic  <hniksic@srce.hr>
9803
9804         * http.c (http_loop): Use timer.
9805
9806         * ftp.c: Split to ftp-basic.c and ftp.c
9807
9808         * utils.c (reset_timer): New function.
9809         (elapsed_time): New function.
9810
9811         * retr.c (show_progress): Make bytes_in_line and offs long; should
9812         work on 16-bit machines.
9813
9814 1996-10-08  Hrvoje Niksic  <hniksic@srce.hr>
9815
9816         * url.c (in_acclist): New argument backward.
9817
9818         * ftp.c (ftp_retrieve_glob): Use acceptable() to determine whether
9819         a file should be retrieved according to suffix.
9820         (ftp_get_listing): Check the return value of unlink; Do not call
9821         ftp_retrieve_dirs if depth reached maxreclevel.
9822         (ftp_retrieve_dirs): Check whether the directory is in
9823         exclude-list.
9824
9825         * main.c (main): Print the version number at the beginning of
9826         DEBUG output.
9827         (main): Use strrchr when creating exec_name.
9828
9829         * ftp.c (ftp_retrieve_glob): Do not close control connection.
9830
9831         * version.c: Changed version to 1.4b25.
9832
9833 1996-10-07  Hrvoje Niksic  <hniksic@srce.hr>
9834
9835         * version.c: "Released" 1.4b24.
9836
9837         * Makefile.in: Rewrite.
9838
9839         * ftp.c (ftp_loop_internal): Likewise.
9840
9841         * retr.c (time_str): Check for failed time().
9842
9843         * html.c (htmlfindurl): Recognize <fig src> and <overlay src> from
9844         HTML3.0.
9845
9846         * retr.c (time_str): Return time_t *.
9847
9848         * connect.c (bindport): Close msock on unsuccesful bind.
9849         (bindport): The same for getsockname and listen.
9850
9851         * retr.c (retrieve_url): Allow any number of retries on
9852         proxy.
9853
9854         * http.c (gethttp): Do not treat errno == 0 as timeout.
9855         (http_loop): Likewise.
9856         (http_loop): Cosmetic changes.
9857
9858         * connect.c (iread): Set errno to ETIMEDOUT in case of timeout.
9859
9860         * retr.c (get_contents): Reset errno.
9861
9862         * ftp.c (getftp): Minor fixes.
9863
9864 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
9865
9866         * http.c: Do not use backups.
9867
9868         * geturl.1 (WARNING): Warn that man-page could be obsolete.
9869
9870         * getopt.c (getopt_long): Moved to getopt.c
9871
9872         * geturl.texi: Enhanced.
9873
9874         * main.c (main): Use it.
9875
9876         * recur.c (convert_all_links): New function.
9877
9878         * utils.c (add_slist): New argument flags.
9879
9880         * recur.c (recursive_retrieve): Update a list of downloaded URLs.
9881         (parse_robots): Do not chuck out empty value fields.
9882         (parse_robots): Make yourself welcome on empty Disallow.
9883
9884         * version.c: Changed version to 1.4b24.
9885
9886 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
9887
9888         * version.c: "Released" 1.4b23.
9889
9890         * ftp.c (ftp_loop_internal): Get the time after getftp.
9891
9892         * Makefile.in (install.info): New target.
9893         (install): Use it.
9894
9895         * http.c (http_loop): Fix output when doing -O.
9896
9897 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
9898
9899         * geturl.texi: New file.
9900
9901         * main.c (main): Do not print the warnings and download summary if
9902         opt.quiet is set.
9903
9904         * version.c: Changed version to 1.4b23.
9905
9906 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
9907
9908         * "Released" 1.4b22.
9909
9910         * atotm.c (atotm): Use True and False instead of TRUE and FALSE,
9911         to avoid redefinition warnings.
9912
9913         * host.c (store_hostaddress): Use memcpy() to copy the address
9914         returned by inet_addr.
9915
9916         * version.c: Changed version to 1.4b22.
9917
9918 1996-10-04  Hrvoje Niksic  <hniksic@srce.hr>
9919
9920         * version.c: "Released" 1.4b21.
9921
9922         * ftp-unix.c (ftp_parse_ls): Renamed to ftp_parse_unix_ls.
9923
9924         * ftp.c (ftp_port): Use conaddr.
9925         (getftp): Print the file length.
9926         (ftp_retrieve_list): Check the stamps of plain files only.
9927
9928         * connect.c (closeport): Do not call shutdown().
9929         (conaddr): New function.
9930
9931         * html.c (ftp_index): Made it dfp-aware.
9932
9933         * init.c (cleanup): New name of freemem. Close opt.dfp.
9934
9935         * ftp.c (getftp): Use opt.dfp if it is set.
9936
9937         * ftp-unix.c (ftp_parse_ls): Recognize time in h:mm format.
9938
9939         * ftp.c (ftp_retrieve_dirs): Fixed a bug that caused incorrect
9940         CWDs to be sent with recursive FTP retrievals.
9941
9942 1996-10-03  Hrvoje Niksic  <hniksic@srce.hr>
9943
9944         * recur.c (parse_robots): Made it more compliant with "official"
9945         specifications.
9946
9947         * http.c: New function.
9948
9949         * ftp-unix.c (ftp_parse_ls): Added better debug output.
9950
9951         * ftp.c (getftp): Print out the LIST in case of
9952         opt.print_server_response.
9953
9954         * version.c: Changed version to 1.4b21.
9955
9956 1996-10-01  Hrvoje Niksic  <hniksic@srce.hr>
9957
9958         * version.c: "Released" 1.4b20.
9959
9960         * README: Update.
9961
9962         * http.c (gethttp): Preset lengths of various headers instead of
9963         calculating them dynamically.
9964         (gethttp): Check for 206 partial contents.
9965
9966 1996-09-30  Hrvoje Niksic  <hniksic@srce.hr>
9967
9968         * configure.in: Set SYSTEM_GETURLRC to $libdir/geturlrc
9969
9970         * http.c (gethttp): Send the port number in the Host: header.
9971
9972 1996-09-29  Hrvoje Niksic  <hniksic@srce.hr>
9973
9974         * http.c (gethttp): Send host: header.
9975         (gethttp): Add the possibility of user-defined headers.
9976         (gethttp): Move decision about pragma: no-cache to http_loop,
9977         where it belongs.
9978         (gethttp): Pass a struct instead of enormous argument list.
9979         (http_loop): Use a new, fancier display format.
9980         (ftp_loop): Likewise.
9981
9982         * main.c: (hangup): Turn off buffering of the new log file.
9983
9984         * install-sh: Likewise.
9985
9986         * config.sub: Replace with the one in autoconf-2.10
9987
9988         * geturl.1: Update.
9989
9990         * init.c: New options httpuser and httppasswd.
9991
9992         * http.c: (base64_encode_line): New function.
9993         (gethttp): Send authentication.
9994
9995         * connect.c (make_connection): Use store_hostaddress.
9996
9997 1996-09-28  Hrvoje Niksic  <hniksic@srce.hr>
9998
9999         * host.c (store_hostaddress): New function.
10000
10001         * NEWS: Update.
10002
10003         * http.c (hgetrange): New function.
10004         (gethttp): Use ranges.
10005
10006         * utils.c (numdigit): Accept long instead of int.
10007
10008         * http.c (http_loop): Add restart capabilities.
10009
10010         * ftp.c (ftp_retrieve_glob): Fixed a bug that could cause matchres
10011         being used uninitialized.
10012         (ftp_retrieve_list): Similar fix.
10013
10014         * host.c (add_hlist): Fixed a bug that could cause cmp being used
10015         uninitialized.
10016
10017         * url.c (construct_relative): New function.
10018
10019         * recur.c (recursive_retrieve): Use it.
10020
10021         * retr.c (convert_links): New function.
10022
10023 1996-09-27  Hrvoje Niksic  <hniksic@srce.hr>
10024
10025         * url.c (free_urlpos): New function.
10026
10027         * recur.c (recursive_retrieve): Adapt.
10028
10029         * url.c (get_urls_html): Return a linked list instead of a vector.
10030
10031         * url.c (get_urls_file): Return a linked list instead of a vector.
10032
10033         * geturl.1: Update.
10034
10035         * http.c (gethttp): Implement it.
10036
10037         * init.c (setval): New option: SAVEHEADERS
10038
10039         * ftp.c (ftp_loop_internal): Do not set restval if listing is to
10040         be retrieved. Lack of this test caused bugs when the connection
10041         was lost during listing.
10042
10043         * retr.c (retrieve_url): Fixed a bug that caused
10044         coredumps. *newloc is now reset by default.
10045         (retrieve_url): Lift the twenty-tries limit on proxies.
10046
10047         * version.c: Changed version to 1.4b20.
10048
10049 1996-09-20  Hrvoje Niksic  <hniksic@srce.hr>
10050
10051         * version.c: "Released" 1.4b19.
10052
10053 1996-09-19  Hrvoje Niksic  <hniksic@srce.hr>
10054
10055         * ftp.c (ftp_loop_internal): Renamed from ftp_1fl_loop.
10056         (getftp): Changed prototype to accept ccon *.
10057
10058 1996-09-17  Hrvoje Niksic  <hniksic@srce.hr>
10059
10060         * ftp.c (ftp_retrieve_list): Fixed a bug that caused setting
10061         incorrect values to files pointed to by symbolic links.
10062         (ftp_1fl_loop): Do not count listings among the downloaded URL-s.
10063
10064 1996-09-16  Hrvoje Niksic  <hniksic@srce.hr>
10065
10066         * url.c (mkstruct): Do not prepend "./" in front of a pathname.
10067
10068         * main.c (main): New option: --user-agent.
10069
10070         * geturl.1: Ditto.
10071
10072         * init.h: Ditto.
10073
10074         * init.c (setval): Ditto.
10075
10076         * main.c (main): Rename "server-headers" to "server-response".
10077
10078         * ftp-unix.c (ftp_parse_ls): Check for asterisks at the end of
10079         executables in 'ls -F' listings.
10080
10081 1996-09-15  Hrvoje Niksic  <hniksic@srce.hr>
10082
10083         * url.c (parseurl): Remove realloc() and sprintf().
10084         (str_url): Get rid of sprintf().
10085
10086         * recur.c (recursive_retrieve): Enable FTP recursion through proxy
10087         servers.
10088
10089         * url.h (URL_CLEANSE): Made it else-resistant.
10090         (USE_PROXY): New macro.
10091
10092 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
10093
10094         * NEWS: Update.
10095
10096         * version.c: Changed version to 1.4b19.
10097
10098 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
10099
10100         * version.c: "Released" 1.4b18.
10101
10102         * url.c: Made it reallocate space exponentially.
10103
10104 1996-09-14  Drazen Kacar  <dave@fly.cc.fer.hr>
10105
10106         * html.c (htmlfindurl): Added <frame src> and <iframe src> among
10107         the list of stuff to fetch.
10108
10109 1996-09-13  Hrvoje Niksic  <hniksic@srce.hr>
10110
10111         * url.c (get_urls_html): Fixed a bug that caused SIGSEGV's with
10112         -Fi.
10113
10114         * html.c (htmlfindurl): Rewrite.
10115
10116         * http.c (gethttp): Use opt.proxy_cache.
10117
10118         * main.c (main): Added --cache option.
10119
10120         * ftp.c (ftp_response): Print server response if opt.print_server
10121         response is set.
10122         (getftp): Print newlines after each request if the server response
10123         is to be printed.
10124         (ftp_response): Copy the last response line to last_respline.
10125
10126         * http.c (gethttp): Add Pragma: nocache for retried
10127         proxy-retrievals.
10128
10129         * ftp.c (getftp): Use it.
10130
10131         * retr.c (buf_discard): New function.
10132
10133         * ftp.c (ftp_response): Use buf_readchar().
10134         (getftp): Flush the control connection buffer before calling
10135         get_contents().
10136
10137         * retr.c (buf_readchar): New function.
10138         (buf_flush): New function.
10139         (get_contents): Use buf_readchar() instead of read(x, x, 1).
10140         (get_contents): Use buf_flush.
10141
10142 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
10143
10144         * ftp.c: Incorporate changes to ftp_response.
10145
10146         * ftp.c (ftp_response): Allocate the server response dynamically,
10147         as in read_whole_line and fetch_next_header.
10148
10149         * utils.c (read_whole_line): Fixed a bug that prevented reading
10150         the last line if it is not \n-terminated. Also fixed a possible
10151         memory overflow.
10152
10153         * http.c (fetch_next_header): Return malloc-ed string as large as
10154         needed.
10155         (gethttp): Use new fetch_next_header.
10156
10157 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
10158
10159         * http.c (hgetlen): Compute the header length the first time only.
10160         (hgettype): Ditto.
10161         (hgetlocation): Ditto.
10162         (hgetmodified): Ditto.
10163
10164 1996-09-11  Hrvoje Niksic  <hniksic@srce.hr>
10165
10166         * sample.geturlrc: Update.
10167
10168 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
10169
10170         * http.c (http_loop): Ditto.
10171
10172         * ftp.c (getftp): Open the output file as binary.
10173
10174         * version.c: Changed version to 1.4b18.
10175
10176 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
10177
10178         * version.c: "Released" 1.4b17.
10179
10180         * ftp-unix.c (ftp_parse_ls): If unable to open file, return NULL
10181         instead of failed assertion.
10182
10183 1996-09-09  Hrvoje Niksic  <hniksic@srce.hr>
10184
10185         * ftp.c (ftp_get_listing): Add a numbered suffix to LIST_FILENAME
10186         if a file of that name already exists.
10187
10188 1996-09-05  Hrvoje Niksic  <hniksic@srce.hr>
10189
10190         * ftp.c (ftp_1fl_loop): Handler FTPPORTERR and FOPENERR correctly.
10191
10192         * config.h.in: Define gethostbyname as Rgethostbyname when using
10193         Socks.
10194
10195         * configure.in: Check for -lresolv if using Socks.
10196
10197         * version.c: Changed version to 1.4b17.
10198
10199 1996-07-15  Hrvoje Niksic  <hniksic@srce.hr>
10200
10201         * version.c: "Released" 1.4b16.
10202
10203         * http.c (gethttp): More intelligent check for first line of HTTP
10204         response.
10205         (gethttp): Would bug out on time-stamping.
10206
10207         * version.c: Changed version to 1.4b16.
10208
10209 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
10210
10211         * version.c: Released 1.4b15.
10212
10213         * http.c (http_loop): Print \n after the loop entry, not before.
10214
10215         * url.c (url_filename): Use ISDOT.
10216
10217         * url.h (ISDOT): New macro.
10218
10219         * recur.c (recursive_retrieve): Change only opt.recursive for
10220         following FTP.
10221
10222 1996-07-11  Antonio Rosella <antonio.rosella@agip.it>
10223
10224         * socks/geturl.cgi: Fixed version No.
10225
10226         * socks/download-netscape.html: Ditto.
10227
10228         * socks/download.html: Changed socks.html to download.html.
10229
10230 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
10231
10232         * url.c (url_filename): Check for opt.dirstruct instead for
10233         opt.recursive && opt.dirstruct.
10234
10235         * init.c (defaults): Ditto.
10236         (defaults): Reset dirstruct by default.
10237         (setval): Set opt.dirstruct whenever setting recursive.
10238
10239         * init.h: Removed FORCEDIRHIER.
10240
10241         * INSTALL: Added -L to socks-description.
10242
10243         * version.c: Changed version to 1.4b15.
10244
10245 1996-07-10  Hrvoje Niksic  <hniksic@srce.hr>
10246
10247         * version.c: "Released" 1.4b14.
10248
10249         * geturl.1: Update AUTHOR to include Rosella as contributor.
10250
10251         * NEWS: Update.
10252
10253         * socks/geturl.cgi: Simplified command creation, nuked <blink>.
10254
10255         * socks/geturl.cgi: Wrap nutscape extensions within if $netscape.
10256         (cal_time): Fix == to eq.
10257
10258         * socks/geturl.cgi: GPL-ized with permission of A. Rosella.
10259
10260         * geturl.1 (hostname): Moved URL CONVENTIONS to the beginning.
10261
10262         * Makefile.in: Use @VERSION@.
10263
10264         * configure.in: Check version from version.c.
10265
10266         * socks/geturl.cgi: Changed /pub/bin/perl to /usr/bin/perl.
10267
10268         * socks/download.html: Created from download-netscape.html, made
10269         HTML-2.0 compliant.
10270
10271         * recur.c (recursive_retrieve): Set opt.force_dir_hier when
10272         following FTP links from recursions.
10273
10274 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
10275
10276         * url.c (mymkdir): Fixed a bug that prevented mymkdir() to create
10277         absolute directories correctly.
10278
10279         * version.c: Changed version to 1.4b14.
10280
10281 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
10282
10283         * version.c: "Released" 1.4b13.
10284
10285         * url.c (make_backup): New function.
10286
10287         * http.c (http_loop): Make a backup copy of the local file (using
10288         rename(2)) before opening it.
10289
10290         * main.c (main): Added --backups.
10291
10292         * host.c (ftp_getaddress): Bail out on failed mycuserid().
10293         (ftp_getaddress): Check for leading dot on MY_DOMAIN.
10294         (ftp_getaddress): Check for empty, null or (null) domain.
10295
10296         * url.c (get_urls_html): If this_url is NULL, the base must have a
10297         protocol.
10298         (parseurl): Use has_proto.
10299
10300         * retr.c (retrieve_url): Warn when proxy is used with more than 20
10301         retries.
10302
10303         * url.c (mkstruct): Create the directory (calling mymkdir()) only
10304         if it is not already there.
10305         (has_proto): New function.
10306         (get_urls_html): Eliminate the remaining call to findurl -- use
10307         has_proto.
10308
10309         * geturl.1: Ditto.
10310
10311         * main.c: Change -X to -x.
10312
10313         * url.c (url_filename): Simplify creation of filename if
10314         prefix_files is set.
10315         (url_filename): Simplify everything. And I do mean *everything*.
10316         (mkstruct): Add dir_prefix before hostname.
10317         (path_simplify): Fixed a bug that caused writing outside the path
10318         string in case of "." and ".." path strings.
10319
10320 1996-07-06  Hrvoje Niksic  <hniksic@srce.hr>
10321
10322         * init.c: Added --mirror.
10323
10324         * main.c (main): Added -X to force saving of directory hierarchy.
10325
10326         * ftp.c (ftp_retrieve_list): Added recursion depth counter.
10327         (ftp_retrieve_list): Check whether quota is exceeded.
10328
10329         * url.c (get_urls_html): Skip leading blanks for absolute URIs.
10330
10331         * http.c (gethttp): Use referer if present.
10332
10333         * recur.c (recursive_retrieve): Set u->referer before calling
10334         retrieve_url.
10335
10336         * url.c (newurl): Use memset to nullify the struct members.
10337         (freeurl): Free the referer field too.
10338
10339         * url.h: Added referer to urlinfo.
10340
10341         * geturl.1: Updated the manual to document some of the new features.
10342
10343         * utils.c (numdigit): Moved from url.c.
10344
10345         * README: Rewritten.
10346
10347         * config.h.in: Add the support for socks.
10348
10349         * configure.in: Add the support for socks.
10350
10351         * url.c (url_filename): If the dir_prefix is ".", work with just
10352         the file name.
10353         (url_filename): Do not look for .n extensions if timestamping if
10354         turned on.
10355
10356         * retr.c (show_progress): Skip the over-abundant restval data, and
10357         print the rest of it with ',' instead of '.'.
10358
10359 1996-07-05  Hrvoje Niksic  <hniksic@srce.hr>
10360
10361         * retr.c (show_progress): Changed second arg. to long (as it
10362         should be).
10363         (show_progress): Moved to retr.c.
10364         (get_contents): Moved to retr.c.
10365
10366         * version.c: Change version to 1.4b13.
10367
10368 1996-07-05  Hrvoje Lacko <hlacko@fly.cc.fer.hr>
10369
10370         * url.c (in_acclist): Would return after the first suffix.
10371
10372 1996-07-04  Hrvoje Niksic  <hniksic@srce.hr>
10373
10374         * version.c: "Released" 1.4b12.
10375
10376         * url.c (path_simplify): More kludgifications.
10377         (get_urls_html): Use new parameters for htmlfindurl.
10378
10379         * html.c: Removed memorizing "parser states", since the new
10380         organization does not require them.
10381
10382         * init.c (run_geturlrc): Use read_whole_line.
10383
10384         * ftp-unix.c (ftp_parse_ls): Use read_whole_line.
10385
10386         * recur.c (parse_robots): Use read_whole_line.
10387
10388         * utils.c (read_whole_line): New function.
10389
10390         * recur.c (tried_robots): Use add_slist/in_slist, *much* cleaner.
10391
10392         * host.c (ngethostbyname): Call inet_addr just once. Yet to be
10393         tested on OSF and Ultrix.
10394         (add_hlist): New function.
10395         (free_hlist): New function.
10396         (search_host): New function.
10397         (search_address): New function.
10398         (realhost): Use search_host, search_address and add_hlist.
10399         (same_host): Replaced realloc() with strdupdelim(), made
10400         case-insensitive, fixed a memory leak.
10401
10402         * html.c (ftp_index): Fixed tm_min and tm_sec to be tm_hour and
10403         tm_min, like intended.
10404
10405         * version.c: Change user agent information to
10406         Geturl/version.
10407
10408 1996-07-03  Hrvoje Niksic  <hniksic@srce.hr>
10409
10410         * utils.c: Renamed nmalloc.c to utils.c, .h likewise.
10411
10412         * url.c (acceptable): Always accept directories.
10413
10414         * ftp-unix.c (ftp_parse_ls): Support brain-damaged "ls -F"-loving
10415         servers by stripping trailing @ from symlinks and trailing / from
10416         directories.
10417
10418         * ftp.c (ftp_loop): Debugged the "enhanced" heuristics. :-)
10419
10420         * url.c (skip_url): Use toupper instead of UCASE.
10421
10422         * host.c (sufmatch): Made it case-insensitive.
10423
10424         * url.c (match_backwards_or_pattern): Fixed i == -1 to j == -1.
10425         (match_backwards): New function, instead of
10426         match_backwards_or_pattern.
10427
10428         * recur.c (recursive_retrieve): Increased performance by
10429         introducing inl, which reduces number of calls to in_slist to only
10430         one.
10431
10432         * ftp.c (ftp_loop): Enhanced the heuristics that decides which
10433         routine to use.
10434
10435         * main.c (printhelp): Removed the warranty stuff.
10436
10437 1996-07-02  Hrvoje Niksic  <hniksic@srce.hr>
10438
10439         * url.c (add_slist): Simplify.
10440         (match_backwards_or_pattern): New function.
10441         (in_acclist): Use match_backwards_or_pattern.
10442         (matches): Remove.
10443
10444 1996-06-30  Hrvoje Niksic  <hniksic@srce.hr>
10445
10446         * ftp.c (ftp_loop): Call ftp_index on empty file names, if not
10447         recursive.
10448
10449         * html.c (ftp_index): Fixed to work. Beautified the output.
10450
10451         * ftp.c (ftp_retrieve_glob): Another argument to control whether
10452         globbing is to be used.
10453         (ftp_retrieve_list): Compare the time-stamps of local and remote
10454         files to determine whether to download.
10455
10456 1996-06-29  Hrvoje Niksic  <hniksic@srce.hr>
10457
10458         * ftp.c (rel_constr): New function.
10459
10460         * retr.c (retrieve_from_file): Check for text/html before
10461         retrieving recursively.
10462
10463         * main.c (main): Check whether the file is HTML before going into
10464         recursive HTML retrieving.
10465
10466         * ftp.c (ftp_retrieve_list): Manage directories.
10467         (ftp_retrieve_glob): Pass all the file-types to ftp_retrieve_list.
10468         (ftp_1fl_loop): Fixed a bug that caused con->com to be incorrectly
10469         initialized, causing bugchecks in getftp to fail.
10470
10471         * configure.in: Check for symlink.
10472
10473         * ftp.c (ftp_retrieve_list): Added support for symlinks.
10474
10475         * version.c: "Released" 1.4b10.
10476
10477         * atotm.c (atotm): Redeclared as time_t.
10478
10479         * init.c: New variable "timestamping".
10480
10481         * main.c (main): New option 'N'.
10482
10483         * http.c (hgetlocation): Case-insensitive match.
10484         (hgetmodified): New function.
10485         (http_loop): Implement time-stamping.
10486
10487 1996-06-28  Hrvoje Niksic  <hniksic@srce.hr>
10488
10489         * version.c: Changed version to 1.4b10
10490
10491         * atotm.c: New file, from phttpd.
10492
10493         * options.h (struct options): New parameter timestamping.
10494
10495         * version.c: 1.4b9 "released".
10496
10497         * recur.c (recursive_retrieve): Used linked list (ulist) for
10498         faster storing of URLs.
10499
10500         * url.c (get_urls_html): Removed the old kludge with comparing the
10501         outputs of htmlfindurl and findurl.
10502         (get_urls_html): Added better protocol support here.
10503         (create_hash): Removed, as well as add_hash and in_hash.
10504         (addslist): New function.
10505         (in_slist): ditto
10506
10507         * version.c: Released 1.4b8, changed version to b9.
10508
10509 1996-06-27  Hrvoje Niksic  <hniksic@srce.hr>
10510
10511         * ftp.c (freefileinfo): New function.
10512         (delelement): New function.
10513
10514         * everywhere: GPL!
10515
10516         * ftp.c (ftp_loop): Use ccon.
10517         (ftp_retrieve_glob): Likewise.
10518
10519         * ftp.h: Define ccon, to define status of control connection.
10520
10521         * ftp.c (ftp_get_listing): New function.
10522         (ftp_retrieve_more): New function.
10523         (ftp_retrieve_glob): New function.
10524
10525 1996-06-25  Hrvoje Niksic  <hniksic@srce.hr>
10526
10527         * configure.in: Removed the search for cuserid().
10528
10529         * init.c (getmode): Renamed to getperms.
10530
10531 1996-06-24  Hrvoje Niksic  <hniksic@srce.hr>
10532
10533         * version.c: New version.
10534
10535         * main.c (hangup): New function, that handles hangup. Hangup
10536         signal now causes geturl to stop writing on stdout, and to write
10537         to a log file.
10538
10539         * ftp.c (getftp): "Released" 1.4b7.
10540
10541         * html.c (htmlfindurl): Ignore everything inside <head>...</head>.
10542         (ftp_index): Use fileinfo/urlinfo.
10543
10544         * ftp-unix.c (ftp_parse_ls): New function.
10545         (symperms): New function.
10546
10547         * ftp.c (ftp_1fl_loop): New function, to handle 1-file loops.
10548
10549         * retr.c (retrieve_url): Added FTP support.
10550
10551 1996-06-23  Hrvoje Niksic  <hniksic@srce.hr>
10552
10553         * geturl.h: Removed NOTFTP2HTML enum.
10554         Added DO_LOGIN, DO_CWD and DO_LIST. LIST_ONLY is obsolete.
10555
10556         * ftp.c (getftp): Resynched with urlinfo.
10557         (getftp): Removed HMTL-ization of index.html from getftp.
10558
10559         * version.c: 1.4b6 "released".
10560
10561         * options.h (options): New struct, to keep options in.
10562
10563         * http.c (http_loop,gethttp): Synched with proxy.
10564
10565         * retr.c (retrieve_url): Implemented proxy retrieval.
10566
10567         * main.c (main): Use retrieve_from_file.
10568
10569 1996-06-22  Hrvoje Niksic  <hniksic@srce.hr>
10570
10571         * retr.c (retrieve_from_file): New function.
10572
10573         * url.c (parseurl): Modified to return URLOK if all OK. Protocol
10574         can be found in u->proto.
10575
10576         * ftp.c (ftp_response): Fixed to accept multi-line responses as
10577         per RFC 959.
10578
10579         * recr.c (recursive_retrieve): Take newloc from retrieve_url.
10580
10581         * url.c (mymkdir): Removed the file of the same name, if one
10582         exists.
10583         (isfile): New function.
10584         (mkstruct): Fixed the '/' glitches.
10585         (path_simplify): Hacked to treat something/.. correctly.
10586
10587 1996-06-21  Hrvoje Niksic  <hniksic@srce.hr>
10588
10589         * http.c (gethttp): Close the socket after error in headers.
10590         (http_loop): HEOF no longer a fatal header.
10591
10592         * loop.c (retrieve_url): When dt is NULL, do not modify it. This
10593         simplifies the syntax of calling retrieve_url.
10594
10595         * recr.c (recursive_retrieve): Modified to use get_urls_html.
10596
10597         * url.c (get_urls_file): New function.
10598         (get_urls_html): New function.
10599
10600         * recr.c (recursive_retrieve): Patched up to conform to the
10601         standards.
10602
10603         * http.c (gethttp): Synched with the rest...
10604         (gethttp): Treat only CONREFUSED specially, with connection
10605         errors.
10606
10607         * init.c,geturl.1,http.c (http_loop): Removed kill_error.
10608
10609 1996-06-20  Hrvoje Niksic  <hniksic@srce.hr>
10610
10611         * http.c (http_loop): New function.
10612
10613         * loop.c: Removed *lots* of stuff from retrieve_url.
10614
10615         * url.c (parseurl): Changed to work with urlinfo. Integrated
10616         username finding and path parsing.
10617         (newurl): New function.
10618         (freeurl): New function.
10619         (mkstruct): Removed the old bogosities, made it urlinfo-compliant.
10620         (url_filename): Likewise.
10621         (path_simplify): Accept relative paths too.
10622         (opt_url): Made urlinfo-compliant, removed bogosities.
10623         (path_simplify): Expanded to accept relative paths.
10624         (str_url): A replacement for hide_url
10625         (decode_string): Fixed a bug that caused malfunctioning when
10626         encountering an illegal %.. combination.
10627         (opt_url): Removed the argument. Dot-optimizations are now default.
10628
10629         * nmalloc.c (strdupdelim): New function.
10630
10631         * url.h: Added the urlinfo structure
10632
10633 1996-06-19  Hrvoje Niksic  <hniksic@srce.hr>
10634
10635         * url.c (hide_url): Thrown out the protocol assertion. Do not
10636         change the URL if the protocol if not recognized.
10637         (findurl): Put continue instead of break.
10638
10639 1996-06-18  Hrvoje Niksic  <hniksic@srce.hr>
10640
10641         * sample.geturlrc: Changed the defaults to be commented out and
10642         harmless (previous defaults caused pains if copied to
10643         ~/.geturlrc).
10644
10645         * http.c (gethttp): Print the HTTP request in debug mode.
10646
10647         * connect.c (iread): Added EINTR check loop to select-ing
10648         too. EINTR is now correctly handled with select().
10649
10650         * TODO: new file
10651
10652 1996-05-07  Hrvoje Niksic  <hniksic@srce.hr>
10653
10654         * host.c (same_host): Made the function a little bit more
10655         intelligent regarding diversified URL syntaxes.
10656
10657         * url.c (skip_url): Spaces are now skipped after URL:
10658
10659         * Released 1.3.1 with the patch to prevent crashing when sending
10660         NULL to robot* functions and the patch to compile "out of the box"
10661         on AIX.
10662
10663         * recr.c (recursive_retrieve): Added checking whether this_url is
10664         NULL when calling the robot functions.
10665
10666         * ChangeLog: New file.